L'église Sainte-Anne remonte dans ses fondements au Xe siècle et a été l'objet de plusieurs remaniements dont un important au XIXe siècle où elle fut démolie en partie et reconstruite avec abandon du clocher-mur du XVe siècle dont quelques vestiges sont encore visibles.
Pouylebon est sur l'un des quatre chemins de Saint Jacques de Compostelle (la via tolosana, qui vient de Provence avec étape à Arles et à Saint Guilhem le Désert). Une église aujourd'hui disparue (dite « de L'Hôpital ») le desservait.