Bažnyčios Celestines tokia forma, kuri gali būti vertinama šiandien, buvo pastatyta XV a. Jo statyba buvo pradėta 1396 ir buvo atlikta beveik šimtą metų. Iš pradžių ten buvo kuklus medinis koplyčia pastatyta virš palaidojimo vietoje Petro Liuksemburgo. Į garbę šio laidojimo buvo vadinamas ir zoną aplink koplyčią - Place de Sent Corp. (šventųjų relikvijų sritis).

Petras Liuksemburgas buvo žinoma, kad jis tapo aukšto rango Šventikas jaunystėje - bent 15 jis buvo Metz vyskupas, tada greičiau gavo kardinolo titulą, o 18 metų (1387) mirė nuo suvartojimo. Po jo laidotuvių Avinjone gandai apie stebuklingą kardinolo palaikų, o nuo Celestines ordino vienuoliai nusprendė pastatyti virš vienuolyno kapo. Iki šventųjų Petro Liuksemburgas buvo įtraukta tik 1527, o prieš tai jo relikvijos buvo pagerbtas be oficialaus pripažinimo Bažnyčios šventumą.

Vėliau, šalia bažnyčios Celestines koplyčioje buvo pastatytas garbei kito šventojo - Benezeta, vienas iš labiausiai gerbė Avinjone. Pasak vietos legendos, į žemiškąjį gyvenimą buvo paprastas piemuo Benezet, kuris Kristus pasirodė ir pasakė jam pastatyti Avinjono tiltą per Ronos. Kai miesto gyventojai reikalavo Benezeta parodyti jiems savo išskirtinumo ir atlikti bet kokį stebuklą, jis atliko per į upę miesto, ir didžiulis akmuo paskyrė jiems vietą statyti. Benezet gyveno XII amžiuje ir buvo kanonizuotas XIV amžiuje.

Bažnyčia Celestines turėjo daug vertybes - religinių meno kūrinių ir indai, kurie ne iš Prancūzijos revoliucijos metu buvo sudegintas, o pati bažnyčia buvo paversta kareivinėmis. Išgyventi relikvijos Celestines rado prieglobstį kitose bažnyčiose Avinjonas - pavyzdžiui, šv Benezeta relikvijos palaidotas Šv Adeodata bažnyčią.

Šiuo metu bažnyčia kieme tampa ne metinės liepos festivalio metu etapas.