Petit Palais "buvo pastatytas 1317. Jis įsikūręs šiaurinėje aikštėje, priešais iš Popiežiaus narių gyvenamąją vietą, taip pavadintas dėl savo kuklų dydį ir vertę, palyginti su popiežių rūmuose.

Jo išvaizda istorija neaiški: pagal vieną versiją - ji buvo pastatyta už popiežiaus Jono XXII, Arnaud de Via sūnėnas, kita vertus - ji buvo pastatyta kardinolas Berengere F. seniūno. Po jo mirties, rūmai ir pagrindas buvo nupirktas kardinolo Arnaud de Via. 1335 "Via De mirė ir rūmai priklausė niekas iki popiežiaus Benedikto XII, kuris nusipirko jį dar kartą ir pasuko į oficialią gyvenamąją Avinjono arkivyskupo atvykimo.

Pastatas buvo smarkiai sugadintas iš 1396 iki 1411. Kadangi laikotarpiu jis buvo laikomas Avinjono popiežių pastiprintus tvirtovė. Po karo pabaigoje rūmai palaipsniui nukrito į nuosmukis. Antroje XV amžiuje, vyskupas Alain de Kotivi ir jo įpėdinis Giuliano della Rovere (kuris vėliau tapo Julijus II) nusprendė atkurti pastatą ir 1503 davė jam beveik pirmapradį formą. Della Rovere atvyko į Avinjonas 1474, nes jis buvo paskirtas jo dėdė, Sikstas IV, iš Avinjonas vyskupas. Jis pridūrė, ant pietinių ir vakarinių fasadų italų renesanso stiliumi ir 1487 pastatė bokštą (vėliau, 1767 jis buvo sunaikinti).

Prancūzijos revoliucijos metu, rūmai tapo valstybės nuosavybe, XIX amžiuje buvo katalikų mokyklos, o vėliau profesinėje mokykloje. Tik XX amžiaus pabaigoje dėl rūmų teritorijoje buvo muziejus.

Nuo 1958 jis įsikūrė viduramžių muziejus. 1976 metais buvo atidaryta dailės galerija darbų meistrų Renesanso. Į 19 kambarių muziejaus, visų pirma, Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco darbas, taip pat čia yra garsioji "Madona" Botticelli.