Dailės muziejus Anžė yra įsikūręs vos keli šimtai metrų nuo dviejų pagrindinių lankytinų vietų - Anžė pilis ir katedra Saint-Maurice. Ir šalia galerijoje pavadintas po to, kai skulptorius ir medalininkas Davidas d'Angers - šie pastatai suformuoti Muziejų kvartalas, kuris taip pat apima biblioteka ir universiteto patalpose.

Dailės muziejus yra įsikūręs nuo vėlyvojo XV a, kuris buvo pastatytas pagal Anjou Bretanė iždininkui Olivier Barrot meras Prancūzijos renesanso stiliaus dvaro sienas. Šio namo sienos mačiau daug žinomų asmenybių, kurie paliko savo ženklą Prancūzijoje istorijos - pavyzdžiui, karalius Liudvikas XII, Cesare Borgia ir Maria de 'Medici, kurio nuosavybė buvo. 1673 metais pastatas buvo įsigyta ir po Katalikų Bažnyčios įdėjo didelį koregavimą savo seminariją.

Prancūzijos revoliucijos metu, dvaras buvo atidaryta CENTRAL SCHOOL, bet tai truko neilgai - tik dveji metai nuo 1801 iki 1803. Sukurta mokyklos muziejus tęsė darbą net po dvejų metų su gamtos mokslų salėje atidarymo išplėtė savo ekspoziciją. 1839, vienoje iš buvusios seminaro patalpose buvo atidaryta David d'Angers galerija, kuri 1984 metais persikėlė į renovuotas bažnyčios Visų Šventųjų.

Viduryje XIX amžiuje, muziejus tapo lobis savininkas - gavo palikimo kolekciją Lanselotas Teodoras Turpin de Criss, kuri įtraukta elementus Egipto, graikų ir romėnų kilmės, fajanso ir tapyba garsaus dailininko Jean Auguste Dominique Ingres. Kitas didelio masto papildymo muziejaus kolekcijos įvyko 2003 metais, kai Danielis Duclos palikimo į muziejų persikėlė Vilevek pilį, kuri tapo muziejaus filialas ir beveik tūkstantis meno kūrinių.

Praėjusių metų pradžioje ir šio šimtmečio pabaigoje, muziejus buvo rekonstruotas ir šiandien ji yra viena iš didžiausių muziejų Prancūzijoje esančių provincijoje. Jo plotas yra apie septynis ha.