Viduramžiais buvo sostinė Annecy, Ženevos apskritis, ir stovi Annecy centre, pilis buvo iš Ženeva Grafų sėdynė. Pilis buvo pastatyta XII amžiuje dėl tvirtovės svetainėje, pastatytas keturis šimtmečius anksčiau. XIII amžiuje tapo iš grafo šeimos nariams gyventi, o vėliau persikėlė į Savojos kunigaikščio.

Viduramžiais pilis kelis kartus sugriauta gaisrų, bet kiekvieną kartą buvo sumažintas, vis daugiau ir daugiau stiprinti savo gynybai. Tačiau, nepaisant sienų storis, tvyrančios išvaizdą ir puikioje vietoje ant kalvos, pirmąjį pusmetį XVII amžiuje, pilis buvo priimtas Prancūzijos armija. XVII amžiuje pilyje kareivines ir sandėliavimo, vieną kartą jis net tarnavo kaip benamiai prieglobsčio. Tik viduryje XX amžiuje, pastatas buvo paskelbtas istorinis paminklas, o dabar jis įsikūręs muziejus, kur galima pamatyti meno kūrinius ir daiktus iš įvairių epochų.

Vienas iš žymiausių gyventojų pilies buvo Robertas Ženevos - gimsta čia 1342, grafo Amadeus III sūnų. Robertas Ženevos taip pat žinomas anti-Klemensas VII vardu - gana karingas ir žiaurus, pravarde mėsininkas ir budelį ir jo metodų, susijusius su sukilėliais. Antroje XIV amžiuje Katalikų pasaulio turėjo du tėtis - vieną oficialiai išrinktas Miesto VI ir antrojo išrinktas kardinolo "opozicija" Klemensas VII, kuris tikėjosi paimti valdžią ir nuversti Romos Miestų VI. Nepavykus, antipopiežius Klemensas apsigyveno Avinjonas, kuris kadaise veikė popiežiaus gyvenamoji vieta.

Po Klemenso VII mirties 1394 ji buvo sujungta su Annecy ir Savojos prarado savo statusą, kaip kapitalo apskrities ir Ženevos apskrityje, taip pat, buvo perregistruotas. Dėl Savoy pilies kunigaikštis įgijo gražiausia bokštą Perrer.

Šiandien pilis yra apsuptas gražių sodų ir viešųjų kitų istorinių vietų. Su jo sienos matyti miestas ir Annecy.