Istorija Muziejus tęsiasi giliai į kalėjimo vartai septynis šimtmečius, todėl jis yra įtrauktas į 100 svarbiausių istorinių paminklų Olandijos.

Be 1280 į srities vartai buvo pagrindinis Bёytenhof įėjimas į pilį, kuri dabar žinoma kaip Binnenhof. 1428 vartai buvo naudojamas kaip laisvės atėmimo vietoje skolininkų ar nusikaltėlių laukia teismo.

Šimtas metų, ji buvo vartai ir pridėti naują kameros salę. Iki XVII amžiaus kalėjimas nebuvo laikomas tokiu bausmė - bausmė buvo baudos, išsiuntimas, fizinės bausmės ar mirties bausmė.

Ji apima gerai žinomus istorinius duomenis: Cornelis de Witt, kaltinamas sąmokslą prieš William iš Orange, ir rašytojas, mokslininkas ir filosofas Dirk Volkertsen Koorngert. Kalėjimo gyvuoja 400 metų, tačiau 1828 kaliniai nebėra. Du kartus būta pasiūlymai nugriauti šį pastatą - 1853 ir 1873 metais, laimei, nebuvo padaryti jį į verslą, o nuo 1882 tapo muziejumi kalėjimo vartai. Kai muziejaus dalys gali būti aplankė tik su gidu.

Kitame pastate yra Galerija William V - dailės galerija, įkurta 1774 William V, Prince of Orange. Nuo 2010, lankytojai gali patekti į dėl spiraliniai laiptai, kuris jungia du pastatus galerijoje. Kolekcijoje, kuri pateikiama ten dabar - moderni rekonstrukcija 1774, kuris taip pat buvo įsikūręs viršutiniame namo aukšte. Paveikslėliai glaudžiai pakabinti ant sienos, kaip buvo įprasta XVIII amžiuje. Paveikslai buvo paaukoti į muziejų Mauritshuis 1822, kuri yra oficialus savininkas paveikslų.