Originali žydų muziejus Viena buvo įkurta 1896 metais ir buvo pirmasis muziejus tokio pobūdžio pasaulyje. Muziejus gyvuoja su paramos "draugijos rinkimo ir išsaugojimo meno ir istorinių paminklų žydų." Jis sutelktas į istoriją ir kultūrą žydų Austrijos-Vengrijos imperija. Jo kolekcija objektų ir produktų iš Palestinos, taip pat atspindėjo politines diskusijas apie sionizmo. Muziejus buvo uždarytas iškart po Austrijos okupacijos nacių. Per pastaruosius metus nuo jo buvimo ji turėjo 6474 įvairių daiktų. 1939 jie buvo perkelti į etnologijos muziejus ir kitomis institucijomis.

Dauguma daiktų buvo grąžinta žydų bendruomenės 1950 pradžioje, tačiau kai kurie sugebėjo grįžti tik 1990 metais. Daugelis eksponatų buvo prarasta. Kai naujas žydų muziejus turi inventorių, buvo nustatyta, kad pusė originalių daiktų dingo. Bet iš dalykų, poilsis yra labai reti eksponatai, atspindintys kaip objektai kasdienio gyvenimo, ir unikalių medžiagų.

Grd 31, 1964 nedidelė žydų muziejus buvo atidarytas naujai pastatytas pastatas Tempelgasse, bet gavo beveik jokio visuomenės dėmesio. Po 3 metų muziejus uždarytas.

Pirmoji paroda naujos žydų muziejus Vienoje atidarytas kovo 7, 1990 laikinų patalpų žydų bendruomenės biuruose. Nemaža dalis parodoje buvo sudaryta iš Max Berger kolekciją. 1992 metais muziejus perkeltas į jo dabartinių namų rūmuose Eskeles Doroteegasse. Muziejus buvo atidarytas po metų, 1993 m. Biblioteka buvo atidarytas visuomenei nuo 1994 m.

Nuo 2011 metų rudenį, muziejus atvėrė duris po kapitalinio remonto, kaip ir pats pastatas, ir atnaujinti nuolatinę parodą. Renovuotas žydų muziejus sveikina lankytojus į naują apšvietimo sistemą, kuri buvo padaryta laikantis originalo. Nuolatinė paroda muziejuje yra per tris zonas.