Prvo spominjanje srednjovjekovnog burga, koji je bio formiran već tijekom 13. stoljeća uslijedilo je 1320. godine i odnosi se na "Castrum de Ludbreg“. Ova srednjovjekovna utvrda , koja predstavlja jezgru današnjeg dvorca Batthyany, doživjela je brojne preinake i dogradnje, o čemu i danas svjedoče sačuvani gotički "češki" prozor s kamenim šprljcima u zidu sjevernog ili pak onaj s rozetom u zidu zapadnog krila. Iz gotičke faze sačuvana je i četverokutna kula, u kojoj se prema predaji 1411 odigralo čudo Krvi Kristove, uspostavljeno 1513. godine bulom pape Leona X. U kulu je kasnije smješteno svetište barokne kapele.

Dominantni barokni izgled dvorca ostao je sačuvan do današnjih dana. Jedine promjene koje je unijelo 19.st., izvršene su u zoni mansarde i krova, kada je uklonjen toranj iznad kapele s lukovicom i satom, a mansardni krov preoblikovan je u 3 kat. Nakon prodaje u prvoj polovici 20.st dvorac se neprimjereno koristi. Iako je zatečeno stanje 1991 pokazivalo visok stupanj devastacije, dvorac je poslužio kao jedan od privremenih tajnih depoa u sklopu programa evakuacije ratom ugrožene spomeničke baštine na području kontinentalne Hrvatske. Toj „ratnoj bolnici“ za oštećene umjetnine s ratom zahvaćenih područja uskoro je stigla pomoć od Bavarskog zemaljskog ureda za zaštitu spomenika. Istovremeno, grad Ludbreg 1992. ustupa dvorac Ministarstvu na korištenje bez naknade za potrebe spašavanja spomeničke baštine. Na taj je način pokrenut projekt Restauratorskog centra Ludbreg, čime se otvorila mogućnost temeljite obnove dvorca Batthyany. Tome su ipak prethodili važni građevinski zahvati 1984 i 1985 kad su obnovljena vanjska pročelja i postavljena stropna ploča ispod krovišta, a 1990 provedena građevinska sanacija u kapeli sv. Križa.

Prvi veći građevinski zahvati nakon osnivanja Restauratorskog centra počeli su već tijekom 1993. nakon što je izrađen cjelovit projekt obnove prostora dijela prizemlja i prvog kata u koje su smješteni depoi i restauratorske radionice. Ubrzo je potom kao rezultat uspješne suradnje hrvatskih i bavarskih stručnjaka 15. travnja 1994. otvorena restauratorska radionica za polikromiranu drvenu plastiku i slike na drvenom i tkanom nosiocu s bibilotekom, drvorezbarskom i stolarskom radionicom, depoima i ostalim pratećim sadržajima. Nakon dodjele kredita HRZ 1997 provedena su cjelovita konzervatorska istraživanja, nakon kojih je bilo moguće ukloniti naknadne intervancije. Rekonstruirani su i na izvorno mjesto vraćeni svi pregradni zidovi i otvori, te je provedena temeljita sanacija međuprostornih drvenih konstrukcija.