Renæssancearkitekten Hercules von Oberbergs eget hus på den tidligere slotsgrund i Haderslev blev i 1993 opmålt og registreret med det formål at etablere boliger i huset. Fundet af usædvanlig fine kalk- og panelmalerier bevirkede at huset kunne indrettes til bymuseum. Det er med sin genskabte renæssanceplan nu overdraget til museet.