Generalną przebudowę rezydencji, włącznie z gmachem północnym, zamierzał przeprowadzić około 1850 r. ówczesny właściciel majątku, Wincenty Kalkstein. Zamiaru tego jednak nie zrealizował i w 1853 r. sprzedał Gołuchów Janowi Działyńskiemu herbu Ogończyk, synowi właściciela Kórnika. Jan Działyński z zapałem kontynuował rozpoczętą przez Kalksteina naprawę gołuchowskiej gospodarki. Zajął się także upiększaniem najbliższego otoczenia zamku, prowadząc prace przy urządzaniu parku. W samej rezydencji wykonał niezbędne remonty południowego budynku, bowiem majątek nie przynosił dochodów pozwalających na wielkie inwestycje.
Prace przy ulepszaniu i urządzaniu zamkowych komnat nabrały tempa około 1857 r., kiedy Jan Działyński poślubił córkę księcia Adama Czartoryskiego, Izabelę. Wyposażony odtąd w cenne meble i ozdobiony obrazami żony Jana Działyńskiego zamek gołuchowski stał się ich domem w czasie pobytu w kraju. Prace ustały w latach 1863-1869, kiedy po udziale w powstaniu styczniowym właściciel Gołuchowa zmuszony został do emigracji, a majątek wraz z zamkiem objęły sekwestrem władze pruskie.
Działyńscy zamieszkali w Paryżu, w należącym do Czartoryskich Hotelu Lambert, do kraju powrócić mogli dopiero po sześciu latach. Niezamieszkany przez kilka lat zamek wymagał generalnego remontu, a głównym problemem była wymiana dachu. Jan Działyński, który po śmierci ojca był również właścicielem Kórnika, zdawał sobie sprawę, że nie będzie w stanie zatrzymać obu majątków, gdyż stare rezydencje wymagały każdego roku znacznych nakładów. Kłopot dotyczył zwłaszcza Gołuchowa, w którym planowano założyć ogród wedle własnej wizji i przywrócić świetność staremu zamkowi.
Ratunek dla Gołuchowa widział Działyński w przejęciu majątku na własność przez jego żonę, Izabelę. Po wielu rozmowach i pertraktacjach, nie bez obaw, w 1871 r. Izabela z Czartoryskich Działyńska zadecydowała o kupnie majątku od męża i urządzeniu tutaj wygodnego domu dla nich obojga. Dodatkowym argumentem był fakt, że kórnickiego zamku Izabela nigdy nie lubiła, a w odrestaurowanej wedle swego gustu gołuchowskiej rezydencji mogła także umieścić bogate, zgromadzone w Paryżu zbiory.
Od tego momentu, prowadzone dotąd nieduże remonty ustąpić miały generalnej, poprzedzonej pracami projektowymi, restauracji starego zamku. Sięgające czasów średniowiecza założenie przeobrazić się miało w wygodną rezydencję. Pracowano również intensywnie nad planami dotyczącymi ogrodów oraz innych budowli niezbędnych do prawidłowego funkcjonowania przyszłej siedziby. Do jej obszaru włączone zostały tereny leżące po drugiej stronie rzeki Trzemy, młyn na Dybulu i sięgające brzegów lasu nieużytki. W obręb przyszłego parku włączono także leżącą na południu kaplicę oraz gorzelnię. W tej ostatniej urządzono w latach 1872-1875 tymczasowe mieszkanie właścicieli na czas budowy rezydencji.
Na podstawie koncepcji sporządzonej w Paryżu przez czołowego konserwatora architektury Eugène’a Viollet-le-Duca projekty restauracji zamku opracował najpierw Józef Kajetan Janowski, a później Zygmunt Gorgolewski. Prace konsultowane były przez obojga Działyńskich, którzy mieli głos decydujący, zarówno przy rozstrzyganiu zagadnień związanych z funkcją, jak i najdrobniejszymi architektonicznymi detalami. Roboty przy zamku rozpoczęto w 1876 r., a ich trwająca 10 lat realizacja prowadzona była przy udziale rzemieślników polskich i francuskich oraz francuskich artystów i konserwatorów. Prawą ręką Izabeli był przybyły z Paryża do Gołuchowa (i tu osiadły) w 1874 r. Ludwik Breugnot. Malarz z wykształcenia, później nie tylko nadzorował kolejne budowy, ale także sporządzał koncepcje rozbudowy oficyny w latach 1890-1896.
