Ab der zweiten Hälfte des 18. Jahrhunderts gehörte Rogalin der Familie Raczyński, die sich damals ein Haus baute. Graf Edward Raczyński, das angesehenste Mitglied dieser Familie, war in den 1980er Jahren Präsident der Republik Polen im Exil. <br />
Der Palast ist eine Zweigstelle des Nationalmuseums. Von dem riesigen Palast ist nur ein Flügel für die Öffentlichkeit zugänglich, in dem sich mehrere Familienporträts, einige Medaillen und persönliche Gegenstände des Grafen befinden.