Från andra hälften av 1700-talet tillhörde Rogalin familjen Raczyński, som då byggde ett hus åt sig själva. Greve Edward Raczyński, den mest framstående medlemmen av denna familj, var president för republiken Polen i exil på 1980-talet. <br />
Palatset är en filial till Nationalmuseet. Från det enorma palatset är endast en flygel öppen för allmänheten, där det finns flera familjeporträtt, några medaljer och personliga tillhörigheter av greve.
