Od druhé poloviny 18. století patřil Rogalin rodině Raczyńských, která si pak postavila dům. Hrabě Edward Raczyński, nejvýznačnější člen této rodiny, byl prezidentem Polské republiky v exilu v 80. letech. <br />
Palác je pobočkou Národního muzea. Z obrovského paláce je veřejnosti přístupné pouze jedno křídlo, ve kterém je několik rodinných portrétů, několik medailí a osobních věcí hraběte.
