A 18. század második felétől Rogalin a Raczyński családhoz tartozott, akik aztán házat építettek maguknak. Edward Raczyński gróf, a család legkiválóbb tagja, a nyolcvanas években a Lengyel Köztársaság száműzetésben lévő elnöke volt. <br />
A palota a Nemzeti Múzeum fióktelepe. A hatalmas palotából csak egy szárny nyílik a nagyközönség előtt, amelyben több családi portré, néhány érem és gróf személyes tárgyai láthatók.