A primeira fortaleza em Ogrodzieniec foi construída já no século 12, no entanto, a forma do castelo admirada pelos turistas hoje é o resultado da restauração patrocinada pelo castelão da Cracóvia Stanisław Warszycki, o proprietário mais famoso do castelo. No entanto, ele é mais lembrado não apenas por sua riqueza e restauração do castelo em ruínas, mas também por sua ganância e crueldade. As tradições orais folclóricas mencionam o castelão, que era tão ganancioso que antes de morrer escondia todas as riquezas para que seus herdeiros nada recebessem. Suas riquezas não foram encontradas até os dias atuais e acredita-se que o fantasma do castelão, assumindo uma aparência de um grande cachorro preto com olhos brilhantes, guarda o tesouro.