Первая крепость в Огродзенеце была построена еще в 12 веке, однако форма замка, которым восхищаются сегодня туристы, является результатом реставрации, спонсированной краковским кастеляном Станиславом Варшицким, самым известным владельцем замка. Тем не менее, его лучше всего помнят не только за его богатство и восстановление ветхого замка, но также за его жадность и жестокость. В народных устных преданиях упоминается кастелян, который был настолько жадным, что перед смертью спрятал все богатства, чтобы его наследники ничего не получили. Его богатства не были обнаружены до наших дней, и считается, что призрак кастеляна, приняв вид большой черной собаки с горящими глазами, охраняет сокровища.
