Il castello “vecchio” dei Perollo, di epoca normanna, fu eretto dal Gran Conte Ruggero e le sue mura circondavano la vecchia città. Durante il Caso di Sciacca, nel 1529 quando era sotto il dominio dei Perollo, il Castello venne distrutto totalmente dai partigiani di Sigismondo. Esso si trova tra Porta San Pietro, Porta Bagni (vicino la quale si trovava la porta principale, detta del Cotogno) e il Monastero di Santa Caterina. Delle tre entrate originali, oggi rimane soltanto quella occidentale dalla quale si accede all’attuale cortile Chiodi. Anni addietro, dal cortile Carini o da via Valverde era possibile vedere la torre di sud-est, poi trasformata in casa privata.