Nel 1531 iniziarono i lavori di restauro della rocca precedente, voluti da Beatrice Farnese e dal genero Sforza Marescotti, a cui si deve l'aspetto attuale del castello. Il progetto viene attribuito ad Antonio da Sangallo il Giovane. Il castello è stato ricavato dalla rocca medievale, originaria del IX secolo, ad opera dei Benedettini, ma che subì varie distruzioni durante il corso dei secoli. Il castello presenta quattro bastioni angolari e un profondo fossato. Nel 1611 venne realizzato il giardino per volontà di Ottavia Orsini. È situato ad est del palazzo, e si compone di un "giardino di verdure" su uno spazio pianeggiante rettangolare conservato ancora oggi. È formato da dodici parterre contornati da siepi miste di viburno, lauroceraso, alloro, bosso con all'interno altre siepi di bosso che formano alcuni disegni, quelle centrali riportano le iniziali di Ottavia Orsini e dei figli Sforza, Vicino e Galeazzo. Ai vertici dei parterre spiccano delle piante di limone contenute in antichi vasi di terracotta. Al centro è collocata una peschiera contornata da balaustra. Facevano parte del complesso anche il giardino segreto posto a un livello più basso, mentre sul lato sud vi erano il barchetto e il barco usati per le battute di caccia.