L'imponente maniero fu costruito tra il 1225 e il 1233 per commissione dell'Imperatore Federico II nella parte più alta della città.
Il Castello ha l'area di un triangolo isoscele con base a sud e vertice a nord e presenta tre torri nel muro meridionale lungo 88 metri: "Quadrata", "Del cavaliere", "Del Salto". Il muro orientale, con merli e due porte, è lungo 107 metri. Nella parte occidentale, che misura circa 110 metri, ci sono i fabbricati e l'antico ingresso un tempo munito anche di ponte levatoio. Al vertice si trova la torre "Dello Sperone", simile alla prua di una nave, dalla quale è possibile ammirare uno stupendo paesaggio. Questa particolare forma del castello gli è valso l'appellativo di "Vascello natante nell'aria".
L'antico maniero è anche conosciuto come il "Gigantesco gioiello di pietra" (così lo definì Bourget. La massiccia Torre Quadra (detta anche "Del Maschio" o "Del Becco") è certamente opera federiciana, mentre le torre cilindriche sono di epoca angioina. Dalla terrazza della torre "Del Cavaliere" è possibile dominare un vasto territorio e le posizioni delle città limitrofe sono indicate su un'apposita lastra marmorea di orientamento. Imponente anche la piazza d'armi, capace di accogliere fino a cinquemila soldati. Ai piedi della Torre Del Salto si trova l'antichissima cripta dei Santi Crisante e Daria, primi protettori della città. Sono i resti della chiesa ipogea fatta edificare intorno alla metà dell'800 dal vescovo Teodosio.