Storicamente richiamato al re normanno Ruggero II, il Castello sorge nel 1131 su già collocate strutture abitative bizantine e, dopo il grande intervento di Guglielmo I il Malo, viene ricostruito da Federico II di Svevia tra il 1233 e il 1240. Nella seconda metà del XIII secolo, Carlo d’Angiò attua un programma di recupero allo scopo di rinforzare l’ala nord del Castello, al tempo sfiorato direttamente dal mare.
Nel XVI secolo, Isabella D’Aragona e la figlia Bona Sforza trasformano radicalmente il Castello, adeguandolo allo sviluppo dell’artiglieria pesante con la costruzione di una possente cinta muraria bastionata intorno al nucleo normanno svevo, e allo stesso tempo ingentilendo l’interno del complesso.
Nei secoli a seguire, in particolare durante la dominazione borbonica, il Castello subisce un sostanziale abbandono, divenendo prima carcere e poi caserma. Solo nel 1937 diventa sede della Soprintendenza ai Monumenti e alle Gallerie di Puglia e Basilicata.
Nel 2017, a seguito di lavori di restauro e musealizzazione, gli uffici della Soprintendenza vengono trasferiti e il Castello viene integralmente restituito alla pubblica fruizione.