La costruzione del castello fu avviata per la prima volta nel XIV secolo, dalla dinastia dei Visconti. La fortezza venne poi significativamente ampliata negli anni a venire e, quando il capitano di ventura Francesco Sforza si proclamò signore di Milano, scelse di farne la propria residenza. È in tale periodo (verso la metà del Quattrocento), che il castello assume la maggiore estensione e in certa misura anche la forma attuale, per quanto le dominazioni straniere, che nei secoli successivi si alternarono al governo della città, apportarono sensibili modifiche al complesso originale.
Ma il ridisegno saliente venne da Napoleone: già nel 1796 al suo ingresso in città, infatti, balenò nella sua mente l'idea di abbattere il castello, simbolo della " più antiqua tirannide" che aveva retto Milano. Tanto disse e tanto fece che con un decreto del giugno 1800 ne ordinò l'effettiva demolizione (fortunatamente, solo in parte attuata) che iniziò a partire dall'anno successivo.
Una proposta di abbattimento venne avanzata in città anche a seguito dell'annessione al Regno d'Italia, ma il castello rimase ancora una volta al proprio posto e oggi è uno dei simboli più caratteristici e riconosciuti della città di Milano.
La cinta di fortificazione esterna del castello (detta della Ghirlanda) venne abbattuta, come detto, nel corso dell'Ottocento e ciò che oggi resta visibile è la parte più antica della fortezza, quella trecentesca e quattrocentesca. La struttura è a pianta quadrata, ciascun lato misura circa 200 metri. Ai quattro angoli stanno delle torri (due cilindriche, due quadrangolari), ognuna di queste orientata in base ai punti cardinali. A circondare Il castello è ancora oggi ancora l'antico guasto, il fossato, che poteva essere allagato in caso di assedio o comunque di pericolo.
A dominare l'edificio sta poi la torre cosiddetta del Filarete, dal nome del suo architetto, caratterizzata da un impotente mastio sormontato da merlature ghibelline e da una ulteriore torretta, più stretta, sulla quale compare un grande orologio. In cima al tutto sta una deliziosa loggetta ottagonale coperta da un cupolino.
Particolarmente significativa è la cosiddetta Ponticella di Ludovico il Moro, un ponte che in passato collegava gli appartamenti ducali alle mura della Ghirlanda. Tale costruzione è attribuita al Bramante.