La costruzione del noto complesso architettonico, dimora della nobile famiglia Ferretti, sede del Museo dal 1958, risale alla metà del cinquecento. Il prospetto esterno è opera di Antonio da San Gallo il Giovane, architetto civile e militare attivo ad Ancona negli anni '40 del 1500.

La decorazione del piano nobile, commissionata dal conte Angelo di Girolamo Ferretti, fu realizzata dal pittore manierista Pellegrino Tibaldi e aiuti poco dopo il 1560 vennero realizzati elaborati soffitti lignei, furono affrescate le pareti del salone principale e di diversi ambienti ad esso collegati: la sala degli emblemi, la sala dei miti, la sala del labirinto. Il 3° piano presenta soffitti affrescati con grottesche, paesaggi fantastici, mostri, figure mitologiche e mascheroni nello stile romano tardo cinquecentesco (Federico Zuccari, Luzio Luzi?).

Nel 1759 l'edificio originario fu ristrutturato, probabilmente su progetto di Luigi Vanvitelli, con l'ampliamento della facciata, la costruzione del balcone, del portale centrale, dello scalone d'onore e del terrazzo pensile, con portico e logge soprastanti. Tale ampliamento fu arricchito da statue e busti probabilmente della bottega anconetana di Gioacchino Varlè (1731-1806). Sempre del '700 le raffinatissime volte a grottesche di alcuni salottini del 3° piano.

Il palazzo è stato oggetto di diversi interventi di restauro: negli anni 1928-1931 per conto della famiglia Ferretti che affidò i lavori all'architetto milanese Tornaghi nei primi anni '50, a seguito dei bombardamenti aerei infine negli anni '70-'80, dopo il sisma anconitano del 1972.