Costruito nel XVI secolo, il palazzo, avente un classico impianto ad U, possiede anche un giardino, costruito insieme all’edificio e considerato uno degli esempi più belli di giardino all'italiana. Esso è stato modificato più volte nel corso della sua lunga vita ed inoltre particolarmente curato dopo la seconda guerra mondiale (molte piante erano state praticamente stroncate). Vi trovò sede per lungo tempo l'Accademia Filarmonica che poi costruì il Teatro Filarmonico. Il giardino, creato alla fine del 1400, si presenta oggi nella struttura datagli nel 1570 da Agostino Giusti, Cavaliere della Repubblica Veneta e Gentiluomo del Granduca di Toscana. La parte più antica del giardino è stata impostata geometricamente, vicino alle fonti d'acqua, ed è chiuso da una fila di cipressi, tra i quali vi è il cipresso di Gothe, vecchio di oltre seicento anni e ammirato da Wolfang Gothe nel 1786 e citato in "Viaggio in Italia" del 1817.