Der Bau des Palazzos wurde Brunelleschi 1448 von Luca Pitti in Auftrag gegeben. Ursprünglich war ein sehr viel kleineres Gebäude vorgesehen, er wurde jedoch von den Medici vergrössert, als er 1549 von Cosimo I de' Medici und seiner Gattin Eleonore von Toledo erworben wurde.

Aus dieser Zeit stammt auch der von Ammanati gestaltete wunderschöne Innenhof. Im Laufe der Jahrhunderte erfuhr der Palazzo zahlreiche Umgestaltungen. Hier wohnten die Lothringer, und als Florenz Hauptstadt Italiens war, war er Sitz des Hofs der Savoyer.

Heute befinden sich in seinen Räumen verschiedene Museen und Galerien, die wichtigste die Galleria Palatina, aus den Privatsammlungen der Grossherzöge mit Meisterwerken aus dem 15. bis 17. Jahrhundert, darunter Werke von Tizian, Giorgione, Raffel, Rubens.

Die anderen Museen sind: Galleria d'Arte Moderna, Museo degli Argenti (Silber), Galleria del Costume (Trachten), Museo delle Carrozze (Kutschen), Museo delle Porcellane (Porzellan), Kollektion Contini Bonacossi, königliche Wohnung und Wohnung der Herzogin von Aosta.