Appresso gli venne volontà di ritornare a Fiorenza dove dimorò alcuni mesi; e lavorò alle donne di S. Ambruogio allo altar maggiore una bellissima tavola, la quale molto grato lo fece a Cosimo de' Medici, che per questa cagione divenne suo amicissimo. Fece anco nel capitolo di Santa Croce una tavola, la qual finita che fu, ne fece un'altra che fu posta nella cappella in casa Medici, e dentro vi fece la Natività di Cristo; lavorò ancora per la moglie di Cosimo detto una tavola con la medesima Natività di Cristo e San Giovanni Batista, per mettere all'ermo di Camaldoli, a una cella de' romiti fatta per divozion sua, intitolata San Giovanni Batista; et alcune storiette che si mandarono a donare per Cosimo a Papa Eugenio quarto veniziano. Laonde fra' Filippo molta grazia di questa opera acquistò appresso il papa. Dicesi ch'era tanto venereo, che vedendo don,ne che gli piacessero, se le poteva avere, ogni sua facultà donato le arebbe; e non potendo, per via di mezzi, ritraendole in pittura, coi ragionamenti la fiamma del suo amore intiepidiva. Era tanto perduto dietro a questo appetito, che all'opere prese da lui, quando era in questo umore, poco o nulla lavorava. Onde una volta fra l'altre, Cosimo de' Medici, faccendoli fare una opera in casa sua, lo rinchiuse perché fuori a perder tempo non andasse, ma egli statoci già due giorni, spinto dal furore amoroso, una sera con un paio di forbici fece alcune liste de' lenzuoli del letto, e da una finestra calatosi, attese per molti giorni a' suoi piaceri.