Ma per essere Carlo implicato nelle guerre di Sicilia, e per ciò non potendo venire a prendere la signoria, vi mandò Gualtieri di nazione franzese e duca di Atene. Costui, come vicario del signore, prese la possessione della città, e ordinava i magistrati secondo lo arbitrio suo. Furono non di meno i portamenti suoi modesti, e in modo contrari alla natura sua, che ciascuno lo amava. Carlo composte che furono le guerre di Sicilia, con mille cavalieri ne venne a Firenze, dove fece la sua entrata di luglio l'anno 1326; la cui venuta fece che Castruccio non poteva liberamente il paese fiorentino saccheggiare. Non di meno quella reputazione che si acquistò di fuora si perdé dentro, e quelli danni che dai nimici non furono fatti, dagli amici si sopportorono: perché i Signori senza il consenso del Duca alcuna cosa non operavano, e in termine di uno anno trasse della città quattrocentomila fiorini, non ostante che, per le convenzioni fatte seco, non si avesse a passare dugentomila: tanti furono i carichi con i quali ogni giorno o egli o il padre la città aggravavano. A questi danni si aggiunsono ancora nuovi sospetti e nuovi nimici; perché i Ghibellini di Lombardia in modo per la venuta di Carlo in Toscana insospettirono, che Galeazzo Visconti e gli altri tiranni lombardi, con danari e promesse, feciono passare in Italia Lodovico di Baviera, stato contro alla voglia del Papa eletto imperadore. Venne costui in Lombardia, e di quivi in Toscana; e con lo aiuto di Castruccio si insignorì di Pisa; dove, rinfrescato di danari, se ne andò verso Roma; il che fece che Carlo si partì di Firenze, temendo del Regno, e per suo vicario lasciò messer Filippo da Saggineto.