Nel fatto però, veniva anche lui a essere il faccendiere, lo strumento di tutti coloro: essi non mancavano di richiedere ne' loro impegni l'opera d'un tanto ausiliario; per lui, tirarsene indietro sarebbe stato decadere dalla sua riputazione, mancare al suo assunto. Di maniera che, per conto suo, e per conto d'altri, tante ne fece che, non bastando né il nome, né il parentado, né gli amici, né la sua audacia a sostenerlo contro i bandi pubblici, e contro tante animosità potenti, dovette dar luogo, e uscir dallo stato. Credo che a questa circostanza si riferisca un tratto notabile raccontato dal Ripamonti. "Una volta che costui ebbe a sgomberare il paese, la segretezza che usò, il rispetto, la timidezza, furon tali: attraversò la città a cavallo, con un seguito di cani, a suon di tromba; e passando davanti al palazzo di corte, lasciò alla guardia un'imbasciata d'impertinenze per il governatore".
      Nell'assenza, non ruppe le pratiche, né tralasciò le corrispondenze con que' suoi tali amici, i quali rimasero uniti con lui, per tradurre letteralmente dal Ripamonti, "in lega occulta di consigli atroci, e di cose funeste". Pare anzi che allora contraesse con più alte persone, certe nuove terribili pratiche, delle quali lo storico summentovato parla con una brevità misteriosa. "Anche alcuni principi esteri, – dice, – si valsero più volte dell'opera sua, per qualche importante omicidio, e spesso gli ebbero a mandar da lontano rinforzi di gente che servisse sotto i suoi ordini".
      Finalmente (non si sa dopo quanto tempo), o fosse levato il bando, per qualche potente intercessione, o l'audacia di quell'uomo gli tenesse luogo d'immunità, si risolvette di tornare a casa, e vi tornò difatti; non però in Milano, ma in un castello confinante col territorio bergamasco, che allora era, come ognun sa, stato veneto.