Tosto però che Galeazzo si vide rassodato nei domini ereditati dal padre, colle sue maniere tiranniche, colle tasse esorbitanti, si fece esoso ai Milanesi, i quali correvano agevolmente a desiderare la libertà dell'antico viver civile. Marco, mal sofferendo anch'esso l'impero del fratello che voleva dominar solo in uno Stato conservato ed accresciuto da lui a prezzo del proprio sangue, si unì ai malcontenti per procurare qualche novità; e quando i capi ghibellini di molte città d'Italia andarono a sollecitare Lodovico il Bavaro imperatore eletto, perchè calasse quaggiù a loro difesa, Marco (secondo raccontano alcuni cronisti) si recò con essi a Trento, ed accusò il fratello presso quel principe, di tener segreti maneggi col pontefice per riconciliarsi colla Chiesa, e tradir la causa dei ghibellini e dell'Impero. Fu in conseguenza di tale accusa, seguitano a dire i medesimi cronisti, che Lodovico giunto a Milano fece porre le mani addosso a Galeazzo, al suo figlio Azzone e ai due fratelli Luchino e Giovanni; e fattili chiudere nelle prigioni della rôcca di Monza, riformò la terra sotto la signoria d'un suo Vicario, il barone Guglielmo di Monteforte.
      V'ha però più d'uno scrittore contemporaneo che asserisce invece essere stato lo stesso Marco fatto arrestare dal Bavaro, e porre in carcere coi fratelli e col nipote; alcuno poi dice che a lui sia riuscito di fuggirne; alcun altro pretende che sia stata fatto rilasciar dallo stesso Lodovico.
      Quello che v'ha di certo si è, che poco dopo, allorquando l'imperatore dalla Lombardia passò in Toscana e quindi a Roma, dove commise la troppo famosa stoltezza di far deporre il papa Giovanni XXII per nominare un altro papa secondo il cuor suo, Marco Visconti era del suo seguito e in grandissimo favore; e anzi non lasciava di sollecitarlo per sè stesso e col mezzo degli amici, e specialmente di Castruccio Castracani Signore di Lucca, perchè cavasse i suoi congiunti di tanto stento.