Sicuramente v'era chi insussurava il papa avere il Vergerio nella Germania contratto sentimenti luterani, parlar con poca riverenza della santa sede, e minacciarla. Certo egli proclamava che i precedenti avessero mal combattuto Lutero: «Contra di lui scrissero già questa gente scioccamente, Silvestro, Catarino, Latomo, Nausea: dite dunque un poco che non so che altro ha da uscire a toccare l'intime viscere di colui dalla penna di un vescovetto discepolo del cardinale di Trento», alludendo, a sè, e forse ai tre libri vulgari, che sappiamo mandò al re di Francia.
      E ben presto Pietro Paolo sentissi o stanco o scoraggiato della poca riuscita; e di Francia scrisse a Ottonello Vida, deplorando i progressi del luteranismo e la scarsa cura che s'avea della vigna del Signore; pensando alle parole del Vangelo Che giova all'uomo se guadagni l'intero mondo e perda l'anima? risolvea di voltare le spalle alle sperate fortune, e «Sarà meglio ch'io venga a coltivare quelle poche viti ch'io ho su quel confine tedesco (voleva dir l'Istria) e veder di circondarle con una buona siepe, e tenerle difese per poterne cogliere qualche frutto da offerire a Dio; che altri si risolvino a voler mettere in lavoro tutta la vigna insieme».
      Il Vida lo confortava a questo partito106, e in effetto il Vergerio era ancor laico, eppure fu fatto vescovo di Modrusc in Croazia, poi di Capodistria sua patria, dove entrò solo nel 1545, nove anni dopo eletto, e dal suo fratello Giambattista vescovo di Pola vi ebbe in un sol giorno tutti gli ordini e l'unzione vescovile.