A fianco del palazzo municipale sorge il palazzo del vescovo, fatto costruire nella seconda metà del Quattrocento dal vescovo Ermolao Barbaro, su progetto e direzione dei lavori dell’ingegnere Michele da Caravaggio insieme al figlio Francesco, sul luogo di un precedente edificio gotico.
Di aspetto imponente e massiccio, si sviluppa attorno ad un chiostro rinascimentale rettangolare con, al piano terra, 22 colonne di marmo rosso di Verona con capitelli a grosse foglie negli angoli, e altrettante nella loggia superiore, con al centro un pozzo.
Nel settembre 1581 il palazzo ospitò per una notte l’imperatrice Maria d’Austria in viaggio, col fratello Massimiliano, dalla Boemia alla Spagna. Dal 1801 al 1805, quando Verona alla parte destra dell’Adige era in mano francese, vi soggiornò il vescovo Giovanni Andrea Avogadro.
Dal 1955 è proprietà comunale.
Nella cappella si può ammirare la Natività di Maria, un affresco del 1534 di Francesco Torbido.