Dalla grande piazza si accede al cortile del palazzo attraverso un ponte che sorpassa la roggia Gambaresca. Le spallette del ponte sono sostituite da due balaustre alle estremità delle quali poggiano quattro grosse palle. Oltre la strada sorge il muro di difesa coronato da una balaustra in pietra, il palazzo è nato, infatti, come struttura fortificata.

Nel muro si aprono tre cancelli: due all'estremità hanno più l'aspetto di porte pedonali chiuse fra due possenti pilastri a larghe fasce di pietra; quello centrale è più accogliente, arricchito da pilastri bugnati in pietra di Botticino portanti due statue barocche di Minerva e Marte del Callegari. Altro cancello barocco è posto più a monte a dare accesso al giardino superiore.