Il primo documento fino ad oggi conosciuto cita la presenza del Castello nel 1216.
Vero e proprio borgo fortificato, il Castello mantenne per molti secoli la sua caratteristica di presidio territoriale, determinato dalla vicinanza del Fosso Bergamasco che nella prima metà del ‘400 divenne confine tra lo Stato di Milano e la Repubblica di Venezia.
Dal ‘500 il Castello è stato una delle residenze principali della famiglia Secco Suardo che, attraverso le varie generazioni ha continuato ad abitarci ed a lasciarvi i segni e le testimonianze delle diverse vicende storiche, professionali e personali.
Oggi il Castello Secco Suardo si presenta come un insieme articolato di corpi edilizi sviluppati attorno alla corte interna a pianta rettangolare e altri edifici collegati direttamente al corpo principale, che circondano il complesso.
Il giardino, trasformato alla fine del XVIII secolo in Orto Botanico, conserva ancora alcune rare e preziose specie di alberi e piante.
Tutto il complesso poggia su una vasta ramificazione di sotterranei e gallerie, con volte a botte e varie bocche di lupo, forse indizio di un diverso livello dell’abitato in epoche antiche.