Il Castello di Caidate ha come centro più antico una torre alto-medioevale intorno alla quale nel XIV secolo  fu costruito un corpo di fabbricato con cortile da un ramo della famiglia Visconti.

Nel XVII secolo fu ampliato con l’agggiunta di un portico a colonne binate dalla famiglia Bigli erede del castello nel 1612. Ulteriori aggiunte furono fatte dalla famiglia Confalonieri verso il 1850.