Le prime notizie storiche del Castello risalgono al X secolo con l’inizio dell’incastellamento e la formazione del primo nucleo abitativo del paese.
Intorno all’anno Mille il Castello era costituito dalla sola Torre dei Normanni, che dominarono Campolattaro dal 1043 al 1139, a presidio e difesa dei luoghi circostanti.
L’architettura vera e propria del Castello inizia nel XIII secolo, e da questo periodo in poi si susseguono vari proprietari. Nel 1500 viene edificata l’annessa Cappella palatina.
Oggi il Castello, di proprietà privata, è oggi sede di un bed and breakfast ed è visitabile su prenotazione.