Il Castello sorse sul luogo di una fortificazione citata dal X secolo. Entrò a far parte dei beni del Capitolo della Cattedrale di Bergamo. Fu acquisito dal Colleoni nel 1470. Venne ricostruito a partire dal 1597 dai suoi discendenti Martinengo Colleoni, che lo trasformarono in un castello residenza. Nel secolo seguente venne decorato da affreschi ed arricchito da uno scalone.