Il Castrum Columnae viene menzionato per la prima volta nel 1047 ma è con Pietro dei Conti del Tuscolo, nel 1101, che inizia la storia della famiglia Colonna, una delle più illustri di Roma. In questo luogo una colonna antica ha dato nome sia alla terra che alla nobile casata.
Tuttavia nel 1298 il destino del castrum fu segnato da un evento cruciale, quando la fortezza medioevale fu rasa al suolo per ordine di Papa Bonifacio VIII (1294-1303), a seguito di un’aspra disputa. 
Solo tra il XIV e il XVI sec. avvenne l’opera di ricostruzione. 
L’edificio storico ha attraversato diverse epoche e ha assunto svariate funzioni: da fortezza a prigione, fino a essere designato come sede dell'amministrazione giudiziaria, ottenendo così l'appellativo di Palazzaccio. Oggi, custode di memorie antiche che narrano di papi, nobili e amministratori feudali, Palazzo Colonna continua a emanare un'aura di grandiosità e potenza armoniosa.
Un dettaglio curioso riguarda l'orologio che adorna la torre e che ha scandito il ritmo della vita della comunità per generazioni: un abile orologiaio era responsabile di mantenere in funzione il complesso meccanismo, per il quale i cittadini pagavano una tassa.

Molte cose che già caddero, rinasceranno.
Orazio, Ars Poetica.