Giulio Hardouin giunse a Roma nel 1849 con l'esercito francese, durante la Repubblica Romana. Dopo gli scontri trovò rifugio presso Palazzo Altemps, dove incontrò Donna Lucrezia grazie alla quale ottenne il titolo di Duca di Gallese. Si unirono in matrimonio ma purtroppo la sposa morì poco dopo. Il Duca non amò la vita mondana, frequentò spesso il paese di Colonna partecipando attivamente alla vita politica e divenne Consigliere Comunale nel 1857. Amava soggiornare nella villa di famiglia e le sue iniziali "GH" sono ancora visibili sul selciato antistante l'ingresso principale.
In seconde nozze, con la complicità della Principessa Sciarra Colonna, si sposò con Natalia Lezzani, figlia di un marchese. Ebbero due figli tra cui Maria Hardouin di Gallese, prima e unica moglie di Gabriele D'Annunzio. Il Duca non partecipò alla cerimonia, contrariato dalla burrascosa unione. Le tracce della presenza del Poeta si sono tramandate soprattutto nella memoria storica degli abitanti del paese.
Giulio Hardouin morì nel 1905 e venne sepolto nel Cimitero Comunale di Colonna dove una cappella, dall’interno deliziosamente affrescato, accoglie le sue spoglie.

Ritiratosi negli anni senili a Colonna, da lui tanto prediletta, 
qui concluse la sua umana esistenza
circondato dall’affetto degli abitanti di questa generosa contrada.
Luigi M. Hardouin di Gallese, 1967, Colonna (Rm).