Il paese sorge su un colle ai piedi di monte Gennaro. Non si hanno notizie certe sulla sua origine. Menzionato per la prima volta nel 1209, il Castrum Palombarum può essere nato alla fine del secolo X o all' inizio dell'XI. Un ramo dei Crescenzi di Sabina ebbe nel secolo XI il titolo di "Conti di Palombara".
Nel 1276 il feudo passò ai Savelli. Sottoposto a numerosi assedi, cambiò più volte di mano tra gli Orsini e i Savelli, che ne reclamavano il possesso per la posizione strategica.
Nel 1556 la città subì un nuovo saccheggio e una parte del castello venne distrutta dall' incendio appiccato dal duca d' Alba, nella guerra tra Paolo IV e gli Spagnoli.
Tuttavia il castrum non fu mai abbandonato e vide crescere la sua popolazione fino a diventare, in epoca moderna, un capoluogo di governo dello Stato Pontificio.
Palombara si costituì in comune nel 1870.