I topografi moderni sostengono che Valmontone occupi oggi l'area dell'antica Tolerium. Il nome attuale, appare per la prima volta in documenti del secolo XII, e designa un borgo di proprietà del Capitolo della basilica lateranense. Questa chiesa, un tempo ricchissima, vendette il borgo nel 1208 ad Innocenzo III, della casa Conti, ed al fratello di lui, Riccardo, conte di Sora, il quale ne divenne feudatario e fu il capostipite del ramo di Valmontone e di Segni.
      I Conti rimasero signori di questo luogo sino al 1575, nel quale anno si estinsero. Giovanni Battista, l'ultimo capo della casa, non lasciò che una figlia, Fulvia, che portò in dote tutti i beni di famiglia agli Sforza. Gli Sforza vendettero Valmontone nel 1634 ai Barberini, e Camillo Pamphili, nipote[147] d'Innocenzo X, lo comperò dal cardinale Francesco Barberini nel 1651. Da allora è rimasto proprietà della casa Doria-Pamphili.
      Camillo, uno dei principi più ricchi del secolo XVII, in grazia specialmente della rapacità della madre Olimpia Maidalchini, una vera arpia, fece edificare il palazzo e la chiesa di Valmontone. Anche se non si sapesse in quale tempo furono costruiti questi due edifici, basterebbe un'occhiata per apprenderlo, essendo entrambi in stile del Bernini, e riportando il visitatore verso l'architettura romana del XVII secolo. Contemplando gli edifici, non si direbbe di trovarsi davanti ad un castello della campagna romana, ma piuttosto dinanzi al palazzo Pamphili ed alla chiesa di S. Agnese, in piazza Navona.