A partire dal X secolo d. C. la storia di Fumone è strettamente legata a quella della Chiesa.
Inespugnabile, la Rocca di Fumone fu usata dai Papi per oltre 500 anni come antiguardo verso il mezzogiorno e prigione pontificia per prigionieri politici.
L’episodio più importante avvenuto nel castello di Fumone avvenne nel 1295 quando vi fu rinchiuso  il santo Papa Celestino V, che vi morì dopo dieci mesi di dura prigionia.
Il pontificato di Celestino durò pochi mesi,  il suo animo puro entrò presto in contrasto di coscienza con le decisioni politiche che spesso dovevano essere fatte nell’interesse della Chiesa, e dopo un tormentoso travaglio Celestino V rinunciò alla tiara abdicando. Al suo posto venne eletto papa Bonifacio VIII.
Il nuovo pontefice resosi presto conto della illegittimità della sua elezione decise di recluderlo in una prigione pontificia di massima sicurezza. Fu così che il sant’uomo venne rinchiuso nel Castello di Fumone e vi morì il 19 maggio del 1296 compiendo nel luogo dove visse 10 mesi, il suo primo miracolo da morto.
Da allora il castello, che aveva sempre avuto caratteristiche di natura militare, divenne anche un luogo spiritualmente importante.
Nel corso del 1500 il castello di Fumone perse la sua importanza militare e  senza più lavori di manutenzione  andò decadendo.
Fu così che nel 1584 papa Sisto V decise che, essendovi morto Celestino V, il castello andava conservato come memoria storica, e lo affidò ad una famiglia aristocratica romana : i marchesi Longhi. Il castello di Fumone nei secoli fu trasformato dalla famiglia Longhi in propria residenza di campagna, costruirono il gigantesco giardino pensile, ampliarono il palazzo aggiungendo al mastio la parte seicentesca del Piano Nobile, e settecentesca confinante con il giardino.
Nel 1990 i marchesi Fabio e Stefano, attuali proprietari del Castello di Fumone, lo hanno aperto al pubblico e secondo lo spirito di sempre e la secolare tradizione aderiscono a tutte le iniziative che vanno nel nome e a favore di S.Pietro Celestino

Se esistono i fantasmi, il Castello Fumone, con i suoi 1000 anni di storia di cui 500 come prigione dello stato pontificio, ne è certamente un covo.