Sorge sulla cima del monte Sario. II primo insediamento sul "toppolo" (punto più alto) si verificò in epoca di imperante paganesimo, prima della diffusione della religione cristiana. Successivamente si espanse verso sud-ovest sul piccolo pianoro. I primi abitanti di Panni erano dediti alla pastorizia e avevano particolare culto per il dio Pan. Strabone, vissuto dal 63 a.C. al 19 d.C., narrando delle città sannite distrutte nella guerra sociale (91 88 a.C.), cita anche Panna, villaggio irpino-sannitico. È' citata anche da Plinio il Vecchio (24?79 d.C.), descrivendola "terra consacrata al dio Pan", abitata da pastori e agricoltori. Convertiti alla religione cristiana, i Pannesi costituirono una piccola comunità appartenente alla sede episcopale della Diocesi di Bovino, tra la fine del VI e l'inizio del VII secolo. Nel 774 d.C., quando nel periodo longobardo la Diocesi di Bovino era suffraganea di quella di Benevento, Panni, con altri territori, fu dal principe longobardo donata a S. Sofia di Benevento. Nel periodo normanno risulta feudo dei Conti di Loretello. Verso il mille, da villaggio di pastori, data la sua posizione strategica, divenne, durante il dominio bizantino, un luogo fortificato o castrum, come risulta dalle Bibbie di Bovino (Codici Vaticani nn. 10510 e 10511) del XI secolo: tra le terre della Diocesi di Bovino vi è anche il "Castrum Pandi". Come luogo fortificato ebbe certamente le mura di cinta, in seguito andate distrutte o per mano dei conquistatori o per l'incremento edilizio o per fatiscenza. Il castello o fortilizio di Panni risalirebbe, secondo alcuni, al tempo dei Normanni; per altri, invece, risalirebbe all'epoca del Vicerè spagnolo Don Pietro di Toledo (1532?1553), che, per difendere le popolazioni dalle incursioni dei Turchi, fece edificare castelli e torri di avvistamento.

Del castello o fortilizio di Panni, dopo il terremoto del 1731, restarono in piedi le due facciate di nord e di ovest: così afferma la tradizione. Oggi resta solo una facciata: l'altra fu abbattuta per ricavare pietre per la costruzione della nuova Chiesa matrice (1830 - 1842). Dopo i Conti di Loretello, altri Signori governarono Panni fino al 1653, quando i Duchi Guevara vennero in possesso di Bovino e dei centri e territori viciniori, compreso Panni. Sebbene nel 1806 Giuseppe Bonaparte avesse alità, la Signoria dei decretata la fine della feudGuevara continuò fino al 1860, quando, realizzata l'Unità d'Italia, i Comuni acquistarono la propria autonomià amministrativa. Fu allora che i contadini poterono acquistare o prendere in fitto le terre demaniali quotizzate. Anche Panni fece l'amara esperienza del brigantaggio, anzi, di questa esperienza anarchica e malavitosa si resero protagonisti due pannesi: Pepe De Furia e un certo Sabato. Nel secolo scorso i Pannesi furono fervidi di iniziative sociali, culturali e religiose. Nel 1842 fu fondata la banda musicale cittadina; verso la fine del secolo, per iniziativa di Bartolomeo Liscio, veniva pubblicato il periodico "La Giovane Panni"; sorse la Società Operaia di Mutuo Soccorso, che per finalità era continuazione del Monte Frumentario, istituzione del passato intesa ad assicurare ai contadini poveri il grano per la semina.

Dal punto di vista religioso, oltre la Chiesa madre e il Santuario della Madonna del Bosco, i Pannesi, sempre nel secolo scorso, eressero diverse chiese non parrocchiali: l'Annunziata, il Purgatorio, S. Vito e il Calvario; e con le chiese sorsero anche le Confraternite.

La pietà e la devozione dei Pannesi sono marcatamente mariane, legate ad un evento particolare: al rinvenimento di una statua lignea della Madonna su un albero di cerro nel vicino bosco, a 7 Km. da Panni. A ricordo di tale evento fu eretta una Chiesa, successivamente diventata Santuario, intitolata a Maria SS. Incoronata del Bosco.

Nel 1503, ad opera di Tommaso Caraffa, Signore di Panni, accanto al Santuario fu costruito il Convento che ospitò gli Agostiniani, a cui fu affidata 1a cura del Santuario.

Dal 1737, anno in cui i Padri Agostiniani abbandonarono il Convento, il Santuario e le proprietà di esso passarono al Parroco di Panni, sia per la cura pastorale che per la gestione amministrativa. Successivamente la Chiesa fu ampliata, ma il Convento, non più utilizzato, andò via via in rovina.
Attualmente vi è un progetto di ripristino dell'antico Convento.

Dopo il 2° conflitto mondiale ci fu un certo risveglio: fu istituita la Scuola Media inferiore, migliorata la condizione sociale, potenziati i servizi pubblici. I mezzi di trasporto consentono un più agevole collegamento con i vicini centri e col Capoluogo e permettono ai giovani il proseguimento degli studi presso le Scuole superiori e, più recentemente, presso l'Università. Anche a Panni c'è stato incremento edilizio nella zona periferica; e negli anni '70 è stata realizzata una nuova strada che collega più agevolmente Panni con i comuni viciniori di Monteleone di Puglia e di Accadia. Anche i Parroci si danno da fare: nel 1952, su interessamento e iniziativa di Mons. Giovanni Senerchia, giunsero a Panni le Suore Vocazioniste per assumere l'impegno educativo nella Scuola materna parrocchiale e offrire collaborazione nelle attività pastorali, così come, sempre per iniziativa di Mons. Senerchia, si provvide a restaurare la Chiesa matrice; nel 1958, in occasione del 50° di Sacerdozio, don Giovanni fece costruire sul campanile la cuspide piramidale con croce luminosa, facendo appello alla generosità degli emigrati e dei fedeli locali.

Sito ufficiale di Panni
Sito ASCD
Sito del "Castello", giornale di Panni
Sito della Diocesi Foggia-Bovino