L’edificazione del castello di Montemiletto rientra nel vasto processo di incastellamento messo in atto su iniziativa signorile che nel basso medioevo ha interessato gran parte della valle del fiume Sabato allo scopo di riorganizzare il precedente modello di insediamento basato sugli abitati sparsi riferibili ad un assetto risalente all’epoca romana, al fine di sostituirli con quelli d’altura più sicuri e protetti in aree racchiuse, e al contempo poter esercitare un controllo diretto sulla principale via di transito tra la Campania costiera e la Puglia.

Costruito su di una vetta collinare calcarea, dominante sulle valli sottostanti, oggi è costituito da un impianto a pianta irregolare a forma vagamente pentagonale.

Il maniero si presenta munito di due alte torri angolari cilindriche di tipo angioino, di una quadrata detta torre dell’orologio, e di una terza, sempre a forma cilindrica che ora risulta inglobata all’interno di una struttura riadattata a terrazzo nella parte più alta, oltre a lunghe e alte cortine murarie in alcuni casi rinforzate con piccoli contrafforti.

Anche se non esistono fonti documentarie a tale riguardo, è alquanto verosimile che il primo fortilizio sorse già tra l'VIII e il IX secolo e cioè durante la dominazione longobarda.

Nel 1119 il castello venne distrutto e fatto incendiare, insieme a quello di Montaperto, da Rainulfo il Conte di Alife cognato di Guglielmo il Duca di Puglia durante la guerra combattuta contro Giordano il Conte di Ariano.

Nello spazio ora adibito a corte, infatti, durante i saggi esplorativi condotti dalla Soprintendenza Archeologica di Avellino, sono stati rinvenuti i resti di almeno quattro ambienti oltre ad un piccolo lembo di rivestimento pavimentale realizzato con blocchi di calcare legati tra loro con malta biancastra oltre alla presenza molto diffusa di tracce di combustione; tale piano pavimentale ha poi coperto un terreno molto compatto databile, grazie al ritrovamento di numerosi frammenti di ceramica a bande larghe rosse e marroni, ad un periodo compreso tra il VII-VIII o al massimo al IX sec d.C.

Nel corso del tempo e cioè dopo svariati secoli dalla sua edificazione, il castello ha subito moltissimi interventi e ristrutturazioni che hanno profondamente mutato il suo aspetto originario, modifiche quasi sempre da ricondurre alle sue diverse destinazioni d'uso molte delle quali sono sicuramente avvenute in età angioina e poi in epoca rinascimentale trasformando la struttura, inizialmente adibita a fortilizio, in un palazzo gentilizio.

Il castello si sviluppa così su quattro distinti livelli: il più basso è quello relativo ai locali delle stalle, poi vi è il pianoterra dove sono ubicate alcune cantine e la corte lastricata, il primo piano con il grande salone, sulla cui porta d’ingresso era stato collocato un raffinato stemma in marmo della famiglia Tocco, e in ultimo il piano più elevato.

Il complesso architettonico, così come lo conosciamo ora, risulta quindi costituito da un multiforme corpo di fabbrica caratterizzato nelle cortine murarie da diverse tipologie costruttive, relative a più fasi racchiuse tra torri quadrangolari e cilindriche.

La planimetria  attuale presenta tre corpi contigui aggiunti ad un primo nucleo costituito dalla torre quadrata, il donjon (Mastio), il nucleo più antico del complesso attualmente visibile, ovvero la struttura più alta e preposta alla difesa del complesso che inizialmente poteva avere anche funzioni abitative e che in ultimo, verosimilmente in età borbonica, venne adibita a carcere.

Grazie ad una platea del 1507, sappiamo che nel castello di Montemiletto vi era anche una cappella della Santa Croce, le torri erano dotate di merli e rivellini, vi era un giardino pensile con cisterna.

Il portale monumentale è stato realizzato nel 1637 dai cittadini di Montemiletto in onore del Principe Carlo Tocco. L’opera architettonica è costituita da un grande portale realizzato in pietra locale munito di arco inquadrato nella parte alta da due lesene modanate e da cinque merli compositi posti su di una grande cornicione aggettante.

L’accesso all’area del centro storico avviene tramite un’alta volta a botte coperta da un tetto a due falde con terminali  a coppi.

Dal centro del cornicione sporge uno scudo gentilizio della famiglia Tocco, affiancato alle estremità da due stemmi con l’emblema araldico di Montemiletto.

Nella parte sottostante è stata incisa una grande scritta commemorativa in lingua latina:

Carolo Tocco Principe                                                       Aurei Velleris Equite Regio^q Con.^rio Benemeriti Mons Militu Cives Exstructo Aere Pub^co            Telonio Fucatis^q Menibus

                                                                                          Erexere A.D. M.D.C. XXXVII.

Secondo una recente interpretazione il testo potrebbe essere spiegato nel seguente modo: “ (in onore del) Principe Carlo Tocco, cavaliere del vello d’oro e consigliere reale, scacciato dalle mura (dal greco), i benemeriti cittadini di Mons Militum, (lo) eressero nell’anno del Signore 1637 (avendolo) finanziato con danaro pubblico (proveniente dalle) tasse”.