Il monastero di Sant’Anna fu principiato dalla Beata Madre del Principe Giovan Battista Tocco alla fine del cinquecento e quest’ultimo, dopo essere andato in Napoli, non possi seguitarlo bensì diede pensiero a D. Francesco Colletti di utilizzare quanto proveniva dalla vendita dei beni del territorio perché si impegnasse in fabbrica, manutenendolo sempre.
Il terreno sul quale venne costruito nel settecento era detto di San Giacopo e nel suo interno oltre al convento stesso conteneva anche Arbori fruttiferi e una vigna ed apparteneva alla chiesa di S. Giacomo Apostolo.
Arcangelo Musto ci segnala che prima del 1551 nel monastero dimoravano li Reverendi Padri Agostiniani ed era un picciolo conventino edificato dentro un bosco e vi erano davanti tutti gli olmi e le teglie.
Paola Mele fa risalire la costruzione del convento e di una chiesa intitolata a S. Maria di Costantinopoli alla fine del XVI secolo, per volere del Principe Giovan Battista Tocco, al fine di destinarla agli Eremitani Scalzi di S. Agostino.
Nel libro della Fundazione del Monastero di Sant’Anna di Monte Miletto redatto nell’anno 1653, viene riportato che dopo la morte di Giovan Battista, il suo erede, il principe Carlo Tocco, essendo venuto in possesso del Glorioso Tesoro del piede di S. Anna che seco menò il suo Bisavolo, quando fù spogliato de domini del Zante, Cefalonia e Despoto dell’Arta, conservato per lungo tempo nel suo castello di Refrancore, pensò detto Principe di completare il convento e di nominarlo sotto il titolo di S. Anna, ottenendo anche l’indulgentia di poter istituire una fiera nel suo giorno.
Il monastero venne definitivamente fondato l’11 novembre del 1637, al fare del giorno celebrarono in detto convento, previo consenso del provinciale Alberto da Capua e di P. Lodovico da Maddaloni, Vicario della Congregazione di S. Marco dei Cavoti, alla quale era destinato il convento e del Rev.mo P. Ridolfi, come appariva dal rogito del notaio Costantino Musto di Montaperto.
Il capitolo provinciale del 1639 lo accettò e sei anni dopo ospitava già una comunità di domenicani della congregazione di San Marco dei Cavoti.
Negli anni successivi alla fondazione, continuarono i lavori di completamento grazie ad altre donazioni concesse da diversi componenti della famiglia Tocco, benemerenze che vennero poi ricordate nelle due lapidi risalenti rispettivamente al 1709 e al 1729.
La struttura a pianta quadrata è munita di un porticato con volte a crociera e di un chiostro con venti colonne in pietra unite tra di loro da archi a tutto sesto. Nel 1723 il giardino venne dotato anche di un bel pozzo circolare in pietra.
Da un certificato redatto dal Priore Domenico di Montella, risulta che il 18 marzo del 1641 nel convento dimoravano sei sacerdoti, quattro giovani clerici e quattro conversi.
All’interno delle lunette laterali del chiostro venne eseguito un complesso ciclo di dipinti murali celebrativi della vita di San Domenico, successivamente coperto da intonaco e riscoperto e restaurato dopo il terremoto del 1980.
Attualmente la struttura è adibita a sede del Municipio.