L'anfiteatro romano risale tra la fine del I secolo e l'inizio del II. Di forma ellittica poteva contenere fino a 8 - 10.000 persone, con ampiezza di arena peri a m. 72 x 43. lo scheletro della costruzione è in mattoni e opus reticulatum, mentre il rivestimento era in pietra arenaria locale. Quattro erano gli accessi all'arena, tra i quali si aprivano 16 vomitori , quattro per ogni spicchio della costruzione, attraverso cui si accedeva al podium, ovvero alla piattaforma sopraelevata che circondava l'arena. Le gradinate, verticalmente, erano divise in 16 sezioni ( cunei) longitudinalmente, divise in tre zone ( maeniana). Nel 1333 l'anfiteatro divenne proprietà di Bernardo Tolomei da Siena, fondatore degli Olivetani. Con la costruzione del convento e del monastero degli Olivetani, successivamente delle mura medicee, e dell'ampliamento alla fine del Settecento del Seminario, l'anfiteatro servì da cava di pietre, per tutte queste costruzioni.
L'anfiteatro, distrutto e interrato per una buona parte, venne riportato alla luce tra il 1914 e il 1926; con la costruzione dell'ingresso avvenuta nel 1926-27.