Le vicende che portarono all’abbandono dell’antica cittadella del Cotone sono sconosciute ai più. Indicato come borgo, città, corte o castello, era situato all’estremità settentrionale del territorio Comunale di Scansano, sullo spartiacque fra l’Ombrone e l’Albegna, sulla riva del torrente Senna, che getta le sue acque nel Trasubbie. L’ipotesi che l’insediamento fosse di origine romana, supportata dal ritrovamento, in una località vicina, Pian d’Orneta, di monete romane, è una ipotesi di cui, fin’ora, non si hanno fonti documentarie certe. Nella zona del castello sono state trovate, occasionalmente, anche monete fiorentine risalenti alla fine del decimo secolo e dello Stato Senese. Fonti storiche attestano che nei primi decenni del Duecento, la comunità del Cotone riconoscesse al Vescovo di Sovana un tributo annuo. Poco più di un secolo dopo, la famiglia dei Maggi, che in seguito assumerà l’appellativo di Cotoni, e che dominava su queste terre, pose il castello del Cotone e quello di Montorgiali sotto la protezione dello Stato Senese. Sul finire del Trecento un congiurato contro Siena, che compiva scorrerie per le terre di Maremma, si istallò al castello del Cotone. Ma in seguito, assediato dalle truppe senesi, prima di abbandonare il castello, lo incendiò. La vita alla cittadella fortificata dovette riprendere attivamente, tant’è che due secoli dopo furono redatti gli statuti della comunità.
È dopo la fine del Cinquecento che il Cotone iniziò un periodo di declino, fino al completo abbandono, con la fondazione, da parte delle famiglie cotonesi, del borgo rurale di Polveraia.
Fin qui ha parlato la storia. La leggenda invece ci narra dell’abbandono degli abitanti del Cotone del XVI secolo, di comportamenti che stanno al di fuori della morale cristiana: si diceva che praticassero il “ballo angelico”. L’emissario del vescovo, inviato ad indagare sulla fondatezza dei sospetti, fu cacciato. Il vescovo stesso, allora, decise di intraprendere di persona l’impresa di riportare alla rettitudine quelle genti. Narra la leggenda che rinchiusero il vescovo in una botte, e la gettarono nella Senna. Il vescovo, dentro la botte inchiodata trasportata dalle acque del torrente, passò nelle Trasubbie, e da queste nel meno impetuoso, ma torbido Ombrone. Raggiunto il ponte di Istia, la botte s’incagliò contro l’arcata e come per incanto le campane cominciarono a suonare. Agli abitanti del borgo parve di sentire “sotto il ponte / c’è il vescovo conte / don don don / don dòlon dolòn / sotto il ponte / c’è il vescovo conte / …”. Corsero a recuperare il prelato, che in seguito inviò gli armigeri a distruggere il castello del Cotone.
C’è un’altra leggenda legata alla distruzione del fortilizio: narravano i vecchi di Polveraia che le anime dei soldati della cavalleria del Cotone non trovassero pace, e che ogni cento anni si sentissero arrivare tanti soldati a cavallo. A questa scadenza, nella notte, sembrava che nella strada selciata passasse uno squadrone di cavalleria: si sentivano i rumori degli zoccoli, perfino il fiato dei cavalli stanchi del lungo cavalcare; i vetri delle finestre tremavano, l’acqua nella brocca sussultava. E quando pareva che la cavalleria fosse proprio sotto casa, improvvisamente calava un silenzio di tomba: cavalli e soldati scomparivano, non s’udiva più alcun rumore. Dicevano i vecchi che si trattava delle anime dei cotonesi licenziosi, condannate, per punizione, a tornare a cavalcare su quelle terre, per sparire improvvisamente, nella campagna illuminata dalla luna.