En el siglo XVIII se da en Portugal una reorganización de su ejército. En la misma, fueron asignados tres regimientos a Olivenza: uno de caballería y dos de infantería. Para el regimiento de caballería, Dragones de Olivenza, se construyó un cuartel en la gola del baluarte del Príncipe, el cual se conserva en la actualidad. Y como complemento al cuartel de caballería, para servir de almacén de paja especialmente, se construyó el cuartel de San Carlos en las inmediaciones. Había estado sirviendo hasta los años 70 como silo de cereales, estando bastante deteriorado. A partir de esa década se recuperó por parte del Ayuntamiento, como se hizo con el resto de edificios históricos. En efecto, castillo, cuarteles y conventos, que estaban en posesión del Ministerio del Ejército, se destinaron a fines sociales y culturales.

Recibió el premio de rehabilitación Europa Nostra.