El aumento de la importancia militar de Olivenza tuvo como consecuencia la construcción de infraestructuras complementarias. Así se creó el polvorín de Santa Bárbara, los cuerpos de guardia para vigilancia de las puertas y los cuarteles para alojamiento de la milicia. La Panadería del Rey es una de ellas, también conocida por otros nombres, en relación con otras de sus funciones, como Cuartel del Asiento. Disponía de todo lo necesario para fabricar 10.000 panes diarios. Las chimeneas cilíndricas de sus cuatro hornos se han conservado hasta la actualidad como si aún se encontraran en servicio.

Actualmente alberga parte del Museo Etnográfico en sus dos plantas, soportadas por columnas robustas de mármol rosa.