La primitiva Ermita de la Soledad se construyó en 1664 a instancias de D. Francisco de Tutaville y de Tufo, Duque de San Germán y Capitán General de Extremadura.
El templo se realizó para albergar la maravillosa imagen de Nuestra Señora de la Soledad, que el mismo duque había encargado en 1660 a un escultor de Nápoles.
Este centro religioso que dio nombre a la plaza y estaba situado en el terreno que hoy ocupa el edificio de la Giralda, sufrió daños en la Guerra de la Independencia y aunque se restauró en el primer tercio del S. XX fue definitivamente derribado. De él se conserva la portada de mármol labrado que, junto con una imagen de la Virgen, está a modo de oratorio público en el llamado Parque Infantil.
La nueva ermita se inaugura el 7 de Julio de 1935, fecha en que la Virgen de la Soledad es trasladada procesionalmente desde la Catedral hasta su nueva casa.