Tiene su origen en la fundación que en 1649 dispuso D. Juan de Escobar del Corro de un colegio-seminario para pobres y húerfanas, quedando poco después bajo el gobierno de la Orden del Carmelo Reformado. Lo esencial de la iglesia y la clausura se concluye en 1670. En 1722 se levanta la espadaña, hoy muy transformada. Conserva el convento una importante colección de pinturas, y algunas de las que pueden observarse junto al coro (en concreto San Elías y una Inmaculada) se han asociado al círculo artístico de Zurbarán. El retablo mayor fue encargado a Juan Martínez de Vargas en 1675, presidiéndolo la imagen de Nuestra Señora del Carmen. Los retablos del lado del Evangelio portan las imágenes del Sagrado Corazón, San Antonio de Padua y Santa Teresa de Lisieux. En los de la Epístola, además de Santa Teresa de Jesús, figuran dos excelentes imágenes: el Cristo de la Misericordia, procedente del convento de San Diego, del XVII, y la Virgen de las Angustias, obra de Antonio Calvo, de 1803.

El convento original levantado hacia 1515 fuera del casco urbano, fue trasladado a este edificio del que nos ocupamos, en el centro de la villa, a finales del siglo XVI. A lo largo de esta centuria y de la siguiente fue sometido a diversas obras de reparación. Suprimido el convento en 1837, desapareció todo su contenido mueble y se reutilizó como cárcel y salón de actos. Hoy sólo resta la iglesia, la cual, si bien sometida a una discutible modificación hace unos años, se presenta como un equilibrado templo con una única y airosa nave de 22 metros de largo por 7 de ancho, articulada en cinco tramos marcados por pilastras toscanas, llegando a la cabecera cuadrada, cubierta con una gran media naranja, a través de un triple arco toral. Diversas molduras sugieren ilusoriamente los brazos del crucero y las capillas laterales. Se cubre la nave con bóveda de cañón con dobles fajones y lunetos de triple trazado.