En 1556, Leonor Velha, y en 1570, Inês Pestana, hicieron donaciones testamentarias para la construcción de un convento de monjas en Olivenza. En 1601, el obispo de Elvas concede licencia para dicha obra. El 6 de julio de 1631 se inaugura con una congregación inicial de cuatro monjas clarisas y la advocación de Nossa Sra. da Conceição. Diez años estuvieron las clarisas en su cenobio, hasta que, en 1640, empiezan las guerras de Restauración, por las que Portugal se independiza de la corona de Felipe IV de España. El convento queda prisionero en el interior de uno de los baluartes de la nueva muralla y pierde sus tierras. Queda muy expuesto a los ataques del enemigo. Así, las monjas salen en 1641 y son sustituidas, en 1645, por frailes hospitalarios de S. Juan de Dios, que tenían otro pequeño hospital en la calle de San Sebastián. El edificio pasa a ser hospital militar hasta 1842.

Posteriormente, sirve de cuartel de carabineros. Precisamente aquí nació el célebre actor Andrés Mejuto, hijo de un teniente del cuerpo. Tras la Guerra Civil pasa a cuartel de la Guardia Civil, hasta 1960. Tras esta fecha va cayendo en el abandono. En 1982, el ayuntamiento lo compra al ejército, rehabilitándolo con las escuelas-taller, durante 15 años. En 1998 se inaugura la capilla de la iglesia, patrocinada por Caja Badajoz, para sala de conciertos y conferencias. En el resto del edificio se instala la Escuela Regional de Teatro y Danza de Extremadura, que en 2007 pasa a Cáceres.  Después fue sede provisional del Observatorio Estatal para la Discapacidad y Centro de Formación para médicos residentes.

Actualmente alberga la Oficina de Turismo y el Centro de Recepción de Visitantes de Alqueva.