Em 1556, Leonor Velha, e em 1570, Inês Pestana, legaram em testamento uma série de bens para a construção de um convento de freiras em Olivença. Em 1601, o bispo de Elvas concede licença para dita obra. Em 6 de julho de 1631 é inaugurado com uma pequena congregação inicial de quatro freiras clarissas sob a advocação de Nossa Sra. da Conceição. Dez anos estiveram as clarissas no seu cenóbio, até que, em 1640, começaram as guerras de Restauração. O convento fica preso no interior de um dos baluartes da nova muralha e perde as suas terras. Fica muito exposto aos ataques do inimigo. Assim sendo, as freiras saem em 1641 e são substituídas, em 1645, pelos frades hospitaleiros de S. João de Deus, que tinham um pequeno hospital na rua de São Sebastião. O edifício passa para hospital militar até 1842.

Posteriormente, serve de quartel de carabineiros. Precisamente aqui nasceu em 1909 o célebre ator Andrés Mejuto, filho de um tenente desse corpo. Após a Guerra Civil passa para quartel da Guardia Civil, até 1960. Passada esta data vai caindo no abandono. Em 1982, a Câmara Municipal adquiri-o ao exército, reabilitando-o com as escolas-oficina, durante 15 anos. Em 1998 é inaugurada a recuperação da capela da igreja, patrocinada pela Caja de Badajoz, para sala de concertos e conferências. No resto do edifício instala-se a Escuela Regional de Teatro y Danza de Extremadura  que, em 2007, é transferida para Cáceres.  Depois foi sede provisória do Observatorio Estatal para la Discapacidad e Centro de Formación para médicos residentes.

Presentemente alberga o Posto de Turismo e o Centro de Receção de Visitantes de Alqueva.