O alcácer era uma espécie de cidadela muralhada no interior da cidade fortificada, com saída independente para o exterior. Como zona residencial destinada ao governador ou alcaide e para a sua guarnição, integrava diversas dependências nucleadas ao redor de uma torre principal, de maiores dimensões que as restantes. Graças a sendas inscrições conservadas numa de suas seteiras e numa janela da sala superior, sabemos que a torre de Menagem de Olivença encontrava-se já levantada no ano de 1332, por ordem de D. Afonso IV, Rei de Portugal e do Algarve.