Em meados do século XV, à direita da porta da Graça, apoiadas sobre a muralha medieval, decide-se a construção das Casas da Câmara. A denominação que alguns lhe têm dado, em monografias sobre Olivença: "Palácio dos Duques de Cadaval" é equívoca. Com efeito, este edifício nunca foi palácio dos Duques de Cadaval. De facto, o ducado de Cadaval não foi criado até 1648. Este erro de atribuição deve-se ao ducado de Cadaval ter sido empossado na família nobre dos Melo, que foram alcaides mores de Olivença muito tempo; até foi criado um condado de Olivença, na pessoa de Rodrigo (Rui) Afonso de Melo. Mas isso não  é motivo para atribuir as Casas da Câmara aos alcaides mores, que, de resto, não viviam nas terras. De facto, nenhum documento histórico, quer oficial quer não, nem a denominação popular, chamaram nunca assim os Paços do Concelho de Olivença.

Por altura do século XVII ainda possuia uma varanda com balaústres de mármore, hoje desaparecida, no primeiro andar. Mas, o que destaca na sua fachada é a porta manuelina, verdadeiro ex-líbris de Olivença. Últimamente foi aventada a hipótese de o dito portal não pertencer originalmente a este edifício, mas que teria sido o portal principal da vizinha igreja da Madalena. É uma hipótese bastante verossímil que será preciso reforçar com provas documentais.

Este portal reproduz os elementos próprios do manuelino: cruz de Cristo, esferas armilares, arco polilobado e elementos naturais misturados com um bestiário muito destacado. No motivo central, as armas portuguesas acompanham o brasão oliventino: oliveira e fortaleza. A oliveira, que dá nome à terra e a fortaleza que assinala o seu carácter de praça militar.

Por cima do nível superior aparecem a torre do relógio, de 1464, com dois velhos sinos, e o sino da Câmara, do século XVII,