A mediados del siglo XV, a la derecha de la puerta de la Gracia, apoyado sobre la muralla medieval, se acuerda instalar el edificio de las Casas da Câmara (Casas Consistoriales). La denominación que algunos le han dado en monografías sobre Olivenza: "Palacio de los Duques de Cadaval" es engañosa. En efecto, este edificio nunca fue palacio de los Duques de Cadaval. De hecho, el ducado de Cadaval no se creó hasta el año 1648. Este error de atribución se debe a que el ducado de Cadaval se creó en la familia noble de los Melo, que fueron alcaldes mayores de Olivenza mucho tiempo; incluso se creó un condado de Olivenza, en la persona de Rodrigo (Rui) Afonso de Melo. Pero eso no  es razón para atribuir las Casas da Câmara a los alcaldes mayores, que además no vivían en el lugar. De hecho, ningún documento histórico, oficial o no, ni la denominación popular han conocido nunca así a las Casas Consistoriales de Olivenza.

Por el siglo XVII aún poseía una balconada con balaustres de mármol, hoy desaparecido, en el nivel superior. Lo que destaca en su fachada es la puerta manuelina, símbolo que identifica gráficamente a Olivenza. Últimamente se ha lanzado la hipótesis de que dicha portada no fuera hecha originalmente para este edificio, sino que fuera la puerta principal de la iglesia vecina de la Magdalena. Es una hipótesis bastante verosímil que hay que respaldar con pruebas documentales.

Esta portada reproduce los elementos propios del manuelino: cruz de Cristo, esferas armilares, arco polilobulado y elementos naturales mezclados con un bestiario muy destacado. En el motivo central, las armas portuguesas acompañan al blasón municipal de Olivenza: olivo y fortaleza. El olivo, que da nombre al lugar y la fortaleza que señala su carácter de plaza militar.

Por encima del nivel superior asoman la torre del reloj, de 1464, con dos viejas campanas, y la campana municipal O sino da Câmara, del siglo XVII,