Está construido sobre la antigua muralla defensiva de la medina almohade de los siglos XI al XIII y sometido a continuas reconstrucciones adaptadas a los distintos usos a los que se ha ido dedicando, conservando aún su gran Puerta y otra de reciente descubrimiento en la ladera del río.
La primera reconstrucción fue llevado a cabo a finales del siglo XV por el noble castellano Gutierre de Cárdenas, primer Señor de la Ciudad para su residencia (por lo que también se le denomina Alcázar de la Señoría), dándole la estructura de planta poligonal con la Torre del Homenaje cuadrangular y torreones cilíndricos en sus esquinas.
Otra reconstrucción del antiguo Alcázar la abordó el duque de los Arcos en 1764 y ya en 1829 perteneció al Conde de Altamira (de cuyo periodo de posesión pasó a ser conocido por Palacio de Altamira).
En 1961 fue nominado como Monumento Histórico Artístico Nacional.
Tras sucesivas ventas y adquisiciones habiendo sido utilizado de prisión y como fabrica textíl pasó finalmente a ser expropiado y adjudicado por del Ayuntamiento en 1974 que lo sometió a una nueva reparación.
