La Edad Media en Alija del Infantado -Alixa hasta 1789- está marcada por grandes casas y señores como los Ponce, los Rodríguez Neyra, los Quiñones, los Pimentel, los Toledo, los Duques del Infantado. Grandes gestas y vicisitudes se vivieron estas tierras. En 1170 es señora de Alija Sancha Ponce de Cabrera, fundadora del vecino monasterio de Nogales, y en 1258, lo era Fernán Pérez Ponce, sobrino de Fernando III «El Santo», que recibió un privilegio concedido por su primo-hermano el Rey Alfonso X «El Sabio», para Alija y Valdería. En 1447, Pedro Pimentel Vigil de Quiñones y su esposa Inés Enríquez, fundan el Mayorazgo de Alija, y en 1527, nacía en Valladolid y en la casa del Señor de Alixa, Bernardino Pimentel, el emperador Felipe II.
El Castillo de Alija, que aún hoy en día puede visitarse, justo al lado del edificio del Ayuntamiento, tuvo un origen medieval pasando, en época posterior, a ser el centro de administración del señorío de Alija. Erigido en la segunda mitad del siglo XV, si bien la actual edificación se atribuye a Bernardino Pimentel Enríquez hacia 1514, forma un cuadrilátero de amplias proporciones, flanqueado por cubos en los ángulos y en las puertas. En los lienzos de la muralla se alzan torrecillas cuadradas. El acceso, orientado al mediodía, a la Plaza Mayor, se realiza a través de un arco de medio punto flanqueado por dos cubos de planta circular con saeteras. El resto de los lienzos poseen, en su punto medio, una torre de planta cuadrada con saeteras que han sido reaprovechadas como palomares, incrementando su alzado a base de tapial. Dentro de este recinto defensivo se sitúan el palacio y las edificaciones anejas, separadas de la muralla por una amplia calle.
Su construcción probablemente se inicia en 1514, aunque para algunos autores data de la segunda mitad del siglo XV. Dentro del recinto se encuentra el palacio de los Ponces, cuya fábrica primitiva se remonta al siglo XIII.
Los incendios de los ingleses en 1808 y otro casual en 1887, dejaron inhabitable el palacio. El Castillo de los Pimentel en Alija del Infantado, fue objeto de restauración y consolidación ya en el siglo XX.