La edificación se inició en 1773, bajo la dirección del francés Gilbert, que pronto abandonaría las obras para retomarlas Sabatini, y especialmente, Ventura Rodríguez. El edificio posee cuatro fachadas y tres plantas claramente escalonadas, donde las fachadas centrales son más altas que las laterales, revelando un claro parentesco con los Palacios de Oriente y de la Granja de San Ildefonso (Segovia). Situado en la acera derecha, al principio de la calle Princesa, su amplio jardín, hoy de estilo inglés, impide ver al transeúnte despistado toda la belleza del palacio.
Sobre el hermoso almohadillado de la planta baja, los vanos están separados por columnas y pilastras que sustentan una gran cornisa. Por encima de ella, un último piso descansa, rematado por trofeos donde se sitúa el ático con el escudo de armas de la familia fundadora. Como resultado de los bombardeos sufridos durante la guerra civil por su proximidad al frente de combate, se produjo un fuerte incendio que devastó gran parte del interior del edificio.
Fue reconstruido después de la guerra por el arquitecto inglés Edwin Lutyens. El magnífico resultado, permitió ampliar la escalera central, dándole mucha más vistosidad. El entelado de las paredes dio a las salas un mayor ambiente de época, que junto con el mobiliario y los objetos artísticos seleccionados para cada sala, las dotó de un carácter propio y muy atractivo. Destacan la sala italiana y la sala española.
