Antigua Cárcel de Corte o Sala de Alcaldes de Casa y Corte, fue construido entre los años 1629 y 1634. Tradicionalmente, se atribuyen sus planos al italiano Juan Bautista Crescenti. Modernamente algunos autores afirman que es obra del maestro Alfonso Carbonell.
El edificio es de piedra y ladrillo, muy madrileño. Carece apenas de motivos ornamentales y presenta una gran apariencia robusta. Tiene en su interior dos patios clasicistas, entre los cuales se alza una grandiosa escalera de un solo tiro ancho, con descansillos y arquerías abiertas a los patios.
Cada patio consta de dos pisos sobre arcos toscanos. Sobre la galería superior, las ventanas y sus entrepaños muestran ya lo que sera un preludio barroco. Es, sin dudarlo, uno de los edificios más bellos e importantes del Madrid de los Austrias. En su fachada principal, larga y llena de armonía, destacan sus grandes balcones, entre las las dos torres con chapiteles empizarrados y rematados con flechas. En el centro de tan elegante y austera fachada, puertas y balcones en los intercolumnios, y un gran ático con un enorme escudo de España, obra de Antonio de Herrera.
La parte superior del edificio albergó la cárcel, entre cuyos insignes moradores estuvieron Lope de Vega, el general Riego o Luis Candelas. Años después fue sede de la Audiencia y más tarde sería sede del Ministerio de Ultramar, antecesor del actual Ministerio de Asuntos Exteriores.
En 1951 se añadió un cuerpo posterior, del mismo estilo y obra del arquitecto Pedro de Murguruza.
