Los orígenes del Observatorio se deben a la iniciativa de Carlos III, que siguiendo las sugerencias de los científicos de la época, como Jorge Juan, entre otros muchos, puso en marcha la edificación del edificio en el año de 1785, bajo la dirección del arquitecto madrileño Juan de Villanueva, de formación clasicista, desterrador de toda forma curva.
Levantado sobre el cerro de San Blas -escenario de romerías en el pasado-, en la entrada del Retiro que daba a la Ronda de Atocha, encima de donde posteriormente se edificaría el edificio del Ministerio de Fomento, actualmente Ministerio de Agricultura. Las edificaciones posteriores son obra de Narciso Pascual y Colomer.
El edificio presenta un diseño clásico de aspecto eclesiástico, con planta cruciforme y un salón central que sobresale hacia el exterior, donde Villanueva emplea el orden corintio para las columnas del pórtico. Un templete circular se eleva sobre él, haciendo las veces de cúpula y de columnas jónicas. Cuatro garitas dan escolta a modo de vigilantes del templete superior. Es sin duda la obra más clasicista del siglo XVIII madrileño y de haberse finalizado, en su totalidad y como fue diseñada, sería la más importante de la arquitectura de su época.
Paralelamente a la edificación, se encarga al astrónomo William Herschel, la construcción de un telescopio reflector. Dadas las carencias del país, la formación de los astrónomos que en él trabajarían, se realizó en diversos países de Europa. Los años de guerra con Francia y las consecuencias derivadas, ralentizarían todos los trabajos, hasta que por fin en 1845, se inician de nuevo las actividades. Sería en 1904 cuando el Observatorio pasaría a depender del Instituto Geográfico Nacional.
Actualmente se conservan instrumentos relacionados con la astronomía y meteorología de antaño, así como una magnifica colección de relojes de precisión.
