En 1785, en la época del Virreinato de Nueva España, el virrey Bernardo de Gálvez ordenó la construcción de una casa de campo en el punto más alto de la colina de Chapultepec. Francisco Bambitelli, el Teniente Coronel del Ejército español e ingeniero, elaboró el proyecto, y la construcción comenzó el 16 de agosto del mismo año con un estilo barroco.
A la salida de Bambitelli a La Habana, el capitán Manuel Agustín Mascaró se hizo cargo de la dirección del proyecto y durante su mandato las obras se realizaron a un ritmo acelerado. Sin embargo, Mascaró fue acusado de construir una fortaleza con la intención de rebelarse contra la corona española desde allí. Su repentina muerte se dio el 8 de noviembre de 1786, con la suposición de que podría haber sido envenenado, pero no hubo pruebas que apoyaran esta teoría.
Sin un ingeniero a cargo, la Corona Española ordenó que la construcción se subastara a un precio equivalente a una quinta parte del total gastado en el proyecto. Después de no encontrar compradores, el virrey Juan Vicente Güermes Pacheco destinó el edificio para albergar el Archivo General del Reino de la Nueva España. Esta idea no prosperó, a pesar de que ya se tenían los planos adaptados para este propósito.
Alexander von Humboldt visitó el sitio en 1803 y ordenó vender las ventanas del palacio como una forma de recaudar fondos para la Corona. El edificio finalmente fue comprado en 1806 por el gobierno municipal de la ciudad de México.
El Castillo de Chapultepec fue abandonado durante la Independencia de México (1810 - 1821) hasta muchos años después, en 1833. En ese año el edificio fue elegido para ser la ubicación del Colegio Militar; como consecuencia, se hicieron varias modificaciones estructurales, incluida la adición de la torre de vigilancia.
Durante la Guerra mexicano-estadounidense (1846-1848), el ejército estadounidense bombardeó el castillo desde el 12 hasta el 13 de septiembre de 1847, e izó en sus murallas la bandera estadounidense.
Ese mismo día, el 13 de septiembre de 1847, los Niños Héroes murieron defendiendo el palacio, cuando éste era tomado por los soldados norteamericanos durante la Batalla de Chapultepec.