Riofrío es quizás el menos conocido de los reales sitios entre los españoles, pero tampoco fue muy apreciado por la familia real, pues la misma reina Victoria Eugenia llegó a decir que este palacio era como "un desván al que iba a parar todo lo que sobraba en el resto de palacios". Todo comienza a principios del siglo XVIII. El bosque de Riofrío era un famoso lugar de caza  arrendado a Felipe V en la localidad de San Ildefonso, próximo al Palacio de la Granaja, y a unos 10 km de Segovia. Al morir el monarca, su esposa, la reina Isabel de Farnesio lo compró para construir en este lugar un palacio, pues el nuevo rey era su hijastro y con sus malas relaciones personales fue apartada de la corte. No obstante, Fernando VI le dio plena jurisdicción civil y criminal sobre el sitio.


El arquitecto designado por Isabel Farnesio para la construcción del palacio fue Virgilio Rabaglio, que puso la primera piedra 1752. Las obras se prolongarían solamente durante diez años pues se dió un parón a la empresa, abortando el proyecto original que incluiría ademas del palacio, un convento, una iglesia, un teatro, jardines, pabellones para la guardia de corps, caballerizas..... La explicación hay que buscarla en el hecho de que el hijastro y rival de Isabel falleción en 1759 sin descendencia, lo que convirtió al hijo mayor de Isabel, Carlos III, en el nuevo monarca, hasta ese momento rey de Nápoles. Esto le dió la regencia temporal a Isabel y le permitió claro está su regreso a la corte de Madrid por la puerta grande. Hasta ese momento solo el palacio, las caballerizas y la gran plaza de armas habian sido concluidos. 

El palacio es el más romano de los palacios españoles estéticamente hablando. El arquitecto se basó en gran medida en el Palacio Real de Madrid que estába a su vez en construcción. Su planta es cuadrada con 84 m de lado, con fachadas prácticamente idénticas de tres pisos de altura y muros de color rosa. Se configura alrededor de un patio central también cuadrado recorrido por un pórtico de arcos de medio punto y pilastras toscanas.

El proyecto original se se desvaneció con la vuelata de Isabel a la corte de Madrid y solo se llegó a terminar el palacio. Si bien Isabel II realizó algunas reformas del palacio, lo que convirtió al lugar en un sitio emocionalmente conocido, fue que el palacio fue elegido como lugar de retiro y duelo de Alfonso XII tras la pronta muerte de la reina Mª de las Mercedes  en 1878. 

En su interior se elevó una de las más bellas y logradas escaleras del barroco español. Es de tipo imperial y presenta dos tramos que parten del vestíbulo en direcciones opuestas. Los cuatro brazos en los que se bifurca la escalera desembocan en un salón  central sostenido por columnas de granito. Destaca también la decoración escultórica de la balaustrada con numerosos grupos de querubines.

De su decoración original, la única sala que nos da una idea del refinamiento primigenio es la cámara oficial, con un gran retrato de María de Médicis. El resto de estancias fueron decoradas en el s.XIX con abundancia de papeles pintados. El comedor de gala está decorado con  veinte cuadros de Giacomo Nani, todos ellos con temas de caza y naturalezas muertas. El salón  Alfonsino está presidido por un gran cuadro pintado por R. Madrazo, frente al cual está el de su primera esposa la reina María de las Mercedes. La sala mas lograda es la Sala de Música, decorada igualmente con cuadros de gran formato.

El rey Francisco de Asís, gran amante del arte y esposo de Isabel II pasaba en el palacio largas temporadas, y aun hoy se pueden ver sus aposentos en los que hay bellos cuadros como por ejemplo “Alejandro Magno en el templo de Jerusalén” de  Sebastián Conca y uno de los mas bellos del palacio.

Quizás por haber sido Riofrío un lugar propicio para la caza por sus pastos y su abundancia de agua es por lo que se instaló un Museo de caza y un Diorama (procedimiento que mediante diversos trucos de perspectivas y luces confiere apariencia de realidad a una escenografía), permitiendo contemplar armas, utensilios y documentos relacionados todos hasta el reinado de Alfonso XIII.