Pada asalnya tempat percutian rohani pasangan berkuasa Sepanyol, Isabella dan Ferdinand, Retiro berkembang menjadi istana keseronokan apabila Felipe IV yang agak kurang taat memakai mahkota.
Dibina oleh valido beliau (bersamaan dengan Perdana Menteri), Conde Duque de Olivares, lebih daripada 20 bangunan dibina antara tahun 1630 dan 1660 untuk menggembirakan raja playboy yang menikmati majlis tarian, teater dan lakonan semula pertempuran tentera laut yang dipersembahkan di tasik tengah taman itu.
Palacio de Velazquez bukanlah satu-satunya galeri Reina Sofía yang berdekatan. Terokai lebih jauh ke selatan dan anda akan menemui Palacio de Cristal, sebuah rumah hijau besar yang dibina pada tahun 1887 untuk menempatkan flora yang dibawa dari Filipina — ketika itu merupakan jajahan Sepanyol. Malangnya, pada masa itu, penduduk asli Filipina juga dibawa masuk dan dipaksa tinggal di "habitat semula jadi" mereka di tepi kolam hiasan di luar. Sejarah gelap zoo manusia ini telah didedahkan dan dikutuk dalam pameran 2021 oleh artis Filipina, Kidlat Tahimik, yang diadakan di ruang tersebut.