Die Orangerie war ursprünglich ein Wintergarten mit Fußbodenheizung für Orangenbäume. Die Südfassade und das Dach konnten entfernt werden, sodass daraus ein Orangenhain unter freiem Himmel wurde. Nach dem Tod des Prinzen erhielt die Orangerie ihre heutige Fassade. Ab 1776 diente sie als Bilddepot für die Kaiserlichen Sammlungen. Nach 1918 war ein Teil der Modernen Galerie, ab 1953- 2007 das Museum mittelalterlicher Kunst untergebracht. Architektin Susanne Zottl gestaltete 2007 in der Orangerie eine moderne Ausstellungshalle als White Cube.