Als 1694 begonnen wurde die Gallerie zu bauen, war sie als Überwinterungshaus für die Orangenbäume (Orangerie) geplant. Daher auch die typische Lage direkt am Orangenparterre und die Aufteilung der Räume. Noch während der Bauphase regte die Kurfürstin Sophie allerdings die Nutzung der heutigen Gallerie als Fest- und Wohnräume an. So kam es, daß das 1698 von Brand Westermann (nach Entwürfen des kurpfälzischen Architekten Johann Peter Wacher) fertig gestellte Gebäude einen völlig anderen Zweck haben sollte. Der 200 Fuß lange Orangeriesaal wurde für standesgemäße Empfänge und Feste genutzt, für die das Schloß einfach zu klein war. Die Ost- und Westflügel der Gallerie wurden als Wohnräume für die Kurfürstin Sophie und Prinz Georg Ludwig umgestaltet. Der Venezianer Tommaso Giusti wurde zur künstlerischen Gestaltung bestellt, und schmückte die Räume mit einem Freskenzyklus, der die vier wichtigsten Szenen des Trojanischen Krieges zeigt:
1. Flucht des Äneas aus Troja
2. Juno bittet Jupiter um die Zerstörung der Flotte des Äneas
3. Ankunft des Äneas in Karthago und sein Empfang durch Dido
4. Sturm auf die Stadt der Rutuler und Zweikampf des Äneas mit dem Rutulerkönig.

Die verschlungenen Stukkaturen sind das Werk von Dossa Granas und Pietro Rosso. Besonders bemerkenswert ist auch ein riesiges Bandornament mit okkerfarbenen Profilen an der Decke des Festsaals. Die 14 von ursprünglich 28 bronzenen Cäsarenbüsten, die heute vor den Freskenwänden stehen, wurden 1525 in Florenz gegossen.
Der im Westflügel befindliche, heute als Leibnizzimmer bekannte Raum, im Erdgeschoß diente der Kurfürstin Sophie früher als Wohnzimmer. Das Prinzenzimmer im Obergeschoß des Ostflügels verdankt seinen Namen der Bewohung durch die jüngeren Prinzen nach dem Tode Ernst Augusts.