Die heutige Anlage des Schlosses ob Ellwangen ist das Ergebnis zahlreicher Um- und Erweiterungsbauten verschiedener Jahrhunderte. An ihnen lassen sich alle Bauphasen vom späten Mittelalter bis zum Barock nachvollziehen.
Die Ringmauer hat sich erhalten.
Die mittelalterliche Burg wird erstmals im Jahr 1266 urkundlich erwähnt. Von ihrer wehrhaften Funktion zeugen noch heute der vorgelagerte Graben, die alten Ringmauern im Norden und die zwei Zwinger im Süden und Westen des Schlossareals. Eine im Osten gelegene Brücke und das anschließende Torhaus dienen als Zugang zum weitläufigen Schlossvorhof. Um ihn herum gruppieren sich an drei Seiten die alten Wirtschaftsgebäude der ehemaligen Residenz.
Die Arkaden im Innenhof des Schlosses.
Auf der Westseite wird der Schlossvorhof von der vierflügeligen Schlossanlage begrenzt, die Fürstpropst Johann Christoph I. von Westerstetten in den Jahren 1603 bis 1608 erbauen ließ. Dabei entstand der trapezförmige Innenhof mit den ursprünglich unverglasten Arkaden und Galerien. Das äußere Erscheinungsbild des Schlosses war auf Fernwirkung ausgelegt. Als dominante Erkennungszeichen dienten der Michaels- und der Georgsturm, die weithin sichtbar die Ecken des Westflügels flankierten.
Das Vorschlösschen links grenzt an den Ostflügel.
Dem Südflügel ist die ehemalige Torburg, das sogenannte Vorschlösschen, vorgesetzt. Es stellt den Verbindungsbau zum Schloss ob Ellwangen dar und wurde während der Regentschaft des Fürstpropstes Johann Jakob Blarer von Wartensee in den 1620er-Jahren errichtet. Die Schlosskapelle St. Wendelin befindet sich im Obergeschoss, zum Teil im Vorschlösschen, zum Teil im Südflügel gelegen.
Als Besonderheit des Nordflügels ist der ca. 22 Meter hohe Kaminturm der ehemaligen Hofküche hervorzuheben. Bereits in der Renaissance entstanden, wurde er später ganz abgetragen und in seiner heutigen Form wieder aufgebaut. Ursache für den Abriss waren die zahlreichen baulichen Veränderungen, die Fürstpropst Franz Ludwig von Pfalz-Neuburg in den Jahren 1720 bis 1727 am gesamten Gebäude vornehmen ließ. Dabei entstand unter anderem auch das zum Innenhof vorgelagerte repräsentative Treppenhaus am Südflügel.
