Le château d’Ellwangen s’élève majestueusement sur un promontoire au-dessus de l’ancienne ville monastique. Les abbés du monastère bénédictin d’Ellwangen résidaient dans ce qui est appelé l’« Abtsburg » (château abbatial), mentionné pour la première fois en 1266. Si les anciens murs d’enceinte de ce château datant de l’époque des Hohenstaufen sont encore visibles par endroits, les abbés et les princes-prévôts qui suivirent modifièrent, agrandirent et modernisèrent l’ensemble avec une grande régularité.