İlk bakışta Eski Saray bir saraydan çok bir kaleye benziyor ve bunun bir nedeni var: 10. yüzyılda Swabia Dükü Liudolf bu alana hendekli bir kale inşa ettirdi. Bu hendekli kale, o dönemde önemli bir hara olan ve daha sonra Stuttgart şehrinin geliştiği "Stutengarten "ı korumak amacıyla inşa edilmiştir. Hendekli kale o dönemde henüz bir konut olarak hizmet vermiyordu.
Kale birkaç kez el değiştirmiş ve sürekli olarak yeniden modellenip genişletilmiştir. En biçimlendirici inşaat aşaması 16. yüzyılda gerçekleşmiştir: Dük Christoph von Württemberg döneminde eski kale prestijli ve modern bir konuta dönüştürülmüştür. Bugün bildiğimiz karakteristik büyük yuvarlak kulelere sahip dört kanatlı Rönesans kalesi inşa edildi. Kale avlusundaki kemerler de bu dönemde oluşturulmuştur. Bu inşaat aşamasının bir diğer önemli özelliği de Dük'ün misafirlerinin doğrudan Şövalyeler Salonu'na binmelerine olanak tanıyan büyük atlı merdivendir.
Günümüzde kale, kapsamlı koleksiyonlarıyla Württemberg Eyalet Müzesi'ne, Genç Kale Çocuk Müzesi'ne ve güneybatı kanadındaki kale kilisesine ev sahipliği yapmaktadır. Ziyaretçiler, direniş savaşçısı Claus Schenk Graf von Stauffenberg'in görülmeye değer anıtını (Yeni bir sekmede açılır) anıtını (Yeni bir sekmede açılır) kaçırmamalıdır. Anıtın girişi sarayın Karlsplatz'a bakan tarafında yer almaktadır.
