На первый взгляд Старый дворец больше похож на замок, чем на дворец, и это неспроста: в X веке швабский герцог Лиудольф построил на этом месте крепость с рвом. Он предназначался для защиты "Штутенгартена", важного в то время конного завода, из которого со временем развился город Штутгарт. В то время крепость еще не служила резиденцией.
Замок несколько раз переходил из рук в руки и постоянно перестраивался и расширялся. Самый значительный этап строительства пришелся на XVI век: При герцоге Кристофе фон Вюртемберге старый замок был перестроен в престижную современную резиденцию. Был построен четырехкрылый замок в стиле ренессанс с характерными большими круглыми башнями, которые мы знаем сегодня. В этот период также были созданы аркады во внутреннем дворе замка. Еще одна изюминка этого этапа строительства - большая конная лестница, по которой гости герцога могли въезжать прямо в рыцарский зал.
Сегодня в замке находятся Государственный музей Вюртемберга с его обширными коллекциями, детский музей "Юный замок" и замковая церковь в юго-западном крыле. Посетители не должны пропустить мемориал борцу сопротивления Клаусу Шенку Графу фон Штауффенбергу (Открывается в новой вкладке), который стоит посетить. Вход в него расположен со стороны дворца, выходящей на Карлсплац.