A primera vista, el Palacio Viejo parece más un castillo que un palacio, y hay una razón para ello: en el siglo X, el duque Liudolf de Suabia mandó construir en este lugar un castillo con foso. Su objetivo era proteger el "Stutengarten", una importante yeguada de la época, a partir de la cual acabó desarrollándose la ciudad de Stuttgart. En aquella época, el castillo todavía no servía de residencia.
El castillo cambió de manos varias veces y fue continuamente remodelado y ampliado. La fase de construcción más formativa tuvo lugar en el siglo XVI: Bajo el mandato del duque Christoph von Württemberg, el antiguo castillo fue remodelado para convertirlo en una prestigiosa y moderna residencia. Se construyó el castillo renacentista de cuatro alas con las características grandes torres redondas que conocemos hoy. Las arcadas del patio del castillo también se crearon durante este periodo. Otro elemento destacado de esta fase de construcción es la gran escalera ecuestre, que permitía a los invitados del duque acceder a caballo directamente a la Sala de los Caballeros.
En la actualidad, el castillo alberga el Museo Estatal de Wurtemberg con sus amplias colecciones, el Museo Infantil del Castillo Joven y la iglesia del castillo en el ala suroeste. Los visitantes no deben perderse el monumento conmemorativo al luchador de la resistencia Claus Schenk Graf von Stauffenberg (Se abre en una nueva pestaña), que bien merece una visita. Su entrada se encuentra en el lado del palacio que da a la Karlsplatz.
