A prima vista, il Palazzo Vecchio sembra più un castello che un palazzo e c'è un motivo: nel X secolo, il duca Liudolf di Svevia fece costruire in questo luogo un castello con fossato. Il suo scopo era quello di proteggere lo "Stutengarten", un'importante scuderia dell'epoca, da cui poi si sviluppò la città di Stoccarda. All'epoca il castello con fossato non serviva ancora come residenza.
Il castello passò di mano diverse volte e fu continuamente ristrutturato e ampliato. La fase di costruzione più formativa ebbe luogo nel XVI secolo: Sotto il duca Christoph von Württemberg, l'antico castello fu trasformato in una prestigiosa e moderna residenza. Fu costruito il castello rinascimentale a quattro ali con le caratteristiche grandi torri rotonde che conosciamo oggi. In questo periodo furono costruiti anche i portici nel cortile del castello. Un altro elemento di spicco di questa fase costruttiva è la grande scala equestre, che consentiva agli ospiti del duca di entrare a cavallo direttamente nella Sala dei Cavalieri.
Oggi il castello ospita il Museo di Stato del Württemberg con le sue ampie collezioni, il Museo dei bambini del Castello dei Giovani e la chiesa del castello nell'ala sud-ovest. Da non perdere il monumento ai combattenti della resistenza Claus Schenk Graf von Stauffenberg (Si apre in una nuova scheda), che merita una visita. L'ingresso si trova sul lato del palazzo rivolto verso Karlsplatz.