El pequeño parque bajo el Karlshöhe encanta con sus esculturas y sinuosos senderos. En el lapidario municipal esperan a ser descubiertas unas 200 piezas. Juntas cuentan 500 años de historia de la ciudad como un libro ilustrado de piedra. Algunos de los capítulos más interesantes son un cuenco de jaspe propiedad de la reina Olga de Wurtemberg, un dintel de la antigua Hohe Karlsschule y un portal del cementerio de Hoppenlau.
En 1905, Karl von Ostertag-Siegle creó un parque privado inspirado en un jardín renacentista italiano, que ya entonces albergaba una colección de objetos romanos. Cuando la capital del estado, Stuttgart, adquirió el jardín en 1950, se creó aquí el Lapidarium Municipal. Hoy, el paseo, las terrazas, el patio con fuentes y los viejos árboles invitan a olvidar el tiempo y a sumergirse en la historia de la ciudad de Stuttgart.