Nach der Notariatsprüfung nahm Berger im Juni 1971 seine Tätigkeit beim Jugendamt im Bereich Amtsvormundschaften und -pflegschaften auf. 1974 wechselte er zum Liegenschaftsamt in die Abteilung Grundstücksverkehr. Ab Mai 1992 leitete Siegfried Berger mehr als vier Jahre die Abteilung Hilfen für Aus- und Übersiedler, Hilfen für ausländische Flüchtlinge, des Sozialamts und war zuletzt dessen stellvertretender Leiter.
Während des Zerfalls des ehemaligen Jugoslawien in den 90er-Jahren kümmerte sich Berger mit großem Engagement, dynamischer Entschlusskraft und Herzblut um mehr als 7000 geflüchtete Menschen und deren Unterbringung. Er legte damit den Grundstein des "Stuttgarter Modells", einer dezentralen und humanen Flüchtlingsunterbringung in der Landeshauptstadt.
1996 wählte ihn der Gemeinderat zum Leiter des Hauptamts. Im Jahr 1998 schlossen sich unter Bergers Leitung Personal- und Hauptamt mit rund 500 Mitarbeiterinnen und Mitarbeitern zusammen.
Berger widmete sich mit großem Einsatz den Aufgaben im Rahmen der Verwaltungsreform und -modernisierung. Darüber hinaus hat er sich für den Bau von Bürgerhäusern und im Katastrophenschutz eingesetzt. Viele Jahre engagierte sich Berger in der Arbeitsgemeinschaft der Haupt- und Organisationsämter des Städtetags Baden-Württemberg, zunächst als stellvertretender Vorsitzender, ab 2006 als Vorsitzender.
Zudem war er im Deutschen Städtetag sowie im Zweckverband Kommunale Datenverarbeitung Region Stuttgart und im Rechenzentrum Region Stuttgart aktiv. Im Dezember 2010 wurde Siegfried Berger in den Ruhestand verabschiedet.