Der gebürtige Stuttgarter hat an den Universitäten Kiel, Freiburg, Tübingen und Stuttgart Jura studiert und im Jahr 1976 seine Zweite juristische Staatsprüfung abgelegt. Nach seiner Tätigkeit als Rechtsanwalt in Stuttgart war er von 1978 bis 1981 Leiter des Umweltschutzamts beim Landratsamt Rems-Murr-Kreis. Bis 1984 war von Zimmermann Dezernent beim Landratsamt Tübingen. Im Anschluss wechselte er zum Umweltministerium Baden-Württemberg. Am 1. September 1990 übernahm er die Leitung des Amts für Umweltschutz bei der Landeshauptstadt Stuttgart, die er bis zum 31. Dezember 2010 innehatte.
Für den Umweltschutz setzte sich von Zimmermann zudem als Vertreter der Stadt in der Fachkommission für Umwelt im Deutschen Städtetag sowie im Stuttgarter Forum Auto und Umwelt ein. Darüber hinaus war er gewähltes Mitglied im Regionalparlament Stuttgart.