Im westfälischen Schmallenberg-Niedersorpe geboren, studierte er Englisch und Sport in Köln und Kiel. Von 1964 bis 1965 unterrichtete Klegraf an einem Gymnasium in Großbritannien und arbeitete dann am Institut für Übersetzen und Dolmetschen in Saarbrücken. Seit 1971 lebt er in der Landeshauptstadt. Sein Arbeitsschwerpunkt als Dozent an der Universität war die Geschichte der englischen Sprache.
Als Mitglied der Grünen engagierte sich Klegraf seit 1985 im Bezirksbeirat Nord, seit 1994 als Bezirksvorsteher. Seine zweite Amtszeit begann 1998 und endete im Oktober 2004. Mit großem Engagement förderte Klegraf den Aufbau des Jugendrats Stuttgart-Nord.
Josef Klegrafs Interesse gilt auch heute noch dem Projekt Stuttgart 21. Seit 20 Jahren ist er Vorsitzender des Vereins „Infoladen Stuttgart 21 Auf der Prag“, heute „Info-Laden Rosenstein Auf der Prag“. Der NS-Geschichte Stuttgarts gilt sein besonderes Interesse. Klegraf ist Mitglied im Vorstand des Vereins „Zeichen der Erinnerung“, er engagiert sich bei der „Aktion Stolpersteine“ und ist Erster Vorsitzender der Geschichtswerkstatt für Stuttgart-Nord. 2017 erhielt Josef Klegraf das Bundesverdienstkreuz.
Zu seinen Hobbys gehören Klavier spielen, Wandern und Radfahren – mit Vorliebe durch seinen Bezirk.