W 1972 r. wstąpił do Zjednoczonego Stronnictwa Ludowego. Był wiceprezesem, a potem prezesem zarządu wojewódzkiego PSL w Kaliszu. W 1993 i 1997 r. wybrano go do Sejmu z listy tej partii. Był radnym sejmiku wielkopolskiego I kadencji i jego przewodniczącym (do 2001 r.). W wyborach parlamentarnych w 2001 r. po raz trzeci został wybrany posłem na Sejm, kandydując w okręgu kaliskim i otrzymując 10 tys. 619 głosów.

W Sejmie IV kadencji Józef Gruszka był członkiem Komisji do spraw Służb Specjalnych oraz Komisji Finansów Publicznych. 

W tym okresie kontrowersje wzbudził fakt aresztowania jednego z jego asystentów społecznych pod zarzutem szpiegostwa (asystent został uniewinniony w kwietniu 2007 r.). 

W 2004 r. bez powodzenia kandydował do Parlamentu Europejskiego. 

Od lipca 2004 do kwietnia 2005 r. pełnił funkcję przewodniczącego komisji śledczej ds. Orlenu.

10 kwietnia 2005 r. doznał udaru mózgu. Tego samego dnia przeszedł operację neurochirurgiczną na oddziale neurochirurgicznym szpitala w Kaliszu. Po wybudzeniu ze śpiączki farmakologicznej, do marca 2006 r. przechodził rehabilitację w szpitalach w Bydgoszczy i Tarnowskich Górach.

Sprawa nagłego pogorszenia się stanu zdrowia posła w trakcie kierowania komisją była badana przez prokuratora, który uznał, że udar mózgu wynikał z naturalnych zmian chorobowych, związanych m.in. z nadciśnieniem.