Sa carrière au cinéma avec les Charlots commence dans la fin des années 1960. Il mènera le groupe jusqu'en 1984 après un nombre impressionnant de comédies qui révolutionneront le style grâce au cocktail humour potache / franchouillard / bonne franquette.
En 1987, il connaît un succès avec la série télévisée, Marc et Sophie dans laquelle il incarne un vétérinaire marié à une médecin de ville, et supportant leurs parents, amis et la concierge de l'immeuble. Il est aussi l'interprète du générique.
Le reste de sa carrière depuis Marc et Sophie est plus discrète, mais bien remplie : il participe régulièrement à des téléfilms, notamment pour les intrigues régionales de France 3. Ainsi, à partir de 2003, il obtient un rôle récurrent dans la série Blandine l'insoumise. En 2004, il tourne dans un téléfilm en deux épisodes À cran deux ans après (pour France 2).
Parallèlement, Gérard Rinaldi prête régulièrement sa voix pour les doublages de films étrangers. Il est notamment la voix de Dingo depuis 1992, mais on peut aussi l'entendre dans New York Police Blues (dans le rôle de Sipowicz) ou doubler le commandant Sinclair dans Babylon 5. Il est également la voix off de plusieurs documentaires.
Depuis 2004, on peut le voir sur les planches dans une pièce de boulevard à l'ancienne Canard à l'orange, avec Grace de Capitani