Son père tient le restaurant "La Poularde" à Nice.

Marcel Pagnol découvre Raymond Pellegrin en 1943 alors que celui-ci jouait, à Monte-Carlo, le rôle de Topaze avec une troupe de théâtre niçoise.

Outre Marcel Pagnol, Sacha Guitry lui a confié le rôle de Napoléon en 1955, rôle qu'il reprendra pour la Caméra explore le temps à la télévision française; il a aussi tourné beaucoup de films noirs, dont un avec Jean-Pierre Melville.

Sa voix, qualifiée par Dominique Zardi de « plus belle voix du cinéma français », a servi pour le doublage du personnage de Fantômas, le génie du crime, dans les trois films réalisés par André Hunebelle. Jean Marais incarnant le personnage.

Après un premier mariage avec l'actrice Dora Doll, il a passé la plus grande partie de sa vie avec l'actrice Gisèle Pascal, rencontrée en 1946, dont il a une fille, Pascale Pellegrin (1962-2018), actrice.

Dans les années 80, il incarne « Monsieur Kovalic », le méchant de la saga Châteauvallon.

Il est enterré au cimetière de Sillans-la-Cascade (Var) avec son épouse Gisèle Pascal.