Michel Jacques Daniel Piccoli è figlio di Henri Piccoli, violinista e Marcelle Expert-Bezançon (1892-1990), pianista e figlia dell'industriale e politico francese Charles Expert-Bezançon. Nel 1954, Michel Piccoli sposò l'attrice Éléonore Hirt dalla quale ebbe una figlia, Anne-Cordélia Piccoli. Nel 1966 sposa la cantante Juliette Gréco, poi nel 1978 la sceneggiatrice Ludivine Clerc, dalla quale adotta due figli di origine polacca, Inord e Missia.

Collocati in un istituto per ragazzi problematici, gli impegni del giovane Piccoli, vengono presi in opposizione al nonno materno, senatore della Terza Repubblica, finanziatore del Partito radicale, e importante pittore industriale, accusato dalla sinistra sindacale e da Georges Clemenceau, di aver intossicato i suoi operai con il bianco di piombo che provoca avvelenamento da piombo.

Michel Piccoli si è poi formato come attore prima con Andrée Bauer-Théraud e poi durante Simon. Dopo un'apparizione come comparsa in "Sortilèges" di Christian-Jaque nel 1945, Michel Piccoli esordisce nel cinema in "Le point du jour" di Louis Daquin. In teatro si è distinto con le compagnie Renaud-Barrault e Grenier-Hussot oltre che al Théâtre de Babylone. Notato nel film "French Cancan" nel 1954, ha continuato sul palco e ha lavorato con i registi Jacques Audiberti, Jean Vilar, Jean-Marie Serreau, Peter Brook, Luc Bondy, Patrice Chéreau e André Engel, e si è fatto conoscere anche in famosi film per la TV . Divenuto ateo dopo un lutto familiare, conosce Luis Buñuel nel 1956, e interpreta ironicamente il ruolo di un prete in "La Mort En Ce Jardin". Nel 1959 gira ad Algeri "Le Rendez-Vous De Noël", un cortometraggio di André Michel basato sul racconto di Malek Ouary "Le Noël Du Petit Cireur". Gli anni '60 suonano la sua consacrazione, notata in "Le Doulos" di Jean-Pierre Melville, si rivela a livello internazionale con "Le Mépris" di Jean-Luc Godard al fianco di Brigitte Bardot. Da quel momento in poi, è stato in tournée con i più grandi cineasti francesi e internazionali come Alfred Hitchcock, Luis Buñuel, Youssef Chahine, Manoel de Oliveira...

Inizia gli anni '80 con il premio dell'interpretazione al festival di Cannes nel 1980, con "Le Saut Dans Le Vide" di Marco Bellocchio, e quello del festival di Berlino nel 1982, con "Une Étrange Affaire" di Pierre Granier-Deferre. Ha lavorato con Jacques Doillon, Leos Carax, prima di cimentarsi nella regia. Nel 2001 ha ricevuto il IX Premio Europa per il Teatro. Ha fatto parte della giuria del 60° Festival di Cannes nel 2007, presieduta da Stephen Frears. Nel 2011 ha recitato in "Habemus Papam" di Nanni Moretti. L'ultimo film in cui compare Michel Piccoli è il film "Le Goût Des Myrtilles", di Thomas de Thiers nel 2013.

Impegnato politicamente a sinistra, membro del Movimento per la Pace (comunista), Michel Piccoli si è distinto per le sue posizioni contro il Fronte Nazionale, e si è mobilitato per Amnesty International.

Michel Piccoli è morto il 12 maggio 2020 a seguito di un ictus nella sua villa a Saint-Philbert-sur-Risle nell'Eure. Il suo funerale si svolge a Évreux il 19 maggio 2020, dove viene cremato, le sue ceneri sono sparse all'interno della proprietà di famiglia.