Mike Nichols wurde als Sohn jüdischer Eltern in Berlin geboren. Sein Vater Pavel Nikolaevich Peschkowsky, ein Arzt, war nach der Oktoberrevolution aus Russland eingewandert, seine Mutter Brigitte Landauer war Tochter von Hedwig Lachmann und Gustav Landauer. 1938 emigrierte die Familie aus Deutschland, sein Vater eröffnete eine Praxis am Central Park in New York. Er nannte sich fortan Paul Nichols und starb 1943. Mike studierte ab 1950 zunächst Psychologie in Chicago, interessierte sich aber auch zunehmend für Theater und Varieté.

Mit Elaine May gründete Nichols in den späten 1950ern eine Comedy-Gruppe, deren Humor geprägt war von den (Miss-)verhältnissen zwischen Mann und Frau und der satirischen Betrachtung gesellschaftlicher Probleme. Mit ihrem Programm schafften sie es bis zum Broadway. 1961 trennten sie sich. Nichols blieb jedoch dem Broadway als Autor und Regisseur verbunden und konnte mit Stücken wie Barefoot in the Park, Luv und The Odd Couple – Ein seltsames Paar einige Publikumserfolge vorweisen.

Bereits sein Debüt als Filmregisseur mit Wer hat Angst vor Virginia Woolf? mit Richard Burton und Elizabeth Taylor brachte Nichols 1966 eine Oscar-Nominierung in der Kategorie „Beste Regie“ ein. Zwei Jahre später konnte er die beliebte Trophäe auch gewinnen – als Regisseur des Filmes Die Reifeprüfung, der auch Dustin Hoffman zum Star machte. Von Kritikern wurde er inzwischen als Starregisseur gefeiert und als Mitbegründer der New-Hollywood-Ära betrachtet.

In den 1970ern konnte Nichols an diese Erfolge nicht mehr anknüpfen – Filme wie Catch-22 – Der böse Trick von 1970 (beruhend auf dem Roman Catch-22 von Joseph Heller) und Die Kunst zu lieben von 1971 waren nur mäßig erfolgreich an den Kinokassen und spalteten die Kritik.

Nichols konzentrierte sich zunehmend auf das Produzieren von Broadway-Stücken und Fernsehserien und nahm immer seltener auf dem Regiestuhl Platz. Zu seinen Erfolgen als (Mit-)Produzent gehört die Fernsehserie Eine amerikanische Familie.

In den 1980ern drehte Nichols verschiedene Filme, die zwar bei den Kritikern großen Erfolg hatten, an den Kinokassen aber nicht durchweg ihr Geld wieder einspielen konnten. In dreien dieser Filmen setzte er Meryl Streep in Szene (Silkwood, Sodbrennen und Grüße aus Hollywood). Als großer Erfolg erwies sich hingegen die starbesetzte Komödie Die Waffen der Frauen. Auch in den 1990ern hatte Nichols unterschiedliches Glück bei der Auswahl seiner Filme. Während die Komödie The Birdcage – Ein Paradies für schrille Vögel mit Robin Williams und Gene Hackman in den Hauptrollen 1995 ein Erfolg an den Kinokassen war, wurden der Werwolf-Film Wolf – Das Tier im Manne und die Sex-Klamotte Good Vibrations – Sex vom anderen Stern herbe Flops.

Nichols gilt als Entdecker von Whoopi Goldberg, mit der er ab Oktober 1984 eine eigene Show am Broadway startete. Er starb am 19. November 2014 in Manhattan im Alter von 83 Jahren.

Nichols ist einer der wenigen Menschen, der alle vier großen Preise in der US-amerikanischen Unterhaltungsindustrie (Oscar, Emmy, Tony, Grammy Award) erhalten hat. Im Oktober 2009 wurde ihm der AFI Life Achievement Award zugesprochen, den er im Sommer 2010 überreicht bekam.