Anthony Marcus Shalhoub 1953. október 9-én született a wisconsini Green Bay-ben. Gyermekkora nagy részét is itt töltötte. Édesapja libanoni származású, édesanyja hasonlóképpen, csak ő már Amerikában született. Kilenc testvére van, közülük Susan és Dan szintén színészek.

Mindössze hat éves volt, amikor először állt színpadon egy iskolai darab keretein belül: A király és én (1959). Rövid ideig hallgatója volt a University of Wisconsinnak, majd átigazolt a University of Southern Maine-re, ahol drámatagozaton diplomázott 1977-ben. Mesterképzésen a Yale School of Drama falain belül vett részt, s 1980-ban vehette át oklevelét.

A mesterség alapjait a Massachusetts-i American Repertory Theatre társulati tagjaként sajátította el, majd Broadway előadásokban ért el sikereket. Itt ismerte meg későbbi feleségét, Brooke Adams-et, akivel 1992-ben házasodtak össze. A kapcsolatból egy lány született: Sophie (1993).

Első filmszerepét a Féltékenység (1986) című vígjátékban kapta, majd az Egyedül a neondzsungelben (1988) című alkotásban jutott szereplési lehetőséghez. Felbukkant a Bill Murray főszereplésével készült Viszem a bankot (1990) és a James Caan, Nicolas Cage és Sarah Jessica Parker trióval színre vitt Nászút Vegasba (1992) című vígjátékokban is.

Tim Robbinsszal és Meg Ryannel dolgozott együtt az I.Q. – A szerelem relatív (1994) című romantikus alkotásban, majd Gena Rowlands főszereplőtársa volt a Paulie (1998) című családi vígjátékban. Arthur Kriticos családapa szerepében találkozhattunk vele a 13 kísértet (2001) című horrorban, majd elnyerte talán pályája legjelentősebb karakterének megformálási jogát: Adrian Monk, a fóbiáitól és kényszerbetegségétől erősen korlátolt, ám briliáns elmével és megfigyelőkészséggel megáldott nyomozó bőrébe bújt a Monk – Flúgos nyomozó (2002) című tévésorozat nyolc évadán keresztül. Alakításáért többször tüntették ki Emmy- és Golden Globe-díjjal.

Jack Jeebsként jelent meg a Men in Black – Sötét zsaruk első és második részében (1997, 2002), majd Nicole Kidman és Clive Owen oldalán játszott a Hemingway és Gelhorn (2012) című romantikus filmdrámában, mely Ernest Hemingway életútját követi nyomon. Utolsó munkái közé tartozik Victor Kershaw megformálása Mark Wahlberg és Ed Harris társaságában a Pain & Gain (2013) című akciófilmben.