Tarkovszkij családja a kaukázusi Dagesztánból származott. Híres felmenői között van Mahomat Tarkovszkij, akit II. Katalin cárnő az orosz érdekek és a kereszténység képviseletében Dagesztán urává nevezett ki 1793-ban; anyai nagybátyja pedig Moszkva kormányzója volt. Apja, Arszenyij Tarkovszkij költő és műfordító volt.

Andrej három éves korában apja elhagyta a családot. Anyjával és húgával egy vidéken bérelt házban laktak, de a második világháború kitörésekor menekülniük kellett.

Tizenegy évesen tuberkulózist kapott és egy évig kórházban ápolták.

Gimnáziumban zenét és festészetet tanult, majd 1951-től két évig az arab nyelvet tanulmányozta a Keleti Nyelvek Intézetében.

Két évet töltött Szibériában, egy geológiai expedíció miatt, majd Vaszilij Suksin író társaságában. Onnan visszatérve, 1954-ben iratkozott be a Moszkvai Filmfőiskolára, ahol Mihail Iljics Romm osztályába került.

1960-ban megnősült, felesége főiskolai kolléganője, Irma Rauch lett.

Karrierje 1962-ben kezdődött, ekkor forgatta az Iván gyermekkora című filmjét, mely rögtön hatalmas nemzetközi sikert aratott: a Velencei Filmfesztiválon a legjobb rendezésért járó Arany Oroszlán-díjat kapta.

Az 1966-os Andrej Rubljov forgatása közben már érték őt atrocitások a szovjet belügyi hatóságoktól, alkotói szabadságáért élete végéig harcolnia kellett.

A forgatás alatt ismerkedett meg Larissza Jegorovkinával, aki második felesége, és 1970-ben megszülető Andrej fia édesanyja lett. A filmet csak 1970-ben mutatták be. Ezekben az években forgatókönyveit visszautasították, csak 1972-ben forgathatott újra.

A Solaris ismét hangos nemzetközi sikert aratott, az 1972-es cannes-i filmfesztivál zsűrije külön nagydíjjal jutalmazta.

1974-es Tükör című filmje után színházban rendezte meg a Hamletet.

A Sztalker forgatásakor a filmet egy német filmforgalmazó vállalat előre megvette, a vállalattól a forgatásra küldött jó minőségű negatívot az Állami Filmbizottság mégsem juttatta el Tarkovszkijhoz, hanem azt más készülő filmekre elhasználta. Tarkovszkij íolyan negatívot kapott, melyet nem lehetett Moszkvában előhívni, így az első, csaknem leforgatott film nyersanyaga megsemmisült. Tarkovszkij ennek ellenére újra belekezdett a forgatásba, és 1978. áprilisi infarktusa sem akadályozta meg abban, hogy 1979-re elkészítse a film második variációját, mely – elmondások szerint – jelentősen különbözik az elsőtől.

1979-ben készítette el a Nosztalgia forgatókönyvét. A filmet már Olaszországban forgatták, és az 1983-as cannes-i filmfesztiválon elnyerte az alkotói film nagydíját.

1983-ban operát rendezett Londonban: a Borisz Godunovot. Ekkoriban Olaszországban és Angliában tartott előadásokat. Többéves huzavona után (a szovjet hatóságok nem akarták tartozkodási engedélyét meghosszabítani) 1984-ben jelentette be, hogy nem tér vissza a Szovjetunióba, fia, Andrej azonban csak 1986-ban mehetett utána.

Az 1986-os, Svédországban befejezett Áldozathozatal ismét a zsűri különdíját nyeri el Cannes-ban.

Következő filmtervei a Hamlet, az E.T.A Hoffmann művei alapján késülő Hoffmanniádia, a Szent Antal megkísértése, a Szent János Patmosz szigetén, a Rudolf Steiner művei alapján forgatott Golgota voltak.

Párizsban halt meg, tüdőrákban. Itt temették el, a Sainte-Genevieve-des-Bois temetőben. Sírján ez a felirat olvasható: „Az ember, aki látta az angyalt”.