Iskoláit szülővárosában kezdte el. Tizenkét éves korában – kényszerűségből – Budapestre, a VII. kerületi Elemér utca 6.-ba költöztek. A Damjanich utcai Rákóczi Felsőkereskedelmi Iskolában érettségizett.

Sikeresen felvételizett az akadémiára. A háború miatt tanulmányait néhány hónap után meg kellett szakítania. 1945 őszén megpróbálta folytatni a főiskolát. Sikeres, szerződtetett színészként azonban fel kellett adnia diplomaszerzési elképzeléseit.

A Belvárosi Színházban 1946. március 23-án mutatkozott be, René Fauchois: Vigyázat, mázolva című darabjában. Ezt megelőzően azonban még szerepet kapott a Magyar Színházban (Néma levente) és a Madách-ban is (Ludas Matyi).

Színháztörténeti jelentőségűnek tartják a Belvárosi Színházban bemutatott, Bárdos Artúr által rendezett Rómeó és Júliát.

1948-ban a Major Tamás által vezetett Nemzeti Színház szerződtette.

A Színházi Adattárban az első regisztrált nemzeti színházi bemutatója az 1949. december 2-án színpadra állított Gorkij-darab, az Ellenségek volt. A forrásként említett Színházi Adattárban 130 „nemzetis” bemutatója van regisztrálva.

A nagy tekintélyű művész a 80-as években közéleti szerepet is vállalt. 1981 és 1990 között a Színházművészeti Szövetség elnöke volt; 1985 és 1989 között országgyűlési képviselő, a kulturális bizottságot is vezette.

Hűséges maradt a társulathoz – Pesti Magyar Színház – és az Izabella téri épülethez, amikor az új Nemzeti Színházban már nem újította meg tagságát. Ebben a társulatban volt 2005. december 11-én utolsó bemutatója – Schwajda György Rejtő Jenő-adaptációjának címe: A néma revolverek városa.

Művészetét számos film- és televízió-felvétel őrzi. Első filmje, Fehér vonat három évig (1943-46) készült. Legendás szerepe volt A tanú című filmben Pelikán, a gátőr. Jelentős – eltérő karakterű – alakításai voltak még a Katonazene, a Megszállottak és az Iszony című filmekben is. Utolsó alkalommal Sándor Pál, Noé bárkája című mozijában állt a felvevőgép elé.

Sokat foglalkoztatott művésze volt a Magyar Rádiónak is.

Statisztikai feldolgozások szerint Kállai Ferenc félévszázados pályafutása alatt 173 színházi premieren lépett színpadra. Mozifilmjeinek száma 96. Hasonlóan magas tévészerepléseinek száma is. Rádiófelvételei szinte leltározhatatlanok. Volt olyan év, amikor minden hétre jutott egy-egy rádióbemutatója.

1977 és 1990 között a Színház- és Filmművészeti Főiskola tanára, 1987-től egyetemi tanára.

2000-ben elsők között kapta meg a Nemzet Színésze elismerést, nyolcadikként távozott az égi társulatba.

Feleségével, (Zúz)Marával a háború alatt egy légópincében ismerkedett meg. 1951-ben kötöttek házasságot, és néhány – a művész által nyíltan vállalt – konfliktus ellenére is kitartottak egymás mellett.

A hatvanas évektől lakott a Gugger-hegyen, a kilátóhoz közel, Bessenyei Ferenc és Sinkovits Imre szomszédságában.

2010 tavaszán elkészült Sághy Gyula Kállai Ferencről szóló dokumentumfilmje.

A nagybeteg művész egyik utolsó nyilatkozatának záró mondata: „Uram, nézz végig rajtam, Uram, láss meg te is engemet. Mindennek vége. Vége.” (Ady Endre Imádság háború után.)