Родился в городе Прилуки Полтавской губернии (ныне — Черниговская область) 3 мая 1900 года. Не имея специального актёрского образования, он в 1918 году дебютировал на любительской сцене в Прилуках, впоследствии играл в театрах Симферополя, Черкасс, Лубен, Чернигова, Днепропетровска и Харькова. С 1928 года — в Киевском театре им. И. Франко (с перерывами).

В 1931-м году Николай Яковченко направляется в составе труппы новосозданного Харьковского театра революции. Сезон открылся 7 ноября спектаклем «Дело чести» (И. Микитенко). В этом же году 31-летний Яковченко сочетается браком с 21-летней Татьяной Марковной, которая выбрала его, отклонив ухаживания многих претендентов, в том числе известного актёра Виктора Добровольского. Свадьбу сыграли в Киеве на Шулявке, после чего супружеская пара выехала в Харьков. 26 апреля 1932 года у них родилась дочь Ирина.

С 1934-го года Яковченко — снова актёр театра Франко. О его возвращении Гнат Юра шутит как о «возвращении блудного сына». Актёр возвращается в театр на должность «актёр высшей категории».

С 30 сентября 1939 года по 13 марта 1940 года в соответствии с законом о всеобщей воинской обязанности Николай Яковченко проходит службу в армии, становится участником Советско-финской войны.

Восемь месяцев после возвращения (апрель 1940-го) Яковченко работает в Киевском государственном театре музыкальной комедии (основанный в 1934 году), после чего снова возвращается в театр Франко.

Основные театральные роли Яковченко — Бублик, Долгоносик («Платон Кречет», «В степях Украины» А. Корнийчука), Пененжка («Мартын Боруля» И. Карпенко-Карого), Лещ («Последний» М. Горького), Оверко («Фараоны» А. Коломийца), Распер («Делец» В. Гозенклявера) и др.

В 1943 году присвоено звание Заслуженного артиста Украинской ССР.

В театре Франко с приходом нового директора Компанийца, с целью «упорядочить творческий состав театра» для выполнения «решения Правительства о переходе театра им. И. Франко на бездотационную работу» Николая Яковченко вместе с рядом других актёров выводят за штат труппы с предоставлением повышенной республиканской премии и обещанием задействовать в творческой работе на принципах разовой оплаты.

Николай Фёдорович начинает сниматься в кино. Среди работ — Кондрат Перепелица («Максим Перепелица»), Прокоп Серко, отец Прони («За двумя зайцами»), Пацюк («Вечера на хуторе близ Диканьки»), Спирид («Вий»), дед Максим («Меж высоких хлебов»), товарищ Лопата («Королева бензоколонки») и много других.

Николай Яковченко выступает с приветствием мировой знаменитости — греческой трагедийной актрисы Аспасии Папатанасиу, которая на киевской сцене играла главную роли в спектакле «Антигона» Софокла. Сделал он это стихами на греческом языке.

Несмотря на невероятную популярность и всенародную любовь, долгое время звание «народного» Николаю Фёдоровичу не присваивают. Официально звание «народного» Яковченко получает лишь в 1970 году, за 4 года до смерти.

11 сентября 1974 года умер во время операции. Похоронен на Байковом кладбище в Киеве (9-й участок).