Smit zong vier jaar bij het Volendammer jongenskoor De zangertjes van Volendam onder leiding van de onderwijzer Evert Beumer. Hij werd op tienjarige leeftijd ontdekt toen de Volendamse band BZN een duet wilde opnemen met jong plaatselijk talent en zangeres Carola Smit (geen familie). Jantje werd hiervoor uitgekozen en het nummer Mama werd vervolgens een groot succes. Dit lied kwam te staan op hun cd A Symphonic Night. Naar aanleiding hiervan mocht hij een solosingle opnemen, geproduceerd door drie BZN-leden. De single Ik zing dit lied voor jou alleen kwam op plaats nummer één binnen in de Nederlandse hitparades. In de twee volgende jaren scoorde de destijds als Jantje Smit aangeduide zanger nog vijf hits, waaronder Pappie, waar blijf je nou. Alle nummers werden geschreven door de BZN-leden Jan Keizer, Jack Veerman en Jan Tuijp.

Buiten Nederland is Smit ook succesvol in België, Duitsland, Oostenrijk, Italië en Frankrijk. Hij trad enige tijd op in Duitsland vanwege de ruimere arbeidstijdenwetgeving: in Nederland mogen kinderen bij wet slechts enkele malen per jaar optreden. In Duitsland bracht hij inmiddels tien Duitstalige albums uit. In 2001 ontving Smit met BZN en zijn producers de exportprijs, als best verkopende Nederlandse act in het buitenland.

Al sinds 1999 zet Smit zich naast zijn zangcarrière ook in als ambassadeur van SOS-Kinderdorpen.