Urodził się w Filadellfii w Pensylwanii w rodzinie katolickiej jako syn Joe Picardo. Jego ojciec pochodził z Montecorvino Rovella w Salerno, a dziadkowie ze strony matki wywodzili się z Bomba w Abruzji. W 1971 ukończył William Penn Charter School. Początkowo wstąpił na Uniwersytet Yale jako student medycyny, ale z czasem zrezygnował ze studiów dla kariery aktorskiej. Ukończył Uniwersytet Yale z tytułem licencjata w dziedzinie dramatu.

Był członkiem studenckiego zespołu a cappella Society of Orpheus and Bacchus. W 1973 wystąpił w Mszy Leonarda Bernsteina w Wiedniu pod dyrekcją Johna Mauceriego. Produkcja była pokazywana w telewizji przez ORF i wyemitowana w PBS w latach 70.

W 1976 zadebiutował na off-Broadwayu w przedstawieniu Davida Mameta Perwersja seksualna w Chicago, a następnie występował w sztuce Podstawowa klasa angielskiego z Diane Keaton. W latach 1977-1981 na Broadway grał rolę Francisa Geminianiego w spektaklu Gemini u boku Danny’ego Aiello.

W 1977 trafił na mały ekran jako Thomas Rindone w dwóch odcinkach serialu kryminalnego CBS Kojak. Po występie w dramacie telewizyjnym Sprzedawcy marzeń (The Dream Merchants, 1980) z Markiem Harmonem i Morgan Fairchild, zagrał w horrorze Joego Dante Skowyt (The Howling, 1981) wg powieści Gary’ego Brandnera z Dee Wallace. Rozpoznawalność przyniosła mu rola trenera Cutlipa w serialu ABC Cudowne lata (The Wonder Years, 1988–1991), za którą był nominowany do nagrody Emmy. Za postać Forstera w komedii grozy Joe Dantego Gremliny 2 (Gremlins: The New Batch, 1990) zdobył nominację nagrody Saturna jako najlepszy aktor drugoplanowy. W filmie fantastycznonaukowym Jonathana Frakesa Star Trek: Pierwszy kontakt (Star Trek: First Contact, 1996) wystąpił jako Awaryjny Hologram Medyczny. Grał również rolę doktora Lewisa Zimmermana w serialu Star Trek: Voyager (1995–2001), za którą był nominowany do nagrody Saturna w kategorii najlepszy drugoplanowy aktor telewizyjny[9]. Gościł też w serialach: Ally McBeal (1999), Frasier (2001) i 4400 (2005). Występował jako Richard Woolsey w serialach: Stargate SG-1 (2004–2007) i Gwiezdne wrota: Atlantyda (2006–2009). W komedii Joela i Ethana Coenów Ave, Cezar! (Hail, Caesar!, 2016) pojawił się jako rabin.

21 października 1984 ożenił się z Lindą Pawlik. Mają dwie córki: Nicollette Ariannę (ur. 14 marca 1989) i Ginę Emirę (ur. 3 listopada 1991)[12]. W 2014 doszło do rozwodu.