Laureatosi in legge nel 1953 era già attivo nel mondo dello spettacolo da almeno tre anni come componente di formazioni dilettantistiche di prosa e di rivista e pure come organizzatore del centro teatrale universitario. La carriera d'attore è decollata definitivamente quando Vittorio Gassman gli ha offerto una parte nel suo Riccardo III. Nel dicembre 1954 fa la sua prima apparizione sugli schermi televisivi presentando assieme a Gianni Caiafa e Ettore Conti la trasmissione Altalena di canzoni.

Si è dedicato quasi casualmente al cinema e nel 1962 ha avuto la sua grande occasione venendo scoperto da Luciano Salce, che lo ha diretto ne La cuccagna; nello stesso anno è apparso anche ne Il processo di Verona di Carlo Lizzani, in cui ha interpretato con grande piglio drammatico il ruolo del gerarca fascista Luciano Gottardi.

Attore oltremodo versatile, a suo agio in ruoli drammatici e brillanti, lo si è visto in molte commedie con Franco Franchi e Ciccio Ingrassia, nonché come "antagonista" di Pippo Franco nel film, celebre soprattutto per il suo curioso titolo, Quel gran pezzo dell'Ubalda tutta nuda e tutta calda. Altri film in cui ha recitato sono I 2 vigili e Le tardone. Tuttavia D'Orsi è principalmente conosciuto al grande pubblico per la partecipazione a Fantozzi, dove ha interpretato il ruolo del conte Diego Catellani. È stato scelto probabilmente anche per la sua corporatura, atta a vestire i panni dell'industriale arricchito o, come in questo caso, del direttore autoritario, ed è uno dei ruoli in cui la sua voce leggera, a tratti nasale, con un timbro tipicamente settentrionale e per nulla grossolano, mal si addiceva al ruolo ed è stata sostituita da quella del doppiatore Renato Mori.

In diversi film, probabilmente per i lineamenti del viso che lo identificavano come un uomo corpulento e tutto d'un pezzo, è stato infatti doppiato. Si possono ricordare il ruolo di Deville nel film I due sanculotti, in cui è doppiato da Carlo Romano, o del commendator Cazzaniga I due maghi del pallone, in cui è doppiato da Nando Gazzolo, o il già citato severo conte Catellani nel primo film della saga di Fantozzi, in cui è doppiato da Renato Mori, o ancora il sor Giovanni de I due assi del guantone, dove è doppiato da Pino Locchi.

Molto attivo sui palcoscenici teatrali, dove ha lavorato con attori del calibro di Paolo Stoppa e Gabriele Lavia, è stato anche nel campo degli spot pubblicitari, dove ha dato vita ad una celebre macchietta di Carosello, Belisario il confusionario.