Sanders nació en San Petersburgo (Rusia), siendo sus padres de nacionalidad británica. En 1917, cuando tenía once años, la familia volvió al Reino Unido al iniciarse la Revolución rusa de 1917 y, al igual que su hermano, acudió al Brighton College, en Brighton. Tras su graduación trabajó en una agencia de publicidad. La secretaria de la compañía, una aspirante a actriz llamada Greer Garson, le sugirió dedicarse a la actuación. Su hermano mayor Tom Conway también fue actor, y Sanders posteriormente le cedió el papel de "The Falcon", personaje literario central de una saga de películas.

Su debut cinematográfico británico tuvo lugar en 1934, y en 1936 hizo su primer papel en Estados Unidos, en la película Lloyd's of London. Su acento y delicadeza británicos, combinados con su aire amable, esnob y en cierto modo amenazante, fueron utilizados en el cine americano a lo largo de la siguiente década. Representó papeles secundarios en producciones de prestigio como Rebeca, en la que aguijoneaba a la siniestra Judith Anderson (Mrs Danvers), en su persecución a Joan Fontaine. También tuvo papeles protagonistas, aunque en filmes menores tales como Rage in Heaven (Alma en la sombra). Durante esos años también protagonizó series de películas basadas en los personajes The Falcon y Simon Templar (El Santo). Asimismo, fue Lord Henry Wotton en la versión filmada de The Picture of Dorian Gray (El retrato de Dorian Gray). En 1947 coprotagonizó junto a Gene Tierney y Rex Harrison el filme The Ghost and Mrs. Muir (El fantasma y la Sra. Muir).

Es en el año 1949 cuando protagoniza la película Black Jack (Jack el Negro) rodada íntegramente en Mallorca y en la que también intervienen Herbert Marshall y Agnes Moorehead. La dirigió Julien Duvivier y Alexander Salkind fue su coproductor.

En 1950 tuvo su actuación más conocida y conseguida en el papel del frío crítico teatral Addison DeWitt en Eva al desnudo, ganando el Óscar al mejor actor de reparto por su interpretación.

En 1954 co-protagonizó con Ingrid Bergman Viaggio in Italia (Te querré siempre), de Roberto Rossellini, una de las películas fundamentales del cine moderno, que fue recibida por los críticos de Cahiers du Cinéma como «la primera película moderna».

En 1960 se trasladó a vivir a Europa y sus intervenciones fueron espaciándose cada vez más, siempre dentro de los personajes fríos y cínicos en los que había especializado.

Se suicidó el 25 de abril de 1972 con barbitúricos en el hotel Rey Don Jaime de Casteldefels.