1982. Patrick Melrose, alors sous l'effet de l’héroïne, apprend par téléphone que son père est décédé et qu'il doit récupérer ses cendres à New York. Suite à cette nouvelle, il annonce à Julia, une des femmes de sa vie, qu'il va arrêter la drogue. Mais a cause de souvenirs apparemment désagréables en rapport avec son père, il va en être incapable. Les trois jours qu'il passe en Amérique suivent le rythme des différentes drogues qu'il prend pour calmer ses démons intérieurs, révélant ainsi sa personnalité dépressive et suicidaire. Durant ce séjour, il revoit des amis et admirateurs de sont père, dont Nicholas. Désespéré, Patrick finit par appeler son ami Johnny.

De retour à Londres de New York, Patrick est en pleine crise de manque. Alors que ses amis Johnny et Julia veillent sur lui, il se remémore la source de son malêtre et de ses addictions : des vacances dans la maison familiale dans le sud de la France, alors qu'il avait 8 ans, quand son père, David Melrose, violent et manipulateur a commencé à abuser de lui en présence de sa mère alcoolique et impuissante et des amis de la famille, dont le parrain de Patrick, Nicholas.

1990. Patrick parvient à contrôler ses addictions et s'est isolé de son ancienne vie depuis quelque temps. Mais il est sommé par Nicholas de venir à une réception mondaine où sera présente la princesse Margaret. Le retour de Patrick parmi les aristocrates, leurs faux semblants et leurs manières snobes et hautaines le renvoie à ses traumatismes d'enfance. À cette soirée où il se rend avec Johnny, il revoit notamment Julia et un ancien dealer qu'il avait croisé pendant ses trois jours à New York désormais reconverti en musicien. Il fait aussi la connaissance de Mary.

2003. Patrick, devenu avocat, passe une partie de l'été dans la maison familiale en France avec sa femme Mary et leurs deux fils. Il y retrouve sa mère Eleanor, gravement malade, qui lui annonce son intention de léguer la maison et sa fortune à une fondation New Age. Patrick vit ce déshéritement comme une trahison et un abandon. Des sentiments de haine et de rancœur vis à vis de sa mère font alors surface, S'ajoute le souvenir du père qui le hante toujours. Tout cela laisse ressurgir ses tendances autodestructrices mettant à mal sa vie maritale et son rôle de père.

Avril 2005. Patrick retrouve Mary, dont il est séparé, pour l'enterrement de sa mère. Entre temps, il a été interné de son plein gré dans un centre de désintoxication suite à un délirium tremens. On apprend également que David Melrose avait aussi abusé de d'autres enfants que son fils mais qu'Eleanor refusait d'y croire. Durant les funérailles de celle-ci, Patrick est confronté aux ressentis qu'il a à l’égare de sa mère qui n'a pas su le protéger enfant mais dont tous louent sa belle personnalité et ses bonnes actions. Il doit aussi supporter le dernier admirateur encore en vie de son père, Nicholas, dont il appendra finalement la mort le soir même. Enfin, les comportements addictifs de Patrick semblent s'être estompés. Son fils aîné et sa femme lui proposent de revenir dîner à la maison.