Février 1922. Le jour se lève sur Downton et un vent de panique souffle : madame O'Brien a filé dans la nuit pour se mettre au service de Susan Flintshire, après sa précédente proposition. Pendant que tout le monde s'indigne de ce comportement, Mary semble complètement extérieure à tout, continuant de porter le deuil de Matthew, mort depuis maintenant 6 mois, malgré les efforts d'Anna. Elle refuse même tout contact avec son fils, le qualifiant d'orphelin.

Une soirée extravagante à Downton donne aux Crawley une chance de renouer avec d'anciens amis. Certains invités s'avèrent plus attendus que d'autres, un gentleman s'intéressant de près à Mary. Mais les célébrations s'accompagnent de magouilles et de chagrin.

Anna, très choquée par le viol qu’elle a subi, ne supporte plus que son mari l’approche et refuse de lui dire la vérité par peur de sa réaction. Elle souhaite reprendre une chambre au château. Edna fait croire à Tom qu’elle est enceinte de lui et lui demande l’épouser. Tom, qui regrette cette aventure d’un soir, ne sait plus quoi faire. Il se confie à madame Hughes qui va l’aider à trouver une solution. Tony Gillingham multiplie les occasions de revoir Mary avec la complicité de Cora et Rosalyn qui remarquent avec plaisir que Mary semble reprendre goût à la vie en sa présence. Tony lui déclare sa flamme et lui demande de l’épouser.

Le changement est dans l'air alors qu'une opportunité excitante pour Alfred créée des tensions entre Ivy et Daisy. Isobel fait appel à la nature charitable de Violet, mais ceci ne se fait pas sans heurts, tandis que Tom envisage un nouveau futur pour lui et sa fille Sybbie.

Une fête d'anniversaire est prévue pour Robert, mais la contribution surprise de Rose à l'événement fait voler des plumes au-dessus et en dessous des escaliers. Une nouvelle entreprise agricole sur le domaine de Downton s'accompagne de répercussions dramatiques pour Mary, et Edith apprend qu'elle est enceinte.

Le frère playboy de Cora, Harold, est dans le pétrin et Robert doit se rendre en Amérique pour aider à le sortir de prison, tandis qu'une nouvelle entreprise agricole à Downton voit Blake et Mary obligés de mettre de côté leurs différences. Quand Violet est malade, elle trouve de l'aide venant d'une source improbable. Avec des tensions romantiques causant des mésententes en bas, les choses ne vont pas comme elles devraient lorsque Mrs Hughes, Mrs Patmore et Carson s'associent pour maintenir la paix.

Edith envisage de donner son bébé à un fermier qui loue les terres de Downton Abbey, mais Lady Rosamund lui suggère de se rendre en Suisse pour y donner l'enfant. Violet évente le secret et offre à Edith une aide monétaire. Tom rencontre Rose et Jack au magasin de thé et en parle à Mary, qui met en garde Rose. Elle se rend quand même à Londres pour y rencontrer son prétendant ; mais Jack a déjà décidé de rompre afin de mettre Rose à l'abri de la réprobation que susciterait leur relation. Alfred demande Ivy en mariage, mais essuie un refus. Daisy nage dans la confusion et renonce à Alfred, qui quitte définitivement le domaine. Mrs. Baxter devient l'amie du lugubre Molesley et cherche à lui soutirer des informations au profit de Thomas. Lord Gillingham, qui a rompu ses fiançailles sans encore en avoir averti sa fiancée, effectue une courte visite. Il continue de courtiser Mary. Anna lui révèle le crime de Green et Mary demande à Lord Gillingham de congédier son valet; il accepte.