Storbritannien, 1924. Arbejderpartiet Labour er kommet til magten, og det indvarsler forandringer blandt både herskab og tjenestefolk på godset Downton Abbey. Sammen må godsejeren Robert, hans datter Mary og svigersønnen Branson forsøge at styre Downton sikkert gennem de nye tider. Samtidig gør tjenestefolkene sig tanker om, hvad samfundsændringerne mon vil betyde for deres fremtid.

Efter den dramatiske brand er der igen nogenlunde normale tilstande på Downton Abbey. Mary beder Anna om hjælp forud for sin hemmelige elskovsferie med lord Gillingham. Daisy sveder over sine studier, og mrs. Patmore får en ide, der måske kan hjælpe køkkenpigen. Samtidig er Thomas ude på at få Baxter ned med nakken. Vil det lykkes ham at ødelægge hendes venskab med Molesley?

Mary er taget på hemmelig elskovsferie med lord Gillingham, men nogen opdager hendes hemmelighed. Cora har fået en beundrer, mens Violet møder en kær gammel bekendt. Samtidig har et vidne meldt sig i sagen om mr. Greens død, og til Annas bekymring bliver Bates indkaldt til afhøring af politiet.

Herskabstjeneren Thomas har pådraget sig en mystisk sygdom efter at være vendt tilbage til Downton. Violet fortæller Isobel om sin fortid med den russiske prins Kuragin, mens Mary når frem til en beslutning om sit forhold til lord Gillingham. Samtidig bliver Sarah Bunting ved med at skabe uro på Downton, men denne gang går hun måske for vidt.

Branson træffer en svær beslutning om sit venskab med Sarah Bunting. Violet forsøger at få Isobel til at afvise lord Mertons frieri. Anna og Mary afhøres i sagen om mr. Greens død. Og Simon Bricker vender tilbage til Downton, men går hans flirteri med Cora for vidt denne gang?

Robert og Coras indbyrdes forhold er anspændt efter Simon Brickers forsøg på at forføre Cora. Edith modtager en frygtelig nyhed, der får hende til at tage en drastisk beslutning. Samtidig bliver Thomas' helbredsproblemer stadigt værre, og det får ham til langt om længe at bede Baxter om hjælp.

Edith er stukket af med sin lille datter. Vil familien opdage hendes hemmelighed? Samtidig kan en glad Rose for første gang vise Downton frem for Atticus og hans forældre. Blandt tjenestefolkene bemærker Molesley, at Daisy er ved at miste modet i forhold til sine studier. Han lægger en plan, der skal få hende til at holde næsen i bøgerne.