Der er gået et halvt år, siden Matthew Crawley omkom på tragisk vis. Mary har født hans barn, men hun er stadig i dyb sorg, og hendes far og farmor er ikke enige om, hvordan familien bedst kan hjælpe hende videre. Blandt tjenestefolkene er der udsigt til knuste hjerter, da herskabstjeneren Jimmy endelig viser interesse for køkkenpigen Ivy. Samtidig rager den beregnende Thomas uklar med husets nye barnepige.

Mary er ved at komme ud af sin skal efter Matthews død. Hun begynder at interessere sig for driften af godset, men møder modstand fra sin far. Samtidig dukker der et brev op, der afslører, at det var Matthews ønske, at Mary skulle være hans enearving - og dermed ejer af halvdelen af godset. Men er brevet retsgyldigt?

Robert og Cora inviterer til overdådigt weekendselskab på Downton Abbey. Det er dog ikke alle gæsterne, der opfører sig lige pænt.

Anna er fuld af selvbebrejdelse efter at være blevet voldtaget. Hun tør ikke betro sig til Bates, for hvordan vil han reagere? Mary, Rose og Tom tager til London. Her opsøges Mary af Anthony Gillingham, der har forelsket sig i hende. Samtidig får Rose en beundrer, der ikke falder i hendes slægtninges smag.

Alfred skal til kokkeprøve på selveste Ritz i London. Isobel overtaler Violet til at ansætte en ung mand fra landsbyen som gartner. Og Bates konfronterer mrs Hughes for at finde ud af, hvorfor Anna giver ham den kolde skulder.

Familien planlægger surprise-fest for Robert - og ikke mindst Roses bidrag til festen får gæsterne til at spærre øjnene op. Samtidig er Edith urolig, fordi hun ikke har hørt fra Michael, og det er ikke det eneste, hun får at bekymre sig om.

Coras bror er lidt af en playboy, og Robert bliver bedt om at tage til USA for at hjælpe ham ud af en knibe. I hans fravær får Mary en forsmag på glæderne ved svinelandbrug, da de første grise ankommer til Downton. Samtidig betror en gravid og ulykkelig Edith sig til sin tante, mens Violet får hjælp fra uventet kant, da hun pludselig bliver syg.

Rosamund, Ediths tante, lægger en plan for Ediths ufødte barns fremtid. Rose har sine egne planer, men de falder ikke i god jord hos familien. Samtidig fortæller Anna Mary, hvem der voldtog hende. Men hun frygter, hvad der sker, hvis Bates også finder ud af det - måske med god grund.