1920 年的春天，Cora 的母亲前来参加 Mathew 和 Mary 的婚礼，与老伯爵夫人有些摩擦。伯爵被告知自己用 Cora 的财产做的一个铁路公司的投资失败了，导致庄园接近破产，解决方法靠的是 Lavinia 的父亲留给 Matthew 的遗产，但是他高尚的品格使他不允许自己继承它，认为这是对 Lavinia 和她父亲的背叛。

为了权衡唐顿庄园的利益，Mary 和老伯爵夫人密谋劝说 Cora 的母亲 Levinson 夫人给他们更多的钱使唐顿庄园从经济危机中走出。她们的尝试被阻碍了。Levinson 夫人告诉他们，不得不适应世界的改变，表示自己想回美国。同时，楼下，O'Brien 和 Thomas 关于 Alfred 做 Matthew 的贴身男仆的事有纷争。Mrs Hughes 得了癌症，吓得她只敢和 Mrs Patmore 和 Clarkson 医生说。Isobel 发现 Ethel 成为了一个妓女。

本集从 Edith 的婚礼开始，同时 Mary 和 Matthew 争论 Matthew 即将继承的财产。Lavinia 的父亲知道 Matthew 爱着Mary，因为 Lavinia 曾写信告诉父亲自己有可能取消婚礼。Matthew 要把钱给伯爵，伯爵要 Matthew 同意帮他管理庄园才会接受他的钱，Matthew 同意了。Mrs Hughes 等着她的癌症报告，Mrs Patmore 告诉 Carson Mrs Hughes 没有得癌症，Carson 很高兴。Thomas 告诉 Molesley Miss O'Brien 曾害 Cora 流产，Cora 原谅了她因为她知道这不是她的错。Anthony Strallan 爵士担心他们的婚礼对 Edith 不公平，在婚礼前他离她而去了，Edith 哭得很伤心。她母亲尽快撤去婚礼装饰，为了不让她伤心。

Branson 因为爱尔兰反抗的事被警察追捕，他一个人来到了唐顿庄园，伯爵一家感到很愤怒，最终 Sybil 安全抵达庄园。Branson 一回到爱尔兰就会被逮捕。Anna 很久没收到 Bates 的信，而且也不被允许访问他。Bates 也在想为什么 Anna 的信很久没来了。Ethel 决定让她的儿子和他的祖父母住在一起这样他就能有一个更好的生活。Carson 招入了一个新的男仆 Jimmy Kent，他吸引了女人们和 Thomas 的注意。新厨房女佣 Ivy Stuart 使 Alfred 的注意力从 Daisy 身上离开。Edith 写信给报纸支持更多的女权。

1920 的秋季，Edith 被邀请在一个常规报纸专栏上做文章。她对这个机会很兴奋，但大多数家里人都不支持。Isobel 通过提供 Ethel 仆人的工作来帮助她。但是 Mrs Bird 拒绝和 Ethel 工作，因此离开了。新的女仆 Ivy 吸引了 Alfred 的兴趣，接手了 Daisy 的职务。Matthew 相信 Robert 在错误地管理庄园，和家庭律师 George Murray 的结盟。Mary 很生气地发现 Matthew 没有和她父亲，Grantham 伯爵讨论过。Sybil 加入工党，伯爵雇了一个著名的产科医生 Philip Tapsel 爵士，让 Clarkson 医生和 Cora 很心烦。两个医生在 Sybil 的照料上有不同的意见，Clarkson 医生坚持 Sybil 患了“产惊”，应该被带到医院里。但是 Phillip 爵士认为 Sybil 很健康。Sybil 生了一个女孩，看上去很健康，但是到了晚上她身体很不适，最后去世了。第二天，Cora 要责怪她丈夫，因为他拒绝接受 Clarkson 的意见。尽管老妇人安慰了他，但 Robert 承认自己有错。

1920 年秋天，Branson 决定为他的女儿取名为 Sybil，希望让她受天主教的洗礼，Robert 对这两件事都坚决反对。Mary 和其他人都赞同 Branson 的决定。为了修复 Cora 和 Robert 的婚姻，老伯爵夫人施加压力让 Clarkson 医生收回他的诊断，让他说 Sybil 有很小的机会能存活，Cora 原谅了 Robert。Anna 发现了能证明 Bates 无罪的证据，但是另一个囚犯威胁到了他的自由。在 Bates 威胁了他的狱友后，律师 Murray 能让 Bates 被释放了。Daisy 对 Alfred 很关注 Ivy 感到烦恼。在 Mrs Patmore 的帮助下，Ethel 为 Crawley 家的女人们准备了一场午餐会。Robert 很愤怒，Isobel 竟然让一个前妓女为他的家人准备午餐。Cora 和女人们忽略了的他抗议。

Bates 从监狱被释放了，但是 Thomas 关于 Bates 的释放不高兴。在 O’Brien 的建议下，Thomas 夜袭了 Jimmy，正中 O’Brein 的下怀。尽管 Robert 抗议了，Branson 计划让 Sybil 接受天主教的洗礼。Branson 的哥哥要来 Downton 了。Robert 反对 Edith 想成为记者的愿望，但 Violet 支持她的孙女。Matthew 继续面对 Robert 对庄园的错误经营。

1920 秋天，唐顿庄园和村庄的周年板球比赛将要举行了，它激起了 Robert 的竞争意识。Violet 的曾孙 Rose MacClare，她外甥女 Susan 和她丈夫 Hugh 的女儿到伦敦参观，她比看上去的要疯狂，她喜欢喝酒喝参加派对。Carson 掌控着 Thomas 的未来，Thomas 发现他可以和 Bates 结成联盟，Bates 只是好心不愿让 Thomas 失去生活来源，然而 Thomas 却成为了副管家。Mary 和 Matthew 互相守着自己的秘密。Matthew 拜访了伦敦的医生，发现 Mary 也在那儿看病。

1921 年 9 月，伯爵一家拜访了 Rose MacClare 和她的父母，离开大多数仆人，在苏格兰高地的 Duneagle 庄园去度过他们的夏天。单人的仆人 John Bates，Anna Bates，Alfred Molesley，Sarah O’Brien 也去旅行了。Branson 留在唐顿，因为他没被邀请，但他不在乎。Edith 很惊讶 Michael Gregson 在苏格兰。Mary 和 Matthew 怀疑 Gregson 的目的。紧张在 Crawley 一家和他们的主人间蔓延开来。他们将会狩猎，用假蝇钓鱼，射击和壮观的软底鞋舞会。O’brien 发现 Susan 的贴身女仆 Wilkins 和她有相似点因而与 Wikins 亲近，但 Susan 看上了 O‘Brien 的理发手艺，并因为这批评了 Wikins,使得 wikins 对 O‘Brien 产生反感并在舞会上试图用烈酒来捉弄 O‘Brien，却被 O‘Brien 无心避过。Mrs. Patmore 和唐顿的新食品供货商 Tufton 产生了一些暧昧的关系，然而却发现 Tufton 只是想为了她的厨艺而娶她。怀孕的 Mary 在舞会之后身体不适先回到 Downton，并顺利生下一个儿子。刚从苏格兰急冲冲赶回来的 Matthew 看到母子平安感到十分幸福快乐。然而在他开车回 Downton 的路上，Matthew 由于闪避不及而撞上了一辆马车并当场死亡。（衔接第三季故事）