Crosby, petite ville côtière du Maine. Épouse d'Henry Kitteridge, le pharmacien de la bourgade, enseignante tyrannique et mère étouffante d'un unique fils, Olive est un être étrange, peu amène. Son expression austère dissimule pourtant une grande bonté. Si aucun potin ne lui échappe, elle entend aussi mieux que personne la musique des âmes tristes. Et elle voit clair, terriblement clair. Mais sa lucidité, assortie d’une franchise cinglante, se retourne souvent contre elle. Après le décès soudain de son assistante, Henry engage la très jeune Denise pour qui il se prend d’affection. Olive, quant à elle, s’efforce d’aider Kevin Coulson, un de ses élèves dont la mère souffre d’une profonde dépression.

Olive et Henry sont à présent à la retraite. Un soir, Olive croise Kevin Coulson, son ancien élève, devenu étudiant en psychiatrie. Victime d’hallucinations, le jeune homme craint de prendre le même chemin que sa mère. Olive cherche à le réconforter. Elle l’invite au mariage de son fils, Christopher. Ce dernier s’apprête à épouser Suzanne qu’Olive n’apprécie guère.

Après un repas avec des amis, Olive est prise de maux d'estomac. A l'hôpital, où elle et son mari se sont arrêtés un peu par hasard, une infirmière lui conseille de passer des examens afin de s'assurer que tout va bien. Deux braqueurs font alors irruption et prennent les Kitteridge et le personnel en otage. Même si le moment est mal choisi, Olive et Henry en profitent pour régler leurs comptes.

Quatre ans ont passé depuis l’accident d'Henry… Olive s’envole pour New York où elle va rendre visite à Christopher et sa nouvelle femme, Ann, qui attend un enfant. Toujours aussi spontanée et directe, Olive désapprouve ouvertement le comportement de sa belle-fille, ce qui n’est pas du goût de Christopher. À son retour de New York, on annonce à Olive qu’Henry est mort dans la nuit.