I 1666 i Massachusetts Bay-kolonien har puritanerne og algonquianerne en urolig våpenhvile. Hester kommer fra England på jakt på selvstendighet. Mens hun venter på mannen sin, renoverer hun et hus og blir venn med kvekere og andre utenforstående. Lidenskap tiltrekker henne til en ung pastor. Han føler det på samme måte, og når de får vite at mannen hennes sannsynligvis har dødd i hendene på indianere, fullbyrder de sin kjærlighet. Et barn blir født, og samme dag som Hester blir offentlig ydmyket og tvunget til å bære en skarlagenrød bokstav, dukker mannen hennes opp etter et år hos indianerne. Han kaller seg Chillingworth og søker hevn.