År 1666 i Massachusetts Bay-kolonin har puritanerna och algonquianerna en orolig vapenvila. Hester anländer från England i jakt på självständighet. I väntan på sin make renoverar hon ett hus och bli vän med kväkare och andra utomstående. Passionen lockar henne till en ung pastor. Han känner likadant och när de får veta att hennes man troligen har dött i händerna på indianer fullbordar de sin kärlek. Ett barn föds och samma dag som Hester förödmjukas offentligt och tvingas bära en scharlakansröd bokstav dyker hennes man upp efter ett år hos indianerna. Han kallar sig Chillingworth och söker hämnd.