Народився 17 червня 1914 р. Тяньцзіне (Китай), в сім'ї американських місіонерів. Він навчився говорити по-китайськи раніше, ніж по-англійськи. Сім'я повернулася в Америку, коли хлопчикові було десять років. Закінчив Єльський і Кембриджський університети. У 1937 році, будучи студентом Кембриджського університету, був літературним секретарем письменника Сінклера Льюїса; писав для журналів «Тайм» ( «Time», 1937-1944) і «Лайф» ( «Life», 1944-1945). З 1965 по 1970 роки Херсі був главою Пірсон коледжу.
Уже перший роман Херсі, «Дзвін для Адано» (A Bell for Adano, 1944), був відзначений Пулітцерівської премією (1945). Наступна книга, «Хіросіма» (Hiroshima, 1946), - хвилюючий документальний репортаж про першу атомного бомбардування. Роман «Стіна» (The Wall, 1950) оповідав про повстання в'язнів варшавського гетто під час Другої світової війни. Сатиру на американську освіту представив «Скупник дітей» (The Child Buyer, 1960); в романі «Занадто далеко йти» (Too Far to Walk, 1966) нудьга і безцільність життя американських студентів лежать в основі молодіжного бунту 1960-х років; «Білий лотос» (White Lotus, 1965) - фантазія на тему расових відносин; центральний образ замків і дверей в романі «Горіхова двері» (The Walnut Door, 1977) знаменував перехід від бурхливих 1960-х років до обережних і обачним 1970-м; спогадами про життя місіонерів в Китаї навіяний роман «Поклик» (The Call, 1985); філософський діалог «Синьова» (Blues, 1987) присвячений практиці і метафізиці рибного лову. У числі останніх публікацій Херси збірка оповідань Кидок (Fling, 1990).