The Leftovers vindt plaats drie jaar na een wereldwijde gebeurtenis waarbij vele mensen zijn verdwenen, bekend als het Plotse Vertrek.
Dit zorgde ervoor dat 140 miljoen mensen verdwenen, 2% van de wereldbevolking. Het verhaal focust zich vooral op het gezin Garvey en hun kennissen in de fictieve stad Mapleton, New York.
Kevin Garvey is het hoofd van de plaatselijke politie.
Zijn vrouw Laurie sloot zich aan bij een sekte genaamd de Schuldige Overblijvers.
Hun zoon Tommy verliet het ouderlijk huis om te gaan studeren en hun dochter Jill is op een verkeerde manier op zoek naar aandacht.