By the Sea volgt een Amerikaanse schrijver genaamd Roland (Brad Pitt) en zijn vrouw Vanessa (ANgelina Jolie) die tijdens een huwelijkscrisis verblijven in een rustig en pittoresk resort aan de kust van Frankrijk in de jaren zeventig.
Wanneer ze tijdens hun vakantie in contact komen met het pasgetrouwd stel Lea (Mélanie Laurent) en François (Melvil Poupaud), en dorpsbewoners Michel (Niels Arestrup) en Patrice (Richard Bohringer), worden Roland en Vanessa geconfronteerd met hun eigen onopgeloste problemen.
In de kamer naast hen echter vliegen de vonken er wel van af en beiden zijn daar mateloos in geïnteresseerd...