У Джейн уже была дочь Кейт от первого брака, но также в союзе Генсбур-Биркин появилась на свет дочь Шарлотта. Серж видел в ней продолжение себя и души не чаял в малышке. В доказательство своей абсолютной привязанности он снимает фильм «Шарлотта навсегда». Картину раскритиковали, но Генсбур уверял, что никаких смыслов, кроме родительской любви, не вкладывал в работу.
Постепенно брак начал распадаться. В 45 лет Серж Генсбур перенес первый инфаркт. Ухудшало его положение и страсть к самоуничтожению. Во время съемок своего первого фильма, маэстро уходит в запой. В семье не прекращались скандалы, а когда Серж, напившись в очередной раз, поднял руку на Джейн, актриса поняла, что их отношения не спасти и, забрав детей, ушла от Генсбура.
Серж долго страдал, потерю своей музы он переносил очень тяжело. На помощь пришла манекенщина Каролина фон Паулюс, которой он дал прозвище Бамбу. Бамбу испытывала безусловную любовь к Сержу, готова была отдавать всю себя, не требуя ничего взамен. При этом ни разу не задавалась вопросом «а любит ли ее так же Серж?», для нее это было неважно. Для Генсбура Бамбу родила сына Люсьена, назвав его в честь отца.