En la jubilación, Carter optó por un estilo de vida modesto. No quería hacer dinero de su tiempo en la Oficina Oval. Según el Post, la casa de los Carter fue valorada en $167,000 – menos que los vehículos del Servicio Secreto estacionados afuera para protegerlos. En 2015, anunció que estaba siendo tratado por cáncer, la enfermedad que mató a sus padres y tres hermanas. Solo unos meses después de la cirugía por una cadera rota, volvió a trabajar como voluntario constructor con Habitat for Humanity. El expresidente y su esposa comenzaron a trabajar con la organización benéfica en 1984 y ayudaron a reparar más de 4,000 hogares en los años siguientes.
