Из династии банкиров. Отец — Огюст Казимир-Перье, видный дипломат. Дед — Казимир Пьер Перье, премьер-министр при Луи-Филиппе. Жан Поль вступил на государственную службу секретарём собственного отца, в то время — министра внутренних дел в правительстве Тьера. В 1874 году избран советником в департаменте Об, в 1876 году впервые избран в национальную палату депутатов (и последовательно избирался в неё вплоть до 1894 года).

Несмотря на фамильную приверженность консервативным партиям, Жан Поль примкнул к левым республиканцам; во время конституционного кризиса 16 мая 1877 года выразил недоверие правительству (т. н. манифест 363-х). Из-за родственных связей с Орлеанской ветвью Бурбонов в 1883 году голосовал против высылки принцев дома Бурбонов из страны. В 1883-85 — заместитель военного министра, в 1890-92 — заместитель председателя палаты депутатов, в 1893-94 — президент палаты. 3 декабря 1893 года стал Председателем совета министров и министром иностранных дел.

27 июня1894 года, после убийства президента Карно, Перье был избран президентом республики — 453 голосами против 292, став самым молодым президентом страны после Луи Бонапарта. Перье не смог добиться взаимодействия с собственным кабинетом и оказался фактически отстранённым от дел — в результате, в январе 1895 года и Перье, и премьер-министр Дюпюи ушли в отставку. Во время президентства Перье в декабре 1894 года был впервые осуждён Альфред Дрейфус.

В 1899 году Перье, ушедший в тень, вновь появился на публике на втором процессе по делу Дрейфуса. Процесс 1899 года в Ренне подтвердил прежний приговор, но показания Перье сыграли положительную роль в последующей реабилитации Дрейфуса.