Пьер Ферма родился в гасконском городке Бомон-де-Ломань (Beaumont-de-Lomagne, Франция). Его отец, Доминик Ферма, был зажиточным торговцем-кожевником, вторым городским консулом. В семье, кроме Пьера, были ещё один сын и две дочери.

Ферма получил юридическое образование — сначала в Тулузе (1620—1625), а затем в Бордо и Орлеане (1625—1631). В 1631 году, успешно закончив обучение, Ферма выкупил должность королевского советника парламента (другими словами, члена высшего суда) в Тулузе. В этом же году он женился на дальней родственнице матери, Луизе де Лонг. У них было пятеро детей. Быстрый служебный рост позволил Ферма стать членом Палаты эдиктов в городе Кастр (1648). Именно этой должности он обязан добавлением к своему имени признака знатности — частицы de; с этого времени он становится Пьером де Ферма.

Спокойная размеренная жизнь провинциального юриста оставляла Ферма время на самообразование и математические исследования. В 1636 году он написал трактат «Введение к теории плоских и пространственных мест», где независимо от «Геометрии» Декарта (вышедшей годом позже) изложил аналитическую геометрию. В 1637 году сформулировал свою «Великую теорему». В 1640 году обнародовал менее знаменитую, но гораздо более фундаментальную Малую теорему Ферма. Вёл активную переписку (через Марена Мерсенна) с крупными математиками того периода. С его переписки с Паскалем начинается формирование идей теории вероятностей. В 1637 году начался конфликт Ферма и Декарта. Ферма уничтожающе отозвался о декартовой «Диоптрике», Декарт не остался в долгу, дал разгромный отзыв на работы Ферма по анализу и намекнул, что часть результатов Ферма являются плагиатом из декартовской «Геометрии». Метод Ферма для проведения касательных Декарт не понял (изложение в статье Ферма в самом деле было кратким и небрежным) и в качестве вызова предложил автору найти касательную к кривой, позднее названной «декартов лист». Ферма не замедлил дать два правильных решения — одно согласно статье Ферма, другое — основанное на идеях «Геометрии» Декарта, причём стало очевидным, что способ Ферма проще и удобнее. Посредником в споре выступил Жерар Дезарг — он признал, что метод Ферма универсален и правилен по существу, но изложен неясно и неполно. Декарт принёс извинения сопернику, но до конца жизни относился к Ферма недоброжелательно.

Около 1652 года Ферма пришлось опровергать сообщение о своей кончине во время эпидемии чумы; он действительно заразился, но выжил, причём смерть множества коллег продвинула Ферма до поста высшего парламентского судьи.

В 1654 году Ферма совершил единственное в своей жизни дальнее путешествие по Европе. В 1660 году планировалась его встреча с Паскалем, но из-за плохого здоровья обоих учёных встреча не состоялась.

Пьер де Ферма умер 12 января 1665 года в городе Кастр, во время выездной сессии суда. Первоначально его похоронили там же, в Кастре, но позднее (1675) прах перенесли в семейную усыпальницу Ферма в тулузской церкви августинцев. В годы Французской революции останки Ферма затерялись.

Старший сын учёного, Клеман-Самуэль (также любитель математики), издал в 1670 году посмертное собрание трудов отца (несколько сотен писем и заметок), из которого научная общественность и узнала о замечательных открытиях Пьера Ферма. Дополнительно он опубликовал «Комментарии к Диофанту», сделанные отцом на полях перевода книги Диофанта; с этого момента начинается известность «Великой теоремы Ферма». Современники характеризуют Ферма как честного, аккуратного, уравновешенного и приветливого человека, блестяще эрудированного как в математике, так и в гуманитарных науках, знатока многих древних и живых языков, на которых он писал неплохие стихи