Джон Гарвард родился в семье мясника и содержателя таверны Роберта Гарварда. В 1625 году почти все семейство Гарвардов умерло от чумы. В живых кроме Джона остались только мать и брат Томас.

В 1627 году Джон поступил в Кембриджский университет, где в 1632 году получил степень бакалавра. В апреле 1636 года женился на Энн Садлер, с которой в мае 1637 года эмигрировал в Новую Англию.

В Америке семья поселилась в Чарлстоне (штат Массачусетс). Гарвард был настоятелем церкви в этом городе, пока 4 сентября 1638 года не скончался от туберкулеза.

Не имея детей, половину своего состояния, 800 фунтов стерлингов, а также свою библиотеку Джон Гарвард пожертвовал открытому в сентябре 1636 года колледжу в городке Кембридж, которым заведовал его друг, Н. Итон. На эти деньги было построено здание колледжа и общежитие на 30 человек.

В марте 1639 года колледж стал называться Гарвардским.