Джованни Пирелли был восьмым из десяти детей в семье пекаря Сантино Пирелли и домохозяйки Розы Рива. Пятеро детей умерли в раннем возрасте. Отец умер, когда Джованни исполнилось 8 лет.
После обучения в школах в Варенне и Комо в 1861 году для продолжения учёбы он приехал в Милан, где учился в техническом институте св. Марти (позже им. Карло Каттанео) по физико-математическому направлению.
В 1865 году он поступил в университет Павии на физико-математическое отделение, где прошёл подготовку, необходимую для поступления в Высший технический институт гражданских инженеров в Милане (позже Миланский Политехнический), в который поступил в 1867 году. Как и большинство патриотически настроенной молодёжи университета, участвовал в операциях Гарибальди против австрийских войск в Трентино, но тяга к точным наукам преобладала, и Джованни возвратился к учёбе в университете, а затем в Высшем техническом институте в Милане.
10 сентября 1870 года Джованни Пирелли по окончании Высшего технического института получил диплом и, как лучший выпускник, — Премию Крамер, основанную миланской аристократкой Терезой Беррой Крамер в память о её сыне-инженере, в размере 3000 лир. Эту сумму следовало использовать для поездки за границу для изучения и внедрения в Италии новых перспективных производств и отраслей промышленности.
С ноября 1870 до ноября 1871 года Джованни на средства премии Крамер совместно с профессором общей механики Джузеппе Коломбо на основании анализа перспективных производств, которые были бы полезными для Италии, составил программу внедрения в Италии переработки каучука и изготовления продукции на его основе.
В этот проект были привлечены средства миланских деловых кругов и создано предприятие GB Pirelli & C. — зародыш будущего концерна Pirelli, руководство которым занял сам Пирелли. Предприятие было построено на тогдашней окраине Милана и сосредоточилось сначала на производстве резиновых изделий для промышленности, расширив впоследствии ассортимент.