Окончил Берлинский университет, где его учителями были Герман фон Гельмгольц и Густав Кирхгоф. С 1885 по 1889 год был профессором физики Университета в Карлсруэ. С 1889 года — профессор физики университета в Бонне.

Основное достижение — экспериментальное подтверждение электромагнитной теории света Джеймса Максвелла. Герц доказал существование электромагнитных волн. Он подробно исследовал отражение, интерференцию, дифракцию и поляризацию электромагнитных волн, доказал, что скорость их распространения совпадает со скоростью распространения света, и что свет представляет собой не что иное, как разновидность электромагнитных волн. Он построил электродинамику движущихся тел, исходя из гипотезы о том, что эфир увлекается движущимися телами. Однако его теория электродинамики не подтвердилась опытами и позднее уступила место электронной теории Хендрика Лоренца. Результаты, полученные Герцем, легли в основу создания радио. В 1886—1887 годах Герц впервые наблюдал и дал описание внешнего фотоэффекта. Герц разрабатывал теорию резонансного контура, изучал свойства катодных лучей, исследовал влияние ультрафиолетовых лучей на электрический разряд. В ряде работ по механике дал теорию удара упругих шаров, рассчитал время соударения и т. д. В книге «Принципы механики» (1894) дал вывод общих теорем механики и её математического аппарата, исходя из единого принципа (принцип Герца).