Получил медицинское образование в Вюрцбурге, затем жил и работал во Франкфурте. В возрасте 31 года Альцгеймер стал руководителем исследовательского института, в котором проработал всю оставшуюся жизнь.

В 1904—1915 годы опубликовал шеститомный труд «Гистологические и гистопатологические исследования серого вещества головного мозга». Альцгеймер внёс значительный вклад в изучение патологии нервной системы. Увековечило его имя изучение сенильной деменции, известной как «болезнь Альцгеймера». В 1910 году Альцгеймер основал вместе с Максом Левандовски европейский «Журнал неврологии и психиатрии» (нем. Zeitschrift für die gesamte Neurologie und Psychiatrie). 

Умер от осложнений инфекционного миокардита.