Иоахим Неандер родился в Бремене в семье учителя латинского языка. Его дед был музыкантом и поменял свою немецкую фамилию Neumann на греческий аналог Неандер, следуя распространенной в ту эпоху среди гуманистов моде.

После смерти отца Иоахим не мог обучаться в университете и в 1666 – 1670 годах изучал теологию в Бремене. В 1671 году он стал домашним учителем в Гайдельберге и во Франкфурте-на-Майне, а в 1674 – ректором гимназии реформистской общины в Дюссельдорфе и проповедником. Он сочиняет тексты и мелодии многочисленных гимнов, которые исполняются на молитвенных собраниях. Неандер часто сочинял  свои  произведения, прогуливаясь в долине речки Дюссель. Здесь же он  проводил богослужения. В 19-м веке эта долина была переименована в его честь в Неандерталь (Долину Неандера).

После того, как в Дюссельдорфе у Неандера начинаются проблемы с церковным руководством, он становится ассистирующим проповедником в церкви Святого Мартина в своём родном городе Бремене. Там же он сочиняет свой знаменитый хорал «Восхвали Господа, могущественного Царя славы» (Lobe den Herren, den mächtigen König der Ehren). Однако спустя всего один год Иоахим Неандер внезапно умер в понедельник 31 мая 1680 года, в день праздника Троицы, возможно от чумы. Ему было в это время 29 или 30 лет. Место его погребения остаётся неизвестным вплоть до сегодняшнего дня, возможно оно находится прямо под церковью Св. Мартина, в которой Неандер служил при жизни.