В 1914 году был призван в армию Австро-Венгрии и в 1915 — 1918 служил в звании лейтенанта на границе с Италией в Альпах. Там он стал убеждённым сторонником альпинизма в качестве одной из дисциплин при подготовке молодежи к будущей военной службе. Начиная с 1920-х годов Карл Прусик стал инструктором по альпинизму.

После Первой мировой войны Прусик учился музыковедению. В 1923 защитил докторскую диссертацию и стал преподавателем Венской консерватории.

Исповедуя взгляды социал-дарвинизма и нацизма, Прусик считал альпинизм одним из способов воспитания сильных и бесстрашных горных стрелков, которые должны были стать наследниками боевого духа древних германцев, одолевших в битвах римскую армию. Период после Первой мировой войны в Австрии он рассматривал как время развращения немецкой молодежи удобствами городской жизни и идеями социализма. В 1921 году Карл Прусик был инструктором молодёжной альпинистской команды, которую воспитывал в духе милитаризма и шовинизма.

В 1939 году после присоединения Австрии к Германии он стал членом Национал-социалистического альпийского клуба, который возглавил Артур Зейсс-Инкварт, также служивший в годы Первой мировой войны в тирольских егерских частях, а в 1940 году возглавил курсы тренеров альпинизма и скалолазания в этом клубе. В 1941 году в возрасте 45 лет был мобилизован в Вермахт. В 1942 году получил звание гауптштурмфюрера войск СС и награждён крестом за военные заслуги II степени. В 1945 — 1947 годах находился в плену. В 1947 году вновь возглавил австрийский альпинистский клуб (ÖAK).

Карл Прусик совершил более 70 первовосхождений (в основном в Альпах).

Является изобретателем узла Прусика, который он впервые описал в 1931 году в австрийской альпийской газете. Этот узел до сих пор считается самым известным в мире схватывающим узлом.

В 1932 году Карл Прусик придумал немецкий термин Torlauf, которым в Австрии до сих пор называют лыжный слалом.

В 1948 году в Каскадных горах в штате Вашингтон именем К. Прусика был назван пик (2438 м).