Родился 16 апреля 1886 года в Гамбурге. Рабочий. С 14 лет работал упаковщиком, возчиком, портовым рабочим, грузчиком в гавани, затем был корабельным юнгой и помощником кочегара. Попав в США, работал сельскохозяйственным рабочим на ферме. С 1912 года возглавлял профсоюз транспортных рабочих Гамбурга. В Первую мировую войну служил в артиллерии. В конце 1917 года вступил в Независимую социал-демократическую партию. В 1919 году стал главой гамбургской городской организации партии. В 1920 году присоединил организацию к коммунистической партии. С 1922 года член ЦК компартии Германии. Под его руководством было произведено Гамбургское восстание в 1923 году. С 1924 года председатель ЦК компартии Германии. В 1925 году избран депутатом рейхстага (состоял им до 1933 года). Руководил боевым крылом КПГ — организацией Рот Фронт. После инсценированного нацистами поджога здания Рейхстага в ночь с 27 на 28 февраля 1933 года в Германии начались аресты коммунистов. 5 марта 1933 года Тельман был арестован и содержался по приказу Гитлера в одиночном заключении. Суда над Тельманом не было (после провала суда над Георгием Димитровым нацисты избегали публичных процессов над политическими противниками). В августе 1944 года Тельман был переведён в концлагерь Бухенвальд, где и был расстрелян 18 августа 1944 года по прямому указанию Гитлера и Гиммлера.