Коэн начал карьеру поэта и романиста в 1950-х и начале 1960-х годов. Коэн начал свою музыкальную карьеру только в 1967 году, в возрасте 33 лет. За его первым альбомом, Songs of Leonard Cohen (1967), последовали еще три альбома фолк-музыки: Songs from a Room (1969), Songs of Love and Hate (1971) и New Skin for the Old Ceremony (1974).
Его альбом 1977 года Death of a Ladies' Man был написан и спродюсирован Филом Спектором. В 1979 году Коэн вернулся с более традиционным альбомом Recent Songs, в котором его акустический стиль сочетался с джазом, восточными и средиземноморскими влияниями.
Песня "Hallelujah" была впервые выпущена на студийном альбоме Коэна "Various Positions" в 1984 году. Коэн написал около 80 черновиков стихов для "Аллилуйи", причем один из них был написан в отеле Royalton в Нью-Йорке, где он сидел на полу в нижнем белье и бился головой об пол. Это стало самой известной работой Коэна. Альбом I'm Your Man в 1988 году стал самым популярным альбомом Коэна с песней "Everybody Knows". В 1992 году Коэн выпустил продолжение альбома, "The Future", в котором были мрачные тексты и ссылки на политические и социальные волнения.
Коэн вернулся к музыке в 2001 году, выпустив альбом Ten New Songs, который стал главным хитом в Канаде и Европе. Его одиннадцатый альбом Dear Heather вышел в 2004 году. После успешных гастролей в период с 2008 по 2010 год Коэн выпустил три альбома в последние четыре года своей жизни: Old Ideas (2012), Popular Problems (2014) и You Want It Darker (2016), последний из которых вышел за три недели до его смерти.