После нескольких небольших выступлений по всей Англии группа выпустила свой первый альбом, названный Led Zeppelin I. Талант Джона Бонэма можно услышать в таких песнях, как "Good Times, Bad Times", где он исполняет один пропуск бас-барабана на протяжении всей песни. Вскоре после этого, в Boxing Day (26 декабря 1969 года), группа отправилась в турне по Америке. После довольно успешного тура Zeppelin выпустили свой второй альбом, назвав его Led Zeppelin II. В этот альбом вошла песня "Moby Dick", в которой Бонэм исполнил знаменитое соло на барабанах. На протяжении всего соло Бонэм демонстрировал свои таланты, играя на ручных барабанах, продолжая при этом использовать правую ногу.
К этому времени Led Zeppelin становились все более известными. С выходом их третьего альбома (неудивительно, что он был назван Led Zeppelin III), они стали одной из самых больших групп в мире. Главной песней Бонэма на этом альбоме, которую он написал, была "Out On The Tiles".
Позже Led Zeppelin выпустили альбомы Led Zeppelin IV (который изначально не имел названия), Houses of the Holy и Physical Graffiti. В это время Zeppelin гастролировали без остановки. Помимо того, что Бонэм по-прежнему исполнял "Моби Дика", он также получил внимание за свою работу над такими песнями, как "Four Sticks", "The Ocean" и "In My Time Of Dying".
Вскоре после Physical Graffiti группа взяла перерыв, поскольку Роберт Плант пострадал в автокатастрофе. В это свободное время, помимо того, что он проводил время со своей семьей и возился с машинами, Бонэм работал над их следующим альбомом, Presence.