James Patrick York Page a Londonhoz közeli Hestonban született egy tehetős menedzser fiaként. Gyerekkora nagy részét nagybátyja vidéki farmján töltötte, ahol leginkább bélyeget gyűjtött, iskolába már Londonban járt. Tizenkét évesen kezdett gitározni egy olcsó hangszeren, s bár vett néhány leckét, néhány óra után már jobban játszott, mint oktatója, lényegében autodidakta. Ő is lelkesen hallgatta a tinédzsereket megőrjítő rock and roll zenét, első kedvence Elvis Presley Baby Let’s Play House című dala volt.
Tizenöt éves korától játszott különböző együttesekben, a Crusaders nevű formációval egész Angliát bejárta. Egy ideig másik szerelmére, a festészetre koncentrált, a Sutton Art College növendéke lett, végül otthagyta az iskolát és főállású stúdiózenész lett, dolgozott Tom Jonesszal és a Rolling Stonesszal is.
Eric Clapton kilépése után hívták a Yardbirds együttesbe,
1966-ban szólógitárra váltott, s kialakult a kétgitáros felállás, ahogy Antonioni Nagyítás című filmjében is szerepeltek.
A Yardbirds 1968 nyarán feloszlott, de mivel volt egy lekötött turnéjuk, Page New Yardbirds néven új felállást hozott össze, amelynek neve 1968. október 19-én Led Zeppelinre változott.
A doboknál John Bonham ült, basszusgitárosnak és billentyűsnek régi barátja, John Paul Jones szállt be, énekesük a szinte ismeretlen Robert Plant lett.
A Led Zeppelint tekintik az első és legnagyobb hatású hard rock, heavy metal együttesnek, jóllehet a blues és a folk is érződik a zenéjükön.
A zene nagy részét Page írta, torzított gitárhangja, jellegzetes riffjei, effektjei, mint az ún. hátulról jövő visszhang, meghatározták az együttes hangzását. A gitárt hegedűvonóval is megszólaltatta, egy újítását a Fender cég is beépítette a következő gitárjába.
A Led Zeppelin lemezeiből (pályafutásuk alatt nyolc jelent meg, ezt követte 1982-ben a kiadatlan felvételeket tartalmazó Coda) több százmillió fogyott, turnéik bevétele minden rekordot megdöntött. Page később elismerte, hogy az 1970-es években rendszeresen fogyasztott tudatmódosító szereket, 1975-től heroinfüggő volt, ezért – és az énekes Plant személyes tragédiái miatt – az évtized második felében alig turnéztak. Az együttes John Bonham 1980-ban bekövetkezett halála után nem folytatta, mert a dobost pótolhatatlannak érezték.
Page az együttes megszűnése után megírta a Bosszúvágy 2. című film zenéjét, létrehozta a Honeydrippers és a The Firm nevű zenekart, számos szereplést vállalt koncerteken és stúdiólemezeken. Egyetlen szólóalbumát 1988-ban Outrider címmel adta ki, 1993-ban David Coverdale-lel, 1998-ban Robert Planttel közösen készített lemezt, ők ketten az MTV Unplugged című műsorában akusztikus koncertet is adtak, 2000-ben a Black Crowes tagjaival készített koncertlemezt. A Led Zeppelin 1980 óta egyetlen alkalomra állt össze 2007-ben a londoni O2 arénában, a dobok mögött Bonham Jason nevű fia ült, a filmen is megörökített koncertre húszmillió (!) jegyigénylés érkezett.
A gitárost kétszer iktatták be a Rock and Roll hírességek csarnokába,
előbb a Yardbirds, majd a Led Zeppelin tagjaként, 2012-ben a Led Zeppelin még élő tagjai megkapták a legmagasabb amerikai művészeti elismerést, a Kennedy Center díját. Page a Rolling Stone magazin száz legjobb gitárost összegző listáján 2011-ben a harmadik helyre került. Több mint 1500 gitáron játszott, az ikonikus kétnyakú gitárt, amelyet a Led Zeppelin koncertfilmjében pengetett, az ő számára készítette a Gibson cég, a hangszert azóta is gyártják. Számtalan elismerés birtokosa, többek között a Berklee College of Music tiszteletbeli doktora, 2005-ben jótékonysági munkájáért megkapta a Brit Birodalom Rendjének tiszti fokozatát (OBE), róla nevezték el a 44016 Jimmypage nevű aszteroidát.
A hetvenes években Charlotte Martin francia modellel élt együtt, később kétszer is megnősült és el is vált, 2014 óta Scarlett Sabet a társa, kapcsolataiból öt gyermeke született.
