Ce fils d'immigrés pakistanais, 45 ans, a battu son principal rival, le conservateur Zac Goldsmith, 41 ans, fils du milliardaire Jimmy Goldsmith, avec 57% des suffrages, selon les résultats publiés dans la nuit de vendredi à samedi.
Les traits fatigués après cette courte nuit, M. Khan a prêté serment en fin de matinée dans la cathédrale de Southwark, près du Pont de Londres, en présence de nombreuses personnalités, dont l'acteur Ian McKellen.
Lors d'une brève allocution, il a promis de représenter "toutes les communautés" et de "faire en sorte que tous les Londoniens puissent bénéficier des opportunités que notre ville m'a offertes".
"J'espère que les résultats (de l'élection) encourageront les jeunes, les Londoniens musulmans et ceux venant d'autres minorités, à s'engager dans la société civile et dans la politique", a-t-il ensuite déclaré sur Sky News.
Devant les journalistes, M. Khan a également laissé entendre qu'il souhaitait désormais se consacrer pleinement à la gestion de la ville après une âpre campagne, au cours de laquelle le camp conservateur, et notamment le Premier ministre David Cameron, l'a accusé d'accointances avec des extrémistes islamistes - ce qu'il dément.
Aux Etats-Unis, Hillary Clinton, candidate à l'investiture démocrate pour la course à la Maison Blanche, a félicité sur Twitter ce "fils de chauffeur de bus pakistanais" devenu "maire de Londres".
Avec AFP