Pour faire face à l'affluence des électeurs, le scrutin a dû être prolongé de deux heures, jusqu'à 20h00 locales (15h30 GMT).
M. Rohani, religieux modéré de 68 ans, affronte Ebrahim Raissi, religieux conservateur de 56 ans proche du guide suprême, l'ayatollah Ali Khamenei.
Avant même la clôture du vote, le camp Raissi a dénoncé des "infractions" et demandé une intervention immédiate contre "des actions de propagande de certains responsables et partisans du gouvernement" en faveur du président sortant.
Il a également dénoncé une mauvaise présentation du nom d'Ebrahim Raissi sur les listes des bureaux de vote et l'absence de suffisamment de bulletins dans les "zones déshéritées".
M. Raissi se présente comme l'avocat des plus pauvres et veut donner la priorité à "l'économie de résistance", axée sur la production et les investissement nationaux.
Deux petits candidats peu connus - un réformateur ayant appelé à voter Rohani et un conservateur - étaient aussi en lice.
Sauf surprise, le vainqueur devrait être élu dès le premier tour, dont les résultats définitifs sont attendus dimanche au plus tard.
- 'Entouré d'ennemis' -
En famille ou entre amis, les électeurs ont attendu patiemment parfois pendant plus d'une heure leur tour de voter en prenant des selfies et en discutant politique dans la courtoisie.
"J'ai toujours voté", annonçait fièrement Mahnaz Rafii, une professeure de théologie de 50 ans, qui a choisi Raissi.
"La participation enthousiaste des Iraniens à l'élection renforce la puissance et la sécurité nationales", s'est félicité le président Rohani après avoir voté à Téhéran, baignée de soleil.
Lui et son adversaire ont appelé au "respect" du choix des Iraniens, quel que soit le résultat.
L'un des premiers à avoir déposé son bulletin dans l'urne installée dans sa résidence de Téhéran a été Ali Khamenei, qui a appelé ses compatriotes à aller aux urnes "massivement, le plus tôt possible".
Le célèbre réalisateur iranien Asghar Farhadi a voté à Cannes, où il participe au festival de cinéma, dans une des urnes mobiles installées en France par l'ambassade d'Iran, selon l'agence de presse Isna.
Parmi les nombreux électeurs, Amir Fathollahzadeh, 51 ans, a voté pour la première fois. "J'ai perdu presque tout mon +business+ ces dernières années, mais je vote Rohani pour ne pas perdre aussi ma dignité et ma fierté", dit-il.
En revanche, Moshen, 32 ans, qui travaille dans le secteur culturel, a choisi M. Raissi car l'Iran "est entouré d'ennemis".
- Attirer les investisseurs -
Le scrutin se tient deux jours après la décision américaine de renouveler l'allègement des sanctions contre l'Iran, conformément à l'accord nucléaire de 2015 entre Téhéran et six grandes puissances, dont les Etats-Unis.
Le président Rohani, élu en 2013, a consacré la majeure partie de son premier mandat de quatre ans à la négociation de cet accord ayant permis d'entamer l'ouverture économique et politique de son pays.
Mais la méfiance demeure entre Téhéran et Washington, qui ont rompu leurs relations diplomatiques peu après la révolution islamique en 1979.
Le président américain Donald Trump, hostile à l'Iran, a réservé son premier déplacement à l'étranger à un sommet avec des dirigeants musulmans dimanche en Arabie saoudite, le grand rival régional de Téhéran.
Malgré cette hostilité, l'ambition de M. Rohani est de poursuivre l'ouverture au monde pour attirer davantage d'investissements, tandis que M. Raissi veut défendre les classes les plus défavorisées par la préférence nationale dans le domaine économique.
Outre la conclusion de l'accord nucléaire qui a permis notamment une reprise des exportations de pétrole, le président sortant a réussi à faire chuter l'inflation de 40% en 2013 à 9,5%.
Sans le remettre en cause, Ebrahim Raissi a dénoncé le manque de résultats de l'accord nucléaire qui n'a pas attiré les investissements espérés et n'a pas profité aux plus défavorisés dont il se fait l'avocat.
Il a mis en avant les mauvais chiffres du chômage (12,5% de la population, 27% des jeunes) et accusé le gouvernement de n'avoir agi que pour "l'oligarchie".
Outre la présidentielle, les 56,4 millions d'électeurs votaient pour des élections municipales: l'enjeu dans les grandes villes de Téhéran, Machhad (nord-est) et Ispahan (centre) est un changement de la majorité conservatrice qui les dirige.
Avec AFP