Les bureaux de vote ont ouvert à 09H00 (07H00 GMT) et les quelque 116.000 membres du Likoud (droite) sont appelés à voter jusqu'à 23H00 (21H00 GMT).
A 15H00 (13H00 GMT), le taux de participation était de 18%, selon le parti. Les résultats ne devraient pas être dévoilés avant vendredi matin.
Le vainqueur de la primaire aura la lourde tâche de mener la campagne du Likoud pour les législatives de mars, les troisièmes en moins d'un an.
Benjamin Netanyahu a voté à son domicile à Jérusalem, où une urne avait été transportée.
Gideon Saar, en arrivant au bureau où il a voté près de Tel-Aviv, a estimé qu'il s'agissait d'"un jour fatidique" pour le Likoud et pour Israël. "Nous pouvons gagner aujourd'hui et emprunter un nouveau chemin qui nous permettra de former un gouvernement fort et stable".
La primaire, aux allures de référendum sur la popularité de M. Netanyahu dans ses propres rangs, a peu de chances d'être remportée par le député Gideon Saar.
Mais si elle aboutit à un résultat serré, ce sera un coup dur pour le Premier ministre, à la tête du Likoud depuis 1993 hormis une parenthèse de six ans lorsque le parti était dirigé par Ariel Sharon et chef du gouvernement le plus pérenne de l'histoire d'Israël.
- "Il faut un changement" -
"Il faut un changement pour que le Likoud reste au pouvoir", a déclaré à l'AFP Yaron, 68 ans, un habitant de Jérusalem ayant voté pour Gideon Saar. "Malheureusement, l'institution judiciaire a eu raison de Bibi", dit-il, en référence à l'inculpation de M. Netanyahu pour corruption dans trois affaires.
Pour Nathan Moati, 26 ans, les partisans de Benjamin Netanyahu ne sont en rien troublés par ses poursuites judiciaires.
Seul "Bibi" peut remporter les législatives, c'est pourquoi "il faut que tous les supporters du Likoud votent pour Netanyahu aujourd'hui", a affirmé le jeune homme.
Au terme des élections anticipées d'avril, puis de septembre, ni M. Netanyahu ni le centriste Benny Gantz --dont les partis sont arrivés coude-à-coude à deux reprises-- n'ont réussi à rallier 61 députés, seuil de la majorité parlementaire pour former un gouvernement.
Le président Reuven Rivlin a dû confier cette tâche au Parlement lui-même, qui n'y est pas parvenu.
Pour le sondeur Stephan Miller, "qu'importe le pourcentage qu'obtiendra Saar, ce sera la première fois en dix ans que des électeurs de droite expriment explicitement leur désir de se débarrasser de Netanyahu".
Selon M. Miller, si Gideon Saar, 53 ans, reçoit plus d'un tiers des votes, "cela portera un coup significatif à Netanyahu".
- Fronde -
Le 21 novembre, M. Netanyahu, 70 ans, a été inculpé pour corruption, fraude et abus de confiance. Il a dénoncé de "fausses accusations".
Des rivaux au sein du Likoud, en tête desquels M. Saar, ont alors appelé à la tenue d'une primaire pour lui désigner un successeur.
M. Saar a été plusieurs fois ministre, avant de mettre sa carrière politique entre parenthèses en 2014 après avoir été écarté par M. Netanyahu.
Si M. Saar est encore plus marqué à droite que le Premier ministre, notamment sur la question palestinienne, il joue la carte du rassembleur au-delà de son propre camp, en misant sur ses relations avec des chefs d'autres partis.
Sans le dire ouvertement, il mise aussi sur le fait qu'il n'est pas inculpé par la justice, le parti "Bleu-Blanc" de Benny Gantz refusant de partager le pouvoir avec un Premier ministre inculpé.
Selon de récents sondages, un Likoud dirigé par M. Saar remporterait moins de sièges que s'il était dirigé par M. Netanyahu.
Toutefois, sous M. Saar, des électeurs du Likoud pourraient se tourner vers d'autres partis de droite, ceux qui n'avaient pas atteint le seuil de 3,5% des votes pour entrer au Parlement lors des précédents scrutins.
Dans ce cas, le camp de droite, tous partis confondus, pourrait être renforcé et potentiellement atteindre le seuil de la majorité parlementaire nécessaire pour former un gouvernement.
Fait inédit, des personnalités du parti comme le président du Parlement Youli Edelstein ne soutiennent publiquement aucun candidat de la primaire.
D'après Ofer Zalzberg, analyste pour International Crisis Group, une telle neutralité aurait été impensable il y a quelques années. "Elles sentent qu'il y a un changement dans l'air".
Pour M. Netanyahu, il est essentiel de rester en fonction: la loi israélienne prévoit que tout ministre poursuivi pénalement doit démissionner, mais cela ne s'applique pas au Premier ministre.
