"Malheureusement, 25 civils ont été tués et huit blessés dans l'attaque", a déclaré le porte-parole du ministère de l'Intérieur Tariq Arian, qui a également fait état de "80 civils secourus" et d'un assaillant tué.
Une source sécuritaire haut placée a de son côté recensé 24 morts, treize blessés et trois combattants de l'EI neutralisés.
Des photos vues par l'AFP montrent des enfants en larmes évacués par des hommes armés. Des corps sans vie, des blessés et une mare de sang sont également visibles.
Les prières avaient commencé quand "un homme en uniforme de policier et portant une (kalachnikov) est entré dans la salle. Il a d'abord tiré sur le garde, puis sur un jeune enfant", a raconté à l'AFP Raju Singh Sonny, un fidèle.
"D'autres assaillants ont aussi pénétré dans le bâtiment et ils sont allés de pièce en pièce tirer sur les gens", a poursuivi cet homme ayant réussi à s'enfuir, mais dont de nombreux proches sont restés coincés dans le temple.
"L'attaque n'a rien à voir avec nous", a rapidement tweeté le porte-parole des talibans Zabihullah Mujahid.
L'EI, qui multiplie les attentats dans Kaboul, souvent contre les minorités religieuses, l'a revendiquée sur Amaq, son organe de propagande.
Environ mille sikhs et hindous vivent en Afghanistan, un pays presque entièrement musulman. L'EI les avait déjà visés au cours d'un attentat-suicide en juillet 2018 à Jalalabad, dans l'est du pays, tuant alors 19 personnes.
- Moment critique -
Cette attaque intervient à un moment critique pour l'Afghanistan, confronté à une crise politique interne, une offensive des talibans, ainsi qu'au nouveau coronavirus.
Les Etats-Unis ont signé le 29 février à Doha un accord historique avec les talibans, qui prévoit un retrait des troupes étrangères d'Afghanistan dans les quatorze mois en échange de garanties des insurgés.
L'accord mentionnait aussi l'ouverture de négociations de paix directes et inédites entre les talibans et Kaboul le 10 mars.
Mais ces discussions ont été retardées par une dispute au sujet de la libération d'un maximum de 5.000 talibans faits prisonniers en échange de celle d'un millier de membres des forces de sécurité afghanes détenus par les rebelles, une mesure figurant dans l'accord de Doha, non ratifié par Kaboul.
Ce point pourrait évoluer rapidement, a tweeté le Conseil national de sécurité afghan (NSC), un organe gouvernemental, qui a annoncé la libération de 100 insurgés d'ici au 31 mars un fois qu'on aura la garantie qu'"ils ne reprendront pas le combat".
"Pour mener à bien ces nouvelles discussions, une équipe représentant les talibans rencontrera face-à-face le gouvernement ces prochains jours en Afghanistan", a poursuivi le NSC.
C'est la première fois que les insurgés et le gouvernement du président Ashraf Ghani se rencontreront officiellement. Les deux parties se sont parlées par vidéoconférence la semaine dernière et mercredi.
"Il a été décidé pendant cette réunion que le processus de libération des prisonniers commencerait le 31 mars" et que les talibans "enverraient une équipe à la prison de Bagram" pour vérifier l'identité des prisonniers libérés, a tweeté l'un de leurs porte-parole, Suhail Shaheen.
L'émissaire américain Zalmay Khalilzad a confirmé que "les deux parties" étaient d'accord "pour commencer les libérations de prisonniers le 31 mars", saluant "un développement positif".
L'Afghanistan fait face à une forte instabilité politique, la victoire d'Ashraf Ghani à la présidentielle de septembre étant contestée par son ex-chef de l'exécutif, Abdullah Abdullah, arrivé deuxième mais qui s'est également déclaré vainqueur.
Le secrétaire d'Etat américain Mike Pompeo, qui n'est pas parvenu à régler cette crise au cours d'une visite à Kaboul lundi, a annoncé une réduction d'un milliard de dollars de l'aide de Washington cette année.
"Le peuple afghan mérite un avenir sans l'EI", a-t-il déclaré mercredi devant des journalistes, qualifiant l'attentat de Kaboul d'"horrible".
À ces difficultés s'ajoute la menace du nouveau coronavirus, qui a officiellement fait deux morts en Afghanistan et 75 autres cas de contamination parmi les Afghans et quatre parmi les militaires étrangers.