Ces déclarations "allaient à l'encontre de l'esprit des Jeux olympiques et paralympiques" et étaient par conséquent "inappropriées", a reconnu M. Mori lors d'une conférence de presse à Tokyo.
"Je voudrais retirer ce que j'ai dit", a-t-il ajouté, disant vouloir s'excuser "auprès de tous ceux qui se sont sentis offensés".
"Je n'ai pas l'intention de démissionner", a-t-il cependant affirmé, rappelant son "sacrifice personnel pendant sept ans" au service de l'organisation des JO-2020, reportés d'un an à cet été (23 juillet-8 août) à cause de la pandémie de coronavirus.
Mercredi, cet ancien éphémère Premier ministre (2000-2001), âgé de 83 ans, s'était plaint que "les conseils d'administration avec beaucoup de femmes prennent beaucoup de temps", car elles ont selon lui "du mal à finir" leurs interventions, avait rapporté le journal nippon Asahi.
"Les femmes ont l'esprit de compétition. Si l'une lève la main (pour intervenir, NDLR), les autres croient qu'elles doivent s'exprimer aussi. C'est pour ça que tout le monde finit par parler", avait-il devisé lors d'une réunion qui était ouverte à la presse.
M. Mori s'était aussi félicité que les femmes membres du comité d'organisation Tokyo-2020 sachent "rester à leur place".
Maladroit et agacé
L'affaire a embarrassé jeudi jusqu'au Premier ministre japonais Yoshihide Suga, qui a été hué par l'opposition au Parlement pour avoir d'abord déclaré qu'il n'était "pas au courant des détails".
De tels propos "ne devraient pas être permis", a fini par lâcher M. Suga.
La ministre japonaise des Jeux olympiques, Seiko Hashimoto, a souhaité avoir une "franche discussion" avec M. Mori, rappelant devant les médias que l'égalité hommes-femmes était un principe au coeur de l'olympisme.
Face au feu roulant des questions des journalistes lors de sa conférence de presse, M. Mori est apparu sur la défensive et maladroit.
Ainsi quand un journaliste lui a demandé s'il pensait que d'une manière générale les femmes parlaient trop, M. Mori a répété: "C'est ce que j'entends souvent".
"Je n'en sais rien, car je parle pas souvent avec des femmes ces derniers temps", a-t-il encore plaidé, lançant aussi aux journalistes, avec agacement: "Vous me posez toutes ces questions parce que vous voulez écrire des histoires amusantes, n'est-ce pas?".
M. Mori avait affirmé jeudi matin à un journal nippon avoir "parlé sans réfléchir" la veille, et avoir été "grondé" par sa femme et sa fille notamment.
"J'essayais de dire que je m'interrogeais sur l'opinion générale selon laquelle on doit augmenter le nombre de femmes" dans les instances exécutives, mais "je ne voulais pas être méprisant envers les femmes", avait-il encore expliqué au quotidien japonais Mainichi.
Il s'était exprimé mercredi devant des membres du comité olympique japonais, qui avait annoncé l'an dernier son souhait d'avoir un conseil d'administration composé à 40% de femmes, contre 20% actuellement.
Propos "honteux"
Les déclarations de M. Mori sur les femmes ont provoqué des réactions outrées sur les réseaux sociaux au Japon, avec les mots-dièse "ça suffit", "misogynie" ou "nous exigeons la démission de Yoshiro Mori" parmi les tendances jeudi sur Twitter.
Renho Murata, une figure de l'opposition parlementaire au Japon qui n'utilise que son prénom dans sa carrière politique, a qualifié de "honteux" les propos de M. Mori, tandis que Kaori Yamaguchi, ancienne judoka et membre du comité olympique japonais, les a jugés "malheureux".
M. Mori, connu pour avoir déjà commis de nombreux impairs notamment quand il était Premier ministre, avait aussi provoqué en début de semaine une autre polémique en clamant que les JO de Tokyo se tiendraient cet été "quoi qu'il arrive" concernant l'évolution de la crise sanitaire dans le monde.
Jeudi, un comique japonais populaire, Atsushi Tamura, a annoncé qu'il renonçait à participer au relais de la flamme olympique après les propos péremptoires de M. Mori sur les Jeux, "incompréhensibles" selon lui au regard de la gravité actuelle de la pandémie, y compris dans l'archipel nippon.
Le Japon est à la traîne en matière d'égalité des sexes, se situant à une pénible 121e place sur 153 pays dans le dernier rapport sur les inégalités hommes-femmes du Forum économique mondial, et à la 131e place pour la proportion de femmes à des postes à responsabilité dans les entreprises, la politique et l'administration.