"Les algorithmes ne sont pas nécessairement équitables car c'est la personne qui les conçoit qui définit leur fonctionnement et leurs résultats", souligne Cathy O'Neil, spécialiste des données et auteure du livre "Armes de destruction mathématiques", qui s'élève contre l'utilisation généralisée et opaque des algorithmes.
Lors d'un récent forum organisé par le centre de réflexion New America, elle a mis en garde contre la "confiance aveugle" placée dans les algorithmes pour obtenir des résultats objectifs.
L'algorithme le plus célèbre est sans doute celui grâce auquel Google s'est imposé dans le secteur des moteurs de recherche et qui est constamment modifié et amélioré pour fournir le résultat le plus proche de ce que l'internaute recherche. Même chose chez Facebook, qui analyse toutes les données de ses utilisateurs pour les aider à trouver de nouveaux amis et le contenu le plus adapté à leurs envies.
Mais les algorithmes servent aussi à détecter les cancers de la peau et rédiger des articles à partir de données brutes. Même la politique est concernée et la campagne du président américain Donald Trump s'est servie de données de firmes marketing utilisant un algorithme identifiant les endroits avec le plus fort taux d'électeurs susceptibles d'être persuadés par les arguments du candidat.
Cathy O'Neil cite plusieurs exemples où des algorithmes ont eu des conséquences néfastes.
Des écoles publiques à Washington ont renvoyé en 2010 plus de 200 professeurs, dont certains très respectés, sur la base d'une évaluation de leurs performances établie par un algorithme.
Des collectivités locales basent aussi l'allocation des ressources sur des "points chauds" choisis grâce à ces formules mathématiques. Mais la manière dont sont entrées les données peut influer sur leur résultat et créer un cercle vicieux négatif pour les communautés déjà les plus défavorisées.
Dans le domaine financier, des décisions en matière de crédit et d'assurance sont prises aussi par des algorithmes, qui risquent de défavoriser encore davantage ceux qui sont déjà les plus pénalisés.
Un rapport de la Maison Blanche publié l'an dernier mettait d'ailleurs en garde contre des algorithmes qui, tout en annulant les effets de l'intervention humaine, "désavantagent systématiquement certains groupes".
Zeynep Tufekci, professeure à l'université de Caroline du Nord spécialisée dans les technologies, rappelle que des décisions prises automatiquement se basent souvent sur des données rassemblées sur les personnes, sans même que celles-ci en soient informées.
"Ces systèmes informatiques peuvent déduire des quantités de choses de vos miettes informatiques, même si vous avez pris soin de ne rien révéler", a-t-elle averti lors d'une récente conférence TED, un organisme à but non lucratif qui organise des débats d'idées à travers le monde.
"Ils peuvent déduire vos préférences sexuelles, vos traits de personnalité, vos idées politiques. Ils ont un pouvoir de prévision qui peut se révéler extraordinairement exact", indiquait-elle.
"Nous posons des questions à des systèmes informatiques qui n'ont souvent pas de réponse unique. Ces questions sont subjectives, et chargées de sous-entendus, sur qui une entreprise doit embaucher, quel message d'un ami doit être porté à votre attention ou si un délinquant est susceptible de récidive", a-t-elle ajouté.
Frank Pasquale, professeur de droit à l'université du Maryland, affirme toutefois que les utilisations inéquitables des algorithmes peuvent être corrigées par des lois sur la protection des consommateurs.
Il souligne qu'à ce titre les lois en vigueur dans l'Union européenne sur la protection des données et le "droit à l'explication" lorsqu'une personne est victime d'une décision prise en fonction d'un algorithme, méritent d'être étudiées. "Cela obligerait à la transparence ou empêcherait les algorithmes d'être utilisés dans certains contextes", estime-t-il.
Mais pour Alethea Lange, analyste au Centre pour la démocratie et la technologie, un tel modèle "présente bien" mais est "très lourd" et peu susceptible de fonctionner en raison de l'évolution permanente des algorithmes. Pour elle, l'éducation et la discussion sont plus importantes que la législation.
Pour Daniel Castro, vice-président de la Fondation pour l'innovation et les technologies de l'information, les algorithmes ne doivent pas être désignés comme bouc-émissaires des malaises sociaux.
Selon lui, des décisions automatiques prises sur la base de formules mathématiques permettent "des actions plus rapides, plus efficaces pour les consommateurs, les entreprises et les gouvernements" et il souligne que le délit de faciès existe aussi "dans le monde non-algorithmique".
Avec AFP