Tous prisonniers des algorithmes?

24 février 2014

Les entreprises et les institutions se servent de plus en plus des algorithmes et de leurs conclusions pour prendre des décisions parfois capitales pour les citoyens, clients et consommateurs. Résultat ? Tous « prisonniers d’algorithmes » selon un article d’Atlantico, qui rappelle l’importance d’encadrer par la loi la prise de décision assistée par les données, afin d’éviter toute discrimination.

500 Américains ont leur nom inscrit sur une liste transmise à tous les systèmes aéroportuaires du pays. Elaborée à partir d’informations comme les itinéraires de précédents voyages, les actes de propriété, les caractéristiques physiques ou encore les informations des services de renseignements, cette liste induit une fouille systématique pour les individus qu’elle mentionne. L’enjeu : éviter les attaques terroristes. Cette anticipation des risques n’est pas une nouveauté : depuis plus d’un siècle, des entreprises comme Equitax, fondée en 1899, ou encore Moody’s, Fitch, Standard and Poors… font de l’analyse des données un business parfois utile et rentable.

Les Big Data renouvellent ces pratiques : plus de données sur tout un chacun, c’est la possibilité de s’éviter les mauvaises surprises, quel que soit le secteur concerné. Une entreprise comme Gild permet ainsi aux employeurs de sélectionner les candidats à un poste de développeur web par l’analyse sémantique de leur profil LinkedIn et la notation des lignes de codes écrites auparavant. Pour peu que les informations soient dépassées ou erronées, un professionnel se verrait donc condamné au chômage sans autre forme de procès. Car, dans un contexte de crise, les conclusions des algorithmes ont beau se faire de façon assez opaque, elles sont de plus en plus préférées à toute prise de risque « inconsidérée », c’est-à-dire humaine. 

Une procédure de recours encore complexe

En cas de traitement injuste dû aux algorithmes, seul le Bureau de la Protection Financière aux Consommateurs (CFPB) permet d’entamer une procédure d’appel aux Etats-Unis. Mais le nombre croissant d’entreprises faisant appel à des sous-traitants qui gèrent eux-mêmes les données rendent  « kafkaïenne » toute tentative de recours. S’ajoutent de plus la complexité des algorithmes et le nombre colossal d’informations à vérifier.

Si, bien utilisées, les données peuvent aussi aider à objectiver des situations complexes et résoudre certaines injustices d’origine humaine, un mauvais usage peut générer des discriminations difficilement contestables – car elles auront l’apparence de la scientificité. Dans les cas décrits ci-dessus, mais aussi quand un algorithme décide du sort des détenus dans des prisons américaines, par exemple, l’absence de législation pour encadrer leur usage dans la prise de décision pourrait s’avérer rapidement problématique.

Et si la clé du succès des Big Data, c’était finalement d’impliquer autant l’humain que l’algorithme dans la transmission et l’utilisation des données ?

Chaque semaine,
recevez les immanquables
par email