Antoinette Rouvroy est chercheuse en philosophie du droit au Fonds national de la recherche scientifique à l'université de Namur. Depuis plusieurs années, elle travaille plus particulièrement sur le pouvoir des algorithmes et du big data et leurs rapports avec le politique.
Antoinette Rouvroy © Université de NamurElle a théorisé le concept de « gouvernementalité algorithmique », qu’elle définit comme « un mode de gouvernement nourri essentiellement de données brutes, signaux infra-personnels et a-signifiants mais quantifiables, opérant par configuration anticipative des possibles plutôt que par réglementation des conduites, et ne s'adressant aux individus que par voie d’alertes provoquant des réflexes plutôt qu'en s’appuyant sur leurs capacités d'entendement et de volonté ».
Concrètement, à quoi servent les algorithmes prédictifs ? Dans quels domaines sont-ils déjà utilisés ?
Antoinette Rouvroy. Ils recouvrent des choses très différentes. On peut avoir des dispositifs intégrant des interventions humaines, et donc une supervision, jusqu’à des dispositifs entièrement automatisés offrant aux machines la capacité de développer une forme d’intelligence artificielle.
Il est surtout intéressant de regarder ce qui se passe sur le plan des applications, car cela permet de se rendre compte que certains algorithmes présentent une normativité plus ou moins forte. Dans certains cas, le but de l’algorithme sera seulement de donner des informations, des alertes sur certaines choses. La prise de décision relèvera donc forcément d’une intervention humaine. Dans d’autres, l’algorithme fournira une recommandation.
Dans ce cas, il est déjà plus difficile de s’écarter de cette recommandation car cela nécessite une démarche positive, une prise de risque. Les algorithmes sont par exemple parfois utilisés, aux États-Unis ou encore en Belgique, dans le cadre de l’examen des demandes de libération conditionnelle de détenus. La décision est prise sur la base de modèles prédictifs de la récidive permettant d’en évaluer le risque. Pour un assistant de justice qui déciderait de libérer un détenu contre l’avis d’un algorithme, on voit tout de suite le risque énorme que celui-ci prendrait. On voit bien, dans cet exemple, la force normative de l’algorithme ainsi que le fait que celle-ci ne dépend pas de la technologie, mais bien des conditions sociales, juridiques, hiérarchiques…
Enfin, dans certains cas, nous ne sommes pas loin de dispositifs algorithmiques se substituant à la décision humaine. Et, dans la réalité, il y a de nombreux cas hybrides mélangeant ces trois types.
Parmi les applications, les plus connues sont dans le domaine de la finance. Le trading haute fréquence est un cas de décision automatique, on pourrait d’ailleurs presque parler d’un délit d’initié algorithmique. Les algorithmes sont également utilisés dans le domaine des ressources humaines. Par exemple, des centres d’appels les utilisent comme aide au recrutement en testant la résilience des candidats à un travail rébarbatif à travers les réseaux sociaux. On peut imaginer ce que cela va changer dans le monde de l’emploi, avec les CV, les formations, qui auront de moins en moins d’importance au profit de nos traces sur Internet.
Et il y a également des applications en climatologie, génétique…
Quelle est la viabilité, la précision des prédictions de ces machines ?
La question de la validité de la prédiction n’est pas la vraie question. Le but est de s’assurer que des choses se passent et que d’autres ne se passent pas. Plus que d’éliminer l’incertitude, il s’agit d’une préemption, d’une autre manière de gouverner visant non pas à éradiquer l’incertitude mais à la gérer différemment.
Il ne faut pas tout rejeter car il peut y avoir de bonnes choses. Mais là où je suis plus sceptique, c’est lorsque ces algorithmes portent sur des humains. L’un des problèmes est l’idéologie technique des big datas, à savoir une extension de leur réalité à une réalité qui n’est même pas totale mais une réalité numérisée. Or, il y a une résistance de la vie à toute tentative d’organisation. Il y aura toujours un reste d’incertitude radicale qui échappera à toute tentative de traitement algorithmique.
Auparavant, le risque de l’incertitude était réparti entre les membres de la société, que ce soit à travers la solidarité ou les assurances. Ce que permet le big data, c’est de ne plus mutualiser ce risque en agissant en amont pour neutraliser les effets de l’incertitude radicale. Par exemple, si vous permettez aux assurances vie d’exploiter les données internet, certaines personnes, malades, ou les femmes battues, seront considérées par l’algorithme comme déjà mortes. Ce qui conduira à une explosion de leurs primes.
Si l'on reprend le cas de la loi renseignement, on sait que l’acte terroriste est très rare. La base de données sera donc très restreinte. De plus, le but est d’arrêter les personnes avant toute tentative de passage à l’acte. Donc, on ne saura jamais, rétroactivement, ce qu’il se serait vraiment passé et si, dans les données, on n’a pas affaire à des faux positifs. L’algorithme va aussi avoir lui-même une influence sur les comportements car, si vous savez que vous êtes surveillé, vous allez forcément vous conformer. Déployer une force de police dans un quartier, ça va forcément modifier le comportement des habitants. C’est performatif. Il y a une rétroaction sur le comportement des gens. Ces algorithmes ne sont pas un système de prédiction mais d’intervention.
On est face à une question de potentialité et non de vérité. La viabilité de la prédiction n’a pas vraiment d’importance. Dans ce système, il n’y a même pas vraiment d’erreurs car celles-ci sont immédiatement intégrées à l’algorithme pour l’améliorer. Le rapport à la réalité est dissous.
Le développement de ces méthodes prédictives, et leur adoption dans le cadre de politiques publiques, est selon vous le symptôme d’un abandon du politique et de l’émergence d’un nouveau type de gouvernance.
Décider, ce n’est pas suivre une recommandation. C’est trancher dans l’incertitude. C’est cette incertitude qui donne sa valeur à la décision.
Nous sommes passés du couple « normatif/répression » à un couple « anomie/préemption ». Les décideurs politiques ne veulent plus décider du contenu de la norme. Les données donnent les critères de qualification du réel. Cela dispense les responsables de leurs responsabilités politiques.
Pour Foucault, la normalisation visait à la subjectivation des individus, à un processus d’intégration de la norme. Le but était de réformer le psychisme. Désormais, les individus n’ont plus d’importance. On ne s’intéresse plus aux causes des comportements. On est dans l’anomie. La norme s’adapte à la sauvagerie des faits. Elle est devenue invisible tout en collant à la peau des individus car ce sont nos profils qui la font évoluer. On n’est plus dans la prévention mais dans la préemption.
Le pouvoir devient de plus en plus difficile à localiser, notamment en raison de l’implication croissante des industriels privés. Toutes les stratégies de résistance se trouvent déstabilisées car il n’y a plus de pouvoir identifié. Mais cette tendance n’est pas nouvelle. Cela a commencé avec l’expansion du concept de gouvernance. Avec les algorithmes, nous sommes passés dans une gouvernance hors-sol.
Cette dissolution du pouvoir est très dangereuse. Le politique, c’est ce qui se glisse entre le mot et les choses. Or, l’algorithme impose une réalité immanente, et qui n’est même pas une représentation du monde réel. Il impose un point de vue global, total, voire totalitaire, qui va nous mener droit dans le mur.
Ce qui a été négligé dans tout ça, c’est que nous avons un corps, que nous sommes mortels. Et je pense que ça va se casser la gueule car le monde physique va nous rattraper. Les êtres humains ont un fond de rationalité qui va finir par se réveiller.
Il existe, juridiquement, assez peu de garde-fous législatifs pour l’usage des algorithmes et des big datas. Quels types de mesures permettraient de mieux protéger les citoyens ?
Un article du projet de directive européenne sur les données personnelles prévoit qu’une décision ayant des conséquences pour un être humain ne peut être prise sur la seule base d’une exploitation de big data [une disposition similaire existe déjà en France dans l’article 10 de la loi du 6 janvier 1978 – ndlr]. C’est déjà une ressource, mais ça ne suffit pas. Il faut étendre cette interdiction à tout type de données, et pas seulement les données personnelles.
Le Conseil de l’Europe, qui prépare un avis sur le sujet, m’a récemment consultée. J’ai proposé de rendre responsables les personnes qui utilisent ces algorithmes. Ce qui permettrait de protéger les citoyens contre les discriminations indirectes, celles résultant de biais cachés. Par exemple, imaginons qu’un algorithme d’aide au recrutement soit fondé sur des données fournies par des entrepreneurs au niveau d’une ville. On sait bien que certains quartiers et certaines populations font l’objet d’une discrimination à l’embauche. Un algorithme utilisant les données d’entreprises risque donc d’intégrer cette discrimination, qui devient alors invisible. L’idée serait d’inverser la charge de la preuve de cette discrimination indirecte.
Si le membre d’une minorité estime que sa candidature n’a pas été retenue pour de mauvaises raisons, ce sera à l’entreprise de prouver son objectivité. Or l’objectivité est très dure à prouver. Concrètement, cela les obligera à justifier leurs refus et cette justification est essentielle car elle réintroduit la responsabilité humaine. Les algorithmes empêchent les gens de rendre compte par eux-mêmes.
A lire aussi sur le blog de Tuxicoman : Gaming on Linux : le site d’actu des jeux vidéos sur Linux