Cinq observations sur la société algorithmique
Ce qui suit puise essentiellement dans l’ouvrage académique « The Algorithmic Society. Technology, Power, and Knowledge », édité par Schuilenburg et Peeters[1], en particulier pp. 196 et suivantes.
Définition : Société algorithmique
Généralisation de l’utilisation d’algorithmes par les pouvoirs publics, tant pour la régulation, le contrôle et le nudge, grâce à la production automatisée de prédictions et de décisions.
Remarque :
Les algorithmes en question peuvent être « traditionnels » (suite d’instruction compréhensible) ou « intelligents » (modèles de machine learning entraînés sur un large jeu de données, aussi dits « boîte noire »).
Exemple :
Les domaines particulièrement discutés dans la littérature sont :
La santé, l’éducation, la justice et la fiscalité au niveau de l’État ;
La sécurité (safety), les ressources (énergie, eau...) et la planification urbaine dans les villes.
Fondamental : Les algorithmes co-évoluent avec la surveillance
À mesure que la quantité de données issues de la surveillance augmentent, les gouvernements se tournent vers les algorithmes pour prédire la criminalité, fournir des services publics, allouer des ressources, prédire les taux de récidive, etc.
Elle puise dans un imaginaire techno-utopiste
Fondamental : Qualités supposées
D’après leurs promoteurs, les algorithmes doivent éliminer une bureaucratie lente, coûteuse et injuste en rationalisant les décisions publiques. Ainsi les algorithmes devraient améliorer l’efficacité, notamment grâce à leur vitesse et à leur capacité à détecter des motifs que les humains ne discernent pas. Ensuite, les algorithmes devraient diminuer les biais et la subjectivité des humains, en se centrant sur les données des citoyens, voire en les incluant. Enfin, ils devraient augmenter la sécurité, par leur capacité à prédire et à prévenir les comportements dangereux, plutôt qu’avec la force brute.
Attention : Efficacité
C’est avant tout l’outil d’une économie rationnalisée fondée sur la compétition et la consommation.
Attention : Diminution des biais
Les données d’entraînement des modèles de machine learning ont exactement les mêmes biais que les humains.
Attention : Augmentation de la sécurité
En réduisant la sécurité et l’ordre public à des calculs prédictifs, les éventuelles causes structurelles/systémiques sont balayées.
Attention : Faux dilemme
L’approche sécuritaire, adoptée par un grand nombre de gouvernements, affirme que la prévention et la répression de certains comportements est la seule façon de préserver la société. Ces discours sont peu étayés, tandis que des propositions alternatives manquent à l’appel.
Un solutionnisme sécuritaire fait des approches policières et pénales l'alpha et l'oméga du traitement des illégalismes et de la violence. En découle logiquement une focale technologique par laquelle les bureaucraties policières sont censées rationaliser leurs interventions, et qui referme à son tour l'horizon des possibles.
Tréguer, 2024[2] (p. 98)
Dans le cas des prestations sociales, c'est cette approche policière, pourtant inefficace et coûteuse, qui s'applique sans fondement rationnel. C’est en transformant les allocataires en « assisté·es », puis en risques pour la survie du système social que le discours de « lutte contre l’assistanat » a fait de leur contrôle un impératif de « bonne gestion ».
Toutes les estimations montrent que la « fraude sociale » est marginale et que c’est au contraire le non-recours aux aides qui se révèle être un phénomène massif ( Dubois, 2021[3], chapitre 2, cité par LQDN).
Elle renforce les inégalités
Fondamental : Le périmètre des algorithmes n’est pas neutre
Les effets de la société algorithmiques sont distributifs. L’automatisation des décisions administratives, de la prédiction des risques criminels et des approches comportementales en politiques publiques, par exemple, ne bénéficient pas aux citoyenn·es de la même façon. Les « gagnants » sont ceux qui sont insérés dans le modèle standard de compétition et de consommation, non-biaisés dans les données, sans situation administrative particulière. Les « perdants » sont ceux considérés comme superflus ou improductifs au nom de l’efficacité, qui vivent dans des quartiers considérés comme à risques et sujets à des erreurs administratives.
Attention : Patchwork algorithmique
La décision d’utiliser des algorithmes n’est pas neutre ; ils sont souvent déployés dans deux pôles :
Dans les zones fortement urbanisées où la consommation fonctionne bien, dans une logique de « smart-city » censée améliorer la qualité de vie ;
Dans les zones à criminalité élevée, dans une logique de « safe-city » censée juguler les futurs crimes.
Ces décisions, impliquant des populations sociologiquement distinctes, tendent à renforcer les inégalités plutôt que les réduire.
Attention : Impuissance
L’inéquité qui résulte à la fois des données d’entraînement et de la « zone » du patchwork est difficilement contestable, car l’opacité et l’automatisation réduit la place laissée à la possibilité de comprendre et de contester une décision.
Elle réduit les pouvoirs d’agir
Fondamental : « Contamination technologique »
Les algorithmes remplacent les méthodes et les garde-fous existants.
Attention : Transparence
À la fois pour les décisionnaires et pour les citoyens concernés, il est impossible de savoir quelles données ont été utilisées et comment les algorithmes ont été conçus. Les algorithmes sont la plupart du temps propriétaires et concernés par le secret industriel.
Attention : Responsabilité
Il est plus difficile de savoir qui tenir responsable d’une décision qui a été prise par un algorithme.
Attention : Streel-level discretion
Intraduisible ; c’est le fait que les employés d’une administration qui connaissent le contexte local aient une marge de manœuvre par rapport aux règles générales et abstraites, particulièrement pour des cas spécifiques et imprévisibles. La décision algorithmique vient bloquer ce mécanisme (« je ne peux pas, c’est le logiciel »).
Attention : Non-compétence
Les algorithmes sont conçus par des spécialistes de l’informatique, avec leur propres tropes. Les experts des sujets concernés sont impliqués à la marge.
La programmation est nécessairement fonctionnaliste et réductionniste.
Elle crée une illusion de contrôle
Attention : Surconfiance
Par opposition à la lenteur et à la difficulté des humains à compiler des données et à proposer une solution, la rapidité des algorithmes à produire un résultat complexe donne une confiance démesurée dans le résultat ; d’autant que les humains ont tendance à préférer le « choix par défaut » (celui de l’algorithme).
Attention : Biais statistiques
Les décisionnaires comprennent généralement mal les algorithmes, et, par exemple, ont tendance à confondre corrélation et causalité, et en conséquence à accorder trop d’importance aux algorithmes prédictifs qui se basent sur des régularités statistiques.
Elle est en symbiose avec les industriels et les Big Tech
Définition : Souveraieté
Autorité de prendre des décisions dans une sphère donnée, qui impactent les lieux de vie et le quotidien des habitant·es, ainsi que les choses qui régissent leurs vies.
Attention : Top-bottom
Des compagnies privées, souvent de droit extra-territorial, sont chargées de développer les algorithmes utilisés par les États et influent donc, plus ou moins directement, sur leur gouvernance et à la fin sur le quotidien des habitant·es.
Attention : Origine des données
Le secret industriel protège généralement les immenses datasets utilisés pour les entraînements, mais ce sont ces datasets qui sont utilisés dans la plupart des IA achetées par l’État.
Attention : Bottom-up
Les Big Tech ont un rôle direct et central pour plusieurs milliards d’humains à travers leurs services, où avec leurs propres algorithmes ils influencent les comportements des utilisateur·ices.
Si la société algorithmique venait à se généraliser, les changements de comportements induits par les Big Tech nourriraient les algorithmes utilisés par les pouvoirs publics, produisant des changements qu’il est extrêmement difficile de décrire ou de quantifier tant les rétroactions sont complexes, rappelant, à la fin, la pensée cybernétique.