AlgorithmWatch

AlgorithmWatch est une ONG (organisation non gouvernementale) à but non lucratif fondée à Berlin en 2016-2017[1] pour, dans le contexte de développement des réseaux sociaux et de l'intelligence artificielle, améliorer la transparence de la gouvernance[2] et plus généralement de la démocratie, dont en examinant et classant les processus de prise de décision algorithmiques socialement pertinents, c'est-à-dire utilisés pour dire, prédire ou, de plus en plus, prédéterminer les décisions humaines ou prendre des décisions automatiquement[3]. Pour AlgorithmWatch, les processus de prise de décision automatisée (dits ADM pour Automated decision-making) « de plus en plus évaluent notre solvabilité, fixent des prix individualisés sur les plateformes de vente au détail en ligne ou suggèrent les films à regarder. Cependant, leur utilisation ne conduit pas nécessairement à des décisions moins biaisées » ; Ces systèmes ADM peuvent perpétuer voire renforcer les inégalités et les discriminations ; les études d'AlgorithmWatch ont ainsi montré que même dans des pays supposés avancés dans ces domaines, comme l'Allemagne et l'Autriche, les offres d'emploi (publiées sur Facebook notamment) étaient présentées à différents publics sur la base de « grossiers stéréotypes », interdisant l'égalité homme-femme face à l'emploi (ex : une offre de poste d'éducateur/éducatrice était 20 fois plus susceptible d'être montré aux femmes qu'aux hommes)[4],[5]. Ces risques sont systématiques et systémiques.
Quand des systèmes ADM se généralisent dans le domaine de la gestion automatisée du personnel[6], et décident de manière discriminante ou suggèrent des décisions discriminantes, de nombreuses personnes dans le monde sont ou seront potentiellement touchées - « car toutes ces décisions suivent un même schéma » ; leur impact sociétal global peut être important, et éventuellement exacerbé, par exemple au Royaume-Uni, en Allemagne[7], en Chine et dans les pays en développement, par l'explosion du scoring des citoyens (Système de crédit social attribué par des algorithmes) dans les années 2000, conjointement au développement de l'utilisation des smartphones et de l'Internet[8].

AlgorithmWatch dans son « Manifeste d'ADM »[9], estime que tant que les procédures de prise de décision algorithmique sont des « boîtes noires » le « créateur d'ADM doit être responsable de ses résultats ».

À un moment de l'histoire où certains algorithmes créent déjà d'autres algorithmes, alors que même leurs concepteurs ne savent pas comment fonctionne certains algorithmes auto-apprenants (dits d'intelligence artificielle), et alors que ces nouvelles responsabilités nécessitent l'existence d'une entité juridique apte à savoir et trancher dans ce champ nouveau certains opposent à AlgorithmWatch que l'ADM n'est cependant pas seulement créé par ses concepteurs » et que donc ils ne peuvent être tenus seuls responsables de ce qu'ils font[10]. Ceci fait de ce débat sur la responsabilité un enjeu complexe pour le XXIe siècle.

Historique

Divers chercheurs lanceurs d'alerte (ex : Dirk Helbing [11] et Peter Seeles[12] s'inquiètent de l'opacité liée à l'usage de certains algorithmes, estimant que quand le code informatique « fait loi », les algorithmes devraient être rendus transparents (When code is law, algorithms must be made transparent)[13].

AlgorithmWatch a été fondée à Berlin en 2017 par Matthias Spielkamp, Katharina Anna Zweig, Lorena Jaume-Palasí et Lorenz Matzat, travaillant d'abord à inventorier ces algorithmes et leur utilisation à l'échelle du territoire allemand[14], tout en cherchant à traiter du sujet dans le monde.

En novembre 2020, AlgorithmWatch Switzerland a mis en ligne sa propre organisation, et son propre site Web[15].
Les graphiques et textes du site sont tous sous licence Creative Commons.

Thématiques de travail

Alors que l'on constate que « les algorithmes tendent à discriminer les personnes en position d'impuissance » AlgorithmWatch analyse - en prônant les analyses transparentes et collaboratives[16] - les effets des processus décisionnels algorithmiques sur le comportement humain, mettant en évidence des conflits éthiques[17],[3], notamment dans le monde de l'industrie numérique et de l'industrie en général qui selon AlgorithmWatch refuse de se fixer des lignes rouges, désamorçant les directives éthiques pour l'intelligence artificielle[18].

Par exemple

  • l'ONG s'inquiète, avec d'autres du développement des algorithmes de reconnaissance faciale automatisée dans les lieux publics ; AlgorithmWatch et AlgorithmWatch Switzerland s'inscrivent conjointement dans l'initiative citoyenne européenne (coalition d'organisations de la société civile) Reclaim Your Face demandant l'interdiction de la surveillance biométrique de masse[19].
  • en Espagne, la justice catalane utilise dans toutes ses prisons un algorithme RisCanvi pour l'aider à décider si un détenu emprisonné peut être libérés sur parole, mais l'outil n'est guère transparent constate AlgorithmWatch[20].
  • Michele Loi et Matthias Spielkamp ont étudié et comparé les contenus réglementaires de 16 ensembles de lignes directrices relatives à l'utilisation de l'IA dans le secteur public. Au regard des exigences de l'ONG en matière de philosophie et responsabilité de la gouvernance, les auteurs estiment que « ssi certaines lignes directrices font référence à des processus qui s'apparentent à un audit, il semble que le débat gagnerait à être plus clair sur la nature des droits des auditeurs et les objectifs de l'audit, également afin de développer des normes éthiquement significatives par rapport auxquelles différentes formes d'audit peuvent être évaluées et comparées »[21]
  • après que la lutte contre la pandémie de Covid-19 ait justifié la création pour les smartphones de diverses applications de recherche de contacts numériques de type Covid-tracker (environ 50 applications dont 22 dans l'UE)[22],[23], l'ONG a produit une étude sur leur efficacité réelle un an après sur la base de preuves issues de la littérature scientifique et de l'utilisation réelle, concluant à des résultats, jusqu'alors encore contradictoires et à des difficultés de comparabilité[24].
  • l'ONG, dans un projet AutoCheck (formations et guide sur les systèmes de prise de décision automatisés), veut aider les organismes de promotion de l'égalité, et notamment les centres de conseil anti-discrimination, dans leurs actions d'éducation, de conseil et de soutien envers les personnes discriminées, en leur permettant de mieux discerner la discrimination qui s'effectue à leur égard via les systèmes ADM, sans que l'on sache à ce jour comment ces personnes ou les centres de conseil peuvent traiter le problème[25].

Financements

AlgorithmWatch est financé par plusieurs fondations allemandes :

  • la Fondation Bertelsmann qui vise plus de transparence et de contrôle de la société civile sur les algorithmes et leurs utilisations[26] ;
  • la Fondation Schöpflin[27] ;
  • la Fondation Hans Böckler[26].

AlgorithmWatch Switzerland est financé par Engagement Migros, le fonds de développement du groupe Migros, un conglomérat d'entreprises coopératives suisses de la grande distribution[28].

Annexes

Articles connexes

Liens externes
  • AlgorithmWatch.org
  • AlgorithmWatch.ch

Bibliographie

Notes et références
  1. (de) « Transparenz & Governance », sur AlgorithmWatch (consulté le ).
  2. (en) Matthias Spielkamp, « AlgorithmWatch: What Role Can a Watchdog Organization Play in Ensuring Algorithmic Accountability? », dans Transparent Data Mining for Big and Small Data, Springer International Publishing, (ISBN 978-3-319-54023-8, lire en ligne), p. 207–215.
  3. (de) Patrick Beuth, « Lesen Sie zeit.de mit Werbung oder im PUR-Abo. Sie haben die Wahl (Avoir son mot à dire dans l'automatisation du monde) », sur ZEIT ONLINE, (consulté le ).
  4. (en) K. Floder, The algorithm of the Public Employment Service Austria (AMS): Technology as a retrograde step for gender equality in Austria |URL=https://www.floder.at/wp-content/uploads/2020/08/Essay_ILL-2.pdf
  5. (en) Natalie Sheard, « Employment Discrimination by Algorithm: Can Anyone be Held Accountable? », University of New South Wales Law Journal, Social Science Research Network, vol. 45, no ID 3866363,‎ (lire en ligne, consulté le ).
  6. (de) Matthias Spielkamp et Sebastian Gießler, « Automatisiertes Personalmanagement und Mitbestimmung: KI-basierte Systeme für das Personalmanagement - was ist fair, was ist erlaubt? », Working Paper Forschungsförderung no 191, (consulté le ).
  7. (en) S. Sommer et G. G. Wagner, « A Brief History of “Scoring” from a German Perspective », sur superscoring.de (consulté le ).
  8. (en) Jaap van der Straaten, « AlgorithmWatch. Citizen scoring in Ghana, Rwanda, Tunisia, Uganda, Zimbabwe and China. Berlin (2019). A Review, Surabaya », sur Social Science Research Network, (consulté le ).
  9. (en) Algorithm Watch : The ADM manifesto.
  10. (en) R. Moodie et al., « Profits and pandemics: prevention of harmful effects of tobacco, alcohol, and ultra-processed food and drink industries », The Lancet, no 381,‎ , p. 670-679.
  11. ETH de Zurich/TU Delft/Complexity Science Hub de Vienne
  12. USI, à Lugano
  13. (en) D. Helbing et P. Seeles, « When code is law, algorithms must be made transparent », Technology, no 76,‎ , p. 553-594 (lire en ligne).
  14. (en) AW AlgorithmWatch gGmbH, « Atlas of Automation–Automated Decision-Making and Participation in Germany », (consulté le ).
  15. (de) « AlgorithmWatch Schweiz geht an den Start (AlgorithmWatch Suisse est lancé) », sur AlgorithmWatch (consulté le )
  16. (en) Christina Elmer, « Algorithms in the Spotlight : Collaborative Investigations at Der Spiegel », dans L. Bounegru et J. Gray, The Data Journalism Handbook: Towards a Critical Data Practice, Amsterdam University Press, (ISBN 978-90-485-4207-9, lire en ligne), p. 257–264.
  17. (en) L. Jaume-Palasí et M. Spielkamp, « Ethics and algorithmic processes for decision making and decision support », AlgorithmWatch Working Paper, , p. 1-18.
  18. (en) C Klöver et A Fanta, « No red lines: Industry defuses ethics guidelines for artificial intelligence », sur AlgorithmWatch, (consulté le ).
  19. (en) « Reclaim Your Face – A European Citizens Initiative to ban biometric mass surveillance », sur AlgorithmWatch (consulté le )
  20. (en) « In Catalonia, the RisCanvi algorithm helps decide whether inmates are paroled », sur AlgorithmWatch (consulté le )
  21. (en) « Towards accountability in the use of Artificial Intelligence for Public Administrations », sur AlgorithmWatch (consulté le )
  22. (en) « The Covid Tracing Tracker: What’s happening in coronavirus apps around the world », sur MIT Technology Review (consulté le )
  23. (en) European Liberties Platform, « COVID-19 Contact Tracing Apps in the EU », sur Liberties.eu (consulté le )
  24. (en) « Digital contact tracing apps: do they actually work? A review of early evidence », sur AlgorithmWatch (consulté le )
  25. (en) « AutoCheck – Mapping risks of discrimination in automated decision-making systems », sur AlgorithmWatch (consulté le )
  26. (de) « Förderung - Mehr Transparenz und zivilgesellschaftliche Kontrolle von Algorithmen », sur www.bertelsmann-stiftung.de (consulté le )
  27. (de) « Schöpflin Stiftung », sur www.schoepflin-stiftung.de (consulté le )
  28. (de) « AlgorithmWatch Schweiz », sur Migros-Pionierfonds, (consulté le )
  • Portail de l’informatique
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.