Et si on créait des « sanctuaires sans IA » ?

Antonio Pele, Université Paris Nanterre – Université Paris Lumières

Dans Hypérion, roman de science-fiction écrit par Dan Simmons en 1989, les personnages sont connectés à un réseau d’intelligences artificielles, appelé la « datasphère ». En leur permettant d’avoir un accès instantané à toute information, le savoir est immédiatement disponible, mais la capacité à penser par soi-même est désormais perdue.

Plus de trente ans après la publication de l’ouvrage de Dan Simmons, il est possible d’envisager l’impact toujours plus croissant de l’intelligence artificielle (IA) sur nos capacités cognitives en des termes similaires. Afin de réduire ces risques, je propose ici une solution qui défend aussi bien les progrès issus de l’IA que le besoin de respecter nos capacités cognitives.

L’IA offre de nombreux avantages. Parmi eux, on peut citer les possibilités de faire progresser la justice sociale, lutter contre le racisme, améliorer la détection de certains cancers, réduire les conséquences de la crise climatique et stimuler la productivité.

Mais les aspects plus sombres de l’IA sont aussi très discutés et pris en compte dans son développement, notamment ses biais raciaux, sa tendance à renforcer les inégalités socio-économiques et sa capacité à manipuler nos émotions et comportements.

Vers les premières régulations occidentales de l’IA

Malgré ces risques toujours plus croissants, il n’y a toujours pas de règles nationales ou internationales qui régulent l’IA. C’est pour cela que la proposition de la Commission européenne visant à établir une régulation des usages de l’IA est si importante.

Cette proposition de la Commission européenne, dont la dernière version a reçu l’aval et a été modifiée par les deux comités ad hoc du Parlement européen début juin 2023, se fonde sur les risques inhérents à toute utilisation de cette technologie et les classifie en trois catégories : « inacceptables », « élevés » et « autres ».

Pour les risques issus de la première catégorie, le recours à l’IA est interdit. Il s’agit des cas suivants :

• La manipulation cognitivo-comportementale de personnes ou de groupes vulnérables, qui peut ou pourrait causer un dommage corporel ou cognitif.
• L’exploitation des vulnérabilités d’un groupe spécifique de personnes, de sorte que l’IA puisse modifier le comportement de ces personnes et vienne causer un dommage.
• Les scores sociaux : classer les individus en fonction de leur conduite et statut socio-économique.
• Les systèmes d’identification biométrique en temps réel et à distance, sauf cas particulier (par exemple en cas d’attaque terroriste).

Dans cette Législation européenne portant sur l’IA, les notions de risques « inacceptables » et de dommages sont étroitement liées. Il s’agit d’un pas important et suggèrent le besoin de protéger certaines activités et des espaces physiques délimités de toute interférence de l’IA. Avec ma collègue Caitlin Mulholland, nous avons en ce sens montré comment nos droits fondamentaux et en particulier notre droit à la vie privée dépendent d’une plus forte régulation des applications de l’IA et de reconnaissance faciale.

[Plus de 85 000 lecteurs font confiance aux newsletters de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd’hui]

Cela fait tout particulièrement sens en ce qui concerne le recours à l’IA en matière de décision judiciaire automatisée et de contrôle des frontières. Les débats autour de ChatGPT ont aussi soulevé des inquiétudes quant à leur incidence sur nos capacités intellectuelles.

Des sanctuaires sans IA

Tous ces cas soulèvent des interrogations quant au déploiement de l’IA à des domaines où sont en jeu nos droits fondamentaux, notre vie privée et nos capacités cognitives. Ils pointent aussi le besoin de créer des espaces où s’applique une forte régulation des activités liées à l’IA.

Il est possible définir ces espaces en empruntant un terme ancien, celui de sanctuaires. Dans son ouvrage, « L’âge du capitalisme de surveillance », Shoshana Zuboff définit le droit au sanctuaire comme remède aux excès de tout pouvoir. Les lieux sacrés, tels que les temples, les églises et les monastères permettaient en effet aux communautés persécutées d’y trouver refuge. Aujourd’hui, et afin de résister à la surveillance digitale, Zuboff actualise et réinterprète ce droit au sanctuaire par le truchement d’une forte régulation des activités digitales et cela afin que nous puissions encore profiter de l’« espace d’un refuge inviolable ».

La notion de « sanctuaires sans IA » n’implique pas une interdiction pure et simple de l’IA mais une vraie régulation des applications qui découlent de cette technologie. Dans le cas de la législation de l’Union européenne portant sur l’IA, cela reviendrait à mettre en place une définition plus précise de la notion de dommage. Pour l’instant, il n’existe pas en effet de définition claire et univoque de cette idée de dommage, ni dans la législation européenne portant sur l’IA ni entre les États membres. Comme le suggère Suzanne Vergnolle, une solution consisterait à établir des critères communs à tous les États membres afin d’identifier les types de dommages issus des pratiques manipulatrices liées à certaines applications de l’IA. En outre, les dommages fondés sur les profils raciaux et les statuts socio-économiques devraient aussi être envisagés.

La mise en place de sanctuaires sans IA signifie aussi une réglementation beaucoup plus ferme visant à nous protéger des dommages cognitifs et mentaux résultant de potentiels usages de l’IA. Un point de départ consisterait à instaurer une nouvelle génération de droits — les « neuro-droits » — qui viendraient protéger notre liberté cognitive eu égard au développement des neurotechnologies. Roberto Andorno and Marcello Ienca soutiennent ainsi que le droit à l’intégrité mentale, qui est déjà protégé par la Cour européenne des Droits de l’Homme, devrait s’appliquer au-delà des cas de maladies mentales et nous protéger face aux intrusions de l’IA.

Un manifeste des sanctuaires sans IA

Je souhaiterais défendre le droit aux « sanctuaires sans IA ». Il engloberait les articles suivants (qui sont bien entendu provisoires) :

• Le droit de se retirer. Dans les domaines jugés sensibles, toute personne a le droit de se retirer d’un accompagnement basé sur l’IA, et cela pendant une durée dont elle sera libre de décider. Ce droit implique l’absence totale d’interférence de dispositif basé sur l’IA ou une interférence modérée.
• Absence de sanction. Le fait de se retirer d’un dispositif d’IA n’entraînera jamais de désavantages de types économiques ou sociaux.
• Le droit à la décision humaine. Tout individu a le droit à une décision finale qui soit faite par une personne humaine.
• Personnes vulnérables et domaines sensibles. Les autorités publiques établiront en collaboration avec les acteurs de la société civile et de l’industrie, les domaines particulièrement sensibles (santé, éducation) et les groupes de personnes, comme les enfants, qui ne devront pas être ou être modérément exposés à des systèmes intrusifs d’IA.

Les Sanctuaires sans IA dans le monde physique

Jusqu’à présent, les espaces sans IA n’ont été que très inégalement mis en place, d’un point de vue spatial. Certains établissements scolaires en Europe et aux États-Unis ont en ce sens décidé d’exclure tout écran des salles de classe, en suivant ainsi les principes du mouvement low-tech/no tech dans le domaine de l’éducation. Il a en effet été prouvé que le recours à des supports digitaux dans le domaine de l’éducation n’est pas productif et provoque des dépendances parmi les plus jeunes. Cependant, de plus en plus d’écoles publiques, avec peu de moyens, ont tendance à faire recours aux écrans et aux outils digitaux, ce qui contribuerait à aggraver les inégalités sociales.

Même à l’extérieur d’espaces sécurisées comme les salles de cours, l’IA continue à s’étendre. Aux États-Unis, entre 2019 et 2021, une douzaine de municipalités avaient approuvé des lois interdisant le recours à la reconnaissance faciale dans le domaine du maintien de l’ordre. Depuis 2022 cependant, de nombreuses villes ont fait machine arrière afin de contrecarrer une augmentation des délits.

Même s’ils renforcent les inégalités, des systèmes de reconnaissances faciaux sont utilisés au cours de certains entretiens d’embauche. Dans la mesure où ces systèmes sont alimentés par les données des candidat·e·s qui ont réussi préalablement les processus de sélection, l’IA a tendance à sélectionner les candidat·e·s provenant d’un contexte privilégié et à exclure celles et ceux issus de milieux plus divers. De telles applications doivent être interdites.

Et malgré la future législation de l’UE portant sur l’IA, des systèmes vidéo basés sur l’IA surveilleront les spectateurs et les foules des Jeux olympiques de Paris en 2024. Cette vidéosurveillance automatisée sera en outre testée au cours de la Coupe du Monde de Rugby.

Les moteurs de recherche sur Internet guidé par l’IA doivent aussi être interdits, puisque cette technologie n’est pas encore au point. Comme le souligne Melissa Heikkiläa dans un article de 2023 de la [MIT Technology Review], « les textes générés par l’IA semblent dignes de foi et font des références, ce qui dissuade les usagers de vérifier l’information qu’ils reçoivent ». Il y a aussi une dose d’exploitation, car « les usagers sont aujourd’hui en train de tester cette technologie à titre gratuit ».

Accompagner le progrès tout en préservant nos droits

Le droit aux sanctuaires sans IA garantit le développement technologique de l’IA tout en protégeant nos capacités émotionnelles et cognitives. La possibilité d’avoir le choix se retirer de l’IA (opt out) est cruciale si nous souhaitons préserver nos capacités à apprendre, à vivre des expériences de manière autonome et à protéger notre jugement moral.

Dans le roman de Dan Simmons, l’un des protagonistes (réplique « cybride » du poète John Keat) n’est pas connecté à la DataSphère et peut donc résister aux menaces des Intelligences artificielles. Ce point est illustratif car il souligne l’importance des débats portant sur l’intromission de l’IA dans l’art, la musique, la littérature et la culture. En effet, en en plus des questions relatives à la propriété intellectuelle, ces activités sont étroitement liées à notre imagination et créativité, capacités qui forment aussi le socle de nos possibilités de résister et de penser par nous-mêmes.

Antonio Pele, Associate professor, Law School at PUC-Rio University & Marie Curie Fellow at IRIS/EHESS Paris & MSCA Fellow at the Columbia Center for Contemporary Critical Thought (CCCCT) w/ the HuDig19 Project, Université Paris Nanterre – Université Paris Lumières

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.