L’analyse d’images dopée par l’IA offre de belles perspectives, mais le jugement humain reste indispensable pour comprendre le contexte et les nuances, explique le Dr Kevin Macnish, responsable de la consultation éthique et durable chez Sopra Steria Next UK.
Imaginez un monde où vos trajets sont parfaitement optimisés pour éviter les trains bondés ou les embouteillages, un monde où l'on pourrait prédire un crime avant qu'il ne soit commis. C'est exactement ce genre de promesse que l'intelligence artificielle et l'analyse de données font miroiter en exploitant des volumes massifs d'informations dans le but d’anticiper les comportements humains. Il est déjà possible de prévoir les périodes d'affluence dans une gare ou sur certaines routes en fonction des travaux en cours dans le pays.
Prédire les problèmes
Depuis longtemps, le rêve ultime en matière de sécurité consiste à pouvoir prédire qu'une personne s'apprête à commettre un crime. C'est précisément ce que tentent de réaliser certains outils de « police prédictive » comme PredPol, conçus pour anticiper les lieux où des délits pourraient survenir. Bien qu'impressionnants, ces outils ont été vivement critiqués pour leur tendance à renforcer les biais raciaux déjà présents dans les données d'origine. Il ne s'agit certes pas ici du film Minority Report, où les individus sont arrêtés pour des « pré-crimes ». Néanmoins, certains réclament l'utilisation du traitement d’images par l’IA pour repérer ceux qui « préparent quelque chose de louche ».
Les limites de l'IA dans la compréhension des intentions humaines
Mais voilà le problème : comme nous, l'IA ne lit pas dans les pensées. Nous aimerions pouvoir détecter quelqu'un qui prévoit de mal agir, mais concrètement, nous ne voyons que ses actions. Nous en venons donc à rechercher des comportements dits « suspects », sans même prendre en compte le poids culturel considérable qui pèse sur la définition de ce qui l’est ou non. Pour certaines personnes par exemple, un simple groupe d'adolescents paraîtra toujours suspect de par sa seule présence. Or, les actes ne reflètent pas toujours fidèlement les intentions.
Prenons l'exemple d'un homme d'une quarantaine d'années debout devant un salon de manucure. Suit-il quelqu'un à l'intérieur ? Prépare-t-il un vol ? Ou attend-il tout simplement que sa fille termine de se faire les ongles ? Il existe mille et une manières d'évaluer cette situation. Certaines approches sont légitimes (essaie-t-il de dissimuler son visage ? semble-t-il éviter le regard des personnes à l'intérieur ?) tandis que d'autres sont clairement problématiques (la forme de ses yeux, sa couleur de peau, ou d'autres stéréotypes...).
Maintenant, imaginez que vous déléguiez cette délicate tâche d'observation à une IA via le traitement des images. Il faudrait alors définir avec une précision extrême quels comportements sont considérés comme suspects. Or, un système automatisé ne peut détecter qu'un nombre limité de signaux. La différence subtile entre quelqu'un qui se cache le visage et quelqu'un qui se mouche peut parfaitement échapper à une IA si elle n’a pas été entraînée à reconnaître un éternuement. Le système devra nécessairement s'appuyer sur des critères basiques, comme la présence prolongée d'un individu dans un périmètre de 2 mètres pendant 5 minutes, pour définir ce qu'on appelle un « comportement de maraudage ».
Ce ne serait pas si grave si le système se contentait d'identifier l'homme comme restant dans un cercle de rayon donné pendant un temps donné. Mais cela ne répondrait pas à l'objectif de détection de maraudage et ne signifierait rien pour l'agent de sécurité chargé d'agir sur les recommandations du système. Pour que le système réponde aux exigences et soit compréhensible pour l'utilisateur, une traduction est nécessaire : de « maraudage » vers « rester dans un cercle de rayon donné pendant un temps donné », puis retour vers « maraudage ». Le problème, c'est que ces deux termes ne sont pas synonymes. Une personne peut rester dans un cercle de rayon donné pendant un temps donné sans aucune mauvaise intention.
Trouver l'équilibre entre IA et jugement humain
Deux éléments viennent encore aggraver ce problème fondamental. Le premier est ce qu'on appelle le biais d'automatisation — notre tendance naturelle à faire aveuglément confiance à ce que nous dit un système automatisé. Ce phénomène troublant a été observé dès les années 1970 : des pilotes croyaient fermement leur tableau de bord indiquant que le moteur était en feu, alors qu'ils pouvaient voir de leurs propres yeux que ce n'était pas le cas. Ce biais demeure parfaitement d'actualité, notamment avec des automobilistes qui suivent religieusement leur GPS jusqu'à se retrouver dans une rivière, ou ceux qui font une confiance aveugle à leur voiture autonome face à une voiture arrivant dangereusement en sens inverse... parfois avec des conséquences tragiques.
Le deuxième élément problématique est directement lié à la vitesse vertigineuse et à la complexité croissante des systèmes automatisés modernes. Il devient alors extrêmement difficile de maintenir un « humain dans la boucle » pour valider systématiquement ses décisions. Dans les cas de détection de fraude, par exemple, la masse phénoménale des informations traitées est telle qu'aucun humain ne pourrait raisonnablement en saisir tous les éléments pour prendre une décision véritablement éclairée. C'est pourquoi on observe de plus en plus un déplacement progressif vers un « humain sur la boucle ».
Concrètement, cela signifie qu'un humain peut certes consulter les décisions du système, mais son accord explicite n'est plus nécessaire pour leur mise en œuvre effective.
Ces deux tendances lourdes écartent notre précieux jugement humain. Soit la personne ne fait plus appel à son esprit critique naturel, soit elle est purement et simplement écartée du processus décisionnel au nom de l'efficacité. Dans les deux cas, nous perdons irrémédiablement cette capacité si humaine à considérer le contexte et toutes ses subtilités.
Gouverner l'IA de manière responsable
Cela ne veut absolument pas dire que l'IA est inutile ou qu'elle ne doit pas être utilisée dans le domaine de la sécurité. Mais il est absolument essentiel d'adopter une approche à la fois prudente et lucide, en gardant constamment à l'esprit ce que les ordinateurs ne savent pas encore faire — et ne sauront peut-être jamais faire.
Nous devons impérativement résister au pernicieux biais d'automatisation et nous rappeler sans cesse : l'IA n'est pas infaillible. C'est à nous qu'il revient de poser les bonnes questions, d'exiger une transparence totale, et de veiller scrupuleusement à une gouvernance responsable de ces systèmes, avant de leur confier un pouvoir trop important. Il faut absolument reconnaître les limites intrinsèques de l'IA et les risques réels liés à une confiance excessive dans ses capacités.
Cela passe nécessairement par une formation approfondie et une gouvernance rigoureuse tout au long du développement et du déploiement de l'IA. Cette gouvernance doit être suffisamment diversifiée pour identifier efficacement l'ensemble des problèmes potentiels, et assez experte pour comprendre réellement ce que fait le système, bien au-delà de la simple façon dont ses décisions sont formulées en langage courant. Elle ne doit pas rester en marge mais doit faire partie intégrante du processus de développement. Elle doit également impliquer des personnes haut placées dans l'entreprise, afin que ses recommandations soient considérées comme de véritables exigences, et non comme de simples suggestions sans portée.
La formation, quant à elle, ne doit absolument pas être un webinaire annuel avec une dizaine de questions à choix multiples à la fin. Elle doit s'aligner sur les valeurs fondamentales, les ambitions et la culture profonde de l'entreprise. Si elle n'engendre qu'un simple gain de connaissances, sans transformation réelle et durable des comportements, elle échouera lamentablement à sa mission essentielle.
Sopra Steria a concrètement mis en œuvre ces principes à travers son comité interne de gouvernance de l'IA et son programme de formation associé. Ce comité, réunissant notamment le directeur technique, le directeur de la sécurité des systèmes d'information, le responsable commercial, le chef des achats, le délégué à la protection des données et le responsable de la consultation éthique, examine méticuleusement tous les projets contenant de l'IA dans l'entreprise.
Kevin Macnish travaille activement dans la gouvernance de l'IA depuis 2010. Il a conseillé la Commission européenne, de nombreux gouvernements et des entreprises sur ce sujet crucial.