Nozha Boujemaa décrypte les enjeux de l'IA de confiance

NOZHA BOUJEMAA est Chief Science & Innovation Officer chez MEDIAN TECHNOLOGIES
Mme Boujemaa est membre du AI HLEG, groupement d’experts de haut niveau sur l’IA auprès de la commission européenne. Elle a participé à la conception de la Charte éthique européenne pour une IA de confiance, présentée pour la première fois en janvier dernier.
Elle interviendra dans le cadre du salon AI PARIS 2019.

1/ IA ET ETHIQUE : DES FONDAMENTAUX AUX COULISSES D’UN MOUVEMENT EN PLEINE STRUCTURATION

Le développement d’une Intelligence Artificielle explicable et responsable s’impose comme LE sujet de cette année 2019… Quelle définition faites-vous aujourd’hui de ce sujet ? Pouvez-vous nous en dire plus sur les coulisses de cette révolution en cours ?

Tout d’abord, je préférerais mettre en avant une intelligence artificielle de confiance et responsable plutôt qu’explicable. Une intelligence artificielle de confiance inclut un certain nombre de propriétés telles que l’interprétabilité, la transparence et la responsabilité. C’est ça qui est essentiel pour une IA de confiance, au-delà des dimensions éthiques et de responsabilité juridique, il y a aussi la dimension de robustesse technologique, et ça c’est vraiment essentiel.

Une intelligence artificielle de confiance inclut un certain nombre de propriétés telles que l’interprétabilité, la transparence et la responsabilité.

Comment glisse-t-on vers cette robustesse technologique et cette intelligence artificielle de confiance ?

Aujourd’hui c’est un défi très important parce qu’avec l’intelligence artificielle, on peut croire qu’il suffit d’appuyer sur un bouton et le résultat arrive tout seul. Mais en fait il est essentiel de vérifier et de guetter toutes les sources d'erreurs, de biais à la fois des données, mais aussi des algorithmes. Donc il faut vraiment être capable de gérer les risques qui peuvent être occasionnés par une mauvaise maîtrise technologique : c’est ça l’aspect “robustesse”. Et ça inclut également cet aspect de répétabilité des algorithmes, c’est-à-dire vraiment être capable de reproduire un résultat, et pas seulement de le déployer dans une seule situation sans que ce soit réplicable dans des situations comparables. Effectivement ça peut générer des situations avec des résultats différents, alors qu’ils devraient être comparables et similaires. En d’autres termes, ça peut générer des discriminations ou des inégalités qui ne sont pas intentionnelles.

Il faut vraiment être capable de gérer les risques qui peuvent être occasionnés par une mauvaise maîtrise technologique : c’est ça l’aspect “robustesse”

Comment percevez-vous ce tournant majeur pour la filière ?

Il y a ce qu’on appelle les early adopters, ceux qui ont vraiment embrassé cette nouvelle technologie au vu de ses promesses, mais qui aujourd’hui se rendent compte que, quand même, il faut rester vigilant, qu’il n’y a pas de baguette magique en appliquant l’IA. Donc je dirais que c’est plutôt un signe de maturité de l’IA, de ses utilisateurs et de ses développeurs, de tous ses stakeholders finalement, que de faire attention à la manière de la déployer, de donner du sens à ses conditions de déploiement et ses conditions d'apprentissage. En d’autres termes, ça se traduit aussi par faire attention aux données qui vont servir à l’apprentissage, qui vont servir à rendre cette machine intelligente parce que, effectivement, avant qu’elle se “transforme” en intelligence artificielle, il faut d’abord l’“éduquer”. Et donc là les données d’apprentissage sont un enjeu très important parce qu’il est essentiel de veiller à la représentativité des apprentissages, du problème que l’on veut résoudre, autrement on peut construire un modèle qui se trompe complètement de cible. Donc les données d’apprentissage sont un enjeu extrêmement sensible dont le résultat final dépend.

Donc quelque part, c’est l’évolution logique de l’intelligence artificielle que de renforcer la notion de confiance? Absolument, c’est le sens de l’histoire. Encore une fois c’est un signe de maturité, mais aussi la garantie de durabilité du déploiement de l’IA. Parce que s’il n’y a pas cette Intelligence Artificielle de confiance, l’IA pourrait décevoir et son développement pourrait décliner à cause de cette déception que peuvent subir les utilisateurs de ces technologies. Donc développer une IA de confiance, c’est une garantie de durabilité de son déploiement et de son développement.

Développer une IA de confiance, c’est une garantie de durabilité de son déploiement et de son développement.

L’Union européenne vient de dévoiler 7 principes pour le développement éthique de l’intelligence artificielle : quelle est votre lecture de ces propositions ? Sont-elles pertinentes ? Suffisantes ?

J’ai été vice-chair de ce groupe européen, donc j’ai dû orienter la structuration de ce livrable, et d’ailleurs le titre parle d’IA de confiance, de “ trustworthy AI ”. J’ai participé à la mise en place de ces recommandations, de ces requirements, qui sont en fait une façon de se prémunir et d’apporter les conditions, les garanties, qui pourraient préserver cette IA de confiance et lui permettre d’exister dans le monde professionnel, pour le respect des valeurs humaines : faire attention au libre arbitre, ne pas influencer les opinions, garantir la liberté de choix des humains... En fait ce sont les conditions de cette IA de confiance, dont je parlais tout à l’heure en termes de robustesse technique et de sécurité par rapport aux personnes et aux différents dispositifs de déploiement de l’IA. Par exemple, quand on parle de transparence, effectivement il est essentiel de développer les moyens de cette transparence des approches de l’IA. Quand on parle de diversité, c’est le problème de la représentativité des données, d’éviter des biais où les minorités ne seraient pas représentées, dans les données d’apprentissage par exemple. Mais c’est également la capacité de rendre compte, l’accountability. Tout cela favorise une IA de confiance et une IA responsable.

2 / IA ET ETHIQUE : UN DESSEIN COLLECTIF

Dans cette logique de favoriser une IA de confiance, quels défis est-ce que cela pose aux entreprises, aux producteurs de services numériques et aux gouvernements ?

Je dirais qu’il y a d’abord la question de gouvernance des données : c’est quelque chose qui n’est pas simple, et on le voit aujourd’hui en Europe avec le RGPD, aux États-Unis avec le Cloud Act et donc ce n’est pas forcément très compatible, en tout cas d’un point de vue gouvernemental. A priori les gouvernements sont les garants d’une équité en termes d’usage des données, mais je pense que ce contrôle d’usage des données est essentiel par des moyens pas seulement de régulation et de réglementation, mais aussi par des moyens techniques. D’ailleurs quand je parle de transparence, d’observation des flux de données, on peut disposer de moyens technologiques pour tracer justement le flux d’informations, le flux de données entrantes et sortantes. Donc il faut des moyens à la fois techniques mais aussi de régulation des flux de données, parce que les algorithmes aujourd’hui, ce n’est pas là où se trouve le problème dans la mesure où il y a énormément de librairies open source, d’apprentissage, de machine learning , mais ce sont les données qui font la différence.

Sur cette question des données, pensez-vous que ce serait aussi la responsabilité des producteurs de services numériques de s’engager à leur protection ?

Alors je dirais que ce n’est pas seulement une question de protection des données, car il y a suffisamment de lois à travers le monde, pas seulement en Europe, pour la protection des données, mais c’est plutôt le contrôle d’usage des données utilisées. Est-ce que ce sont les bonnes données qui sont utilisées ? Est-ce que c’est le bon traitement des données qui est opéré ? Quel est l’usage qui se fait des données traitées ? Donc c’est moins la protection que la traçabilité de l’ensemble du processus. C’est d’ailleurs ce principe de traçabilité que j’essaie de pousser à travers non seulement le groupe européen High Level Expert Group en IA, mais aussi dans le groupe de l’OCDE qui a travaillé sur les mêmes problématiques et les mêmes principes d’une IA de confiance. Aujourd’hui énormément de voix se lèvent pour dire qu’il faut plus de régulation de l’IA, des algorithmes, mais en fait je ne pense pas que c’est salutaire de rajouter une réglementation dans le domaine de l’IA. Ce n’est pas la bonne orientation, je dirais. Mais par contre, il faudrait favoriser plutôt d’un point de vue technologique une traçabilité de l’ensemble des process dans un système ou une architecture qui déploie des technologies IA. La traçabilité est essentielle : elle garantit, le jour où se pose un problème, de pouvoir récupérer les informations qui expliqueraient quelles données ont été utilisées, comment elles ont été traitées et comment elles ont été ensuite utilisées, c’est-à-dire comment la sortie du système a été déployée. Si les industriels adhèrent à ce principe de traçabilité, on n’a pas besoin de régulation parce qu’un producteur de services, quand il s’engage à la traçabilité, va faire de l’autorégulation. Si quelqu’un est capable de tracer et de rendre compte - et c’est ça l’accountability - de ce qui s’est passé, on n’a pas besoin de lois supplémentaires

Vous parliez tout à l’heure de discrimination. En effet, l’asymétrie informationnelle entre les producteurs de services numériques et les consommateurs de ces services semble être au cœur de toutes les discussions… Quel modèle de gouvernance mettre en place pour limiter cette asymétrie ?

Typiquement, les 7 recommandations et principes de la Commission européenne mais aussi le document de l’OCDE, qui n’a pas encore été validé, vont dans la même direction : tout l’objectif est la réduction de cette asymétrie informationnelle. Quand on parle de transparence et de traçabilité c’est ça : le producteur de services fournit une information qui au départ n’est pas disponible au consommateur de services. En gros, on n’a pas cette traçabilité informationnelle, on n’a pas le revers de la médaille, je dirais, on ne sait pas comment un service nous a livré telle information, comment il nous a recommandé tel bien ou tel service, comment il a pris telle décision… On le sait, les domaines d’application de l’IA nombreux, tout comme ses impacts positifs sur l’économie et la société, que ce soit dans la santé, l’énergie, l’environnement, l’agriculture numérique, et j’en passe. Donc à tous les niveaux, surtout quand il s’agit de décisions critiques (santé, cybersécurité, défense, véhicules autonomes), on a besoin de cette symétrie informationnelle pour être sûrs de ce qu’on est en train de faire. En fait encore une fois, pour moi, l’asymétrie et la compensation de cette asymétrie en installant de la transparence, de la traçabilité et de la redevabilité, tout ça c’est pour œuvrer pour une IA de confiance, ça va de pair.

Quels leviers activer pour développer cette symétrie d’information, pour continuer ce travail et développer des systèmes d’IA explicables, responsables et impartiaux ?

D’une part, il faut développer des algorithmes et des méthodes qui vont nous permettre d'avoir ce contrôle d’usage des données, par exemple. Il faut développer aussi des algorithmes qui permettent l’audibilité des systèmes d’intelligence artificielle. Mais il y a également une troisième voie qui est celle de la conception par construction d’une IA responsable, qui respecte des valeurs. On peut avoir des algorithmes d’apprentissage supervisé où l’équité et la justice sont par construction dans le modèle en question. L’idée est de réduire l’impact des variables discriminatoires sur la prise de décision finale. Donc il y a aussi moyen de développer une nouvelle génération d’algorithmes qui inclut par construction ces principes dont on parle.

Avez-vous déjà aujourd’hui des retours d’expérience concrets sur ces sujets ?
Quelles bonnes pratiques pour participer à la mise en place d’une IA de confiance ?


Dans le domaine de la protection des données personnelles, c’est déjà un peu avancé avec la mise en place des méthodes d’information flow monitoring : il y a des méthodes dans cette communauté qui apportent des solutions à la traçabilité informationnelle des données, pour ce qui est de la protection des données personnelles. Maintenant, d’une manière plus générale, ce sont des choses à mettre en place, et d’ailleurs les recommandations de la Commission européenne proposent une liste d’évaluation, une assessment list, qui va probablement être déployée par secteur (santé, mobilité...). L’idée est d’engager un certain nombre d’acteurs industriels dans ces secteurs pour l’applicabilité, pour vérifier l'intérêt de cette liste d’évaluation, qui permet de vérifier si les recommandations et ces principes d’une IA de confiance sont vraiment mis en place ou pas. En fait il y a déjà une première étape de test de cette assessment list par les industriels qui va démarrer au mois de juin. L’idée est d’avoir cette liste mise à jour tous les ans. Tout ça pour dire que ce n’est pas encore très déployé de manière courante et standard dans les entreprises, mais ce sont des bonnes pratiques qui sont poussées par beaucoup d’acteurs, essentiellement la Commission européenne et l’OCDE.

Je donnerais l’exemple du domaine de la santé. Typiquement, cette question de l’IA de confiance et de l’IA robuste est essentielle. Que ce soit pour l’aide à la décision clinique ou pour le développement de nouveaux médicaments, il est essentiel d’avoir des technologies robustes, d’avoir un cadre d’évaluation des technologies mises en place, mais aussi de donner du sens à ce que l’on fait. Sinon, on pourrait générer des conclusions ou des recommandations de décisions infondées ou tout simplement se trompant de cible. Ce serait vraiment dommage, c’est ça qu’il faudrait vraiment éviter pour une adoption des technologies de l’IA qui sont clairement au bénéfice de l’humain.