L’Intelligence artificielle au service des systèmes critiques

20/10/2018
Publication REE REE 2018-4 Dossier L’IA et l’industrie
OAI : oai:www.see.asso.fr:1301:2018-4:23844
DOI :
contenu protégé  Document accessible sous conditions - vous devez vous connecter ou vous enregistrer pour accéder à ou acquérir ce document.
Prix : 10,00 € TVA 20,0% comprise (8,33 € hors TVA) - Accès libre pour les ayants-droit
se connecter (si vous disposez déjà d'un compte sur notre site) ou créer un compte pour commander ou s'inscrire.
 

Résumé

L’Intelligence artificielle au service des systèmes critiques

Métriques

2
0
298.2 Ko
 application/pdf
bitcache://dcc7794210531a0cde2e47a14dd5390063a26644

Licence

Creative Commons Aucune (Tous droits réservés)
<resource  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                xmlns="http://datacite.org/schema/kernel-4"
                xsi:schemaLocation="http://datacite.org/schema/kernel-4 http://schema.datacite.org/meta/kernel-4/metadata.xsd">
        <identifier identifierType="DOI">10.23723/1301:2018-4/23844</identifier><creators><creator><creatorName>Juliette Mattioli</creatorName></creator><creator><creatorName>Christian Meyer</creatorName></creator></creators><titles>
            <title>L’Intelligence artificielle au service des systèmes critiques</title></titles>
        <publisher>SEE</publisher>
        <publicationYear>2018</publicationYear>
        <resourceType resourceTypeGeneral="Text">Text</resourceType><dates>
	    <date dateType="Created">Sat 20 Oct 2018</date>
	    <date dateType="Updated">Sat 20 Oct 2018</date>
            <date dateType="Submitted">Tue 13 Nov 2018</date>
	</dates>
        <alternateIdentifiers>
	    <alternateIdentifier alternateIdentifierType="bitstream">dcc7794210531a0cde2e47a14dd5390063a26644</alternateIdentifier>
	</alternateIdentifiers>
        <formats>
	    <format>application/pdf</format>
	</formats>
	<version>39617</version>
        <descriptions>
            <description descriptionType="Abstract"></description>
        </descriptions>
    </resource>
.

112 ZREE N°4/2018 L’IA ET L’INDUSTRIE DOSSIER 2 Introduction Avec l’accroissement du volume des données à traiter, la disponibilité d’algo- rithmes de plus en plus sophistiqués et de puissances de calcul croissantes, l’in- telligence artificielle (IA) couplée à la science des données est devenue incon- tournable pour apporter une réelle valeur ajoutée dans de nombreux secteurs comme les transports, la santé, l’énergie, l’industrie, la logistique, la finance, le com- merce, ou encore la défense et la sécu- rité. Il devient ainsi possible de prédire, d’anticiper ou d’optimiser des comporte- ments ou des processus métiers, dotant un système ou une machine de capa- cité d’apprentissage, de raisonnement et de décision. De nombreuses applications sont aujourd’hui opérationnelles. Citons, la détection de comportements suspects dans des lieux publics grâce à la vidéosur- veillance ou dans le cadre de la cybersé- curité [1], l’assistance au diagnostic dans le secteur médical [2] [3], la lecture automa- tique de comptes-rendus d’opérateurs de maintenance complétée par la recom- mandation de prescription [4], le support à la résolution de problèmes complexes comme l’optimisation du trafic urbain [5], le véhicule autonome, etc. Cependant, si l’IA semble promise à un fort développement, il n’en demeure pas moins qu’un certain nombre de ver- rous freine son adoption en particulier dans les systèmes critiques, systèmes qui doivent par construction garantir des propriétés de sécurité et de sûreté mais aussi suivre des principes de confiance et de responsabilité. Criticité des systèmes Un système (industriel) critique est un système dont une défaillance peut avoir des conséquences dramatiques pour : s LESPERSONNES LASANTÏsafety critical); s LENVIRONNEMENTenvironment critical) que l’on peut, indirectement, rapporter aux personnes ; s LESBIENSETLESINFRASTRUCTURESmission critical) ; s LESACTIVITÏSbusiness critical). La criticité d’un système implique un niveau d’exigences quant à la tolérance à : s SESDÏFAILLANCESONPARLESOUVENTDE « tolérance aux pannes ») ; s SESIMPRÏCISIONSMANIPULATIONS INFOR- mations traitées ou remontées...). Autonomie des systèmes Parfois, l’exploitation de l’IA dans un système est censée lui apporter un cer- tain degré d’autonomie. On distingue plusieurs degrés d’autonomie pour les systèmes et le vocabulaire est parfois ambigu pour les identifier. Voici notre proposition de définitions : ssystème téléopéré : système dont toutes les actions élémentaires sont réalisées par un opérateur humain mais à distance (ex : voiture jouet télé- commandée, robot chirurgical dont les deux bras manipulent les instruments selon le mouvement des mains du chirurgien qui n’est pas présent dans la salle d’opération) ;   
  au service des systèmes critiques 0IWHqÁWHIP¸-%HIGSRÁERGI Juliette Mattioli1 , Christophe Meyer2 1 Artificial Intelligence Senior Expert Thales Research & Technology, 2 Artificial Intelligence Senior Expert, Artificial Intelligence & Data Science Lab Director Thales Secure Communications and Information Systems Combined with data science, Artificial Intelli- gence (AI) becomes a cornerstone to bring added value in various domains such as transportation and mobility, health, energy, industry, logistics, finance, sales and marketing, or defense and security. However, its deployment within critical systems, where validation and/or certification are mandatory, is raising real challenges. Thus, whether AI is data driven (as machine learning) or based on explicit models, or on hybridization of the two approaches, AI-based critical systems will have to satisfy, by design, the principles of xAI (eXplainable Artificial Intelligence), auditability, trust and responsibility. ABSTRACT L’intelligence artificielle (IA), couplée à la science des données, est devenue incontournable pour apporter une réelle valeur ajoutée dans de nombreux sec- teurs comme les transports et la mobilité, la santé, l’éner- gie, l’industrie, la logistique, la finance, le commerce et le marketing, ou encore la défense et la sécurité. Cependant son déploiement dans les systèmes critiques, dont la vali- dation voire la certification, constituent une condition incon- tournable à leur utilisation, soulève de vrais défis. Ainsi, qu’ils soient apprenants à partir de données, dirigés par des modèles explicites, ou hybridant les deux approches, les systèmes critiques à base d’IA devront satisfaire, par construction, des principes d’explicabilité, d’auditabilité, de confiance et de responsabilité. RÉSUMÉ REE N°4/2018 Z 113 L’Intelligence artificielle au service des systèmes critiques ssystème piloté : système dont les actions sont décidées et transmises par un opérateur humain à distance. D’éventuelles commandes non-élé- mentaires peuvent être utilisées (ex : se déplacer jusqu’à telle position) mais la réalisation en actions de bas niveau (ex : commandes sur les moteurs) est parfaitement déterministe. Aucune « liberté » décisionnelle ; ssystème semi-autonome (ou tech- niquement autonome) : système qui prend seul ses décisions d’action (sans intervention humaine extérieure, directe ou indirecte) mais qui respecte des conditions dans lesquelles s’opère la délégation par l’homme des décisions (« cadre d’emploi »). Il peut recevoir des missions d’un opérateur humain et s’or- ganise pour les accomplir ; s système totalement autonome (ou philosophiquement autonome) : sys- tème qui prend seul ses décisions d’actions et fixe ses propres règles. A l’extrême, il se fixe ses propres missions. Typiquement, les robots des romans d’Asimov, qui ont un haut niveau d’intelli- gence et d’autonomie, sont censés obéir aux trois lois de la robotique1 et peuvent être qualifiés de semi-autonomes ou de techniquement autonomes. Le terme autonome dans ce document fera réfé- rence à ce degré d’autonomie. Cependant, la complexité des sys- tèmes (semi-)autonomes, et dans cer- tains cas la non-prédictibilité de leurs mécanismes de décision, imposent de fournir des preuves de propriétés de sûreté et de sécurité pour autoriser un 1 Première loi : un robot ne peut porter atteinte à un être humain, ni, en restant passif, per- mettre qu’un être humain soit exposé au danger ; Deuxième loi : un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la pre- mière loi ; Troisième loi : un robot doit protéger son exis- tence tant que cette protection n’entre pas en conflit avec la première ou la deuxième loi. déploiement opérationnel. Or cette question de démonstration pour des systèmes à base d’IA reste aujourd’hui ouverte. Elle est partiellement abordée dans le domaine du véhicule autonome. En effet, il s’agit surtout d’étudier la sûreté de fonctionnement liée à des techno- logies spécifiques d’aide à la conduite sous la responsabilité de l’humain et sur des stratégies de test sur routes. Cepen- dant, de récents accidents2 montrent que les tests sur route notamment en ce qui concerne le véhicule autonome ne sont pas suffisants pour garantir les propriétés de sûreté du système. Il est en effet impossible de tester un sys- tème en couvrant toutes les variations de l’environnement réel et toutes les occurrences de situations possibles pour assurer un fonctionnement sûr du système. IA connexionniste et IA symbolique : vers une synergie prometteuse Depuis quelques années, les tech- niques d’apprentissage automatique (machine learning) sont à l’honneur, principalement l’apprentissage profond (deep learning). Cependant, on parle d’intelligence artificielle lorsqu’une machine imite des fonctions humaines telles que percevoir, apprendre, rai- sonner, décider, agir et dialoguer. La résolution de problèmes complexes caractérise aussi l’intelligence : il s’agit alors de concevoir des stratégies effi- caces d’exploration couplées à des heuristiques ou à des connaissances spécifiques du problème à résoudre. 2 Le 18 mars 2018, une piétonne traversant une route à vélo, de nuit, a été percutée par un véhicule autonome alors en phase de test. Celui-ci a bien détecté la piétonne mais il a décidé de ne pas freiner, décision induite par un défaut de configuration du logiciel du véhi- cule. Ce dernier n’aurait pas su faire la diffé- rence entre la piétonne et un « faux-positif ». Enfin, l’IA porte aussi sur : s LARECONNAISSANCEETLINTERPRÏTATIONDE données, ces dernières pouvant être de nature très variée, d’où la nécessité de traitements très différents (infor- mations symboliques, signaux tempo- rels, images, etc.) ; s LAIDEÌLADÏCISIONDONTLEBUTESTDAI- der un décideur dans les choix qu’il a à faire en présence d’informations impar- faites, c’est-à-dire pouvant être impré- cises, incomplètes, incertaines voire même contradictoires ; s LAPLANIlCATIONDACTIONSPERMETTANTDE définir précisément la suite d’actions élémentaires permettant de mener une tâche complexe ; s LAROBOTIQUEQUIINCLUTLESTROISPRÏCÏ- dentes et ajoute la problématique de l’incarnation (embodiment) qui réa- lise l’interaction entre la physique (les capteurs, les actuateurs, l’environne- ment...) et l’intelligence (raisonnement, planification, sélection de l’action...) ; s LEDIALOGUECOOPÏRATIFINCLUANTLACOM- préhension du langage naturel qu’il soit écrit ou parlé, sans oublier la génération. Les deux faces de l’IA Ainsi pour pouvoir doter de capaci- tés d’intelligence un système artificiel, qu’il soit critique ou non, deux grandes approches (figure 1) sont possibles et sont à la base des systèmes actuels : sl’intelligence artificielle symbolique appelée GOFAI pour Good Old Fashion AI, qui a vu depuis 40 ans l’explosion des systèmes à base de règles. Elle vise à donner à une machine la capacité à conduire des raisonnements proches (voire supérieurs) à ceux des humains, à identifier et générer des causalités, mais aussi à générer des explications ; s l’intelligence connexionniste qui ne cesse de progresser depuis 20 ans avec l’utilisation de l’apprentissage automa- tisé (machine learning) et des réseaux de neurones, incluant le deep learning, variante plus complexe des réseaux neu- 114 ZREE N°4/2018 L’IA ET L’INDUSTRIE DOSSIER 2 ronaux. Ainsi, cette IA repose sur l’idée que le monde est compositionnel et cherche donc, en s’inspirant du modèle du cerveau humain, à retrouver ce monde à partir d’exemples d’informations. Rappelons qu’aujourd’hui, cette der- nière approche est la plus médiatique et correspond à l’IA dirigée par les don- nées, encore appelée par la commu- nauté « IA numérique ». L’intelligence artificielle connexionniste L’implémentation informatique des réseaux de neurones, en développant des « programmes » s’inspirant des connais- Figure 2: Parallèle entre biologie et informatique pour la programmation des réseaux de neurones. IA Symbolique IA connexionniste Figure 1: Les deux grandes approches de l'IA : l'IA symbolique et l'IA connexionniste. REE N°4/2018 Z 115 L’Intelligence artificielle au service des systèmes critiques sances du fonctionnement du cerveau humain, est dite « bioinspirée ». La figure 2 illustre le parallèle établi entre la biologie et l’informatique pour la programmation de réseaux de neurones. Un neurone formel reçoit des entrées x1 , ..., xi , ..., xn . Le potentiel d’activation du neurone j est défini comme la somme pondérée des entrées (les poids sont les coefficients synaptiques wij correspon- dantauxliaisonsexcitatricesdesneurones qui lui sont connectés en « entrée »). La sortie oj du neurone est alors calculée en fonction du seuil d’activation ej , elle vaut zéro si la somme pondérée est inférieure à ej , 1 sinon). Évidemment, il s’agit là de la version élémentaire des neurones for- mels. La fonction de transfert peut être plus complexe que la somme pondé- rée, la fonction d’activation peut être plus sophistiquée qu’une fonction à seuil, un neurone peut potentiellement être relié à lui-même (boucle de rétroaction), etc. Il suffit ensuite d’associer plusieurs neu- rones (formels) pour établir un réseau de neurones. On distingue plusieurs types de réseaux suivant la façon dont les neu- rones sont connectés entre eux : s RÏSEAUXPARTIELLEMENTCONNECTÏSCHAQUE neurone est relié à quelques neurones ; s RÏSEAUX Ì CONNEXIONS COMPLÒTES  chaque neurone est lié à tous les autres neurones ; s RÏSEAUXÌCOUCHESTOUSLESNEURONES d’une couche sont connectés à tous les neurones des couches en amont et en aval et les liens d’activation sont orientés de l’amont vers l’aval unique- ment depuis la couche d’entrée jusqu’à la couche de sortie (les couches inter- médiaires sont dites « cachées » (hid- den layers). L’apprentissage d’un réseau de neu- rones consiste à l’entraîner par essai/ erreur à réaliser une certaine tâche. Par apprentissage, il est possible de modifier : s LESCOEFlCIENTSSYNAPTIQUESLESPOIDS des connexions entre les neurones) ; s LARCHITECTUREDURÏSEAUTOPOLOGIE  sLESFONCTIONSDETRANSFERTDESNEURONES En général, c’est uniquement le pre- mier type de modifications qu’on réalise (ajustement des coefficients synap- tiques), l’architecture et les fonctions de transfert étant fixées a priori. McCulloch a établi que lorsqu’un neurone réel i est relié directement à un autre neurone j, il existe toujours égale- ment une liaison, soit directe soit indi- recte, de j vers i. C’est cette liaison qui est utilisée pour rétropropager une informa- tion aux neurones sur les conséquences de leurs activations des neurones aux- quels ils sont reliés. Pour les neurones formels, la méthode dite de « rétropro- pagation de l’erreur » est une technique d’apprentissage supervisé pour une tâche de classification. Si la réponse cal- culée par le réseau (couche de sortie) est différente de la réponse attendue (label de la donnée d’entrée), on modi- fie les poids synaptiques de manière à diminuer l’erreur commise par la cellule correspondant à la réponse. Le calcul de prise en compte de l’erreur est le même pour toutes les couches, mais celui du signal d’erreur diffère selon la couche. La méthode du gradient consiste à calculer les composantes du gradient de l’erreur dans l’espace des coeffi- cients synaptiques, puis à chaque étape à diminuer chaque coefficient synap- tique d’une quantité proportionnelle à la dérivée partielle correspondante de la fonction d’erreur. Le deep learning3 a permis de nom- breuses avancées considérables en IA depuis quelques années. Principale- 3 On parle d’apprentissage profond (deep lear- ning) lorsque le réseau de neurones corres- pondant contient de nombreuses couches pour l’extraction et la transformation des ca- ractéristiques des données d’entrée et opère à plusieurs niveaux de détail ou de représen- tation des données. A travers les différentes couches, on passe de paramètres de bas niveau à des paramètres de plus haut niveau, où les différents niveaux correspondent à dif- férents niveaux d’abstraction des données. ment dans les domaines liés au traite- ment du signal (reconnaissance des formes, de la parole...) mais pas seu- lement. D’une façon générale, le deep learning s’applique particulièrement bien lorsque : s LEPROBLÒMEESTDIFlCILEÌMODÏLISER s ON DISPOSE DE TRÒS NOMBREUSES données. En revanche, l’efficacité de la mise en œuvre dépendra beaucoup de l’exper- tise du praticien pour préparer les don- nées, définir l’architecture du réseau, définir la méthode d’entrainement, etc. Même lorsque l’opérateur a pris part à l’apprentissage d’un réseau de neu- rones (par exemple, s’il a labélisé toutes les données d’apprentissage pour un apprentissage supervisé ou certaines d’entre elles pour un apprentissage semi-supervisé – typiquement pour de l’apprentissage « actif » – ou bien s’il était l’origine directe des récompenses pour de l’apprentissage par renforcement), le formalisme de l’approche rend très dif- ficile voire impossible, même pour des réseaux relativement simples, l’interpré- tation directe de toute la « mécanique » de production d’une réponse d’un tel système par un opérateur humain. On parle de « boîtes noires » pour lesquelles l’opérateur humain sait introduire des données convenables et comprendre les réponses proposées mais ne peut pas appréhender directement la com- plexité des calculs/opérations ayant transformé les données d’entrée en celles de sortie. L’intelligence artificielle symbolique Aujourd’hui, même si l’IA connexion- niste a nettement pris le dessus, l’IA symbolique reste active. La conception de systèmes à base de connaissances capables de réaliser des fonctions de raisonnement symbolique constitue un domaine majeur en IA. De tels sys- tèmes nécessitent en particulier une 116 ZREE N°4/2018 L’IA ET L’INDUSTRIE DOSSIER 2 représentation adéquate des connais- sances utiles ainsi que des mécanismes efficaces de raisonnement pour déci- der, optimiser et/ou résoudre des pro- blèmes complexes. Faisant appel aux modèles et méthodes de la logique du premier ordre, dite calcul des prédicats, et du second ordre, l’IA symbolique a donné lieu aux systèmes à base de connais- sances, aux systèmes experts et à la programmation par contraintes. On peut aussi y associer la logique floue, même si elle présente la particularité d’être associable aussi bien à du raisonnement formel qu’à du machine learning. Ainsi, pour représenter et organiser la connaissance afin de pouvoir la partager ou l’utiliser dans des mécanismes de raisonnement, on peut s’appuyer sur : s DES REPRÏSENTATIONS LOGIQUES  TOUTE connaissance est ainsi représentée par une formule construite selon une syntaxe précise. Une base de connais- sances est alors constituée exclusi- vement d’un ensemble de formules décrivant le domaine sur lequel s’ap- pliquent des règles de raisonnement, comme dans le langage PROLOG ; s DES RÏSEAUX SÏMANTIQUES ISSUS DES travaux de psychologie cognitive sur l’organisation de la mémoire (méca- nismes d’association) et de traitement de la langue naturelle ; s DESONTOLOGIESQUICONSTITUENTENSOI un modèle de données représentatif d’un ensemble de concepts dans un domaine, ainsi que des relations entre ces concepts. On peut dire que « l’on- tologie est aux données ce que la gram- maire est au langage ». Aujourd’hui, elles sont développées pour partager des domaines de connaissance qui se chevauchent et peuvent être utilisées pour l’annotation de sources de don- nées multiples telles que les pages Web, les référentiels XML, les bases de données relationnelles, etc. C’est un moyen de fournir une compréhension commune de divers domaines ce qui permet d’avoir un certain degré d’inter- opérabilité entre des sources variées de données sémantiques ; s DESGRAPHESCONCEPTUELS INTRODUITSPAR John F. Sowa en 1984, ont été dévelop- pés pour résoudre le problème que ren- contraient les réseaux sémantiques pour représenter les hiérarchies multiples, c’est-à-dire l’appartenance d’un même concept à deux classes différentes. Ils permettent ainsi de formaliser la dif- férence entre les concepts individuels (instances), les concepts génériques, et les classes (types). Les mécanismes de raisonnement sont basés sur des opéra- tions de graphes, en particulier sur l’ho- momorphisme de graphes. Mais, par nature, l’IA symbolique exploite la manipulation de symboles. Ses opérations servent à répondre à des questions de logique formelle pour résoudre des problèmes associant des règles, faits et raisonnements. Ainsi, un système expert est conçu pour simu- ler les capacités d’un expert dans un domaine donné, en se basant sur une base de faits, une base de règles et un moteur d’inférence qui choisit les bonnes règles pour gérer des faits entrants afin de produire de nouveaux faits. La plu- part des systèmes experts reposent sur des mécanismes de logique formelle et utilisent le raisonnement déductif. L’in- férence, ou le raisonnement, repose sur des opérations de déduction à partir d’informations implicites. Ainsi, ce méca- nisme permet de créer des liens entre les informations afin d’en tirer une asser- tion, une conclusion ou une hypothèse. Elle fait appel à un ensemble de règles se basant sur un système de référence. Notons que l’inférence bayésienne est un raisonnement permettant de déduire la probabilité de survenance ou non d’un événement. On distingue cependant trois catégo- ries d’inférence, basées sur la manière dont les problèmes sont résolus : s LESMOTEURSDITSÌiCHAÔNAGEAVANTwQUI partent des faits et règles de la base de connaissance et tentent de s’appro- cher des faits recherchés par le pro- blème. Les règles sont utilisées dans le sens conditions vers conclusion ; s LESMOTEURSDITSÌiCHAÔNAGEARRIÒREw qui partent des faits recherchés par le problème et tentent par l’intermédiaire des règles, de remonter à des faits connus. Les règles sont utilisées dans le sens conclusion vers conditions ; s LESMOTEURSDITSÌiCHAÔNAGEMIXTEw qui utilisent une combinaison de ces deux approches chaînage avant et chaînage arrière. Pour la résolution de problèmes combinatoires complexes tels que les problèmes de planification, d’ordonnan- cement et d’allocation de ressources, la programmation par contraintes est une technique pertinente, appa- rue à la fin des années 1980. Celle- ci consiste à modéliser un problème par un ensemble de relations logiques (des contraintes) imposant des condi- tions sur l’instanciation possible d’un ensemble de variables définissant une solution du problème. Un solveur de contraintes calcule une solution en instanciant chacune des variables à une valeur satisfaisant simultanément toutes les contraintes. Les algorithmes de recherche de solution s’appuient généralement sur la propagation de contraintes, pour réduire le nombre de solutions candidates à explorer, ainsi que sur une recherche systématique parmi les différentes affectations pos- sibles de chacune des variables. De tels algorithmes garantissent de trou- ver une solution, quand elle existe, et permettent de prouver qu’il n’existe pas de solution à un problème s’ils n’ont pas trouvé de solution à la fin de la recherche exhaustive. Enfin, l’IA symbolique est souvent utilisée pour concevoir des systèmes d’aide à la décision. Rappelons qu’un REE N°4/2018 Z 117 L’Intelligence artificielle au service des systèmes critiques problème de décision consiste en un choix, ou un classement, entre plu- sieurs hypothèses mutuellement exclu- sives résultant d’un processus qui tient compte des connaissances que l’on a sur l’état du monde, des préférences et/ou de l’objectif à atteindre. Ces connaissances peuvent être empreintes d’incertitude et les préférences sont par nature nuancées. Ces systèmes se dis- tinguent des systèmes d’information dans la mesure où leur fonction pre- mière est de fournir non seulement l’in- formation, mais aussi donner un sens aux données, comprendre ce qu’elles expriment puis proposer de bonnes décisions ou construire des stratégies d’analyse des différentes hypothèses et d’en évaluer les conséquences. Ainsi, le choix d’une prise de décision n’est pas totalement arbitraire, il doit reposer sur une certaine rationalité. Un outil simple pouvant être mis en œuvre est alors l’arbre de décision, qui représente un ensemble de choix sous la forme gra- phique d’un arbre. Les différentes alter- natives sont alors les feuilles de l’arbre et sont atteintes en fonction de déci- sions prises à chaque étape. Cependant, la définition et l’utilisation d’un ou de plusieurs critères de sélec- tion sont nécessaires. Contrairement à la situation monocritère qui peut être résolue assez facilement, la décision multicritère nécessite des méthodes plus élaborées. Parmi les techniques utilisées citons : La méthode du What-if ou l’agrégation multi-critère. Cette der- nière consiste à évaluer globalement les différents candidats ou solutions propo- sées, à partir de la fusion des apprécia- tions partielles. Vers une hybridation des approches La principale difficulté de l’ap- proche symbolique est la modélisation des connaissances, par description du domaine et du raisonnement, qui s’ap- puie sur un travail approfondi avec des spécialistes du domaine concerné. C’est pourquoi, l’IA numérique peut servir à identifier des modèles présents dans les données, pouvant être exploités par des approches d’IA symbolique afin de construire un raisonnement, résoudre un problème complexe ou prendre une décision. Cependant, cette approche suscite un engouement renouvelé car elle permet d’expliquer les décisions, de générer de nouvelles connaissances intelligibles par l’humain, au-delà des données elles-mêmes. Les équipes les plus avancées en deep learning, telles que celles de Deep- Mind (acquise par Google en 2014) étu- dient des formes d’hybridation de ces approches. Typiquement, Murray Sha- nahan (professeur de robotique cogni- tive à l’Imperial College de Londres et Senior Research scientist à DeepMind) et son équipe travaillent sur le Deep Symbolic Reinforcement Learning [5] qui, par définition, tente d’exploiter le meilleur de l’approche symbolique, de l'apprentissage profond et de l’appren- tissage par renforcement. Les principales caractéristiques de cette approche hybride, établies dans le cas de son application par l’équipe de Murray Shanahan à un petit jeu de col- lecte/évitement, sont de : s DIMINUERLETEMPSDAPPRENTISSAGE s GÏNÏRERDESRÒGLESDEFONCTIONNEMENT symboliques compréhensibles par l’humain ; s BIENMIEUXiGÏNÏRALISERw C
Ì
DRÏA- liser l’apprentissage dans des envi- ronnements stéréotypés et l’exploiter dans des environnements aléatoires. Les grand défis de l’IA pour les systèmes critiques Qu’ils reposent sur des techniques d’apprentissage ou sur des approches plus symboliques, la conception de sys- tèmes critiques à base d’IA n’est pas neutre. Si un système d’IA exploité pour faire des recommandations sur le bon livre à acheter ou le bon film à regar- der se trompe, c’est éventuellement gênant mais ce n’est pas dramatique. Si un système d’IA dans un système cri- tique, tel que le pilotage automatique d’aéronefs ou la supervision d’une cen- trale nucléaire, devait se tromper, cela pourrait avoir des conséquences drama- tiques inacceptables. Les caractéristiques requises d’une IA pour les systèmes critiques, une « IA de confiance », sont : s l’explicabilité : l’IA doit être capable d’expliquer, de façon intelligible par un expert humain, les raisons de ses choix/recommandations même si elle manipule, dans son fonctionnement, des notions ou concepts qui échappent à la compréhension humaine ; s la correction : on doit pouvoir valider que l’IA fait ce qu’on attend d’elle, tout ce qu’on attend d’elle ; s la contrôlabilité : on doit pou- voir simultanément valider que l’IA fait uniquement ce qu’on attend d’elle, en restant dans son domaine d’application ; s la robustesse : l’IA peut avoir une capacité prédictive ou de généralisa- tion. Il est alors nécessaire d’évaluer sa propension à fournir des réponses cor- rectes lorsqu’elle est confrontée à des situations inconnues ; s la responsabilité : la responsabilité des différents intervenants : acteurs qui conçoivent, développent, entraînent, maintiennent, contrôlent voire utilisent l’IA, doit être établie. Le premier défi à relever est celui de l’explicabilité. Pour être acceptables ou légitimes, voire pour ne pas être écartés car jugés non pertinents, les résultats d’un algo- rithme d’IA doivent pouvoir être com- pris donc expliqués. Un avantage des approches symboliques est de permettre 118 ZREE N°4/2018 L’IA ET L’INDUSTRIE DOSSIER 2 de tracer le raisonnement. Mais même dans ce cas, il est nécessaire pour les usagers d’avoir une explication intelligible (explicabilité) plus que la traçabilité du raisonnement. En revanche, les approches con- nexionnistes s’apparentent aujourd’hui à des boîtes noires. Aussi, comprendre ces boîtes noires et garantir leur com- portement va devenir un enjeu majeur, en particulier pour l’insertion de com- posants d’IA dans des applications cri- tiques dans les domaines de la finance, la santé, le transport, l’aéronautique, la défense ou la sécurité. Le premier défi à relever est celui de l’explicabilité. Concernant les approches sym- boliques, l’explicabilité peut souvent découler simplement de la présenta- tion à l’humain des mécanismes mis en œuvre pour établir une décision du système. Par exemple, la présenta- tion des règles symboliques qui ont été déclenchées. Pour autant, lorsque de très nombreuses règles ont été déclen- chées, la présentation de l’ensemble peut être indigeste et il peut s’avérer nécessaire de n’exposer que les règles les plus pertinentes, celles qui ont eu un impact majeur dans la décision c.-à-d. celles qui, si elles n’avaient pas été déclenchées, auraient conduit à une décision radicalement différente, etc.. Déterminer l’ensemble des règles les plus pertinentes peut être un défi en soi… En ce qui concerne les approches connexionnistes, de nombreux travaux visent à exploiter les sous-ensembles de neurones les plus impliqués dans l’éta- blissement de la réponse du réseau. Typiquement, pour des réseaux convo- lutifs profonds qui sont principalement utilisés pour le traitement des images et fonctionnent comme des extracteurs de caractéristiques des images, il est possible de présenter à un humain les caractéristiques prépondérantes dans la réponse du réseau. C’est ce que pré- sente David Cunning dans le programme Explainable Artificial Intelligence (XAI) de la DARPA [7]. La figure 3 illustre cette approche : les « zones » ou sous-groupes de neurones les plus actifs lors de l’établissement que l’image en entrée représente un chat ont été identifiées comme « codant » pour les caractéristiques « a de la fourrure », « a des moustaches », etc. et il est alors possible de présenter directement ces caractéristiques identifiées à un humain, voire de présenter les représentations visuelles intermédiaires caractéristiques des couches cachées d’un tel réseau. Cette approche peut s’avérer effi- cace pour des systèmes d’identification (images, vidéos, sons…) qui reposent sur des réseaux convolutifs qui, intrinsè- quement, contiennent des représenta- tions internes de (sous-)caractéristiques « intelligibles », mais les applications des réseaux de neurones, l'apprentissage profond notamment, sont très variées et dépassent largement le cadre des tâches d’identification. Il existe un paradoxe inhérent au défi de l’explicabilité qui est reconnu par David Cunning lui-même : l’efficacité Figure 3: Principe général de « l’explainable AI » pour un réseau convolutif destiné à l’identification d’images (Source [7]). REE N°4/2018 Z 119 L’Intelligence artificielle au service des systèmes critiques ou la précision de certaines techniques est inversement proportionnelle à leur explicabilité. Par exemple, l’exploita- tion de systèmes à base de règles ou d’arbres de décision offre une bonne explicabilité, mais ces techniques se révèlent moins efficaces ou précises que l’apprentissage profond, qui donne de très bons résultats mais reste obs- cur sur son fonctionnement. L’hybridation des approches (sym- bolique/connexionniste) semble être la plus prometteuse pour relever le défi de l’explicabilité. Garantir la correction des algo- rithmes est le second défi De plus, la sûreté et la sécurité des sys- tèmes critiques à base d’IA nécessitent, de démontrer que les algorithmes sont « corrects », c’est-à-dire qu’ils font ce qu’on attend d’eux. Il est donc nécessaire de vérifier la conformité entre leurs spécifica- tions et leur comportement, autrement dit l’écart entre ce qu'ils sont supposés faire et ce qu'ils font réellement.. Certaines approches en IA symbolique comme la programmation par contraintes offrent, par construction, cette propriété de correction, mais il reste nécessaire de la démontrer dans les autres cas comme pour l’IA connexionniste. Sans oublier la robustesse et la contrôlabilité La robustesse est une propriété plus dure que la précision. En effet, un sys- tème non précis ne peut être robuste. Cependant, un système précis peut ne pas être robuste. C’est le cas d’un sys- tème à base d’apprentissage ayant appris par cœur les données d’appren- tissage qui se trompera dans ses déci- sions futures basées sur de nouvelles données. Ce phénomène est appelé overfitting (sur-apprentissage). Les méthodes d’estimation de robus- tesse les plus connues sont celles de validation croisée (cross-validation). La fiabilité de l’estimateur de robustesse est dépendante de la qualité et de la quantité disponible de situations de référence. De tels estimateurs peuvent servir à débusquer du bruit dans les situations de référence ou bien à confir- mer la quantité insuffisante de situa- tions de référence. Il est aussi nécessaire de prouver que les systèmes critiques sont contrô- lables, c.-à-d. qu’ils sont bien-fondés ou cohérents (on emploie aussi l’angli- cisme consistant) et que l’on peut prou- ver qu’ils ne font que ce qu’on l’attend d’eux. Dans le cas de systèmes critiques à base d’apprentissage continu, il est alors crucial de pouvoir démontrer que cette propriété est respectée. Il est parfois possible de garantir la contrôlabilité d’un système d’IA « auto- nome » dans des conditions particu- lières volontairement restrictives qu’on nomme son « cadre d’emploi », défini par : s LESFONCTIONSETMISSIONSDUSYSTÒME qui doivent être bornées dans le temps et l’espace ; s LES ACTIONS POSSIBLES AUTORISÏES DU système ; s LESCONDITIONSPRÏCISESETIDENTIlABLES par le système lui-même, de l’environ- nement dans lequel s’applique son autonomie (typiquement, les valeurs acceptables de ses données d’entrée). Ainsi, on peut imaginer qu’il sera pos- sible de garantir la contrôlabilité d’un véhicule autonome pour un trajet n’em- pruntant que des routes adaptées, par exemple sans dangers particuliers et instrumentées de balises, et unique- ment quand la météo est clémente (pas de pluie, de neige ou de verglas, par exemple). Typiquement, le pilote auto- matique des avions de ligne a un cadre d’emploi strict, il n’est activable qu’à cer- taines phases du vol, ni au décollage ni à l’atterrissage, s’il n’y a aucune panne majeure recensée et uniquement sous certaines conditions météorologiques. Notons toutefois que les pilotes auto- matiques actuels ne sont pas dotés de capacités d’apprentissage… Ils s’appa- rentent plus à des systèmes de contrôle (cybernétique) qu’à des systèmes d’IA. Les questions relatives aux pro- blèmes de robustesse et de consistance commencent à faire l’objet de travaux liés aux preuves formelles. Ces der- nières visent à apporter des garanties a priori sur la sûreté de fonctionnement d’un programme, contrairement aux méthodologies de validation par expéri- mentations directes qui visent à appor- ter des garanties a posteriori. Plusieurs approches sont possibles : de la pro- grammation par modèles (model chec- king), à la génération de code certifié (par exemple avec CompCert), en pas- sant par des langages intégrant direc- tement les mécaniques de preuves (comme le langage B), des solveurs logiques (SMT) ou de l’interprétation abstraite de programmes. La responsabilité D’un point de vue légal, la respon- sabilité, relève du champ de l’action humaine auquel n’appartient pas l’IA et dont elle est même, par nature, exclue. D’un point de vue éthique, même si des lois générales, telles que les lois de la robotique d’Asimov, peuvent être édic- tées pour les IA, leur interprétabilité rend la responsabilité « éthique » pro- fondément humaine. On doit toutefois pouvoir qualifier de « responsable » une IA développée, entraînée et exploitée de façon « responsable » par l’humain. Conclusion L’intelligence artificielle cherche à rendre un système informatique capable d’acquérir de l’information, de raisonner sur une situation complexe, de résoudre des problèmes combinatoires, de faire un diagnostic, de proposer une déci- sion, un plan d’action, d’expliquer et de communiquer les conclusions obte- 120 ZREE N°4/2018 L’IA ET L’INDUSTRIE DOSSIER 2 nues, de comprendre un texte ou un dialogue en langage naturel, de résu- mer, d’apprendre, de découvrir. Mais, de plus en plus de systèmes à base d’IA peuvent avoir un impact sur nos vies. Ceux-ci embarquent des algorithmes pour assister les diagnostics médicaux, pour identifier les comportements anor- maux dans une infrastructure critique, pour détecter des cyber-attaques... Les décisions publiques sont aussi concer- nées : lutte contre la fraude fiscale, attri- bution d’un logement social, affectation des élèves dans un établissement sco- laire ou des étudiants à une formation... Qu’ils reposent sur des techniques d’ap- prentissage ou sur des approches plus symboliques, la conception de ces algo- rithmes n’est pas neutre, l’impact des données considérées pour l’appren- tissage s’avère critique pour leur fonc- tionnement, leurs résultats ne sont pas forcément corrects et leurs perfor- mances évoluent au cours du temps, soit par leur capacité intrinsèque d’ap- prentissage, soit par l’évolution de leur environnement. En effet, ils mettent en œuvre, le plus souvent de manière opaque et parfois non maîtrisée, des critères de priorité, de préférence des critères de classement, qui ne sont généralement pas connus des per- sonnes concernées, voire dans certains cas des concepteurs ou des utilisateurs de ces solutions. Cette opacité peut aussi masquer toutes sortes de dérives : discriminations, traitements déloyaux, manipulation, etc. Du point de vue de l’usager, le véri- table besoin est d’avoir une explication intelligible (explicabilité) plus que la tra- çabilité du raisonnement. En effet, le fonctionnement de l’algorithme sous- jacent n’a que peu d’intérêt pour eux : il s’agit surtout d’obtenir une explication utile pour en comprendre voire interpré- ter les résultats. Par exemple, pour un médecin, il est nécessaire de mettre en exergue les symptômes identifiés jus- tifiant le diagnostic. Cependant, fournir ces explications n’est pas simple, surtout quand les algorithmes reposent sur l’ap- prentissage. Même leurs concepteurs, ne sont pas aujourd’hui en mesure d’analy- ser par quel raisonnement ils arrivent aux résultats. C’est “l’effet boîte noire”. Du point de vue des entreprises, des organisations, des pouvoirs publics et des usagers, comprendre ces boîtes noires et « garantir leur comportement » est devenu un enjeu majeur. En particulier, si on veut favoriser l’insertion de compo- sants d’IA pour des applications critiques, que ce soit pour la mobilité, la médecine, l’aéronautique , la défense et la sécurité. Références [1] Dilek, S., Çakir, H., & Aydin, M. (2015). Applications of artificial intelligence techniquestocombatingcybercrimes:A review. arXiv preprint arXiv:1502.03552. [2] Hamet, P., & Tremblay, J. (2017). Artificial intelligence in medicine. Metabolism, 69, S36-S40. [3] Galanopoulo, L. (2017). Des logiciels experts en diagnostic médical, N°3, Carnets de science CNRS, https:// lejournal.cnrs.fr/articles/des-logiciels- experts-en-diagnostic-medical. [4] ten Zeldam, S., de Jong, A., Loendersloot, R., & Tinga, T. (2018, July). Automated Failure Diagnosis in Aviation Maintenance Using eXplainable Artificial Intelligence (XAI). In PHM Society European Conference (Vol. 4, No. 1). [5] Gaciarz, M. (2016).Régulation de trafic urbain multimodal: une modélisation multi-agents (Doctoral dissertation, Université de Lyon). [6] Garnelo, M., Arulkumaran, K., & Shanahan, M. (2016). Towards deep symbolic reinforcement learning. arXiv preprint arXiv:1609.05518. [7] Gunning,D.(2017).Explainableartificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), https://www.darpa.mil/attachments/ XAIProgramUpdate.pdf. LES AUTEURS Juliette Mattioli a dé- buté sa carrière indus- trielle par une thèse en morphologie mathéma- tique à Thomson-CSF puis est devenue en 1993 ingénieur de recherche. Au fur et à mesure de ses promotions, elle a étendu son spectre de compétences de la computer vision à la fusion d’infor- mation, à l’aide à la décision et à l’optimisation. Depuis 2010, Juliette Mattioli travaille comme expert se- nior avec la direction technique du Groupe pour contribuer à la défi- nition de la stratégie en R&D pour l’aide à la décision et est active dans les comités de programme de conférences, d’instances nationales ou internationales (le G7 des inno- vateurs en 2017). Christophe Meyer est docteur en sciences co- gnitives et expert senior en intelligence artificielle à Thales. Il dirige les labo- ratoires de Data Science, d’intelli- gence artificielle et de simulation de l’activité Systèmes d’informa- tion et communication sécurisés de Thales. Il codirige le laboratoire CLEAR (Center for LEArning & data Retrieval), commun à Thales et au LIP6, unité mixte de recherche de Sorbonne Université et du CNRS.