Les réseaux de neurones. Analyse en composantes principales (ACP)

27/08/2017
Publication REE REE 2006-8
OAI : oai:www.see.asso.fr:1301:2006-8:19676
DOI :

Résumé

Les réseaux de neurones. Analyse en composantes principales (ACP)

Métriques

13
4
956.92 Ko
 application/pdf
bitcache://ae6f5800f85ea3af418a63066747a91585abf25e

Licence

Creative Commons Aucune (Tous droits réservés)
<resource  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                xmlns="http://datacite.org/schema/kernel-4"
                xsi:schemaLocation="http://datacite.org/schema/kernel-4 http://schema.datacite.org/meta/kernel-4/metadata.xsd">
        <identifier identifierType="DOI">10.23723/1301:2006-8/19676</identifier><creators><creator><creatorName>Joseph Y. Haggege</creatorName></creator></creators><titles>
            <title>Les réseaux de neurones. Analyse en composantes principales (ACP)</title></titles>
        <publisher>SEE</publisher>
        <publicationYear>2017</publicationYear>
        <resourceType resourceTypeGeneral="Text">Text</resourceType><dates>
	    <date dateType="Created">Sun 27 Aug 2017</date>
	    <date dateType="Updated">Sun 27 Aug 2017</date>
            <date dateType="Submitted">Tue 13 Nov 2018</date>
	</dates>
        <alternateIdentifiers>
	    <alternateIdentifier alternateIdentifierType="bitstream">ae6f5800f85ea3af418a63066747a91585abf25e</alternateIdentifier>
	</alternateIdentifiers>
        <formats>
	    <format>application/pdf</format>
	</formats>
	<version>33432</version>
        <descriptions>
            <description descriptionType="Abstract"></description>
        </descriptions>
    </resource>
.

Dossier / DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (21 ", partie) Les réseaux de neurones artificiels Les réseaux de neurones. Analyse en composantes principales (ACP) t Joseph Y. HAGGEGE ENIT Tunisie (Ecole Nationale d'Ingénieurs de Tunis) Mots clés Composantesprincipales, Extraction decaractéristiques, Perceptronmulticouche auto-associatif, Projectionnonlinéaire 1. Principe analytiques lorsqu'elle implique des procédures algorith- L'être humain est capable, à la simple observation miques. d'une scène, d'en faire une analyse quasi-instantanée et Les transformations analytiques associent à chaque élé- d'en extraire les informations utiles. Par contre, devant un ment de l'espace d'observation un élément de l'espace de tableau de valeurs numériques, il a du mal à en appréhen- projection. Par contre, les procédures algorithmiques éta- der les caractéristiques essentielles à moins qu'il soit pos- blissent des correspondances entre l'ensemble de l'espace sible de faire une représentation graphique de ces don- d'observation et l'ensemble de l'espace de projection. nées par des nuages de points dans un espace à deux ou à Les méthodes de projection sont, en fait, des cas particu- la rigueur trois dimensions. liers des méthodes de réduction de dimensionnalité. La L'analyse en composantes principales s'intéresse à la réduction à un espace de dimension deux permet un affi- recherche d'une représentation graphique, dans un espace chage sur écran graphique, permettant à l'opérateur de dimension m, d'observations définies dans un espace humain de percevoir et d'analyser la structure géométri- de dimension n en en conservant les caractéristiques que des données multidimensionnelles et facilitant ainsi essentielles. une classification interactive. L'approche envisagée consiste à faire une « projection » Le problème qui se pose est donc de réaliser une projec- de l'espace de dimension in dans un espace de dimension tion qui conserve et mette en évidence la structure et les (avec en général m 2). caractéristiques essentielles des observations. La fidélité Soit X - X 1, X2,.... XPI... 1 XP l'ensemble des P observa- des projections concernant la structure des données ana- tions et Y = Y], Y2,-.-, Yp,..., YP l'ensemble de leurs lysées doit être mesurée par un critère que l'on cherche à optimiser. projections : optimiser. " V/Ç e R R'l et notons cpla transformation qui assure cette projection 2. Analyse en composantes principales .Y/ -ici i Xi, Il s'agit d'une méthode statisti ue bien connue a ant des applications dans de nombreux domaines. Elle consiste à ki/2 T rechercher de nouveaux attributs combinaisons des attri-J k. vk1" Il ...., III buts originaux. En général, pour des raisons de commo- dité de représentation de la transformation, ces nouveaux attributs sont choisis orthogonaux. Une approche cou- Cette transformation peut être analytique lorsqu'elle fait rante consiste à réaliser des combinaisons linéaires dont appel à des fonctions linéaires ou non linéaires, ou non les pondérations sont ajustées afin de maximiser la dis- analytiques lorsqu'elle implique des procédures algorith- miques. Les transformations analytiques associent à chaque élé- ment de l'espace d'observation un élément de l'espace de projection. Par contre, les procédures algorithmiques éta- blissent des correspondances entre l'ensemble de l'espace d'observation et l'ensemble de l'espace de projection. Les méthodes de projection sont, en fait, des cas particu- liers des méthodes de réduction de dimensionnalité. La réduction à un espace de dimension deux permet un affi- chage sur écran graphique, permettant à l'opérateur humain de percevoir et d'analyser la structure géométri- que des données multidimensionnelles et facilitant ainsi une classification interactive. Le problème qui se pose est donc de réaliser une projec- tion qui conserve et mette en évidence la structure et les caractéristiques essentielles des observations. La fidélité des projections concernant la structure des données ana- lysées doit être mesurée par un critère que l'on cherche à optimiser. ,/, = [,7k i, "/ 2 1''*, Y = V (x Cette transformation peut être analytique lorsqu'elle fait appel à des fonctions linéaires ou non linéaires, ou non SSENTIEL Devant un ensemble de données numériques caractérisant un objet, il s'avère en général difficile d'en extraire les caractéristi- ques essentielles. Lanalyse en composantes principales par réseaux de neurones artificiels permet de résoudre ce type de problème. Elle permet également d'identifier les objets les plus prochesau sensde ces caractéristiquesprincipales. SYNOPSIS Facing a largeset of data characterizingan object, humans have usually great difficultiesto extract their main characteristics.The principalcomponent analysisby artificial neuralnetworks enables to solve such problems. It also enables to identify the closest objects with regardsto their main characteristics. REE N'9 Octobre2006 1 . Dossier DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (21 ", partie) Les réseaux de neurones artificiels persion des valeurs prises par ces nouveaux attributs sur l'ensemble des objets observés. Ces opérations étant réa- lisées, sont retenus en général pour la projection les deux nouveaux attributs les plus discriminants, c'est-à-dire assurant les plus grandes dispersions. D'un point de vue strictement mathématique, cette procé- dure revient à calculer les vecteurs propres associés aux valeurs propres maximales de la matrice de covariance 1 de l'ensemble des P observations : avec 1 Y- = - x x u p /1 p ., p 3. Réalisation d'un neurone pour extraire la composante principale L'architecture d'un tel neurone est représentée ci-dessous. Après avoir été centrées dans une première étape, les n composantes de l'observation sont reliées à un unique neurone de sortie à fonction d'activation linéaire. -) CI 1 'i 1 l i Y,/ il, W1 Il Il vient à l'instant t : it, (/) xi (1i L'apprentissage s'effectue à partir d'une généralisation de la règle de Hebb (règle de Oja). La nouvelle règle est définie par la relation suivante : Wi (t + 1) = 1171 (t) + 77 (t).V (t) (xi (t) -. " (t) il'i (t » le coefficient d'apprentissage devant vérifier les conditions : Iii 17 (t) Le terme en y (t) X j (t) correspond à la règle de Hebb et le terme négatif (- y2 (t) wl (t)) permet d'assurer la stabilité de la règle d'apprentissage. Avec cette règle, le vecteur poids w converge vers le vec- teur propre principal, c'est-à-dire le vecteur propre asso- cié à la plus grande valeur propre de la matrice de cova- riance L lorsque le rang t de l'itération tend vers l'infini. 44 1 REE NI 9 Octobre2006 4. Réseaux de neurones hiérarchiques Considérons, cette fois, le réseau avec n entrées et ni sorties : Y, V, Il1 : l. XI : e 1 Il vient les équations : Ii i,, (t) = y i,tii (1).,c, (/) i = 1, 2.... m qui peuvent être réécrites sous la forme condensée : i=1,2,.... iii La règle de Sanger qui est une généralisation de la règlet du paragraphe précédent conduit à l'algorithme d'actuali- sation : il,, (t+ 1) = t- (t) l " " i (t) 1 soit pour le vecteur poids relatif au ièmeneurone : (t 17 (t)) 7, (tt (t) lt,/ (t) Avec cet algorithme, les poids i, associés aux neurones de sortie tendent vers les vecteurs propres de la matrice de covariance 1 correspondant aux iii plus grandes valeurs propres classées dans l'ordre des valeurs décroissantes. 5. Réseau de neurones adaptatif Ce réseau, aussi appelé réseau APEX (Adaptive Principal EXtraction), met en oeuvre des connexions d'inhibition entre les neurones de la couche de sortie selon le schéma suivant : Y, C), x, 0 .V, 0 r1 4cy, " 1 .v) Les réseaux de neurones. Analyse en composantes principales (ACP) Les fonctions d'activation des neurones étant linéaires, les équations du réseau deviennent : i- ! ,Ili (t) = (t) j=1,2,.... iii 1-1 En notant pour i 2 à m : Y ; -I (t) = [ll (t), , (/), - -., J ",-l (t 1) 1r r Il, (t) = [I " i, (t) I " i- (t)]' Avec : VI (r) = 0, y) (t) = 0 ces équations admettent la représentation matricielle : ),i (t) = il'i'x (t) + vi',, (t) L'actualisation des divers poids s'effectue pour les connexions excitatrices selon une variante de la règle de Hebb généralisée : t'l (t + (t) + 17 (1 (t) x (t) - (t) itl (t » et les connexions inhibitrices sont actualisées selon une règle dite « anti-Hebb » : (+i) =. (- ( (,, (,) +,. ; (,) (,)) Comme pour l'algorithme précédent, lorsque t augmente, les poids Wi tendent vers les m vecteurs propres de la matrice de covariance, associés aux m plus grandes valeurs propres de cette matrice, placées dans l'ordre décroissant. La mise en oeuvre de cet algorithme montre que les poids (vi (i - 2,..., m) tendent vers zéro lorsque le nombre d'ité- rations augmente. 6. Méthodes de Projection Non Linéaire (PNL) Le plan de projection obtenu à partir des réseaux pré- cédemment présentés est celui des directions dans les- quelles les observations présentent les plus grandes dis- persions. Toutefois, il ne révèle pas nécessairement la structure locale des données, ni la séparation des classes. C'est pourquoi des algorithmes de projection non-linéaire ont été développés en vue de pallier à cet inconvénient. La méthode présentée ici est basée sur l'algorithme de Sammon. Considérons l'ensemble des P observations { X2,.... xp,.... xp définies sur R. L'idée de base de cet algorithme est de chercher l'ensemble des projections {,, Y2,.... yp,..., yp définies sur R "' (souvent m = 2) préservant au mieux les distances des observations initiales. Soient Xu et x, deux observations et Yu et Yv leurs projec- tions et notons d,,,, d (X,,, x,,) la distance entre , et xv et la distance entre leurs projections respectives. La structure est dite préservée si : di' = cl'i Vit et Vi, e 11, 2,.... Plln'ur. Si on prend pour d la distance euclidienne d cl,', s'expriment comme suit : i i r 11 Î l (111 Î'd'il " (xi, ; - X " t et L'algorithme de Sammon consiste à déterminer la projec- tion qui minimise la fonction d'erreur E PNL : EP,\i, = y (eli i, - d,, "\ 7I1'LI' " Y-., j / I

1 Il- -, - I. ; " 1Y-i i 1 , " f : *1 --,. = l Y-/Y-/ f JosephHaggègeest néen 1975àTunis,Tunisie.Il a obtenule Diplôme National d'ingénieuren Génie Electriquede l'Ecole Nationale d'Ingénieurs deTunis (ENIT)en 1998,puisleDoctoraten GénieElectriquede l'ENITen 2003.Il est actue ! ! ement Maître- Assistantà l'ENITSestravauxde rechercheportentsurla com- mandefloue,neuronaleet neuro-floueainsiquesurlaconception et l'implémentationdessystèmesembarqués. 46 1 REE W9 Octobre2006