Les réseaux de neurones - Réseaux de Hopfield

28/08/2017
Publication REE REE 2006-8
OAI : oai:www.see.asso.fr:1301:2006-8:19678
DOI :

Résumé

Les réseaux de neurones - Réseaux de Hopfield

Métriques

14
7
883.88 Ko
 application/pdf
bitcache://b78bea6438a9e301f0806505779fdd9012aca98b

Licence

Creative Commons Aucune (Tous droits réservés)
<resource  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                xmlns="http://datacite.org/schema/kernel-4"
                xsi:schemaLocation="http://datacite.org/schema/kernel-4 http://schema.datacite.org/meta/kernel-4/metadata.xsd">
        <identifier identifierType="DOI">10.23723/1301:2006-8/19678</identifier><creators><creator><creatorName>Joseph Y. Haggege</creatorName></creator></creators><titles>
            <title>Les réseaux de neurones - Réseaux de Hopfield</title></titles>
        <publisher>SEE</publisher>
        <publicationYear>2017</publicationYear>
        <resourceType resourceTypeGeneral="Text">Text</resourceType><dates>
	    <date dateType="Created">Mon 28 Aug 2017</date>
	    <date dateType="Updated">Mon 28 Aug 2017</date>
            <date dateType="Submitted">Tue 15 May 2018</date>
	</dates>
        <alternateIdentifiers>
	    <alternateIdentifier alternateIdentifierType="bitstream">b78bea6438a9e301f0806505779fdd9012aca98b</alternateIdentifier>
	</alternateIdentifiers>
        <formats>
	    <format>application/pdf</format>
	</formats>
	<version>33435</version>
        <descriptions>
            <description descriptionType="Abstract"></description>
        </descriptions>
    </resource>
.

- = Dossier DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (211, partie) Les réseaux de neurones artificiels Les réseaux de neurones Réseaux de Hopfield Joseph Y. HAGGEGE ENIT Tunisie (Ecole Nationale d'Ingénieurs de Tunis) Mots clés Réseaux de Hopfield, Identificationde patrons, Optimisation, Problème du voyageur de commerce 1. Structure Les réseaux de Hopfield sont essentiellement utilisés pour les problèmes d'identification de patrons et d'opti- misation. Le réseau de Hopfield de base est caractérisé par les points suivants : . c'est un réseau totalement connecté, en particulier les couches d'entrée et de sortie sont confondues ; . les connexions sont symétriques : w,y = wji et iln'y a pas de bouclage d'un neurone sur lui-même (w, " 0) afin d'éviter les risques d'instabilité ; . j'activation des neurones est asynchrone, un seul neu- rone étant activé à la fois et ce de façon aléatoire ; . les fonctions d'activation sont généralement de type signe :f (u) 1 si u : 0 0 etf (u) = -1si u < 0 ou de type tout ou rien ; . les entrées du réseau sont du type binaire xiE {-I ;+I ouxic 0,11 Vi. Pour l'exemple de réseau de Hopfield suivant : Xl 0- _vlo- ,0- - (D- t +1 ) ill, Y, 1 D ci ID - z ESSENTIEL SYNOPSIS Les réseaux de Hopfield sont des réseaux totalement connectés. Ilss'avèrentparticulièrementbien adaptés à larésolutiondes pro- blèmes d'identification,de reconnaissance et d'optimisation.Le paramétrage du réseau peut être,suivant les cas, déterminé par calculdirectou par apprentissage. Un exemple classique de mise en oeuvre des possibilitésd'opti- misation des réseaux de Hopfield est la résolutiondu problème du voyageur de commerce. The Hopfield networks are fully connected networks. They are especiallyefficientfor solving the identification,pattern recogni- tion and optimization problems. The parameterization of the net- work can be achieved either by directcomputing or by learning. A classical example of implementation of Hopfield networks for solvingoptimizationproblems istheTravelling Salesman Problem. 50 1 REE N'9 Octobre2006 vient : avec, en général : 1 = z/+ xi /I li =./' (.) ) = si glie) Dans certains cas, la fonction d'activation peut également être du type tout ou rien, du type saturation ou du type sigmoïde. Le réseau de Hopfield peut également être représenté sous la forme matricielle suivante : s z bi 1 7 2. Réseau de Hopfield discret. Utilisation en reconnaissance de patrons Dans ce cas, le réseau tend à minimiser une fonction d'énergie interne, notée EH, jusqu'à l'obtention d'un état stable correspondant au patron préalablement appris au réseau, le plus proche de l'entrée. Il est possible de choi- sir une telle fonction de la forme : Ell - 1 y y i i - Y, viz, 2 /i L'évolution du réseau tend à minimiser son énergie interne en changeant l'état de ses sorties, chaque change- ment n'étant stable que si son énergie interne diminue effectivement. Il vient, si le i èmeneurone est choisi pour l'actualisation à l'instant/+1 : : 7, (t + zi (/+ sigiie iltl./. + -v soit pour la variation d'énergie : AEI/= +x, (zi (t+ (t » soit pour la variation d'énergie : AE//= -. l', (t) 7, (t + 1) - Z (t » L'initialisation du réseau, avant mise en oeuvre de ['algo- rithme, s'effectue en faisant : Z.-.Y, V ;r L'algorithme d'apprentissage est basé sur la règle de Hebb prenant en compte les corrélations entre les sorties des divers neurones, et considérant un ensemble de p patrons Pk (k = t, 2,..., p) chacun de dimension n, il est possible de choisir les poids : fl Pi,, Pk, Siw - -: l Pk, Pk, si j -:f: i 0 si i = i La matrice poids W = {wiJ} peut également s'écrire w 1 - J/ - Y, Ilk llk'- -I Il 1=1 Il La mise en oeuvre du réseau s'effectue alors de la façon suivante : après avoir déterminé les poids wij en utilisant les P patrons Pk, le réseau est initialisé avec un vecteur x, ne correspondant pas à un patron connu z (0) x. Les divers neurones du réseau sont alors activés successi- vement de façon aléatoire jusqu'à convergence sur un état stable. Le changement d'état du neurone activé s'effectue natu- rellement : z.. = si +x o1 i " k'iizl + X, < 0 '/<' S) Le vecteur de sortie correspond alors au vecteur de la base d'apprentissage le plus proche de celui de l'entrée x. 3. Réseau de Hopfield récurrent 3.1. Premier type de réseau C'est un réseau récurrent à une seule couche permet- tant de réaliser les mêmes fonctions que le réseau de Hamming. 1- 1 - - - - -- --- -1 ijiiu(1, 1) + l) : f Il 1,1-f Dans cette écriture, k représente l'indice d'itération. L'initialisation s'effectue par : -- (0) = x N'9 REE MM N 9 Octobre2006 1 . Dossier DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (21 ", partie) Les réseaux de neurones artificiels Il vient pour la récurrence : (k + 1 sat (fVz (k) + it,,, Les poids sont à déterminer en fonction de l'objectif, la solution n'étant pas unique. 3.2. Deuxième type de réseau Dans le cas d'une utilisation en reconnaissance de for- mes avec un nombre p de patrons pk, il est intéressant de prendre une fonction d'activation définie comme suit. Notons 1(cr) la valeur de la fonction d'activation à l'instant t : i'l si u> 0 (t7) (07) Si a = 0 - 1 or< 0 L'apprentissage des poids s'effectue de façon semblable au cas statique, par exemple : =h.} =I.M- A-j le vecteur Pk représentant la kième forme à mémoriser. Il peut s'effectuer de façon incrémentale. En effet, pour mémoriser un p + 1) 1. èli7e patron p p+ 1, il suffit d'ajouter 0 (1) " 1 1 P/,-1 -) à la matrice de poids. De même pour désapprendre le patron p p il suffit de soustraire cette quantité à la matrice de poids. Le réseau fournit en sortie le patron le plus proche de l'entrée pré- sentée. 4. Réseaux de Hopfield dynamiques continus 4.1. Problème général Le réseau de Hopfield permet la résolution de problè- mes d'optimisation et en particulier d'optimisation com- binatoire tel le problème du voyageur de commerce. Considérons la fonction d'énergie El : = 1 -El1 2 X'Rx+,lx+ (5 oi à minimiser avec l'ensemble des contraintes : /Î./x-s'=0 i = 1, 2,...,/ r avec r = r r,, r ",...,r r étant un vecteur constant. Les contraintes peuvent s'exprimer sous la forme matricielle : E, =0 avec : 1 1- E, =- Y, (i*, y - 2 Il 1 FI'= - X'R',v +, " v + t5' J et avec les notations : Ir / .., 1 1=1 ,l=- siri Y-.., 1 ,I g= i i'su = L...,; Si 2 lccj La résolution du problème s'effectue en minimisant la fonction d'énergie : '-+/+ avec a, p, et y positifs, dans laquelle E3 représente une expression destinée à faciliter la convergence : 1 E, = - x-1 1) Y-., - 11 2 Il vient oùona E'='x'Tv + b'x + c- T aR + 13R'+ /1 b as, + Ps' b a,5 + P,5'c=ao+jJo' Le terme contenant c, n'apportant rien à l'optimisation, peut être supprimé et l'énergie à minimiser s'écrit : 1 E = -.VI Tv + 2 Le réseau de Hopfield permettant de minimiser cette énergie est caractérisé par xi (ui) avec xi : 5 Posons : !/= ! I,l ! è,...,UJIG2d dt Jx Si la fonction d'activation choisie s'écrit sous la forme : l . Z (i _ il vient : - expi - dfO=-.\') -.\') c) il. - z- W9 1 REE W9 52 Octobre2006 (IE/JE/Jx t/il v dE aE 1` c7x czi _ r x l c rt a_ aZ, t z Comme,E [0,l],i) vient : CIE cit < 0 L'énergie E est donc non croissante et décroissante tant que 0 < X, < 1. Elle converge donc vers un minimum local. En fait, le choix d'une fonction d'activation linéaire par morceaux ou monotone croissante atteignant les valeurs extrêmes 0 et 1 peut conduire à un résultat semblable, par exemple avec la fonction décrite figure suivante : sxi ÀL 1 ------- z 10 il, Il vient ' =- (Tx+b,) pour 0 : x, < 1 Vi dl \'i "'-i/l'-'-'- - -'l - dx.1 dt = 0 si TX + hi > 0 et xi = 0Gi (It i =0 si Tx+b,<0 et xi =1cft Le réseau de Hopfield peut alors être décrit selon le schéma suivant : 4.2. Problème du voyageur de commerce Un voyageur de commerce doit visiter n villes en pas- sant une seule fois par chaque ville et en minimisant la distance totale parcourue. Notons t,i (i - 1,2,.... n et x = 1,2,...,n) une grandeur égale à 1 si le voyageur visite la ville x à l'étape i et égale à 0 dans le cas contraire. représente la distance pour aller de la ville x à la ville y et il n'y a pas nécessairement symétrie, il peut y avoir d.v x dc.,. La distance totale parcourue peut, avec la convention si i I : i -1 n et si i = n:i +1- 7, s'écrire : =-ZZX (<.-.+...)I, » ae r_i+I m.w r_i 1 G t v tvc Les contraintes s'expriment comme suit : . chaque ville doit être visitée une seule fois : vi - 1 = 0 " x a . une seule ville est visitée à chaque étape : ,=0 V/ Cet ensemble de contraintes s'exprime globalement sous la forme : -=O La formulation de ce problème correspond bien au cas étudié au paragraphe précédent. Le réseau de Hopfield est constitué de n2 neurones. -1 ili > ib J T -é- 0 REE.N 9 Octobre2006 a 53 1 Dossier DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (21 " partie) Les réseaux de neurones artificiels Le schéma ci-dessous correspond à un exemple avec qua- tre villes à visiter. Ordre de la visite 1 2 3 4 Ville visitée oo@o00 () 0 000 () 0 () OO 1 J 2i 4 1 L'a u t e u r Joseoh Haaaèae est né en 1975 à Tunis.Tunisie. Il a obtenu leJoseph Haggège est né en 1975 à Tunis, Tunisie. Il a obtenu le Diplôme National d'Ingénieur en Génie Electrique de l'Ecole Nationale d'Ingénieurs deTunis (ENIT)en 1998,puis le Doctoraten Génie Electrique de l'ENIT en 2003. Il est actuellement Maître- Assistant à l'ENIT Ses travaux de recherche portent sur la com- mandefloue, neuronaleet neuro-floueainsi que sur laconception et l'implémentation des systèmes embarqués. 54 1 REE NI 9 Octobre2006