Les réseaux de neurones. Présentation

27/08/2017
Publication REE REE 2006-8
OAI : oai:www.see.asso.fr:1301:2006-8:19674
DOI :

Résumé

Les réseaux de neurones. Présentation

Auteurs

Sur l’étude du processus d'écriture à la main. Approches classiques et non conventionnelles
Sur l’étude du processus d'écriture à la main. Approches classiques et non conventionnelles
Sur l’unicité de la réponse d’un réseau d’énergie électrique en régime de défauts
Optimisation multicritère par Pareto-optimalité de problèmes d’ordonnancement en tenant compte du coût de la production
Stabilités Comparées de Systèmes Non Linéaires et Linéarisés Basées sur une Description Redondante
Les réseaux de neurones. Application à la modélisation et à la commande des processus
Les réseaux de neurones. Classification
Les réseaux de neurones. Présentation
Stabilité et stabilisation de systèmes discrets à retard
Sur la commande par mode glissant d’un convertisseur multicellulaire série
Recherche automatique de l’architecture d’un réseau de neurones artificiels pour le credit scoring
Chiffrement Partiel des Images Basé sur la Synchronisation de Systèmes Hyperchaotiques en Temps Discret et la Transformée en Cosinus Discrète
Synthèse d’une Commande Stabilisante par Retour d’Etat de Systèmes Linéaires à Retard
Stratégies de Commande de Systèmes Manufacturiers à Contraintes de Temps Face aux Perturbations Temporelles
Etude de la Stabilité d’une Classe de Systèmes de Commande Floue de type Mamdani
Nouvelles conditions suffisantes de stabilisabilité de processus échantillonnés non linéaires
Modélisation multi-physiques d’un actionneur linéaire incrémental pour la motorisation d’une pousse-seringue
Performances comparées de méthodes de commandes par mode de glissement et par platitude d’un papillon motorisé
Etude des Incertitudes dans les Ateliers Manufacturiers à Contraintes de Temps
Modèles discrétisés du système d’écriture à la main par la transformation d’Euler et par RLS
Technique proposée pour le déchiffrage dans un système de transmission sécurisée
Stabilisation de systèmes à retard par un régulateur du premier ordre
Détermination d’attracteurs emboîtés pour les systèmes non linéaires
Modélisation par Réseaux de Petri d’une ligne de traitement de surfaces mono-robot/multi-produits
Domaine de stabilité indépendante du retard d'un système linéaire à commande retardée
Sur le credit scoring par les réseaux de neurones artificiels
Sur l'analyse et la synchronisation de systèmes chaotiques Chen
Comparaison entre les EP et les CF pour l’Optimisation des Systèmes Dynamiques Hybrides
2011-01 04-eSTA-V26.pdf
Algorithmes génétiques sequentiels pour la résolution de problèmes d’ordonnancement en industries agroalimentaires

Métriques

35
10
1.22 Mo
 application/pdf
bitcache://2acb52aeb0a5cb53aaa69ab29e01a4e690f3ddeb

Licence

Creative Commons Aucune (Tous droits réservés)
<resource  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                xmlns="http://datacite.org/schema/kernel-4"
                xsi:schemaLocation="http://datacite.org/schema/kernel-4 http://schema.datacite.org/meta/kernel-4/metadata.xsd">
        <identifier identifierType="DOI">10.23723/1301:2006-8/19674</identifier><creators><creator><creatorName>Mohamed Benrejeb</creatorName></creator><creator><creatorName>Pierre Borne</creatorName></creator></creators><titles>
            <title>Les réseaux de neurones. Présentation</title></titles>
        <publisher>SEE</publisher>
        <publicationYear>2017</publicationYear>
        <resourceType resourceTypeGeneral="Text">Text</resourceType><dates>
	    <date dateType="Created">Sun 27 Aug 2017</date>
	    <date dateType="Updated">Sun 27 Aug 2017</date>
            <date dateType="Submitted">Mon 10 Dec 2018</date>
	</dates>
        <alternateIdentifiers>
	    <alternateIdentifier alternateIdentifierType="bitstream">2acb52aeb0a5cb53aaa69ab29e01a4e690f3ddeb</alternateIdentifier>
	</alternateIdentifiers>
        <formats>
	    <format>application/pdf</format>
	</formats>
	<version>33433</version>
        <descriptions>
            <description descriptionType="Abstract"></description>
        </descriptions>
    </resource>
.

Dossier ./ DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (2l', partie) Les réseaux de neurones artificiels Les réseaux de neurones. Présentation M Pierre BORNE', Mohamed BENREJEB 1 1 Ecole Centrale de Li'lle 1, ENIT Tunisl'e (Ecole Natl'onale dingénieurs de Tunl*s) 1 Mots clés Réseauxneuro-mimétiques, Réseauxdeneurones artificiels, Perceptron, Réseauxmulticouches 1. Aspects historiques 1.1. Mac Culloch et Pitts Les méthodes connexionnistes ont été initialisées à l'ère de la cybernétique. L'objectif des chercheurs était de construire une machine capable de reproduire le plus fidèlement possible certains aspects de l'intelligence humaine. Dès 1943, Mac Culloch et Pitts ont proposé des neu- rones formels mimant les neurones biologiques et capa- bles de mémoriser des fonctions booléennes simples. Les réseaux de neurones artificiels réalisés à partir de ce type de neurones sont ainsi inspirés du système ner- veux. Ils sont conçus pour reproduire certaines caractéris- tiques des mémoires biologiques par le fait qu'ils sont : . massivement parallèles, . capables d'apprentissage, . capables de mémoriser l'information dans les connexions inter-neurones, . capables de traiter des informations incomplètes. 1.2. Neurone biologique Axone (i : D < : - : : > SynapseLJ Synpse Corps cellulaire\/Corps cci) u!airc - Le neurone biologique comprend : . le corps cellulaire, qui fait la somme des influx qui lui parviennent ; si cette somme dépasse un certain seuil, il envoie lui-même un influx par l'intermé- diaire de l'axone, . l'axone, qui permet de transmettre les signaux émis par le corps cellulaire aux autres neurones, . les dendrites, qui sont les récepteurs principaux du neurone, captant les signaux qui lui parviennent, . les synapses qui permettent au neurone de communi- quer avec tes autres, via les axones et les dendrites. 1.3. Neurone artificiel C'est l'élément de base du réseau de neurones artifi- ciels. Il réalise une fonctionfC) d'une sommation pondé- rée y des n + 1 signaux xo,xi,.... x,, qui lui parviennent : X IiIi xi itli -- ji-fy j- , ( 117 iî x Iii J7 .1 " = y ilixt / () z=f (v) Les coefficients de pondération wi s'appellent les poids synaptiques. Si Wi est positif : l'entrée Xi est excitatrice alors que si Wi est négatif, elle est inhibitrice. ESSENTIEL Les réseaux neuro-mimétiques, ou réseaux de neurones artifi- ciels, par leurs possibilités de calcul massivement parallèle et leursfacultésd'apprentissagepermettent de résoudredes problè- mes complexes et non nécessairement modélisables de façon explicite. Cet article donne une présentation du neurone formel, élément constitutif de base des réseauxde neurones artificiels, ainsi que de diverstypes de réseauxconnexionnistes. SYNOPSIS The neuromimetic networks, or artificial neuralnetworks, by their massively parallel computing possibilitiesand their learningcapa- bilities enable to solve complex problems non necessarily expli- citly modelisable. This paper gives a presentation of the formal neuron,constitutive element of artificialneuralnetworks and intro- duces varioustypes of connexionistnetworks. REE N,9 Octobre2006 1 . Dossier ./ DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (21 ", partie) Les réseaux de neurones artificiels Dans le neurone de Mac Cullochs et Pitts, la fonction d'ac- tivation f est du type tout ou rien à seuil prenant les valeurs 0 ou 1. Le seuil de déclenchement est en général provoqué par une entrée inhibitrice xo, parfois appelée biais. Les fonctions d'activation les plus utilisées sont les suivantes : . tout ou rien, . fonction signe, . plus ou moins à seuil, . fonction affine, . saturation, . sigmoïde, . fonction arctangente, . fonction radiale de base du type gaussien. 1.4. Couplage synaptique et apprentissage En 1949, Hebb a mis en évidence l'importance du couplage synaptique dans l'apprentissage par renforce- ment ou dégénérescence des liaisons interneuronales lors de l'interaction du cerveau avec le milieu extérieur. Le premier modèle opérationnel de réseau de neurones : le perceptron, inspiré du modèle visuel et capable d'ap- prentissage, a été proposé en 1958 par Rosenblatt. Les limites du perceptron monocouche du point de vue possibilité de classification ont été montrées en 1969 par les mathématiciens Minsky et Papert et il a fallu attendre de nouveaux travaux, en particulier ceux de Hopfield en 1982, pour réaliser des réseaux de neurones capables de résoudre des problèmes d'optimisation et ceux de Kohonen pour résoudre les problèmes de reconnaissance et de classification. Aujourd'hui, les réseaux de neurones ont de nombreuses applications dans des secteurs très variés : . traitement d'image : reconnaissance de caractères et de signatures, compression d'images, reconnais- sance de formes, cryptage, classification... . traitement du signal : filtrage, classification, identi- fication de sources, traitement de la parole... contrôle : commande de processus, diagnostic de pannes, contrôle qualité, robotique... . optimisation : planification, allocation de ressour- ces, tournées de véhicules, régulation de trafic, ges- tion, finance... . simulation : simulation boîte noire, prévision météo- rologique, recopie de modèles... 2. Le perceptron 2.1. Architecture et mise en équation Le perceptron comporte une couche d'entrée consti- tuée de n neurones élémentaires dont la fonction d'activa- tion est linéaire et une couche de sortie constituée d'un ou plusieurs neurones dont la fonction d'activation est en général du type plus ou moins, ou tout ou rien. " 11.1 7 (l Y-/1 ", u (D- r (l ib y i Y-/ t 3 - y- / l. 11. Y,/ Notant Wu le poids reliant le lme neurone de la couche d'entrée au ièmeneurone de la couche de sortie, il vient : Il = it,, xi + IV \' 1 1 Y, ii,. () IV, Zi -./' ou encore avec 3',',-+u 1't,i,= 1- it,11,, it7i,,....i 1,, 117 - x'=lx " x "...,X. Ici, wo correspond à l'entrée inhibitrice constante. Il est possible de décrire le perceptron sous la forme matricielle présentée dans la figure suivante : " S 1 Il'1 avec } 2.2. Fonctionnement Pour comprendre le fonctionnement du perceptron, 32 1 REE N'9 Octobre2006 prenons l'exemple du réseau ci-dessous avec 2 neurones dans la couche d'entrée et 5 neurones dans la couche de sortie : - .V, y/ , \'i f>--, -*cy- D -,) f f ilt ii) = 0 i, =Yll " I.,./ Il V i = 1, 2,..., 5 Si les vecteurs poids sont de même module : 1 , T 111, i. = 1 " 'i = 1, 2,....5 y ; représente le produit scalaire de w, par je, qui corres- pond dans ce cas à la projection de x sur w,. Le produit scalaire est maximum pour le vecteur poids Wi qui est le plus proche de l'entrée x. 1 f, 1 1 1 li " 1 f 1 1 1 1 w - - - - - i -- - 1 1 l, i i i i IV,3 1 En associant la valeur 1 à la sortie z ; M du neurone iMPour lequel y ; prend la plus grande valeur Yi = YiMet la valeur 0 aux autres, il s'effectue une classification des positions des vecteurs d'entrée selon leur appartenance à l'une des cinq zones définies à partir des vecteurs poids w,. Avec l'ajout de la fonction d'apprentissage, supervisé ou non, il est possible d'apprendre à ce réseau à faire de la classification. 3. Réseaux à couches 3.1. Réseau monocouche, présentation Dans le paragraphe précédent a déjà été présenté le perceptron qui comporte n + 1 entrées et m neurones de sortie. Wu représente le poids caractérisant la liaison de la jè,,,eentrée au i,,,e neurone de sortie et wio le poids asso- cié à l'action généralement inhibitrice caractérisée par l'entrée c/o = 1 : li = 1 1 l, il -Vi+ 1'l ", 0 = i t,11 v +tt " i ,'= [1, F . T - i = ffv + L'utilisation d'un automate linéaire à seuil sur la couche de sortie, dite de décision, permet de réaliser pour chaque neurone i une partition des vecteurs d'entrée en deux clas- ses dont la frontière est définie par l'hyperplan de dimen- sion n - 1 et d'équation : x + = 0 Le perceptron ne permet donc, ainsi qu'il l'a été souligné par Minsky et Papert, de séparer que des exemples linéai- rement séparables. Par exemple, il ne peut réaliser le ou exclusif (ou XOR). Les réseaux multicouches permettent de pallier à cette limitation. 3.2. Réseaux multicouches Dans ce cas, le réseau comporte en général au moins trois couches : une couche d'entrée, une ou plusieurs cou- che (s) cachée (s) et une couche de sortie, l'information circulant de l'entrée vers la sortie à travers la (les) cou- che (s) cachée (s). REE NI 9 Octobre2006 1 - = Dossier DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (21,11 partie) Les réseaux de neurones artificiels . Couche d'entrée Couche cachée ii, neurones 17, neurones Couche de sortie n, neurones Réseaii de neurones à trois cozrches. Les notations sont les suivantes J : sortie du neurone de la couche 1 (/) =/,) (1) (/')/ .. z''...,z 12 1 ?, 1 il (/) = v ( " 1), j Il 1/) i !/.) '.'il : poids liant lejè-e neurone de la couche 1 - 1 au ime neurone de la couche 1 l (l) () .il (*) : fonction d'activation du i,,,e neurone de la couchel z x = [XI'XI 1... X ", 1 fi, i - l' 11) (/- 1 it (iil) 7 ( + it,,'l, i'i i io il (i)/ (l- i =./ " (j i1) Les techniques d'apprentissage de ce type de réseau sont développées dans le deuxième article de ce dossier. En notant w (/) = illl,,, 1, i = il/1 i = 1, 2,..., nl+l 1 ? i 1 iti 1) = 1,Vli,... 1't " flT0 10 1 1 1 il (/)) - [ (1)) () @...) IT fl (7 i il vient la représentation matricielle : z (l) = f (ll (y (/)) (1+ 1 1) = w (/- 1) _ i) + (i- 1 1) .Y 1ti) Pour un réseau à trois couches, elle peut être schématisée comme suit : il i, -., zz 1 Exemple de réseau multicouche : réalisation du ou exclusif (XOR). La table de vérité relative à cette fonction logique est la suivante : x, \XI 0 1 o 0 1 1 1 0 Dans le plan, (XI,X2) elle définit quatre points Ml, M2, M3, et M4, relatifs aux quatre combinaisons possibles des valeurs des variables logiques Xl, et X2- M (0,1) - aM, i (tJ) -O --0----* IV1 m 4 (0, 0) ---> 0 (l'O) REE N'9 34 1 Octobre 2006 Un réseau à deux couches actives suffit pour traiter ce problème de réalisation de la fonction logique XOR, les fonctions d'activation étant du type signe pour la couche cachée et tout ou rien pour la couche de sortie. -VI (D .VI0 Il apparaît que z () est égal à 1 pour " X2 et à 0 dans le cas contraire. En effet, le premier neurone de la couche cachée isole le point MI et le deuxième le point M3. La couche de sortie réalise le ET logique des sorties des deux neurones de la couche cachée. i Y-., lilii jL. u - i : 7 1 ti, [ " = 2 -11 1 - r_ It Z, Z-1 il : l) = 1 j ;, il-,l -il _i ;) 1 -1 -1.5 Y, ) -- (l 1 1 Y- lil,= 1 'i ('i -i'i -l Il.,, =-l 1.5 1 15 I X, X, 1.5 -,) i) o 0.5 0.5 1 illi 1 " M O.J M 114 v M i (0,0 ; O 1 lvi 4 ivi4 (0.0) -,0 Couche cachée Couche cachéeCouche cachée Couche ctchée Neurone) Neurone 2 4. Réseaux à fonctions radiales de base Les réseaux à fonctions radiales de base sont usuelle- ment des réseaux à trois couches : . une couche d'entrée dont les neurones sont à fonc- tions d'activation linéaires, . une couche cachée dont les neurones sont à fonc- tions d'activation gaussiennes, . une couche de sortie dont les neurones sont à fonc- tion d'activation linéaire. il 1) i') -1 y À 71 Y-/-1 A Y-/- (. ; %, (1) ( ") z Il z - (y- : z (1) Y- -& 7 Y- I=C : 1 il il,iÀZÀ Dans cette écriture, CI est le centre de la fonction gaus- sienne et crj caractérise la dispersion. Ce type de réseau, dont l'apprentissage sera précisé dans l'article suivant, est principalement utilisé dans les problèmes de classification et de représentation de fonctions. 5. Réseaux de neurones récurrents Le cas général correspond aux réseaux pour lesquels le vecteur d'entrée -VE Rpeut être partitionné en q sous vecteurs Xi avec X = [_VT @ @VI T - 1,...,XII - 'l x ; E R " et III, = Il.. Les entrées xo ; sont les entrées externes, et les entrées xij,j ; e 0, sont obtenues par bouclage, r- - 1- ! _- ()- "'-OJ' En notant z " te neurone de la couche de sortie , il vient : X, il - Z " (t -.i) 1'i = 1, 2,.... ii,1 Notons R l'opérateur de retard, il vient par exemple pour un réseau avec une entrée externe et une sortie, le schéma suivant : R R R (1 + 1) v " (t) R R REE.RM MM" 9JNj Octobre2006 a 35 1 . Dossier DU TRAITEMENT NUMÉRIQUE À LA GESTION DES CONNAISSANCES DE NOUVELLES VOIES D'INVESTIGATION ? (2 " " partie) Les réseaux de neurones artificiels Les auteurs Pierre Borne est né en 1944, Après avoir obtenu une maîtrise de Physique en 1967, une maïtrise de mécanique, une maîtrise EEA (Electronique, Electrotechnique et Automatique) et une maîtrise MAF (Mathématiques et Applications Fondamentales) en 1968, il est titulaire du diplôme d'Ingénieur de l'Institut industriel Du Nord (IDN), du doctorat de troisième cycle en Automatique de l'Université de Lille en 1970 et du doctorat es Sciences Physiques de la même Université en 1976. Le Professeur Borne est auteur ou co-auteur de plus de 400 arti- cles dans des conférences nternationales Il est aussi auteur ou co-auteur de 17 livres d'automatique, d'un dictionnaire français- anglais anglais-français et co-éditeur de la « Concise Encyclopedia of Modelling and Simulation x publiée chez Pergamon Press. Il a été directeur du GDR Automatique puis du GDR MACS (Modélisation, Analyse et Conduite des Systèmes dynamiques) du CNRS de 2002 à 2005, Il est actuellement Professeur de Classe Exceptionnelle à l'Ecole Centrale de Lille et Directeur du Département dAutomatique et Informatique Industrielle. Ses activités concernent l'automatique et en particulier la commande, l'analyse et le pilotage des processus continus ou discrets avec mise en oeuvre des techniques de soft computing telles que la logique floue, les algorithmes génétiques et les réseaux de neurones, Il est membre du Conseil Natlonal des Universités (CNU). Membre Fellovv de IEEE depuis 1996, il a été Président de la Société IEEE/SMC en 2000 et 2001 En 1999 Il a été nommé Docteur Honoris Causa de l'Université de Moscou (Russie) et en 2006 Docteur Honoris Causa de l'Université de Waterloo (Canadal Elu Vice-Président de la Section française de IEEE en janvier 2002, il a créé la mëme année un chapitre français SMC de l'IEEE En France Il a été nommé Chevalier dans l'Ordre des Palmes Académiques en 1989 puis Officier dans le mëme ordre en 1999. Nommé de 2000 à 2006, Vice-Président de la Société française de l'Electricité, de l'Electronique et des Technologies de l'information et de ! a Communicaton (SEE). ii a été élu Président du Comité de Publication de la REE en 2004. En décembre 2002, Il a reçu la dis- tinction de membre Emérite de cette société en décembre 2002, Mohamed Benrejeb est né en 1950, Il a obtenu le diplôme d'Ingénieur de l'Institut industriel Du Nord ( ! DN.actuellement Ecole Centrale de Lille) en 1973, le Diplôme de Docteuringénieur en Automatique de l'Université des Sciences et de Technologie de Lille en 1976 et le Doctorat es Sciences Physiques de la même Université en 1980 Il est Professeur de l'Enseignement Supérieur à l'Ecole Nationale d'ingénieurs de Tunis et à l'Ecole Centrale de Lille. Ses activités de recherche et d'enseignement relèvent du domaine de l'automatique et portent sur la modélisation, l'analyse et la synthèse des systèmes continus certains ou incertains, par approches conventionnelles ou non conventionnelles, et concernent, plus récemment les systèmes discrets 36 1 REE N,9 Octobre 2006