Application de la méthode Adaboost à la reconnaissance automatique de la parole

01/01/2011
Publication e-STA e-STA 2011-1
OAI : oai:www.see.asso.fr:545:2011-1:13453
DOI :

Résumé

Application de la méthode Adaboost à la reconnaissance automatique de la parole

Métriques

1345
8
313.43 Ko
 application/pdf
bitcache://2f5a5e75df4b1bcec687bafd6b0193c870e1257d

Licence

Creative Commons Aucune (Tous droits réservés)
<resource  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                xmlns="http://datacite.org/schema/kernel-4"
                xsi:schemaLocation="http://datacite.org/schema/kernel-4 http://schema.datacite.org/meta/kernel-4/metadata.xsd">
        <identifier identifierType="DOI">10.23723/545:2011-1/13453</identifier><creators><creator><creatorName>Noureddine Ellouze</creatorName></creator><creator><creatorName>Rimah Amami</creatorName></creator><creator><creatorName>Dorra Ben Ayed</creatorName></creator></creators><titles>
            <title>Application de la méthode Adaboost à la reconnaissance automatique de la parole</title></titles>
        <publisher>SEE</publisher>
        <publicationYear>2011</publicationYear>
        <resourceType resourceTypeGeneral="Text">Text</resourceType><dates>
	    <date dateType="Created">Sat 1 Jan 2011</date>
	    <date dateType="Updated">Mon 25 Jul 2016</date>
            <date dateType="Submitted">Wed 19 Sep 2018</date>
	</dates>
        <alternateIdentifiers>
	    <alternateIdentifier alternateIdentifierType="bitstream">2f5a5e75df4b1bcec687bafd6b0193c870e1257d</alternateIdentifier>
	</alternateIdentifiers>
        <formats>
	    <format>application/pdf</format>
	</formats>
	<version>22484</version>
        <descriptions>
            <description descriptionType="Abstract"></description>
        </descriptions>
    </resource>
.

Application de la Méthode Adaboost à la Reconnaissance Automatique de la Parole 1 Rimah Amami, 2 Dorra Ben Ayed, 3 Noureddine Ellouze Département de Génie Electrique, ENIT, Tunis, Tunisie 1 Rimah.amami@yahoo.fr, 2 Dorrainsat@yahoo.fr, 3 N.ellouze@enit.rnu.tn Abstract- Les méthodes du Boosting constituent une famille d’algorithmes d’apprentissage automatique qui construisent des modèles (de classification ou de régression) fondés sur la combinaison des échantillons d’apprentissage dits "faibles". La méthode Adaptative Boosting (Adaboost) est la méthode du Boosting la plus utilisée. Dans cet article, nous proposons une étude et une évaluation d’un ensemble d’algorithme de la méthode Adaboost dans un système de classification basé sur les arbres de décision binaire (CART) pour aborder la reconnaissance de la parole. Nous utilisons, pour nos expérimentations, les phrases SA1 et SA2 du dialecte DR1 du corpus de son TIMIT. Mots clés- Real Adaboost, Gentle Adaboost, Modest Adaboost, Arbre de decision CART, TIMIT, Validation croisée. I. INTRODUCTION Le processus de la reconnaissance automatique de la parole (RAP) se compose principalement de quatre phases élémentaires; Extraction des caractéristiques, L’apprentissage La modélisation et la décision finale (Figure1). Fig 1. Architecture d’système de la reconnaissance Vocale Dans la littérature, les recherches effectuées dans le domaine de la reconnaissance vocale affirment que dans un système de RAP, l’algorithme d’apprentissage constitue l’élément fondamental pour la robustesse du système. De ce fait, la performance d’un système de RAP dépend essentiellement de l’algorithme d’apprentissage utilisé pendant la phase de la classification. Ces dernières années, l’approche du Boosting a été appliqué dans le domaine de la RAP vu son aptitude à améliorer la performance des différents classifieurs. Les méthodes du Boosting constituent une famille d’algorithmes d’apprentissage automatique qui visent à rendre un système d’apprentissage dits "faibles" plus performant. Actuellement, Les méthodes du Boosting sont très étudiées. Elles permettent de combiner un ensemble d’ instances d’un classifieur donné considérées difficile à apprendre (faible), afin de forger un seul classifieur « fort » et d’ou améliorer la performance de l’algorithme d’apprentissage « faible ».Pour nos expérimentation, nous avons choisi CART (arbre de décision binaire) comme notre algorithme d’apprentissage. Adaboost est l’aolgorithme du Boosting le plus utilisé. Dans le but d’optimiser Adaboost, il y a eu l’apparition de plusieurs variantes de cette méthode telles que Real, Gentle Adaboost et modest Adaboost. Dans cet article, nous utilisons ces trois variantes d’Adaboost ainsi qu’un algorithme d’apprentissage basé sur l’arbre de décision binaire : CART (Classification And Regression Tree). Par la suite, nous évaluons la performance de chaque méthode à partir des taux d’erreur que notre modèle produit. Cet article est organisé de la manière suivante: La section 2, introduit les différents algorithmes du Boosting ; la section 3, décrit l’algorithme d’apprentissage utilisé. Enfin, en section 4 and 5, nous étudions les résultats que notre modèle génèrent en utilisant le corpus TIMIT. II. INTRODUCTION AU BOOSTING A. Définitions La méthode du Boosting a été inspiré de l’algorithme d’apprentissage Hedge (ß) [1]. Le principe du Boosting est de réutiliser un classifieurs plusieurs fois en attribuant aux instances d’apprentissage, à chaque fois, une pondération différente et puis combiner les résultats afin de trouver un seul classifieur « fort/très précis » [2]. B. L’approche Adaboost AdaBoost (Adaptive Boosting) est une méthode algorithmique connue dans le domaine de l’apprentissage. Cette méthode a été initialement conçue par Robert Schapire Extraction des caractéristiques Les Echantillons Algorithme d’apprentissage Décision Finale Reconnaissance de la parole e-STA copyright 2011 by see Volume 8, N°1, pp 53-60 et Yoav Freund en 1995 [1][3]. Cette approche est la dérivée la plus partiquée de la méthode du Bossting qui vise à stimuler la performance de l’algorithme d’apprentissage. Adaboost consiste à transformer, d’une manière efficace, un classifieur « faible » en un classifieur « fort » en réduisant les taux d’erreur. L’algorithme d’Adaboost, appelle à chaque itération, un algorithme d’apprentissage qui entraînent les instances à classifier. Par la suite, Adaboost définit une nouvelle distribution de probabilité pour les instances d’apprentissage en fonction des résultats de l’algorithme à l’itération précédente tout en augmentant le poids des instances qui ne sont pas correctement classées. A la fin, Adaboost combine les données faibles par un vote pondéré pour en déduire un classifieur fort. Dans cette optique, AdaBoost essaye, de trouver un classifieur optimal à partir de la combinaison d’un ensemble de données d’apprentissage faible. L’algorithme d’Adaboost est comme suit [4]. Etant donné: • S= ( ) ( )1 1, ,...., ,m mx y x y avec m l’ensemble des échantillons et { }1,...,iy Y k∈ = avec Y est l’ensemble des étiquettes. • L’algorithme d’apprentissage dits “faible” WeakLearner. • T est le nombre des itérations. Initialiser 1( )tD i m = . Faire pour 1,2,.....,t T= : 1. Appeler WeakLearner qui fournit la distribution Dt. 2. Calculer l’hypothèse: :th X Y→ . 3. Calculer l’erreur de: ( ) : ( ) t i i x t t i h x y h D iε = ≠ = ∑ (1) Si 1 2tε f Alors 1T t= − et sortir. 4. Définir (1 ) t t t εβ ε= − 5. Mise à jour de la distribution Dt : 1 ( )( ) ( ) 1 t t i it t t if h x yD i D i Z Sinon β + =⎧ = ×⎨ ⎩ (2) Avec Zt est un facteur de normalization. 6. L’ hypothèse finale: : ( ) 1 ( ) arg max log t fin t h x y t h x β= = ∑ . (3) Les fondateurs de cette méthode, Schapire et Freund, ont essayé tout au long de leurs travaux d’optimiser l’algorithme d’Adaboost d’où il y a eu l‟apparition de plusieurs variantes telles que Adaboost.M1, Adaboost.M2 Gentle Adaboost , etc. En effet, il existe plusieurs dérivés de l’approche Adaboost qui optimisent différemment la pondération (Wi). GML AdaBoost Matlab Toolbox est un ensemble de fonctions en Matlab qui implémente un ensemble d’algorithme de classification et du Boosting à savoir: Real AdaBoost, Gentle AdaBoost et Modest AdaBoost qui sont utilisés dans ce travail [5]. C. L’approche Real Adaboos Real AdaBoost a été mis en œuvre en 1999 par Freund and Schapire [6]. Real Adaboost est une amélioration de la méthode d’origine ou il faut ajouter une fonction qui mesure le degré de confiance en manipulant des données d’apprentissage soi-disant « faible ». La particularité de cette méthode réside dans la classe de probabilité estimée qui convertit les taux de logarithme en une valeur réel d’échelle [7]. Cette valeur est utilisée afin d’observer les contributions des sorties du modèle en question. De plus, Real Adaboost mesure la probabilité qu’une donnée d’apprentissage appartient à une classe donnée alors que Adaboost consiste, tout simplement, à classifier les données et calculer l’erreur pondérée. En générale, Real AdaBoost tend à minimiser e−yF(x) afin de mieux trouver la classification optimale générer par le modèle utilisé [4]. D’autre part, la méthode Real Adaboost accorde un taux de confiance aux classifieurs faible [8][9] qui transforme l’ensemble des instance X et la prédiction booléenne en un espace réelle R. L’algorithme est comme suit [10]. Etant donné: • ( ) ( )1 1, ,...., ,M MS x y x y= , avec  m l’ensemble des échantillons et ( ) { }, 1,1i ix y X∈ × − , est l’ensemble des étiquettes • L’algorithme d’apprentissage WeakLearner. • T est le nombre des itérations. • Initialiser la distribution 1( )tD i m = . Pour 1,2,.....,t T= : 1. Pour chaque instance faire: a. Partitionner X en un bloc séparé( ),M Mx y . b. Pour chaque distribution Dt calculer : , ,^ 1 ( , ) ( ) i j l i j i i x eX y W P x X y l D i − = ∈ = = ∑ . (4) avec 1l = ± c. Définir l’hypothèse h pour chaque Xj as:  1 1 1 , ( ) ln 2 j j W x X h x W ε ε + − ⎛ ⎞+ ∀ ∈ = ⎜ ⎟ +⎝ ⎠ (5) Avec ε une petite constante positive. e-STA copyright 2011 by see Volume 8, N°1, pp 53-60 2. Sélectionner e ht: min argmin t heH t heH Z Z h Z = =   3. Mise à jour de la distribution [ ]1( ) ( )exp ( )t t i t iD i D i y h x+ = − . (6) Et normalisation de Dt+1 . 4. L’hypothése finale H : 1 ( ) ( ) T t t H x sign h x b − ⎡ ⎤ = −⎢ ⎥ ⎣ ⎦ ∑ . (7) avec b est le seuil (par défaut=0). La fonction de confiance de est définie par : ( ) ( )x tt Conf x h x b= −∑ (8) Néanmoins, il a y eu l’apparition des nouvelles versions d’Adaboost qui leurs performances dépassent souvent Real Adaboost. Friedman and Al. [11] ont proposé une extension de cette approche appelée Gentle AdaBoost. D. L’approche Gentle Adaboost Gentle AdaBoost [11] est considérée comme autant une extension du Real adaboost. Cette approche est plus performante que Real adaboost étant donné sa stabilité et sa robustesse quand il s’agit des données bruitées et aux aberrants [5]. Gentle Adaboost minimise la fonction exponentielle de perte d’Adaboost en utilisant les étapes de Newton [7]. D’autre part, Gentle Adaboost est une variation de l’approche Real Adaboost qui stimule la performance de cette dernière en appliquant une régression par la méthode des moindres carrées pondérées. . En outre, Gentle Adaboost et Real adaboost ne normalisent pas l’ensemble des apprenants pondérés de la même manière, puisque la fonction de normalisation de Real adaboost est donnée par Fm(x)=Pw(y=1|x)-Pw(y=-1|x), alors que pour Gentle Adaboost, la mise à jour de la classe de probabilité pondérée est donnée par la fonction suivante : ( 1| )1 ( ) log 2 ( 1 | ) w m w P y x f x P y x = = = − [11]. L’algorithme du Gentle Adaboost est comme suit [12]. Etant donné: • Les poids 1 , 1,..,iW i N N = = et ( ) 0F x = 1. Faire pour 1,2,...,m M= . a. Estimer ( )mf x en utilisant les moindres carrées pondérées de y à x. b. Mise à jour de ( ) ( ) ( )mF x F x f x← + . c. Définir [ ]exp . ( )i i mW W yi f xi← − , avec i=1,2…,N puis normaliser 1i i W =∑ 2. L’hypothèse Finale: [ ] 1 ( ) ( ) M mm F x sign f x= ⎡ ⎤= ⎣ ⎦∑ (9) E. L’approche Modest Adaboost Modest AdaBoost [5] a été inspire par Vezhnevets et Al en 2005. Cette variation d’Adaboost vise a amélioré la généralisation des erreurs pendant la classification. Cette approche tend à donner des résultats meilleurs que ceux calculés par Gentle adaboost. Dans ce but, Vezhnevets et Al avaient utilisé une distribution inversée : 1w w= − . Cette distribution a permis, donc, de fournir aux données d’apprentissage correctement classifiées des poids élevés. L’algorithme de Modest Adaboost algorithm que A.Vezhnevets et Al ont proposé est comme suit[5]. Given: • S=( ) ( )1 1, ,...., ,N Nx y x y • Initialiser la distribution 0 1( )D i N = . 1. Pour 1,2,....,m M= et tant que 0 m ≠∫ . a. Entraîner l’algorithme d’apprentissage ( )mh x en utilisant la distribution ( )mD i  par la moindre carrée pondérée. b. Calculer la distribution inversée ( ) (1 ( ))m m mD i D i Z= − (10) c. Calculer: 1 ( ) ( 1 ( ))mm D mP x P y h x+ = =+ ∩ (11) 1 ( ) ( 1 ( ))m m mD P x P y h x − = = − ∩ (12) 1 ( ) ( 1 ( ))mm D mP x P y h x− = = − ∩ (13) 1 ( ) ( 1 ( ))m m mD P x P y h x − = = − ∩ (14) d. Définir:  1 11 1 ( ) ( (1 ) (1 ))( )m mm m mf x P P P P x + −+ − = − − − (15) e. Mise à jour de la distribution: 1 ( )exp( ( )) ( ) m i m i m m D i y f x D i Z + − = (16) 2. L’hypothèse finale: e-STA copyright 2011 by see Volume 8, N°1, pp 53-60 [ ]( )F x = 1 ( ) i M m i Sign f x = = ⎡ ⎤ ⎢ ⎥ ⎣ ⎦ ∑ (17) Par conséquent, Modest Adaboost, produit un ensemble d’erreur de classification plus faible que celui calculé par Real et Gentle Adaboost. Mais, à partir des résultats de plusieurs recherches dans ce domaine, nous pouvons constater que l’erreur d’apprentissage calculée par Modest Adaboost est plus élevée que celle de Gentle Adaboost. III. L’ALGORITHME D’APPRENTISSAGE: Arbre de classification (CARTs) Les Algorithmes d’apprentissage sont constitués d’un ensemble d’algorithme qui consiste à stimuler automatiquement un système donné. Ces algorithmes sont généralement utilisés pour la reconnaissance des forms et la prise de décision. Les algorithmes d’apprentissage sont employés dans des différentes applications telles que la classification, la détection, l’analyse etc. D’autre part, Les algorithmes d'apprentissage peuvent se catégoriser selon le mode d'apprentissage qu'ils emploient: Apprentissage supervisé, Apprentissage-non-supervisé etc. Dans cet article, nous nous intéressons uniquement par l’apprentissage supervisé. De ce fait, nous avons identifié l’arbre de classification et de régression (CARTs) comme notre algorithme d’apprentissage. GML AdaBoost Toolbox implémente l’arbre de classification et de regression (CARTs) ainsi que les approaches d’Adaboost précédemment définies [5]. Par ailleurs, CARTs est considéré comme un arbre binaire ({1,-1}) puisque chaque nœud ne peut avoir que deux fils (figure2). Le principe de l’algorithme de CART s’appuie sur l’indice de Gini (IG) pour la segmentation de l’arbre qui vise à construire les feuilles. Il faut, surtout, noter que plus l’indice de Gini est faible, plus le noeud est pur (tous les éléments du noeud appartiennent à la même classe). L’arbre de décision et de régression (CARTs) a été conçu par Leo Breiman [13][14]. Faux Vrai Faux Faux Vrai Fig 2. Exemple d’un CART. Le principe de cet algorithme consiste à partitionner d’une manière récursive l’ensemble d’entraînement suivant la méthode diviser pour mieux régénérer1 . En effet, l’algorithme fait une recherche minutieuse, pour chaque noeud, sur les attributs et les valeurs de la segmentation puis il sélectionne le regroupement binaire qui optimise le critère au nœud t [15]. La construction de l’arbre de décision binaire se fait, essentiellement, en itérant cinq étapes [16]. L’algorithme relatif s’appelle CART est comme suit: 1. Etablir pour chaque nœud toutes les divisions possibles. 2. Définir un critère de sélection de la meilleure division d'un nœud. 3. Définir une règle d'arrêt des segmentations de l'arbre afin de déclarer un nœud comme terminal 4. Affecter une valeur de la variable Y pour ces nœuds terminaux. 5. Estimer le risque d'erreur de prévision associé à cet arbre. IV. EXPERIMENTATIONS A. Corpus de données Dance ce travail, nous avons utilisé le dialecte DR1 (New England) du corpus TIMIT[17]. Nous avons choisi pour nos expérimentations les deux phrases SA1 et SA2 car dans nos travaux, nous avons procédé à une classification binaire. Il est important de noter que le dialecte DR1 vise à mettre l’accent sur la divergence de la prononciation des différents locuteurs [18][19]. La table I décrit la base de données utilisée pour notre système de reconnaissance. Table I. Système de reconnaissance des phrases (RCP) Phrase SA1 SA2 Locuteurs 14F+24M 14F+24M Codification 1 -1 Paramétrisation 12 MFCC, 12 MFCC+ 12 Delta, 12 MFCC+ 12 Delta+ 12 Delta-Delta B. Paramétrisation La première étape de notre système vise à numériser le signal entrant ce qui nous aboutie, par la suite, à réaliser l’analyse acoustique du signal de parole sur des fenêtres temporelles de courte durée. Néanmoins, parmi les types de paramètres vraiment pertinents et utilisables efficacement, nous trouvons les paramètres de l’analyse spectrale et éventuellement les paramètres prosodiques puisqu’ils sont respectivement corrélés à la forme du conduit vocal et à la source d’excitation de l’appareil de production de la parole. Dans ce travail, nous nous intéressons, principalement, aux paramètres cepstraux de types Mel Mel Frequency Cepstral (MFCC) et ses dérivées étant donné leurs fréquentes utilisations dans le domaine de la reconnaissance ainsi que leurs aptitudes à représenter les caractéristiques d’un signal et leurs robustesses (Table I). 1 Du latin Divide ut imperes, méthode de conception consistant à diviser un problème de grande taille en plusieurs sous-problèmes analogues, l‟étape de subdivision étant appliquée récursivement Y=-1 X5 >0 X2 >2.3 X1 >3 Y=-1 Y=1 Y=-1 X6 >2 e-STA copyright 2011 by see Volume 8, N°1, pp 53-60 Dans les systèmes actuels de reconnaissance les caractéristiques les plus utilisées sont, soit les paramètres cepstraux standards, soit des paramètres de type MFCC (Mel Frequency Cepstral Coefficients) qui sont, normalement, complétées par leurs paramètres variationnels respectifs qui caractérisent les variations des paramètres cepstraux dans les fenêtres proches de la fenêtre à court-terme courante. Les coefficients MFCCs [20], aussi nommés Mel Frequency Cepstral Coefficients, sont basés sur une échelle de perception, non linéaire, appelée Mel. En effet, l’étude des coefficients MFCC du signal permet d’extraire des caractéristiques de celui-ci autour de la Transformée de Fourrier (FFT) et de la Transformée en Cosinus Directe (DCT), convertis sur une échelle de Mel. Le principal avantage de cette méthode se réside dans le fait que les coefficients obtenus sont décorréllés. D’autre part, l’utilisation des dérivées du premier et du second ordre des MFCC (les DMFCC et DDMFCC) peuvent éventuellement améliorer et de renforcer les caractéristiques du signal vocal par la prise en compte des paramètres dynamiques: il s’agit de l’évolution temporelle de l’enveloppe spectrale. [21][22]. Les recherches empiriques prouvent que l’augmentation du nombre des paramètres améliore, nettement, la performance des systèmes de reconnaissance. C. Méthode de Décision • Validation par Base de Test L’idée de cette méthode est de diviser la base initiale en deux sous bases ; Une sous base d’apprentissage qui caractérisent 50% des données de base et une sous base de test qui regroupe les 50% de données restante. • Validation Croisée Cette méthode est employée afin de valider un modèle et estimer l’erreur réelle de ce dernier. Par conséquent, la technique de la validation croisée, estime la performance de chaque modèle en se basant sur la partie de données qui n’était pas utilisée lors de la construction de ce modèle (lors la phase de l’apprentissage). Les résultats calculés seront, par la suite, combinés dans le but de donner une estimation de la généralisation du modèle testé. [23] [24]. Ainsi, nous avons utilisé ces deux méthodes pour la classification de nos bases de données afin de mieux comparer, par la suite, la performance de chaque méthode. Le nombre d’itération a été fixé à T= 100 et nous avons défini K=5 groupes (folds) pour la méthode de la validation croisée. V. RESULTATS ET DISCUSSION Dans cette section, nous présentons les résultants de nos expérimentations selon les deux méthodes de validation. Notre travail a été réalisé sur Matlab 7.7 release 2008b en utilisant GML Adaboost Matlab Toolbox [16]. A. Application de l’approche Real Adaboost • Avec les Coefficients MFCC 0 10 20 30 40 50 60 70 80 90 100 0.35 0.4 0.45 0.5 0.55 0.6 0.65 Iterations Tauxd"erreur Real AdaBoost Fig 3. Evolution du taux d’erreur du système de RCP avec validation de la base de test. 0 10 20 30 40 50 60 70 80 90 100 0.2 0.25 0.3 0.35 0.4 0.45 Iterations Tauxd"erreur 5 Validation croisée Real AdaBoost Fig 4. Evolution du taux d’erreur du système de RCP avec validation croisée. D’après la figure 3, le meilleur taux de reconnaissance est généré à l’itération 22 de l’ordre de 66,67%. Le meilleur taux de reconnaissance du deuxième système (figure 4), est observé à l’itération 30 de l’ordre de 78%. • Avec Les Coefficients MFCC et Delta      0 10 20 30 40 50 60 70 80 90 100 0.2 0.22 0.24 0.26 0.28 0.3 0.32 0.34 0.36 0.38 0.4 Iterations Tauxd"erreur Real AdaBoost   Fig 5. Evolution du taux d’erreur du système de RCP avec validation de la base de test. 0 10 20 30 40 50 60 70 80 90 100 0.26 0.28 0.3 0.32 0.34 0.36 0.38 0.4 Iterations Tauxd"erreur 5 Validation croisée Real AdaBoost Fig 6. Evolution du taux d’erreur du système de RCP avec validation croisée e-STA copyright 2011 by see Volume 8, N°1, pp 53-60 D’après la figure 5, le meilleur taux de reconnaissance est obtenu à l’itération 36 de l’ordre de 77,78%. Alors que pour la deuxième méthode de validation, le meilleur taux de classification, est observé à l’itération 40 de l’ordre de 73,60%. • Avec Les Coefficients MFCC,Delta et Delta-Delta 0 10 20 30 40 50 60 70 80 90 100 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 Iterations Tauxd"erreur Real Adaboost AdaBoost Fig 7. Evolution du taux d’erreur du système de RCP avec validation de la base de test 0 10 20 30 40 50 60 70 80 90 100 0.1 0.15 0.2 0.25 0.3 0.35 Iterations Tauxd"erreur 5 Validation croisée Real AdaBoost Fig 8. Evolution du taux d’erreur du système de RCP avec validation croisée Les taux d’erreurs ont nettement diminués (voir figures 7 et 8). Les meilleurs taux sont observés à l’itération 2 de l’ordre de 88,89% pour le premier test et à l’itération 64 de l’ordre 87,88% pour le deuxième test. Il faut noter que la validation par base de test avec 36 coefficients (MFCC+Delta+ Delta- Delta) a donné de meilleur résultat. Cependant ce système se stabilise à partir de l’itération 83 avec un taux d’erreur, relativement, élevé par rapport à celui du deuxième système. B. Application de l’approche Gentle Adaboost • Avec Les Coefficients MFCC 0 10 20 30 40 50 60 70 80 90 100 0.36 0.38 0.4 0.42 0.44 0.46 0.48 0.5 Iterations Tauxd"erreur Gentle AdaBoost Fig 9. Evolution du taux d’erreur du système de RCP avec validation de la base de test D’après la figure 9, le meilleur taux de reconnaissance est généré à l’itération 61 de l’ordre de 63,89%. 0 10 20 30 40 50 60 70 80 90 100 0.3 0.32 0.34 0.36 0.38 0.4 Fig 10. Evolution du taux d’erreur du système de RCP avec validation croisée D’après la figure 10, le meilleur taux de classification est observé à l’itération 90 de l’ordre de 73, 66%. • Avec Les Coefficients MFCC et Delta 0 10 20 30 40 50 60 70 80 90 100 0.2 0.25 0.3 0.35 0.4 0.45 0.5 Iterations Tauxd"erreur Gentle AdaBoost Fig 11. Evolution du taux d’erreur du système de RCP avec validation de la base de test 0 10 20 30 40 50 60 70 80 90 100 0.2 0.25 0.3 0.35 0.4 0.45 Iterations Tauxd"erreur 5 Validation croisée Gentle AdaBoost Fig 12. Evolution du taux d’erreur du système de RCP avec validation croisée D’après les figures 11 et 12, le meilleur taux de reconnaissance est trouvé avec une validation par la base de test pour les 24 coefficients (83,33% à l’itération 66). • Avec Les Coefficients MFCC, Delta et Delta-Delta 0 10 20 30 40 50 60 70 80 90 100 0.1 0.12 0.14 0.16 0.18 0.2 0.22 0.24 0.26 0.28 0.3 Iterations Tauxd"erreur Gentle AdaBoost Fig 13. Evolution du taux d’erreur du système de RCP avec validation de la base de test e-STA copyright 2011 by see Volume 8, N°1, pp 53-60 0 10 20 30 40 50 60 70 80 90 100 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 Iterations Tauxd"erreur 5 Validation croisée Gentle AdaBoost Fig 14. Evolution du taux d’erreur du système de RCP avec validation croisée D’après les figures 13 et 14, les taux d’erreurs ont nettement diminués. Les meilleurs taux sont observés à l’itération 5 de l’ordre de 88,89% pour le premier test et à l’itération 35 de l’ordre 88,86% pour le deuxième test. Il faut noter qu’avec une validation de base de test, les taux d’erreur se sont stabilisés dés la 58éme itérations. Cependant, les meilleurs résultats sont donnés par la validation croisée pour les 36 coefficients. C. Application de l’approche Modest Adaboost • Avec Les Coefficients MFCC 0 10 20 30 40 50 60 70 80 90 100 0.36 0.38 0.4 0.42 0.44 0.46 0.48 0.5 Iterations Tauxd"erreur Modest AdaBoost   Fig 15. Evolution du taux d’erreur du système de RCP avec validation de la base de test 0 10 20 30 40 50 60 70 80 90 100 0.25 0.26 0.27 0.28 0.29 0.3 0.31 0.32 0.33 0.34 Iterations Tauxd"erreur 5 Validation croisée Modest AdaBoost Fig 16. Evolution du taux d’erreur du système de RCP avec validation croisée D’après les figures 15 et 16, nous constatons que les meilleurs taux de reconnaissance sont trouvés avec une validation croisée de la base d’apprentissage (74,01% ). • Avec Les Coefficients MFCC et Delta 0 10 20 30 40 50 60 70 80 90 100 0.27 0.28 0.29 0.3 0.31 0.32 0.33 0.34 0.35 0.36 0.37 Iterations Tauxd"erreur Modest AdaBoost Fig 17. Evolution du taux d’erreur du système de RCP avec validation de la base de test 0 10 20 30 40 50 60 70 80 90 100 0.18 0.2 0.22 0.24 0.26 0.28 0.3 0.32 0.34 0.36 0.38 Iterations Tauxd"erreur 5 Validation croisée Modest AdaBoost Fig18. Evolution du taux d’erreur du système de RCP avec validation croisée Nous observons, également pour cette experience, qu’en appliquant une validation croisée avec 24 coefficients, nous avons obtenu le meilleur taux de reconnaissance (81, 61%). • Avec Les Coefficients MFCC, Delta et Delta-Delta 0 10 20 30 40 50 60 70 80 90 100 0.12 0.14 0.16 0.18 0.2 0.22 0.24 0.26 0.28 0.3 0.32 Iterations Tauxd"erreur Modest AdaBoost Fig 19. Evolution du taux d’erreur du système de RCP avec validation de la base de test 0 10 20 30 40 50 60 70 80 90 100 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 Iterations Tauxd"erreur 5 Validation croisée Modest AdaBoost Fig 20. Evolution du taux d’erreur du système de RCP avec validation croisée D’après les figures 19 et 20, nous observons qu’en premier test, le système s’est vite stabilisé (dés l’itération 26). Néanmoins, l’application d’une validation croisée a donné le meilleur taux de reconnaissance (88, 02%). D. Etude Comparative e-STA copyright 2011 by see Volume 8, N°1, pp 53-60 La validation croisée a donné les meilleurs taux de classification avec les 36 coefficients qui est de 85,92% pour l’approche Real Adaboost, 87,61% pour l’approche Gentle Adaboost et 88,02% pour l’approche de Modest Adaboost. Il faut noter que la validation par la base de test permet au système de RCP de se stabilisé plus rapidement qu’avec une validation croisée. Néanmoins, l’application d’une validation croisée a donné des meilleurs résultats. Les tables III et IV résument les taux d’erreur calculés à l’itération 50 et 90 pour les différents systèmes conçus. Table III Taux de reconnaissance du système RCP avec validation de la base de test en % T=50 T=90 RAB GAB MAB RAB GAB MAB MFCC 64.34 61.13 61.04 90.41 58.33 58.33 MFCC+Delta 71.87 74.68 69.22 77.78 57 69.44 MFCC+Delta+Delta 80.56 86.11 86.11 80.56 86.11 86.11 Table IV Taux de reconnaissance du système RCP avec validation croisée en % T=50 T=90 RAB GAB MAB RAB GAB MAB MFCC RAB GAB MAB 69.99 73.66 56.48 MFCC+Delta 74.67 66.15 72.32 75.17 80.36 72.62 MFCC+Delta+Delta 71.43 74.39 81.07 85.92 87.61 88.02% VI. CONCLUSION Adaboost est une nouvelle méthode de Boosting principalement utilisée pour stimuler les performances des algorithmes d’apprentissage. Depuis son apparition jusqu’à aujourd’hui, il y a eu la naissance de plusieurs générations. Pours nos expérimentations, nous avons étudié différentes méthodes d’Adaboost et nous avons proposé d’évaluer dans ce travail l’approche Real Adaboost (RAB), l’approche Gentle Adaboost (GAB) et l’approche Modest Adaboost . Nous avons mis en œuvre un système de reconnaissance en se basant sur l’algorithme d’apprentissage CART. En occurrence, cet algorithme a été fusionné avec les différentes méthodes d’Adaboost dans le but de réduire les taux d’erreurs de la reconnaissance. Nous avons observé, également, que l’approche Modest Adaboost a généré de meilleures performances suivie par le système basé sur l’approche Gentle Adaboost et enfin par le système basé sur l’approche Real Adaboost en appliquant les coefficients MFCC+Delta+Delta-Delta. Les taux trouvés sont de l’ordre de 88,02% pour Modest Adaboost, 85,8% pour Gentle Adaboost et 85% pour Real Adaboost. Remerciements Nous voulons remercier Dr. V. Vezhnevets et A. Vezhnevets du Graphics Media Lab of Moscow State University pour leurs GML AdaBoost Matlab Toolbox and leurs conseils. REFERENCES [1] Y. Freund and R. E. Schapire,‘‘A decision-theoretic generalization of on-line learning and an application to boosting,’’ In Second European Conference on Computational Learning Theory, March 1995. [2] R. Meir,G. Ratsch,‘An introduction to Boosting and Leveraging,’’,2003. [3] Y .Freund, RE .Schapire , ‘‘A short introduction to boosting, ’’ In: Journal of Japanese Society for Artificial Intelligence,1997. [4] Y. Freund, RE. Schapire, ‘‘ Experiments with a New Boosting Algorithm, ’’1996. [5] A.Vezhnevets, V.Vezhnevets, ‘‘Modest AdaBoost – teaching AdaBoost to generalize better, Graphicon’’, pp.322-325, 2005. [6] Y.Freund, R. Schapire, ‘‘Experiments with a new boosting algorithm, International conference on Machine Learning, ’’ pp. 148-156, 1996. [7] M.Culp, K.Johnson, G. Michailidis, ‘‘ ada: an R Package for Stochastic Boosting, ’’ 2007. [8] B. Wu, A .Haizhou, C. Huang and L.Shihong, ‘‘ Fast Rotation Invariant Multi-View Face Detection Based on Real Adaboost, ’’ 2004. [9] C. Huang, B.Wu, A .Haizhou and L.Shihong, ‘‘ Omni-Directional Face Detection Based On Real Adaboost, ’’ 2004. [10] R. E. Schapire and Y. Singer, “Improved BoostingAlgorithms Using Confidence-rated Predictions”,Machine Learning, 37, , 297-336, 1999. [11] J.Friedman, T. Hastie, and R..Tibshirani, ‘‘Additive logistic regression: a statistical view of boosting, ’’ The Annals of Statistics, 28, 337-374, 2000. [12] T. Kanade, A.Jain, N.K. Ratha, ‘‘Audio-And Video-Basded Biometric Person authentification, ’’ 2005. [13] I.V. Safonov, ‘‘Automatic red eye detection,’’ 2007. [14] L .Breiman, ‘‘ Arcing classifiers, ’’ Discussion paper, Ann. Statist, 1998. [15] L. Breiman, ‘‘Random forestsMachine Learning , ’’ J, 2001. [16] A.Vezhnevets, V.Vezhnevets, ‘‘GML AdaBoost Matlab Toolbox Manuel, ’’ 2005 [17] J.S. Garofolo, L/F. Lamel, W/M. Fisher, J.G. Fiscus, D.S. Pallett, N.L. Dahlgren, and V.Zue, ‘‘TIMIT Acoustic-Phonetic Continuous Speech Corpus, ’’ 1993. [18] S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, ‘‘ Improved Feature Data for Robust Speaker Identification using Hybrid Gaussian Mixture Models - Sequential Minimal Optimization System,’’ International Review on Computers and Software (I.RE.CO.S.), Vol. 4, N.3, May 2009. [19] S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, ‘‘Support Vector Machines Approaches and its Application to Speaker Identification,’’ 2008. [20] S.B. Davis and P.Mermelstein, “Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences,” IEEETrans. Acoust., Speech, Signal Processing, vol. 28(4),pp. 357–366, 1980. [21] F. D. Cilliers, ‘‘Tree-based Gaussian Mixture Models for Speaker Verification, ’’ Ph.D. Thesis, Department of Electrical and Electronic Engineering, University of Stellenbosch, South Africa, 2005. [22] A.Kawtrakul, A.DeemagarnThai Connected Digit Speech Recognition Using Hidden Markov Models, ’’ Russia,2004. [23] R.Kohavi , ‘‘ A study of cross-validation and bootstrap for accuracy estimation and model selection, ’’ Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence,1995. [24] J R. Nolan, ‘‘Computer systems that learn: an empirical study of the effect of noise on the performance of three classification methods, 2002. e-STA copyright 2011 by see Volume 8, N°1, pp 53-60