Les réseaux de neurones

Chapitre I Les réseaux de Neurones Artificiels

Chapitre I

Les Réseaux de Neurones Artificiels

I.1 Introduction L’ é vol ut i on t e c hnol og i que dur a ntl e sde r ni è r e sa nné e sa pe r mi s aux scientifiques d’ é l a bor e re tdepe r f e c t i onne rd e smé t hode spourdi f f é r e nt sdoma i ne s .L’ é vol ut i o n de s or di na t e ur se npa r t i c ul i e re tl ac a pa c i t éd’ i nt é g r a t i ondec ompos a nt sf or mi da bl ea t t e i nt es à nos jours ont permis une grande vitesse de calcul et une grande capacité mémoire. Parmi ces méthodes, il existe une méthode qui est utilisée dans plusieurs domaines de recherches et de di f f é r e n t e sma ni è r e s ,a i ns ie l l epe utê t r eut i l i s é ed’ unema ni è r ec ompl è t e me ntSof te nut i l i s a nt uni que me ntl ’ or di na t e urou d’ un ema ni è r eHa r de n ut i l i s a ntl e sc i r c ui t s intégrés. Cette méthode est celle des réseaux de neurones artificiels (RNA). Les réseaux de neurones artificiels sont des outils puissants capables d’ ê t r eut i l i s é s dans près que tous les domaines technologiques, et on peut citer : Le traitement du signal, vision, parole, prévision, modélisation, aide à la décision, robotique, évaluation des écosystèmes, identification des bactéries, commande des processus, modélisation des systèmes physiques, reconnaissance des formes, mesure, instrumentation,... [1].

I.2 Historique Les débuts des RNA ont été mouvementés, leur conception et leur dé ve l oppe me ntn’ a pas été une chose facile car après leur mise au point, il y a plus de soixante ans, ils ont r e nc ont r éunepé r i ode des omme i làc a us edel e urc ompl e xi t éd’ i mpl é me nt a t i on e tde réalisation mais ils ontf i nipa rr é a ppa r a î t r ea ve cl ’ a ppa r i t i onde spui s s a nt s ordinateurs. Les RNA ont commencé à voir le jour dès 1890 avec W. James, un célèbre psychologue Américain qui a introduit le concept de mémoire associative, et proposa une loi de fonctionnement pourl ’ a ppr e nt i s s a g es url e sr é s e a uxdene ur one s . Cette règle sera connue sous le nom : la règle de Hebb. En 1943, Mc Culloch et Pitts deux bio-physiciens de l ’ uni ve r s i t éde Chi c a g oontdé mont r équ’ unr é s e a udene ur one sdi s c r e tpe utr e pr é s e nt e rn’ i mpor t equelle f onc t i on bool é e nne ,pr i nc i pedeb a s ed’ un or di na t e ur .Que l que s années après, en 1949 D. He bb,phy s i ol og i s t ea mé r i c a i ne xpl i quel ec ondi t i onne me ntc he zl ’ a ni ma lpa rl e spr opr i é t é s des neurones eux-mêmes. La loi de modification des propriétés des connexions entre neurones qu’ i lpr opos e démontre en partie ses résultats expérimentaux. Il introduit le terme connexionisme pour parler de modèles massivement parallèles, connectés et proposé de nombreuses règles de mise à jour des poids dont la célèbre règle de Hebb. Rosenblatt proposa

El e c t r o t e c h ni q ueM’ s i l a2006

2

Chapitre I

Les Réseaux de Neurones Artificiels

en 1958 le perceptron, un réseau de neurones inspiré du système visuel. Il possède deux couches de neurones : -

une couche de perception,

-

une couche liée à la prise de décision.

C'est le premier système artificiel capable d'apprendre par expérience. Ce réseau, était c a pa bl ed’ a ppr e ndr eàdi f f é r e nc i e rde sf or me ss i mpl e se tàc a l c ul e rc e r t a i ne sf onc t i ons logiques. Dans la même période, Le modèle de L'Adaline (adaptive linar element) a été présenté par B. Widrow, chercheur Américain à Stanford. Ce modèle sera par la suite le modèle de base des réseaux multicouches. L’ unede sc a us e squie s tàl ’ or i g i nedudé s i nt é r e s s e me ntde sc he r c he ur sa uxRNA est apparue en 1969, avecl ’ a ppa r i t i ond’ unl i vr ec onnusous le nom Perceptrons de Minsky et Papert et dans lequel ils publièrent leur argumentation mathématique visant à démontrer les limitations du perceptron (Réseaux de neurones à une seule couche) et en particulier, l ’ i nc a pa c i t édur é s e a uàr é s oudr el e spr obl è me snonl i né a i r e me nts é pa r a bl e s ,dontl af onc t i on logique XOR est un célèbre exemple. Cen’ e s tqu’ a udé butde sa nné e s80 quel ’ i nt é r ê tde s chercheurs pour les réseaux de neurones renaît et plus précisément en 1982 grâce à Hopfield qui proposa les réseaux de neurones associatifs. Parallèlement, Werbos conçoit un mécanisme d’ a ppr e n t i s s a gepourl e sr é s e a uxmul t i c ouc he sdet y pepe r c e pt r on. L’ a nné e1986 a vul ’ a ppa r i t i ond el ’ a l g or i t hmeder é t r opropagat i ondel ’ e r r e urpubl i é par Rume l h a r t ,Hi nt one tWi l l i a ms r r e urquipe r me td’ opt i mi s e rl e spa r a mè t r e sd’ unr é s e a u de neurones à plusieurs couches, ainsi les recherches sur les réseaux de neurones ont démarré fortement, impliquant le succès de cette méthode et son application dans divers domaines [1] [2].

I.3 Le neurone biologique I.3.1 Système Nerveux Le cerveau humain, est le meilleur modèle de la machine, polyvalente incroyablement r a pi dee ts ur t outdoué ed’ unei nc o mpa r a bl ec a pa c i t éd’ a ut o organisation. Son comportement est beaucoup plus mystérieux que le comportement de ses cellules de base. Il est constitué d’ ungrand nombr ed’ uni t é sbi ol og i que sé l é me nt a i r e s(1000 à 10000 synapse par neurone).

El e c t r o t e c h ni q ueM’ s i l a2006

3

Chapitre I

Les Réseaux de Neurones Artificiels

Les cellules nerveuses appelées " neurones ", sont les éléments de base du système nerveux central. Elles sont constituées de trois parties essentielles : le corps cellulaire, les dendrites et l ’ a xonefigure (I.1) [1][2]. I.3.1.1 Le corps cellulaire Il contient le noyau du neurone et effectue les transformations biochimiques nécessaires à la synthèse des enzymes et des autres molécules qui assurent la vie de neurone. Sa forme est pyramidale ou sphérique dans la plupart des cas, elle dépend souvent de sa position dans le cerveau. Ce corps cellulaire fait quelques microns de diamètre [3]. I.3.1.2 Les dendrites Chaque neurone possède une chevelure de dendrites. Celles-ci sont de fines extensions t ubul a i r e s ,deque l que sdi xi è me sdemi c r onsdedi a mè t r ee td’ unel ong ue urde quelques dizaines de microns. Elles sont les récepteurs principaux du neurone qui servent à capter les signaux qui lui parviennent [3]. I.3.1.3 L’ axone L’ a xone ,quie s tàpr opr e me ntpa r l e rl af i br ene r ve us e ,s e r tdemoy e ndet r a ns por tpour les signaux émis par le neurone. Il se distingue des dendrites par sa forme et par les propriétés de sa membrane externe. En effet, il est généralement plus longue que les dendrites, et se ramifie à son extrémité, là oŭ i lc ommuni que a ve cl e sa ut r e sne ur one s ,a l or sque l e s ramifications des dendrites se produisent plutôt près du corps cellulaire. Pour former le système nerveux, les neurones sont connectés les uns aux autres suivant des répartitions spatiales complexes. Lat r a ns mi s s i one nt r ede uxne ur one sn’ e s tpa sdi r e c t e .Enfait, il existe un espace intercell ul a i r ed eque l que sdi z a i ne sd’ Angstrom (10-9 m) ent r el ’ a xonedu neurone et les dendritesd’ una ut r eneurone. La jonction entre deux neurones est appelée la synapse [1][3].

Figure (I.1) Le neurone biologique El e c t r o t e c h ni q ueM’ s i l a2006

4

Chapitre I

Les Réseaux de Neurones Artificiels

I.4 Le neurone formel I.4.1 Définition Le neurone formel est le modèle mathématique du neurone biologique. Il fait la somme pondérée de ses entrées, s ui vi ed’ unenonl i né a r i t é( é l é me ntdedécision pour les classifieurs) a ppe l é ef onc t i ond’ a c t i va t i onou fonction de seuil. Le se nt r é e sd’ unne ur ones onts oi td e se nt r é e se xt e r ne s ,s oi tde ss or t i e sd’ a utres neurones [4]. Les c hé mad’ unne ur onef or me l est donné par la figure (I.2)

+1

Ei1 Wi1

Wi 0

Ei 2 ∙ ∙ ∙ E∙ in

LI

∙Wi 2 ∙ ∙ ∙

f

Oi f  Li  Sortie

Win Entrée

Poids Figure (I.2) Sc hé mad’ unne ur onef or me l

Le choix de la fonction d'activation dépend de l'application [1].

I.4.2 Principe de fonctionnement L’ é qua t i ondes or t i eOi du neurone i est donnée par : Oi f  Li 

(I.1)

Li Wijk Eij Wiok

(I.2)

Où

Les coefficients de pondération Wij sont appelés coefficients synaptiques Souvent, il y a un paramètre additionnel Wi0, ce terme est considéré comme la valeur du seuil interne du neurone [4]. El e c t r o t e c h ni q ueM’ s i l a2006

5

Chapitre I

Les Réseaux de Neurones Artificiels

I.4.3 Fonc t i ond’ activation C’ e s tunef onc t i on présentée généralement par une non linéarité appelée aussi fonction de seuil. Elle permet de dé f i ni rl ’ é t a ti nt e r nedune ur onee n fonction de son entrée totale Les fonctions les plus souvent utilisées sont représentées par la figure (I.3) [11].

f

f s s

s 1 (b) Fonction sigmoïde f  s  1 e S

(a) Fonction linéaire avec seuil

f +1

f

s

s -1 1 e S (d) Fonction sigmoïde f  s  1 e S

(c) Fonction a seuils multiples

f

s (f) Fonction de stochastique

El e c t r o t e c h ni q ueM’ s i l a2006

6

Chapitre I

Les Réseaux de Neurones Artificiels ƒ

ƒ

+1

s

s

s

(e) Fonction de Heaviside

(g) Fonction linéaire sans saturation

Figure (I.3) Les différentes formes de la fonct i ond’ a c t i va t i on

Tout e sl e sf onc t i onsd’ a c t i va t i onutilis é e sdoi ve ntê t r edi f f é r e nt i a bl e s ,c a rl ’ a r c hi t e c t ur edu r é s e a udene ur one sl ’ i mpos epourq u el ’ a ppr e nt i s s a ges oi tpos s i bl e[11].

I.5 Propriétés des réseaux de neurones L’ i nt é r ê tpor t éa uj our d’ huia uxr é s e a uxde neurones tient sa justification dans quelques pr opr i é t é si nt é r e s s a nt e squ’ i l spos s è de nte tquide vr a i e ntpe r me t t r ededé pa s s e rl e sl i mi t a t i ons del ’ i nf or ma t i quet r a di t i onne l l e ,t a nta uni ve a upr og r a mma t i onqu’ a uni ve a uma c hi ne[6].

I.5.1 Le parallélisme Ce t t enot i ons es i t ueàl aba s edel ’ a r c hi t e c t ur ede sr é s e a uxdene ur one sc ons i dé r é s c omme e ns e mbl e d’ e nt i t é sé l é me nt a i r e s travaillant simultanément. Avec l ’ é t ude du fonctionnement des réseaux de neurones, on pourrait aboutir à des nouvelles techniques de formalisation de problème qui permettraient de les traiter en parallèle [6].

I.5.2 Lac ap ac i t éd’ a da p t a t i on Celle-c is ema ni f e s t epa rl ac a pa c i t éd’ a ppr e nt i s s a gequipe r me tdet e ni rc ompt ede s nouvelles contraintes ou des nouvelles données du monde extérieur. Certains réseaux se c a r a c t é r i s e nta us s ipa rl e urc a pa c i t éd’ a ut oor g a ni s a t i onquia s s ur el e urs t a bi l i t ée nt a n tque systèmes dynamiques capables de tenir compte des situations non encore connues [6].

I.5.3 La mémoire distribuée Da nsl e sr é s e a uxdene ur on e s ,l amé moi r ec or r e s pondàunec a r t ed’ a c t i va t i onde neurones. Cette carte est en quelque sorte un codage du fait mémorisé ce qui attribue à ces

El e c t r o t e c h ni q ueM’ s i l a2006

7

Chapitre I

Les Réseaux de Neurones Artificiels

r é s e a uxl ’ a va nt a geder é s i s t e ra uxbr ui t s( pa nne s )c a rl ape r t ed’ unélément ne correspond pas àl ape r t ed’ unf a i tmé mor i s é[6].

I.5.4 La capacité de généralisation Cette capacité est important s ur t outda nsl ec a soùl ac ons t i t ut i onder e c ue i l sd’ e xpe r t i s e pour un système expert devient difficile (reconnaissance intuitive ou implicite). Les réseaux neuronaux peuvent apprendre à retrouver des règles à partir des exemples [6].

I.6 Architectures des réseaux de neurones Il existe deux grands t y pe sd’ a r c hi t e c t ur e s de réseaux de neurones : Les réseaux statiques non récurrents et les réseaux dynamiques récurrents [4].

I.6.1 Les réseaux statiques Da nsunr é s e a uxs t a t i queounonr é c ur r e nt,l as or t i ed’ unne ur onenepe utpa sê t r e injectée ni directement à son entrée ni indirectement à trave r sd’ a ut r e sneurones ;c ’ e s tà- dire qu’ unes or t i ec our a nt en’ aa uc unei nf l ue nc es url e ss or t i e sf ut ur e s.Da nsc ec a s ,l as or t i edu r é s e a ue s tobt e nuedi r e c t e me nta pr è sl ’ a ppl i c a t i ondus i g na ld’ e nt r é e l’ i nf or ma t i oncircule dans une seule direction ;del ’ e nt r é evers la sortie. Les réseaux statiques réalisent des transformations non linéaires de la forme : Y f [x] Ou x R m et Y R n , m et n sont les dimensions d uve c t e urd’ e nt r é exe tdu

vecteur de sortie Y respectivement. Les neurones qui ne sont pas des sorties du système sont appelés neurones cachés (neurones invisibles dans la sortie). da nsl ’ a r c hi t e c t ur ela plus général e,l ’ e nt r é edec ha que neurone est connectée à toutes les sorties des neurones précédents mais , la plupart des réseaux de neurones statiques utilisés , sont organisés en plusieurs couches de neurones , appelés réseaux multi couches aux perceptrons multi couches. Un réseau multi couches comporte : unec ouc hed’ e nt r é e ,uneou plusieurs couches cachées et une couche de sortie. Da nsu nt e lr é s e a ux,l as or t i edec ha quene ur oned’ unec ouc hel e s tc onne c t é eàl ’ e nt r é ede chaque neurone de la couche suivant l+1. L’ a r c hi t e c t ure d’ unt e lr é seau est donnée par la figure (I.4) [4].

El e c t r o t e c h ni q ueM’ s i l a2006

8

Chapitre I

Les Réseaux de Neurones Artificiels

Entrée

Sortie

Couche intermédiaire dite cachée

Figure (I.4) For med’ unr é s e aunonbouc l é

I.6.2 Les réseaux dynamiques Ces réseaux, appelés aussi réseaux récurrents, sont organisés de telle sorte que chaque neurone reçoit sur ses entrées une partie ou la totalité de l’ é t a tdur é s e a u(sortie des autres neurones) en plus des informations externe s .Pourl e sr é s e a ux r é c ur r e nt sl ’ i nf l ue nce entre les ne ur one ss ’ e xe r c eda nsl e sde uxs e ns .L’ é t a tg l oba ldur é s e a udé pe nd aussi de ses états précédents. L’ é qua t i ondune ur one ,da nsc ec a s ,e s tdé c r i t epa rde sé qua t i onsdi f f é r e nt i e l l e s ou aux différences. Un exemple de réseaux dynamiques est donné par la figure (I.5) [4].

Figure (I.5) For med’ unr é s e aubouc l é

I.7 Quelques modèles des réseaux de neurones Cette partie est consacrée à une présentation des modèles connexionnistes incontournables. Ces modèles reflètent les différentes topologies des réseaux de neurones dans le sens où la grande majorité des réseaux classiques [7].

El e c t r o t e c h ni q ueM’ s i l a2006

9

Chapitre I

Les Réseaux de Neurones Artificiels

I.7.1 Modèle de Kohonen Ler é s e a udeKohone ne s tunr é s e a udene ur one sdontl apa r t i c ul a r i t ée s td’ a g i re nt a nt que compresseur de données, en conservant uniquement les informations caractérisant L’ obj e tp r é s e nt éa ur é s e a us a nspe r t ei mpor t a nt e d’ i nf or ma t i on.Une é l i mi na t i on de s Pa r a mè t r e sc or r é l é ss ’ e f f e c t ue .Ene f f e t ,s ac a pa c i t édec ons e r va t i ont opol og i quepe r me tune réduction des donné e sdel ’ e nt r é es e l onl enombre de neurone formant le réseau [5]. Ce modèle a été présenté par Kohonen en 1982 en se basant sur des constatations biologiques Il a pour objectif de présenter des données complexes et appartenant généralement à une espace discret de grandes dimensions dont la topologie est limitée à une ou deux dimensions. Le sc a r t e sdeKohone ns ontr é a l i s é e sàpa r t i rd’ unr é s e a uàde uxc ouc he s ,unee ne nt r é ee t une en sortie. Not onsquel e sne ur one sdel ac o u c hed’ e nt r é es onte nt i è r e me ntconnectés à la couche de sortie figure (I.6) [13]. X1

S1

X2

S2

Xn

∙ ∙ ∙

∙ ∙ ∙

Sn

Figure (I.6) Le modèle de Kohonen

Le sne ur one sdel ac ouc hedes or t i es ontpl a c é sda nsun e s pa c ed’ uneoudede ux dimensions en général, chaque neurone possède donc des voisins dans cet espace. Et enfin chaque neurone de la couche de sortie possède des connexions latérales récurrentes dans sa couche. Le neurone inhibe les neurones éloignés et laisse agir les neurones voisins.

I.7.2 Modèle de Hopfield Les modèles de Hopfield représentent une architecture plus historique que pratique. Ils sont importants car apparus à un tournant de l'histoire du connexionnisme. Ils sont considérés comme la base de son redémarrage. En revanche ils ne sont quasiment plus utilisés dans leur

El e c t r o t e c h ni q ueM’ s i l a2006

10

Chapitre I

Les Réseaux de Neurones Artificiels

version de base en raison de leur coût en terme de temps de calculs et de leurs relativement faibles performances [7]. I.7.2.1 L'architecture Les modèles connexionnistes de Hopfield sont constitués de neurones formels de type Mc Culloch et Pitts, totalement connectés entre eux. Tous les neurones de cette architecture sont à la fois neurone d'entrée et neurone de sortie du réseau. La spécificité de ce réseau réside dans une recherche permanente, pour chacun des neurones du réseau, d'un état stable [7]. Formellement, comme la montre la figure (I.7), un réseau de Hopfield est un réseau récurrent, chacun des neurones du réseau étant connecté à tous les autres, mais pas à luimême. Les neurones disposent de sorties binaires (+1 ou -1), et les interconnexions entre les neurones sont symétriques (Pour tous les neurones i et j, wij = wji) [7].

S1

S2

O1

O2

X1

Sn-1

●

●

●

● On-1

On

Xn-1

X2

Sn

Xn

Figure (I.7) Réseau de Hopfield

Un neurone est lié à tous les autres, les liaisons sont symétriques, un neurone n'est pas lié à lui-même et un seul neurone est actualisé par itération. Chaque neurone est à la fois neurone d'entrée et de sortie du réseau [7].

El e c t r o t e c h ni q ueM’ s i l a2006

11

Chapitre I

Les Réseaux de Neurones Artificiels

I.7.3 Le Perceptron Le Perceptron a été développé par Roseblatt en 1950 pour résoudre, àl ’ a i dede s neurones de Mc Culloch et Pitts, les problèmes de la vision humaine.

I.7.3.1 Structure du Perceptron L’ architecture g é né r a l ed’ unPe r c e pt r onc ommedé c r i te nfigure (I.8) comprend trois éléments principaux : I.7.3.1.1 Rétine La première couche, composée de la rétine, comprend plusieurs cellules qui jouent le rôle de capteurs. Elle reçoit les exemples ou formes à classer. Chaque élément de la rétine peut être considéré comme un pixel prenant des valeurs binaires 1 et 0 I.7.3.1.2 Couche d’ as s oc i at i on La deuxième couche d’ a s s o c i a t i on e s tc ompos é edec e l l ul e sassociatives qui sont connectées totalement ou de façon aléatoire aux cellules de la rétine, Ces cellules d’ a s s oc i a t i onsAj s ontdo t é e sdef a ç onsd’ a s s oc i a t i onh qui peuvent par exemple réaliser des fonctions booléennes ou bien utiliser des fonctions linéaires. Dans le perceptron, les fonctions hi, i=1,2,….N s ontdé t e r mi né e sàl ’ a va nc ee te l l e sr e s t e ntf i xe spe nda ntl aphase d’ a ppr e n t i s s a ge .Las or t i eXj del ac e l l ul ed’ a s s oc i a t i onAj est transmise à la cellule de décision de Pi après avoir été pondérée par le coefficient ajustable Wij, I.7.3.1.3 Couche de cellule de décision La cellule de décision est un automate à seuil de fonction de transfert fi qui délivre la sortie binaire Si. La combinatoire de toutes les configurations possibles est presque infinie si l ’ oni nf l ues url e sc onne xi onse tl ana t ur ede sf onc t i onsf et h [11][15].

Couche de décision Rétine

Couche d’ a s s oc i a t i on

Figure (I.8) Sc hé mad’ unPe r c e pt r on El e c t r o t e c h ni q ueM’ s i l a2006

12

Chapitre I

Les Réseaux de Neurones Artificiels

I.7.4 Modèle Adaline Au début des années 60 B. Widrow et M.E. Hoff ont proposé un système adaptatif qu’ i l sonta ppe l éAda l i ne( del ’ a ng l a i sADApt i veLI Ne a rEl e me nt ) Las t r uc t ur edel ’ Ada l i ne di f f è r edu pe r c e pt r on pa rl ’ ut i l i s a t i ond’ unes e ul ec e l l ul e d’ a s s oc i a t i one tl ’ ut i l i s a t i ond’ unef o nc t i ondes e ui ldi f f é r e ntdec e l l edeHe a viside (-1 et t+1). Depl us ,i lu t i l i s euna l g or i t hmea da pt a t i fpourme s ur e rl ’ é c a r t ee nt r el as or t i er é e l l ee tl a s or t i edupr oc e s s e uré l é me nt a i r e .Les c hé madel ’ Adaline est représenté en figure (I.9). Le plus souvent, les entrées sont binaires et la réponse souhaitée est également binaire L’ Ada l i nee s tl es e ulr é s e a udene ur one sa r t i f i c i e l sut i l i s éma s s i ve me ntd a nsl ’ i ndus t r i e ,Ce circuit est en effet utilisé dans la télécommunication pour améliorer le signal sur bruit en prenant en compte la varia t i ondel ’ i mpé da nc ede sdi f f é r e nt e sl i g ne st é l é phoni que s[11]. j N

S W j X j j 0

X0

W0 X1

W1

S

Y



Xn



Wn Règle d’ ap pr e nt i s s ag e

-



+

Yd Sortie désirée

 Si gnald’ e r r e ur

Figure (I.9) Sc hé madepr i nc i pedel ’ ada l i ne

I.8 Apprentissage des réseaux de neurones On peut considérer les réseaux de neurones comme une boite noire contenant l ’ i nf or ma t i onqu’ e l l edoi ta ppr e ndr ee tmé mor i s e r .Mais au démarrage lorsqu’ on choisit notre réseau, la boite noire est vide et ne contient aucune information, ni aucune connaissance sur s ons uj e t ,c ’ e s tpour quoiun apprentissage est nécessaire.L’ e ns e i g ne me ntquedoi ts ubi rl e

El e c t r o t e c h ni q ueM’ s i l a2006

13

Chapitre I

Les Réseaux de Neurones Artificiels

réseau de neurones est un apprentissage qui est une phase du développement d'un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu'à l'obtention du comportement désiré. L'apprentissage neuronal fait appel à des exemples de comportement L’ a ppr e nt i s s a ge des réseaux de neurones consiste à adapter ses différents paramètres ( poi ds )d’ a pr è suna l g or i t hmei t é r a t i f d’ a j us t e me ntoud’ a da pt a t i onl uipe r me t t a ntdepr e ndr e en considération toutes les données (exemples) qui lui sont fournies à son entrée et ainsi a j us t e rs e spa r a mè t r e spourt r ouve rl ej us t emi l i e upe r me t t a ntdepr e ndr ee nc ha r gen’ i mpor t e quel exemple ou donnée apparaissant à son entrée provenant de son environnement [1][2]. Le sa l g or i t hme sd’ a ppr e nt i s s a ge sdonne ntde s meilleurs résultats lorsqu’ on leur fournit des exemples multiples et variés ; ainsi le réseau peut assimiler toutes les connaissances. Il existe di f f é r e n t er è g l e sd’ a ppr e nt i s s a g eparmi les quelles on peut distinguer [1]: - la règle de Widrow-Hoff, la règle de Hebb, la règle du perceptron et la règle de Grossberg, etc...

I.8.1 Apprentissage supervisé Les réseaux multicouches avaient déjà été définis par Rosenblatt, mais on ne savait pas comment f a i r el ’ a ppr e nt i s s a g e .Ave cl adé c ouve r t edel ’ a l g or i t hmeder é t r opr opa ga tion de l ’ e r r e ur( RP)pa rRume l ha r t ,on ac omme nc éàf a i r edel ’ a ppr e nt i s s a g ede sr é s e a ux de ne ur one smul t i c ouc he sàpa r t i rd’ e xe mpl e s .Ce t t emé t hodededé t e r mi na t i onde spoi dse s t appelée apprentissage supervisé [8]. L'apprentissage supervisé, repose sur le fait que les exemples sont des couples (entrée, sortie désirer) .C’ e s tàdi r equel ’ ons uppos el ’ e xi s t e nc ed’ une xpe r tquipr e nde nc ha r gel a sortie de notre réseau en lui fournissant une sortie désirée et les associes aux sorties réelles fournies pa rl er é s e a ud’ a pr è sl e sdonné e sàl ’ e nt r é e .Ler é s e a ua da pt es e spa r a mè t r e se n fonction de la différence qui existe entre la sortie réelle et la sortie désirée en prenant compte det ousl e se xe mpl e sdel ’ e nvi r onne me nt[1][2].

El e c t r o t e c h ni q ueM’ s i l a2006

14

Chapitre I

Les Réseaux de Neurones Artificiels

Superviseur

Erreur Réseaux de neurones

Figure (I.10) Illustration del ’ appr e nt i s s ag es upe r v i s é

I.8.2 Apprentissage non supervisé La différence majeure e nt r el ’ a ppr e nt i s s a ges upe r vi s ée tnons upe r vi s épe utêtre résumée da nsl ef a i tquel ede uxi è met y ped’ a ppr e nt i s s a gee s ta ut odi da c t equi n’ apa sbe s oi nd ’ e xpe r t pour le guider à adapter ses paramètres qu’ i lnedi s pos equede sva l e ur se nt r é e . Remarquons cependant que les modèles d’ apprentissage non supervisé nécessitent avant la phase d'utilisation une étape de labellisation effectuée par l'opérateur, qui n'est pas autre chose qu'une part de supervision [1][2].

Réseaux de neurones

Sortie

Figure (I.11) I l l us t r at i ondel ’ appr e nt i s s ag enons upe r vi s é

I.9 Le Perceptron multi couche Co mmenousl ’ a vonsdé j àdi t le cerveau humain est composé de millier et des milliers de neurones, alors il est évide ntqu’ uns i mpl ene ur oneet seul ne peut rien faire à lui tous seul il l uif a utl ac oopé r a t i ond’ a ut r e sne ur one s .Ens ui va ntc er é s onne me nti le s té vi de ntqu’ i l vaut trouver une architecture qui relie les neurones entre eux, qui crée une liaison entre les neurones pour créer un réseau de neurones. El e c t r o t e c h ni q ueM’ s i l a2006

15

Chapitre I

Les Réseaux de Neurones Artificiels

En s ’ i ns pi r a ntdu pe r c eptron monocouche, une architecture plus complexe englobant plusieurs neurones a été mise au point. Cette nouvelle architecture est le perceptron multicouches (ou MLP pour Multi Layer Pe r c e pt r o ne na ng l a i s ) .L’ a ppa r i t i ondec e t t ea r c hi t e c t ur eape r mi s de résoudre les problèmes de classification non linéaire du perceptron et de dépasser les limites principales de celui-ci. L'idée principale est de grouper des neurones dans une couche. En plaçant ensuite bout à bout plusieurs couches et en connectant complètement les neurones de deux couches adjacentes. Les entrées des neurones de la deuxième couche sont donc en fait les sorties des neurones de la première couche [1][13].

I.9.1 Architecture +1

x01 w111

w210 Σ

F(.)

x11

+1

x02

Σ

w1N2

+1

+1

w110 w211

wL10 F(.)

Σ

x21

wL11

Σ yL1

+1

F(.)

x12

yj F(.)

xL1

+1

F(.)

Σ

x22

Σ

. . .

. . .

. . .

+1

+1

+1

yL2

F(.)

xL2

F(.)

xLN

w11N x0N

w1NN

Entrées

Σ

F(.)

Couche 1

x1N

F(.)

Σ Couche 2

x2N

Σ

Couche L

Figure (I.12) Architecture de réseaux multi couche

El e c t r o t e c h ni q ueM’ s i l a2006

yLN

16

Sorties

Chapitre I

Les Réseaux de Neurones Artificiels

I.10 Méthode de rétropropagation La rétropropagation est actuel l e me ntl ’ out i ll epl usut i l i s é dans le domaine des réseaux dene ur one s .C’ e s tunet e c hni quedec a l c ulde sdé r i vé e squipe utê t r ea ppl i qué eàn’ i mpor t e quelle structure des fonctions dérivables [4]. L’ a nné e1986 a vul ’ a ppar i t i ondel ’ a l g or i t hmeder é t r opr opa ga t i ondel ’ e r r e urpubl i é par Rume l h a r t ,Hi nt one tWi l l i a ms r r e urquipe r me td’ opt i mi s e rl e spa r a mè t r e sd’ unr é s e a u de neurones à plusieurs couches [1].

I.10.1 Introduction Le dé ve l oppe me nt d’ a l g or i t hme s d’ a ppr e nt i s s a g es upe r vi s é pour l e sr é s e a ux multicouches se heurte au problème de calcul des erreurs de sortie pour les neurones cachés. Ene f f e t ,l e sne ur one sc a c hé sn ’ ontpa sunr ôl epr é dé f i ni ,c ’ e s tl ’ a ppr e nt i s s a g equil e s utilise à sa convenance pour former des représentations internes, à c a us edel ’ a bs e nc ed’ une règle d’ a p pr e nt i s sage convenable, les perceptrons étaient limités à une seule couche pendant plusieurs années, mais ce type de perceptron ne peut résoudre que les problèmes dont les données sont linéairement séparables. Les limitations du perceptron ont été levées par la découve r t edel ’ a l g or i t hmeder é t r opropagation qui a permis de résoudre le problème de calcul des erreurs associées aux neurones cachés. Les applications de cet algorithme ont connu un succès spectaculaire et ses performances étaient quelques fois surprenantes. Malgré sa complexité apparente, la méthode de rétropropagation n’ e s tqu’ unet e c hni que s i mpl e sma i se f f i c a c edec a l c uld e sdé r i vé e sd’ unee nt i t épa rr a ppor tàl ’ ensemble de ses e nt r é e s .El l epe utê t r ea ppl i qué eàn’ i mpor t eque ls y s t è mec ompos édepl us i e ur ss ous systèmes élémentaires qui peuvent être représentés par des fonctions connues, continues et dérivables [4].

I.10.2 Equations du réseau Avant de définir la règle d’ a ppr e nt i s s a ge ,ondoi tdé f i ni rl ar e l a t i one nt r el e ss or t i e sdu r é s e a u,d’ unepa r t ,e tl e se nt r é e se tl e spoi ds d’ a ut r epa r t .Onc ons i dè r eda nsc equis ui tl e s réseaux non récurrents multicouches.

El e c t r o t e c h ni q ueM’ s i l a2006

17

Chapitre I

Les Réseaux de Neurones Artificiels

Pour un réseau multicouches à M entrées et N sorties, composé de L couches (couches cachées et couche de sortie), les états des neurones sont donnés par les équations suivantes :

nk 1

S ik Wijk O kj 1 (t )

i = 1,2,… n k ; k = 1,2,…L

j 0

(I.4)

Avec : O0k (t ) 1

k=0, 1,2…, L

(I.5)

Oi0 (t ) X i (t )

i = 1,2,…, m

(I.6)

yi (t ) OiL (t )

i =1,2,…, n

(I.7)

Oik (t ) f

k

 S (t )f  W  k i

nk 1

k

j 0

k ij

 O kj 1 (t )   

(I.8)

Avec pour la couche k : fk (.) e s tl af onc t i ond’ a c t i va t i on,nk est le nombre de neurones, Oik (t) est la sortie du neurone i, Wijk est le coefficient synaptique de la connexion entre le neurone i de la couche k et le neurone j de la couche précédente (k-1). Wi 0k est le seuil adaptable du neurone i . Yi (t) et X i (t) sont les iemes composant e sduve c t e urd’ e nt r é ex (t) Et du vecteur de sortie Y (t) respectivement. Laf onc t i ond’ a c t i va t i ong é né r a l e me ntc hoi s i ee s tl af onc t i ons i g moï de: F(x) =

1 e x 1 e x

(I.9)

I.10.3 Principe du rétropropagation L’ objectif de la méthode de rétropr opa g a t i on e s td’ a da pt e r les paramètres Wijk de façon à minimiser la valeur moyenne del ’ e r r e urs url ’ e ns e mbl ed’ e nt r a î ne me nt . La fonction coût la plus utilisée est donnée par : 1 T 1 T E  E (t )  [Y d (t ) Y (t )] 2 2 t 1 2 t 1

El e c t r o t e c h ni q ueM’ s i l a2006

(I.10)

18

Chapitre I

Les Réseaux de Neurones Artificiels

Où Y d est le vecteur de sortie désirée, Y le vecteur de sortie du réseau et T la longueur de l ’ e ns e mbl ed’ a ppr e nt i s s a g e .Ce pe nda nt ,da nsque l que ss i t ua t i onsd’ a ut r e sc r i t è r e sd’ e r r e ur pe uve ntê t r epl usa ppr opr i é s .L’ a ppr oc hel apl usut i l i s é epourl ami ni mi s a t i ondel af on c t i on E est basée sur les méthodes de gradient. Onc o mme nc el ’ e nt r a î ne me ntpa runc hoi xa l é a t oi r ede sva l e ur sinitiales des poids. On présente l epr e mi e rve c t e urd’ e nt r é e .Unef oi sl as or t i edur é s e a u,l ’ e r r e urc or r e s ponda nt ee t le gradient de l ’ e r r e urpa rr a ppor tàt ousl e spoi dsest calculée, les paramètres sont ajustés da nsl adi r e c t i onoppos é eàc e l l ed ug r a di e ntdel ’ e r r e ur .Onr e f a i tl amê mepr oc é dur epour tous l e se xe mpl e sd’ a ppr e nt i s s a ge .Cepr oc e s s use s tr é pé t éj us qu’ àc equel e ss or t i e sdu réseau soient suffisamment proches des sorties désirées.

I.10.4 Adaptation des poids Pour un ensemble de poids donné, il est facile de calculer la sortie Y (t ) e tl ’ e r r e urE (t) correspondant à une entrée X (t), en utilisant les équations (I.4)-(I.10). Les paramètres du réseau sont alors ajustés par la méthode de gradient en utilisant la formule itérative :

Wijk (n) Wijk (n 1) Wijk (n)

(I.11)

E Wijk (n)  k  Wij (n)

(I.12)

Ou  est un constant appelé f a c t e u roupa sd’ a ppr e nt i s s a g e .n Est l enumé r odel ’ i t é r a t i on. La vitesse de convergence dépend de la constant . Sa valeur est généralement choisie expérimentalement. Si est trop petit la convergence est lente mais la direction de descente est optimale. Si  est trop grand la convergence est r a pi dema i sl apr é c i s i one s tmé di oc r e ,unphé nomè ned’ os c i l l a t i oni nt e r vi e ntdè squ’ on approche du minimum. La déri vé edel ’ e r r e urE par rapport au poids Wijk (n) est donnée par : T  E  E (t )   k Wij (n) t 1  Wijk (n)

El e c t r o t e c h ni q ueM’ s i l a2006

(I.13)

19

Chapitre I

Les Réseaux de Neurones Artificiels

Avec

 E (t ) ik (t )Oik 1 (t ) k Wij (n)

(I.14)

Où ik (t ) e s tl ’ e r r e uréquivalente à la sortie du neurone i de la couche k, pour les neurones des couches de sortie :

i1 (t ) f 1 '[ S i1 (t )][Yi d (t ) Yi (t )]

(I.15)

Pour les neurones des couches cachées : nk 1

ik (t ) f k '[ S ik (t )]jk 1 (t )Wijk 1 (n)

(I.16)

j 1

Pour minimi s e rl ’ e r r e urtotale E s url ’ e ns e mbl ed’ e nt r a î ne me nt ,l e spoi dsdur é s e a udoi ve nt être ajustés après la représentation de tous les exemples. Cependant on peut ajuster les poids après la représentation de chaque exemple, les corrections sont assez faibles et la minimisation de E (t) est une bonne approximation de la minimisation de E,l ’ é qua t i on( I .12) est remplacée par :

 E (t ) Wijk (n)  k  Wij (n)

(I.17)

Alors on à :

Wijk (n 1) Wijk (n) ik Oik 1

El e c t r o t e c h ni q ueM’ s i l a2006

(I.18)

20

Chapitre I

Les Réseaux de Neurones Artificiels

I.10.5 Algorithme Etape 1: Initialiser les poids Wij et les biais des neurones à des petites valeurs aléatoires. Etape 2: Présenter le vecteur d'entrée et de sortie désirés correspondants. Etape 3: Calculer : 1- La somme des entrées des neurones d'une couche cachée : Eq.(I.4). 2- Les sorties des neurones de la couche cachée : Eq.(I.8). 3- La somme des entrées de la couche de sortie : Eq.(I.4). 4- Les sorties du réseau : Eq.(I.8). Etape 4: calculer : 1- Le st e r me sdel ’ e r r e urpourl e sne ur one sdel ac ouc hedes or t i e: Eq.(I.15) 2- Le st e r me sdel ’ e r r e urpourl e sne ur one sdel ac ouc hec a c hé e: Eq.(I.16) Etape 5 : Ajuster : 1- Les poids de la couche de sortie et la couche cachée: Eq.(I.18) Etape 6 : Si la condition sur l'erreur ou sur le nombre d'itération est atteinte, aller à l'étape 7, si non revenir à l'étape 3 jusqu'à la stabilisation du système. Etape 7 : Fin.

I.10.6 Te c hni que sd’ ac c é l é ration de la rétropropagation Sibi e nquel ’ a l gor i t hmeder é t r opr opa ga t i ons oi tl ’ a l g or i t hmel epl usut i l i s épou r l ’ a ppr e n t i s s age supervisé des réseaux multicouche son implantation se heurte aux plusieurs di f f i c ul t é st e c hni que s .I ln’ e xi s t epa sdemé t hode spe r me t t a ntde: - Trouver une architecture appropriée (nombre de couches cachées, nombre de neurones cachés et connexions). - Choisir une taille et une qualité adéquate des exemples d’ e ntraînement, choisir des valeurs initiales satisfaisantes pour les poids, et des valeurs convenables pour les paramètres d’ a ppr e n t i s s a ge( f a c t e urd’ a ppr e nt i s s a ge )pe r me t t a ntd’ a c c é l é r er la vitesse de convergence. - Éviter l e se f f e t sdel ’ e nt r a î ne me nt(dégradation des performances due à un entraînement prolongé) et la convergence vers un minimum local. Pour trouver une architecture appropriée (nombre de neurones cachés), Ash a proposé une a ppr oc hed’ a ddi t i oni nt e r a c tive de neurones dans la quelle on ajoute des neurones aux couches c a c hé e spe nda ntl ’ a ppr e nt i s s a g e .Un ne ur onee s ta j out éc ha quef oi squel ’ e r r e urs es t a b i l i s eà

El e c t r o t e c h ni q ueM’ s i l a2006

21

Chapitre I

Les Réseaux de Neurones Artificiels

unni ve a ui na c c e pt a bl e .Ce t t et e c hni ques ’ a ppe l l el at e c hni quedec r é a t i ondy na mi q uede neurones (DNC : Dynamic Node Creation). Pour éviter le problème des oscillations,be a uc oupd’ auteurs modif i e ntl ’ a l g or i t hmee nl ui ajoutant un moment  Lal oid’ a da pt a t i onde vi e nt:

Wijk (n 1) Wijk (n) Wijk (n) Wijk (n)

Wijk (n 1) Wijk (n) ik Oik 1 (Wijk (n) Wijk (n 1))

(I.19)

(I.20)

Avec 0 1

I.11 Le minimum local Le fait que l'apprentissage utilise un principe de descente de gradient sur la surface d'erreur pour modifier les poids. Malheureusement il est possible de tomber dans des minimums locaux. Le réseau de neurones est une méthode qui se base sur le calcul de la s ur f a c ed ’ e r r e ur .Laf or meobt e n ued’ a pr è sl ’ é qua t i on del ’ e r r e ure s ts ousf or med’ une c onve xee te nc he r c ha ntàmi ni mi s e rl ’ e r r e ur ,l as ol ut i ont e ndve r sl emi ni mum.Lepr obl è me quis ep os eda nsc ec a s ,c ’ e s tqu’ i lpe utya voi runoupl us i e ur smi ni mu ms locaux induisant ainsi notre réseau en erreur [9][10][16] vue que si on a deux réseaux avec les même paramètres, i ls epe utquel ’ a ppr e nt i s s a g edel ’ uns oi tme i l l e urquec e l uidus e c ond[ 9]. Des méthodes sont à suivre af i nd’ é vi t e rl e smi ni mal oc a ux: - Mod i f i e rl epa sd’ a ppr e nt i s s a g edur é s e a upourpousser le réseau hors des minima locaux. - Ré dui r el e spoi dsdu r é s e a u pa runepe t i t equa nt i t éàc ha quepa sd’ a ppr e nt i s s a g e . L’ a c t i va t i ond’ unne ur ones a t ur equa nds e sl i e nspos s è de ntdet r opg r a ndspoi dss y na pt i que s . Cepr obl è mee s tdi f f i c i l eàr é s oudr el or sdel ’ a ppr e nt i s s a g e ,c a rl e sva l e ur sd’ a c t i va t i on extrêmes se traduisent souvent au niveau de la rétro-propagation par de petites corrections. Le réseau se trouve alors dans un minimum local. Réduire systématiquement tous les poids par une petite valeur à chaque correction contribue à garder les petits poids synaptiques, et peut résoudre ce problème.

El e c t r o t e c h ni q ueM’ s i l a2006

22

Chapitre I

Les Réseaux de Neurones Artificiels

- Re l a n c e rl ’ a ppr e nt i s s a gepl us i e ur sf oi se nut i l i s a ntde spoi dsi ni t i a u xdi f f é r e nts, ce qui entraîne un temps de calcul plus élevé [12]. - Ajouter une dose de bruit aléatoire auxpoi dsdur é s e a ux,pui sr e l a nc e rl ’ a ppr e nt i s s a g e , dans le but de « déloger » le réseau hors de bassins peu profonds [8][12][13].

départ aléatoire des wi Fonction d’ e r r e ur

Minimum local Minimum global

Figure (I.13) Courbe explicative du phénomène du minimum local

I.12 Quelques applications des réseaux de neurones Le spr opr i é t é sd’ a ppl i c a t i one td’ a ppr oxi ma t i onde sr é s e a uxdene ur one sontpe r mi sune importante application de ces derniers dans les différentes domaines pratiques, notamment, les domaines suivants :

I.12.1 Classification des signaux Classer des signaux dans des catégories différentes en fonction des caractéristiques de forme (amplitude, fréquence, phase, etc.. . ) ,pe utê t r er é a l i s éa i s é me ntpa rl ’ ut i l i s a t i o nd' un réseau de neurones. Supposons qu'on a deux catégories de signaux A et B et qu'on souhaite classer des formes dans ces deux catégories en fonction des caractéristiques de ces formes. On peut simplement définir la fonction non linéaire F qui vaut +1 pour les formes de la classe A et -1 pour celles de la classe B, le problème de classification revient l’ approximation

El e c t r o t e c h ni q ueM’ s i l a2006

23

Chapitre I

Les Réseaux de Neurones Artificiels

de la fonction non linéaire F qui peut être résolue par un réseau de neurones qui possède des entrées et une seule sortie pour fournir la décision [15].

I.12.2 Applications industrielles Le sdé bouc hé sc omme r c i a uxde st e c hni que sne ur ona l e s( e nc hi f f r ed’ a f f a i r e soue npa r t s dema r c hé )s et r ouve nts ur t outda nsde spr odui t sl og i c i e l se tma t é r i e l sd’ us a gegé né r a l ,e tpl us encore dans des prestations de service, alors que la pa r tàus a gei nt e r nede se nt r e pr i s e s( c ’ e s t à-dire les développement destinés à améliorer des méthodes ou des produits) est beaucoup plus difficile à estimer. La part de marché des applications militaires est importe, et on peut l ’ e s t i me ra ppr oxi ma t i ve me nt (avec prudence, étant donné que les informations sont i nc e r t a i ne s )e nt r eunt i e r se tl amoi t i édel ’ e ns e mbl e . Il est difficile de dresser un panorama exhaustif des applications des réseaux de neurones, pourpl us i e ur sr a i s ons .D’ unepa r t ,l e sa ppl i c a tions potentielle de certains types de réseaux décrits dans ce chapitre (en particulier les réseaux multicouches) sont si vastes et si diverses qu’ e l l e sr e c ouvr e ntde sdoma i ne st r è sva r i é s ,a y a ntpa ra i l l e ur spe udec hos e se nc ommun. D’ a ut r epa r t ,l apé né t r a t i onde st e c hni que sut i l i s a ntl e sr é s e a uxdene ur one s ,s e ul soue n a s s oc i a t i ona ve cd’ a ut r e st e c hni que s ,e s tt r è si né ga l e ,e ts et r ouveda nsunepha s ed’ e xpa ns i o n et de diversification. Enfin, beaucoup des réalisations connues sont plus souvent dans un état depr ot ot y pequ’ e ne xpl oi t a t i onvé r i t a bl e . Pl ut ôtquedepr oc é de ràuneé nu mé r a t i ond’ e xe mpl e spr é c i sdontl avi a bi l i t ée tl ’ ut i l i s a t i o n réelle peuvent être incertaines ou imprécises, il nous a semblé plus approprié de tenter une présentation sommaire en suivant grossièrement deux axes différents : par classe d’ a ppl i c a t i on,e npr e mi e rl i e u,pa rdoma i ned’ a c t i vi t éensuite [16]. Da nsl emonde ,e te npa r t i c ul i e ra uxU. S. A. ,l ’ i nt é r ê tpourl e sr é s e a uxdene ur one sa démarré plus tôt. Dès 1986, de 600 à 2000 visiteurs participent aux quelques grands congrès annuels. Au niveau commercial, la figure (I.14) montre que plus de 200 compagnies sont a uj our d’ huiimpliquées dans des développements d’ a ppl i c a t i onsc onne xi onni s t e s[1].

El e c t r o t e c h ni q ueM’ s i l a2006

24

Chapitre I

Les Réseaux de Neurones Artificiels

1960

1985 1987 Année

Figure (I.14) Evolution du nombre de compagnies proposant des produits connexionnistes

I.12.2.1 Reconnaissance de formes statiques Citons en premier lieu la reconnaissance def or me ss t a t i que s( c ’ e s t -à-dire indépendantes du temps). De façon générique, une forme est tout ensemble de grandeurs qui peut se représenter par un vecteur, ayant des composantes homogènes ou non. Par exemple, une image peut être mi s es ousf or med’ unes uc c e s s i ondepi xe l s ,r é s ul t a ntd’ unba l a y a ge ,oubi e n un écho sonar peut être représenté par une succession de pics fréquentiels en fonction de l ’ i ns t a ntder e t our ,e t c .l et r a i t e me ntd’ i ma g e spr oprement dit fait évidement partie intégrante de la reconnaissance de formes

en général. Des applications civiles (par exemple

reconnaissance de visages) aussi bien que militaires (reconnaissance de cibles) ont été décrites avec plus ou moins de détails. Une des applications les plus étudiées consistes dans la reconnaissance de signes manuscrits, en particulier les chiffres, en vue de la reconnaissance de codes postaux. Les laboratoires AT & T de Holmdel ont mis au point un système assez complexe, ma i se f f i c a c e ,dontl ec œure s tunr é s e a uàc i nqc ouc he sàpoi dspa r t a g é s ,p r é c é dé d’ uns y s t è medepr é t r a i t e me nte tdenor ma l i s a t i on.Unepa r t i edec er é s e a ue s tc ons t i t u é epa r un circuit intégré spécialement conçu, contenant quatre des cinq couches, et 130 000 connexions. Les performances atteignent 1000 caractères par seconde pour la puce seule, bien supérieure à celles du système complet, e ts ’ é l è ve nts e ul e me ntà20 caractères par seconde pour une i mpl a nt a t i ons u runpr oc e s s e urpl usg é né r a l i s t e .D’ a ut r e sr é a l i s a t i ons( a c c omp a g né e s ou non de circuits intégrés spécifiques) ont été annoncées dans le domaine de la lecture automatique de caractères imprimés, en alphabet romain comme en alphabet japonais [16].

El e c t r o t e c h ni q ueM’ s i l a2006

25

Chapitre I

Les Réseaux de Neurones Artificiels

I.12.2.2 Identification et commande de processus L’ i de nt i f i c a t i one tl ac omma ndedes y s t è me sc ompl e xe s( i nc l ua ntla robotique) sont un domaine oŭles réseaux de neurones prennent une place croissante : aide au pilotage de réacteurs chimiques ou de colonnes à distiller, c omma nded’ uneautomobile sans pilote ayant pour consigne de suivre une certaine trajectoire en terrain accidenté, commande de niveau de lingotière dans une acière à coulée continue, les applications se multiplient. En général, elles ne demandent que des ressources assez modestes, dans la mesure oŭles temps caractéristiques sont relativement longs : une simple simulation sur micro-ordinateur suffit très souvent en pha s ed’ e xpl oi t a t i on,l’ ut i l i t éde sr é s e a uxdene ur one ss eme s ur e également dans ce domaine pa rl ’ a s s e z gr a nde r a pi di t é de mi s ee n œuvr e initial e ,c ’ e s t -à-di r el ’ i de nt i f i c a t i o n pa r apprentissage. Mentionnons que les techniques de commande à logique floue peuvent faire appel aux réseaux de neurones pourl ’ a ppr e nt i s sage des règles [16].

I.12.2.3 Application militaires Bien que naturellement les publications soient relativement rares et que peu de détails soient donnés, les applications militaires « classiques » se retrouvent en reconnaissance de cibles, an a l y s ed’ i ma g e ,t r a i t e me ntdes i g na uxr a da rous ona r ,e tda nsunec e r t a i neme s ur ee n r obot i que .Lede r ni e rc i r c ui ti nt é g r éd’ I nt e l( quie s tun«accélérateur de reconnaissance », selon ses propres termes) a été financé pour moitié sur crédits militaires, à ha ut e urd’ e nvi r on 1,5 million de dollars $. Ce circuit implante une architecteur de type RBF (mesure des distances entre stimulus prototypes), développée par la société Nestor [16].

El e c t r o t e c h ni q ueM’ s i l a2006

26

Chapitre I

Les Réseaux de Neurones Artificiels

I.13 Conclusion A partir du comportement du cerveau huma i ne td’ unmodè l ene ur ona lbi ol og i que simple, les chercheurs ont arrivé à construire des modèles neuronaux artificiels plus complexes. Les réseaux de neurones présentent donc une très grande diversité, dans ce chapitre nous avons exposé les réseaux de neurones, en spécifiant leurs définitions, les c onc e pt sdeba s edec e t t et e c hni que ,l ’ a ppr e nt issage des réseaux de neurones et ses différents doma i ne sd’ ut i l i s a t i on. Nous avons présenté une étude sur l ’ a l g or i t hmedur é t r opropagation qui a prouvé son e f f i c a c i t éda nsl apr a t i quea ve cs e sc a pa c i t é sd’ a ppr e nt i s s a g ee td’ i de nt i f i c a t i on. Pour ces raisons, cet algorithme sera la base du travail qui sera présenté dans le prochain c ha pi t r equit r a i t el ’ i de nt i f i c a t i one tl ac omma ndepa rl e sr é s e a uxdene urones.

El e c t r o t e c h ni q ueM’ s i l a2006

27