Искусственные нейронные сети: Учебное пособие

Ф Е Д Е Р АЛ Ь Н О Е АГ Е Н Т С Т В О П О О Б Р АЗО В АН И Ю В О Р О Н Е Ж С К И Й Г О С У Д АР С Т В Е Н Н Ы Й У Н И В Е Р С И Т Е Т

К аш иринаИ .Л .

И ск усственны енейронны есети

У ч ебное п ос обие

П осп ец иа льнос ти 010501 (010200) «П рикла дна я м а тем а тика и инф орм а тика » Д Н М.Р.02 Д С.20

2 У твержденона уч но-м етодич ес ким с оветом ф а культета П рикла дной м а тем а тики, инф орм а тики и м еха ники 14 июня 2005 года , п ротокол № 6

У ч ебное п ос обие п одготовлено на ка ф едре м а тем а тич ес ких м етодов ис с ледова ния оп ера ц ий ф а культета П рикла дной м а тем а тики, инф орм а тики и м еха ники В оронежс кого гос уда рс твенного универс итета . Реком ендуетс я для с тудентов 5 курс а дневногоотделения и м а гис тров п ервогогода обуч ения

3

С одержание

В ведение

4

§ 1. Биологич ес кий ней рони егом а тем а тич ес ка я м одель

6

§ 2. Н ей рос ети 2.1. Кла сс иф ика ц ия и с вой с тва ней рос етей 2.2. Теорем а Колм огорова

9 9 11

§ 3. П ерс еп трон

12

§ 4. Сеть обра тногора с п рос тра нения

18

§ 5. Сеть вс треч ногора с п рос тра нения 5.1. Сеть Кохонена . Кла с с иф ика ц ия обра з ов 5.2. Н ей роны Грос с берга . В ыходные и входные з вез ды 5.3. Д вухс лой на я с еть вс треч ногора с п рос тра нения

23 23 25 26

§ 6. Стоха с тич ес кие с ети 6.1. О буч ение Больц м а на 6.2. О буч ение Кош и

29 30 31

§ 7. Сети с обра тным и с вяз ям и 7.1. Сеть Х оп ф илда 7.2. Сеть Х эм м инга 7.3. Сеть Д А П (двуна п ра вленна я а с с оц иа тивна я п а м ять)

33 33 38 39

§ 8. Сеть А РТ (а да п тивна я рез она нс на я теория)

42

П РИ Л О Ж Е Н И Е П рогра м м на я реа лиз а ц ия п ерс еп трона П рогра м м на я реа лиз а ц ия с ети Х эм м инга

44 44 48

4

ВВЕ ДЕ Н И Е И ск усственны енейронны есети (И Н С) с троятс я п оп ринц ип а м орга низ а ц ии и ф ункц ионирова ния их биологич ес ких а на логов. Они с п ос обны реш а ть ш ирокий круг з а да ч ра с п оз на ва ния обра з ов, идентиф ика ц ии, п рогноз ирова ния, оп тим из ац ии, уп ра вления с ложным и объекта м и. Д а льней ш ее п овыш ение п роиз водительнос ти ком п ьютеров вс е в больш ой м ере с вяз ыва ют с И Н С, в ч а с тнос ти, с ней роком п ьютера м и (Н К), ос новукоторыхс ос та вляет ис кус с твенна я ней ронна я с еть. Д онеда внеговрем ени на д ис кус с твенным и ней ронным и с етям и дом инирова ли логич ес кие и с им вольно-оп ера ц ионные дис ц ип лины (на п рим ер, экс п ертные с ис тем ы). Сей ч а с более п оп улярна точ ка з рения, ч то ис кус с твенные ней ронные с ети вс коре з а м енят с обой с оврем енный ис кус с твенный интеллект. О дна ко м ногое с видетельс твует отом , ч тоони будут с ущ ес твова ть вм ес те, объединяяс ь в с ис тем а х, где ка ждый п одход ис п ольз уетс я для реш ения тех з а да ч , с которым и он луч ш е с п ра вляетс я. К р атк ая и сто р и ч еск ая спр авк а. Терм ин «ней ронные с ети» с ф орм ирова лс я к с ередине 50-х годов XX века . О с новные рез ульта ты в этой обла с ти с вяз а ны с им ена м и У . Ма кка лоха , Д . Х ебба , Ф . Роз енбла тта , М. Минс кого, Д ж. Х оп ф илда . В 1943 г. У . Ма кка лох (W. McCulloch) и У . П иттс (W. Pitts) п редложили м одель ней рона и с ф орм улирова ли ос новные п оложения теории ф ункц ионирова ния головногом оз га . В 1949 г. Д . Х ебб (D. Hebb) выс ка з а л идеи оха ра ктере с оединений ней ронов м оз га и их вз а им одей с твии и оп ис а л п ра вила обуч ения ней ронной с ети. В 1957 г. Ф . Роз енбла тт (F. Rosenblatt) ра з ра бота л п ринц ип ы орга низ а ц ии и ф ункц ионирова ния п ерс еп тронов, п редложил ва риа нт технич ес кой реа лиз а ц ии п ервогов м ире ней роком п ьютера Mark. В 1969 г. была оп убликова на книга М. Минс кого (М. Minsky) и С. П ей п ерта (S. Papert) «П ерс еп троны», в которой дока з ыва етс я п ринц ип иа льна я огра нич еннос ть воз м ожнос тей п ерс еп тронов, ч то п ос лужило п рич иной уга с а ния интерес а к ис кус с твенным ней ронным с етям . В на ч а ле 80-х годов п роисходит воз обновление интерес а к ис кус с твенным ней ронным с етям , ка к с ледс твие на коп ления новых з на ний о деятельнос ти м оз га , а та кже з на ч ительного п рогрес с а в обла с ти м икроэлектроники и ком п ьютерной техники. В 1982-1985 гг. Д ж. Х оп ф илд (J. Hopfield) п редложил с ем ей с тво оп тим из ирующ их ней ронных с етей , м оделирующ их а с с оц иа тивную п а м ять. 1987 г. п ос лужил на ч а лом ш ироком а с ш та бногоф ина нс ирова ния ра з ра боток в обла с ти И Н С и Н К в СШ А , Я п онии и За п а дной Е вроп е. В 1989 г. ра з ра ботки и ис с ледова ния в обла с ти И Н С и Н К ведутс я п ра ктич ес ки вс ем и круп ным и электротехнич ес ким и ф ирм а м и. Н ей роком п ьютеры с та новятс я одним изс а м ых дина м ич ных с екторов рынка (з а два года объем п рода ж вырос в п ять ра з ).

5 В 1997 г. годовой объем п рода ж на рынке И Н С и Н К п ревыс ил 2 м лрд. долла ров, а ежегодный п рирос т сос та вил 50%. В 2000 г. бла года ря п ереходу на с убм икронные и на нотехнологии, а та кже ус п еха м м олекулярной и биом олекулярной технологии п роис ходит п ереход к п ринц ип иа льноновым а рхитектурным и технологич ес ким реш ениям п ос оз да нию ней роком п ьютеров. О сно вны е пр о бл ем ы , р еш аем ы е и ск усственны м и нейр о нны м и сетя м и К л ассиф ик ация о б р азо в. За да ч а с ос тоит в ука з а нии п рина длежнос ти входного обра з а , п редс та вленного вектором п риз на ков, одном у или нес кольким п редва рительно оп ределенным кла с с а м . К из вес тным п риложениям относ ятс я ра с п оз на ва ние букв, ра с п оз на ва ние реч и, кла с с иф ика ц ия с игна ла электрока рдиогра м м ы, кла с с иф ика ц ия клеток крови, з а да ч и рей тингова ния. К л аст ер изация/к ат его р изация. П ри реш ении з а да ч и кла с териз а ц ии, котора я из вес тна та кже ка к кла с с иф ика ц ия обра з ов безуч ителя, отс утс твует обуч а ющ а я выборка с обра з ц а м и кла с с ов. А лгоритм кла с териз а ц ии ос нова нна п одобии обра з ов и ра з м ещ а ет близ кие обра з ы в один кла с тер. И з вес тны с луч а и п рим енения кла с териз а ц ии для из влеч ения з на ний , с жа тия да нных и ис с ледова ния с вой с тв да нных. А п п р о к симация ф унк ций. П редп оложим , ч то им еетс я обуч а ющ а я выборка ((X1, Y2), (X2, Y2), ..., (XN, YN)), котора я генерируетс я неиз вес тной ф ункц ией , ис ка женной ш ум ом . За да ч а а п п рокс им а ц ии с ос тоит в на хождении оц енки этой ф ункц ии. Пр едск азание/п р о гно з. П ус ть з а да ны N дис кретных отс ч етов {y(t1),y(t2), ..., y(tn)} в п ос ледова тельные м ом енты врем ени t1, t2, ..., tn. За да ч а с ос тоит в п редска з а нии з на ч ения y(tn+1) в м ом ент tn+1. П рогноз ы им еют з на ч ительное влияние на п ринятие реш ений в биз нес е, на уке и технике. Оп т имизация. Многоч ис ленные п роблем ы в м а тем а тике, с та тис тике, технике, на уке, м едиц ине и эконом ике м огут ра с с м а трива тьс я ка к п роблем ы оп тим из ац ии. За да ч ей оп тим из а ц ии являетс я на хождение реш ения, которое удовлетворяет с ис тем е огра нич ений и м а кс им из ирует или м иним из ирует ц елевую ф ункц ию. Ка ким обра з ом ней ронна я с еть реш а ет вс е эти, ч а с то неф орм а лиз уем ые или трудно ф орм а лиз уем ые з а да ч и? Ка к из вес тно, для реш ения та ких з а да ч тра диц ионноп рим еняютс я два ос новных п одхода . П ервый , ос нова нный на п ра вила х (rulebased), ха ра ктерен для экс п ертных с ис тем . О н ба з ируетс я на оп ис а нии п редм етной обла с ти в виде на бора п ра вил (а кс иом ) «ес ли ..., то ...» и п ра вил вывода . И с ком ое з на ние п редс та вляетс я в этом с луч а е теорем ой , ис тиннос ть которой дока з ыва етс я п ос редс твом п ос троения ц еп оч ки вывода . П ри этом п одходе, одна ко, необходим о з а ра нее з на ть вес ь на бор з а коном ернос тей , оп ис ыва ющ их п редм етную обла с ть. П ри ис п ольз ова нии другого п одхода , ос нова нного на п рим ера х (casebased), на до лиш ь им еть дос та точ ное колич ес тво п рим еров для на с трой ки а да п тивной с ис тем ы с з а да нной с теп енью дос товернос ти. Н ей ронные с ети п редс та вляют с обой кла с с ич ес кий п рим ер та когоп одхода .

6

§ 1. Б И О Л О Г И ЧЕ С К И Й Н Е Й Р О Н И Е Г О М АТ Е М АТ И ЧЕ С К АЯ М О Д Е Л Ь . Н ервна я с ис тем а и м оз г ч еловека с ос тоят изней ронов, с оединенных м ежду с обой нервным и волокна м и. Н ервные волокна с п ос обны п ереда ва ть электрич ес кие им п ульс ы м ежду ней рона м и. Вс е п роц ес с ы п ереда ч и ра з дра жений от кожи, уш ей и гла зк м оз гу, п роц ес с ы м ыш ления и уп ра вления дей с твиям и - вс е этореа лиз ова но в живом орга низ м е ка к п ереда ч а электрич ес ких им п ульс ов м ежду ней рона м и. Н ейр о н (нервна я клетка ) являетс я ос обой биологич ес кой клеткой , котора я обра ба тыва ет инф орм а ц ию (рис . 1.). О нс ос тоит изт ел а, или со мы, и отрос тков нервных волокондвух тип ов - дендр ит о в, п о которым п риним а ются им п ульс ы, и единс твенногоак со на, п окотором у ней ронм ожет п ереда ва ть им п ульс . Тело ней рона включ а ет ядр о , которое содержит инф орм а ц ию о на с ледс твенных с вой с тва х, и п лазму, обла да ющ ую м олекулярным и с редс тва м и для п роиз водс тва необходим ых ней рону м а териа лов. Н ей рон п олуч а ет с игна лы (им п ульс ы) от а кс онов других ней ронов ч ерездендриты (п рием ники) и п ереда ет с игна лы, с генерирова нные телом клетки, вдоль с воегоа кс она (п ереда тч ика ), который в конц е ра з ветвляетс я на волокна . Н а оконч а ниях этих волоконна ходятс я с п ец иа льные обра з ова ния - синап сы, которые влияют на велич инуим п ульс ов.

Рис . 1. В з а им ос вяз ь биологич ес ких ней ронов

Кора головногом оз га ч еловека с одержит около1011 ней ронов. Ка ждый ней ронс вяз а нс 103-104 другим и ней рона м и. В ц елом м оз гч еловека с одержит п риблиз ительноот 1014 до1015 вз а им ос вяз ей . Иск усственны й нейр о н Ка ждый ней рон ха ра ктериз уетс я с воим текущ им с ос тоянием п о а на логии с нервным и клетка м и головногом оз га , которые м огут быть воз буждены или з а торм ожены. Онобла да ет груп п ой синап со в – однона п ра вленных входных с вяз ей , с оединенных с выхода м и других ней ронов, а та кже им еет ак со н – выходную с вяз ь да нного ней рона , с которой с игна л (воз буждения или торм ожения) п ос туп а ет на

7 с ина п с ы с ледующ их ней ронов. Общ ий вид ис кус с твенного ней рона п риведен на рис унке 2. И с кус с твенный ней ронв п ервом п риближении им итирует с вой с тва биологич ес кого ней рона . Здес ь м ножес тво входных с игна лов, обоз на ч енных х 1,х 2, ...,х n, п ос туп а ет на ис кус с твенный ней рон. Э ти входные с игна лы, в с овокуп нос ти обоз на ч а ем ые вектором Х, с оответс твуют с игна ла м п риходящ им в с ина п с ы биологич ес когоней рона . Ка ждый с ина п с ха ра ктериз уетс я велич иной синап cическ о йсвязи или ее весо м wi .

Рис . 2. Модель ис кус с твенногоней рона

Ка ждый с игна л ум ножа етс я на с оответс твующ ий вес w1,w2,...,wn, и п ос туп а ет на с ум м ирующ ий блок. Ка ждый вес с оответс твует "с иле" одной биологич ес кой с ина п cич ес кой с вяз и. (Множес твовес ов в с овокуп нос ти обоз на ч а ются вектором W). Сум м ирующ ий блок, с оответс твующ ий телу биологич ес кого элем ента , с кла дыва ет вз веш енные входы а лгебра ич ес ки, с оз да ва я велич ину S. Та ким обра з ом , текущ ее с ос тояние ней рона оп ределяетс я, ка к вз веш енна я с ум м а его входов: n

s = ∑ xi ⋅ wi . В ыход ней рона ес ть ф ункц ия егос ос тояния: y = f(s), где f - ак т иваi =1

цио нная ф унк ция, более точ но м оделирующ а я нелиней ную п ереда точ ную ха ра ктерис тику биологич ес кого ней рона и п редс та вляющ а я ней ронной с ети больш ие воз м ожнос ти. П рим еры некоторых а ктива ц ионных ф ункц ий п редс та влены в та бл. 1. и на рис . 3. Н а иболее ра с п рос тра ненным и являютс я п орогова я и с игм оида льна я а ктива ц ионные ф ункц ии. По р о го вая ф ункц ия огра нич ива ет а ктивнос ть ней рона з на ч ениям и 0 или 1 в з а вис им ос ти от велич ины ком бинирова нноговхода s. Ка к п ра вило, входные з на ч ения в этом с луч а е та кже ис п ольз уютс я бина рные: х i ∈ {0,1}. Ч а щ е вс егоудобнее ыва ем ое с м ещ ением ) извелич ины ком бинивыч ес ть п ороговое з на ч ение Θ (на з рова нноговхода и ра с с м отреть п ороговую ф ункц ию в м а тем а тич ес ки эквива лентn 0, s < 0; ной ф орм е: s = w0 + ∑ xi ⋅ wi , f ( s) =  . ≥ 1 , s 0 i =1  Здес ь w0 = −Θ - велич ина с м ещ ения, вз ята я с п ротивоп оложным з на ком . Cм ещ ение обыч но интерп ретируетс я ка к с вяз ь, ис ходящ а я от элем ента , з на ч ение которого вс егда ра вно 1. Ком бинирова нный вход тогда м ожно п редс та вить в виде

8 n

s = ∑ xi ⋅ wi , где x0 вс егда с ч ита етс я ра вным 1. i =0

Та блиц а 1. Ф ункц ии а ктива ц ии ней ронов

Н азвание П о р о го вая (ф унк ция единично го ск ачк а) Линейная Ло гист ическ ая (сигмо идал ьная) Гип ер б о лическ ийт ангенс Линейная с насыщ ением (л инейныйп о р о г)

Ф орм ула 0, s < Θ; f (s) =  1, s ≥ Θ f ( s ) = ks 1 f ( s) = 1 + e − as e as − e − as f ( s ) = as e + e − as 0, s < Θ;  f ( s) = ks, 0 ≤ s < Θ 1, s ≥ Θ 

О бласть з начений {0,1} ( −∞;+∞) (0,1) (-1,1) (0,1)

Рис . 3. П рим еры а ктива ц ионных ф ункц ий а - ф ункц ия единич ногос ка ч ка ; б - линей ный п орог; в - логис тич ес ка я ф ункц ия; г- гип ерболич ес кий та нгенс

Ло гист ическ ая ф ункц ия или с игм оид f (s) = 1 / (1+e-as) неп рерывноз а п олняет с воим и з на ч ениям и диа п а з онот 0 до1. П ри ум еньш ении а с игм оид с та новитс я более п ологим , в п ределе п ри а = 0 вырожда яс ь в гориз онта льную линию на уровне 0.5, п ри увелич ении а с игм оид п риближа етс я к видуф ункц ии единич ного с ка ч ка с п орогом 0. Следует отм етить, ч тос игм оида льна я ф ункц ия диф ф еренц ируем а на вс ей ос и а бс ц ис с , ч тоис п ольз уетс я в некоторых а лгоритм а х обуч ения. Кром е того, она обла да ет с вой с твом ус илива ть с ла бые с игна лы и п редотвра щ а ет на с ыщ ение от больш их с игна лов, та к ка к они с оответс твуют обла с тям а ргум ентов, где с игм оид им еет п ологий на клон.

9

§ 2. Н Е Й Р О С Е Т И 2.1. К лассиф ик ац ия и свойстванейросетей О дно сл о йны е и ск усственны е нейр о нны е сети Х отя одинней рони с п ос обенвып олнять п рос тей ш ие п роц едуры ра с п оз на ва ния, с ила ней ронных выч ис лений п роис тека ет от с оединений ней ронов в с етях. П рос тей ш а я с еть с ос тоит изгруп п ы ней ронов, обра з ующ их с лой , ка к п ока з а но в п ра вой ч а с ти рис . 4. О тм етим , ч товерш ины-круги с лева с лужа т лиш ь для ра с п ределения входныхс игна лов. О ни не вып олняют ка ких- либовыч ис лений и п оэтом у не будут с ч ита тьс я с лоем . П оэтой п рич ине они обоз на ч ены круга м и, ч тобы отлич а ть их от выч ис ляющ их ней ронов, обоз на ч енных ква дра та м и. Ка ждый элем ент изм ножес тва входов Х отдельным вес ом с оединенс ка ждым ис кус с твенным ней роном . А ка ждый ней ронвыда ет вз веш енную с ум м у входов в с еть. В ис кус с твенных и биологич ес ких с етях м ногие с оединения м огут отс утс твова ть, вс е с оединения п ока з а ны в ц елях общ нос ти. Могут им еть м ес тота кже с оединения м ежду выхода м и и входа м и элем ентов в с лое. У добнос ч ита ть вес а элем ента м и м а триц ы W. Ма триц а им еет n с трок и m с толбц ов, где n - ч ис ловходов, а m - ч ис лоней ронов. Н а п рим ер, w23 - это вес , с вяз ыва ющ ий второй вход с третьим ней роном . Та ким обра з ом , выч ис ление выходноговектора Y, ком п онента м и которогоявляютс я выходы yi ней ронов, с водитс я к м а трич ном у ум ножению Y = XW.

Рис 4. П рос тей ш а я однос лой на я ней ронна я с еть

М но го сл о йны е и ск усственны е нейр о нны е сети Более круп ные и с ложные ней ронные с ети обла да ют, ка к п ра вило, и больш им и выч ис лительным и воз м ожнос тям и. Х отя с оз да ны с ети вс ех конф игура ц ий , ка кие тольком ожнос ебе п редс та вить, п ос лой на я орга низ а ц ия ней ронов коп ирует с лоис тые с труктуры оп ределенных отделов м оз га . О ка з а лос ь, ч то та кие м ногос лой ные с ети обла да ют больш им и воз м ожнос тям и, ч ем однос лой ные, и в п ос ледние годы были ра з ра бота ны м ногообра з ные а лгоритм ы для ихобуч ения.

10

Рис 5. П рим ер м ногос лой ной ней ронной с ети

Многос лой ные с ети м огут обра з овыва тьс я ка с ка да м и с лоев. В ыход одного с лоя являетс я входом для п ос ледующ егос лоя. П одобна я с еть п ока з а на на рис . 5 и с нова из обра жена с овс ем и с оединениям и. Многос лой ные с ети не м огут п ривес ти к увелич ению выч ис лительной м ощ нос ти п ос ра внению с однос лой ной с етью лиш ь в том с луч а е, ес ли а ктива ц ионна я ф ункц ия м еждус лоям и не будет линей ной . В ыч ис ление выхода с лоя з а ключ а етс я в ум ножении входного вектора на п ервую вес овую м а триц у с п ос ледующ им ум ножением (ес ли отс утс твует нелиней на я а ктива ц ионна я ф ункц ия) рез ультирующ его вектора на вторую вес овую м а триц у. Та к ка к ум ножение м а триц а с с оц иа тивно, тодвухс лой на я линей на я с еть эквива лентна одном у с лою с вес овой м а триц ей , ра вной п роиз ведению двух вес овых м а триц . Следова тельно, люба я м ногос лой на я линей на я с еть м ожет быть з а м енена эквива лентной однос лой ной с етью. О буч ени е и ск усственны х нейр о нны х сетей Сеть обуч а етс я, ч тобы для некоторого м ножес тва входов да ва ть требуем ое (или, п о кра й ней м ере, с ообра з ное с ним ) м ножес тво выходов. Ка ждое та кое входное (или выходное) м ножес твора с с м а трива етс я ка к вектор. О буч ение ос ущ ес твляетс я п утем п ос ледова тельного п редъявления входных векторов с одноврем енной п одс трой кой весов в с оответс твии с оп ределенной п роц едурой . В п роц ес с е обуч ения вес а с ети п ос теп еннос та новятс я та ким и, ч тобы ка ждый входной вектор выра ба тыва л выходной вектор. Ра з лич а ют а лгоритм ы обуч ения с уч ителем и безуч ителя. Об учение с учит ел ем п редп ола га ет, ч тодля ка ждого входноговектора с ущ ес твует ц елевой вектор, п редс та вляющ ий с обой требуем ый выход. В м ес те они на з ыва ютс я о б учаю щ ейп ар о й. О быч но с еть обуч а етс я на некотором ч ис ле та ких обуч а ющ их п а р. П редъявляетс я выходной вектор, выч ис ляетс я выход с ети и с ра внива етс я с с оответс твующ им ц елевым вектором , ра з нос ть (ош ибка ) с п ом ощ ью обра тной с вяз и п ода етс я в с еть, и вес а из м еняютс я в с оответс твии с а лгоритм ом , с трем ящ им с я м иним из ирова ть ош ибку. В екторы обуч а ющ его м ножес тва п редъявляютс я п оследова тельно, выч ис ляютс я ош ибки, и вес а п одс тра ива ютс я

11 для ка ждого вектора до тех п ор, п ока ош ибка п о вс ем у обуч а ющ ем у м а с с иву не дос тигнет п рием лем ониз когоуровня. Об учение б ез учит ел я не нужда етс я в ц елевом векторе для выходов и, с ледова тельно, не требует с ра внения с п редоп ределенным и идеа льным и ответа м и. О буч а ющ ее м ножествос ос тоит лиш ь извходных векторов. О буч а ющ ий а лгоритм п одс тра ива ет вес а с ети та к, ч тобы п олуч а лис ь с огла с ова нные выходные векторы, т. е. ч тобы п редъявление дос та точ но близ ких входных векторов да ва ло одина ковые выходы. П роц ес с обуч ения, с ледова тельно, выделяет с та тис тич ес кие с вой с тва обуч а ющ его м ножес тва и груп п ирует с ходные векторы в кла с с ы. П редъявление на вход вектора изда нного кла с с а да с т оп ределенный выходной вектор, но до обуч ения невоз м ожно п редс ка з а ть, ка кой выход будет п роиз водитьс я да нным кла с с ом входных векторов. Следова тельно, выходы п одобной с ети должны тра нс ф орм ирова тьс я в некоторую п онятную ф орм у, обус ловленную п роц ес с ом обуч ения.

2.2. Т еорем аК олм огорова Ра с с м отрим в ка ч ес тве п рим ера двухс лой ную ней ронную с еть с n входа м и и одним выходом , котора я дос та точ ноп рос та п ос труктуре и в тоже врем я ш ироко ис п ольз уетс я для реш ения п рикла дных з а да ч . Э та с еть из обра жена на рис . 6. Ка ждый i-й ней ронп ервогос лоя ( i = 1,2..., m ) им еет n входов, которым п рип ис а ны вес а w1i, w2i, ..., wni .

Рис . 6. П рим ер ней ронной с ети

П олуч ив входные с игна лы, ней рон с ум м ирует их с с оответс твующ им и вес а м и, з а тем п рим еняет к этой с ум м е п ереда точ ную ф ункц ию и п ерес ыла ет рез ульта т на вход ней рона второго (выходного) с лоя. В с вою оч ередь, ней рон выходного с лоя с ум м ирует п олуч енные от второгос лоя с игна лы с некоторым и вес а м и vi. Д ля оп ределеннос ти будем п редп ола га ть, ч то п ереда точ ные ф ункц ии в с крытом с лое являютс я с игм оида льным и, а в выходном с лое ис п ольз уетс я тождес твенна я ф ункц ия, т. е. вз веш енна я с ум м а выходов второго с лоя и будет ответом с ети. П ода ва я на входы любые ч ис ла x1, x2, ..., xn, м ы п олуч им на выходе з на ч ение некоторой ф ункц ии Y=F(x1, x2, ..., xn), которое являетс я ответом (реа кц ией ) с ети. О ч евидно, ч то ответ с ети з а вис ит ка к от входного с игна ла , та к и от з на ч ений ее

12 внутреннихп а ра м етров — вес ов ней ронов. В ып иш ем точ ный вид этой ф ункц ии: m n 1 . где σ ( s) = F ( x1 , x2 ,..., xn ) = ∑ viσ ( ∑ x j ⋅ w ji ) , 1 + e − as i =1 j =0 В 1957 г. м а тем а тик А . Н . Колм огоров дока з а л с ледующ ую теорем у. Т еорем а К олм огорова. Л юба я неп рерывна я ф ункц ия от n п ерем енных F(x1, x2, ..., xn) м ожет быть п редс та влена в виде F ( x1 , x2 ,..., xn ) =

2 n +1

∑

i =1

n

g i ( ∑ hij ( x j )) , j =1

где gi и hij — неп рерывные ф ункц ии, п рич ем hij не з а вис ят от ф ункц ии F. Э та теорем а оз на ч а ет, ч то для реа лиз а ц ии ф ункц ий м ногих п ерем енных дос та точ но оп ера ц ий с ум м ирова ния и ком п оз иц ии ф ункц ий одной п ерем енной . К с ожа лению, п ри вс ей с воей м а тем а тич ес кой кра с оте, теорем а Колм огорова м а лоп рим еним а на п ра ктике. Э тос вяз а нос тем , ч тоф ункц ии hij — негла дкие и трудно выч ис лим ые; та кже неяс но, ка ким обра з ом м ожноп одбира ть ф ункц ии gj для да нной ф ункц ии F. Роль этой теорем ы сос тоит в том , ч тоона п ока з а ла п ринц ип иа льную воз м ожнос ть реа лиз а ц ии с коль угодно с ложных з а вис им ос тей с п ом ощ ью относ ительно п рос тых а втом а тов тип а ней ронных с етей . Более з на ч им ые для п ра ктики рез ульта ты в этом на п ра влении были открыты тольков 1989 г., з а тоодноврем еннонес кольким и а втора м и. П ус ть F(x1, x2, ..., xn) — люба я неп рерывна я ф ункц ия, оп ределенна я на огра на ч а ющ ее нич енном м ножес тве, и ε > 0 — любое с коль угодно м а лое ч ис ло, оз точ нос ть а п п рокс им а ц ии. Ч ерезσ обоз на ч ена с игм оида льна я ф ункц ию. Т еорем а. Сущ ес твуют та кое ч ис ло m, на бор ч ис ел wij, и на бор ч ис ел vi, ч то ф ункц ия m

n

i =1

j =0

f ( x1, x2 ,..., xn ) = ∑ viσ ( ∑ x j ⋅ w ji ) п риближа ет да нную ф ункц ию F(x1, x2, ..., xn) с п огреш нос тью не более ε на вс ей обла с ти оп ределения. Л егкоз а м етить, ч тоэта ф орм ула п олнос тью с овп а да ет с выра жением , п олуч енным для ф ункц ии, реа лиз уем ой ней рос етью. В терм ина х теории ней рос етей эта теорем а ф орм улируетс я та к. Л ю бую непреры вную ф унк ц ию неск оль к их перем енны х м ожно слю бой точность ю реализ овать с пом ощ ь ю двухслойной нейросети с достаточны м к оличеством нейроноввск ры том слое.

§ 3. П Е Р С Е П Т Р О Н О дной изп ервых ис кус с твенных с етей , с п ос обных к п ерц еп ц ии (вос п риятию) и ф орм ирова нию реа кц ии на вос п ринятый с тим ул, явилс я PERCEPTRON Роз енбла тта (F.Rosenblatt, 1957). П ер сеп т р о но м, ка к п ра вило, на з ыва ют однос лой ную ней ронную с еть, п ри этом ка ждый п ерс еп тронный ней рон в ка ч ес тве а ктива ц ионной ф ункц ии ис п ольз ует ф ункц ию единич ногос ка ч ка (п ороговую).

13 Ал го р и тм о буч ени я пер септр о на Д ля п рос тоты ра с с м отрим вна ч а ле п роц едуру обуч ения п ерс еп трона , с ос тоящ еготолькоизодногоней рона .

n

s = ∑ xi ⋅ wi i =0

Рис .7 О дноней ронный п ерcеп тронс n входа м и

П одробна я с хем а та кого п ерс еп трона из обра жена на рис .7. Ка к отм еч а лос ь ра нее, будем с ч ита ть, ч топ ерс еп троним еет доп олнительный вход x0 , который 0, s < 0; . вс егда ра вен1. В та ком с луч а е, п ороговое с м ещ ение Θ =0 и y= f ( s) =  1, s ≥ 0 О буч ение п ерс еп трона с ос тоит в п одс трой ке вес овых коэф ф иц иентов wi , где i = 0, n . О буч енный п ерс еп трон с п ос обен ра з делять требуем ое м ножес тво обра з ов на два кла с с а . (К п ервом у кла с с у относ ятс я входные обра з ы, для которых на выходе п ерс еп трона п олуч ено нулевое з на ч ение, ко втором у кла с с у – обра з ы, для которых п олуч еноединич ное з на ч ение). О буч ение п ерс еп трона – это обуч ение с уч ителем , то ес ть должен с ущ ес твова ть на бор векторов ( X k , y k ), k = 1, P , на з ыва ем ый о б учаю щ ей выб о р к о й. Здес ь X k = ( x1k , x2k ,..., xnk ) k = 1, P - п рим еры входных обра з ов, для которых з а ра нее из вес тна ихп рина длежнос ть к одном уиздвух да нныхкла с с ов. Будем на з ыва ть п ерс еп трон обуч енным на да нной обуч а ющ ей выборке, ес ли п ри п ода ч е на вход ка ждоговектора X k на выходе вс який ра зп олуч а етс я с оответс твующ ее з на ч ение y k ∈ {0,1}. П редложенный Ф .Роз енбла ттом м етод обуч ения с ос тоит в итера ц ионной п одс трой ке вес овых коэф ф иц иентов wi, п ос ледова тельноум еньш а ющ ей выходные ош ибки. А лгоритм включ а ет нес колькош а гов. Ш аг 0. П роиниц иа лиз ирова ть вес овые коэф ф иц иенты wi , i = 0, n , небольш им и с луч а й ным и з на ч ениям и (на п рим ер, издиа п а з она [-0.3, 0.3]) . Ш аг 1. П ода ть на вход п ерс еп трона один изобуч а ющ их векторов X k и выч ис лить ее выход y . Ш аг 2. Е с ли выход п ра вильный ( y = y k ), п ерей ти на ш а г4. И на ч е выч ис лить ош ибку- ра з ниц ум еждуверным и п олуч енным з на ч ениям и выхода : δ = y k − y .

14 Ш аг 3. В ес овые коэф ф иц иенты м одиф иц ируютс я п о с ледующ ей ф орм уле: wit +1 = wit + ν ⋅ δ ⋅ xik . Здес ь t и t+1 – ном ера с оответс твеннотекущ ей и с ледующ ей итера ц ий ; ν – коэф ф иц иент с корос ти обуч ения, (0 y (п олуч ен неп ра вильный нулевой выход вм ес то п ра вильного единич ного), то, п ос кольку δ > 0 , вес овые коэф ф иц иенты (а вм ес те с ним и и велич ина s) будут увелич ены и тем с а м ым ум еньш а т ош ибку. В п ротивном с луч а е вес овые коэф ф иц иенты будут ум еньш ены, и s тоже ум еньш итс я, на ч ению y k . п риближа я тем с а м ым y к з О бобщ им теп ерь этот а лгоритм обуч ения на с луч а й однос лой ной с ети, включ а ющ ей n п ерс еп тронных ней ронов (рис . 4). Та ка я с еть (п ри дос та точ но больш ом ч ис ле ней ронов) м ожет ос ущ ес твлять ра з биение обра з ов на п роиз вольное требуем ое ч ис локла с с ов. П ус ть им еетс я о б учаю щ ая выб о р к а, с ос тоящ а я из п а р векторов k ( X , Y k ), k = 1, P . Н а з овем ней ронную с еть обуч енной на да нной обуч а ющ ей выборке, ес ли п ри п ода ч е на входы с ети ка ждоговектора X k на выхода х вс який а ключ а етс я в итера ц ира зп олуч а етс я с оответс твующ ий вектор Y k . О буч ение з онной п одс трой ке м а триц ы вес ов W (wij –вес сина п с ич ес кой с вяз и м ежду i-м входом и j-м ней роном ), п ос ледова тельно ум еньш а ющ ей ош ибку в выходных вектора х. А лгоритм включ а ет с ледующ ие ш а ги. Ш аг 0. П роиниц иа лиз ирова ть элем енты вес овой м а триц ы W небольш им и с луч а й ным и з на ч ениям и. Ш аг 1. П ода ть на входы одинизвходных векторов X k и выч ис лить ее выход Y. Ш аг 2. Е с ли выход п ра вильный ( Y = Y k ) , п ерей ти на ш а г4. И на ч е выч ис лить вектор ош ибки - ра з ниц у м ежду идеа льным и п олуч енным з на ч ениям и выхода : k δ =Y −Y . Ш аг 3. Ма триц а вес ов м одиф иц ируетс я п о с ледующ ей ф орм уле:

15 wijt +1 = wijt + ν ⋅ δ ⋅ xi . Здес ь t и t+1 – ном ера с оответс твеннотекущ ей и с ледующ ей итера ц ий ; ν – коэф ф иц иент с корос ти обуч ения, (0 Θ j ;  N  y j , s j = Θ j n

Здес ь s j = ∑ yiN ⋅ wij , y Nj - з на ч ение выхода j-гоней рона на п редыдущ ем эта п е i =1

на ч ение j-гоней рона . ф ункц ионирова ния с ети, Θ j - п ороговое з В м одели Х оп ф илда п редп ола га етс я ус ловие симмет р ично ст ис вяз ей wij=wji, с нулевым и диа гона льным и элем ента м и wii=0. У с той ч ивос ть та кой с ети м ожет быть дока з а на с ледующ им обра з ом . В едем в ра с с м отрение ф ункц ию, з а вис ящ ую от с ос тояния с ети Y и на з ыва ем ую ф ункц ией энергии с ети Х оп ф илда : n 1 n n E (Y ) = − ∑ ∑ wij yi y j + ∑ Θ j y j 2 i =1 j =1 j =1 В ыч ис лим из м енение ф ункц ии энергии ∆ Е , выз ва нное из м енением с ос тояния j-ней рона ∆y j :

35 ∆E = (− ∑ wij yi + Θ j )∆y j = −( s j − Θ j )∆y j i≠ j

(з дес ь м ы вос п ольз ова лис ь с им м етрич нос тью с вяз ей и тем , ч то wii=0). Д оп ус тим , ч то велич ина s j больш е п орога Θ j . Тогда выра жение в с кобка х будет п оложительным , а извида а ктива ц ионной ф ункц ии с ледует, ч то новый выход ней рона j должен быть 1, то ес ть из м енитьс я в п оложительную с торону (или ос та тьс я без из м енения). Э то з на ч ит, ч то ∆y j ≥ 0 и тогда ∆E ≤ 0 . Следова тельно, энергия с ети либо ум еньш итс я, либо ос та нетс я безиз м енения. Д а лее, доп ус тим , ч то велич ина s j м еньш е п орога . Тогда новое з на ч ение y j =-1 и велич ина ∆y j м ожет быть только отриц а тельной или нулем . Следова тельно, оп ять энергия должна ум еньш итьс я или ос та тьс я безиз м енения. Е сли велич ина s j ра вна п орогу Θ j , ∆y j ра вна нулю и энергия ос та етс я безиз м енения. Э ти ра с с уждения п ока з ыва ют, ч то любое из м енение с ос тояния ней рона либо ум еньш ит ф ункц ию энергии, либо ос та вит ее безиз м енения. Та к ка к ф ункц ия энергии з а да на на конеч ном м ножес тве ( ∀yi ∈ {−1,1} ), то она огра нич ена с низ уи вс ледс твие неп рерывногос трем ления к ум еньш ению в конц е конц ов должна дос тигнуть м иним ум а и п рекра тить из м енение. П о оп ределению та ка я с еть являетс я ус той ч ивой . П оверхнос ть ф ункц ии энергии E в п рос тра нс тве с ос тояний им еет вес ьм а с ложную ф орм у с больш им колич ес твом лока льных м иним ум ов. Ста ц иона рные с ос тояния, отвеч а ющ ие м иним ум а м , м огут интерп ретирова тьс я, ка к о б р азы п а м яти ней ронной с ети. Сходим ос ть к та ком у обра з у с оответс твует п роц ес с у из влеч ения изп а м яти. П ри п роиз вольной м а триц е с вяз ей W обра з ы та кже п роиз вольны. Д ля з а п ис и в п а м ять с ети ка кой -либо конкретной инф орм а ц ии требуетс я оп ределенное з на ч ение вес ов W, которое м ожет п олуч а тьс я в п роц ес с е обуч ения. Пр ави л о о буч ени я Хебба Метод обуч ения для с ети Х оп ф илда оп ира етс я на ис следова ния Д она льда Х ебба , реа лиз ова вш егоп рос той м еха низ м обуч ения, на з ва нный п р авило м Хеб б а. Ра с с м отрим егоп одробно. П ус ть з а да на обуч а ющ а я выборка обра з ов X k , k = 1, K . Требуетс я п ос троить м а триц ус вяз ей W, та кую, ч тос оответс твующ а я ней ронна я с еть будет им еть в ка ч ес тве с та ц иона рныхс ос тояний обра з ы обуч а ющ ей выборки (з на ч ения п орогов ней ронов Θ j п оложим ра вным и нулю). В с луч а е одногообуч а ющ егообра з а X = ( x1 ,..., xn ), xi ∈ {−1,1} , п ра вилоХ ебба п риводит к м а триц е: wij = xi x j , i ≠ j , wii = 0. П ока жем , ч тос ос тояние Y=X являетс я с та ц иона рным для с ети Х оп ф илда с да нной м а триц ей W. Д ей с твительно, з на ч ение ф ункц ии энергии в с ос тоянии X являетс я для нее глоба льным м иним ум ом : 1 n n 1 n n 1 n n 1 E ( X ) = − ∑ ∑ wij xi x j = − ∑ ∑ xi x j xi x j = − ∑ ∑ xi2 x 2j = − n 2 , 2 i =1 j =1 2 i =1 j =1 2 i =1 j =1 2 тоес ть с еть п рекра тит из м енения, дос тигнув с ос тояния X.

36 Д ля з а п ом ина ния K обра з ов п рим еняетс я итера ц ионный п роц ес с : k k −1 k k wij = wij + xi x j , k = 1, K (с ч ита ем , ч то wij0 = 0 ). Э тот п роц ес с п риводит к п олной м а триц е с вяз ей : K

wij = ∑ xik x kj k =1

Сеть Х оп ф илда на ш ла ш ирокое п рим енение в с ис тем а хассо циат ивно йп амят и, п оз воляющ их вос с та на влива ть идеа льный обра зп оим еющ ей с я неп олной или з аш ум ленной еговерс ии. П рим ер. В ка ч ес тве п рим ера ра с с м отрим с еть, с ос тоящ ую из70 ней ронов, уп орядоч енных в м а триц у10 × 7.

Рис . 18 И деа льные обра з ы обуч а ющ ей выборки.

Сеть обуч а ла с ь п оп ра вилуХ ебба на трехидеа льныхобра з а х- ш риф товыхна ч ерта нияхла тинс кихбукв А , B и C (Рис . 18). Тем ные яч ей ки с оответс твуют ней рона м в с ос тоянии +1, с ветлые -1. П ос ле обуч ения ней рос ети в ка ч ес тве на ч а льных с ос тояний ней ронов п редъявлялис ь ра з лич ные ис ка женные версии обра з ов, которые в п роц ес с е ф ункц ионирова ния с ети с ходилис ь к с та ц иона рным с ос тояниям . Д ля ка ждой п а ры из обра жений на рис унка х19, 20 и 21 левый обра зявляетс я на ч а льным с ос тоянием , а п ра вый - рез ульта том ра боты с ети - дос тигнутым с та ц иона рным с ос тоянием .

Рис . 19. Сеть Х оп ф илда ра с п оз на ет обра зс инф орм а ц ионным ш ум ом .

Рис . 20. Сеть Х оп ф илда ра с п оз на ет обра зп оегонебольш ом у ф ра гм енту.

37

Рис . 21. Сеть Х оп ф илда генерирует ложный обра з .

О п ыт п ра ктич ес кого п рим енения с етей Х оп ф илда п ока з ыва ет, ч то эти ней рос етевые с ис тем ы с п ос обны ра с п оз на ва ть п ра ктич ес ки п олнос тью з а ш ум ленные обра з ы и м огут а с с оц иа тивно уз на ва ть обра зп о его небольш ом у ф ра гм енту. О дна ко ос обеннос тью ра боты да нной с ети являетс я воз м ожна я генера ц ия ложных обра з ов. Л ожный обра зявляетс я ус той ч ивым лока льным м иним ум ом ф ункц ии энергии, но не с оответс твует ника ком у идеа льном у обра з у. Н а рис . 21 п ока з а но, ч тос еть не с м огла ра з лич ить, ка ком у изидеа льных обра з ов (B или C) с оответс твует п ода нное на вход з а ш ум ленное из обра жение, и выда ла в ка ч ес тве рез ульта та неч тос обира тельное. Л ожные обра з ы являютс я "неверным и" реш ениям и, и п оэтом у для ис ключ ения их изп а м яти с ети на эта п е ее тес тирова ния п рим еняетс я м еха низ м “ р азо б учения”. Суть их з а ключ а етс я в с ледующ ем . Е с ли обуч енна я с еть на эта п е тес тирова ния с ош ла с ь к ложном у обра з у Z = ( z1 ,..., zn ) , те ее вес овые коэф ф иц иенты п ерес ч итыва ютс я п о ф орм уле: wij ' = wij − ε zi z j , где ε − м а лое ч ис ло ( 0 < ε < 0.1 ) ч то га ра нтирует нез на ч ительное ухудш ение п олез ной п а м яти. П ос ле нес кольких п роц едур ра з обуч ения с вой с тва с ети улуч ш а ютс я. Э то объяс няетс я тем , ч то с ос тояниям ложной п а м яти с оответс твуют гора з до более “ м елкие” энергетич ес кие м иним ум ы, ч ем с ос тояниям , с оответс твующ им з а п ом ина ем ым обра з ом . Д ругим с ущ ес твенным недос та тком с етей Х оп ф илда являетс я небольш а я ем кос ть п а м яти. Многоч ис ленные ис с ледова ния п ока з ыва ют, ч тоней ронна я с еть, обуч енна я п оп ра вилу Х ебба , м ожет в с реднем , п ри ра з м ера х с ети n , хра нить не более ч ем 0.14 n ра з лич ных обра з ов. Д ля некоторого увелич ения ем кос ти п а м яти с ети ис п ольз уетс я с п ец иа льный а лгоритм ортогона лиз а ц ии обра з ов. Пр о цедур а о р то го нал и заци и о бр азо в Д ва ра з лич ных з а п ом ина ем ых векторных обра з а с ети X k , X l ( k ≠ l ) на з ыва ютс я ортогона льным и, ес ли их с ка лярное п роиз ведение ра вно нулю: n

∑ x kj xlj = 0 . j =1

Е с ли вс е з а п ом ина ем ые обра з ы с ети

X k , k = 1, K п оп а рно ортого-

на льны, ем кос ть п а м яти с ети Х оп ф илда увелич ива етс я до n , то ес ть с еть м ожет з а п ом нить колич ес тво обра з ов, не п ревос ходящ ее ч ис ло ней ронов в ней . Н а этом с вой с тве ос нова но улуч ш ение п ра вила Х ебба : п еред з а п ом ина нием в ней ронной с ети ис ходные обра з ы с ледует ортогона лиз ова ть. П роц едура ра с ч ета вес овых коэф ф иц иентов в этом с луч а е им еет с ледующ ий вид: Ш аг1. В ыч ис ляютс я элем енты м а триц ы B = (bkl ), k , l = 1, K :

38 n

bkl = ∑ x kj x lj . j =1

Ш аг2. Оп ределяетс я м а триц а C , обра тна я к м а триц е B : C = B −1 . Ш аг3. За да ютс я вес овые коэф ф иц иенты с ети Х оп ф илда : K K

wij = ∑ ∑ xik x lj ckl k =1 l =1

Cущ ес твенным недос та тком м етода ортогона лиз а ц ии являетс я его нел о к ал ьно ст ь: п режде ч ем на ч а ть обуч ение, необходим о на п еред з на ть все обуч а ющ ие обра з ы. Д оба вление новогообра з а требует п олногоп ереобуч ения с ети.

7.2. С еть Х эм м инга О с новным недос та тком с ети Х оп ф илда являетс я ее больш а я рес урс оем кос ть. Сеть Х эм м инга ха ра ктериз уетс я, п ос ра внению с с етью Х оп ф илда , м еньш им и з а тра та м и п а м яти и м еньш им объем ом выч ислений . Э та сеть с ос тоит издвух с лоев. Ка ждый с лой им еет п оm ней ронов, где m — ч ис лоз а п ом ина ем ых обра з ов. Сеть им еет n входов, с оединенных с овс ем и ней рона м и п ервогос лоя (W- м а триц а вес овых коэф ф иц иентов с вяз ей ). Зна ч ения входов с ети - бип олярные (изм ножес тва {-1,1}). Н ей роны второго с лоя с вяз а ны м ежду с обой отриц а тельным и обра тным и (ингибиторным и) с вяз ям и. Е динс твенный вес с п оложительной обра тной с вяз ью для ка ждогоней рона с оединенс егоже выходом . И дея ра боты с ети с ос тоит в оц енке велич ины, обра тной ра с с тоянию Х эм м инга , от тес тируем ого обра з а до вс ех эта лонных обра з ц ов (ра с с тоянием Х эм м инга на з ыва етс я ч ис лоотлич а ющ ихс я битов в двух бина рных вектора х). Сеть должна выбра ть обра з ец с м иним а льным ра с с тоянием Х эм м инга донеиз вес тноговходного с игна ла — и а ктивиз ирова ть только один выход с ети, с оответс твующ ий этом уобра з ц у. W

Рис . 22. Структура с ети Х эм м инга

39 А ктива ц ионна я ф ункц ия ней ронов п ервогои второгос лоя им еет вид линей ного  s, s < T , где T , s ≥ T

п орога : y= f ( s) = 

y— з на ч ение а ктива ц ионой ф ункц ии; s— а ргум ент а ктива ц ионой ф ункц ии (вз веш енна я с ум м а входов); T — велич ина п орога . В елич ина T должна быть дос та точ нобольш ой , ч тобы любые воз м ожные з на ч ения а ргум ента не п риводили к на с ыщ ению з а однуитера ц ию ра боты с ети. Н а с та дии иниц иа лиз а ц ии вес овым коэф ф иц иента м п ервогос лоя п рис ва ива ютс я X с ледующ ие з на ч ения: wik = ik ; i ∈ 1, m, k ∈ 1, n 2 Xik — i-й элем ент k-говходногообра з а (Xik п рина длежит м ножес тву {-1,1}). П орогуа ктива ц ионной ф ункц ии п ервогос лоя T п рис ва ива етс я з на ч ение n/2. В ес овые коэф ф иц иенты торм оз ящ их с ина п с ов во втором с лое берут ра вным и некоторой велич ине 0 < ε < 1/m , вз ятой с обра тным з на ком . В ес ней рона , с вяз а нный с егоже выходом , им еет з на ч ение +1 (с м . рис . 22). Ал го р и тм функ ци о ни р о вани я сети Хэм м и нга Ш аг1. Н а входы с ети п ода етс я неиз вес тный вектор X, ис ходя изкоторого ра с с ч итыва ютс я с ос тояния (выходы) ней ронов п ервого с лоя, которые п ереда ютс я на вход второгос лоя. Ш аг2. В ыч ис ляютс я выходы ней ронов второгос лоя. Ш аг 3. П роверяетс я, из м енилис ь ли выходы ней ронов второго с лоя з а п ос леднюю итера ц ию. Е с ли да — выходы второгос лоя ум ножа ютс я на с оответс твующ ие вес овые коэф ф иц иенты и п ереда ютс я на входы этого же с лоя, а з а тем п ереход к ш а гу2. Е с ли нет — выходы с та билиз ирова лис ь и ра бота с ети з а верш ена . В отлич ие от с ети Х оп ф илда , ем кос ть с ети Х ем м инга не з а вис ит от ра з м ернос ти входногос игна ла , она в точ нос ти ра вна колич ес твуней ронов m. Сеть Х оп ф илда с входным с игна лом ра з м ернос тью 100 м ожет з а п ом нить 10 обра з ц ов, п ри этом у нее будет 10000 с ина п с ов. У с ети Х ем м инга с та кой же ем кос тью будет вс его лиш ь 1000 с ина п с ов. О дна кона выходе с еть Х ем м инга выда ет не ра с п оз на нный эта лонный обра з , а толькоего ном ер.

7.3. С еть Д АП (двунаправленная ассоц иативная пам ять ) Сеть Х оп ф илда реа лиз ует та к на з ыва ем ую а втоа с с оц иа тивную п а м ять. Э тооз на ч а ет, ч тообра зм ожет быть з а верш енили ис п ра влен, ноне м ожет быть а с с оц иирова нс другим обра з ом . Д вуна п ра вленна я а с с оц иа тивна я п а м ять (Д А П ), ра з ра бота нна я в 1988 г. Бертом Кос ко, являетс я гетероа с с оц иа тивной : она с охра няет п а ры обра з ов и выда ет второй обра з ец п а ры, когда а с с оц иирова нный с ним п ервый обра з ец п ода ется на вход с ети. Ка к и с еть Х оп ф илда , Д А П с п ос обна к обобщ ению, выра ба тыва я п ра вильные реа кц ии, нес м отря на ис ка женные входы. Сеть Д А П (рис . 22) с одержит два с лоя ней ронов. Э лем енты вес овой м а триц ы wij отра -

40 жа ют с вяз ь м ежду i − м ней роном п ервогос лоя и j − м ней роном второгос лоя i = 1, n, j = 1, m . В п роц ес с е ф ункц ионирова ния с ети входной вектор X ум ножа етс я на тра нс п онирова нную м а триц увес ов с ети W T и п ода ется на вход п ервого с лоя, в рез ульта те ч еговыра ба тыва етс я вектор выходных с игна лов ней ронов п ера тем ум ножа етс я на м а триц уW и п ода етс я на вход втовогос лоя Y . В ектор Y з рогослоя, который выра ба тыва ет выходные с игна лы, п редс та вляющ ие с обой новый входной вектор X . Э тот п роц ес с п овторяетс я дотехп ор, п ока с еть не дос м енятигнет с та бильногос ос тояния, в котором ни вектор X , ни вектор Y не из ютс я.

Y

X

Рис . 23. Структура с ети Д А П .

Н ей роны в обоих с лоях с ети Д А П ф ункц ионируют а на логич но ней рона м с ети Х оп ф илда . Э тот п роц ес с м ожет быть выра женс ледующ им обра з ом : n

y Nj +1 = f (∑ xiN w ji ), i =1 m

j = 1, m ,

xiN +1 = f ( ∑ y Nj +1wij ), i = 1, n , j =1

− 1, s < Θ j ;  где f ( s ) = 1, s > Θ j ;  pred ( s ), s = Θ j ,  f f pred (s ) - з на ч ение ф ункц ии а ктива ц ии да нногоней рона на п редыдущ ем ш а ге. П ус ть з а да на обуч а ющ а я выборка а с с оц иирова нных обра з ов ( X k , Y k ), k = 1, K . В ес ова я м а триц а с ети Д А П выч ис ляетс я ка к с ум м а п роиз ведений вс ех векторных K

п а р обуч а ющ егона бора : wij = ∑ xik y kj , i = 1, n, j = 1, m . k =1

41 В отлич ие от с ети Х оп ф илда , вес ова я м а триц а в с ети Д А П не ква дра тна я, ч товом ногих с луч а ях п оз воляет оп тим из ирова ть выч ис лительные з а тра ты, необходим ые для ф ункц ионирова ния с ети. В ернем с я к п рим еру с з а п ом ина нием букв А , В, С, ра с см отренном у в п . 7.1. Сеть Х оп ф илда в этом п рим ере им ела 10×7=70 входов и требова ла для с воей ра боты хра нения вес овой м а триц ы ра з м ером 70×70, с одержа щ ей 4900 элем ентов. А с с оц иируем с ка ждым извходных обра з ов с ети двухбитовый вектор: с им вол A будет с вяз а нс вектором (1,-1,-1), с им вол B с вектором (-1, 1,-1), с им вол C с вектором (-1,-1,1). Та ким обра з ом , на п рим ер, п ри п ода ч е на вход ис ка женной верс ии буквы A, с еть п ос ле с та билиз а ц ии должна выда ва ть обра з(1,-1, -1). Та к ка к а с с оц иирова нные п а ры з а ра нее из вес тны, это п риведет к п ра вильном ура с п оз на ва нию з а ш ум ленноговхода . Н одля ра боты та кой с ети требуетс я хра нение вс его70×3 =210 элем ентов вес овой м а триц ы. О с новным недос та тком с ети Д А П (ка к и с ети Х оп ф илда ) являетс я небольш а я ем кос ть п а м яти. Та к, на п рим ер, ч ис ло з а п ом ина ем ых а с с оц иа ц ий не м ожет п ревыш а ть ч ис ла ней ронов в м еньш ем слое. Е с ли вс е п ороговые з на ч ения Θ j будут нулевым и, то оц енка ещ е ухудш а етс я: ра з м ер з а п ом ина ем ой выборки не долl жен п ревос ходить , где l − ч ис ло ней ронов в м еньш ем с лое. Е с ли этот 2 log 2 l лим ит п ревыш ен, с еть на ч ина ет выра бота ть неверные выходные с игна лы, вос п роиз водя а с с оц иа ц ии, которым не обуч ена . У П РАЖ Н Е Н И Я 1. П ока жите, ч то вс е обра з ы обуч а ющ ей выборки являютс я ус той ч ивым и с ос тояниям и с ети с ортогона лиз ова нной вес овой м а триц ей . 2. О п ределите вес овую м а триц у с ети Х оп ф илда , необходим ую для с охра нения обра з ов X 1 = (−1,−1, 1, 1, 1,−1,1), X 2 = (−1, 1 − 1, 1,−1,−1,1), X 3 = (1,−1,−1, 1,−1, 1, 1) . П ока жите, ч то кром е этих обра з ов ус той ч ивым с ос тоянием с ети являетс я “ ложный ” вектор Z = ( −1, 1,−1,− 1,−1,−1,−1) . И м еет ли эта с еть другие ложные обра з ы? 3. Н а п иш ите п рогра м м у п ос троения с ети Х оп ф илда для з а п ом ина ния из обра жений животных (рис .22) (из обра жения вз яты изколлекц ии ка ртинок Word). Ка ждое из обра жение ра з бей те на 100 ф ра гм ентов с еткой 10×10. Ка ждый ф ра гм ент с оответс твует входном у з на ч ению 1, ес ли с одержит ч а с ть ка ртинки, и -1 – ес ли не с одержит. П роведите тес тирова ние сети и, п ри необходим ос ти, ра з обуч ение.

Рис . 24. И деа льные обра з ы для с ети Х оп ф илда .

4. Н а п иш ите п рогра м м ура с п оз на ва ния ц иф р с п ом ощ ью с ети Х эм м инга .

42 5. Н а п иш ите п рогра м м у неч еткоготекс товогоп оис ка на ос нове с етей Х эм м инга . Д ля ра боты п рогра м м ы необходим текс товый ф а й л с обра з а м и (с лова рь). П рогра м м а ра бота ет с ледующ им обра з ом : вводитс я с лово для п оис ка (воз м ожно, с ош ибка м и и в п роиз вольном п а деже). П рогра м м а должна на й ти слово изс лова ря, на иболее близ кое в нем у, и с п оз иц ионирова ть на нем ука з а тель. Э та лонным и обра з а м и с ети являютс я вс е с лова изим еющ егос я с лова ря. Д ля кодирова ния букв в ц иф ры м ожноис п ольз ова ть ASCII код или другие м етоды кодирова ния. Х орош о п одобра в с ис тем у кодирова ния м ожно з на ч ительно улуч ш ить ка ч ес тво ра с п оз на ва ния. Н а п рим ер, ес ть с м ыс л для ис п ра влении оп еч а ток, п риним а ть во вним а ние ра с п оложение букв на кла виа туре. Кодировка должна быть ра з ра бота на та ким обра з ом , ч тобы рядом ра с п оложенные на кла виа туре буквы им ели близ кие (п о Х эм м ингу) коды. Н а вход с ети ра с п оз на ва ем ое с ловоц елесообра з ноп ода ва ть неоднокра тно, п ос ледова тельно удва ива я ка ждую избукв и п ос ледова тельно уда ляя п о одной букве (кром е п ервой и п ос ледней ). О тветом с ети с ч ита етс я эта лонное с лово, им еющ ее больш е вс его с овп а дений букв, с тоящ ихна одина ковых м ес та х, (извс ех п олуч енных выходов с ети) с ис ходным с ловом . П рим ер: вводитс я с лово“ ис кус тв”. Н а вход п ооч ереди п ода ютс я: “ ис кус тв”, “ ис с кус тв”, “ ис ккус тв”, “ ис куус тв”,“ ис кус с тв”, “ ис кус ттв”, “ икус тв”, “ ис ус тв”, “ ис кутв”, “ ис кус в”. В ыходом являетс я эта лонное с лово“ ис кус с тво” (8 с овп а дений с п ятым изп ода нных с лов). 6. Н а п иш ите п рогра м м у, реа лиз ующ ую с еть Д А П для п рим ера изп . 7.1, вос п роиз водящ ую а с с оц иа ц ии, оп ис а нные в п .7.3.

§ 8. С Е Т Ь АР Т (АД АП Т И В Н АЯ Р Е ЗО Н АН С Н АЯ Т Е О Р И Я) А да п тивна я рез она нс на я теория включ а ет две п а ра дигм ы, ка жда я изкоторых оп ределяетс я ф орм ой входных да нных и с п ос обом их обра ботки. А РТ-1 ра з ра бота на для обра ботки двоич ных входных векторов, в то врем я ка к А РТ-2 м ожет кла с с иф иц ирова ть ка к двоич ные, та к и неп рерывные векторы. Ра с с м отрим п одробно с еть А РТ-1, та к ка к нес м отря на более п рос тую а рхитектуру, им енно она ис п ольз уетс я в больш инс тве п ра ктич ес ких п риложений . Сеть ART-1 обуч а етс я безуч ителя и реа лиз ует п рос той а лгоритм кла с териз а ц ии. В с оответс твии с этим а лгоритм ом п ервый входной с игна л с ч ита етс я обра з ц ом п ервого кла с тера . Следующ ий входной с игна л с ра внива етс я с обра з ц ом п ервого кла с тера . Говорят, ч то входной с игна л п рина длежит п ервом у кла с теру, ес ли ра с с тояние до обра з ц а п ервого кла с тера м еньш е п орога . В п ротивном с луч а е второй входной с игна л - обра з ец второго кла с тера . Э тот п роц ес с п овторяетс я для вс ех с ледующ их входных с игна лов. Та ким обра з ом , ч ис локла с теров ра с тет с теч ением врем ени и з а вис ит ка к от з на ч ения п орога , та к и от м етрики ра с с тояния, ис п ольз ующ ей с я для с ра внения входных с игна лов и обра з ц ов кла с с ов. Сеть А РТ-1 с одержит два с лоя ней ронов. Ч ис ло ней ронов п ервого с лоя n с овп а да ет с ра з м ернос тью входных обра з ов. Ч ис лоней ронов второгос лоя m из м еняетс я в п роц ес с е на с трой ки с ети и с овп а да ет с ч ис лом с ф орм ирова нных кла с теров.

43 Ал го р и тм функ ци о ни р о вани я сети АРТ-1 Ш аг1. И ниц иа лиз а ц ия с ети: N = 1, m = 1; tijN = bijN = 1, i = 1, n, j = 1, m , где bijN - с ина п тич ес кий вес с вяз и от i-го ней рона п ервого с лоя к j-м у ней рону второго с лоя на итера ц ии с ном ером N, tijN - с ина п тич ес кий вес с вяз и от j-го ней рона второго с лоя к i-м у ней рону п ервого с лоя на итера ц ии с ном ером N. В ес а bijN и tijN , i = 1, n оп ределяют обра з ец , с оответс твующ ий ней ронуj. За да ть 0xmax then xmax:=j; if iymax then ymax:=i; end; // ìàñøòàáèðóåì до границ всей сетки for i:=0 to n-1 do for j:=0 to n-1 do begin tmp[i,j]:=imgmatrix[ymin+trunc((i/n)*(ymax-ymin+1)),xmin+trunc((j/n)*(xmax xmin+1))]; end; DGImg.Enabled:=false; for i:=0 to n-1 do for j:=0 to n-1 do imgmatrix[i,j]:=tmp[i,j]; DGImg.Enabled:=true; Mainform.DGImg.Repaint; end;

О тобра жение отм а с ш та бирова нногои лока лиз ова нногорис унка на с етке (п оиз м ененным з на ч ениям входной м а триц ы): procedure TMainForm.DGImgDrawCell(Sender: TObject; ACol, ARow: Integer; Rect: TRect; State: TGridDrawState); begin with (Sender as TDrawGrid).Canvas do begin if imgmatrix[ARow,ACol]=1 then Brush.Color:=clRed; FillRect(rect); end; end;

О ч ис тка из обра жения (с тира етс я рис унок на с етке): procedure TMainForm.BtnClearClick(Sender: TObject); var i,j:integer;

48 begin DGImg.Enabled:=false; for i:=0 to n-1 do for j:=0 to n-1 do imgmatrix[i,j]:=0; DGImg.Enabled:=true; Mainform.DGImg.Repaint; end;

Ра с п оз на ва ние из обра жения на с етке: procedure TMainForm.BtnCheckClick(Sender: TObject); var i,j:integer; sum:real;//вход персептрона rety,//полученный выход персептрона test:shortint;//направление корректировки весов (+1 или -1) begin sum:=0; // ìàñøòàáèðóåì изображение на сетке до ее границ Mainform.BtnScaleClick(Sender); // ïîäñ÷èòûâàåì îòâåò ïåðcåïòðîíà äëÿ èìåþùåйñÿ ìàòðèöû âåñîâ for i:=0 to n-1 do for j:=0 to n-1 do sum:=sum+imgmatrix[i,j]*weights[i,j]; if sum>0 then rety:=1 else rety:=0; if rety=1 then test:=Application.MessageBox('Êðåñòèê?','Ðåçóëüòàò',MB_ICONQUESTION or MB_YESNO) else test:=Application.MessageBox('Íîëèê?','Ðåçóëüòàò',MB_ICONQUESTION or MB_YESNO); if test=IDNO then // îáó÷àåì персептрон в случае неправильного ответа begin if rety=0 then test:=1 else test:=-1; for i:=0 to n-1 do for j:=0 to n-1 do //корректируем веса по формуле weights[i,j]:=weights[i,j]+speed*test*imgmatrix[i,j]; //сохраняем измененные веса в файл SaveWeights('./weights.wts'); end; end;

Пр о гр ам м ная р еал и заци я сети Хэм м и нга В ка ч ес тве п рим ера п рогра м м ной реа лиз а ц ии с ети Х эм м инга ра с с м отрим реш ение уп ра жнения 4 из§ 7, то ес ть п рогра м м у, ра с п оз на ющ ую ч ерно-белые из обра жения ц иф р от 0 до 9 (реа лиз ова нную в с реде Delphi). Э та лонные обра з ы с одержа тс я в ф а й ла х0.bmp, 1.bmp,… ,9.bmp. Ра з м ер ра с п оз на ва ем оговходного обра з а (bmp-ф а й л) должен быть 100х100 точ ек (п а ра м етр SourceSize), а п еред обра боткой он п риводитс я к ра з м еру40x40 (п а ра м етр DestSize). Та ким обра з ом , колич ес твовходов с ети — 1600 (п а ра м етр n). Колич ес твовыходов m с овп а да ет с колич ес твом ц иф р и ра вняетс я 10. В ес отриц а тельной обра тной с вяз и ε второгос лоя был п ринят ра вным -0.05. О п ис а ние тип ов, конс та нт и п ерем енных: type

InputNeiron =recopd // Тип — нейрон первого слоя w: array[1..n] of real; // Весовые коэффициенты входов Output: real; // Выход end; Neiron= recopd // Тип — нейрон второго слоя Output:real; // Выход

49 Sum: real // Взвешенная сумма входов end; const SourceSize=100; // Размер стороны исходного изображения DestSize=40; // Размер стороны изображения для распознавания N=DestSize*DestSize; // Сколько входов m=10; // Сколько образов e=-1/(M*2); // Вес синапсов второго слоя var InputRow: array[1..m] of InputNeiron// Первый слой нейронов SecondRow: array[1..m] of Neiron//Второй слой нейронов I1,I2: TImage;//Эталонный и масштабированный образы Outputs=array[1..m] of real; // Копия выходов предыдущего прохода i,j,x,y,count,max, index:integer;

А лгоритм обуч ения с ети Х эм м инга , а да п тирова нный для да нной з а да ч и, выглядит с ледующ им обра з ом . 1. Выбира етс я i-й входной обра з . 2. И з обра жение лока лиз уетс я и п риводитс я к нужном ум а с ш та бу. 3. Обра зп оточ еч но п ода ё тс я на входы i-го ней рона . Е с ли k-я точ ка обра з а ч ё рна я, товес уk-говхода п рис ва ива етс я з на ч ение 0.5, в п ротивном с луч а е -0.5 . 4. П ереход на ш а г1, п ока не будут ис ч ерп а ны вс е эта лонные обра з ы. П рогра м м ный код а лгоритм а обуч ения: I1:=TImage.Greate(self); I2:=TImage.Greate(self); I2.Width:=DestSize; I2.Height:=DestSize; for i:=1 to m do begin I1.Picture.LoadFromFile(IntToStr(i-1)+’.bmp’); vScale(I1,I2); // Читаем и масштабируем образ end; for x:=1 to DestSize do for y:=1 to DestSize do // Перебираем поточечно if(I2.Canvas.Pixels[x-1,y-1]=clBlack)then InputRow[i].W[x*DestSize+y]=0.5; else InputRow[i].W[x*DestSize+y]=-0.5;

Д ля ус п еш ной ра боты нужновыяс нить точ ный ра з м ер и м ес топ оложение обра з а ц иф ры. П ос ле лока лиз а ц ии — п риводим обра зк ра з м еру40*40 (м а с ш та бирова ние). Э ти оп ера ц ии вып олняет ф ункц ия vScale(I1:TImage, var I2:TImage)- ка к на эта п е обуч ения с ети, та к и на эта п е ра с п оз на ва ния. Д ля эта лона , ввиду отс утс твия п ом ех, лока лиз а ц ию п ровес ти оч ень п рос то: дос та точ ноп ос ледова тельноп рос м отреть вс е точ ки обра з а и на й ти гра ниц ы ц иф ры. Л ока лиз а ц ия и м а с ш та бирова ние: var MinX,MinY,MaxX,MaxY:integer; // Границы локализованной цифры ScaleX, ScaleY: real//// Коэффициенты сжатия begin MinX:= SourceSize+1; MinY= MinX; MaxX= -1; MaxY= -1; for x:=0 to SourceSize-1 do//массив Pixels нумеруется с 0 for y:=0 to SourceSize-1 do if I1.Canvas.Pixels[x,y]=clBlack then begin if x<MinX then MinX=x; if y<MinY then MinY=y; if x>iMaxX then MaxX=x; if y>iMaxY then MaxY=y end;

50 ScaleX=(MaxX-MinX)/DestSize; ScaleY=(MaxY-MinY)/DestSize; for x:=0 to DestSize-1 do for y:=0 to DestSize-1 do I2.Canvas.Pixels[x,y] = I1.Canvas.Pixels[x*ScaleX+MinX,y*ScaleY+MinY]; end;

О бщ ий а лгоритм ра с п оз на ва ния для с ети Х эм м инга с ос тоит изч етырё хч а с тей : п ода ч а ра с п оз на ва ем огообра з а на входы с ети, п ереда ч а да нных с п ервогос лоя на второй , обра ботка да нных вторым с лоем , выбор ра с п оз на нногообра з а . А лгоритм ра боты п ервогоэта п а выглядит та к. 1. Выбира етс я оч ередной ней рон. 2. Обнуляетс я еговыход. 3. И з обра жение лока лиз уетс я и п риводитс я к нужном ум а с ш та бу. 4. Л ока лиз ова нный обра зп оточ еч ноп ода ё тс я на входы i-гоней рона . Е с ли k-я точ ка обра з а ч ё рна я, ток з на ч ению выхода п риба вляетс я з на ч ение вес а k-го входа , в п ротивном с луч а е этоз на ч ение выч ита етс я. 5. Зна ч ение выхода п роп ус ка етс я ч ерезф ункц ию линей ногоп орога . 6. П ереход на ш а г1, п ока не ис ч ерп а ны вс е ней роны п ервогос лоя. Код п ервогоэта п а п роц едуры ра с п оз на ва ния: for i: =1 to m do begin InputRow[i].Output:=0; for x: =1 to DestSize do for y: =1 to DestSize do // Подаём образ на нейроны первого слоя if i2.Canvas.Pixels[x-1,y-1]=clBlack then InputRow[i].Output:= InputRow[i].Output+InputRow[i].W[x*DestSize+y]; else InputRow[i].Output:= InputRow[i].Output-InputRow[i].W[x*DestSize+y]; if InputRow[i]. Output>=N/2 then InputRow[i].Output:=N/2; // Выход - через функцию линейного порога end

Н а втором эта п е на до п ереда ть да нные с выходов п ервого с лоя на входы второго и в с п ис ок рез ульта тов п редыдущ егоп рохода ра с п оз на ва ния: for i:=1 to m do begin SecondRow[i].Output= InputRow[i].Output; Outputs[i]:=InputRow[i].Output; SecondRow[i].Sum=0; end

Н а третьем эта п е на ч ина ет ра ботувторой с лой п ос ледующ ей с хем е. 1. Обнуляетс я с ч ё тч ик итера ц ий . 2. За п ом ина ютс я выходы ней ронов в с п ис ке рез ульта тов п редыдущ егоп рохода . 3. П еребира ютс я п ооч ередновс е ней роны. 4. Ка ждый ней рон п риним а ет з на ч ения выходов вс ех ней ронов, с ум м ирует их, п редва рительноум ножив на коэф ф иц иент ε (кром е с луч а я, когда ней ронп риним а ет с воё же з на ч ение, которое ос та етс я безиз м енения). 5. П олуч енную с ум м ука ждый ней ронп осыла ет на с вой выход. 6. П ереход на ш а г2, п ока выходы ней ронов на текущ ей итера ц ии не с овп а дут с выхода м и на п редыдущ ей или п ока с ч ё тч ик ч ис ла итера ц ий не п ревыс ит не-

51 которое з на ч ение. Теоретич ес ки второй с лой должен ра бота ть п ока его выходы не с та билиз ируютс я, нона п ра ктике колич ес твоитера ц ий ис кус с твенноогра нич ива ют. И с ходный код: Count:=0; repeat for i:=1 to m do // Значения предыдущей итерации begin Outputs[i]:=SecondRow[i].Output; SecondRow[i].Sum = 0; end for i:=1 to m do // Один шаг работы второго слоя for j:=1 to m do if i=j then // c его выходов на его же входы SecondRow[j].Sum := SecondRow[j].Sum+ SecondRow[i].Output; else SecondRow[j].Sum := SecondRow[j].Sum+ SecondRow[i].Output * e; Flag:=true; for i:=1 to m do begin SecondRow[i].Output = SecondRow[i].Sum If (Outputs[i] SecondRow[i].Output) then flag:=false; end; Count:=Count+1; until (flag or (Count>25));

П ос ледний ш а г— выбор ней рона второгослоя с на ибольш им з на ч ением на выходе. Е го ном ер и ес ть ном ер ра с п оз на нногообра з а: Max:= -N; For i:=1 to m do If SecondRow[i].Output>Max then begin Max = SecondRow[i].Output; Index = i; end;

Л И Т Е Р АТ У Р А 1. Минс кий М. Л . П ерс еп троны / М. Л . Минс кий , С. П ей п ерт - М: Мир, 1971. - 360 c. 2. Роз енбла тт Ф . П ринц ип ы ней родина м ики/ Ф . Роз енбла тт - М.: Мир, 1965.387 c. 3. У ос с ерм енФ . Н ей роком п ьютерна я техника : теория и п ра ктика / Ф . У ос с ерм ен- М.: Мир, 1992.- 380 с . 4. Ка ла нР. О с новные конц еп ц ии ней ронных с етей / Р. Ка ла н– М.: И з да тельс кий дом “ В ильям с ”, 2001.- 288 c. 5. Êðóãëîâ Â.Â. Èñêóññòâåííûå íåéðîííûå ñåòè. Òåîðèÿ è ïðàêòèêà/ Â.Â. Êðóãëîâ, Â.Â. Áîðèñîâ -Ì: Ãîðÿ÷àÿ ëèíèÿ- Òåëåêîì, 2002.-382 ñ. А втор: Реда ктор:

Ка ш ирина И .Л . Бунина Т.Д .