Перцептрони


Категория на документа: Други


24.Перцептрони. Обикновен перцептрон с прагови неврони. Линейна отделимост. Примери.

8.1.Перцептрони

Kaкто вече беше споменато, обучението на една НМ със зададена архитектура се свежда до избор на подходящи тегла на връзките в НМ. Понякога това води до решаването на сложна оптимизационна задача. Често се оказва по-лесно да се използва итеративен подход, при които подходящите тегла wij се определят чрез последователни подобрения, започвайки от произволна стойност. В този раздел ще разглеждаме мрежи с определен вход и изход и ще предполагаме, че имаме списък от обучаващо множество от примери на коректни входно-изходни двойки. Когато приложим един от обучаващите образци към мрежата, можем да сравним мрежовият изход с коректния изход, и тогава да променим теглата на връзките wij така, че да минимизираме разликата. Това се осъществява, като се правят малки корекции за всяка обучаваща двойка. След настройката на теглата е интересно да се опитат входни примери, които не принадлежат към обучаващото множество, за да с види дали НМ може успешно да обобщава това, което е научила.

Ще разгледаме обучение с учител на НМ с определена архитектура: многослойни прави мрежи [....]. Многослойните прави мрежи са наречени перцепрони, като за първи път са изучавани в детайли от Розенблат. На фиг.8.1. са показани два примера на перцептрони.

Фиг 8.1. Перцептрони: а)- прост перцептрон б)- двуслоен перцептрон. Входовете са запълнените кръгчета

Характерно за перцептроните е, че имат множество входни терминали, чиято единствена задача е да предават входния образец към останалата част от мрежата. Следват един или повече междинни слоеве от неврони и накрая изходният слой, където се извежда резултатът от изчисленията. Не съществуват връзки от възел към неврони от предишни слоеве, нито към елементи от същия слой, нито към неврони от повече от един слой напред. Всеки Н предава данни само към невроните от следващия слой. Възлите от междинните слоеве се наричат скрити неврони, защото те нямат директни връзки с външната среда - нито входни, нито изходни. Ако мрежата има само един скрит слой, ще я разглеждаме като двуслойна - входните терминали не се считат за слой. N-слойна мрежа има N-1 скрити слоя и N слоя връзки. В правите мрежи всички връзки са еднопосочни.

Еднослойните прави мрежи са известни като обикновени перцептрони. Имат множество от N входа и един изходен слой, но нямат скрити слоеве (фиг.8.1а). Входовете и изходите са означени с к и Оi съответно. Изчисленията в такива мрежи се описват чрез съотношението

, 8.1
където g(h) е функцията, посредством която невроните изчисляват стойностите на активностите си. Обикновено g(h) се избира нелинейна функция: прагова функция, сигмоидна или др. Изходът е явна функция на входа - входът се разпространява по мрежата и накрая се получава изходът. В зависимостта (8.1) са пропуснати всякакви прагове, защото те винаги могат да се интерпретират като връзки с допълнителен входен терминал, чиято активност е постоянна, = -1. По-точно можем да въведем 0 = -1и и тегло след този вход wi0=i, за да получим

8.2
с прагове i.

Задачата на такава мрежа е да се търси изходен образец е в отговор на входния образец  , т.е. искаме действителният изходен образец О да бъде равен на желания е , т.е. да е изпълнено условието:

Oi = еi 8.3

за всяко i и  .

За обикновения перцептрон действителния изходен образец О се получава от (8.1), като входовете к формират образеца  , т.е. :

. 8.4

Нека с р означим броят на входно-изходните двойки в обучаващото множество, така че =1,2,...р.

Входните (), изходните (О) и желаните (е) стойности могат да са булеви (например 1 или 1/0) или непрекъснати. За изходите това зависи от функцията на активност g(h). Понякога се използват изходи с реални стойности, но двоични желани стойности. Тогава ще очакваме изходите Оi да бъдат в достатъчна малка околност на желаните стойности.

За обикновените перцептрони, ако съществува множество от тегла wiк, които да извършват необходимите изчисления, то тези тегла могат да бъдат намерени с просто обучаващо правило. Обучението започва със случайно предложение за стойностите на теглата (инициализация), след което се правят итеративни подобрения. Обикновено удовлетворителен отговор н НМ се получава след краен брой стъпки.

8.1.1. Перцепрон с прагови неврони
1. Обща характеристика

Ще започнем пазглеждането с най-простия случай на детерминирани прагови Н, за които g(h)=sgn(h) (прагова функция). Предполагаме, че желаните изходни стойности са 1. в такъв случай всичко, което определя изхода на Н, е знакът на мрежовия вход hi към изходния възел i. Искаме този знак да бъде същият като този на желания образец еi за всяко i и .

Изходните Н са независими, затова често в даден момент от времето се разглежда само един от тях и се изпуска индексът i. Теглата wiк формират тегловия вектор W=(w1,w2,...wN), който има една компонента за всеки вход (N е броят на входовете). Входният образец се представя чрез входния вектор  в същото N-мерно пространство. Оттук условието (8.3) (Оi =еi (желано)) придобива вида

sgn(w)=е за всяко  . 8.5

Геометричната интерпретация на тази ависимост е илюстрирана на фиг.8.2 [....]. Перцептронът трябва да намери в процеса на обучение такъв тегловен вектор W, че линейната повърхнина (права линия в двумерния случай, равнина в тримерния и хиперповърхнина в повече от тримерния случай) с уравнение W=0 да разделя пространството на образите на подобласти (в случая две), във всяка от които попадат образи само от един клас. Всъщност това е уравнението на линейна РФ (линейната РФ), която разделя пространството на входните образци на две подобласти. Равнината с уравнение W=0 е перпендикулярна на тегловния вектор W и минава през началото на координатната система. Следователно условието за коректно функциониране на мрежата е равнината да разделя входните вектори, които имат положителни и отрицателни изходи. На фиг.8.2.а е показан пример, когато имаме два входа 1 и 2 с реални компоненти и осем образеца ( = 1,2,...8), означени с А-Н.

Фиг 8.2. Геометрична интерпретация на условията

Разгледан е само едни изход на Н. Черните кръгчета представят входните образци, за които изходът е = +1, а белите - входните образци, за които е = -1. Условието за правилна работа на мрежата е равнината (в конкретния пример правата), перпендикулярна на тегловния вектoр W, да разделя точките от двата класа.




Сподели линка с приятел:





Яндекс.Метрика
Перцептрони 9 out of 10 based on 2 ratings. 2 user reviews.