Материал: Элементы искусственного интеллекта в робототехнике. Ефремов Д.А

x₂ y₂ x₂ y₂

Рис. 13. Основные структуры нейронных сетей

а) полносвязные сети; б) многослойные сети; в) слабосвязные сети

Нейронные сети классифицируются по некоторым при­-

знакам. Если в сетях используются нейроны с одинако­выми функциями активации, то сети называются гомогенными. В проти­вном случае гетерогенные.

36

Сети, которые обрабатывают аналоговые сигналы, называются аналоговыми, сети для обработки цифровой информации – бинарными.

Нейроны в сети возбуждаются в определенные времен­ные такты. Если каждый нейрон имеет собственное время воз­буждения, то сеть называется асинхронной. Если нейроны в се­ти тактируются по группам, то сеть называется синхронной. В частности, в многослойных сетях тактирование выполняется по слоям.

При выборе архитектуры сети используются некоторые

эмпирические сведения, которые позволяют оценить пример­ное количество связей и количество нейронов. Для многосло­йных сетей применяются следующие оценки:

m∙N/(1+log₂N) L (mN+1) ∙ (n+m+1)+1

где L – количество связей в сети;

n – количество входов;

N – количество обучающих образцов;

m – количество выходов.

При выбранном L и выбранном количестве слоев можно опре­де­лить количество нейронов. В частности, для сети пря­мого ра­спространения с двумя скрытыми слоями, количество нейро­нов в этих слоях определится как:

K= L/n+m

Рис.15. Примеры построения границ разделов в одномерном (а) пространстве признаков с использованием персептрнонной сети (б).

Одновходовый персептрон позволяет разделить одномер­ное пространство признаков на две области. Граница раздела области признаков задается величиной порога сумматоров и весом входа: S=Wx+b.

Для того, чтобы в одномерном пространстве выделить

внутреннюю область (рис.15а), нужно использовать два персе- птрона П1 и П2, каждый из которых задает свою границу разделения прос­транства (рис.15б). Объединив их выходы на персептроне П3, получаем двухслойную сеть, выход которой y. Одним состоянием сеть указывает на прина­д­лежность входного признака внутренней области простран­ства, а противоположным состоянием - внешней.

П1

П2

Рис.16. Персептронная сеть для разделения двумерного пространства

С увеличением размерности пространства (увеличением

39

количества входов) персептронная сеть конструируется по принципу: все входы соединяются со всеми входами персептронов решающего (скрытого) слоя.

В пространстве X1, X2 отдельный персептрон (Рис.16) устанавливает границу раздела, по одну сторону которой выделяются признаки, соответствующие значению y=1, а по другую: =0 (Рис.17).

Второй персептрон сети устанавливает вторую гра­ни­цу раздела и таким образом, пространство признаков разде­ля­ется на 2 области с границей раздела более сложной конфигу­рации. Если в решающий слой добавить третий персептрон, то организуется третья граница раздела, которая в сочетании с первыми двумя может организовать замкнутую область.

Если взять n-мерное пространство, то персептронная сеть, имеющая n-входов, разделяет это пространство гипер­по­ве­­рхностями соответствующей размерности. В частности, для трехмерного пространства границы выделяемых областей – ги­пер­шары

X2

y=1

X1

y=0

Рис. 17. Границы раздела в двумерном пространстве признаков с использованием сети с тремя персепртронами в решающем слое.

4.3. Обучение персептронных сетей

Для обучения персептронных сетей используется используется метод наблюдаемого обучения (метод обучения с учителем).

40

При обучении создается набор эталонных образцов (на­боры входной информации). Для каждого входного набора

вы­бирается выходное состояние нейронов решающего слоя. При обучении выполняется коррекция весов связей в сети до тех пор, пока выходное состояние сети не будет совпадать с выбран­ным с некоторой погрешностью. Обучение выполняется по следующему алгоритму:

1. Выбирается образец X={x_i}, характеризующийся набором значений входов x_i;

2. Весам связей присваиваются некоторые случайные значения (инициализация сети);

3. Вычисляется выходное состояние сети Y={y_j};

4. Определяется разность между выходным состоянием сети и образцом =Y-D, где D – образ состояния, соответствующий образцу;

5. Выполняется коррекция весов отдельных входов по выражению: ∆W_ij=∙_j∙x_i, где  - коэффициент скорости обучения;

6. Вычисляются новые значения весов;

7. Определяется новое состояние Y;

8. Определяется погрешность состояния . Если она не превы­шает некоторой установленной границы, то обучение за­канчи­вается, если же превышает, то повторяется цикл коррекции весов.

4.4. Сети встречного распространения

Эти сети состоят из двух слоев: первый слой называется слоем Кохонена (К), а второй – слоем Гроссберга (Г) (рис.18).

Первый слой осуществляет суммирование входных сиг­налов сети и выделяет совокупность признаков определенного типа на выходе одного нейрона (принцип “Победитель полу­ча­ет все”). Для другого набора признаков слой устанавливает единичное состояние другого нейрона и т. д.

Второй слой устанавливает на своих выходах значения, которые соответствуют взвешенному состоянию единичного нейрона первого слоя, т. е. значение выхода отдельного нейро-

41

на второго слоя равен весу связи этого нейрона с нейроном

первого слоя, находящегося в единичном состоянии.

y=W₁₁

W₁₁

W₁₂ y= W₁₂

W₁₃

y= W₁₃

W₁₄

y =W₁₄

К Г

Рис. 18. Фрагмент сети встречного распространения

Обучение для данной сети выполняется послойно, для каждого слоя по своему алгоритму. Первый слой обучается без учите­ля (ненаблюдаемое обучение). При таком способе обучения вы­пол­няется инициализация слоя, т. е. задается случайный набор значений весов входов. Далее выполняется корректировка ве­сов по следующей формуле: W_H=W_C+(x-W_C),

где W_C – значение веса на некоторой итерации;

W_H – значение веса на следующей итерации.

Слой обучается до тех пор, пока его выходы не застабилизируются.

Второй слой обучается с учителем, т. е. для каждого ней­рона первого слоя, находящегося в единичном состоянии, выбира­ется набор значений выходов. Коррекция весов связей между первым и вторым сло­ем осуществляется на величину, пропорциональную раз­но­сти действующего значения и образцового.

Для реализации обучения входные значения норми­руют­ся. Нормирование выполняется по отношению к сумме квад­ра­т­ов значений всех входов: X_in=

Сеть Кохонена - Гросберга выделяет образец при установке входных сигналов на входах слоя Кохонена. Если сигна-

42

лы установить на выходах сети, сеть установит на входах соответствующий набор, отображающий предъявленный образец. Поэтому такие сети называются сетями встречного распространения.