Сторінка
1
1. Поняття мереж зі зворотним зв’язком
Відсутність зворотного зв'язку гарантує безумовну стійкість мереж. Вони не можуть увійти в режим, коли вихід безперервно блукає від стану до стану і не придатний до використання. Але ця досить бажана властивість досягається не безкоштовно, мережі без зворотних зв'язків мають більш обмежені можливості в порівнянні з мережами із зворотними зв'язками.
Оскільки мережі із зворотними зв'язками мають шляхи, що передають сигнали від виходів до входів, то відгук таких мереж є динамічним, тобто після додавання нового входу обчислюється вихід і, передаючись по мережі зворотного зв'язку, модифікує вхід. Потім вихід повторно обчислюється, і процес повторюється знов і знов. Для стійкої мережі послідовні ітерації приводять до все менших змін виходу, поки зрештою вихід не стає постійним. Для багатьох мереж процес ніколи не закінчується, такі мережі називають нестійкими. Нестійкі мережі мають цікаві властивості і вивчалися як приклад хаотичних систем. Однак такий великий предмет, як хаос, знаходиться за межами цієї книги. Замість цього ми сконцентруємо увагу на стійких мережах, тобто на тих, які зрештою дають постійний вихід.
Проблема стійкості ставила в тупик перших дослідників. Ніхто не передбачав, які з мереж будуть стійкими, а які будуть знаходитися в постійній зміні. Більш того проблема представлялася настільки важкою, що багато дослідників були настроєні песимістично відносно можливості її рішення. На щастя, в роботі була отримана теорема, що описала підмножину мереж із зворотними зв'язками, виходи яких зрештою досягають стійкого стану. Це досягнення відкрило дорогу подальшим дослідженням і сьогодні багато вчених займаються дослідженням складної поведінки і можливостей цих систем.
Дж. Хопфілд зробив важливий внесок як в теорію, так і в застосування систем із зворотними зв'язками. Тому деякі з конфігурацій відомі як мережі Хопфілда. З огляду літератури видно, що дослідженням цих і схожих систем займалося багато дослідників. Наприклад, в роботі вивчалися загальні властивості мереж, аналогічних розглянутим тут. Роботи, що цитуються в списку літератури в кінці розділу, не скеровані на те, щоб дати вичерпну бібліографію по системах із зворотними зв'язками. Швидше вони є лише доступними джерелами, які можуть служити для пояснення, розширення і узагальнення що міститься цієї книги.
На рис. 1 показана мережа із зворотними зв'язками, що складається з двох прошарків. Спосіб представлення дещо відрізняється від використаного в роботі Хопфілда і іншого, але еквівалентний йому з функціональної точки зору, а також добре пов'язаний з мережами, розглянутими в попередніх розділах. Нульовий прошарок, як і на попередніх рисунках, не виконує обчислювальної функції, а лише розподіляє виходи мережі зворотно на входи. Кожний нейрон першого прошарку обчислює зважену суму своїх входів, даючи сигнал NET, який за допомогою нелінійної функції F перетворюється в сигнал OUT. Ці операції схожі з нейронами інших мереж.
Бінарні системи
У першій роботі Хопфілда функція F була просто пороговою функцією. Вихід такого нейрона рівний одиниці, якщо зважена сума виходів з інших нейронів більше порога Tj, в іншому випадку вона рівна нулю. Він обчислюється таким чином:
, (1)
OUTі = 1, якщо NETj>Тj,
OUTі = 0, якщо NETj<Тj,
OUT не змінюється, якщо NETj = Тj,
Рис. 1. Одношарова мережа із зворотними зв'язками. Пунктирні лінії означають нульові ваги
Стан мережі - це просто множина поточних значень сигналів OUT від всіх нейронів. У первинній мережі Хопфілда стан кожного нейрона змінювався в дискретні випадкові моменти часу, в подальшій роботі стани нейронів могли змінюватись одночасно. Оскільки виходом бінарного нейрона може бути тільки нуль або одиниця (проміжних рівнів немає), то поточний стан мережі є двійковим числом, кожний біт якого є сигналом OUT деякого нейрона.
2. Аналогово-цифровий перетворювач
У недавніх роботах розглядалася електрична схема, заснована на мережі із зворотним зв'язком, що реалізує чотирибітовий аналогово-цифровий перетворювач. На рис. 2 показана блок-схема цього пристрою з підсилювачами, що виконують роль штучних нейронів. Опори, що виконують роль ваги, з'єднують вихід кожного нейрона з входами всіх інших. Щоб задовольнити умові стійкості, вихід нейрона не сполучався опором з його власним входом, а ваги бралися симетричними, тобто опір від виходу нейрона i до входу нейрона j мало ту ж величину, що і опір від виходу нейрона j до входу нейрона i.
Помітимо, що підсилювачі мають прямий і інвертований виходи. Це дозволяє за допомогою звичайних позитивних опорів реалізовувати і ті випадки, коли ваги повинні бути негативними. На рис. 2 показані всі можливі опори, при цьому ніколи не виникає необхідності приєднувати як прямий, так і інвертований виходи нейрона до входу іншого нейрона.
У реальній системі кожний підсилювач має кінцевий вхідний опір і вхідну місткість, що повинно враховуватися при розрахунку динамічної характеристики. Для стійкості мережі не потрібно рівності цих параметрів для всіх підсилювачів і їх симетричність. Оскільки ці параметри впливають лише на час отримання рішення, а не на саме рішення, для спрощення аналізу вони виключені.
Передбачається, що використовується порогова функція (межа сигмоїдальної функції при l , прагнучому до нескінченності). Всі виходи змінюються на початку дискретних інтервалів часу, званих епохами. На початку кожної епохи досліджується сума входів кожного нейрона. Якщо вона більше порога, вихід приймає одиничне значення, якщо менше - нульове. Протягом епохи виходи нейронів не змінюються.
РИС. 2. Чотирибітовий аналогово-цифровий перетворювач,
що використовує мережу Хопфілда
Метою є такою вибір опорів (ваг), що безперервне зростаюче напруження X, до одновходового термінала, породжує множину з чотирьох виходів, що представляють двійковий запис числа, величина якого приблизно рівна вхідній напрузі (рис. 3). Визначимо спочатку функцію енергії таким чином:
, (2)
де X - вхідна напруга.
Завантажити реферат