WWW.REFERATCENTRAL.ORG.UA - Я ТУТ НАВЧАЮСЬ

... відкритий, безкоштовний архів рефератів, курсових, дипломних робіт

ГоловнаІнформатика, Компютерні науки → Проблематика і класифікаційний аналіз штучних нейронних мереж - Реферат

Проблематика і класифікаційний аналіз штучних нейронних мереж - Реферат


Реферат на тему:
Проблематика і класифікаційний аналіз штучних нейронних мереж
В останнє десятиліття спостерігається бурхливий розвиток нейромережних технологій в різних галузях людської діяльності.
Штучні нейронні мережі (ШНМ) це паралельні мережі простих нейронних елементів (вузлів), де кожний вузол виконує операцію типу додавання зважених входів із наступним їх посиленням. Класифікаційний аналіз нейронних мереж поданий на рис. 1. Слід зазначити, що структура будь-якої ШНМ, може розглядатись як направлений граф з обґрунтованими зв'язками, в якому штучні нейрони є вузлами. За архітектурою зв'язків ШНМ можуть бути згруповані у два класи: мережі прямого поширення, в яких графи не мають петель, і рекурентні мережі, або мережі зі зворотними зв'язками.
Мережі прямого поширення є статичними, оскільки на задане вхідне діяння вони виробляють одну сукупність вихідних значень, які не залежать від попереднього стану мережі. Рекурентні мережі є динамічними, бо в силу зворотних зв'язків у них модифікуються входи нейронів, що суттєво змінюють стан мережі.
Мережі, які використовують радіальні базисні функції (RBF-мережі) [1], є окремим випадком двошарової мережі прямого поширення. Кожний елемент прихованого прошарку використовує як активаційну функцію радіальну базисну функцію типу гауссової. Радіальна базисна функція (функція ядра) центрується в точці, яка визначається ваговим вектором, пов'язаним із нейроном. Як позиція, так і ширина функції ядра, повинні бути навчені за вибірковими зразками. Звичайно ядер набагато менше, ніж навчальних прикладів. Кожний вихідний елемент обчислює лінійну комбінацію цих радіальних базисних функцій.
Карти Кохонена [2], що самоорганізуються (SOM), мають сприятливу властивість зберігання топології, яка відтворює важливий аспект карт ознак у корі головного мозку високоорганізованих тварин. У відображенні зі зберіганням топології близькі вхідні приклади збуджують близькі вихідні елементи. За суттю мережі SOM Кохонена являють собою двовимірний масив елементів, причому, кожний елемент пов'язаний з усіма n вхідними вузлами. Така мережа є спеціальним випадком мережі, яка навчається методом змагання, і в якій визначається просторове оточення для кожного вихідного елементу.
Дилема стабільності пластичності є важливою особливістю навчання методом змагання. Як навчати новим явищам (пластичність) і в той же час зберегти стабільність, щоб існуючі знання не були стерті або зруйновані? Карпентер і Гроссберг, які розробили моделі теорії адаптивного резонансу (ART1, ART2 і ARTMAP) [3], зробили спробу вирішити цю дилему. Мережа має достатню кількість вихідних елементів, але вони не використовуються доти, поки не виникне в цьому потреба. Вважається, що елемент розподілений (не розподілений), якщо він використовується (не використовується). Навчальний алгоритм коригує наявний прототип категорії, тільки якщо вхідний вектор у достатньому ступені йому подібний.
Хопфілд використовував функцію енергії як інструмент для побудови рекурентних мереж і для розуміння їх динаміки [4]. Формалізація Хопфілда зробила ясним принцип збереження інформації як динамічно стійких атракторів і популяризувала використання рекурентних мереж для асоціативної пам'яті і для розв'язування комбінаторних задач оптимізації.
Динамічна зміна станів мережі може бути виконана двома способами: одночасно й асинхронно. В першому випадку всі елементи модифікуються одночасно на кожному часовому кроці, в другому в кожний момент часу вибирається й піддається обробці один елемент. Цей елемент може вибиратись випадково. Головна властивість енергетичної функції полягає в тому, що в процесі еволюції станів мережі відповідно до рівняння, вона зменшується й досягає локального мінімуму (атрактора), в якому функція зберігає постійну енергію.
Існують три парадигми навчання [5]: "із учителем", "без учителя" (самонавчання) і змішана. В першому випадку нейронна мережа має у своєму розпорядженні вірні відповіді (виходи мережі) на кожний вхідний приклад. Ваги налагоджуються так, щоб мережа робила відповіді, близькі до відомих прийнятних відповідей. Посилений варіант навчання з учителем припускає, що відома тільки критична оцінка слушності виходу нейронної мережі, але не самі прийнятні значення виходу. Навчання без учителя не потребує знання вірних відповідей на кожний приклад навчальної вибірки. В цьому випадку розкривається внутрішня структура даних або кореляції між зразками в системі даних, що дозволяє розподілити зразки за категоріями. При змішаному навчанні частина ваг визначається за допомогою навчання з учителем, у той час, як інша утворюється за допомогою самонавчання. Відомо чотири основних типи правил навчання: корекція помилкою [6], машина Больцмана [7], правило Хебба [8] і навчання методом змагання [9].
Існує багато спірних питань при проектуванні мереж прямого поширення. Наприклад, скільки прошарків необхідно для цієї задачі, скільки варто вибрати елементів у кожному прошарку, як мережа буде реагувати на дані, які не включені у навчальну вибірку (яка спроможність мережі до узагальнення) і який розмір навчальної вибірки необхідний для досягнення "сприятливої" спроможності мережі до узагальнення.
Хоча багатошарові мережі прямого поширення широко застосовуються для класифікації й апроксимації функцій [6], багато параметрів ще повинно бути визначено шляхом проб і помилок. Існуючі теоретичні результати дають лише слабкі орієнтири для вибору цих параметрів у практичних застосуваннях.
Розвиток ШНМ викликав чимало ентузіазму й критики. Деякі порівняльні дослідження, подібні тим, що аналізувались вище, виявились оптимістичними, інші песимістичними. Для багатьох задач, таких як розпізнавання біомедичних образів, поки не створено домінуючих підходів. Вибір кращої технології повинен диктуватись природою задачі. Необхідно намагатись зрозуміти можливості, передумови й галузь застосування різноманітних підходів і максимально використовувати їх додаткові переваги для подальшого розвитку інтелектуальних систем. Подібні зусилля можуть привести до синергетичного підходу, який об'єднує ШНМ з іншими технологіями для істотного прориву в розв'язанні актуальних проблем.
Література
1. Mark J. L. Orr Introduction to Radial Basis Function Networks // Technical Report.- Center for Cognitive Science, University of Edinburgh (Scotland). - 1996. http://www.cns.ed.ac.uk/people/mark.html.
2. 19.T. Kohonen. SelfOrganization and Associative Memory, Third Edition, Springer-Verlag. - New York. - 1989.
3. 23.G. A. Carpenter and S. Grossberg. Pattern Recognition by SelfOrganizing Neural Networks // MIT Press. - Cambridge, Mass. - 1991.
4. J.J. Hopfield. Neural Networks and Physical Systems with Emergent Collective Computational Abilities // Proc. National Academy of Sciencies, USA 79. - 1982. - P. 2554-2558.
5. J.K.Aggarwal, Shishir Shah. Object recognition and perfomance bounds // Proc. Image Analysisand Processing. - Florence (Italy). - 1997. - P. 343 - 360.
6. J. Hertz, A. Krogh, and R.G. Palmer. Introduction to the Theory of Neural Computation // Addison-Wesley, Reading, Mass. - 1991.
7. J.A.Anderson and E. Rosenfeld. Neurocomputing: Foundation of Research // MIT Press, Cambridge, Mass. - 1988.
8. Hebb D. O. The Organization of Behavior // Wiley. - 1949.
9. Le Cun Y. Learning process in an Asymmetric Threshold Network. In: Bienenstock, E., Fogeman Soulie, F., and Weisbuch, G. (eds.) // Disordered Systems and Biological Organization. Springer. - Berlin. - 1986.
Loading...

 
 

Цікаве