Нейрокомпьютеры: какие они?
В науке мало пользы от моделей, которые рабски подчиняются всем нашим желаниям. Мы хотим иметь модели, которые дерзят нам, модели, которые имеют свой собственный ум. Мы хотим получить из наших моделей больше, чем мы в них вложили. Т.Тоффоли, Н.Маролус, " Машины клеточных автоматов"
Хватит. Пора наконец рассказать правду про моего друга ЭПИКАКа. Тем более, что он обошелся налогоплательщикам в 776 434 927 долларов 54 цента. Раз они выложили такие денежки, то имеют полное право узнать чистую правду. К.Воннегут, "ЭПИКАК"
Краткая история нейрокомпьютинга
В прошлой лекции появление нейрокомпьютеров представлено как закономерный этап развития вычислительной техники. В результате, у читателя может сложиться впечатление, что и сама идея нейрокомпьютинга - недавнее изобретение. Это, однако, не так. Пути Эволюции редко бывают прямыми. Идеи нейрокомпьютинга появились практически одновременно с зарождением последовательных ЭВМ.
Однако, должны были пройти многие десятилетия, прежде чем радикальное удешевление аппаратуры позволило им заявить о себе в полный голос. Дело в том, что на ранних стадиях развития вычислительной техники, последовательная архитектура обладает весьма ценным преимуществом перед параллельной. А именно, она позволяет получать полезные результаты уже при минимальном количестве аппаратуры. В следующей лекции мы покажем, что обучение нейросетей требует больших вычислительных затрат (сложность обучения растет как третья степень размерности задачи). Поэтому нейрокомпьютинг предъявляет достаточно жесткие требования к вычислительной мощности аппаратуры. Только совсем недавно, когда рядовому пользователю PC1Мы будем пользоваться этим "народным" термином для персональных компьютеров (Personal Computer) вместо более наукообразной аббревиатуры ПЭВМ стала доступна производительность супер-ЭВМ 70-х, нейросетевые методы решения прикладных задач стали приобретать популярность. Как мы увидим далее в этой лекции, даже сейчас "настоящие" параллельные нейрокомпьютеры еще слишком дороги и не получили пока широкого распространения. Что уж говорить о конце 50-х, начале 60-х, когда появились первые образцы нейрокомпьютеров.
Интерес широкой научной общественности к нейросетям пробудился в начале 80-х годов после теоретических работ физика Джона Хопфилда (Hopfield, 1982, 1984). Он и его многочисленные последователи обогатили теорию параллельных вычислений многими идеями из арсенала физики, такими как коллективные взаимодействия нейронов, энергия сети, температура обучения и т.д.
Однако, настоящий бум практических применений нейросетей начался после публикации Румельхартом с соавторами метода обучения многослойного персептрона, названного ими методом обратного распространения ошибки (error backpropagation) (Rumelhart et. al., 1986). Ограничения персептронов, о которых писали Минский и Пейперт, оказались преодолимыми, а возможности вычислительной техники - достаточными для решения широкого круга прикладных задач.
Далее в этой лекции мы вкратце опишем современное (правда чрезвычайно быстро меняющееся) состояние нейрокомпьютинга: нейросетевые продукты (как специализированное hardware, так и более доступное software), их сегодняшние применения, а также основные принципы нейровычислений.