Эволюция ИИ в процессе решения практических задач

Поскольку Gartner проводит оценку ИИ-технологий ежегодно, появляется возможность показать, как рассмотренные нами выше технологии, "проходят сквозь цикл ажиотажа". Нельзя сказать, что все технологии последовательно движутся вдоль кривой с одинаковой скоростью. Некоторые, как, например, технология сильного ИИ как находились на этапе запуска, так и остаются в этом состоянии, более того - ряд ученых полагают, что этой технологии не суждено воплотиться в полной мере на практике. Другие ИИ-технологии, такие как "распознавание речи" и "использование графических ускорителей" на кривой 2021 г., уже прошли плато продуктивности и находятся за пределами цикла, третьи (такие как, например, "семантический поиск") перемещаются в сторону "плато продуктивности".

Не для всех технологий можно показать, как они продвигаются по кривой ажиотажа, поскольку не все технологии, которые были, например, в фокусе внимания компании Gartner в предшествующие годы, попадают в область рассмотрения в последующие. Некоторые просто выпадают из поля зрения аналитической компании.

Когда говорят о наборе технологий, составляющих ИИ-решение, неизбежно заходит речь о том, где проходит граница между ИИ-технологией и смежными областями. Очевидно, что ИИ-технологии имеют области пересечения с другими технологиями, имеющими отношение к наукам о данных. Различные авторы пытались показать, в какой степени область искусственного интеллекта пересекается с другими технологиями, что позволяет лучше понять предмет ИИ как области науки. Существует достаточно много попыток отобразить графически данные пересечения в виде диаграмм Венна (например, они приведены в работах [106, 107]). Некоторые из этих диаграмм, на наш взгляд, имеют слишком ограниченный перечень областей, другие, напротив, перегружены подробностями и теряют наглядность. Мы остановились на диаграмме, которую в своих работах использовали специалисты компании SAS Institute ( рис. 2.37).

Рис. 2.37. Пересечение областей знаний, ассоциированных с обработкой данных. Источник: SAS [108]

Пользуясь данной схемой, обсудим, где же технологии ИИ пересекаются с другими областями знаний^{39Следует отметить, что, имея дело с реальной прикладной задачей, подчас очень трудно определить, к какой области она относится. - Примечание научного редактора} . Начнем рассмотрение рис. 2.37 с области, представленной окружностью в верхней части рисунка - "распознавание паттернов^{40В английском часто используется сокращение PR от Pattern Recognition, может переводиться как распознавание паттернов или выявление зависимостей в данных (не путать с Public Relations). Паттерны могут наблюдаться не только в изображениях (распознавание образов), но также и текстах, аудио и т. п.} ". Технология распознавания паттернов подразумевает использование различных алгоритмов с целью выявления закономерностей в данных как с использованием, так и без использования машинного обучения.

Например, первые OCR-системы (относящиеся к технологии распознавания образов) не применяли алгоритмы машинного обучения, а использовали относительно простые алгоритмы попиксельного сравнения символа и шаблона, что давало приемлемые результаты в рамках одного шрифта.

Современные OCR-системы, использующие машинное обучение, позволяют выполнять более сложные операции: не только решать задачу омнишрифтового^{41Омнишрифтовой - способный распознавать любой шрифт} распознавания, но и также могут распознавать плохо читаемые тексты, распознавать текст в сложных документах (вычленять элементы форматирования, такие как таблица содержания, заголовки, колонтитулы, шрифты, стили шрифтов), распознавать рукописные тексты, обучаясь почерку отдельного человека на достаточном для обучения объеме данных.

Следующая область на рисунке (представленная вытянутым эллипсом) - это вычислительная нейробиология^{42Вычислительная нейробиология (или computational neuroscience) был предложен Эриком Шварцем (Eric L. Schwartz) в 1985 году, ранее данная область знаний называлась моделированием нервных систем, теорией мозга, нейронными сетями и т. п.}, область, где используются математические модели для изучения принципов, которые управляют развитием, структурой, физиологией и когнитивными способностями мозга. Вычислительная нейробиология имеет существенное пересечение с ИИ и особенно с глубоким обучением^{43 Данный термин будет рассмотрен более подробно ниже в данной лекции} .

Цель нейронауки - понять работу мозга, и высшая цель - объяснить феномен сознания. Цель ИИ заключается в том, чтобы научить компьютеры имитировать разумное поведение, решать задачи, требующие интеллекта. Очевидно, что указанные области имеют пересечение. Информация о строении и функционировании мозга позволяет совершенствовать и создавать новые алгоритмы для решения задач из области ИИ. Наиболее ярким примером являются успехи создания моделей глубокого обучения на базе искусственных нейронных сетей. Таким образом, оба направления развиваются и обогащают друг друга. Еще одна окружность - "Обнаружение знаний в базах данных" (Knowledge Discovery in Databases KDD) - обозначает методику обнаружения полезных знаний в данных. Датамайнинг является под множеством KDD.

KDD и датамайнинг имеют существенное пересечение с машинным обучением. Датамайнинг может использовать общие методы вместе с машинным обучением. "Но если машинное обучение сосредоточено на прогнозировании, основанном на известных свойствах, полученных из обучающих данных, то датамайнинг сосредоточен на обнаружении ранее неизвестных свойств в данных, являясь этапом анализа для обнаружения знаний в KDD".

"В машинном обучении производительность обычно оценивается по способности воспроизводить известные знания, в то время как в обнаружении знаний и добыче данных ключевой задачей является обнаружение ранее неизвестных знаний. При оценке по известным знаниям неконтролируемый метод (без учителя) будет легко превзойден контролируемыми методами (с учителем), тогда как в типичной задаче KDD контролируемые методы не могут быть использованы из-за недоступности обучающих данных" [109].

Некоторые задачи датамайнинга и машинного обучения пересекаются: классификация, кластеризация, прогнозирование, анализ и обнаружение отклонений. Для решения этих задач может применяться инструментарий машинного обучения, а может и не применяться. Например, для решения задач классификации и кластеризации могут применяться как искусственные нейронные сети, являющиеся одним из методов машинного обучения, так и другие подходы, например графическое представление информации, при том, что интеллектуальное решение принимается человеком. При этом в датамайнинге успешно применяются интерпретируемые методы машинного обучения, такие как деревья решений, по которым затем могут быть построены правила, описывающие свойства предметной области.

Вариантов применения ИИ большое множество, и не все они служат для решения задач датамайнинга. Например, обучение с учителем, при котором выполняется процесс обучения, это задача построения модели, основанной на данных, которая сможет научиться на основе размеченных данных "понять" правила, которым систему ИИ обучает учитель, и начать различать разные типы данных. При этом такая область, как распознавание речи или машинный перевод (которые были рассмотрены ранее в данной лекции), являются задачами ИИ и не являются задачами датамайнинга. Кроме того, в понятие ИИ входит целый ряд методов, основанных на явном представлении знаний и логическом выводе.

Долее рассмотрим, где происходит пересечение областей "наука о данных" (data science, дата-сайнс) и искусственный интеллект.

Термин дата-сайнс появился сравнительно недавно (в 2008 году), чтобы описать развивающуюся область исследований, направленную на выявление скрытой ценности в данных^{44Термин предложили д-р Ди Джей Патил и Джефф Хаммербахер, руководители отделов аналитики и данных в LinkedIn и Facebook, соответственно (Facebook и LinkedIn - компании, деятельность которых в России запрещена)}. Дата-сайнс включает в себя такие области как датамайнинг и обнаружение данных ^{45Обнаружение данных - data discovery - технология и инструментарий, ориентированный на бизнес-пользователей и заключающийся в визуальной навигации по данным и применении расширенной аналитики для выявления закономерностей, получения понимания, ответов на конкретные бизнес-вопросы и извлечения ценности из бизнес-данных} и имеет пересечение со всеми ранее перечисленными категориями.

Дата-сайнс неслучайно показан как самое большое множество, наука о данных подразумевает комплексный процесс, включающий предварительную обработку данных, их анализ, визуализацию и выработку прогнозов на основе данных. Несмотря на то, что ИИ в первую очередь ассоциируется с созданием компьютерных алгоритмов интеллектуальной обработки данных, во многих проектах по реализации ИИ могут использоваться вышеперечисленные стадии сбора и обработки данных.

Говоря о различии методов классической статистики ИИ, сошлемся на мнение авторов статьи [110]. Они отмечают, что традиционная статистика имеет дедуктивный подход к истине (от общего к частному), и если классический статистический подход начинается с набора гипотез, то методология ИИ и машинного обучения в начале исследования не делают каких-либо предположений относительно типа поведения переменных, чтобы соотнести их с целевым результатом.

Можно ли сказать, что, применяя алгоритм линейной регрессии, известный еще в начале 19 века, вы решаете задачу машинного обучения?

Разные специалисты дадут разные ответы. Однако такие гуру машинного обучения как Кристофер Бишоп в книге "Распознавание образов и машинное обучение", Ян Гудфеллоу в книге "Глубокое обучение" и ряд других упоминают линейную регрессию как один из алгоритмов машинного обучения. Так что граница между классической статистикой и машинным обучением как областью искусственного интеллекта в некотором смысле размыта. Можно привести такую аналогию - те, кто делают колеса, создают автомобиль, но колесо не является автомобилем, и колесо появилось задолго до появления автомобиля.

Так, в классических статистических моделях за моделью стоит теория, доказанная математически, при этом необходимо, чтобы данные строго соответствовали определенным предположениям. Машинное обучение также основано на строгих математических основах, однако, оно в большей степени связано с исследованиями закономерностей в данных, которые могут проводиться эмпирическим путем. Поскольку машинное обучение часто использует итерационный подход для получения знаний, извлекаемых из данных, обучение можно легко автоматизировать. Данные обрабатываются до тех пор, пока не будет найдена надежная модель определенной точности [111].