Надежда Мищенко. Об одной идее академика В.М.Глушкова, опередившей время / В.М.Глушков: Минуле, що лине у майбутнє; Прошлое, устремленное в будущее. – К.: Академперіодика, 2013. – С.194-207.
Изобретение первых электронных вычислительных машин (ЭВМ) во второй половине 30-х и первой половине 40-х годов прошлого столетия, предназначенных для решения задач математики и математической физики, было стимулировано, в основном, потребностями военно-морских ведомств стран-участниц Второй мировой войны. Переход к мирному времени ознаменовался началом применения ЭВМ и в других областях деятельности человека. Самим ранним известным автору значительным примером такого применения можно считать результаты, представленные на Международной конференции по обработке информации, которая состоялась в Париже в июне 1959 года. В разделе Трудов конференции ([1]) “Распознавание образов и обучающиеся машины” представлено 17 статей различной тематики: машинное распознавание образов, символов, речи, доказательство теорем в исчислении предикатов, в геометрии и др.
Директор Вычислительного центра АН УРСР в Киеве, образованного в конце 1957 года, доктор физико-математических наук Виктор Михайлович Глушков (далее − В.М.) к этому времени был уже известным специалистом в абстрактной области математики − топологической алгебре, однако он сразу оценил возможности ЭВМ быть помощником человека во всех сферах его деятельности, в том числе и в области искусственного интеллекта (ИИ). Такая возможность появилась в Вычислительном центре (далее – ВЦ) после установки в 1958 году двух универсальных ЭВМ – “Урал-1” и “Киев”.
О раннем начале работ по созданию ИИ в ВЦ свидетельствует отрывок из монографии В.М. Глушкова [2, с.164] (здесь и далее цитаты приводятся курсивом):
“… автор еще в 1958 году успешно использовал универсальную электронную вычислительную машину “Урал” для проверки правильности доказательства теорем в одной алгебраической теории (которая, кстати сказать, в целом является алгоритмически неразрешимой)”.
Изначально ЭВМ “Киев” ориентировалась на решение задач вычислительной математики, но, начиная с 1959 года, на ней решались также задачи, относящиеся к ИИ: построение автоматического словаря для перевода (Л.А. Калужнин, А.А. Стогний, Л.С. Стойкова); статистическое исследование печатных текстов (Л.А.Калужнин, С.Н.Якименко); статистика флексий на материале русского языка 1-го уровня (И.П.Севбо); автоматическое распознавание букв и цифр методом анализа направления (В.А.Ковалевский, А.Г.Семеновский); морфологический анализ текстов на русском языке (Н.М.Грищенко, девичья фамилия автора этой статьи). Эти и другие результаты освещались на Второй научной конференции по вычислительной математике и вычислительной технике, состоявшейся в ВЦ 6-9 июня 1960 года ([3]).
Приоритет развития искусственного интеллекта в деятельности В.М.Глушкова подтвердился во время его визита в США в составе советской делегации в апреле-мае 1959 года, состоявшегося в рамках обмена делегациями ученых между США и СССР. Среди заявленных им в анкете интересов был и такой, переведенный на английский язык, как machine learning ([4, с.491]) − термин, обозначающий способность программ к самосовершенствованию в процессе их исполнения.
В Нью-Йорке в Вычислительном центре фирмы IBM была продемонстрирована игра с ЭВМ в шашки, которую, кстати, делегат В.А.Диткин, заместитель директора ВЦ в Москве, выиграл. В отдельной аудитории для участников советской делегации была прочитана краткая лекция по обучающимся машинам. Авторы статьи [4] называют лишь В.М.Глушкова, который задал несколько вопросов по теме лекции. К сожалению, содержание лекции в статье [4] не раскрыто.
Создание в компьютере ИИ, сравнимого с человеческим, представляет собой чрезвычайно сложную задачу. В одной из популярных статей, помещенных в сборнике [5], В.М. Глушков описывает путь к реализации ИИ, на котором следует, в первую очередь, алгоритмизировать процесс мышления человека, создать модель мира, содержащую лишь начальное представление о мире, и средства общения человека с компьютером для развития модели. В.М. приводит критерий, сформулированный английским математиком Тьюрингом (1912-1954), по которому можно установить, может ли представленная для тестирования информационно-программная система быть названной ИИ. Согласно Тьюрингу ответ будет положительным, если в течение достаточно длительного времени человек, который ведет диалог с двумя партнерами, находящимися за стенкой, не сможет уверенно различить, кто его партнер по диалогу: человек или компьютер.
Поставленная задача создания ИИ вряд ли выполнима в обозримом будущем, но создание ИИ для отдельных специализированных областей вполне осуществимо. Создаются модели таких областей. Одна из них, по времени первая – автоматический перевод текстов на естественных языках – после начальных, не совсем удачных экспериментов, является довольно квалифицированным помощником человека, предлагая даже озвученный перевод. Цитируем В.М.:
“Расширение круга таких специализированных моделей значительно приближает нас к возможности удовлетворения тесту Тьюринга. Правда, полное соответствие тесту может быть достигнуто лишь тогда, когда модель обнаружит способности к обучению”.
И дальше В.М. рассматривает предложенный им алгоритм обучения машины.
В данной работе излагается идея В.М.Глушкова обучения компьютера распознавать осмысленность фраз натурального языка, расширять словарь, создавать новые понятия на примере русских фраз. Автору этих строк выпала честь в 1961 и 1962 годах программировать предложенный В.М. алгоритм обучения ЭВМ “Киев” и проводить эксперименты.
В.М. Глушков в работе ([2, с.153]) объснил, как следует понимать осмысленность фраз в предлагаемом им алгоритме обучения машины:
“…Понятие “осмысленности” фразы точно не определяется. Предполагается просто, что “учитель” каким-то способом, придерживаясь, однако, обычного житейского понятия о смысле или бессмысленности, произвел разбиение всех фраз на два непересекающиеся класса: класс осмысленных фраз и класс бессмысленных фраз. В процессе обучения каждой фразе, подаваемой на вход алгоритма, сопоставляется признак ее принадлежности одному из этих двух классов…”.
Самое раннее из найденных нами печатных свидетельств В.М.Глушкова об обучении машины относится к июлю 1960 года, когда В.М. рассказывал об этой идее американскому делегату международного конгресса IFAC (International Federation of Automatic Control), который состоялся с 27 июня по 7 июля 1960 года в Москве. В американском журнале [6, сc.759-776] была напечатана статья, озаглавленная “Soviet Cybernetics and Computer Sciences – 1960”, в которой автор, делегат конгресса из США Edward A.Feigenbaum, представил информацию о конгрессе. Он имел разрешение на посещение нескольких городов СССР для ознакомления с вычислительными центрами и ведущими учеными. В его планы входило посещение Киева, как главного центра кибернетических исследований в Советском Союзе. Из публикаций он знал о нескольких исследовательских проектах, которые проводились в Киеве: моделирование деятельности высшей нервной системы; распознавание образов; математические основы конструирования машин для диагностики сердечных заболеваний; обучение машины; программы проверки правильности математических доказательств; экономическая кибернетика и другие.
Прибыв в Киев, он позвонил в ВЦ АН УССР с аэропорта, сразу получил ответ и немедленно был доставлен в ВЦ машиной. Он пишет (в переводе с английского):
“Я был встречен тепло и с энтузиазмом доктором Глушковым, директором Центра, выдающимся теоретиком. Он рассказывал о своей работе в деталях. Говорил по-английски, иногда запинаясь, но понимал все, о чем я говорил”.
В ходе беседы В.М. рассказал делегату конгресса о своих результатах в теории абстрактных автоматов, а также о начатых работах в области ИИ, – в частности, о проблеме обучения компьютера распознавать осмысленность фраз естественного языка. Приводим фрагмент из рассказа В.М. в русском переводе с английского:
“… Наша цель состоит в том, чтобы задать машине определенное число осмысленных предложений, и после их обработки попросить машину ответить, осмысленно или нет новозаданное предложение. Если машина ошиблась, то указать на ошибку. Идея состоит в том, чтобы машина сформировала классы из тех осмысленных предложений, которые были уже поданы. Например, пусть сформирован класс объектов, которые могут стоять – дом, мальчик, человек, ребенок. Если предложение с глаголом “думать” будет подано впервые, машина правильно ответит, что “мальчик думает”, “мужчина думает”, “ребенок думает”, а “дом думает” – ошибка. Тогда она должна сформировать новый класс обьектов, которые “стоят, но не думают”. Число классов может быть очень большим, но намного меньше множества всех осмысленных предложений, которые можно построить со слов заданного словаря. Этот процесс расщепления и формирования классов можно инициировать и для предложений “имя существительное – глагол – предлог – имя существительное”.
Цитируем выводы автора статьи:
“Поскольку роль компьютеров в современных науках и технологиях возрастает, то нет сомнения в том, что вскоре СССР будет изготавливать столько компьютеров, сколько ему нужно. Насколько эффективно они будут использоваться, сказать невозможно, но поездка автора убедила его в следующем:
1) Появилась группа ученых и математиков, особенно в Москве и Киеве, а, возможно, и в других местах, которые проинформированы, заинтересованы и активные в таких областях как теоретическая кибернетика, модели мозга, обучающиеся машины, компьютерный контроль информации и использование компьютеров для планирования экономики. Если читатель хочет сам убедиться в этом, автор отчета предлагает просмотреть содержание пятитомной серии “Проблемы кибернетики” под редакцией А.А.Ляпунова, который сегодня является одним из величайших математиков мира.
2) Кажется, в СССР всё в кибернетике планируется из центра, местная инициатива почти невозможна. Отсюда вывод: результаты могут быть минимальными.
3) Студентов учат в Москве, Киеве, Ленинграде, в Риге, даже в Ереване. Это инвестиции большого значения. Советский пул компетентных ученых, ориентированных на кибернетику и использование компьютеров, возрастает. Это создаст преимущества, когда увеличится парк компьютеров.
… Исследования в области ИИ и других передовых применений компьютеров становятся перспективными, чего нельзя было заметить еще год тому назад”.
Энтузиазм автора статьи усиливает и то, что во внештатном, как ему представлялось, городе Ростове-на-Дону есть человек, который занимается сочинением музыки с помощью компьютера. Речь шла о Р.Х.Зарипове.
Знакомясь с записями американского делегата, узнала, что В.М.Глушков уже тогда думал над алгоритмом распознавания компьютером осмысленных предложений, который он в начале 1961 года поручил мне программировать. Приведу некоторые сведения о своем предыдущем опыте программирования неарифметических задач.
С 1959 года я училась программировать в отделе программирования, которым руководила Е.Л.Ющенко. Учиться было нетрудно после работы с программами, составленными программистами для МЭСМ: в первой половине 1957 года в Лаборатории Института математики АН УССР я систематически “выполняла” эти программы покомандно на калькуляторе на простых примерах с целью их отладки, когда МЭСМ была занята.
Из-за того что ЭВМ того времени не были приспособлены к вводу-выводу и обработке текстовой информации, программирование и отладка программ ИИ были достаточно трудоемкими. Для работы над отладкой программ требовалось много машинного времени. Был период, когда программистов не допускали к машине в ночное время. Приходилось писать планы отладки, иногда на нескольких страницах, указывая, что операторам следует набирать на пульте перед запуском машины, где останавливать машину для сравнения результата счета с указанным в плане и что делать в случае неудачи.
До середины 1960-го года мною был запрограммирован и опробован на анализе отдельных слов русского языка алгоритм морфологического анализа (МА), предложенный И.А. \Мельчуком, младшим научным сотрудником Института языкознания АН СССР, Москва. Как свидетельствовал И.А.Мельчук, эта программа была первой такого назначения в СССР. Программа вводила числа – закодированные слова, работала с числами, печатала результат в виде чисел и даже статья в сборнике “Проблемы кибернетики”, вып.6 об этой программе содержит, кажется, больше чисел, чем слов.
Пользуясь случаем, с благодарностью вспоминаю Льва Аркадьевича Калужнина, с чьей подачи я стала на путь программирования невычислительных задач. Это он предложил мне в качестве дипломной работы на мехмате Киевского Госуниверситета им. Т. Шевченко запрограммировать алгоритм И.А.Мельчука. Л.А.Калужнин в то время работал в отделе теории цифровых автоматов В.М.Глушкова на полставки. Работа над алгоритмом МА помогла мне освоить программирование лингвистических задач и вызвала определенный резонанс в ВЦ, что, по-видимому, и поспособствовало приглашению работать в отделе В.М.Глушкова в конце 1960 года.
В отделе В.М. Глушкова систематически проводились семинары под его непосредственным руководством. Однажды на семинаре в 1961 году В.М. поручил мне прореферировать статью [7], в которой достаточно детально описана программа под названием General Problem Solver (GPS), в дословном переводе на русский – “Общий решатель проблем”. Работа программы продемонстрирована в статье на примерах доказательства тождеств в алгебре.
В то время я только начала изучать английский язык под руководством опытного учителя Цукермана, которого В.М. пригласил в ВЦ специально для обучения сотрудников английскому языку. Я не призналась В.М. в слабом знании языка, поскольку сидящий рядом на семинаре Лев Аркадиевич пообещал помочь в переводе. Рассказывая содержание статьи у доски, я удивлялась, когда В.М. опережал докладчицу, делая выводы, совпадающие с выводами в статье, которые я должна была озвучить в следующую минуту. В одном месте, где я вынуждена была сказать, что не поняла прочитанного, В.М. опередил моё покаяние, рассказав то, что мне было непонятно. А в другом месте публика развеселилась, когда я сказала, что не могу прочитать фамилии ученого. Это была фамилия французского математика Коши, в тексте – Cauchy. Очевидно, я не воспользовалась помощью Л.А.
Приводим постановку задачи по обучению компьютера распознавать осмысленность простых предложений русского языка из монографии В.М.Глушкова [2, сс.152-157].
“…Точная постановка задачи об обучении распознаванию смысла фраз состоит в следующем: необходимо построить самосовершенствующуюся систему алгоритмов, которая, после сообщения ей некоторого числа N1 случайно выбираемых фраз из общего числа N осмысленных фраз данной конструкции, научилась бы правильно распознавать осмысленность любой фразы этой же конструкции…
В процессе обучения различают два режима: режим обучения и режим экзамена. В режиме обучения системе подают некоторое число (не все) осмысленных фраз. Затем в режиме экзамена подают фразы, а система должна отвечать, они имеют смысл или бессмысленны. В случае неправильного ответа можно делать подсказку и таким образом обучать в режиме экзамена. Если в режиме обучения подать все осмысленные фразы, то машина всегда будет отвечать правильно. Такой процесс (“зубрежка”) называется тривиальным.
Заслуживает внимания нетривиальный процесс, когда системе подается часть осмысленных фраз, а она начинает правильно отвечать на все поданные ей во время экзамена осмысленные фразы.
Предлагаемая самосовершенствующаяся система для распознавания смысла фраз, которую мы будем называть смысловым дискриминатором, основывается на идее фиксации связей между различными осмысленными фразами посредством введения новых понятий. Применительно к фразам простейшей конструкции “подлежащее – сказуемое” целесообразно вводить новые слова (понятия) для обозначения классов существительных, сочетаемых с теми или иными множествами глаголов”.
Именно в таком виде алгоритм был запрограммирован. Однако, в программе разрешались и конструкции фраз типа подлежащее – сказуемое – дополнение (с предлогом или без). Программа состояла из 400 команд ЭВМ “Киев”. В архиве автора сохранились данные лишь об одном эксперименте (40 имен существительных, 51 глагол и несколько предлогов), во время которого сформировано 12 классов имен существительных. Названия классов – понятия: люди, посуда, мебель и др. Основная работа по усовершенствованию программы и постановке экспериментов длилась до середины 1962 года.
Во время экспериментов был обнаружен один курьезный факт. После обучения машины ей была подана для проверки на осмысленность фраза: инженер находится в кухне. Машина оценила ее как бессмысленную. Ошибки в программе найти тогда не удалось. Осталось “поверить” машине. Этот факт всем понравился и даже попал в прессу. Так, в газете “Неделя” от 23-30 ноября 1983 года в статье о В.М.Глушкове упоминается весьма успешная попытка научить машину распознавать осмысленность простых фраз, но машина не захотела признать фразу о присутствии инженера в кухне как имеющую смысл.
Во время работы над алгоритмом обучения машины моим непосредственным руководителем был А.А.Стогний. Он давал устно задания, ему же я приносила результаты машинных экспериментов, которые он обсуждал с В.М. без моего участия.
5-6 мая 1961 года в Киеве состоялся Всесоюзный симпозиум “Принципы построения самообучающихся систем”, на котором В.М. Глушков сделал доклад “Об обучении распознаванию осмысленных предложений на ЭВМ”, содокладчики А.А.Стогний и Н.М.Грищенко. В докладе В.М. были и новые факты – алгоритм совершенствовался. Доклады о конкретных результатах В.М. всегда сопровождал рассказом о перспективах дальнейших исследований.
На симпозиуме были сделаны еще два доклада с ВЦ: В.М.Глушков, В.А.Ковалевский, В.И.Рыбак “Об одном алгоритме обучения распознаванию образов”; А.А.Летичевский, А.А.Дородницына “Моделирование естественного отбора”. Эксперимент впоследствии демонстрировался в ВЦ на дисплее, присоединенном к машине “Киев”.
В сборнике “Проблемы кибернетики”, вып. 7 1962 года издания в разделе “Хроника” были опубликованы названия и аннотации докладов этого симпозиума.
Сборники “Проблемы кибернетики” под редакцией А.А.Ляпунова были интересны и для США. В 1963 году в США появился меморандум под названием “Soviet Cybernetics Technology: 1. Soviet Cybernetics, 1959-1962”. Редакторы Willis H. Ware и Wade B. Holland. Кстати, Willis H. Ware возглавлял американскую делегацию, которая посетила СССР, в частности, и Киев, в апреле-мае 1959 года в рамках обмена делегациями ученых между США и СССР. Он был редактором и соавтором отчета о визите в СРСР, в котором кратко описаны и сфотографированы ЭВМ “Киев”, а также машины с авторами проектов: СЭСМ З.Л.Рабиновича, аналоговая машина Е.Г. Пухова, читающее устройство В.А.Ковалевского.
Меморандум содержит переводы на английский язык большинства статей из сборников “Проблемы кибернетики” в указанные годы. В частности, из Вып. 7 этого сборника приведена информация о симпозиуме в Киеве в 1961 году. Выражено сожаление о том, что они не смогли найти труды симпозиума, в то время как в сборнике утверждается, что они уже напечатаны. На самом деле, переводчик на русский язык сделал ошибку: переведены не “тезисы изданы”, а “тексты изданы”. Тезисы таки были опубликованы в 1961 году ко времени проведения симпозиума, а в 1962 году вышел в Киеве и сборник [8], содержащий некоторые доклады, представленные на симпозиуме.
В Ленинграде (ныне С.-Петербург) 3–12 июля 1961 года состоялся 4-й Всесоюзный математический съезд. На съезд с ВЦ было командировано рекордное число математиков и программистов (до 20 человек). Все летели в одном самолете с В.М. Глушковым. В пути он показывал через иллюминаторы разные выдающиеся места, в частности, озера Чудское, Ладожское. Чтобы увидеть, сотрудники ВЦ бегали от одного иллюминатора к другому, вызывая беспокойство стюардесс.
Под руководством В.М.Глушкова в 1961 году сотрудниками его отдела Э.Ф.Скороходько и Л.Э.Пшеничной была выполнена работа по синтезу осмысленных предложений на ЭВМ, результат которой изложен в статье [9] со ссылкой на алгоритм В.М. распознавания осмысленности предложений для проверки правильности результатов синтеза.
В связи с расширением нечисловых областей применения компьютерной техники возникла необходимость в усовершенствовании компьютеров. Перечень требований по усовершенствованию и их обоснование были темой кандидатской диссертации А.А.Стогния (1932-2007), в то время аспиранта В.М.Глушкова. В феврале 1962 года состоялась успешная защита его кандидатской диссертации под названием “Исследование рациональных принципов построения универсальных цифровых машин для преобразования буквенной информации”. В представленных в диссертации исследованиях описаны алгоритм и результаты экспериментов по обучению машины.
С 27 августа по 1 сентября 1962 года в Мюнхене состоялся конгресс IFIP-62 (International Federation for Information Processing). В рамках конгресса был организован симпозиум по ИИ, где было представлено 5 докладов. Тему симпозиума озвучил М. Минский (MIT, Cambridge, USA) (в переводе на русский язык):
“…Машины уже доказывают теоремы, сочиняют музыку, играют в игры (не очень хорошо, но лучше чем обычный человек). Производительность машин сегодня позволяет надеяться, что завтра мы сможем увидеть творческую работу машин. Многие считают, что это невозможно, и что машины не способны к инновациям (innovations). Этот вопрос предлагаем для обсуждения на симпозиуме”.
В докладах рассматривались различные подходы и условия для получения инноваций с помощью машины. В.М.Глушков выступил с докладом (в переводе на русский язык) “Некоторые вопросы теории самообучения машин” [10, сс. 480-481]. Среди нескольких тем, представленных в докладе, главное внимание В.М. сосредоточил на эксперименте по самообучению компьютера распознавать осмысленные предложения естественного языка. Эксперимент показал возможность получать новую информацию от машины после ее обучения на ограниченном числе предварительно поданных ей осмысленных предложений. На симпозиуме был представлен алгоритм, усовершенствованный за счет введения двух коэффициентов: “терпения” и “осторожности”. Предлагаем сокращенное описание усовершенствованого алгоритма обучения, помещенное в сборнике [5, сс. 397-398].
“… Рассматриваются осмысленные фразы простейшей конструкции: подлежащее-сказуемое. Для этого используется ограниченный словарь существительных и глаголов. Эти фразы сначала вводятся в машину, которая запоминает их без всякого изменения (“голая зубрёжка”). Когда число фраз с одним и тем же сказуемым превосходит некоторую фиксированную величину – так назывемый коэффициент терпения (КТ), характер запоминания изменяется. Пусть КТ=2, а машине после двух осмысленных фраз “профессор думает” и “студент думает” была сообщена новая осмысленная фраза “мальчик думает”. Тогда машина вводит новое понятие для обозначения всех думающих и запоминает, что все трое людей относятся к этому классу.
…Принципиально новый эффект достигается введением так называемого процесса экстраполяции осмысленности, управляемого неким коэффициентом, который называется коэффициентом осторожности (КО). Предположим, что КО=2, а машиной уже образован класс думающих. Если теперь сообщить, что, скажем, профессор и мальчик могут также и говорить, то машина экстраполирует заключение, что все думающие являются вместе с тем и говорящими. В результате машина сделает правильный вывод о том, что фраза “студент говорит” является осмысленной фразой, хотя она и не содержалась в числе поданных осмысленных фраз во время обучения машины.
Разумеется, в процессе экстраполяции машина может придти и к неверным выводам. Чтобы уменьшить число ошибок, перед экстраполяцией машина составляет несколько фраз с глаголом говорить, выбирая случайным образом существительные из класса стоящих. Сообщив эти фразы учителю, машина спрашивает, осмысленны ли они? И лишь получив на вопрос утвердительный ответ, машина производит экстраполяцию”.
На конгрессе был также представлен доклад [11] А.Ньюэлла (A.Newell из Carnegie Institute of Technology, USA) – одного из авторов программы GPS, о которой упоминалось выше. Доклад посвящен обобщению опыта работы с программой GPS, подробному рассмотрению эвристик, используемых в программе, обзору работ других авторов. В докладе также предложено уточнение термина “machine learning”. По мнению автора термин “самообучение машины” более всего подходит к случаю, когда положительный опыт, накапливаемый машиной, передается к следующему сеансу ее работы. Этот термин вполне применим к алгоритму обучения машины В.М. Глушкова.
Труды симпозиума в Мюнхене были изданы после конгресса и, очевидно, не переданы В.М. Глушкову. В них, кстати, приводятся вопросы к докладчикам и их ответы.
Вскоре после конгресса В.М.Глушкову пришло письмо из США от Саула Амареля (Saul Amarel ), выдержку из которого подаем в переводе на русский язык:
“…Во время вашей интересной презентации на симпозиуме по искусственному интеллекту в Мюнхене в рамках конгресса IFIP-62 вы вспомнили статью, посвященную вашим исследованиям по искусственному интеллекту, которые были представлены на симпозиуме по самоорганизующимся системам в Киеве.
Поскольку я очень заинтересован в исследованиях по искусственному интеллекту, то был бы очень благодарен вам за получение репринта вашего доклада на Киевском симпозиуме, а также других материалов о ваших последних работах. Особенно интересуюсь механизмами формирования понятий и хотел бы также узнать больше о вашем проекте машинного распознавания осмысленности фраз, составленных из ограниченного языка”.
Подпись: Sincerely Saul Amarel Head of Computer Theory Group in the Radio Corporation of America (RCA) Laboratories (Princeton). Справка: Saul Amarel (1928–2002) был профессором университета Ратгерс (Rutgers University). Он известен благодаря своим пионерским работам по ИИ с начала 1960-х годов.
Был ли послан ответ на письмо Saul Amarel, неизвестно.
В мае 1963 года в Каневе состоялся Симпозиум-2 “Принципы построения самообучающихся систем”. На Симпозиуме был представлен доклад: В.М. Глушков, Н.М. Грищенко, А.А. Стогний “Об экспериментах по распознаванию осмысленных предложений”.
Однажды на своем рабочем столе среди прочих бумаг я случайно обнаружила написанную рукой В.М.Глушкова записку, переадресованную мне А.А.Стогнием. Как записка оказалась среди бумаг, неизвестно. Следует сказать, что мое и А.А.Стогния рабочие места были в то время в одной и той же комнате. Подаю текст записки:
“Тривиальный алгоритм обучения распознаванию осмысленных фраз. Алгоритм с экстраполяцией опыта. Выработка понятий. Корелляционные связи между понятиями и эффективность обучения. Поиск эффективных алгоритмов обучения на основе статистических испытаний”.
Что означает эта записка? Ответа А.А.Стогния я не помню. Во всяком случае, его ответ не побудил к действию и, главное, не объяснил того значения, которое придавал В.М.Глушков этой работе. Очевидно, А.А.Стогний был очень занят, чтобы следить за результатами дальнейших экспериментов. А пойти к В.М. я не осмелилась. Ведь за все время программирования и проведения экспериментов я, к сожалению, ни разу не принимала участия в обсуждении результатов с В.М. Поэтому в то время мне не был известен представленный в Мюнхене в 1962 году усовершенствованный алгоритм обучения машины, отдельные термины из которого названы в записке. Почему я не получила текста алгоритма с запиской, неизвестно. С той поры записка хранится у меня как ценный автограф В.М.
Очень жаль, если этот интересный алгоритм не будет реализован. Реализовать его эффективно на машинах того времени вряд ли было возможно. Вспоминается опыт Чарльза Бэббиджа, который разработал проект Аналитической машины со многими свойствами нынешних компьютеров и при жизни не смог ее построить из-за отсутствия технических средств и финансирования. Его проект опередил время больше чем на сто лет – мечта Бэббиджа сбылась в 1950-х годах в США (машина MARK I Говарда Айкена).
Со второй половины 1962 года наряду с экспериментами по обучению машины мной выполнялась и новая задача – моделирование машины “МИР” на ЭВМ “Киев” и на М-20.
Идее обучения машины распознавать осмысленность фраз естественного языка (в экспериментах – русского) В.М. придавал большое значение, о чем свидетельствует ее описание в монографиях, представления на конференциях, симпозиумах, в воспоминаниях, статьях, например, [12, сс.107-109], [13, сс.218-220], [14], [15], [16].
Статья [14, сс.18-22] посвящена общей формулировке проблемы обучения языку на основе иследований, проведенных В.М.Глушковым по обучению языку компьютеров.
В монографии [15, сс.518-522], где ИИ посвящена отдельная глава, В.М. связывает проблему понимания текстов на естественных языках с помощью компьютеров с проблемой осмысленного диалога человека с машиной.
“…Проблема понимания текстов на естественных языках не может считаться до конца решенной, если предназначенная для этих целей автоматическая система не способна вести осмысленный диалог с человеком и, самое главное, обучаться в результате диалога.
При ведении такого диалога важно уметь осуществлять автоматический перевод с внешнего языкового представления на язык семантической сети и обратно. С этой целью удобно использовать аппарат формальных семантических грамматик с процедурами классификации и объединения языковых оборотов, равнозначных по смыслу.
…Следует заметить, что построение семантических грамматик в значительной мере облегчается применением процедур, строящих семантическую классификацию в результате анализа предъявляемых системе правильных и неправильных фраз (как с точки зрения синтаксиса, так и с точки зрения семантики). Один из способов такой классификации был предложен автором еще в 1961 году…”
Остановимся на его воспоминании в последние дни жизни на тему ИИ о распознавании смысла фраз естественного языка. [16, с.71].
“… Одновременно мы начали работы по распознаванию смысла фраз на русском языке, т.е. в области семантических сетей, как теперь это называется. Этим занимался А.А.Стогний и частично А.А.Летичевский. Впрочем алгоритм делал я, а А.А.Стогний подготовил хорошие программы. По потоку предложений на входе этот алгоритм строил семантическую сеть, т.е. определял, какие слова с какими корреспондируются. Были сделаны зачатки картины мира, причем было придумано экономное кодирование, затем А.А. Стогний переключился на распознавание дискретных образов, тематику Ю.И. Журавлева, да и я оставил это дело, и у нас оно захирело. Надо было его с машинным переводом связать, но опять не хватило людей, а я не мог заниматься лишь семантической алгоритмикой. И все-таки, когда я сделал в 1962 году в Мюнхене на конгрессе IFIP доклад на эту тему, это было сенсацией – у американцев ничего подобного не было. Тогда же меня избрали в программный комитет Международной федерации по обработке информации”.
Начав широким фронтом развивать идеи создания систем ИИ на машинах первых поколений, В.М. Глушков, очевидно, надеялся достичь видимых результатов на протяжении ближайшего десятилетия или двух. Вопреки ожиданиям, получилось не все. В.М. достаточно быстро пришел к заключению о том, что сложные кибернетические системы требуют многолетнего труда. Чтобы правильно организовать эту работу, В.М. выдвинул принцип “единства ближних и дальних целей”, касающийся времени, необходимого для создания сложных кибернетических систем. Лучше всего этот принцип изложен в его воспоминаниях, которые он продиктовал в последние дни своей жизни. Цитируем из текста [16, с.45]:
“Дело заключается в том, что в кибернетике есть одна особенность. Когда развивались другие науки, которые не имели дела со столь большими системами, как кибернетика, то обычно возникновение идеи о том, как решить задачу (особенно в математике), являлось главным. Это было 90% дела. Если идея была верной, то ее оформление занимало 10%. В биологических исследаваниях эти цифры могут быть другими: 40% – идея, а 60% – труд на ее реализацию. А в кибернетике получается так, что в некоторых случаях идея составляет около 0,01%, а все остальное – 99,9% – это ее реализация. Объясню это на примере. Мы с самого начала стали развивать направление, называемое искусственным интеллектом, связанное с построением разумных машин и соответствующих программ. На эту тему я написал книгу “Теория самоусовершенствующихся систем”, и во “Введении в кибернетику” ряд разделов был посвящен специально этому вопросу.
Я поручил своему аспиранту Стогнию А.А. работу по искусственному интеллекту, в частности, обучению машины русскому или украинскому, в общем естественному человеческому языку, чтобы она понимала смысл предложений. И мы довольно быстро добились потрясающих вроде бы успехов. Могли “разговаривать” с машиной “Киев” как с маленьким ребенком. Она училась говорить, понимала, задавала вопросы, делала те же ошибки, которые делает ребенок и т.д. Над такого рода вещами (это была оригинальная работа) работали в разных лабораториях мира. Одни переводили с русского языка на английский и наоборот, другие еще что-то делали. И оказалось, что первые попытки давали обнадеживающие результаты: идея уже есть, остается только ее реализовать, а исходя из старого опыта, который был у людей раньше накоплен в других науках, считали, что идея это уже 40% дела. Если на разработку идеи потребовалось два года, значит, на ее реализацию потребуется в полтора раза больше, и через пять лет мы сделаем программы, которые будут переводить лучше любого переводчика с английского на русский, или сделаем такую машину, которая будет по пониманию языка и смысла хорошим собеседником на уровне человека и т.д. Но оказалось, что это далеко не так.
К сожалению, такая недооценка сложности кибернетических задач типична для периода становления любой науки. Я как-то быстро (может потому, что занимался философией в свое время) это понял и таких ошибок не делал, таких предсказаний не давал. Особенность больших систем в том, что от идей по их построению до их реализации очень длительный путь. Отсюда и появился важный управленческий принцип – единства дальних и ближних целей.
Я этот принцип формулирую так: в новой науке, какой является кибернетика, не следует заниматься какой-то конкретной ближней задачей, не видя дальних перспектив ее развития. И наоборот, никогда не следует предпринимать дальнюю перспективную разработку, не продумав, нельзя ли ее разбить на такие этапы, чтобы каждый отдельный этап, с одной стороны, был шагом в направлении этой большой цели, а вместе с тем он сам по себе смотрелся как самостоятельный результат и приносил конкретную пользу”.
Отметим, что В.М.Глушков был не одинок в переоценке возможностей ЭВМ. В этом можно убедиться, обратившись в Интернет с темой “Семантические сети – искусственный интеллект”, где в разделе “Столкновение с реальностью (период с 1966 года по 1973 год)” представлен анализ возможностей ЭВМ того времени для решения некоторых задач ИИ.
Начатые В.М.Глушковым работы по распознаванию машиной осмысленности фраз на естественном языке продолжались в направлении представления семантики (смысла) научно-технических текстов в виде семантических сетей. Остановимся лишь на двух исследованиях в этом направлении, начатых в 1960-х годах сотрудниками ВЦ, а после 1962 года – Института кибернетики АН УССР.
Результаты исследований в отделе В.М.Глушкова его сотрудниками-лингвистами Э.Ф.Скороходько и Л.Э.Пшеничной, полученные под влиянием идеи В.М. обучения машины, опубликованы в монографии [17]. Цитируем из предисловия к монографии:
“Данная работа посвящена одному из наиболее важных и перспективных направлений в современной лингвистической семантике – сетевому моделированию языка. Подобная тема впервые является объектом монографического исследования в советской науке. Этот метод исследования основывается на построении семантических сетей, моделирующих смысловую сторону лексики и текста. …Семантическая сеть оказалась особенно полезной при решении многих теоретических и практических задач, особенно связанных с проектированием лингвистического обеспечения систем искусственного интеллекта”.
Введение в компьютер лексической семантики терминосистемы является, по существу, обучением машины, хотя и не в прямом диалоге “человек – машина”, что было бы весьма неэффективным, учитывая объем информации, которую нужно ввести. Диалог становится актуальным в двух случаях: 1) в режиме экзамена сети на примерах, о которых неизвестно, являются они осмысленными или нет; 2) в режиме использования сети для проверки правильности определения терминов в толковых терминологических словарях, для оценки словарных параметров и др.
В конце 1960-х годов сотрудник ИК АН УССР В.П.Гладун (с 1983 года – доктор технических наук) ввел понятие растущих семантических сетей и их представление графами специального вида − пирамидальными семантическими сетями, предназначенными для исследований и компьютеризации процессов мышления. В монографии В.П.Гладуна [18] предлагаются семантические модели естественноязыкового текста, представляющие семантическую связь типа “часть − целое”. Цитируем из монографии [18, с. 41]:
“…Предусмотрено два режима формирования семантической модели языка: 1) путем непосредственного ввода в систему всей информации, образующей модель языка; 2) путем обучения системы на примерах осмысленных словосочетаний”.
На основании исследований В.П.Гладуна им предложены компьютерные средства формирования знаний в нескольких тематических областях.
Заключение. В.М.Глушков впервые в практике использования ЭВМ сформулировал концептуальную возможность и предложил алгоритм выявления основной смысловой связи в предложениях на естественном языке типа “субъект − действие”, реализованный на ЭВМ на примере простых предложений русского языка. За время, прошедшее с 1961 года, идея В.М. Глушкова эволюционировала в распознавание с помощью ЭВМ и других смысловых (семантических) связей, как-то: “причина − следствие”, “часть − целое”, “действие − объект” и др., охватывающие практически все полнозначные слова тематических текстов.
В настоящее время семантические сети стали средством исследований во многих отраслях знаний. Смысловой диалог компьютера с человеком становится одной из главных частей программного обеспечения компьютера. Отметим, что украинские математики во главе с В.М. Глушковым одними из первых увидели перспективу таких исследований и, одновременно с появлением первых ЭВМ, начали разрабатывать фундамент той интеллектуальной среды, которая сегодня кажется такой привычной.
В заключение автор выражает искреннюю благодарность В.В.Глушковой за ценные советы и моральную поддержку во время написания воспоминаний о В.М.Глушкове.
[1]. Proc. of the International Conference on Information Processing – 1959. Paris
[2]. Глушков В.М. Теория алгоритмов. – Киев: Изд-во КВИРТУ, 1961. – 167 с.
[3]. Тезисы докладов 2-ой научной конференции по вычислительной математике и вычислительной технике (6-10 июня). – Киев: Изд. ВЦ АН УССР, 1960. – 60 с.
[4]. Zaitzeff E.M., Astrahan M.M. Russian Visit to U.S. Computers // IRE Transactions on electronic computers. – Vol. EC-8. – Dec., 1959. – Numb. 4. – Р. 489-496.
[5]. Глушков В.М. Кибернетика. Вопросы теории и практики. М. – “Наука”, 1986г. – 477 с.
[6]. IRE Transactions on Electronic Computers. – Oct., 1961.
[7]. Newell A., Show J.C., Simon H.A. Report on a General Problem Solver // Proc. of the Intern. Conf. on Information Processing. – 1959. – Р.256-264.
[8]. Принципы построения самообучающихся систем: Сборник. – Киев: Гос. издат. техн. лит. УССР, 1962. – 126 с.
[9]. Скороходько Э.Ф., Пшеничная Л.Э. Синтез осмысленных предложений на ЭЦВМ. // Проблемы кибернетики: Сборник – Вып. 10. – М.: Физматгиз, 1963. – С. 261-273.
[10]. Glushkov V.M. Certain Questions of the Theory of Machine Self-learning // Proc. IFIP Congress. – Munich, 1962. – Р.480-481.
[11]. Newell A. Learning, Generality and Problem-Solving // Proc. IFIP Congress – Munich, 1962. – Р.407-412.
[12]. Глушков В.М. Введение в теорию самосовершенствующихся систем – Киев: Изд-во КВИРТУ. – 1962. – 109 с.
[13]. Глушков В.М. Введение в кибернетику – Киев: Изд-во АН УССР, 1964. – 324 с.
[14]. Глушков В.М. Некоторые проблемы теории автоматов и искусственного интеллекта. Тр. семинара “Теория автоматов и методы формализованного синтеза вычислительных машин и систем”, вып.8. – Киев, 1968.
[15]. Глушков В.М. Основы безбумажной информатики. – Москва: Наука, 1982. – 562 с.
[16]. Малиновский Б.Н. Академик В. Глушков. – Киев: Наук. думка, 1993. – 142 с.
[17]. Скороходько Э.Ф. Семантические сети и автоматическая обработка текста. – Киев: Наук. думка, 1983. – 213 с.
[18]. Гладун В.П. Процессы формирования новых знаний. – София, 1994. – 189 с.
Стаття “Об одной идее академика В.М.Глушкова, опередившей время” − PDF (RAR) − 10 Mb
