Since the end of the 50s, they have been actively working on neural networks, and in the Soviet Union, the 1960s became the golden age of Soviet science: by1975, ¼ of the total number of scientists in the world worked in the USSR.
Work was underway in the field of automatic control, machine translation, network technologies. In the 60s in the USSR, several serious thematic publications were published in large circulations.
In 1965, as part of an international exchange, a group of Western researchers visited the USSR. First, they stopped in Kiev and met with Academician Viktor Glushkov, the author of the OGAS concept, as well as with Aleksey Ivakhnenko, professor of the Kiev Polytechnic Institute, who will be discussed below.
Viktor Glushkov
In Tbilisi researchers worked on multilayer (or, as they were called in Soviet literature, "multi-row") perceptrons, whose names will not say much even to a person who is knowledgeable in the subject. They were also involved in speech recognition systems.
Three years later, John McCarthy came to Akademgorodok - for two months and as an employee of the Computing Center: he taught a course on program verification at Novosibirsk University. During one of his trips, McCarthy met Alexander Kronrod, who was working on a chess program, the successor of which was the famous "Kaissa", and agreed to hold the world's first chess match between computer programs.
John McCarthy
Alexander Kronrod
In this match in 1967, the Soviet chess program developed at the Institute for Theoretical and Experimental Physics defeated the Stanford University program with a score of 3-1.
Alexey Ivakhnenko and "The method of group accounting of arguments"
Alexey Grigorievich Ivakhnenko became admirer of the approach used by Rosenblatt, whose book "Principles of Neurodynamics" was translated into Russian in 1965 in the USSR.
Scientists Galushkin A.I. and Ivakhnenko A.G.
At the time of the release of the translation of the "Principles of Neurodynamics" Ivakhnenko was already a recognized scientist, his book "Technical Cybernetics", published before the translation of the principles of neurodynamics, not only withstood two editions in Russian, but was also published in many languages.
In 1959 Ivakhnenko successfully assembled and tested his own version of the perceptron - the Alpha machine, apparently named after Rosenblatt's α-perceptron.
Since 1963, Ivakhnenko worked under the guidance of the famous academician Viktor Mikhailovich Glushkov. Disagreements arose that related to the current and today opposition of the symbolic approach and connectionism.
One of Ivakhnenko's employees, Mikhail Shlesinger, earlier was an employee of the Glushkov Institute, where he was engaged in nothing more than the simulation of neural networks on a digital electronic machine "Kiev"!
An important result obtained by Ivakhnenko was the creation and development of the Group Arguments Method , one of the first deep learning algorithms in history. As for Yakov Tsypkin, for Ivakhnenko self-learning of the recognition system meant
"The process of automatic, that is, passing without human intervention, establishing the boundary dividing the space of input signals and features into areas corresponding to separate images."
Yakov Tsypkin
Already in the early 1970s, Ivakhnenko and his colleagues managed to train eight-layer neural networks based on an artificial neuron based on the Kolmogorov - Gabor interpolation polynomial.
Ivakhnenko's networks, containing eight layers, were clearly ahead of their time.
The book "Prediction of Random Processes", written by Ivakhnenko in collaboration with Valentin Lapa and published in 1969, has become a kind of compendium of techniques studied by Soviet connectionists
1974- full control over air traffic
1975 - homework automation
1976- automatic libraries using holographic memory devices
1979- high-speed automatic translation
1980- machines that make complex and critical decisions
1980 - creation of a single (world?) computing center
1985 - automatic disease diagnosis
1988- radar for the blind
1988- using robots for housework
1998- injecting information from the machine directly into the human brain
2000 - symbiosis between man and computer
2000 - motorways with automatic vehicle control
2025 - elimination of the aging mechanism, "immortality of people"
2045 - automatic mind reading etc.
A screenshot from a book with an alleged timeline of AI achievements.
Ivakhnenko A.G., Lapa V.G. "Prediction of random processes", publishing house "Naukova Dumka", 1971
Lapa V.G.
The 1971 book "Systems of heuristic self-organization in technical cybernetics" contains not only a detailed description of MGDH, but also many examples of its application for solving applied problems. In this book, Ivakhnenko wrote:
"Already in 1990, cybernetic systems for automated production management (on a plant, industry and national scale) will reduce the need for labor by 50%, that is, the work week can be reduced to three working days."
Aleksandr Kronrod, a Soviet theorist of artificial intelligence, even touches on the topic of immortality in his book Conversations on Programming, to which a whole chapter is devoted. The author says
that aging is “an alien process, foreign to the body,” and further sets out the concept of programmed aging.
Many of the works of Ivakhnenko and his colleagues have been translated into English, and we can see references to them in modern works on deep learning. The method of group consideration of arguments is used by researchers today.
In August 1974, a book by Alexander Ivanovich Galushkin "Synthesis of Multilayer Pattern Recognition Systems" was published. Galushkin's book became the first systematic presentation of the scientist's ideas, developed by him and his colleagues in previous years. Galushkin examines the use of activation functions in neural networks that are different from the Heaviside function and the signum (denoted by "sgn", a sign function that has three possible values: 0, 1 and −1). Galushkin justifies the need to use functions with a continuum of solutions as follows:
“An experimental study of this algorithm has shown that the convergence rate when finding a certain local mode is low, and the reason for this is the use in a multilayer recognition system with two solutions, which to a large extent“ coarse ”the information about the gradient of the secondary optimization functional when quantizing the input signal. In this regard, the main subject of research was a two-layer recognition system, similar in structure to the one described above, but consisting of linear threshold elements with a continuum of solutions. "
In addition to mathematical models, Galushkin, together with V. Kh. Narimanov, designed his own version of the hardware perceptron in the early 1970s.
In 2007, Springer Science & Business Media published Galushkin's book Neural Networks Theory in English.
A noteworthy term is “technical cybernetics”. Engineer-colonel Anatoly Kitov wrote an article "The main features of cybernetics.", after that the Soviet Union became the center of world cybernetics. When in the 60s and 70s we talked about this area, in the West, among informatics, very few people remembered it.
Anatoly Kitov
In the end of this period neural networks returned to the field of visibility of the mainstream of science.
The Soviet connectionist tradition, unlike the Western one, was continuous. Both Galushkin and Ivakhnenko and colleagues were engaged in their developments until the end of their death.
Soviet neurocomputer
Sources:
Christina Lavrenyuk @Christina29 "History of neural networks in the USSR"
Retrieved from
История нейронных сетей в СССР
Над нейронными сетями начиная с конца 50-х годов активно работали и в Советском союзе 1960-е стали золотым веком советской науки: к 1975 году ¼ от всего количества учёных в мире работала в СССР.
Шла работа в области автоматического управления, машинного перевода, сетевых технологий. В 60-ые годы в СССР большими тиражами выходило несколько серьёзных тематических изданий.
В 1965 году в рамках международного обмена группа западных исследователей посетила СССР. Сначала они заехали в Киев и познакомились с академиком Виктором Глушковым, автором концепции ОГАС, а также с профессором Киевского политехнического института Алексеем Ивахненко, о котором речь пойдёт далее.
В Тбилиси над многослойными (или, как их называли в советской литературе, «многорядными») перцептронами работало множество исследователей. Они занимались в том числе системами распознавания речи.
Через три года Джон Маккарти приехал в Академгородок в качестве сотрудника Вычислительного центра: он прочитал курс по верификации программ в Новосибирском университете. Далее он познакомился с Александром Кронродом, который работал над шахматной программой, наследницей которой стала знаменитая «Каисса», и договорился о проведении первого в мире шахматного матча между компьютерными программами.
В этом матче в 1967-м году советская шахматная программа, разработанная в Институте теоретической и экспериментальной физики, победила программу Стэнфордского университета со счётом 3-1.
Алексей Ивахненко и «Метод группового учёта аргументов»
Одним из поклонников подхода, использованного Розенблаттом, чья книга «Принципы нейродинамики» была переведена на русский язык в 1965 -ом году в СССР стал Алексей Григорьевич Ивахненко.
В момент выхода перевода «Принципов нейродинамики» Ивахненко уже был признанным учёным, его книга «Техническая кибернетика», вышедшая до перевода принципов нейродинамики, не только выдержала два издания на русском языке, но также была опубликована на английском, немецком, болгарском, польском и румынском.
В 1959 году Ивахненко успешно собрал и испытал собственную версию перцептрона — машину «Альфа», названную, по всей видимости, в честь α-перцептрона Розенблатта.
С 1963 года Ивахненко работал под руководством знаменитого академика Виктора Михайловича Глушкова. Возникли разногласия, которые касались актуального и на сегодняшний день противопоставления символьного подхода и коннекционизма.
Один из сотрудников Ивахненко, Михаил Шлезингер, раннее был сотрудником института Глушкова, где занимался ничем иным, как симуляцией нейронных сетей на цифровой электронной машине «Киев»!
Важным результатом, полученным Ивахненко, стало создание и развитие «Метода группового учёта аргументов» (МГУА), одного из первых в истории алгоритмов глубокого обучения. Как и для Якова Цыпкина, для Ивахненко самообучение распознающей системы обозначало
«процесс автоматического, то есть проходящего без вмешательства человека, установления границы, разделяющей пространство входных сигналов и признаков на области, отвечающие отдельным образам».
Уже в начале 1970-х годов Ивахненко и его коллегам удавалось обучать восьмислойные нейронные сети, в основе которых лежал искусственный нейрон, основанный на интерполяционном полиноме Колмогорова — Габора.
Сети Ивахненко, содержащие восемь слоёв, явно опережали своё время.
Книга «Предсказание случайных процессов», написанная Ивахненко в соавторстве с Валентином Лапой и увидевшая свет в 1969 году, стала своеобразным компендиумом техник, исследовавшихся советскими коннекционистами
Скриншот из книги с предполагаемой хронологией достижений ИИ. Ивахненко А.Г., Лапа В.Г. «Предсказание случайных процессов», издательство «Наукова думка», 1971 г..
Книга 1971-го года «Системы эвристической самоорганизации в технической кибернетике» содержит не только подробное описание МГУА, но и множество примеров его применения для решения прикладных задач. В этой книге Ивахненко писал:
«Уже в 1990-м году кибернетические системы автоматизированного управления производством (в масштабе завода, отрасли и всей страны) сократят потребность в рабочей силе на 50%, то есть, рабочая неделя может быть снижена до трёх рабочих дней».
У Александра Кронрода, советского теоретика искусственного интеллекта, в книге «Беседы о программировании» затронута даже тема бессмертия, которой посвящена целая глава. Автор говорит
что старение — это «чужеродный, посторонний организму процесс», и далее излагает концепцию запрограммированного старения.
Многие работы Ивахненко и его коллег были переведены на английский язык, и отсылки к ним мы можем увидеть в современных работах по глубокому обучению. Метод группового учёта аргументов используется исследователями и в наши дни.
В августе 1974-го года вышла книга Александра Ивановича Галушкина, «Синтез многослойных систем распознавания образов». Книга Галушкина стала первым систематическим изложением идей учёного, развитых им и его коллегами в предшествующие годы. Галушкин рассматривает использование в нейронных сетях функций активации, отличных от функции Хевисайда и сигнума (обозначается «sgn», функция знака, имеющая три возможных значения: 0, 1 и −1). Необходимость применения функций с континуумом решений у Галушкина обосновывается следующим образом:
«Экспериментальное исследование данного алгоритма показало, что скорость сходимости при нахождении некоторой локальной моды мала, и причиной этого является применение в многослойной системе распознавания с двумя решениями, которые в значительной степени «загрубляют» информацию о градиенте функционала вторичной оптимизации при квантовании входного сигнала. В связи с этим основным предметом исследования являлась двухслойная система распознавания, по структуре подобная описанной выше, но состоящая из линейно-пороговых элементов с континуумом решений».
Кроме математических моделей, Галушкин совместно с В. Х. Наримановым ещё в начале 1970-х годов сконструировал собственную версию аппаратного перцептрона.
В 2007 году издательство Springer Science & Business Media выпустила книгу Галушкина «Теория нейронных сетей» [Neural Networks Theory] на английском языке.
Термин, достойный внимания — это «техническая кибернетика». Инженер-полковник Анатолий Китов написал статью «Основные черты кибернетики», после чего парадоксальным образом Советский союз стал центром мировой кибернетики. Когда в 60—70-ые годы у нас говорили об этой области, на Западе среди информатиков о ней уже мало кто вспоминал.
В итоге лёд тронулся, и нейронные сети возвратились в область видимости основного направления науки.
Советская коннекционистская традиция, в отличие от западной, была непрерывной. И Галушкин, и Ивахненко и коллеги занимались своими разработками вплоть до своей смерти.
Sources:
Кристина Лавренюк @Christina29 "История нейронных сетей в СССР"
Retrieved from
Comments