SOUND-ON-FILM AND GRAPHICAL SOUND
«Graphical (Drawn) Sound is a technology of synthesizing sound from light that was developed in Soviet Russia in 1929 as a consequence of the newly invented sound-on-film technology, which made possible access to sound as a visible graphical trace in a form that could be studied and manipulated»
«The first practical sound-on-film system created in Moscow by Pavel Tager in 1926, the Tagephon, was based on ‘intensive’ variable density optical recording on film, while in Shorin’s Kinap system, developed in Leningrad in 1927, the method of ‘transversal’ variable area optical recording on film was realized. Another version of Shorin’s system, the Shorinophone, which was widely used for field and studio sound recording, was based on the mechanical reproduction of gramophone-like longitudinal grooves along the filmstrip»
«When in October 1929 year the first roll of film was developed, it was Tsekhanovsky who voiced the idea: ‘What if we take some Egyptian or ancient Greek ornaments as a sound track? Perhaps we will hear some unknown archaic music?’ He was referring to the shapes and outlines of vases and how these could be used as wave forms to generate sound. It was at this precise moment that Graphical Sound techniques were invented»
«The next day they were already furiously at work on experiments in what they referred to variously as ‘ornamental’, ‘drawn’, ‘paper’, ‘graphical’, ‘artificial’ or ‘synthetic’ sound—techniques that offer the capacity to syn-thesize any sounds as well as any polyphonic musical pieces, based on mathematical and acoustical data. The laboratories that were soon created became the first-ever prototypes of the future centres for computer music»
«Owing to the cross-disciplinary nature of the new technique, people involved in it had to possess a wide range of knowledge, being skilled in music, acoustics, mathematics, sound-on-film technology and engineering. Without any developed terminology many unexpected ‘puzzles’ appear in their writings»
«There were several known research groups—competitors in Russia and Germany working in parallel. It led to a very specific problem—encryption of the information. For example, Yankovsky had a very special way of making notes on his ideas. It is impossible to understand the construction of his tools from reading one description without referring to several other manuscripts that offer important keys for understanding it»
«On the well-known photographs from the early 1930s Oskar Fischinger holds ‘fake’ rolls made by his Studio for publicity purposes as he did not want his competitors to learn his actual techniques. He never used rolls as large as this—they were dummies»
«By 1936 there were several main, relatively comparable trends of ‘Graphical Sound’:
1 Hand-drawn ‘Ornamental Sound’, achieved by means of shooting still images of drawn sound waves on an animation stand, with final sound-tracks produced in a transversal form.
2 Hand-made ‘Paper Sound’ with final transversal soundtracks.
3 The Variophone or ‘Automated Paper Sound’ with soundtracks in both transversal and intensive form.
4 The ‘Syntones’ method, based on the idea of spectral analysis, decomposition and resynthesis»
HAND-DRAWN ORNAMENTAL SOUND
«In 1930 Arseny Avraamov was the first to demonstrate experimental sound pieces produced purely with drawing methods. Having made drawings of geometric profiles and ornaments, he then shot still images of these drawn sound waves on an animation stand»
«According to Vladimir Solev: ‘Five years ago, at the very beginning of sound-on-film, at a conference, the theorist-composer Arseny Avraamov was the first to demonstrate experimental pieces, based on geometric profiles and ornaments, produced purely with drawn methods. Later his former assistants found their own specific methods.’»
«Mikhail Tsekhanovsky, wrote in his article ‘O Zvukovoi Risovannoi Filme’: ‘With the invention of new drawn sound techniques we are achieving a real possibility of gaining a new level of perfection: both sound and the visual canvas will be developing completely in parallel from the first to the last frame… Thus drawn sound film is a new artistic trend in which for the first time in our history music and art meet each other.’»
Pic. 2, 3 - Ornamental soundtracks, drawn by Arseny Avraamov in Moscow, 1930 and 1931. TCA. (Орнаментальные фонограммы, нарисованные Арсением Авраамовым в Москве, 1930 и 1931 годы. ТСА.)
«Composer Arseny Avraamov at the scientific research institute conducts interesting experiments with the creation of hand-drawn music. Instead of common sound recording on film by means of microphone and photocell, he simply draws geometrical figures on paper before photographing them onto the sound track of the filmstrip. Afterwards this filmstrip is played as a common movie by means of a film projector»
«In the autumn of 1930 Avraamov founded the Multzvuk Group. His research was focused mainly on harmony in the new microtonal ‘Ultrachromatic’ music. To produce his first drawn ornamental soundtracks he had a small number of staff: a special draughtsman, operator Nikolai Zhelynsky, animator Nikolai Voinov, and acoustician Boris Yankovsky, who was responsible for the translation of musical scores into Avraamov’s forty-eight-step microtonal Welttonsystem, as well as into Andrey Samoilov’s Ober-Unter-Tone Harmony system»
«In 1935 Avraamov, composer and politician Boris Krasin (one of the founders of the Union of Composers) and the scholar Alexei Ogolevets founded the Autonomous Research Section (ANTES) at the Union of Composers in Moscow. ANTES was intended to develop research into new tonal systems, new electronic musical instruments and Graphical Sound and Syntonfilm»
«On 28 January 1936 the infamous Pravda article ‘Confusion Instead of Music’ vilifying the music of Dmitry Shostakovich was published, initiating a war by the totalitarian State on the freedom of artistic expression. Although the article was anonymous, many historians assign its authorship to the head of the Committee of Arts and the communist party functionary Platon Kerzhentsev. After the death of Boris Krasin on 21 June 1936 ANTES was closed and all experimental projects lost their funding and support»
«From 1930-34 over 2,000 metres of ornamental sound tracks were produced by Avraamov’s Multzvuk Group and Syntonfilm. The whole archive had been kept for several years at Avraamov’s apartment, where it is thought that in 1936-38, during a trip by Avraamov to Caucasus, it was burned by his own sons, making rockets and smoke screens with the old nitro-film»
PAPER SOUND
«Nikolai Voinov (1900-58) began his career as an animator in 1927. In 1930 he was involved in the production of the first drawn ornamental soundtracks at Avraamov’s Multzvuk laboratory. In 1931 he left and started his own research at the Cartoon Studio of the Moscow Film Factory as a developer of ‘Paper Sound’ techniques»
«According to Vladimir Solev: ‘Voinov would painstakingly cut out short cog shapes from sheets of paper, with each cog representing a single semitone in the range of eighty piano keys. For each note he would take a contoured “comb” of cogs with the density related to the pitch, similar to the combs of natural soundtracks. Low pitches have a low density of cogs, while for higher pitches they are condensed and thin.’»
«Voinov was the first to synthesize piano sounds: his method offered a surprisingly efficient level of control over the dynamics of sound»
EVGENY SHOLPO AND THE LABORATORY FOR GRAPHICAL SOUND, LENINGRAD
«When in October 1929 the idea of Drawn Sound was voiced, Sholpo proposed to Alexander Shorin, the chief of the Central Laboratory of Wire Communication in Leningrad, a research project about synthetic Graphical Sound production. Shorin was cautious—he suggested starting with existing sound recording techniques combining live sound recordings to produce a new musical piece»
«Among their most accomplished pieces recorded with the Variophone in 1933-35 were Waltz by Nikolai Timofeev, Flight of the Valkyries composed by Richard Wagner, and 6th Rhapsody composed by Franz Liszt. While much early popular electronic music has a rigid, metronome-like tempo, Sholpo was able to simulate more subtle variations in rhythm such as rubato, rallentando and accelerando, based on his careful analyses of live piano performances by some of the leading pianists of the day»
Рiс. 11-16 - Variophone, version 1, 1932. Courtesy of Marina Sholpo (Вариофон, версия 1, 1932 г. Предоставлено Мариной Шолпо.)
Рiс. 17-22 - The process of producing and loading the Variophone optical disk. 1932. Courtesy of Marina Sholpo. (Процесс изготовления оптических дисков и их загрузки в Вариофон загрузки оптического диска Variophone. 1932. Предоставлено Мариной Шолпо.)
«In 1939-41 Sholpo wrote a seminal book Teorija i praktika graficheskogo zvuka (The Theory and Practice of Graphical Sound). In 1941 during the blockade of Leningrad, together with composer Boldirev, Sholpo synthesized one of his most experimental pieces—the soundtrack to the cartoon Sterviatniki»
THE VARIOPHONE
«In May 1930 Sholpo, during his work at Alexander Shorin’s Central Laboratory of Wire Communication in Leningrad, applied for a patent on a ‘method and device for the production of a periodic sound track on film’, describing the system, which was later named the Variophone with several improvements added by means of supplementary applications on 21 September 1930 28 and 25 November 1931»
«According to Solev: ‘Sholpo’s method makes access easier to varieties of timbres. He doesn’t shoot still images of sounds on an animation stand, instead using paper disks with circular images of combs with appropriate shapes of cogs, rotating synchronously with a moving filmstrip. The exclusive benefits of the Variophone are in its flexible pitch control and vibrato.’»
«The Variophone was continuously under development and by 1936 the arsenal of musical and acoustical means of the second version had been highly enriched by the capacity for free glissando with a speed of up to four octaves per second, flexible and precise control over dynamics. The Variophone could produce polyphonic soundtracks by means of multiple exposure with up to twelve parallel voices. Even compared with the subsequent and more advanced third and fourth versions, it produced the most impressive quality and complexity of sound»
Рiс. 37-38 - The final, fourth version of the Variophone. Leningrad, 1949. Courtesy of Marina Sholpo. (Финальная, четвертая версия вариофона. Ленинград, 1949. Предоставлено Мариной Шолпо.)
«In 1939 Sholpo began developing the third version of the Variophone, which was almost finished by 1941 but remained nonfunctional until 1946 due to several critical mistakes in its construction. In the fourth and final version of the Variophone he made an attempt to switch to magnetic recording instead of optical soundtracks. This version was never finished since the Laboratory for Graphical Sound was finally closed in 1950. The instruments were declared as non-functional so they were discarded and thrown out»
BORIS YANKOVSKY—SYNTHETIC ACOUSTICS
«In 1932, the young painter and acoustician Boris Yankovsky left the Multzvuk Group and established his own Syntonfilm Laboratory in Moscow. Unlike most of his colleagues, being a good acoustician he had a clear understanding that the ornaments and related sound waveforms did not represent uniformly the tone ‘colour’. Only a dynamical spectrum of sound with all the nuances of its temporal transitions could give a complete picture»
«Yankovsky went much further than other researchers. Of all the early Graphical Sound pioneers Yankovsky alone pursued the approach of spectral analysis, decomposition and re-synthesis. His curves were ‘spectral templates’, semiotic entities that could be combined to produce sound hybrids, based on a type of spectral mutation»
AUDIO COMPUTING
«Boris Yankovsky proposed the method, based on research into structural similarities and distinctions among spectra of sounds of different character, to limit as far as possible the number of calculations needed for the additive synthesis of various complex sounds»
«The method developed by Yankovsky was based on pure audio computing techniques and possessed properties very common in digital technologies, such as discretization and quantization of audio signals and related spectral data, manipulation with ready-made parts, and operations with selections from databases of the basic primitives (templates), that distinguish it from the methods of analogue signal processing»
«Yankovsky’s practical approaches were based on: the analysis of descriptions of spectra available in literature; occasional opportunities to use the spectrum analyser at the First Factory of Bow Instruments in Moscow; and practical experience, which gave Yankovsky the possibility of estimating the spectral content of sounds by exploring the structure of the waveform»
«Measuring the frequency and relative amplitude of these patterns by means of a special ruler, he could give a rough estimate of the formant structure of sound. As a result of his long-term research Yankovsky established that all natural sounds can be divided into classes with corresponding characteristic types of spectra and acoustic properties of sources»
«His expectation was that splicing together calculated fined length, would permit him to synthesize sounds with different pitches, depending on the duration of the intermediate silent pause, while the frequency of the formant would be fixed and equal to the above-mentioned middle frequency. In fact the waveform for the whole period including the intermediate segment should be calculated according to the spectrum desired»
«To solve the problem of pitch transposition keeping the formants fixed to preserve the character of a sound, Yankovsky suggested calculating three templates per octave for the whole pitch range of each particular sound, transposing each template by means of varying the playback speed in the range not exceeding one third of an octave»
SYNTONES AND SYNTHETIC INSTRUMENTS
«To synthesize the human voice singing a vowel, one would need to choose several templates related to formants, to add extra templates as needed, to recalculate their sizes according to the desirable frequencies and intensities of formants, and then to mix them. The final waveform would sound like a ‘frozen’ vowel. This waveform could be used to produce a temporal ‘quant’ of sound, physically related to one frame of the film»
THE VIBROEXPONATOR — HOW IT WORKS
«Although Yankovsky referred to the construction of the Vibroexponator in several articles he never described it in all its details. Nor have any detailed drawings of its construction yet been found. Nevertheless, according to existing descriptions, the Vibroexponator had several stages that enabled the whole process of syntone production as well as the creation of the final soundtrack, related to one frame. A crucial part of the Vibroexponator was the slide-copying machine tool devised to convert the initial ‘transversal’ optical soundtrack into the ‘intensive’ form necessary for further processing»
«The Vibroexponator was mounted as an extension of a rostrum camera. This way, successive frames of film could be exposed to build spectral transformations by incremental changes in pre-synthesized waveforms, each increment being one frame of film»
«In December 1932 Yankovsky wrote a proposal for a patent on a method related to his main tool the Vibroexponator, based on a modified animation stand. On 29 March 1933 he received a ‘certificate of primacy’ (#126248) for the application ‘Ustroystvo Zvukovoy Multiplicacii’ (Device for Sound Animation) which, according to the official bulletin, had the author’s certificate #34195. Owing to a typographical error somewhere along the line, this in fact belonged to a different Application No. 126284.43. The result of this error was that Yankovsky’s application was lost and never mentioned again»
ACHIEVEMENTS BY 1940 AND FUTURE PROSPECTS
«Describing future prospects, Yankovsky wrote: ‘In the future we hope to increase by eight times the width of the effective soundtrack recorded on film by drawing parallel tracks to extend the dynamic range of the phonogram as well as to achieve complicated spatial effects, locating different groups of instruments independently at different loudspeakers, producing effects of interaction of voices and sounds located in different parts of the concert hall. We also hope to construct in the future the “Synthesizer”—a huge device for the mechanical addition and simultaneous drawing of complex harmonious fluctuations.’»
Рiс 55-56 - Collection of sound samples, recorded with the Kinap system. c. 1935. TCA (Коллекция звуковых сэмплов, записанных системой Kinap. 1935. ТСА)
Рiс 57-58 - Collection of different Syntones. TCA. (Коллекция различных синтонов. ТСА.)
«Yankovsky kept his unpublished manuscripts as well as a box with his synthetic tone-films. In the late 1960s Yankovsky met the young sound engineer Lev Bolotsky and donated his old manuscripts and invited Bolotsky to his laboratory. Bolotsky remembers that Yankovsky showed him a large cardboard box full of tone-films and photo-plates. This was sometime around 1970. Nobody knows what later happened to this collection. Hopefully the treasure is still awaiting the fortunate researcher. Boris Yankovsky is thought to have died in 1973»
THE ANS SYNTHESIZER
«In 1938 Yankovsky met Evgeny Murzin (1914-70), a young inventor fascinated by the idea of a universal tool for sound synthesis. By 1939 the concept of the instrument had been developed and in 1957 Murzin completed the development and patented a photo-electronic musical instrument called the ANS Synthesizer»
«ANS Synthesizer is based on the same principles of photo-optical sound recording—used in cinematography—as the Variophone by Evgeny Sholpo. It incorporates a set of rotating optical disks with photo-printed round optical sound tracks. While in the Variophone one rotating disk produced a single sound, in the ANS each optical disk contained 144 independent sound tracks»
«The second version of the ANS was constructed in 1964 and generates 720 tones covering the entire audible frequency range. Unlike the Variophone, intended to produce optical recording of sound on film as a result of a non-realtime process, ANS was a realtime instrument, producing the sounding result directly during work. Conceptually the instrument develops Boris Yankovsky’s ideas: working with the ANS Synthesizer the composer manipulates the spectrum of sound instead of the waveform»
«In 1967 in Moscow, with the ANS Synthesizer at its core, the studio of electronic music was established. The instrument was used for scoring many films, in particular, the early films of Andrey Tarkovsky. However in spite of the obvious success of the project, Boris Yankovsky was never involved in its further development»
BACK TO SYNAESTHESIA
«In December 1958 in Moscow, Evgeny Murzin applied for a patent entitled ‘Visual Prosthesis for General Use by the Totally Blind’, concerning an apparatus which mapped ‘viewed’ images across into sound, thereby producing a kind of artificial synaesthesia»
«Murzin suggested that with practice, a blind user could learn to decipher the complex sounds produced by this device as a meaningful representation of vision»
«Despite its happy destiny, the ANS Synthesizer and its derivatives were the last original and significant developments in the realm of music technology to be made in the USSR»
Source:
1) Andrey Smirnov, "SOUND IN Z. EXPERIMENTS OF SOUND AND ELECTRONIC MUSIC IN RUSSIA IN THE EARLY XX CENTURY", London, Koenig Books, 2013, retrieved from https://monoskop.org/images/6/63/Smirnov_Andrey_Sound_in_Z_Experiments_in_Sound_and_Electronic_Music_in_Early_20th_Century_Russia.pdf
Текст на русском
ЗВУК НА ПЛЕНКЕ И ГРАФИЧЕСКИЙ ЗВУК
«Графический (рисованный) звук — технология синтеза звука из света, разработанная в Советской России в 1929 г. как следствие вновь изобретенной технологии «звук на пленке», позволившей получить доступ к звуку как зримому графическому следу в форме, который можно изучать и манипулировать»
«Первая практическая система звукозаписи на пленку «Тагефон», созданная в Москве Павлом Тагером в 1926 г., была основана на «интенсивной» оптической записи с переменной плотностью на пленку, а в системе «Кинап» Шорина, разработанной в Ленинграде в 1927 г., использовался метод «реализации поперечной оптической записи переменной площади на пленку». Другой вариант системы Шорина — шоринофон, широко использовавшийся для полевой и студийной звукозаписи, был основан на механическом воспроизведении патефоноподобных продольных бороздок вдоль диафильма»
«Когда в октябре 1929 года был проявлен первый рулон пленки, Цехановский озвучил идею: «А что, если взять в качестве звуковой дорожки какой-нибудь египетский или древнегреческий орнамент? Может быть, мы услышим какую-нибудь неизвестную архаичную музыку?» Он имел в виду формы и очертания ваз и то, как их можно использовать в качестве волновых форм для создания звука. Именно в этот момент были изобретены методы графического звука»
«На следующий день они уже яростно работали над экспериментами с тем, что они называли по-разному «орнаментальным», «нарисованным», «бумажным», «графическим», «искусственным» или «синтетическим» звуком — техниками, дающими возможность синтезировать размеры любых звуков, а также любых полифонических музыкальных произведений на основе математических и акустических данных. Созданные вскоре лаборатории стали первыми прообразами будущих центров компьютерной музыки»
«Из-за междисциплинарного характера новой методики люди, занимавшиеся ею, должны были обладать широким кругом знаний, разбираться в музыке, акустике, математике, технологии звукозаписи и технике. Без развитой терминологии в их сочинениях появляется много неожиданных «загадок»
«Параллельно работало несколько известных исследовательских групп-конкурентов в России и Германии. Это привело к очень специфической проблеме — шифрованию информации. Например, у Янковского была особая манера записывать свои идеи. Невозможно понять конструкцию его инструментов, прочитав одно описание, не обратившись к нескольким другим рукописям, которые предлагают важные ключи для его понимания»
«На известных фотографиях начала 1930-х годов Оскар Фишингер держит «фальшивые» рулоны, сделанные его студией в рекламных целях, так как он не хотел, чтобы конкуренты узнали его настоящую технику. Он никогда не использовал такие большие рулоны — это были пустышки»
«К 1936 году существовало несколько основных, относительно сопоставимых направлений «Графического звука»:
1 Нарисованный вручную «орнаментальный звук», полученный путем съемки неподвижных изображений нарисованных звуковых волн на анимационном стенде с окончательными звуковыми дорожками, выполненными в поперечной форме.
2 Ручной «Бумажный звук» с окончательными сквозными саундтреками.
3 Вариофон или «Автоматизированный бумажный звук» с фонограммами как в поперечной, так и в интенсивной форме.
4 Метод «Синтонов», основанный на идее спектрального анализа, декомпозиции и ресинтеза»
РУЧНОЙ РИСУНОК И ОРНАМЕНТАЛЬНЫЙ ЗВУК
«В 1930 году Арсений Авраамов первым продемонстрировал экспериментальные звуковые произведения, созданные чисто чертежным методом. Сделав рисунки геометрических профилей и орнаментов, он затем снял неподвижные изображения этих нарисованных звуковых волн на анимационном стенде»
«По словам Владимира Солева: «Пять лет назад, в самом начале озвучивания, на конференции теоретик-композитор Арсений Авраамов первым продемонстрировал экспериментальные произведения, основанные на геометрических профилях и орнаментах, выполненных чисто рисованным способом. Позже его бывшие помощники нашли свои специфические методы»
«Михаил Цехановский писал в статье «О звуковой рисованной киноленте»: «С изобретением новой техники рисованного звука мы достигаем реальной возможности выхода на новый уровень совершенства: и звуковое, и визуальное полотно будут развиваться совершенно параллельно от первого до последнего кадра… Рисованный звуковой фильм — новое художественное направление, в котором впервые в нашей истории встречаются музыка и искусство»
«Композитор Арсений Авраамов в НИИ проводит интересные эксперименты с созданием рисованной музыки. Вместо обычной записи звука на пленку с помощью микрофона и фотоэлемента он просто рисует на бумаге геометрические фигуры, а затем фотографирует их на звуковую дорожку диафильма. Затем эта диафильм проигрывается как обычный фильм с помощью кинопроектора»
«Осенью 1930 года Авраамов основал группу «Мультзвук». Его исследования были сосредоточены в основном на гармонии в новой микротональной «ультрахроматической» музыке. Для создания своих первых нарисованных орнаментальных фонограмм у него был небольшой штат сотрудников: специальный рисовальщик, оператор Николай Желынский, аниматор Николай Воинов и акустик Борис Янковский, отвечавший за перевод партитур в сорокавосьмиступенчатую микротональную систему Вельттона Авраамова, а также в системе Ober-Unter-Tone Harmony Андрея Самойлова»
«В 1935 году Авраамов, композитор и политик Борис Красин (один из основателей Союза композиторов) и ученый Алексей Оголевец основали Автономную научную секцию (АНТЕС) при Союзе композиторов в Москве. ANTES был предназначен для развития исследований в области новых тональных систем, новых электронных музыкальных инструментов, а также графического звука и синтонфильма»
«28 января 1936 года в «Правде» была опубликована печально известная статья «Путаница вместо музыки», в которой очернялась музыка Дмитрия Шостаковича, что положило начало войне тоталитарного государства за свободу художественного самовыражения. Хотя статья была анонимной, многие историки приписывают ее авторство главе Комитета искусств и партийному функционеру Платону Керженцеву. После смерти Бориса Красина 21 июня 1936 г. АНТЕС был закрыт, а все экспериментальные проекты лишились финансирования и поддержки»
«С 1930 по 1934 год более 2000 метров декоративных звуковых дорожек было произведено Авраамовской группой «Мультзвук» и «Синтонфильмом». Весь архив несколько лет хранился на квартире Авраамова, где, как считается, в 1936-38 годах, во время поездки Авраамова на Кавказ, его сожгли собственные сыновья, делая из старой нитропленки ракеты и дымовые завесы»
БУМАЖНЫЙ ЗВУК
«Николай Воинов (1900-58) начал свою карьеру как художник-мультипликатор в 1927 году. В 1930 году он участвовал в создании первых рисованных орнаментальных фонограмм в лаборатории Авраамова «Мультзвук». В 1931 году он ушел и начал свои собственные исследования в студии мультфильмов Московской кинофабрики в качестве разработчика техники «Бумажный звук»
«По словам Владимира Солева: «Войнов кропотливо вырезал из листов бумаги короткие шестеренки, каждая из которых представляла один полутон в диапазоне восьмидесяти клавиш фортепиано. Для каждой ноты он брал контурную «гребенку» зубцов с плотностью, связанной с высотой тона, подобно гребенкам естественных звуковых дорожек. Низкие ноты имеют низкую плотность зубцов, в то время как для более высоких тонов они сгущены и тоньше»
«Воинов первым синтезировал звуки фортепиано: его метод предложил удивительно эффективный уровень контроля над динамикой звука»
ЕВГЕНИЙ ШОЛПО И ЛАБОРАТОРИЯ ГРАФИЧЕСКОГО ЗВУКА, ЛЕНИНГРАД
«Когда в октябре 1929 года была озвучена идея Drawn Sound, Шолпо предложил начальнику Центральной лаборатории проводной связи в Ленинграде Александру Шорину исследовательский проект по созданию синтетического графического звука. Шорин был осторожен - он предложил начать с существующих методов звукозаписи, комбинируя живые звукозаписи для создания нового музыкального произведения»
«Среди наиболее совершенных произведений, записанных на вариофон в 1933-35 годах, были «Вальс» Николая Тимофеева, «Полет валькирий» Рихарда Вагнера и «6-я рапсодия» Ференца Листа. В то время как большая часть ранней популярной электронной музыки имеет жесткий темп, похожий на метроном, Шолпо смог сымитировать более тонкие вариации ритма, такие как рубато, раллентандо и акселерандо, основываясь на своем тщательном анализе живых фортепианных выступлений некоторых ведущих пианистов эпохи»
«В 1939-41 гг. Шолпо написал основополагающую книгу «Теория и практика графического звука». В 1941 году во время блокады Ленинграда вместе с композитором Болдыревым Шолпо синтезировал одно из своих самых экспериментальных произведений — саундтрек к мультфильму «Стервятники»
ВАРИОФОН
«В мае 1930 года Шолпо, работая в Центральной лаборатории проводной связи Александра Шорина в Ленинграде, подал заявку на патент на «способ и устройство для производства периодической звуковой дорожки на кинопленку», описав систему, которая впоследствии была названа Вариофон с несколькими улучшениями, добавленными посредством дополнительных заявок от 21 сентября 1930 г. и 25 ноября 1931 г.»
«По словам Солева: «Метод Шолпо облегчает доступ к разновидностям тембров. Он не снимает неподвижные изображения звуков на анимационном стенде, а использует бумажные диски с круглыми изображениями гребешков с зубьями соответствующей формы, вращающимися синхронно с движущейся диафильмом. Исключительные преимущества вариофона заключаются в его гибком управлении высотой звука и вибрато»
«Вариофон постоянно совершенствовался, и к 1936 году арсенал музыкально-акустических средств второй версии значительно пополнился возможностью свободного глиссандо со скоростью до четырех октав в секунду, гибким и точным управлением динамикой. Вариофон мог воспроизводить полифонические звуковые дорожки с помощью многократного воздействия до двенадцати параллельных голосов. Даже по сравнению с последующими и более продвинутыми третьей и четвертой версиями она давала самое впечатляющее качество и сложность звука»
«В 1939 году Шолпо приступил к разработке третьей версии вариофона, которая была почти закончена к 1941 году, но оставалась нефункциональной до 1946 года из-за нескольких критических ошибок в конструкции. В четвертой и последней версии Вариофона он сделал попытку перейти на магнитную запись вместо оптических фонограмм. Эта версия так и не была завершена, так как Лаборатория графического звука была окончательно закрыта в 1950 году. Инструменты были объявлены нефункциональными, поэтому их выбросили»
БОРИС ЯНКОВСКИЙ — СИНТЕТИЧЕСКАЯ АКУСТИКА
«В 1932 году молодой художник и акустик Борис Янковский, разочаровавшись в «орнаментальном звучании», покинул группу «Мультзвук» и основал в Москве собственную лабораторию «Синтонфильм». В отличие от большинства его коллег, будучи хорошим акустиком, ясно понимал, что орнаменты и связанные с ними формы звуковых волн не единообразно передают «цвет» тона. Полную картину мог дать только динамический спектр звука со всеми нюансами его временных переходов»
«Янковский пошел гораздо дальше других исследователей. Из всех первых пионеров графического звука только Янковский использовал подход спектрального анализа, декомпозиции и повторного синтеза. Его кривые были «спектральными шаблонами», семиотическими сущностями, которые можно было комбинировать для создания звуковых гибридов на основе типа спектральной мутации»
АУДИО КОМПЬЮТИНГ
«Борис Янковский предложил метод, основанный на исследовании структурных сходств и различий между спектрами звуков разного характера, чтобы максимально ограничить количество вычислений, необходимых для аддитивного синтеза различных сложных звуков»
«Метод, разработанный Янковским, был основан на чистом звуковом вычислительных приемов и обладал весьма распространенными в цифровых технологиях свойствами, такими как дискретизация и квантование звуковых сигналов и связанных с ними спектральных данных, манипулирование готовыми частями и операции с выборками из баз данных базовых примитивов (шаблонов), которые отличают его от методы аналоговой обработки сигналов»
«Практические подходы Янковского основывались на: анализе имеющихся в литературе описаний спектров; периодические возможности использования анализатора спектра на Первом заводе смычковых инструментов в Москве; и практический опыт, который дал Янковскому возможность оценивать спектральный состав звуков, исследуя структуру формы волны»
«Измеряя с помощью специальной линейки частоту и относительную амплитуду этих узоров, Янковский мог дать грубую оценку формантной структуре звука. В результате своих многолетних исследований он установил, что все звуки природы можно разделить на классы с соответствующими характерными типами спектров и акустическими свойствами источников»
«Он рассчитывал, что сращивание вычисленных тонких длин позволит ему синтезировать звуки с разной высотой звука в зависимости от длительности промежуточной молчаливой паузы, а частота форманты будет фиксированной и равной упомянутой средней частоте. На самом деле форма сигнала для всего периода, включая промежуточный сегмент, должна быть рассчитана в соответствии с желаемым спектром»
«Для решения задачи транспозиции высоты тона с фиксированными формантами для сохранения характера звука Янковский предложил вычислять три шаблона на октаву для всего диапазона высоты звука каждого конкретного звука, транспонируя каждый шаблон изменением скорости воспроизведения в диапазоне не превышает одну треть октавы»
СИНТОНЫ И СИНТЕТИЧЕСКИЕ ИНСТРУМЕНТЫ
«Чтобы синтезировать человеческий голос, поющий гласную, потребуется выбрать несколько шаблонов, связанных с формантами, при необходимости добавить дополнительные шаблоны, пересчитать их размеров в соответствии с желаемыми частотами и интенсивностями формант, а затем смешивать их. Окончательная форма волны будет звучать как «замороженная» гласная. Эту форму волны можно использовать для создания временного «кванта» звука, физически связанного с одним кадром фильма»
ВИБРОЭКСПОНАТОР — КАК ЭТО РАБОТАЕТ
«Хотя Янковский упоминал конструкцию виброэкспонатора в нескольких статьях, он никогда не описывал ее во всех деталях. До сих пор не найдено никаких подробных чертежей его конструкции. Тем не менее, согласно существующим описаниям, Виброэкспонатор имел несколько стадий, позволяющих осуществлять весь процесс производства синтона, а также создание финального саундтрека, увязанного с одним кадром. Важнейшей частью Виброэкспонатора был слайд-копировальный станок, предназначенный для преобразования исходной «поперечной» оптической звуковой дорожки в «интенсивную» форму, необходимую для дальнейшей обработки»
«Виброэкспонатор монтировался как продолжение трибунной камеры. Таким образом, последовательные кадры пленки можно было экспонировать для создания спектральных преобразований путем постепенных изменений предварительно синтезированных сигналов, причем каждое приращение представляло собой один кадр пленки»
«В декабре 1932 года Янковский написал заявку на патент на метод, связанный с его основным инструментом - виброэкспонатором, основанный на модифицированном анимационном стенде. 29 марта 1933 г. он получил «свидетельство о первенстве» (№ 126248) за приложение «Устройство звуковой мультипликации», которое, согласно официальному бюллетеню, имело авторское свидетельство № 34195. Из-за опечатки где-то в строке это на самом деле относилось к другой заявке № 126284. Результатом этой ошибки стало то, что заявление Янковского было утеряно и больше никогда не упоминалось»
ДОСТИЖЕНИЯ К 1940 ГОДУ И ПЕРСПЕКТИВЫ НА БУДУЩЕЕ
«Описывая будущие перспективы, Янковский писал: «В будущем мы надеемся увеличить в восемь раз ширину эффективной звуковой дорожки, записанной на пленку, путем проведения параллельных дорожек для расширения динамического диапазона фонограммы, а также для достижения сложных пространственных эффектов, локализации различных группы инструментов независимо друг от друга на разных громкоговорителях, создавая эффекты взаимодействия голосов и звуков, находящихся в разных частях концертного зала. Мы также надеемся построить в будущем «Синтезатор» — огромное устройство для механического сложения и одновременного рисования сложных гармонических колебаний»
«Янковский сохранил свои неопубликованные рукописи, а также коробку с синтетическими тональными пленками. В конце 1960-х Янковский познакомился с молодым звукорежиссером Львом Болотским, которому подарил свои старые рукописи и пригласил к себе в гости в лабораторию. Болоцкий вспоминает, что Янковский показывал ему большую картонную коробку с тон-пленками и фотопластинками. Это было где-то в 1970 году. Никто не знает, что потом случилось с этой коллекцией. Будем надеяться, что сокровище все еще ждет счастливого исследователя. Считается, что Борис Янковский умер в 1973 году»
СИНТЕЗИРУЮЩИЙ ОТВЕТ
«В 1938 году Янковский познакомился с Евгением Мурзиным (1914-70), молодым изобретателем, увлеченным идеей универсального инструмента для синтеза звука. К 1939 г. концепция инструмента была разработана, и в 1957 г. Мурзин завершил разработку и запатентовал фотоэлектронный музыкальный инструмент, названный синтезатором АНС»
«Синтезатор АНС основан на тех же принципах фотооптической звукозаписи, которые используются в кинематографе, что и вариофон Евгения Шолпо. Он включает в себя набор вращающихся оптических дисков с круглыми оптическими звуковыми дорожками с фотопечатью. Если в вариофоне один вращающийся диск издавал один звук, то в АНС каждый оптический диск содержал 144 независимых звуковых дорожки»
«Вторая версия ANS была построена в 1964 году и генерирует 720 тонов, охватывающих весь слышимый диапазон частот. В отличие от вариофона, предназначенного для оптической записи звука на пленку в результате неоперативного процесса, АНС был инструментом реального времени, производящим результат звучания непосредственно во время работы. Концептуально инструмент развивает идеи Бориса Янковского: работая с синтезатором ANS, композитор манипулирует спектром звука, а не формой волны»
«В 1967 году в Москве на основе синтезатора АНС была создана студия электронной музыки. Инструмент использовался для озвучивания многих фильмов, в частности, ранних фильмов Андрея Тарковского. Однако, несмотря на очевидный успех проекта, Борис Янковский никогда не занимался его дальнейшим развитием»
НАЗАД К СИНЕСТЕЗИИ
«В декабре 1958 года в Москве Евгений Мурзин подал заявку на патент под названием «Зрительный протез для общего пользования полностью слепыми», касающийся аппарата, который преобразовывал «просматриваемые» изображения в звук, тем самым производя своего рода искусственную синестезию»
«Мурзин предположил, что с практикой слепой пользователь может научиться расшифровывать сложные звуки, издаваемые этим устройством, как осмысленное представление зрения»
«Несмотря на свою счастливую судьбу, синтезатор АНС и его производные были последними оригинальными и значительными разработками в области музыкальной техники, сделанными в СССР»
Источник:
1) Андрей Смирнов, "ЗВУК В Z. ЭКСПЕРИМЕНТЫ ЗВУКА И ЭЛЕКТРОННОЙ МУЗЫКИ В РОССИИ НАЧАЛА ХХ ВЕКА", Лондон, Koenig Books, 2013, взято из https://monoskop.org/images/6/63/Smirnov_Andrey_Sound_in_Z_Experiments_in_Sound_and_Electronic_Music_in_Early_20th_Century_Russia.pdf
コメント