Доктор Серджи Жорда (Sergi Jordà) – каталонский новатор, художник-инсталлятор, цифровой музыкант, доцент Группы музыкальных технологий Университета Universitat Pompeu Fabra (Барселона, Испания).
Наиболее известен тем, что руководил группой, которая изобрела устройство Reactable.
Д-р Серджи Жорда имеет степень бакалавра по фундаментальной физике и докторскую степень по информатике и цифровым коммуникациям. Во время учебы в университете в 1980-х годах он познакомился с компьютерным программированием и решил полностью посвятить себя живой компьютерной музыке. Является старшим научным сотрудником Группы музыкальных технологий Университета Universitat Pompeu Fabra, где руководит группой Music & Advanced Interaction (MAIn).
Преподает курсы компьютерной музыки, обработки аудиосигналов, человеко-компьютерного взаимодействия (HCI) и интерактивных медиа.
Он рассказал нам о своих текущих исследовательских проектах, основанных на взаимодействии искусственного интеллекта (ИА) и человеческого творчества, объяснил некоторые возможности ИА в создании музыки и рассказал о его его потенциальных опасностях. Он также поделился своим новым проектом Lullabyte, который может дать ответ на вопрос о том, как звуки, синхронизированные с мозговыми волнами, могут улучшить некоторые свойства сна.
Интервью: Ирина Рыбальченко
Чем именно Вы занимаетесь в Группе музыкальных технологий?
Группа музыкальных технологий (MTG) – это исследовательская группа, одна из наиболее значимых в Европе, специализирующаяся на обработке аудиосигналов, поиске музыкальной информации, музыкальных интерфейсах и вычислительной музыковедческой технике. Она входит в состав факультета информационных и коммуникационных технологий Университета Universitat Pompeu Fabra.
Группа существует с 1995 года. Мы – это 3 профессора и многочисленные исследователи, студенты с кандидатской и докторской степенями (около 50 человек). Мы работаем во многих областях, связанных с музыкальными технологиями, и сотрудничаем с компаниями по всему миру. Лично я уже много лет работаю в области проектирования цифровых музыкальных инструментов. Но сейчас моя работа связана, в основном, с искусственным интеллектом.
Окончание курсов даёт степень магистра в области звуковых и музыкальных исследований, в которых учатся студенты со всего мира, включая Россию, Индию, Китай, Америку и страны Европы.
Мы учим искать и анализировать музыку, а таке преподаём новейшие современные технологии в области создания музыки. Наши студенты, как правило, являются техническими специалистами по звуку и музыкантами одновременно. Наши выпускники могут получить степень PhD или начать работать в таких компаниях, как Spotify и SoundCloud, например, или стать производителями синтезаторов.
Как Вы используете искусственный интеллект для создания музыки?
Мы используем ИИ не только для создания музыки. Дело в том, что во всех современных технологиях, которые мы используем, ИИ становится основным инструментом. С 2015 года ИИ стал способом делать многие вещи. Это очень важный глобальный тренд. В конкретной области генерации музыки многие методы ИИ являются своего рода попыткой заменить человека. Поэтому это очень опасно. Мы проводим исследования в области ИИ для создания музыки, но они всегда направлены на усиление творческого потенциала человека, а не на его замену.
Создание музыки с помощью ИИ без участия человека может стать важным направлением.
ИИ способен создавать мейнстрим музыку. Совершенствования и обновления происходят каждую неделю. Таким образом, ИИ уже сейчас может создавать музыку лучше, чем обычный композитор. Это, к тому же, очень дешево. И никого особенно не волнует, как была создана музыка – человеком или машиной. Так что это может быть очень печально для музыкантов, так как им скоро прийдётся столкнуться с глобальной проблемой. Но это также плохо и для музыки, потому что она становится все более и более коммерческой.
Поэтому необходимо различать использование ИИ для помощи человеку в творчестве, что может придать ему новые качества, и использование ИИ для замены человеческого творчества. Мы заинтересованы в использовании ИИ именно для помощи человеку-творцу.
Каковы основные цели и задачи проекта The Freesound? Какова история проекта и в чем его суть?
The Freesound – это иерархическая коллекция звуков, содержащая на данный момент более 500 000 аудио сэмплов. Всё началось в 2005 году и со временем превратилось в очень крупный проект с сотнями тысяч зарегистрированных пользователей. Это база данных звуков, позволяющая их загружать, скачивать и делиться с другими людьми. Мы также используем ее для разработки, распознавания и классификации звуков. Многие кинематографисты используют The Freesound для своих фильмов. Проект можно использовать бесплатно, база данных поддерживается за счет самих пользователей.
Ваша докторская диссертация “Цифровая лютня” (The Digital Lutherie) заложила основы новых форм цифровой музыки. Не могли бы Вы рассказать об этом подробнее?
Я начал заниматься музыкой в середине восьмидесятых годов; я изучал физику в Барселоне и играл на саксофоне. Я играл свободный джаз. Я не был хорошим саксофонистом, потому что не очень-то любил заниматься.
Однажды в университете я открыл для себя компьютерное программирование. Постепенно я понял, что компьютерное программирование можно использовать для создания музыки, и что с помощью компьютеров можно выполнять те части музыкального творчества, которые мне казались “скучными” или повторяющимися. С тех пор моей главной целью стали попытки использовать компьютеры для создания музыки в реальном времени.
Моя докторская диссертация 2005 года в этом смысле подводит итог всем моим знаниям по этим темам, полученным к тому времени. Она помогла мне обобщить и прояснить многие идеи, упорядочить мысли и формализовать все мои знания. И в итоге это привело к созданию инструмента, который стал очень популярным. Это Reactable – настольный музыкальный инструмент.
Каковы его технические особенности? Как получилось, что Бьорк (Bjork) решила использовать Reactable во время своего мирового турне Volta в 2007-2008 годах? Получили ли Вы от нее какую-либо обратную связь?
В 2006 году я и мои коллеги выложили несколько коротких видеороликов на YouTube (это было начало YouTube, 2006 год). И эти ролики стали очень популярными. За несколько дней они набрали миллионы просмотров. Одним из заинтересованных людей была Бьорк. Она связалась с нами, сообщив, что начинает мировое турне и хочет использовать Reactable. Мы привезли его в Париж и показали ей. Ей понравилось, и мы сделали для нее первый прототип.
Reactable показывали на больших экранах крупным планом на концертах, и он стал очень популярным. Мы начали делать Reactable для других музыкантов, а также для музеев, студий…
Мы создали компанию в 2008 году, она просуществовала до 2018 года. Одной из целей Reactable было охватить все аспекты инструментов. Инструмент обладал высокой выразительностью, он мог быть настолько сложным, насколько этого хотел профессиональный музыкант. С другой стороны, он мог быть настолько простым, что подходил всем, даже детям.
В истории человечества было много попыток найти новые формы музыкальных стилей. Участвуете ли Вы в таких экспериментах?
Я всегда любил импровизацию в музыке. Через музыку я развиваю себя. Я не думаю, что у меня есть какой-то определенный стиль, но я очень связан с экспериментальной музыкой. В моей музыке допустимы микротональность, шумы и звуки. Микротональность – это совсем не ново. Формализация микротональности не кажется мне важной. Важнее идея о том, что все может быть музыкой. Микротональность может быть лишь одним из таких случаев.
Честно говоря, в последнее время у меня не так много свободного времени, чтобы заниматься музыкой. Последний раз я играл вживую более 10 лет назад.
Слышали ли Вы о работе российского ученого Сергея Петухова “Матричная генетика”? Основное достижение его алгоритма заключается в том, что он обобщил классический пифагорийский музыкальный строй с помощью новых пентаграмных строев, основанных на числах Фибоначчи. Что Вы думаете по этому поводу?
Для меня это не столь актуально. Полунотная система используется во многих коммерческих музыкальных произведениях в западном мире. Но миллионы музыкальных композиций находятся вне этой системы. В коммерческой музыке доминируют 7 нот, однако во многих культурах эта система не используется.
Как Вы думаете, почему симбиоз науки и музыки происходит именно сейчас?
Я думаю, что это происходило всегда. Многие теории музыки были связаны с мировой гармонией и космологией. Промышленная революция принесла звук фортепиано. Музыка всегда была связана с наукой и техникой. Сама музыка всегда использовала новейшие технологии, некоторые из них были созданы вовсе не для создания музыки.
С эпохой электричества музыка стала развиваться особенно быстро. Я не думаю, что эта тенденция нова. Ей около 3000 лет.
Не могли бы Вы рассказать о своем сотрудничестве с каталонскими художниками?
В 90-е годы я сотрудничал с каталонскими художниками, занимавшимися медиа-артом. Одним из них был Марсели Антунес (Marcel•lí Antúnez). Я также сотрудничал с La Fura dels Baus, большой театральной труппой в Барселоне, которая гастролировала по всему миру.
Сейчас мы сотрудничаем с Раулем Рефри (Raul Refree), который был продюсером первого альбома Розалии (Rosalia). Мы работаем над концертом, где Рауля будет сопровождать целая система искусственного интеллекта.
Как Вы планируете развиваться дальше? Каковы Ваши планы на будущее?
В настоящее время я работаю над новым проектом, Lullabyte, цель которого – изучить влияние музыки на сон. Это большой европейский проект, мы являемся одними из специалистов среди спелеологов, неврологов, клиник… В нем участвуют 10 центров по всей Европе – Швеции, Дании, Германии, Голландии, Франции. Работа займет не менее 3 лет. Мы планируем проанализировать мозговые волны и научиться производить звуки, синхронизированные с мозговыми волнами. Мы хотим изучить, как эти звуки могут улучшить определенные свойства сна. Это может помочь людям, страдающим от бессонницы, спать глубже, засыпать быстрее и не прерывать сон.
