Наука и технологии

Нейросеть дополнила партию бас-гитары игрой на барабанах

groove-drums.glitch.me

Разработчики из подразделения Google Magenta представили набор нейросетевых алгоритмов GrooVAE, предназначенный для создания реалистичных музыкальных партий на барабанах. К примеру, один из алгоритмов принимает ритмичную мелодию, исполненную на любом инструменте, и создает в дополнение к ней подходящую по звучанию партию на барабанах. Алгоритмы доступны в виде плагинов для популярного музыкального редактора Ableton Live, рассказывают разработчики в блоге Magenta. Статья с описанием проекта будет представлена на конференции ICML 2019.

Партию ударных инструментов в музыкальном произведении с постоянным ритмом можно разложить на два компонента: партитуру и грув. В случае с игрой на барабанах партитура описывает то, какие именно элементы ударной установки используются в ту или иную долю ритма. Грув же описывает манеру исполнения, в том числе силу ударов и смещения или удлинения каждого конкретного удара относительно доли. Как правило, барабанщики могут на основании одного из этих двух компонентов подобрать второй.

Разложение музыки на компоненты

Magenta

Поделиться

Исследователи из группы Magenta в составе Google Brain создали нейросетевые алгоритмы, способные выполнять эту задачу. Новый проект группы основан на более ранней разработке — рекуррентном вариационном автокодировщике. Он получает музыкальную последовательность и преобразует ее в высокоуровневое представление, а затем производит преобразование этого высокоуровневого представления в реалистичную музыку. Этот метод получил достаточно большое распространение из-за того, что входной слой такой нейросети имеет большую размерность, чем промежуточный слой, что заставляет алгоритм находить общие черты и корреляции в датасете для обучения и благодаря этому способен сжимать данные, сохраняя их суть.

Разработчики собрали для обучения алгоритм датасет, состоящий из 13,5 часов игры барабанщиков на электронной ударной установке. Датасет состоит из MIDI-нот, а также временных интервалов ударов и их сил. Во время обучения алгоритм получал только одну из двух частей данных (партитуру или грув) и благодаря этому научился предсказывать общее звучание настоящей музыки из датасета.

Исследователи применили этот принцип в нескольких нейросетевых моделях для разных задач. Две основных модели, Groove и Drumify, разработчики реализовали в виде плагинов для популярного музыкального редактора Ableton Live или в виде отдельных приложений. Groove принимает на вход партитуру и выдает для нее грув. Эту модель исследователи также продемонстрировали в виде браузерного приложения. Модель Drumify работает иным образом. Она принимает любой ритм и превращает его в реалистичную запись игры на барабанах. В качестве примера авторы показали, как алгоритм создает барабанные партии на основе записей игры на бас-гитаре или музыкальном синтезаторе.

Ранее разработчики из Magenta создавали другие нейросетевые алгоритмы и музыкальные инструменты, доступные широкому кругу людей. К примеру, в конце 2018 года они создали контроллер, позволяющий играть на фортепиано, используя всего 8 кнопок вместо 88. А незадолго до этого они представили музыкальный синтезатор на основе алгоритма NSynth, позволяющий создавать новые звуки, используя характеристики звуков существующих инструментов.

Григорий Копиев

источник

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google photo

Для комментария используется ваша учётная запись Google. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

Connecting to %s