RU2797759C1 - Способ обработки аудиоконтента и система для его осуществления - Google Patents

Abstract

Изобретение относится к способу и системе обработки аудиоконтента. Технический результат заключается в повышении надежности детектирования использования аудиоконтента. В способе загружают контент на глобальный сервер аудиоконтента, отправляют загруженный контент на модерацию, декодируют аудиоконтент и формируют спектрограмму аудиоконтента, формируют и сохраняют акустический отпечаток аудиоконтента, по сформированному отпечатку осуществляют проверку дублирования аудиоконтента, на основе спектрограммы аудиоконтента осуществляют тегирование аудиоконтента, сохраняют модерированный аудиоконтент, отправляют запрос на поиск аудиоконтента на интернет-сервисы, анализируют полученные в ответ на запрос данные и устанавливают соответствие между загруженным в систему аудиоконтентом и контентом, найденным на интернет-сервисах, осуществляют с заданной периодичностью обмен данными с интернет-сервисами, отслеживая данные о воспроизведении аудиоконтента и сохраняя данные о воспроизведении аудиоконтента на глобальном сервере аудиоконтента, формируют код трека аудиоконтента, оправляют радиостанциям запрос на получение информации о прокатах аудиоконтента, формируют на основе полученных от радиостанций данных код проката аудиоконтента, сопоставляют код трека и код проката аудиоконтента и для каждого совпадения формируют код воспроизведения аудиоконтента, осуществляют с заданной периодичностью передачу данных о воспроизведении аудиоконтента на радиостанциях и сохраняют данные на глобальном сервере аудиоконтента информацию о воспроизведении аудиоконтента, получают данные о воспроизведении аудиоконтента на устройствах воспроизведения конечного пользователя и сохраняют их в базе данных глобального сервера аудиоконтента, формируют итоговый отчет о воспроизведении аудиоконтента на основе данных о воспроизведении аудиоконтента, хранящихся в базе данных глобального сервера аудиоконтента. 2 н. и 7 з.п. ф-лы, 5 ил.

Description

Заявляемая группа изобретений относится к области предоставления мультимедийного контента пользователям и может быть использовано для воспроизведения и контроля за использованием объектов интеллектуальной собственности с помощью Интернета любым количеством пользователей. Изобретение предназначено для обработки аудиоданных музыкального контента с целью автоматического тегирования и распределения музыкального контента а также централизованного сбора статистической информаций по воспроизведению объектов интеллектуальной собственности из различных источников.

Известны "Система для предоставления контента, устройство воспроизведения контента, способ предоставления контента и способ воспроизведения контента" (RU 2506635, опубл. 10.02.2014), в котором реализуемый посредством компьютера способ принимает данные контента и метаданные. Метаданные связаны с множеством временных положений в данных контента. Вычисляют параметры просмотра, соответствующие множеству временных положений, на основе принятых метаданных. Данные контента доставляются избирательно на основе указанного связывания. Система для предоставления контента с устройством воспроизведения контента, реализующая указанный способ, (RU 2506635, опубл. 10.02.2014) содержит сервер для предоставления контента, в состав которого входит запоминающее устройство, соединенное с блоком распределения данных контента, блоком определения положения воспроизведения, блоком вычисления параметров просмотра и блоком получения метаданных, последовательно соединенным с указанными блоками. Запоминающее устройство содержит базу данных контента и данные контента.

Недостатками технического решения по патенту RU 2506635 является высокая требовательность к аппаратным ресурсам и отсутствие контроля за использованием объектов интеллектуальной собственности.

Из уровня техники известны способ и система, представленные в описании к патенту (RU 82356, опубл. 20.04.2009). Система контроля передачи объектов интеллектуальной собственности в сети Интернет в указанном патенте содержит сервер данных (СДН), сервер продавца цифрового контента, сервер потребителя (СП), сервер доступа (СД), шлюз Интернета, принадлежащий Интернет сервис-провайдеру и сервер контроля (СК) данных, где к контролируемым файлам применяется операция хеширования. Выход СДН подсоединен через сеть Интернет к входу СД. СД подсоединен посредством локальной сети к СП. Выход СД подсоединен посредством сети Интернет к входу СК. Указанная система содержит также сервер фильтрации (СФ) протоколов и сервер идентификации (СИ) данных, которые посредством локальной сети соответственно подсоединены к СД. Причем СК выполнен обеспечивающим депонирование.

Способ контроля (RU 82356, опубл. 20.04.2009), реализуемый с помощью указанной системы, основан на контроле за воспроизведением путем использования операции хеширования контролируемых файлов аудиоконтента, и предоставлении их пользователям для воспроизведения в случае совпадения хеша файла, полученного на сервере идентификации с хешем, имеющимся на сервере контроля данных. При этом идентификация объектов интеллектуальной собственности в цифровом потоке аудиоданных происходит путем извлечения звуковых отпечатков, идентичных тем, что были получены предварительно и помещены на сервер контроля данных.

Недостатком технического решения по патенту RU 82356 является то, что в указанных способе и системе отсутствует возможность контроля за использованием каждого из объектов интеллектуальной собственности множеством пользователей одновременно, за количеством воспроизведений, географией воспроизведений, а также за использованием объектов ИС в общественных местах, в коммерческих целях. При этом не осуществляется уведомление правообладателей о несанкционированном использовании и их прав в каждом случае такого использования.

Из уровня техники известны способ и система контроля за воспроизведением медиа-контента (Патент EA 039691, заявка 201900487 от 21.03.2018), принятые за ближайший аналог, в котором воспроизведение аудиоконтента каждым из пользователей осуществляют через серверы операторов, предоставляющих медиа-контент, в каждом из которых формируют базу данных медиа-контента и данных соответствующих правообладателей объектов интеллектуальных прав медиа-контента, а при воспроизведении медиа-контента каждым из пользователей направляют информацию с метаданными медиа-контента и данными пользователей на головной сервер, осуществляют сравнение медиа-контента и метаданных медиа-контента, воспроизведенного каждым из пользователей, и метаданных соответствующего медиа-контента, направленных в головной сервер, и в случае несовпадения фиксируют несанкционированное использование медиа-контента.

Система (Патент EA 039691, заявка 201900487 от 21.03.2018) содержит по меньшей мере один сервер оператора для предоставления медиа-контента, подключенный к по меньшей мере одному устройству воспроизведения медиа-контента, устройство проверки и анализа, подключенное к устройствам воспроизведения медиа-контента, головной сервер для хранения метаданных медиа-контента, соединенный с устройствами воспроизведения медиа-контента и серверами операторов, а блок проверки и анализа выполнен с возможностью обеспечения проверки и сравнения медиа-контента и метаданных медиа-контента, воспроизведенного каждым из устройств воспроизведения контента и метаданных, направленных в головной сервер с устройства воспроизведения медиа-контента и с сервера оператора.

Недостатками ближайшего аналога являются необходимость использования большого количества серверов операторов медиа-контента, что ограничивает масштабируемость системы и требует от способа значительного количества действий с метаданными контента; отсутствие сбора и анализа статистических данных по воспроизведению контента по радио и на интернет-сервисах; отсутствие проверки дублирования файлов медиа-контента на раннем этапе модерации контента; отсутствие возможности рекомендовать теги для музыкальных редакторов платформы при модерации контента.

Задача изобретения

Задачей, решаемой заявляемой группой изобретений является создание удобного инструмента для авторов и правообладателей контента, позволяющего отслеживать использование объектов интеллектуальной собственности, а также обеспечивающего сбор полной и достоверной статистической информации по воспроизведению контента на различных интернет-платформах и радиостанциях.

Технический результат

Технический результат группы изобретений заключается в повышении достоверности собираемых данных об использовании объектов интеллектуальной собственности; повышение достоверности собираемых статистических данных об использовании объектов интеллектуальной собственности; отсутствии дублирования фалов загружаемого в систему контента; осуществлении автоматического определения рекомендованных тегов для загружаемого в систему контента; расширение типов источников собираемых данных об использовании объектов интеллектуальной собственности.

Достижение технического результата

Технический результат достигается тем, что способ обработки аудиоконтента характеризуется тем, что:

- загружают контент на глобальный сервер аудиоконтента;

- отправляют загруженный контент на модерацию;

- декодируют аудиоконтент и формируют спектрограмму аудиоконтента;

- формируют и сохраняют акустический отпечаток аудиоконтента;

- по сформированному отпечатку осуществляют проверку дублирования аудиоконтента;

- на основе спектрограммы аудиоконтента осуществляют тегирование аудиоконтента;

- сохраняют модерированный аудиоконтент;

- отправляют запрос на поиск аудиоконтента на интернет-сервисы;

- анализируют полученные в ответ на запрос данные и устанавливают соответствие между загруженным в систему аудиоконтентом и контентом, найденным на интернет-сервисах;

- осуществляют с заданной периодичностью обмен данными с интернет-сервисами, отслеживая данные о воспроизведении аудиоконтента и сохраняя данные о воспроизведении аудиоконтента на глобальном сервере аудиоконтента;

- формируют код трека аудиоконтента;

- оправляют радиостанциям запрос на получение информации о прокатах аудиоконтента;

- формируют на основе полученных от радиостанций данных код проката аудиоконтента;

- сопоставляют код трека и код проката аудиоконтента и для каждого совпадения формируют код воспроизведения аудиоконтента;

- осуществляют с заданной периодичностью передачу данных о воспроизведении аудиоконтента на радиостанциях и сохраняют данные на глобальном сервера аудиоконтента информацию о воспроизведении аудиоконтента;

- получают данные о воспроизведении аудиоконтента на устройствах воспроизведения конечного пользователя и сохраняют их в базе данных глобального сервера аудиоконтента;

- формируют итоговый отчет о воспроизведении аудиоконтента на основе данных о воспроизведении аудиоконтента, хранящихся в базе данных глобального сервера аудиоконтента.

Предпочтительно перед загрузкой контента осуществляется регистрация личного кабинета автора.

Предпочтительно перед отправкой загруженного аудиоконтента на модерацию осуществляют формирование, подписание и проверку договора с автором.

Предпочтительно формирование акустического отпечатка выполняют, определяя пики спектрограммы, определяя расстояние между пиками и хэшируя полученные данные по алгоритму SHA1

Предпочтительно осуществлять тегирование аудиоконтента с использованием нейросети.

Технический результат достигается также тем, что система для осуществления способа обработки аудиоконтента состоит из глобального сервера аудиоконтента, сервера взаимодействия с радиостанциями, включающего модуль парсера радиопрокатов, выполненный с возможностью обмена данными с радиостанциями, модуль обработки данных, выполненный с возможностью получения данных от модуля парсера радиостанций, и модуль хранения данных, выполненный с возможностью получения данных от модуля обработки данных, и сервера получения акустического отпечатка, включающего модуль анализа аудиоконтента, модуль тегирования аудиоконтента, выполненный с возможностью получения данных от модуля анализа аудиоконтента и модуль проверки дублирования аудиоконтента, выполненный с возможностью получения данных от модуля анализа аудиоконтента,

при этом глобальный сервер аудиоконтента включает

модуль приема аудиоконтента

блок оператора контента, содержащий модуль доступного аудиоконтента и модуль обмена данными со сторонними серверами дистрибьютора, выполненный с возможностью получения информации о воспроизведении аудиоконтента на устройствах дистрибьютора и возможностью обмена данными с модулем доступного аудиоконтента,

блок личного кабинета автора, выполненный с возможностью приема данных от модуля приема контента, и содержащий модуль первичного накопителя контента, выполненный с возможностью обмена данными с модулем анализа аудиоконтента сервера получения акустического отпечатка, модуль хранения-аудиоконтента, выполненный с возможностью передачи данных в блок оператора контента, модуль статистики общественных мест, выполненный с возможностью получения данных от модуля обмена данными со сторонними серверами дистрибьютора, модуль статистики радиостанций, выполненный с возможностью получения данных от сервера взаимодействия с радиостанциями и модуль статистики интернет-сервисов, выполненный с возможностью получения данных с блока административной части,

и блок административной части, содержащий модуль модерации аудиоконтента, выполненный с возможностью получения данных от модуля первичного накопителя контента и передачи данных в модуль хранения аудиоконтента блока личного кабинета автора, а также с возможностью получения данных от модуля проверки дублирования контента сервера и обмена данными с модулем тегирования аудиоконтента сервера получения акустического отпечатка, модуль обмена данными с интернет-сервисами, выполненный с возможностью передачи данных в модуль статистики интернет-сервисов, и модуль модерации данных интернет-сервисов, выполненный с возможностью получения данных от модулем обмена данными с интернет сервисами и возможностью передачи данных в модуль статистики интернет-сервисов.

Предпочтительно, если блок оператора контента системы для осуществления способа обработки аудиоконтента включает модуль заключения договора с дистрибьютором, выполненный с возможностью обмена данными с модулем доступного контента.

Предпочтительно, если блок личного кабинета автора включает модуль регистрации автора, выполненный с возможностью передачи данных в модуль первичного накопителя аудиоконтента, и модуль заключения договора с автором, выполненный с возможностью получения данных от модуля регистрации автора.

Предпочтительно, если блок административной части включает модуль проверки договоров, выполненный с возможностью обмена данными с модулем заключения договора с дистрибьютором блока оператора контента и модулем заключения договора с автором блока личного кабинета автора

Осуществление изобретения

На фиг. 1 показана структура системы для осуществления способа обработки аудиоконтента.

На фиг. 2 показана блок-схема формирования акустического отпечатка.

На фиг. 3 показана блок-схема рекомендаций при тегировании.

На фиг. 4 показана блок-схема сбора статистики о воспроизведении контента с интернет-сервисов.

На фиг. 5. показан алгоритм получения кода проката.

Система для осуществления способа управления правами на объекты интеллектуальной собственности (фиг. 1) состоит из глобального сервера аудиоконтента 1, сервера взаимодействия с радиостанциями 6, включающего в себя модуль парсера радиопрокатов 20, собирающий данные с подключенных к системе радиостанций 19, и модуль обработки данных 21, передающий результаты обработки данных в модуль хранения данных 22, и сервера получения акустического отпечатка 5, включающего в себя модуль анализа аудиоконтента 29, предназначенного для построения спектрограммы, формирования акустического отпечатка и ключевых признаков аудиоконтента, модуль проверки дублирования аудиоконтента 30, получающего данные из модуля анализа аудиоконтента 29, и модуля тегирования аудиоконтента 31, получающего данные от модуля анализа аудиоконтента 29.

Глобальный сервер аудиоконтента 1 включает в себя:

- модуль приема аудиоконтента 7

- блок личного кабинета автора 2, содержащий модуль первичного накопителя контента 9, получающего данные от модуля приема аудиоконтента 7, модуль хранения аудиоконтента 13, модуль статистики общественных мест 24, модуль статистики радиостанций 23, получающий данные от сервера взаимодействия с радиостанциями 6, и модуль статистики интернет-сервисов 25. В предпочтительном варианте изобретения блок личного кабинета автора 2 дополнительно содержит модуль регистрации автора 8 и модуль заключения договора с автором 10.

- блок оператора контента 3, содержащий модуль доступного аудиоконтента 15, получающего данные от модуля хранения аудиоконтента 7, и модуль обмена данными 16 со сторонними серверами дистрибьютора 17, передающий данные о воспроизведении аудиоконтента на устройстве воспроизведения 18 конечного пользователя в модуль статистики радиостанций 23, а также обменивающийся данными с модулем доступного аудиоконтента 7. В предпочтительном варианте изобретения блок оператора контента 3 дополнительно содержит модуль заключения договора с дистрибьютором 14, обменивающийся данными с модулем доступного аудиоконтента 15.

- блок административной части 4, содержащий модуль модерации контента 12, в который поступают данные о загруженном аудиоконтенте из модуля первичного накопителя контента 9, а также данные о дублировании аудиоконтента от модуля поверки дублирования аудиоконтента 30 и данные по рекомендованным тегам от модуля тегирования аудиоконтента 31, а данные о прошедшем модерацию аудиоконтенте направляются в модуль хранения аудиоконтента 13, модуль обмена данными с интернет-сервисами 27, обменивающийся данными со сторонними интернет-сервисами 26, и модуль модерации данных интернет-сервисов 28, получающий данные о воспроизведении контента на сторонних интернет-сервисах 26 обрабатывающий их и направляющий обработанные данные в модуль статистки интернет-сервисов 25 блока личного кабинета автора 2. В предпочтительном варианте изобретения блок административной части 2 дополнительно включает модуль проверки договоров 11, обменивающийся данными с модулем заключения договора с дистрибьютором 14 и модулем заключения договора с автором 10.

Способ обработки аудиоконтента реализуется в предпочтительном варианте следующим образом:

Автор/правообладатель, используя форму авторизации, авторизуются в глобальном сервере аудиоконтента 1 (фиг. 1) в личном кабинете. Данные введенные в форму авторизации отправляются методом POST по протоколу HTTP. Далее на глобальный сервер аудиоконтента 1 загружается аудиоконтент, поступающий в модуль первичного накопителя контента 9. В предпочтительном варианте осуществления изобретения автор/правообладатель посредством модуля заключения договора с автором 10 пошагово осуществляет заполнение всех необходимых реквизитов и устанавливает подпись к сформированному системой текста договора. Подписанный договор направляется в модуль проверки договоров 11 блока административной части 4, где проводится проверка подлинности внесенных в договор реквизитов.

Далее загруженный в модуль первичного накопителя аудиоконтента 9 контент направляется в модуль модерации контента 12, откуда файлы аудиоконтента по протоколу rsync передаются на сервер получения акустического отпечатка 5. Модуль анализа аудиоконтента 29 (фиг. 2) декодирует полученный аудиофайл с целью получения спектрограммы аудиофайла. Для построения спектрограммы используется метод кратковременного преобразования Фурье. Далее в модуле анализа аудиоконтента 29 на полученной спектрограмме определяются пиковые значения и расстояния между ними и формируется HASH (данные кодируются при помощи алгоритма SHA1). Срез пиковых значений регулируется переменной минимальной значения пика (n_fft из библиотеки librosa). Данная опция позволяет найти оптимальные условия по формированию акустического отпечатка - минимальный размер акустического отпечатка, по которому с вероятностью в 99% будет найден дубликат файла аудиоконтента.

Алгоритм формирования акустического отпечатка включает следующие стадии:

- построение спектрограммы аудиоконтента;

- определение пиков спектрограммы;

- определение расстояний между пиками;

- хэширование полученных данных;

- сохранение акустического отпечатка.

В случае обнаружение дубликата аудиоконтента система отправляет POST-запрос на глобальный сервер аудиоконтента 1 с информацией о том, что загруженный автором/правообладателям трек уже существуют в системе. Модератор осуществляет проверку информации о наличии дубликата в системе и устанавливает файлу аудиоконтента соответствующий статус, тем самым предотвращая распространение дубликата в системе в целом.

После получения спектограммы по кратковременному преобразованию Фурье модуль анализа аудиоконтента 29 осуществляет нарезку полученной спектрограммы всего файла аудиоконтента на отдельные фрагменты. Осуществление данной операции увеличивает точность рекомендаций (жанров и тегов) при тегировании. Используя библиотеку librosa, по каждому фрагменту спектрограммы получают набор ключевых признаках среди которых: темп, бит, спектральный центроид (Spectral Centroid), спектральный контраст (Spectral Contrast), спектральный спад (Spectral Rolloff), спектральная ширина (Spectral bandwidth), скорость пересечения нуля (Zero Crossing Rate), мел-кепстральные коэффициенты (MFCC), сохраняют и передают в модуль тегирования аудиоконтента 31.

Модуль тегирования аудиоконтента 31 осуществляет обработку загруженных ключевых признаков всех фрагментов файла аудиоконтента и сравнение с ключевыми признаками существующими в системе файлов аудиоконтента, осуществляет постобработку полученных данных и формирует список рекомендованных тегов (жанров), превышающих пороговое значение схожести (выявленное итерационным путем), далее направляя POST-запрос с данными о рекомендуемых тегах на глобальный сервер аудиоконтента 1 в модуль модерации аудиоконтента 12 блока административной части 4. В предпочтительном варианте осуществления обработку ключевых признаков аудиоконтента производят при помощи нейросети.

Алгоритм тегирования аудиоконтента включает следующие стадии (фиг. 3):

- построение спектрограммы аудиоконтента;

- нарезку спектрограммы на фрагменты;

- формирование списка ключевых признаков;

- обработка и сравнение ключевых признаков;

- постобработка данных о сравнении ключевых признаков;

- сортировка прошедших постобработку данных;

- фильтрация данных по пороговому проценту совпадений;

- формирование массива рекомендованных тегов.

Модератор (музыкальный редактор) анализирует данные, полученные от сервера получения акустического отпечатка 5 и при необходимости корректирует список тегов. При коррекции списка рекомендованных тегов система оправляет POST-запрос на сервер получения акустического отпечатка 5 и сохраняет корректирующие данные для дальнейшего использования при формировании списка тегов.

Далее в модуле модерации аудиоконтента 12 аудиоконтент добавляется в систему и становиться доступным для использования путем присвоения ему соответствующего статуса «Добавлен в систему» и сохраняется в модуле хранения аудиоконтента 13.

Для осуществления сбора статистических данных об использовании аудиоконтента, добавленного в систему, в интернет-сервисах 26 (фиг. 4), данные о добавленном аудиоконтенте передаются в модуль обмена данными с интернет-сервисами 27. Модуль обмена данными с интернет-сервисами 27 отправляет запрос на поиск контента на подключенные к платформе интернет-сервисы 26 и получает ответ на запрос в виде списка наиболее релевантных данных по исходному запросу. Далее модуль обмена данными с интернет-сервисами 27 отправляет информацию о полученных данных в модуль модерации данных интернет-сервисов 28.

Модуль модерации данных интернет-сервисов 28 обменивается данными с модулем хранения аудиоконтента 13 для установления соответствия и создания привязки между аудиоконтентом в модуле хранения аудиоконтента 13 и полученных данных с интернет-сервисов.

Модератор (музыкальный редактор) осуществляет проверку полученных данных и устанавливает соответствие и привязку между загруженным в систему аудиоконтентом автора/правообладателя с идентификатором найденного трека в интернет-сервисах 26.

В случае успешного прохождения модерации модуль модерации данных интернет-сервисов 28 отправляет данные в модуль статистики интернет-сервисов 25. В обратном случае модуль хранения аудиоконтента 13 отправляет информацию о необходимости повторного поиска данных в Интернет-сервисах в модуль обмена данными с интернет-сервисами 27.

В случае создания успешной привязки интернет-сервис 26 через модуль обмена данными с интернет-сервисами 27 отправляет данные в модуль хранения аудиоконтента 13 и модуль статистики интернет-сервисов 25.

Модуль обмена данными с интернет-сервисами 27 осуществляет обмен данными с Интернет-сервисами 26 по установленной привязке с целью получения статистических данных от Интернет-сервисов. Обмен данными осуществятся по HTTP протоколу POST и GET запросами с использованием API Интернет-сервисов. Модуль обмена данными с интернет-сервисами 27 с заданной периодичностью обменивается данными с Интернет-сервисами 26, сохраняя данные о воспроизведении аудиоконтента в модуле статистики интернет-сервисов 25 глобального сервера аудиоконтента 1 с привязкой по времени. Тем самым автор/правообладатель имеет возможность отследить динамику использования (воспроизведения, популярности) аудиоконтента со всех подключенных Интернет-сервисов в едином месте, для чего он формирует запрос на получение статистических данных за выбранный период. В ответ на запрос в модуле статистики интернет-сервисов 25 отбираются данные с учетом идентификатора правообладателя и выбранного периода и формируется отчет.

Для осуществления сбора статистических данных об использовании аудиоконтента, добавленного в систему, на радиостанциях 19, подключенных к системе, формируется дополнительный идентификатор - код трека.

В модуле обработки данных 21 осуществляется последовательная обработка данных хранящихся в модуле хранения аудиоконтента 13, включающая:

а) исключение стоп-слов из названия трека воспроизведенного на радио, согласно справочнику стоп-слов;

б) замена слов синонимом, согласно справочнику синонимов;

в) удаление специальных символов;

г) приведение символов к нижнему регистру;

д) транслитерация слов;

е) сортировка массива слов по алфавиту.

В результате формируется уникальный код трека, соответствующий файлу аудиоконтента, хранящихся в модуле хранения аудиоконтента 13

Далее модуль парсера радиопрокатов 20 отправляет запрос к радиостанциям 19 на основе правил парсинга для каждой радиостанции, хранящихся в модуле хранения данных 22, и получает ответ в виде файлов формата XML, JSON, web-страница и пр.

Данные для формирования кода проката воспроизведенного на радио аудиоконтента, поступают в модуль обработки данных 21 (фиг. 5) из модуля парсера радиопрокатов 20 и проходят обработку, аналогичную получению кода трека. Сравнение кодов проката с радиостанций и кодов треков, соответствующих аудиоконтенту, хранящемуся в модуле хранения аудиоконтента 13 позволяет достоверно идентифицировать воспроизведение аудиоконтента автора/правообладателя на радиостанции.

Полученные в модуле обработки данных 21 коды трека и коды проката сохраняются в модуле хранения данных 22. Также в модуле хранения данных 22 сохраняются обработанные данные о воспроизведении на радиостанциях треков, соответствующих аудиоконтенту автора/правообладателя.

Глобальный сервер аудиоконтента 1 с заданной периодичностью осуществляет запрос на получение данных к серверу взаимодействия с радиостанциями 6. Сервер взаимодействия с радиостанциями 6 передает в глобальный сервер аудиоконтента 1 обработанные данные о прокатах на радиостанциях треков, добавленных в систему. При этом при обработке данных код трека и код проката используются как ключи для идентификации воспроизведения аудиоконтента на радиостанции.

Данные об использовании аудиоконтента, добавленного в систему, на радиостанциях 19 данные сохраняются в модуле статистики радиостанций 23. Автор/правообладатель в ЛКА осуществляет выбор периода получения данных о прокатах на радиостанциях и отправляет запрос на получение данных. Система выбирает из модуля статистики радиостанций 23 данные о прокатах на радиостанциях с учетом идентификатора правообладателя и выбранного периода и формирует отчет.

Для осуществления сбора статистических данных об использовании аудиоконтента, добавленного в систему, дистрибьюторами контента 17, дистрибьютор контента посредством модуля обмена данными 16 со сторонними серверами дистрибьютора 17 получает доступ к аудиоконтенту, информация о котором содержится в модулем доступного аудиоконтента 7. Получение аудиоконтента осуществляется по HTTP протоколу либо GET методом.

Конечный пользователь осуществляет трансляцию аудиоконтента, предоставленного ему дистрибьютором 17 при помощи собственного устройства воспроизведения 18. Устройство воспроизведения 18 фиксирует факт осуществления воспроизведения аудиоконтента пользователем и отправляет информацию через сервера дистрибьюторов контента 17 о совершившиеся факте воспроизведения на глобальный сервер аудиоконтента, посредством модуля обмена данными 16 (по HTTP протоколу либо POST методом).

Система фиксирует факт поступления информации о воспроизведении аудиоконтента на устройстве воспроизведения 18 конечного пользователя, сохраняя информацию в модуль статистики общественный мест 24. Автор/правообладатель аудиоконтента осуществляет выбор периода получения данных о воспроизведении аудиоконтента на устройстве воспроизведения 18 и отправляет запрос на получение данных из модуля статистики общественных мест 24. Система выбирает из данные о воспроизведении аудиоконтента с учетом идентификатора правообладателя и выбранного периода и формирует отчет.

Все отчеты, подготовленные системой, автор/правообладатель может просмотреть в своем личном кабинете в виде HTML-страницы и имеет возможность скачать сформированный отчет в виде файла в формате XLS.

Пример осуществления изобретения

«Глобальный сервер аудиоконтента» может быть выполнен как отдельный сервер на базе процессора достаточной мощности (например, Intel Core i7) с установленной операционной системы Debian 9, базы данных PostgreSQL, web-серверов Apache и Nginx, языка программирования Perl.

На сервере установлены два диска SSD необходимой емкости (например, по 500Gb каждый) для работы обеспечения работы серверной части и два диска HDD необходимой емкости (например, 6000Gb) для хранения аудиоконтента.

Сервер взаимодействия с радиостанциями может быть выполнен как отдельный сервер, который занимается только анализом прокатов на радиостанциях. На сервере установлена БД PostrgeSQL и язык программирования Perl, на котором написаны модули «Радио.Граббера» в т.ч. «Парсер радиопрокатов».

Севрер взаимодействия с радиостанциями передает данные о прокатах на радиостанциях в глобальный сервера аудиоконтента по SSH-протоколу.

Обмен данными между сервером взаимодействия с радиостанциями и радиостанциями осуществляется по HTTP-протоколу (в частных случаях может быть использован FTP-протокол).

Сервер получения акустического отпечатка может быть выполнен как отдельный сервер (на базе процессора достаточной мощности, например, Intel Core i7), с установленной колоночной БД Clickhouse и языком программирования Python, а так же дополнительными библиотеками nnAudio и librosa, и фреймворком Keras, который позволяет работать с нейросетями.

Обработка ключевых признаков меди-контента и их сравнение может осуществляться при помощи нейросети, например, сверточная нейросеть VGG, требующая (минимум) 600Мб дискового пространства.

Для ускорения формирования акустического отпечатка может быть использовано дополнительные аппаратные компоненты, например видеокарты NVIDIA GeForce RTX 3060.

Обмен данными между глобальным сервером аудиоконтента, сервером взаимодействия с радиостанциями и сервером получения акустического отпечатка осуществляется по протоколам SSH (для подключения к БД) и rsync (для передачи файлов).

Блоки и модули системы могут быть выполнены в виде баз данных и программных продуктов по известным специалисту правилам.

Пример формирования кода трека/проката:

Музыкальная композиция ST feat. "Таврида.АРТ" - Ты не один на разных радиостанция написана по разному:

- Радиостанция №1: ST feat. "Таврида.АРТ" - Ты не один

- Радиостанция №2: ST - Ты не один (при уч. "Таврида.АРТ")

- Радиостанция №3: ST и Таврида.Арт - Ты не один

Шаг №1:

Исключаем стоп-слова, которые не учитывают при формировании кода. К этим стоп-словам относятся такие сокращения как "feat.", "при уч.", "и", "the" и многие другие. Список стоп-слов определяется справочником, который пополняется при необходимости.

Результат обработки:

- Радиостанция №1: ST "Таврида.АРТ" - Ты не один

- Радиостанция №2: ST - Ты не один ("Таврида.АРТ")

- Радиостанция №3: ST Таврида.Арт - Ты не один

Шаг №2:

Проверяем слова-синонимы и производим замену. Список слов-синонимов так же определяется справочником.

К словам синонимам может относиться разное написание названий музыкальных групп.

Например, название женской поп-группы "ВИА гра" может быть написано как "Виа гра", "Виагра" или английское название "Nu Virgos". После замены все названия приводятся к правильному (принятому в системе) - "ВИА гра".

В нашем примере таких слов не встречается.

Шаг №3

Удаление всех специальных символов.

Результат обработки:

- Радиостанция №1: ST Таврида АРТ Ты не один

- Радиостанция №2: ST Ты не один Тавридa АРТ

- Радиостанция №3: ST Таврида Арт Ты не один

Шаг №4

Приведение всех слов к единому регистру (используем нижний регистр).

Результат обработки:

- Радиостанция №1: st таврида арт ты не один

- Радиостанция №2: st mы не один mаврида арт

- Радиостанция №3: st тавридa арт ты не один

Шаг №5

Транслитерация всех слов (перевод в латиницу). Использование только букв латинского алфавита в дальнейшем позволяет упростить поиск, избавившись от проблем с разными кодировками.

Результат обработки:

- Радиостанция №1: st tavrida art ty ne odin

- Радиостанция №2: st ty ne odin tavrida art

- Радиостанция №3: st tavrida art ty ne odin

Шаг №6

Сортировка массива полученных слов по алфавиту. Получение кода трека

Результат обработки:

- Радиостанция №1: art ne odin st tavrida ty (Код трека: artneodinsttavridaty )

- Радиостанция №2: art ne odin st tavrida ty (Код трека: artneodinsttavridaty )

- Радиостанция №3: art ne odin st tavrida ty (Код трека: artneodinsttavridaty )

Итого:

Один и тот же музыкальный трек, подписанный на разных радиостанциях по разному:

- Радиостанция №1: ST feat. "Таврида.АРТ" - Ты не один

- Радиостанция №2: ST - Ты не один (при уч. "Таврида.АРТ")

- Радиостанция №3: ST и Таврида.Арт - Ты не один

получил одинаковый код трека: artneodinsttavridaty

Заявленная группа изобретений позволяет создать удобный инструмент для авторов и правообладателей контента, позволяющий отслеживать использование объектов интеллектуальной собственности, а также обеспечивающего сбор полной и достоверной статистической информации по воспроизведению контента на различных интернет-платформах и радиостанциях.

Claims (32)

1. Способ обработки аудиоконтента, характеризующийся тем, что

загружают контент на глобальный сервер аудиоконтента,

отправляют загруженный контент на модерацию,

декодируют аудиоконтент и формируют спектрограмму аудиоконтента,

формируют и сохраняют акустический отпечаток аудиоконтента,

по сформированному отпечатку осуществляют проверку дублирования аудиоконтента,

на основе спектрограммы аудиоконтента осуществляют тегирование аудиоконтента,

сохраняют модерированный аудиоконтент,

отправляют запрос на поиск аудиоконтента на интернет-сервисы,

анализируют полученные в ответ на запрос данные и

устанавливают соответствие между загруженным в систему аудиоконтентом и контентом, найденным на интернет-сервисах,

осуществляют с заданной периодичностью обмен данными с интернет-сервисами, отслеживая данные о воспроизведении аудиоконтента и сохраняя данные о воспроизведении аудиоконтента на глобальном сервере аудиоконтента,

формируют код трека аудиоконтента,

оправляют радиостанциям запрос на получение информации о прокатах аудиоконтента,

формируют на основе полученных от радиостанций данных код проката аудиоконтента,

сопоставляют код трека и код проката аудиоконтента и для каждого совпадения формируют код воспроизведения аудиоконтента,

осуществляют с заданной периодичностью передачу данных о воспроизведении аудиоконтента на радиостанциях и сохраняют данные на глобальном сервере аудиоконтента информацию о воспроизведении аудиоконтента,

получают данные о воспроизведении аудиоконтента на устройствах воспроизведения конечного пользователя и сохраняют их в базе данных глобального сервера аудиоконтента,

формируют итоговый отчет о воспроизведении аудиоконтента на основе данных о воспроизведении аудиоконтента, хранящихся в базе данных глобального сервера аудиоконтента.

2. Способ по п. 1, отличающийся тем, что перед загрузкой контента осуществляется регистрация личного кабинета автора.

3. Способ по п. 1, отличающийся тем, что перед отправкой загруженного аудиоконтента на модерацию осуществляют формирование, подписание и проверку договора с автором.

4. Способ по п. 1, отличающийся тем, что формирование акустического отпечатка выполняют, определяя пики спектрограммы, определяя расстояние между пиками и хэшируя полученные данные по алгоритму SHA1.

5. Способ по п. 1, отличающийся тем, что тегирование аудиоконтента осуществляется с использованием нейросети.

6. Система обработки аудиоконтента, характеризующаяся тем, что состоит из

глобального сервера аудиоконтента,

сервера взаимодействия с радиостанциями, включающего модуль парсера радиопрокатов, выполненный с возможностью обмена данными с радиостанциями, модуль обработки данных, выполненный с возможностью получения данных от модуля парсера радиостанций, и модуль хранения данных, выполненный с возможностью получения данных от модуля обработки данных, и

сервера получения акустического отпечатка, включающего модуль анализа аудиоконтента, модуль тегирования аудиоконтента, выполненный с возможностью получения данных от модуля анализа аудиоконтента и модуль проверки дублирования аудиоконтента, выполненный с возможностью получения данных от модуля анализа аудиоконтента,

при этом глобальный сервер аудиоконтента включает модуль приема аудиоконтента, блок оператора контента, содержащий модуль доступного аудиоконтента и модуль обмена данными со сторонними серверами дистрибьютора, выполненный с возможностью получения информации о воспроизведении аудиоконтента на устройствах дистрибьютора и возможностью обмена данными с модулем доступного аудиоконтента, блок личного кабинета автора, выполненный с возможностью приема данных от модуля приема контента,

и содержащий модуль первичного накопителя контента, выполненный с возможностью обмена данными с модулем анализа аудиоконтента сервера получения акустического отпечатка, модуль хранения аудиоконтента, выполненный с возможностью передачи данных в блок оператора контента, модуль статистики общественных мест, выполненный с возможностью получения данных от модуля обмена данными со сторонними серверами дистрибьютора, модуль статистики радиостанций, выполненный с возможностью получения данных от сервера взаимодействия с радиостанциями и модуль статистики интернет-сервисов, выполненный с возможностью получения данных с блока административной части, и блок административной части, содержащий модуль модерации аудиоконтента, выполненный с возможностью получения данных от модуля первичного накопителя контента и передачи данных в модуль хранения аудиоконтента блока личного кабинета автора, а также с возможностью получения данных от модуля проверки дублирования контента сервера и обмена данными с модулем тегирования аудиоконтента сервера получения акустического отпечатка, модуль обмена данными с интернет-сервисами, выполненный с возможностью передачи данных в модуль статистики интернет-сервисов, и модуль модерации данных интернет-сервисов, выполненный с возможностью получения данных от модуля обмена данными с интернет-сервисами и возможностью передачи данных в модуль статистики интернет-сервисов.

7. Система по п. 6, отличающаяся тем, что блок оператора контента включает модуль заключения договора с дистрибьютором, выполненный с возможностью обмена данными с модулем доступного контента.

8. Система д по п. 6, отличающаяся тем, что блок личного кабинета автора включает модуль регистрации автора, выполненный с возможностью передачи данных в модуль первичного накопителя аудиоконтента, и модуль заключения договора с автором, выполненный с возможностью получения данных от модуля регистрации автора.

9. Система по п. 6, отличающаяся тем, что блок административной части включает модуль проверки договоров, выполненный с возможностью обмена данными с модулем заключения договора с дистрибьютором блока оператора контента и модулем заключения договора с автором блока личного кабинета автора.

Images