RU2451332C2

RU2451332C2 - Способ и устройство для вычисления метрики подобия между первым вектором признаков и вторым вектором признаков

Info

Publication number: RU2451332C2
Application number: RU2008119231/08A
Authority: RU
Inventors: Мартин Ф. МАККИННИ (NL); Мартин Ф. МАККИННИ; Дирк Й. БРЕБАРТ (NL); Дирк Й. БРЕБАРТ
Original assignee: Конинклейке Филипс Электроникс Н.В.
Priority date: 2005-10-17
Filing date: 2006-10-16
Publication date: 2012-05-20
Also published as: US20080281895A1; CN101292241B; RU2008119231A; EP1941400A1; JP2009511981A; BRPI0617432A2; WO2007046049A1; JP5498017B2; US8214304B2; CN101292241A

Abstract

Изобретение относится к способу для вычисления метрики подобия между первым вектором признаков первого аудио- и/или видеосигнала и вторым вектором признаков второго аудио- и/или видеосигнала. Техническим результатом является обеспечение более точного вычисления метрики подобия. Способ включает: вычисление расстояния между первым вектором признаков и вторым вектором признаков, причем как первый вектор признаков, так и второй вектор признаков содержат значение признака второй размерности, причем используется весовой коэффициент, который придает больший вес первой размерности, чем второй размерности, причем весовой коэффициент зависит от признаков набора сигналов. 2 н. и 4 з.п. ф-лы, 2 ил.

Description

Изобретение относится к способу для вычисления метрики подобия между первым вектором признаков первого аудио- и/или видеосигнала и вторым вектором признаков второго аудио- и/или видеосигнала.

Изобретение дополнительно относится к электронному устройству для вычисления метрики подобия между первым вектором признаков первого аудио- и/или видеосигнала и вторым вектором признаков второго аудио- и/или видеосигнала.

Изобретение также относится к программному обеспечению, чтобы делать программируемое устройство работоспособным для выполнения способа вычисления метрики подобия между первым вектором признаков первого аудио- и/или видеосигнала и вторым вектором признаков второго аудио- и/или видеосигнала.

Одно воплощение данного способа известно из WO 2004/095315. Известный способ для нахождения подобных аудиосигналов имеет недостаток в том, что вычисленная метрика подобия не является оптимальной в том смысле, что либо не все подобные аудиосигналы находятся, либо не все аудиосигналы, определенные как подобные, являются в достаточной степени подобными.

В SOONIL KWON И ДР.: "SPEAKER CHANGE DETECTION USING A NEW WEIGHTED DISTANCE MEASURE" ICSLP 2002: 7TH INTERNATIONAL CONFERENCE ON SPOKEN LANGUAGE PROCESSING. DENVER, COLORADO, SEPT. 16-20, 2002, INTERNATIONAL CONFERENCE ON SPOKEN LANGUAGE PROCESSING. (ICSLP), ADELAIDE: CAUSAL PRODUCTIONS, AU, vol. 4, 16 September 2002 (2002-09-16), pages 2537-2540, раскрыт алгоритм для обнаружения изменений акустической системы аудиопотока. Для этих целей вычисляют взвешенное возведенное в квадрат евклидово расстояние между двумя соседними аудиосегментами.

Первой целью изобретения является обеспечение способа типа, описанного во вступительном абзаце, который обеспечивает более точное вычисление метрики подобия.

Второй целью изобретения является обеспечение электронного устройства типа, описанного во вступительном абзаце, который обеспечивает более точное вычисление метрики подобия.

Согласно изобретению первая цель достигается тем, что способ содержит этап вычисления расстояния между первым вектором признаков и вторым вектором признаков, причем как первый вектор признаков, так и второй вектор признаков содержат значение признака второй размерности, причем используется весовой коэффициент, который придает больший вес первой размерности, чем второй размерности, отличается тем, что весовой коэффициент зависит от признаков набора сигналов. Эксперименты показали, что более точное вычисление метрики подобия может быть получено приданием большего веса определенным размерностям (признакам), в особенности тем размерностям, которые важны для классификации (музыки).

Аудио- и/или видеосигнал может происходить из любого подходящего источника. В наиболее общем случае, аудиосигнал может происходить из аудиофайла, который может иметь любой формат из некоторого количества форматов. Примеры форматов аудиофайлов - это несжатые, например, (WAV), сжатые без потерь, например, Windows Media Audio (WMA) и сжатые с потерями форматы, как, например, файл MP3 (MPEG-1 Audio Layer 3), AAC (Advanced Audio Codec) и т.д. Также входной аудиосигнал может быть получен оцифровкой аудиосигнала с использованием любой подходящей технологии, которая известна специалисту в данной области техники.

В одном воплощении способа изобретения весовой коэффициент конкретного одного из признаков зависит от дисперсии значения конкретного одного признака для набора сигналов (то есть общей дисперсии всех значений всех классов в размерности) и/или от дисперсии среднего значения конкретного одного признака на класс сигналов набора (то есть дисперсии множества средних значений в размерности, причем средние значения определяются на класс). Таким образом, тем размерностям, которые важны для классификации (музыки), задают больший вес. Дисперсии могут вычисляться в многомерном пространстве. Набором сигналов может быть набор, принадлежащий компании или организации, или персональный набор. Если набором сигналов является набор, принадлежащий компании или организации, весовой коэффициент может быть заранее сконфигурирован в аппаратном обеспечении или программном обеспечении или может быть получен от компании или организации через Интернет.

Весовой коэффициент может зависеть от дисперсии среднего значения конкретного одного признака на класс сигналов набора, поделенной на дисперсию значения конкретного одного признака для набора сигналов.

Весовой коэффициент может зависеть от классификации (например, жанр, тональность и/или артист) первого или второго аудио- и/или видеосигнала. Классификация может быть извлечена, например, из ID3 тега аудиофайла. Например, взвешенная ковариационная матрица, используемая, когда пользователь выбирает песню в стиле рок в качестве начальной песни, может отличаться от взвешенной ковариационной матрицы, используемой, когда он выбирает фрагмент классической музыки в качестве начальной песни.

Согласно изобретению вторая цель достигается тем, что электронное устройство содержит электронную схемотехнику, причем электронная схемотехника работоспособна для вычисления расстояния между первым вектором признаков и вторым вектором признаков, причем как первый вектор признаков, так и второй вектор признаков содержат значение признака второй размерности, причем используется весовой коэффициент, который придает больший вес первой размерности, чем второй размерности, отличается тем, что весовой коэффициент зависит от признаков набора сигналов.

Эти и другие аспекты изобретения очевидны из и будут дополнительно объяснены посредством примера со ссылкой на чертежи, на которых:

Фиг. 1 показывает три уравнения, используемые в одном воплощении изобретения;

Фиг. 2 показывает примеры значений признаков в двухмерном пространстве признаков, в котором значения признаков могут быть классифицированы по двум жанрам.

Соответствующие элементы на чертежах обозначены одинаковыми ссылочными позициями.

Способ изобретения может быть использован для нахождения музыки, похожей на целевую песню или текущий выбор воспроизведения. Например, если слушатель имеет большую коллекцию музыки и прослушивает трек, который ему особенно нравится, он мог бы просто нажать на кнопку, которая инициировала бы поиск по всей коллекции музыки и возвратила бы список из наиболее похожих песен и затем дала бы команду для их проигрывания. Такая функция называется LikeMusic™ в определенных потребительских устройствах Philips. Эта функция предусматривается в переносных mp3 плеерах, автомобильных радио и домашних развлекательных системах и применима к большим локальным коллекциям музыки, потоковой музыки или аудио, так же как широковещательной музыки и аудио. Дополнительно, пользователи могли бы слушать радио и иметь поиск по кнопке для похожих песен в их частной коллекции или наоборот. Алгоритм LikeMusic™ работает на признаках (статистиках сигналов), которые автоматически извлекаются из самой формы аудиосигнала, так что нет необходимости во внешних или аннотированных метаданных. Первый алгоритм LikeMusic™ использовал стандартную статистическую меру расстояния (расстояние Махаланобиса) для вычисления расстояний между песнями.

Так как музыкальное подобие может быть описано в соответствии с многими размерностями, часто представляет интерес изолирование конкретной размерности подобия. Способ изобретения обеспечивает эффективный способ для вычисления расстояния подобия из акустических параметров в соответствии с конкретной перцепционной размерностью подобия посредством модифицирования алгоритма LikeMusic™ для взвешивания размерностей признаков, которые важны для классификации музыки. Взвешивание размерностей признаков может быть основано, например, на классификации по жанру, артисту и/или тональности.

В одном воплощении способа изобретения способ сначала извлекает признаки (описательную статистику аудиосигнала) из каждой песни и генерирует перечень с именем каждого трека и связанными с ним признаками. Признаки могут появляться из широкого диапазона статистики. На современных ПК эти признаки извлекают несколько сот раз в реальном масштабе времени. Когда проигрывается песня, способ может извлекать признаки из этой песни в реальном масштабе времени или искать их в перечне базы данных, если они появились из базы данных. Разница между этими подходами в том, что признаки, перечисленные в базе данных, усреднены по всей песне, тогда как признаки, извлекаемые в реальном масштабе времени, представляют только участок песни (они могут накапливаться конкретное количество времени и затем могут быть усреднены по этому времени). Оба способа имеют достоинства и недостатки, которые зависят от типа анализируемой музыки: (например, если песня содержит несколько стилей, и интерес представляет только один из этих частных стилей, тогда для этой цели локальный анализ лучше, чем усредненный по всей песне анализ). В большинстве случаев, тем не менее, стиль песни не меняется очень сильно, и оба способа дают одинаковые результаты.

Процедура рекомендации, выполняемая автоматически или после нажатия кнопки, либо искала, либо вычисляла бы признаки текущего выбранного воспроизведения, вычисляла бы меру расстояния, D, между текущей песней и каждой песней в базе данных и затем рекомендовала бы ближайшие 20 песен. Пользователь может настроить количество рекомендуемых песен, и система может автоматически остановиться в поисковой точке и проигрывать рекомендованные (подобные) песни. Мера расстояния, D, является модифицированной формой расстояния Махаланобиса между векторами признаков в многомерном пространстве признаков с весовым коэффициентом, который придает больший вес размерностям (признакам), которые важны для классификации музыки. Это пространство признаков является, например, 20-мерным пространством.

Расстояние D между аудиотреком 1 и аудиотреком 2 может быть вычислено с помощью уравнения (1) на Фиг. 1, где μ₁ и μ₂ - это векторы трека 1 и трека 2 соответственно, а W - это взвешенная ковариационная матрица всех векторов признаков в базе данных. Взвешенная ковариационная матрица W является константой, которая не меняется от одной рекомендации к следующей. Она может быть определена из коллекции аудиотреков, принадлежащих компании или организации, или она может быть определена из личной коллекции аудиотреков пользователя. W может быть вычислена из уравнения (2) на Фиг. 1, где С - это ковариационная матрица всех признаков из базы данных (например, учебной базы данных), а gw является весовым вектором жанра, определенным в уравнении (3) из Фиг. 1, где

- это вектор дисперсий признаков в целом (диагональ ковариационной матрицы С, например, содержащая дисперсии значений признаков жанров 11 и 13 для признака 1 и дисперсии значений признаков жанров 11 и 13 для признака 2, см. Фиг. 2), а

- это вектор дисперсий средних значений признаков на жанр (например, содержащий дисперсию между средним значением 15 признака жанра 11 и средним значением 17 признака жанра 13 для признака 1 и дисперсию между средним значением 15 признака жанра 11 и средним значением 17 признака жанра 13 для признака 2, см. Фиг. 2). Вычисление такого же типа может быть выполнено для классов музыкальных артистов, музыкальной тональности или персональных классов музыки вместо жанра музыки. Каждая вариация затем вычисляет расстояние в соответствии с другой размерностью подобия.

Способ может быть выполняться в аппаратном обеспечении или программном обеспечении, например, на специализированном процессоре или на процессоре общего назначения, таком как процессор Intel Pentium или AMD Athlon. Электронное устройство, выполняющее способ, может быть переносным устройством или стационарным устройством, таким как ПК/устройство мультимедийного центра.

Хотя изобретение было описано вместе с предпочтительными воплощениями, следует понимать, что для специалистов в данной области техники будут очевидны его модификации в пределах обрисованных выше принципов, и, таким образом, изобретение не ограничивается предпочтительными воплощениями, а предполагается, что охватывает такие модификации. Изобретение присуще каждому и любому характеристическому признаку и каждой и любой комбинации характеристических признаков. Ссылочные позиции в формуле изобретения не ограничивают ее объем охраны. Использование глагола «содержать» и его спряжений не исключает наличие элементов, других, нежели изложенные в формуле изобретения. Использование единственного числа для элемента не исключает наличие множества таких элементов.

«Средства», как должно быть очевидно специалисту в данной области техники, означает, что включают в себя любое аппаратное обеспечение (такое как отдельные или интегральные схемы или электронные элементы) или программное обеспечение (такое как программы или части программ), которые выполняют при работе или спроектированы, чтобы выполнять конкретную функцию, является ли она единственной или в соединении с другими функциями, является ли она изолированной или во взаимодействии с другими элементами. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько различных элементов, или посредством соответствующим образом запрограммированного компьютера. В пункте устройства формулы изобретения, перечисляющем несколько средств, некоторые из этих средств могут быть воплощены одним и тем же элементом аппаратного обеспечения. "Программное обеспечение" следует понимать как обозначение любого программного продукта, сохраненного на считываемом компьютером носителе, таком как флоппи-диск, загружаемого через сеть, такую как Интернет, или реализуемого любым другим способом.

Claims

1. Способ нахождения подобных аудио- и/или видеосигналов, содержащий этап вычисления метрики подобия между первым вектором признаков первого аудио- и/или видеосигнала и вторым вектором признаков второго аудио- и/или видеосигнала, содержащий:
вычисление расстояния между первым вектором признаков и вторым вектором признаков, причем как первый вектор признаков, так и второй вектор признаков содержат значение признака второй размерности, причем используется весовой коэффициент, который придает больший вес первой размерности, чем второй размерности, отличающийся тем, что весовой коэффициент зависит от признаков набора сигналов.

2. Способ по п.1, в котором весовой коэффициент конкретного одного из признаков зависит от дисперсии значения конкретного одного признака для набора сигналов и/или от дисперсии среднего значения (15, 17) конкретного одного признака на класс (11, 13) сигналов набора.

3. Способ по п.2, в котором весовой коэффициент зависит от дисперсии среднего значения конкретного одного признака на класс сигналов набора, поделенной на дисперсию значения конкретного одного признака для набора сигналов.

4. Способ по п.1, в котором весовой коэффициент зависит от классификации первого или второго аудио- и/или видеосигнала.

5. Машиночитаемый носитель, имеющий сохраненное на нем программное обеспечение, предназначенное для выполнения способа по п.1.

6. Электронное устройство для нахождения подобных аудио- и/или видеосигналов, содержащее электронную схемотехнику, выполненную с возможностью вычисления метрики подобия между первым вектором признаков и вторым вектором признаков аудио- и/или видеосигнала, вычисления расстояния между первым вектором признаков и вторым вектором признаков, причем как первый вектор признаков, так и второй вектор признаков содержат значение признака второй размерности, причем используется весовой коэффициент, который придает больший вес первой размерности, чем второй размерности, отличающееся тем, что весовой коэффициент зависит от признаков набора сигналов.