WO2015027751A1 - 基于音频指纹特征的音乐检索系统 - Google Patents

Abstract

一种基于音频指纹特征的音乐检索系统。该系统由预处理模块、特征提取模块、倒排索引模块和精匹配模块四部分组成。预处理模块主要完成音频信号的转换、重采样、滤波；特征提取模块是对音频文件的表示，采用音频指纹特征，通过两次基于动态阈值的筛选来选取频谱中最为稳定的点作为特征点，用一个点对表示一个特征；倒排索引模块是将特征作为关键词，由歌曲库的特征建立倒排索引，根据相同关键词多少返回索引结果；精匹配模块是结合音频特征间的时序关系，采用改进的编辑距离作为两个特征序列的相似度，以此优化索引结果。

Description

基于音频指紋特征的音乐检索系统

技术领域

本发明属于信息检索技术领域， 具体涉及音频信号处理和多媒体信息检 索系统， 进一步涉及一种基于音频指纹特征的音乐检索系统。 背景技术

早前， 由于音乐信息是非结构化数据， 其检索系统一般通过基于文本描述 来实现检索。 例如在互联网中检索一首歌曲， 以歌曲的名字、 歌唱者、 作歌者、 歌曲存取格式等来检索。 该方法具有很多的缺点： 数据量越来越大， 从而人工 注释工作量也随之加大； 音频感知难以用文字注释表达清楚； 信息描述具有一 定的主观性。 而基于内容的音乐检索系统是根据信息本身的特征参数而非外部 属性对内容进行检索， 其提取过程由程序自动完成。 因此， 其不存在对信息描 述的主观性， 能更好的表示音乐信息， 从而使检索更加有效。

音频特征是音频信息的结构化表示， 是基于内容的音频检索系统中较为关 键的一步， 音频特征的好坏直接影响系统性能。 音频特征分为时域音频特征和 变换域音频特征， 时域音频特征较为容易提取， 但抗噪能力较差； 变换域特征 提取过程较复杂， 抗噪能力良好， 使用较多。 在变换域特征中， 较为常见的是 基于傅里叶和小波变换的特征。 早期， Mel倒谱系数（MFCC)和线性预测倒谱系 数（LPCC)特征较为经典，特别是 MFCC ,由于其特征是根据人的听觉模型生成的， 应用较为广泛。 随着音频指纹特征的出现， 由于其特征鲁棒性较好， 使得大量 学者投入在这方面进行研究， 发展较快。

目前， 基于音频指纹特征的音乐检索系统以 Shazam公司和 Phi l ips公司的 音乐检索系统较为经典。 Shazam公司的音乐检索系统是在频谱上选取局部极值 点作为特征点， 然后把相邻的两个特征点组成一个点对来表示一个特征； 采用 hash索引实现检索； 査询时， 使用直方图统计相同特征点的时间差， 一般目标 歌曲的时间差是统一的， 将会集中出现在某处， 从而检索到该歌曲。 该系统査 询方式并不适用海量音频检索，而且局部极值点非常多， 导致特征数据非常多， 很多特征抗噪能力差。 在 Phi l ips公司的音乐检索系统中， 特征是在频谱上计 算各频段能量， 根据相邻帧的能量大小， 将各频段量化成 0 或 1， 所有频段 组成一个二进制序列， 通过哈希（hash)函数， 得到最终特征。 采用哈希表实现 检索， 通过统计词频数来进行检索排序。 在海量音乐数据下， hash冲突会非常 多， 也不适用， 同时在特征性能上不如前一种指纹特征。 发明内容

本发明的目的在于提供一种基于音频指纹特征的音乐检索系统， 该系统能 够在海量音乐信息下进行快速准确的检索， 且能够对录音査询片段进行有效检 索。

本发明提供的基于音频指纹特征的音乐检索系统， 包括预处理模块， 特征 提取模块， 倒排索引模块和精匹配模块四个部分。 其中：

所述的预处理模块， 用于音频文件格式统一， 音频重采样和音频滤波。 所述的特征提取模块， 用于对音乐文件的结构化表示， 采用基于动态阈值 的音乐指纹特征。 首先对歌曲序列进行分帧， 帧之间有较高重叠率， 对每帧进 行快速傅里叶变换 （FFT ) ， 处理完所有帧， 得到频谱矩阵； 接着， 对频谱矩 阵进行平滑处理； 然后， 在矩阵中选取极值点， 并根据动态阈值对这些点进行 两次筛选， 取大于阈值的点作为特征点； 最后， 用一个点对来表示一个特征， 并经哈希 （Hash) 函数变换， 一个哈希值即为一个特征。 对于每个特征点， 在 其后续频段的邻近区域内， 选取最多 P个最近邻的特征点与该特征点一一组成 特征， 所有特征按帧的先后顺序和特征点的筛选顺序组成一个特征序列。

所述的倒排索引模块，用于系统的初次检索， 以一个特征作为一个关键词， 以歌曲库的所有特征建立倒排索引表； 当査询时， 通过倒排索引表统计査询片 段每个关键词在各歌曲中出现的次数， 并将所有关键词在各个歌曲中出现的次 数求和， 然后对求和的结果进行排序， 排序结果所对应的歌曲作为初次检索结 果。 为了防止査询片段较短或者较为偏僻， 在倒排索引中并未加入权重， 即各 词项在各歌曲中权重是一样的。 但这样可能降低目标歌曲与其他歌曲的区分 度， 对于较长的歌曲， 需要对歌曲进行分段， 以歌曲片段为单位加入倒排索引 表中。

所述的精匹配模块， 用于系统的二次检索， 先根据倒排索引返回的结果选 定候选歌曲， 接着读取各候选歌曲的特征序列， 并对特征序列按査询特征序列 长度进行分段， 对每首歌曲筛选出最为相似的 Q个特征序列片段 （与査询特征 序列具有最多的相同特征个数） ， 然后， 对这 Q个片段与査询特征序列进行改 进的编辑距离计算 （特征值只错一位认为是相同的） ， 取最小的编辑距离作为 该歌曲片段与査询片段的相似度， 最后， 根据相似度对候选歌曲进行排序， 得 到最终的检索排名， 作为系统检索结果。 如果某首歌在排名中出现多条记录， 只保留第一条记录。

本发明的优点为： 系统所用的特征鲁棒性好且数据量小； 采用现阶段较为 成熟的倒排索引技术作为系统初始检索， 可适用于海量音乐检索； 精匹配作为 系统二次检索， 能有效的找出目标歌曲且可以并行计算。 附图说明

图 1为本发明系统结构示意图。

图 2为本发明系统音乐指纹特征提取流程图。

图 3为本发明系统特征表示示意图。

图 4为本发明系统倒排索引结构示意图。 图 5为本发明系统精匹配流程图。 具体实施方式 图 1显示了系统结构， 包括预处理模块， 特征提取模块， 倒排索引模块和 精匹配模块四个部分。 预处理模块主要完成音频信号的转换、 重采样和滤波； 特征提取模块是对音频文件的结构化表示， 采用基于两次阈值筛选的音频指纹 特征； 倒排索引模块是根据歌曲库的特征建立倒排索引， 当査询时， 通过倒排 索引统计各歌曲片段与査询片段相同关键词个数多少， 并对个数和进行排序， 作为初次检索结果； 精匹配模块在初次检索的基础上， 结合音频特征间的时序 关系， 采用改进的编辑距离作为两个特征序列的相似度， 优化索引结果。 对于 数据库中每首歌， 通过预处理和特征提取， 将特征保存于特征库中， 用于建倒 排索引和精匹配； 对于査询片段， 做相同的预处理和特征提取， 其特征用于査 询和精匹配。

所述的特征提取模块， 其特征提取过程如图 2所示， 采用基于两次阈值筛 选的音频指纹特征。 首先， 对音频序列 X= {xl，x2， … ，xL}进行分帧， L为音 频序列长度， 帧之间有较高的重叠率， 共分成 M帧； 接着， 对每一帧进行 N点 快速傅里叶变换， 即取 N个频段点， 处理完所有帧后， 得到 N*M维的频谱矩阵 S， 并对频谱矩阵 S=[Si， j| i = l,2, -,N; j=l，2， "·，Μ]进行平滑处理， 平滑计 算公式如下：

S. = log₁₀(max(aZ7.s(S. ： ), e~⁵)) i = 1,2, ...,N, j = 1,2,..., , 、 其中 abs( )为取模运算， M由音频长度决定， N可取 129 (傅里叶变换取 256个点， 由于对称性，取一半），然后，在 S中选取极大值点，即 Si， j>Si， j-1 且 Si，j> Si，j+1， 作为特征点， 并根据阈值对特征点进行两次筛选； 用 N维 向量 thresh表示频谱中各频段的阈值， 在 S矩阵中， 取前 R帧各频段的最大 值来初始化对应频段的阈值， 一般 R取 10; 初次筛选： 顺序扫描所有特征点， 若该点值大于对应维度的阈值， 则保留该特征点， 否则删除该特征点， 同时按 以下公式更新阈值向量 thresh:

thresh_k * 0.97 s_{t j} < thresh_i

thresh -ik- f ,k = l,2,...,N

max(thresh_k , thresh_i * e ¹⁰⁰⁰ ) 其它

(2) 第二次筛选： 从最后一个特征点开始， 逆序扫描所有特征点， 按相同规则 筛选特征点和更新阈值； 最后， 用一个点对来表示一个特征， 对于每一个特 征点， 用它与其邻近区域的每个特征点组成一个特征； 当邻近区域内特征点较 多时， 选取与它最相邻的 P个点与该特征点一一组成特征。 一般， P取 ; Γ5的 整数， P越大， 包含信息越多， 但特征数量明显增多。 用这些点对的时间， 频 率来表示特征， 并进行了哈希 （Hash) 函数计算， 具体见图 3。 按第一次筛选 顺序逐个表示这些特征点， 处理完所有帧得到一维特征序列。

图 3显示了特征的表示， 点 A(t， f)为要表示的特征点， 矩形为它的邻近 区域 [t+1: t+T, f-F/2: f+F/2], 区域中最相邻的 P个特征点与点 A组成 P个 特征， 在程序中， P取 3， T取 32， F取 64， 如图中三个箭头。 由于使用一个 査询片段来进行检索， 我们用第一个点的频率 Fl， 第二点与第一个点的频率差 及它们的时间差 At来表示一个特征。 为了便于后续检索， 我们对特征进行 了哈希函数运算， 公式如下。

Feature = Fl « fbits + tbits) + AF « tbits + At (₃) 其中， 〈〈为向左移位运算， 用 fbits位表示频率差 AF， tbits位表示时间 差 At, Feature为特征值。当 fbits或者 tbits较小时，还需要进行取模运算， 在程序中， tbits取 6， fbits取 8。 一个哈希值便是一个音乐指纹特征， 一般 用 2-3个字节来表示。

所述的倒排索引模块由两部分组成， 如图 4所示， 左边部分叫做字典， 即 由词项组成， 是一系列字符串的集合， 字典在索引中通常是以字典序列存储， 系统中， 所有哈希值相同的特征组成一个词项； 右边部分是包含某个字符串的 文档编号的集合， 称之为 "倒排链表"， 每一个词项都对应一个属于自己的 "倒 排链表" ， 该表记录了包含该词项的歌曲编号或者歌曲片段编号。 当査询时， 通过倒排索引表统计各歌曲片段与査询片段相同关键词个数多少， 然后计算个 数和 （对于査询片段中出现的重复关键词进行累加计算） ， 并按个数和进行排 序， 作为倒排索引的结果。 考虑到査询片段的特征很可能是目标歌曲的偏僻特 征， 在链表中并未加入权重， 也就是各词项在各歌曲中具有相同的权重。 然而 这样大大降低了目标歌曲与其他歌曲的区分度， 通常需要对长歌曲进行分段， 以歌曲片段为单位建立索引， 能有效的提高它们之间的区分度。

所述的精匹配模块， 采用多个步骤实现精匹配， 其过程如图 5所示， 首先， 根据初次检索返回结果， 寻找一 "拐点" ， 假定倒排索引表返回的第 i首歌曲 中具有的相同特征个数之和为 numi， 如果存在一点 K， 使得：

Κ 3* Κ

^ num_i > ^ num_i , 3 ^ K <= N

i = l i=K +1 (4) 则认为该点为 "拐点"， 目标歌曲就在这前 κ个候选歌曲片段中； 接着， 读 取前 K个候选歌曲片段的特征序列， 对这些序列进行分段， 找出最为相似的 Q 个片段， 它们与査询序列具有最多的相同特征个数， 一般， Q取 ; T6， Q越小， 计算改进的编辑距离次数越少， 速度越快， 但有可能无法包含目标片段， 对于 一般査询片段， Q取 3; 然后， 将这 Q个片段与査询特征序列进行改进的编辑 距离计算， 把最小距离的片段作为与査询序列最相似的片段， 并取最小距离作 为与该候选歌曲片段的相似度。 设査询特征序列 Α={Α[1]， Α[2], … , A[m]}， 比较的特征序列 B={B[1]， B[2], ... ， B[n]}， 长度分别为 m和 n， 距离矩阵 d={d[i, j]=0 i = l,2, -,m; j=l,2, -,n}, d[i, j]为子序列 A [1… i]和 B [1… j] 的距离， 改进的编辑距离算法步骤如下：

(1) 初始化距离矩阵 d， 读入特征序列 A和 B; (2)循环遍历特征序列 A，逐次取数 A[i]，依次执行操作步骤（3)、 (4)、 (5) ；

(3) 循环遍历特征序列 B， 逐次取数 B[j] ， 依次执行操作步骤 （4) 、 (5) ；

(4) 计算代价 cost, 如果数 A[i]与数 B[j]相等或只有 1位 （bit) 不同， cost为 0， 否则为 1， 如公式：

cos t = min((A[ ] ^Λ B[j]) & ^Λ B[j])― 1),1) ₍₅₎ 其中， -为位异或运算， &为位与运算；

(5) 调整距离矩阵， 计算出当前最小距离 d[i， j]， 公式如下：

d \i, j] = min(d[i - 1, j] + 1, d[i, j + 1, d[i - 1, j - 1] + cos t) …

L 」 (6)

(6) d[m, n]即为改进的编辑距离。

最后， 我们根据相似度进行排序， 得最终的检索排名， 如果某首歌在排名 中出现多条记录 （较长歌曲建立倒排索引时分段） ， 只保留第一条记录。

Claims

权 利 要 求

1. 一种基于音频指纹特征的音乐检索系统， 其特征在于包括预处理模块， 特征提取模块， 倒排索引模块和精匹配模块四个部分； 其中：

所述的预处理模块， 用于音频文件格式统一， 音频重采样和音频滤波； 所述的特征提取模块， 用于对音乐文件的结构化表示， 采用基于动态阈值 的音乐指纹特征； 首先对歌曲序列进行分帧， 对每帧进行快速傅里叶变换， 处 理完所有帧， 得到频谱矩阵； 接着， 对频谱矩阵进行平滑处理； 然后， 在矩阵 中选取极值点， 并根据动态阈值对这些点进行两次筛选， 取大于阈值的点作为 特征点； 最后， 用一个点对表示一个特征， 并经哈希函数变换， 输出一个哈希 值为一个特征； 对于每个特征点， 在其后续频段的邻近区域内， 选取最多 P个 最近邻的特征点与该特征点一一组成特征； 所有特征按帧的先后顺序和首次特 征点筛选顺序组成一维特征序列；

所述的倒排索引模块，用于系统的初次检索， 以一个特征作为一个关键词， 对数据库中的每首歌曲的特征建立倒排索引表； 当査询时， 通过倒排索引表统 计査询片段每个关键词在各歌曲中出现的次数， 并将所有关键词在各个歌曲中 出现的次数求和， 然后对求和的结果进行排序， 排序结果所对应的歌曲作为初 次检索结果；

所述的精匹配模块， 用于系统的二次检索， 先根据初次检索返回的结果选 定候选歌曲， 接着读取各候选歌曲的特征序列， 并对特征序列按査询特征序列 长度进行分段， 对每首歌曲筛选出最为相似的 Q个特征序列片段， 即其与査询 特征序列具有最多的相同特征个数； 然后， 对这 Q个片段与査询特征序列进行 改进的编辑距离计算， 取最小的编辑距离作为该歌曲片段与査询片段的相似 度； 最后， 根据相似度对候选歌曲进行排序， 得到最终的检索排名。

2. 根据权利要求 1所述的音乐检索系统， 其特征在于： 在特征提取模块 中， 所述的采用基于动态阈值的音乐指纹特征， 具体实现过程为： 首先， 对音 频序列 X= {xl，x2， … ，xL}进行分帧， L为音频序列长度， 帧之间有较高的重 叠率， 共分成 M帧； 接着， 对每一帧进行 N点快速傅里叶变换， 处理完所有帧 后，得到 N*M维的频谱矩阵 S，并对频谱矩阵5= [51， j | i = l, 2, "·，Ν_; j = l, 2, - , Μ] 进行平滑处理， 平滑计算公式如下：

Si = log₁₀(max(ab5(S₍. ),e"⁵)) 其中 abs( )为取模运算， 然后， 在 S中选取极大值点， 即 Si，j> Si, j-1 且 Si，j> Si，j+1， 作为特征点， 并根据阈值对特征点进行两次筛选； 用 N维 向量 thresh表示频谱中各频段的阈值， 在 S矩阵中， 取开始 R帧各频段的最 大值来初始化对应频段的阈值； 初次筛选： 顺序扫描所有特征点， 若该点值大 于对应维度的阈值， 则保留该特征点， 否则删除该特征点， 同时按以下公式更 新阈值向量 thresh:

thres *0.97 s_t j < thresh_i

thresh. _ k_if k = 1,2,..., N

max(thresh_k , thresh_i * e 1000 ) 其它 第二次筛选： 从最后一个特征点开始， 逆序扫描所有保留的特征点， 按与

1

上述相同规则筛选特征点和更新阈值； 最后， 用一个点对来表示一个特征， 对于每一个特征点， 用它分别与其后续频段的邻近区域的每个特征点组成一个 特征； 当邻近区域内特征点较多时， 选取与它最相邻的 P个点与该特征点一一 组成特征， 并按第一次筛选顺序逐个表示这些特征点， 处理完所有帧得到一维

1

特征序列。

3. 根据权利要求 1所述的音乐检索系统， 其特征在于： 所述的倒排索引 模块由两部分组成， 一部分为字典， 字典由词项组成， 所有哈希值相同的特征 组成一个词项； 另一部分是倒排索引表， 其中， 每一个词项都对应一个属于自 己的 "倒排链表" ， 该表记录了包含该词项的歌曲编号或者歌曲片段编号。

4. 根据权利要求 1所述的音乐检索系统， 其特征在于： 所述的精匹配模 块， 采用多个步骤实现精匹配， 首先， 根据初次检索返回的结果， 寻找一 "拐 点" ， 假定倒排索引表返回的第 i首歌曲中与査询片段具有的相同特征个数之 和为 numi， 如果存在一点 K， 使得：

Κ 3*Κ

^ num_i > ^ num_i , 3 ^ K <= N

'• = 1 Ί+1 (4)

则认为该点为 "拐点" ， 目标歌曲就在这前 K个候选歌曲片段中； 接着， 读取前 K个候选歌曲片段的特征序列， 对这些序列进行分段， 找出最为相似的 Q个片段， 它们与査询序列具有最多的相同特征个数； 然后， 将这 Q个片段与 査询特征序列进行改进的编辑距离计算， 把最小距离的片段作为与査询序列最 相似的片段， 并取最小距离作为与该候选歌曲片段的相似度； 设査询特征序列 A={A[1], A[2], … , A[m]}， 比较的特征序列 B={B[1], B[2], ... ， B[n]}， 长度分别为 m和 n， 距离矩阵 d={d[i， j]=0 i = l,2, -,m; j=l, 2, -,n}, d[i, j]为子序列 A[l〜i]和 B[l〜j]的距离， 改进的编辑距离算法步骤如下：

(1) 初始化距离矩阵 d， 读入特征序列 A和 B;

(2)循环遍历特征序列 A，逐次取数 A[i]，依次执行操作步骤（3)、 (4)、 (5) ；

(3)循环遍历特征序列 B，逐次取数 B[j]，依次执行操作步骤（4)、 (5)；

(4) 计算代价 cost, 如果数 A[i]与数 B[j]相等或只有 1位 （bit) 不同， cost为 0， 否则为 1， 如公式：

cos t = min((A[ ] ^Λ Β[β) & ^Λ Β[β) - 1),1) ₍₅₎ 其中， -为位异或运算， &为位与运算；

(5) 调整距离矩阵， 计算出当前最小距离 d[i， j]， 公式如下：

d [i, j] = min(d[i - 1, j] + 1, d[i, j - 1] + 1, d[i - 1, j - 1] + cos t) (^)

(6) d[m, n]即为改进的编辑距离。