WO2013044872A1 - 音频处理方法及系统 - Google Patents

Abstract

本发明提供了一种音频处理方法及系统，该音频处理方法包括：第一设备获取第二设备的音频，所述第一设备和第二设备为同类型设备或异类型设备；在所述第一设备内，按照预定的音频匹配需求对所述获取的第二设备的音频进行音频匹配，以获取与第二设备的音频匹配的音频文件；以及在所述第一设备上输出所获取的音频文件。根据该方法，能够实现不同设备之间的音频同步处理，从而大大提高用户的体验，也使得基于移动设备的娱乐获得更好的应用。

Description

音频处理方法及系统

技术领域

本发明涉及移动通信领域， 更为具体地， 涉及一种音频处理方法及系统。 背景技术

随着音频处理技术的不断发展， 目前已经可以在终端设备上（例如 MP3 , 手机等） 实现歌词匹配和下载， 使得人们在听到优美旋律的同时能够看到该 音频文件的歌词， 该功能已经成为了音频播放软件及播放器的必备功能之一， 并且一般可以通过文件名或者关键词等进行匹配。

现有技术中， 对于播放音频的终端设备， 可以安装歌词适配软件或是播 放软件可以自带歌词下载功能， 但是大部分歌词适配软件或是播放软件， 基 本是根据歌曲的名称进行匹配。 例如在一种音频处理方法中， 终端设备开始 播放歌曲， 然后连接到网络， 在网络服务器搜索是否存在与所述歌曲的名称 匹配的歌词， 若在网络服务器搜索到与所述名称匹配的歌词， 则终端设备下 载所述歌词， 然后将所述歌词与播放的歌曲同步显示。

但是， 现有技术存在以下问题： 目前现有技术只能实现在播放音频的终 端设备上实现比如歌词、 MTV匹配的音频同步问题， 而不能在与播放音频的 终端设备不同的设备上实现比如歌词、 MTV匹配的音频同步问题。 发明内容

本发明要解决的技术问题是提供一种音频处理方法及系统， 能实现不同 设备的音频同步处理。

根据本发明的一个方面， 提供了一种音频处理方法， 包括： 第一设备获 取第二设备的音频， 所述第一设备和第二设备为同类型设备或异类型设备； 在所述第一设备内， 按照预定的音频匹配需求对所述获取的第二设备的音频 进行音频匹配， 以获取与第二设备的音频匹配的音频文件； 以及在所述第一 设备上输出所获取的音频文件。 在上述方面的一个或多个示例中， 所述音频文件包括歌曲音频、 歌词、 与歌曲有关的 MTV和歌曲背景资料中的一个或多个。

在上述方面的一个或多个示例中， 所述音频处理方法还可以包括： 按照 记谱需求对所获取的第二设备的音频进行记谱。

在上述方面的一个或多个示例中， 在所述第一设备内按照音频匹配需求 对所获取的第二设备的音频进行音频匹配可以包括： 检测在所述第一设备内 是否存在本地音频库， 所述本地音频库中至少包括歌曲音频； 以及在检测出 所述第一设备内存在本地音频库， 在本地音频库中按照预定的音频匹配需求 对所述获取的第二设备的音频进行音频匹配， 以获取匹配的音频文件。

在上述方面的一个或多个示例中， 所述音频处理方法还可以包括： 在检 测出所述第一设备内不存在本地音频库或者在本地音频库中进行的音频匹配 失败时， 将所述获取的第二设备的音频上传到服务器以便在服务器中进行音 频匹配； 以及从所述服务器接收进行音频匹配后获取的音频文件。

在上述方面的一个或多个示例中， 在检测出所述第一设备内不存在本地 音频库或者在本地音频库中进行的音频匹配失败时， 还向服务器上传用于指 示用户所需音频文件的指示信息， 以及在服务器中进行音频匹配时， 根据上 传的所述指示信息， 仅仅获取用户所需音频文件。

在上述方面的一个或多个示例中， 在所获取的音频文件包括多个音频文 件时， 在第一设备上输出所获取的音频文件可以包括： 从所获取的音频文件 中选择用户期望输出的音频文件； 以及在第一设备上输出所选择的音频文件。

根据本发明的另一方面， 提供了一种位于第一设备中的音频处理装置， 包括： 音频获取单元， 用于获取第二设备的音频， 所述第一设备和第二设备 为同类型设备或异类型设备； 音频匹配单元， 用于按照预定的音频匹配需求 对所述获取的第二设备的音频进行音频匹配， 以获取与第二设备的音频匹配 的音频文件； 以及音频文件输出单元， 用于在所述第一设备上输出所获取的 音频文件。

在上述方面的一个或多个示例中， 所述音频处理装置还可以包括： 记谱 单元， 用于按照记谱需求对所获取的第二设备的音频进行记谱。

在上述方面的一个或多个示例中， 所述音频匹配单元可以包括： 检测模 块， 用于检测在所述第一设备内是否存在本地音频库， 所述本地音频库中至 少包括歌曲音频； 本地音频匹配模块， 用于在检测出所述第一设备内存在本 地音频库时， 在本地音频库中按照预定的音频匹配需求对所述获取的第二设 备的音频进行音频匹配， 以获取匹配的音频文件； 上传模块， 用于在检测出 所述第一设备内不存在本地音频库或者在本地音频库中进行的音频匹配失败 时， 将所述获取的第二设备的音频上传到服务器以便在服务器中进行音频匹 配； 以及接收模块， 用于从所述服务器接收进行音频匹配后获取的音频文件。

在上述方面的一个或多个示例中， 在检测出所述第一设备内不存在本地 音频库或者在本地音频库中进行的音频匹配失败时， 所述上传模块还向服务 器上传用于指示用户所需音频文件的指示信息， 以及在服务器中进行音频匹 配时， 根据上传的所述指示信息， 仅仅获取用户所需音频文件。

在上述方面的一个或多个示例中， 在所获取的音频文件包括多个音频文 件时， 所述音频处理装置还可以包括： 选择模块， 用于从所获取的音频文件 中选择用户期望输出的音频文件； 以及所述音频文件输出单元在第一设备上 输出所选择的音频文件。

根据本发明的另一方面， 提供了一种音频处理系统， 包括： 至少第一设 备和第二设备， 所述第一设备和第二设备为同类型设备或异类型设备； 所述 第二设备用于播放音频； 所述第一设备包括如上所述的音频处理装置。

在上述方面的一个或多个示例中， 所述音频处理系统还包括服务器， 所 述服务器中设有网络音频库， 所述服务器被配置为： 在检测出所述第一设备 内不存在本地音频库， 或者在本地音频库中对所述获取的第二设备的音频进 行音频匹配失败后， 接收从所述第一设备上传的所述第二设备的音频； 在网 络音频库中对所接收的音频进行音频匹配， 以获取匹配的音频文件； 以及将 所获取的音频文件发送给所述第一设备。

根据本发明的音频处理方法及系统， 可以获取其他设备 （同类型或异类 型） 的音频， 然后根据设定需求对获取的音频进行音频处理， 获得音频处理 的结果， 该处理结果例如可以是得到匹配的歌词和歌曲等， 从而解决了不同 设备的音频同步问题。 通过本发明方案， 当用户拿着移动设备， 听到电视播 放歌曲时， 可以直接获取该歌曲， 并进行音频匹配后， 就可以直接在移动设 备显示对应歌词， 从而大大提高用户的体验， 也使得基于移动设备的娱乐获 得更好的应用。 附图说明

根据下述参照附图进行的详细描述， 本发明的上述和其他目的、 特征和 优点将变得更加显而易见。 在附图中：

图 1是根据本发明实施例的音频处理方法流程图；

图 2示出了根据本发明实施例的音频处理方法中的记谱过程的流程图； 图 3 是根据本发明实施例的音频处理方法中的客户端侧进行的音频匹配 过程的处理流程图；

图 4是本发明的音频处理方法中的服务器侧进行的音频匹配过程的处理 流程图；

图 5是本发明的音频处理系统结构示意图；

图 6示出了图 5中的第一设备的一个实现示例的方框示意图； 和 图 7示出了图 6中的音频匹配模块的一个实现示例的方框示意图。

在所有附图中相同的标号指示相似或相应的特征或功能。 具体实施方式

下面描述本公开的各个方面。 应该明白的是， 本文的教导可以以多种多 样形式具体体现， 并且在本文中公开的任何具体结构、 功能或两者仅仅是代 表性的。 基于本文的教导， 本领域技术人员应该明白的是， 本文所公开的一 个方面可以独立于任何其它方面实现， 并且这些方面中的两个或多个方面可 以按照各种方式组合。 例如， 可以使用本文所阐述的任何数目的方面， 实现 装置或实践方法。 另外， 可以使用其它结构、 功能、 或除了本文所阐述的一 个或多个方面之外或不是本文所阐述的一个或多个方面的结构和功能， 实现 这种装置或实践这种方法。 此外， 本文所描述的任何方面可以包括权利要求 的至少一个元素。

本发明提供一种音频处理方法， 该方法能够实现不同音频设备之间的音 频同步处理， 并且还可以提高同步准确性。

根据本发明的系统可以采用 C/S (Client/Server)结构， 因此在介绍本发 明方案前， 先对 C/S技术进行简单介绍。

C/S结构， 即目前熟知的客户端（Client)和服务器（Server) 结构， 通过 它可以充分利用两端硬件环境的优势， 将任务合理分配到 Client端和 Server 端来实现， 从而降低了系统的通讯开销。 目前大多数应用软件系统都是 Client/Server形式的两层结构。 传统的 C I S体系结构采用的是开放模式， 这 只是指系统开发级的开放性。 在特定的应用中， 无论是 Client端还是 Server 端， 都需要特定的软件支持。

下面将参照附图描述本发明的各个实施例。

图 1是根据本发明实施例的音频处理方法流程图。 在图 1 中， 第一设备 和第二设备都是具有音频处理能力的设备， 并且所述第一设备和第二设备可 以为同类型设备或异类型设备。

如图 1所示， 在步骤 S101中， 第一设备获取第二设备的音频。 所述音频 可以是第二设备上正在播放的音频文件的完整音频或者一个音频片段， 比如， 正在播放的歌曲的一个音频片段。 例如， 第一设备可以通过录音或读取音频 频率的方式获取第二设备的音频。 所述录音的方式是指对第二设备的音频进 行录音， 然后根据录音提取音频。 所述读取音频频率是指直接从第二设备读 取音频频率。 与直接读取音频频率相比， 录音方式相对滞后， 但是频率读取 的精确度更高。 此外， 第一设备也可以通过本领域中公知的其它获取方式来 获取第二设备的音频。

接着， 在步骤 102， 在所述第一设备内， 按照预定的音频匹配需求对所述 获取的第二设备的音频进行音频匹配， 以获取与所述获取的第二设备的音频 匹配的音频文件。 所述音频文件可以是比如歌曲音频、 歌词、 与歌曲有关的 MTV和歌曲背景资料等的音频文件中的一个或多个。

所述预定的音频匹配需求可以按照预定的规则自动设置或者由用户手动 设置。 例如， 所述音频匹配需求可以被设置为与所获取的音频完全相同。 在 这种情况下， 当存在与所获取的第二设备的音频完全相同的音频时， 则认为 匹配。 所述音频匹配需求也可以被设置为比所获取的第二设备的音频高 8度。 在这种情况下， 当存在有比所获取的第二设备的音频高 8度的音频时， 则认 为匹配。 此外， 所述预定的音频匹配需求也可以设置为其它规则。

在如上完成音频匹配后， 在步骤 103， 在第一设备上输出所获取的音频文 件。 例如， 在所获取的音频文件是歌曲音频时， 在第一设备上播放该歌曲音 频。 在所获取的音频文件是歌曲音频的歌词时， 在第一设备上显示该歌词。 在所获取的音频文件是歌曲的 MTV时， 在第一设备上播放该 MTV。 在所获 取的音频文件是歌曲背景资料时， 在第一设备上展示该歌曲背景资料。

此外， 所获取的音频文件也可以是上述音频文件的各种组合， 在这种情 况下， 在第一设备上可以进行组合输出。 比如， 在所获取的音频文件包括歌 曲音频和歌词时， 可以在第一设备上播放歌曲音频， 同时显示该歌曲的歌词。 此外， 在本发明的另一示例中， 在所获取的音频文件是上述音频文件的组合 时， gp， 所获取的音频文件包括多个音频文件时， 在第一设备上输出所获取 的音频文件还可以包括： 从所获取的音频文件中选择用户期望输出的音频文 件； 以及在第一设备上输出所选择的音频文件。 例如， 在本发明的一个示例 中， 可以根据用于指示用户期望输出的音频文件的指示信息， 从所获取的音 频文件中选择用户期望输出的音频文件。 所述用于指示用户期望输出的音频 文件的指示信息可以由用户输入。

在本发明的另一示例中， 在步骤 S101中获取第二设备的音频后， 还可以 按照记谱需求对所获取的第二设备的音频进行记谱， 以获取该音频的乐谱。 图 2示出了根据本发明实施例的音频处理方法中的记谱过程的流程图。

如图 2所示， 首先， 在步骤 S201 , 记录音频的频率， 根据音频的频率确 定对应的音调。接着， 根据记录的频率之间的间隔时间， 确定对应的节奏（步 骤 S202)。 然后， 通过音调和节奏的确定， 获得对应的旋律 （步骤 S203 )。

从上可以看出， 根据本发明的技术方案，第一设备可以获取其他设备（同 类型或异类型） 的音频， 然后在第一设备内对所获取的音频进行音频匹配处 理， 以获取与所述获取的第二设备的音频匹配的音频文件， 然后在第一设备 上输出所获取的音频文件 （例如在第一设备上显示匹配的歌词等）， 从而解决 了不同设备的音频同步问题。

图 3 示出了根据本发明实施例的音频处理方法的一个示例过程中的客户 端侧的处理流程图。

假设客户端存在两个设备 A和 B, 设备 A (第一设备） 可以是手机或是 其他具有音频处理能力的移动设备， 设备 B (第二设备） 为与设备 A同类型 的设备， 或者不同类型的设备， 例如电视机或音响等。

如图 3所示， 在步骤 301， 第一设备获取第二设备的音频作为音频样本。 例如， 设备 A可以通过软件获取设备 B播放出来的音频， 并将所获取的音频 作为音频样本。 假设所获取的是设备 B播放的一首歌曲。 设备 A获取设备 B 的音频的方法例如可以主要是通过手机或移动设备的录音功能实现， 也可以 通过直接读取音频频率的方式实现， 本发明并不加以限制。

接着， 在步骤 302， 判断在第一设备中是否存在本地音频库。所述本地音 频库中至少存储歌曲音频。 此外， 所述本地音频库中还可以包括歌曲音频的 对应歌词、 与歌曲有关的 MTV和 /或歌曲的相关背景资料等。 并且， 歌词、 与歌曲有关的 MTV和 /或歌曲的相关背景资料与歌曲音频相关联地存储在本 地音频库中。 换言之， 一旦获取歌曲音频、 歌词、 与歌曲有关的 MTV和 /或 歌曲的相关背景资料中的任何一个， 就可以在本地音频库中找到其余的音频 文件 （当本地音频库中存储有其余的音频文件时）。

如果第一设备中存在本地音频库， 则进入步骤 303。 否则， 进入到步骤 305。 在步骤 303， 按照预定的音频匹配需求在本地音频库对所述获取的第二 设备的音频进行音频匹配， 并判断是否匹配成功， 即判断在本地音频库中是 否存在与所获取的第二设备的音频样本匹配的歌曲音频。 例如， 如果在本地 音频库中搜索到与所获取的音频样本满足音频匹配需求的歌曲音频， 则判断 为匹配成功。 如果匹配成功， 则进入到步骤 304。 否则， 进入到步骤 305。

在本发明的另一示例中， 所述预定的音频匹配需求还可以包括用于指示 用户所需音频文件的指示信息， 比如用于指示用户期望得到歌曲音频的歌词 的指示信息。 在这种情况下， 在判断匹配成功时， 还需要判断在本地音频库 中是否存在指示信息所指示的音频文件。 如果存在， 则认为匹配成功。 否则， 认为匹配失败。

在步骤 304， 从本地音频库中获取与匹配的歌曲音频关联的音频文件。例 如， 从本地音频库中获取匹配的歌曲音频。 如果在本地音频库中还存在与该 歌曲音频关联的其它音频文件， 比如歌词、 MTV和 /或其它歌曲背景资料等， 则根据在本地音频库搜索到的与所获取的设备 B 的音频样本匹配的歌曲音 频， 从本地音频库中进一步获取与所搜索出的歌曲音频关联的歌词、 MTV和 /或歌曲背景资料等。 或者， 在所述音频匹配需求还包括用于指示用户所需音 频文件的指示信息的情况下， 从本地音频库中仅仅获取用户所需音频文件。 比如， 在用户仅仅需要歌曲的歌词时， 从本地音频库中仅仅获取歌词。

然后， 在步骤 S308中， 在第一设备上输出所获取的音频文件。 如果所获 取的音频文件是歌曲音频， 则在第一设备上播放该歌曲音频。 如果所获取的 音频文件是歌曲音频的歌词， 则在第一设备上显示该歌词。 如果所获取的音 频文件是歌曲的 MTV, 则在第一设备上播放该 MTV。 如果所获取的音频文 件是歌曲背景资料， 则在第一设备上展示该歌曲背景资料。

此外， 如果所获取的音频文件是上述音频文件的各种组合， 则在第一设 备上可以进行组合输出。 比如， 在所获取的音频文件包括歌曲音频和歌词时， 可以在第一设备上播放歌曲音频， 同时显示该歌曲的歌词。

此外， 在本发明的另一示例中， 在所获取的音频文件是上述音频文件的 组合时， 在第一设备上输出所获取的音频文件还可以包括： 根据用于指示用 户期望输出的音频文件的指示信息， 从所获取的音频文件中选择用户期望输 出的音频文件； 以及在第一设备上输出所选择的音频文件。

在步骤 305， 将所获取的音频样本上传给服务器， 以便在服务器中进行匹 配， 由此在服务器中获取与该音频样本匹配的音频文件。 在该步骤中， 不限 定具体传输方式及所采用的传输协议。 所述音频文件可以是歌曲音频、 歌词、 MTV和 /或歌曲背景资料等。

此外， 在本发明的另一示例中， 在设备 A上传音频样本时， 还可以上传 指示用户所需音频文件的指示信息， 例如只需要歌词， 或者同时需要歌曲和 歌词等。 按照这种方式， 在服务器中可以仅仅获取与用户所需音频文件对应 的音频文件。

接着， 在步骤 306， 将服务器获取的匹配音频文件下载到本地音频库。在 该步骤中， 一旦在服务器匹配到对应的音频文件， 则设备 A立即从服务器下 载对应的音频文件， 并存储到本地音频库。

另外， 设备 A根据下载和存储的音频文件， 在本地建立起歌词与音频样 本的关联。 这样， 设备 A下次搜索或打开同样的音频， 就能直接在本地音频 库中匹配成功， 对应显示歌词， 从而减少响应时间， 提高用户体验。

然后， 在步骤 307， 在下载或存储音频文件后， 在第一设备上输出从服务 器下载的音频文件。 该步骤的音频文件输出过程与上面参照步骤 308 的描述 相同， 在此不再描述。

优选地， 在匹配前， 第一设备还需要对所获取的音频样本进行快速音频 解码， 然后针对音频解码后的音频样本在本地音频库中进行匹配。 关于音频 解码， 目前国际上有两个负责视音频编码的标准化组织，一个是 VCEG (Video code Expert Group), 是国际电信联合会下的视频编码专家组， 一个是 MPEG (Motion Picture Expert Group), 是国际标准化组织下的运动图像专家组。 本 发明并不限定具体采用哪一种标准进行音频解码， 只需要满足对音频样本实 现解码即可。

按照上述方式， 用户可以听着设备 B在播放歌曲， 而在自己的设备 A同 时显示该歌曲对应的歌词， 由此提高了用户体验。 或者， 设备 A也可以将在 本地音频库搜索到的与获取的音频样本匹配的歌曲进行播放， 并在设备屏幕 中同步显示该歌曲关联对应的歌词。 或者， 设备 A可以播放本地音频库中与 该歌曲有关的 MTV。或者， 设备 A可以向用户展示本地音频库中与该歌曲的 相关背景资料。 上述处理方式可以单独使用， 也可以组合使用。 通过上述处 理使得用户可以享受到更好的用户体验。

另外， 在本发明中， 由于根据获取的音频进行匹配， 相对于现有技术根 据文件名例如歌曲名称匹配对应歌词， 显得更加准确， 从而提高同步准确性。

图 4是本发明实施例的音频处理方法的一个示例中的服务器侧的处理流 程图。

如图 4所示， 在步骤 401， 服务器接收客户端上传的音频样本。 这里， 不 限定客户端上传时所采用的具体传输方式及所采用的传输协议。 此外， 在本 发明的另一示例中， 服务器还可以从客户端接收用于指示用户所需音频文件 的指示信息。

在接收到音频样本后， 在步骤 402， 服务器通过内置的网络音频库进行匹 配处理。 与上述本地音频库相同， 在网络音频库中至少包括歌曲音频。 此外， 所述网络音频库中还可以包括与音频对应的歌词、与歌曲有关的 MTV及歌曲 背景资料等。

在本发明中， 通过将音频库设置在服务器， 可以节省客户端的软件本身 的大小。 本发明为了将音频库进行区分， 服务器的音频库称为网络音频库。 如果客户端不设置本地音频库 ， 则本发明方案中， 客户端可以直接将所获取 的音频样本上传给服务器。

在本发明中， 服务器采用以下步骤进行频率匹配， 但不局限于此。

服务器将获取的音频样本作为待测音频流， 从网络音频库中的音频样例 中搜索对应匹配的音频片段。 该过程具体包括：

1 ) 获取待测音频流和音频样例的能量包络单元图。

在该步骤中， 可以采用现有的各种技术获取到能量包络单元图， 例如根 据时间间隔分成多帧， 进行音频短时能量特征提取， 根据每帧的短时平均能 量形成短时能量包络。

2)在待测音频流片段的能量包络单元图上， 依次选择每个能量包络单元 的起始点作为匹配操作的起始点。

3 )将每个音频样例以及待测音频流片段分别用所述能量包络单元图上的 切分点和概率对组成的数对形式表示。

4)将待测音频流片段的数对依次与每个音频样例的数对进行比较， 得到 匹配点以及对应的匹配概率。

5 ) 采用相似性度量函数对步骤 4) 所得到的匹配点以及对应的音频样例 进行计算， 得到两者的相似值。

6) 将步骤 5 ) 所得到的相似值与一个预订设定的阈值进行比较， 若所述 的相似值大于该阈值，则认为与步骤 4)所得到的匹配点相对应的音频片段 和 与匹配点相对应的音频样例匹配。

如上所述的服务器侧的音频匹配过程中提及的相关概念可以参考申请号 为 CN200810057161.9的中国专利申请，在此通过引用将该中国专利申请的全 部内容并入本申请中。

按照这种方式， 服务器根据所接收的音频的频率进行匹配， 因此歌曲和 歌词的匹配更加准确， 从而提高同步准确性。 接着， 在步骤 403， 从网络音频 库中获取所匹配的音频文件， 比如歌曲音频、 歌词、 MTV和 /或其它歌曲背景 资料等。 具体获取过程与上述参照本地音频库的描述相同。 在本发明的另一 示例中， 如果从客户端还上传用于指示用户所需音频文件的指示信息， 则在 找到匹配的音频后， 根据该指示信息， 从网络音频库中获取用户所需的音频 文件。

然后， 在步骤 S404, 将所获取的音频文件返回给客户端。

在该过程中， 服务器端通过快速匹配， 从网络音频库中匹配到对应的音 频后， 将音频文件传输给客户端。 这样， 在客户端接收到音频文件后， 可以 根据需要进行具体处理， 处理过程可以如上述客户端处理流程所述。 通过上述方案可以看出， 本发明通过获取其他设备的音频， 然后在本地 或服务器进行音频匹配， 匹配成功后输出与其它设备的音频对应的音频文件， 比如显示该音频的歌词、 MTV等， 播放该音频， 显示与该音频对应的资料信 息等， 从而丰富了音频应用， 提高了用户体验。

此外， 在上述技术方案中， 服务器根据所接收的音频的频率进行匹配， 因此匹配歌曲和歌词更加准确， 从而提高同步准确性。

以下结合具体应用情况进行介绍。

应用例一： 不同设备歌词匹配

假设存在设备 A和设备 B。 设备 B (例如电视或音响等） 正在播放一首 歌曲， 比如王力宏的歌曲 "唯一"。 设备 A (和设备 B不一样的移动设备， 例 如智能手机或者平板电脑等） 安装有音频处理软件。 设备 A打开软件， 读取 设备 B播放的音频。 设备 A读取音频后， 在本身的本地音频库中未搜索到对 应的音频， 则将音频上传给软件的远端服务器 C进行匹配。 远端服务器 C搜 索到王力宏的歌曲"唯一"和对应的歌词， 向设备 A返回对应的音频文件（包 括歌曲 "唯一"的音频和歌词及其他资料等）。 设备 A下载音频文件后， 在屏 幕上显示对应的歌词， 如果用户需要， 还可以提供相关的和歌曲相关的资料。

因此， 利用本发明方案， 当用户拿着移动设备， 听到电视播放歌曲时， 可以直接打开移动设备的音频处理软件， 获取该歌曲， 并进行本地或网络匹 配后， 就可以直接在移动设备显示对应歌词， 从而大大提高用户的体验。

应用二： 不同设备自动记谱

假设存在设备 A和设备 B。 设备 B (例如电视或音响等） 正在播放一首 歌曲， 比如王力宏的歌曲 "唯一"。 设备 A (和设备 B不一样的移动设备， 例 如智能手机或者平板电脑等） 安装了音频处理软件。 设备 A打开软件， 读取 设备 B播放的音频。 设备 A通过录音等方法读取音频后， 记住了音频信号的 频率。 进一步的， 设备 A根据记录的音频信号的频率确定对应的音调， 即判 断这个音符是什么音， 比如是 do, 还是 do加。 还有， 根据信号的间隔时间， 确定对应的节奏。 通过音调和节奏的确定从而直接记录下歌曲对应的旋律， 也就实现自动记谱的功能。 这样的音频处理， 方便了更多非专业人士的扒带 需求， 因此也从另外一个角度提高了用户体验。

上述内容详细介绍了本发明的音频处理方法， 本发明相应还提供一种音 频处理系统， 以下进行详细介绍。

图 5是本发明的音频处理系统 500的结构示意图。

如图 5所示， 音频处理系统 500至少包括第一设备 510和第二设备 520， 所述第一设备 510和第二设备 520为同类型设备或异类型设备。

第二设备 520被配置为播放音频。 第一设备 510被配置为获取第二设备 520的音频；按照预定的音频匹配需求对所述获取的第二设备 520的音频进行 音频匹配处理， 以获取与所获取的第二设备 520 的音频匹配的音频文件； 以 及输出所获取的音频文件。

此外，第一设备 510还可以配置为按照记谱需求对所获取的第二设备 520 的音频进行记谱。

此外， 如图 5所示， 音频处理系统 500还可以包括服务器 530。所述服务 器 530中设有网络音频库， 所述服务器 530被配置为接收从第一设备 510上 传的所获取的第二设备 520的音频， 所获取的第二设备 520的音频仅仅在检 测出第一设备内不存在本地音频库或者在本地音频库对所述获取的音频进行 音频匹配失败后才从第一设备 510上传到服务器 530。

服务器 530还被配置为在网络音频库中对所接收的音频进行音频匹配， 然后将匹配得到的音频文件发送给所述第一设备 510。

此外， 服务器 530还被配置为从第一设备 510接收用于指示用户所需音 频文件的指示信息， 比如， 该指示信息指示用户所需音频文件是歌曲音频、 歌词、 MTV还是歌曲的背景资料等。 在这种情况下， 所匹配得到的音频文件 仅仅是该指示信息所指示的音频文件。

图 6示出了图 5中的第一设备的一个实现示例的方框示意图。 如图 6所 示， 第一设备 510包括音频获取单元 511、音频匹配单元 513以及音频文件输 出单元 515。

所述音频获取单元 511用于获取第二设备 520的音频。 所述音频可以是 第二设备上正在播放的音频文件的完整音频或者一个音频片段， 比如， 正在 播放的歌曲的一个音频片段。 例如， 音频获取单元 511 可以通过录音或读取 频率的方式获取第二设备 520的音频。

所述音频匹配单元 513用于按照预定的音频匹配需求在第一设备 510中 对从第二设备 520获取的音频进行音频匹配， 以获取与该音频匹配的音频文 件。所述音频文件可以包括歌曲音频、 歌词、 与歌曲有关的 MTV和歌曲背景 资料中的一个或多个。

音频文件输出单元 515用于在第一设备上输出所获取的匹配音频文件。 此外， 在所获取的音频文件包括多个音频文件时， 所述第一设备还可以包括 选择单元 （未示出）， 用于从所获取的音频文件中选择用户期望输出的音频文 件。 例如， 在本发明的一个示例中， 所述选择单元可以根据用于指示用户期 望输出的音频文件的指示信息， 从所获取的音频文件中选择用户期望输出的 音频文件。 所述用于指示用户期望输出的音频文件的指示信息可以由用户输 入。

图 7示出了音频匹配单元 513的一个实现示例的方框示意图。 如图 7所 示， 音频匹配单元 513包括检测模块 5131、 本地音频匹配模块 5133、 上传模 块 5135以及接收模块 5137。

所述检测模块 5131用于检测第一设备 510中是否存在本地音频库。 所述 本地音频库中至少存储歌曲音频。 此外， 所述本地音频库中还可以包括歌曲 音频的对应歌词、 与歌曲有关的 MTV和 /或歌曲背景资料等。 并且， 歌词、 与歌曲有关的 MTV和 /或歌曲背景资料与歌曲音频相关联地存储在本地音频 在检测出存在本地音频库后， 本地音频匹配模块 5133在本地音频库中对 所述获取的音频进行音频匹配， 以获取与第二设备的音频匹配的音频文件。 所述音频文件包括歌曲音频、 歌曲的歌词、 歌曲的 MTV、 歌曲资料中的一个 或多个。

上传模块 5135用于在检测模块 5131检测出不存在本地音频库或者音频 匹配模块 5133 的匹配不成功时， 将所获取的第二设备的音频上传到服务器 530。 在本发明的另一示例中， 所述上传模块 5135还上传用于指示用户所需 音频文件的指示信息。 在这种情况下， 在服务器 530 中仅仅获取用户所需音 频文件。 接收模块 5137用于接收从服务器 530返回的匹配的音频文件。

综上所述， 本发明技术方案可以获取其他设备 （同类型或异类型） 的音 频， 然后根据设定需求对获取的音频进行音频处理， 获得音频处理的结果， 该处理结果例如可以是得到匹配的歌词和歌曲等， 从而解决了不同设备的音 频同步问题。 通过本发明方案， 当用户拿着移动设备， 听到电视播放歌曲时， 可以直接获取该歌曲， 并进行音频匹配后， 就可以直接在移动设备显示对应 歌词， 从而大大提高用户的体验， 也使得基于移动设备的娱乐获得更好的应 用。

需要说明的是， 上述装置和系统内的各单元之间的信息交互、 执行过程 等内容， 由于与本发明方法实施例基于同一构思， 具体内容可参见本发明方 法实施例中的叙述， 此处不再赘述。

此外， 根据本发明的方法还可以被实现为由 CPU执行的计算机程序。 在 该计算机程序被 CPU执行时， 执行本发明的方法中限定的上述功能。

此外， 上述方法步骤以及系统单元也可以利用控制器或处理器以及用于 存储使得控制器或处理器实现上述步骤或单元功能的计算机程序的计算机可 读存储设备实现。

此外， 应该明白的是， 本文所述的计算机可读存储设备 （例如， 存储器） 可以是易失性存储器或非易失性存储器， 或者可以包括易失性存储器和非易 失性存储器两者。 作为例子而非限制性的， 非易失性存储器可以包括只读存 储器 （ROM)、 可编程 ROM (PROM), 电可编程 ROM (EPROM)、 电可擦 写可编程 ROM (EEPROM)或快闪存储器。 易失性存储器可以包括随机存取 存储器（RAM), 该 RAM可以充当外部高速缓存存储器。 作为例子而非限制 性的， RAM 可以以多种形式获得， 比如同步 RAM (DRAM), 动态 RAM (DRAM), 同步 DRAM (SDRAM), 双数据速率 SDRAM (DDR SDRAM )、 增强 SDRAM (ESDRAM)、 同步链路 DRAM (SLDRAM) 以及直接 Rambus RAM (DRRAM)o 所公开的方面的存储设备意在包括但不限于这些和其它合 适类型的存储器。

虽然如上参照图描述了根据本发明的各个实施例进行了描述， 但是本领 域技术人员应当理解， 对上述本发明所提出的各个实施例， 还可以在不脱离 本发明内容的基础上做出各种改进。 因此， 本发明的保护范围应当由所附的 权利要求书的内容确定。

Claims

权 利 要 求 书

1、 一种音频处理方法， 包括：

第一设备获取第二设备的音频， 所述第一设备和第二设备为同类型设备 或异类型设备；

在所述第一设备内， 按照预定的音频匹配需求对所述获取的第二设备的 音频进行音频匹配， 以获取与第二设备的音频匹配的音频文件； 以及

在所述第一设备上输出所获取的音频文件。

2、 如权利要求 1所述的音频处理方法， 其中， 所述音频文件包括歌曲音 频、 歌词、 与歌曲有关的 MTV和歌曲背景资料中的一个或多个。

3、 如权利要求 1所述的音频处理方法， 还包括：

按照记谱需求对所获取的第二设备的音频进行记谱。

4、 如权利要求 1所述的音频处理方法， 其中， 在所述第一设备内按照音 频匹配需求对所获取的第二设备的音频进行音频匹配包括：

检测在所述第一设备内是否存在本地音频库， 所述本地音频库中至少包 括歌曲音频； 以及

在检测出所述第一设备内存在本地音频库， 在本地音频库中按照预定的 音频匹配需求对所述获取的第二设备的音频进行音频匹配， 以获取匹配的音 频文件。

5、 根据权利要求 4所述的音频处理方法， 还包括：

在检测出所述第一设备内不存在本地音频库或者在本地音频库中进行的 音频匹配失败时， 将所述获取的第二设备的音频上传到服务器以便在服务器 中进行音频匹配； 以及

从所述服务器接收进行音频匹配后获取的音频文件。

6、 如权利要求 5所述的音频处理方法， 其中， 在检测出所述第一设备内 不存在本地音频库或者在本地音频库中进行的音频匹配失败时， 还向服务器 上传用于指示用户所需音频文件的指示信息， 以及

在服务器中进行音频匹配时， 根据上传的所述指示信息， 仅仅获取用户 所需音频文件。

7、 如权利要求 1所述的音频处理方法， 其中， 在所获取的音频文件包括 多个音频文件时， 在第一设备上输出所获取的音频文件包括：

从所获取的音频文件中选择用户期望输出的音频文件； 以及

在第一设备上输出所选择的音频文件。

8、 一种位于第一设备中的音频处理装置， 包括：

音频获取单元， 用于获取第二设备的音频， 所述第一设备和第二设备为 同类型设备或异类型设备；

音频匹配单元， 用于按照预定的音频匹配需求对所述获取的第二设备的 音频进行音频匹配， 以获取与第二设备的音频匹配的音频文件； 以及

音频文件输出单元， 用于在所述第一设备上输出所获取的音频文件。

9、 如权利要求 8所述的音频处理装置， 还包括：

记谱单元， 用于按照记谱需求对所获取的第二设备的音频进行记谱。

10、 如权利要求 8所述的音频处理装置， 其中， 所述音频匹配单元包括： 检测模块， 用于检测在所述第一设备内是否存在本地音频库， 所述本地 音频库中至少包括歌曲音频；

本地音频匹配模块， 用于在检测出所述第一设备内存在本地音频库时， 在本地音频库中按照预定的音频匹配需求对所述获取的第二设备的音频进行 音频匹配， 以获取匹配的音频文件；

上传模块， 用于在检测出所述第一设备内不存在本地音频库或者在本地 音频库中进行的音频匹配失败时， 将所述获取的第二设备的音频上传到服务 器以便在服务器中进行音频匹配； 以及

接收模块， 用于从所述服务器接收进行音频匹配后获取的音频文件。

11、 如权利要求 10所述的音频处理装置， 其中， 在检测出所述第一设备 内不存在本地音频库或者在本地音频库中进行的音频匹配失败时， 所述上传 模块还向服务器上传用于指示用户所需音频文件的指示信息， 以及

在服务器中进行音频匹配时， 根据上传的所述指示信息， 仅仅获取用户 所需音频文件。

12、 如权利要求 8所述的音频处理装置， 其中， 在所获取的音频文件包 括多个音频文件时， 所述音频处理装置还包括：

选择模块， 用于从所获取的音频文件中选择用户期望输出的音频文件； 以及 所述音频文件输出单元在第一设备上输出所选择的音频文件。

13、 一种音频处理系统， 包括：

至少第一设备和第二设备， 所述第一设备和第二设备为同类型设备或异 类型设备；

所述第二设备用于播放音频；

所述第一设备包括如权利要求 8到 12中任何一个所述的音频处理装置。

14、 根据权利要求 13所述的音频处理系统， 还包括服务器， 所述服务器 中设有网络音频库， 所述服务器被配置为：

在检测出所述第一设备内不存在本地音频库， 或者在本地音频库中对所 述获取的第二设备的音频进行音频匹配失败后， 接收从所述第一设备上传的 所述第二设备的音频；

在网络音频库中对所接收的音频进行音频匹配， 以获取匹配的音频文件; 以及

将所获取的音频文件发送给所述第一设备。