WO2013086701A1 - 虚拟化环境下的音频处理方法和设备 - Google Patents

Abstract

本发明提供一种虚拟化环境下音频处理方法和设备。该方法包括接收到编解码调用消息后，查询系统资源的使用情况，所述编解码调用消息中携带要处理的音频数据，所述系统资源包括：专用芯片、VM和VMM；根据所述系统资源的使用情况，采用空闲的系统资源对所述要处理的音频数据进行处理。本发明实施例可以充分利用系统资源，降低成本。

Description

虚拟化环境下的音频处理方法和设备

技术领域 本发明涉及云计算技术领域， 尤其涉及一种虚拟化环境下的音频处理 方法和设备。 背景技术

虚拟桌面是目前云计算技术引发的使用计算机方式的一种变迁， 云计 算将计算资源集中于云端的数据中心 , 以虚拟机（ Virtual Machine , VM ) 的方式提供给用户使用。 用户在需要使用这些虚拟机时， 就需要使用虚拟 桌面技术将各种计算机输入传输至运行于远端数据中心中的虚拟机计算 资源中作为计算输入， 同时将输出， 例如显示、 音频、 视频等， 传输至用 户本地并呈现给用户， 实现人机交互。 音频重定向技术是虚拟桌面技术中 的重要组成之一。 由于现有的广域网环境下用户和数据中心间的网络带宽 是有限的， 所以在进行音频重定向时需要对音频数据进行编解码处理以减 少传输的数据量。

现有技术中， 虚拟机自身可以处理音频数据， 或者， 也可以在服务器 内配置专用芯片， 由专用芯片对音频数据进行处理。 对于确定的场景， 服 务器上的所有虚拟机采用相同的处理方式进行音频数据处理。 例如， 服务 器上没有配置专用芯片， 该服务器上的所有虚拟机将自己处理音频数据， 或者， 如果服务器上配置有专用芯片， 该服务器上的所有虚拟机将音频数 据发送给专用芯片， 由专用芯片进行处理。

但是， 这种单一处理方式会造成系统资源浪费和成本增加。 例如， 对 于配置了专用芯片的场景， 由于所有虚拟机的音频数据都需要专用芯片进 量与虚拟机的最大数量相对应的专用芯片。 但是， 通常虚拟机不会同时运 行， 即使同时运行也不会同时进行音频处理， 因此， 按照虚拟机的最大数 据配置对应数量的专用芯片是不合理的， 浪费了资源， 造成了成本增加。 发明内容 本发明提供一种虚拟化环境下的音频处理方法和设备， 可以充分利用 系统资源， 降低成本。

本发明提供了一种虚拟机环境下的音频处理方法， 包括：

接收到编解码调用消息后， 查询系统资源的使用情况， 所述编解码调 用消息中携带要处理的音频数据， 所述系统资源包括： 专用芯片、 VM和 VMM;

根据所述系统资源的使用情况， 采用空闲的系统资源对所述要处理的 音频数据进行处理。

本发明提供了一种虚拟化环境下的音频处理设备， 包括：

查询模块，用于接收到编解码调用消息后，查询系统资源的使用情况， 所述编解码调用消息中携带要处理的音频数据， 所述系统资源包括： 专用 芯片、 VM和 VMM;

处理模块， 用于根据所述系统资源的使用情况， 采用空闲的系统资源 对所述要处理的音频数据进行处理。

由上述技术方案可知， 本发明实施例通过查询系统资源的使用情况， 选择空闲的系统资源处理音频数据， 可以在配置较少的专用芯片时选择由 其他系统资源对音频数据进行处理， 也就是说， 可以根据实际情况选择系 统资源， 而并不限定由单一的系统资源对音频数据进行处理， 因此可以充 分利用系统中的所有资源， 降低配置较多专用芯片所需的成本。 附图说明 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例描述 中所需要使用的附图作一简单地介绍， 显而易见地， 下面描述中的附图是 本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳 动性的前提下， 还可以根据这些附图获得其他的附图。

图 1为本发明虚拟化环境下音频处理方法一实施例的流程示意图； 图 2为本发明实施例基于的逻辑结构示意图；

图 3为本发明虚拟化环境下音频处理方法另一实施例的流程示意图； 图 4为本发明虚拟化环境下音频处理方法另一实施例的流程示意图； 图 5为本发明虚拟化环境下音频处理方法另一实施例的流程示意图； 图 6为本发明虚拟机环境下音频处理设备一实施例的结构示意图； 图 7为本发明虚拟机环境下音频处理设备另一实施例的结构示意图。 具体实施方式 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本 发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描 述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例， 都属于本发明保护的范围。

图 1为本发明虚拟化环境下音频处理方法一实施例的流程示意图， 包 括：

步骤 11 : 接收到编解码调用消息后， 查询系统资源的使用情况， 所述 编解码调用消息中携带要处理的音频数据，所述系统资源包括：专用芯片、 VM和虚拟机监控器 （ Virtual Machine Monitor, VMM ) ；

步骤 12: 根据所述系统资源的使用情况， 采用空闲的系统资源对所述 要处理的音频数据进行处理。

其中， 由于专用芯片可以提供更好的编解码性能， 因此， 如果存在空 闲的专用芯片则优先使用专用芯片进行音频数据处理。 当不存在空闲的专 用芯片时，可以根据 VM和 VMM的使用情况 ,采用 VM的 CPU或者 VMM 的 CPU进行音频数据处理。

由于在专用芯片不足时， 还可以采用 VM或 VMM对音频数据进行处 理， 因此， 本发明实施例中并不需要按照虚拟机的最大数量配置专用芯片 的个数。 例如， 假设每个专用芯片可以为 N个虚拟机服务， 虚拟机的最大 个数为 k x N, 则如果按照现有技术， 那需要配置 k个专用芯片。 但是， 由于通常 k x N个虚拟机不会同时运行， 或者不会同时使用音频处理， 配 置的 k个专用芯片会在大部分时间存在空闲的专用芯片。 但是， 本发明实 施例中， 可以配置数量小于 k的专用芯片， 假设通常同时使用音频的虚拟 机的个数为 （k-m ) x N个， 则本实施例中可以只配置 k-m个专用芯片。 这样就可以避免专用芯片的空闲， 使得专用芯片被充分使用， 能够满足通 常的场景所需。 另外， 即使对于偶然场景， 即除（k-m ) x N 个虚拟机之 夕卜，还另有虚拟机需要使用音频数据，那么也可以采用 VM自身或者 VMM 对新启动的虚拟机的音频数据进行处理。 上述的专用芯片的个数可以根据 同时需要音频处理的虚拟机的个数的最大值进行设定。 由于通常同时需要 音频处理的虚拟机的个数较少， 因此， 本发明实施例中的专用芯片的个数 通常是远小于现有技术中按照虚拟机的最大个数选择的专用芯片的个数。

本实施例通过对系统资源的使用情况的查询， 可以充分利用各种系统 资源， 可以配置较少的专用芯片， 降低成本。

图 2为本发明实施例基于的逻辑结构示意图， 下述各实施例的场景可 以结合该逻辑结构执行。 该逻辑结构可以是云数据中心的服务器 20 的结 构示意图， 其中底层为主机硬件， 主机硬件包括专用芯片和 CPU。 服务器 上可以虚拟出多个虚拟机， 用以分配给不同的用户使用， 参见图 2, 多个 虚拟机分别为 VMl ...VMn; 每个虚拟机内可以设置音频模块、 编解码组 件和硬件驱动模块，图 2中只以 VM1为例，只在 VM1中示出了上述模块， 可以理解的是， 其余虚拟机中也包含上述模块， 另外， 虚拟机中还可以包 含其余模块。 虚拟机监控器 （VMM ) 可以监控虚拟机以及专用芯片的占 用情况， 并可以在虚拟机和主机硬件间传递数据； VMM 中可以设置虚拟 硬件模块， 与现有技术不同的是， 本发明实施例中还包含资源分配器。 具 体地：

音频模块： 虚拟桌面中负责音频数据发送和接收的模块。 音频模块在 接收到需要传输到客户端的音频数据后， 会根据情况决定是否使用压缩以 及使用哪种压缩格式， 然后调用编解码组件进行音频格式的转换和压缩； 在接收到客户端发送过来的音频数据后， 也需要转换为特定的音频格式。

编解码组件： 被音频模块调用的组件， 在系统中注册自己， 将专用芯 片的功能以库的形式提供给软件开发者使用。 对于芯片特殊计算能力的使 用， 编解码组件中存在决策判断逻辑， 在被调用来进行编解码处理时， 会 向硬件驱动模块发送消息获取硬件资源， 如果获取成功， 编解码组件将使 用专用芯片自己的开发库来进行编解码处理； 如果获取失败， 将调用现有 普通的软件编解码库通过 VM自己的 CPU来实现编解码处理。

硬件驱动模块： 专用芯片在 VM中的驱动程序， 可以是全功能的芯片 驱动， 与非虚拟化情况下操作系统中安装的专用芯片驱动没有差别。

虚拟硬件模块： 截获 VM中硬件驱动模块的命令并作出应答， 用于为 VM提供虚拟的硬件。 虚拟硬件模块在接收到硬件驱动模块的 I/O请求后 会首先向资源分配器发送物理硬件资源请求命令。 如果请求到芯片资源， 虚拟硬件模块会根据 I/O请求将此芯片资源与特定的用户绑定一段时间。 如果请求不到芯片资源， 从资源分配器得到的返回值可能存在两种， 一种 会指示虚拟硬件模块使用 VMM的 CPU计算能力模拟芯片的行为； 另一 种会指示虚拟硬件模块向 VM中的驱动程序返回硬件不可得的返回值。

资源分配器： 监视系统运行负载状况并记录专用芯片的使用情况以及 CPU状况，在接收到特定 VM的虚拟硬件模块发出的资源请求时，作出调 度判断， 确定是否允许当前 VM的虚拟硬件模块映射到物理资源上， 这种 映射关系维持的时间可以根据相应的策略动态更改， 以高效地被多个 VM 重用。 如果当前没有足够的专用芯片资源， 则根据 CPU 的负载情况进行 进一步的判断。 如果当前 VM的 CPU负载高于警戒值， 则决定使用 VMM 的 CPU进行硬件行为模拟；否则返回硬件不可得，让 VM使用自己的 CPU 进行压缩解压处理。

专用芯片： 使用硬件实现编解码处理逻辑的特殊芯片， 可以高效处理 指定的格式的音频编解码， 节省 CPU资源。

上述模块中，与现有技术不同的是，本发明实施例中新增资源分配器， 以便动态地监视专用芯片、 VM、 VMM的使用情况， 确定由哪种资源对音 频数据进行处理。 另外， 与之对应的， 现有技术中的编解码组件、 硬件驱 动模块、 虚拟硬件模块也要进行功能增强， 例如， 需要首先查询系统资源 的使用情况， 在获取使用情况结果后将音频数据交由相应的模块进行处 理。

结合上述模块， 本发明可以给出如下实施例。

图 3为本发明虚拟化环境下音频处理方法另一实施例的流程示意图， 本实施例以使用专业芯片处理音频数据为例。 参见图 3 , 本实施例包括： 步骤 301 : 音频模块向编解码组件发送编解码调用消息， 该编解码调 用消息中携带要处理的音频数据。

可以理解的是， 如果是要向外界发送音频数据， 音频模块是要进行编 码操作，如果是接收到外界发送的音频数据，音频模块是要进行解码操作， 因此， 上述的编解码调度消息具体为编码调度消息或者解码调度消息， 与 此对应的是， 后续的编解码相关消息应该具体是编码相关消息或者解码消 统称为编解码消息。

步骤 302: 编解码组件向硬件驱动模块发送请求消息， 该请求消息用 于查询专用芯片的使用情况；

其中， 音频模块调用编解码组件后， 编解码组件可以首先调用专用芯 片开发库接口进行初始化操作， 即发送上述的请求消息， 查询专用芯片当 前是否可用， 以便在可用时调用专用芯片进行真正的编解码处理。

步骤 303 : 硬件驱动模块向虚拟硬件模块发送编解码开始请求消息， 以便查询专用芯片的使用情况。

其中， 该编解码开始请求消息可以是 I/O控制码。

步骤 304: 虚拟硬件模块向资源分配器发送物理硬件资源申请消息； 其中， 虚拟硬件模块在接收到编解码开始请求消息后， 可以首先查询 自己是否拥有硬件访问权限， 在具有硬件访问权限后发送物理硬件资源申 请消息。

步骤 305: 资源分配器查询专用芯片的使用情况。

由于资源分配器可以监视系统内各模块的负载情况， 因此资源分配器 可以确定专用芯片的使用情况， 以确定是否存在空闲的专用芯片。 例如， 系统中预先配置了 M 个专用芯片， 当前已经被虚拟机使用的专用芯片的 个数小于 M 个， 则可以确定出存在空闲的专用芯片； 如果当前已经被虚 拟机使用的专用芯片的个数达到 M个， 则确定不存在空闲的专用芯片。

步骤 306: 资源分配器在确定出存在空闲的专用芯片时， 向虚拟硬件 模块发送申请成功消息；

在返回申请成功消息后， 可以将专用芯片分配给音频模块所在的虚拟 机使用一定时间， 该时间段内该虚拟机的音频数据可以由专用芯片进行处 理。 该时间段的具体数值可以根据实际情况设定。

步骤 307: 虚拟硬件模块根据所述申请成功消息向硬件驱动模块发送 硬件准备就绪消息； 其中， 该硬件准备就绪消息可以是 I/O控制结果。

步骤 308: 硬件驱动模块根据所述硬件准备就绪消息向编解码组件发 送表明硬件准备就绪的初始化结果消息。

步骤 309: 编解码组件向硬件驱动模块发送编解码开始消息； 步骤 310: 硬件驱动模块接收到编解码开始消息后， 将要处理的音频 数据从 VM的用户态拷贝到 VM的内核态， 并向虚拟硬件模块发送直接内 存存取 ( Direct Memory Access, DMA ) 指令；

其中， 编解码组件位于 VM的用户态内， 硬件驱动模块位于 VM的内 核态内。

音频模块发送编解码调用消息后可以将要处理的数据发送给编解码 组件， 使得要处理的音频数据位于用户态内。 为了后续数据传输， 硬件驱 动模块需要从用户态获取要处理的音频数据并保存在自身所在的内核态。

步骤 311 : 虚拟硬件模块根据所述 DMA指令从 VM的内核态获取所 述要处理的音频数据， 并将所述要处理的音频数据传输给专用芯片；

步骤 312: 专用芯片对所述要处理的音频数据进行编解码处理； 其中， 专用芯片可以采用现有技术中的专用芯片， 专用芯片可以提供 比 VM自身的 CPU编解码更高的性能。

步骤 313: 专用芯片将处理后的音频数据传输给虚拟硬件模块； 步骤 314: 虚拟硬件模块获取处理后的音频数据后， 向硬件驱动模块 发送 DMA中断指令；

步骤 315: 硬件驱动模块根据所述 DMA中断指令， 从虚拟硬件模块 获取处理后的音频数据， 并将处理后的音频数据发送给编解码组件。

其中， 硬件驱动模块虚拟硬件模块获取处理后的音频数据后， 可以通 知编解码组件， 编解码组件接收到通知后， 可以将处理后的音频数据从内 核态拷贝至用户态。

步骤 316: 编解码组件将处理后的音频数据发送给音频模块。

图 4为本发明虚拟化环境下音频处理方法另一实施例的流程示意图， 本实施例以使用 VM自身的 CPU对音频数据进行处理为例， 参见图 4, 本 实施例包括：

步骤 401 : 音频模块向编解码组件发送编解码调用消息， 该编解码调 用消息中携带要处理的音频数据。

步骤 402: 编解码组件向硬件驱动模块发送请求消息， 该请求消息用 于查询专用芯片的使用情况；

步骤 403: 硬件驱动模块向虚拟硬件模块发送编解码开始请求消息， 以便查询专用芯片的使用情况。

步骤 404： 虚拟硬件模块向资源分配器发送物理硬件资源申请消息。 上述的步骤 401〜404的具体内容可以分别参见步骤 301〜304。

步骤 405: 资源分配器查询专用芯片的使用情况， 并在不存在空闲的 专用芯片时， 进一步查询 VM和 VMM的使用情况。

其中， 在上一实施例的基础上， 如果查询后不存在空闲的专用芯片， 则还需要进一步查询 VM和 VMM的使用情况，如果 VM的当前使用率低 于第一设定值而 VMM的当前使用率高于第二设定值， 则确定由 VM自己 的 CPU对音频数据进行处理。 具体的， 第一设定值用于表征 VM的负载 能力，当 VM的使用率高于第一设定值时，表明 VM不能再处理音频数据， 而如果 VM的使用率低于第一设定值，表明 VM还具有继续处理音频数据 的能力； 第二设定值用于表征 VMM的负载能力， 当 VMM的使用率高于 第二设定值时， VMM不能再处理音频数据， 而如果 VMM的使用率低于 第二设定值， 表明 VMM还具有继续处理音频数据的能力。 上述的第一设 定值和第二设定值可以根据实际情况进行设置。

步骤 406: 资源分配器在确定出不存在空闲的专用芯片且确定出使用

VM自身进行编解码处理时， 向虚拟硬件模块发送申请失败消息， 并且该 申请失败消息中携带硬件不可得信息；

步骤 407: 虚拟硬件模块向硬件驱动模块发送硬件准备结果， 该硬件 准备结果中携带硬件不可得信息；

步骤 408: 硬件驱动模块向编解码组件发送请求结果， 该请求结果中 携带硬件不可得信息。

步骤 409: 编解码组件接收到该请求结果后，使用 VM自身的 CPU对 要处理的音频数据进行编解码处理。

其中， VM自身的 CPU内会保存编解码算法， 可以完成对音频数据的 编解码处理，此时，相当于现有技术中没有配备专用芯片时的编解码处理。 步骤 410: 编解码组件将处理后的音频数据发送给音频模块。

图 5为本发明虚拟化环境下音频处理方法另一实施例的流程示意图， 本实施例以使用 VMM进行音频数据处理为例， 参见图 5 , 本实施例包括： 步骤 501 : 音频模块向编解码组件发送编解码调用消息， 该编解码调 用消息中携带要处理的音频数据。

步骤 502: 编解码组件向硬件驱动模块发送请求消息， 该请求消息用 于查询专用芯片的使用情况；

步骤 503: 硬件驱动模块向虚拟硬件模块发送编解码开始请求消息， 以便查询专用芯片的使用情况。

步骤 504: 虚拟硬件模块向资源分配器发送物理硬件资源申请消息。 上述的步骤 501〜504的具体内容可以分别参见步骤 301〜304。

步骤 505: 资源分配器查询专用芯片的使用情况， 并在不存在空闲的 专用芯片时， 进一步查询 VM和 VMM的使用情况。

其中， 在图 3所示的实施例的基础上， 如果查询后不存在空闲的专用 芯片， 则还需要进一步查询 VM和 VMM的使用情况， 如果 VM的当前使 用率高于第一设定值而 VMM的当前使用率低于第二设定值， 则确定由虚 拟硬件的 CPU对音频数据进行处理。

关于第一设定值和第二设定值的具体说明可以参见上一实施例。

另外， 当 VM的当前使用率低于第一设定值且 VMM的当前使用率低 于第二设定值时 ,也就是 VM和 VMM都具有继续处理音频数据的能力时， 可以随机选择 VM或 VMM进行后续音频数据， 或者， 预先设定此种情况 由 VM或 VMM进行处理， 或者， 比较 VM的使用率与第一设定值之间的 比值， 以及 VMM的使用率与第二设定值之间的比值， 选择比值较小， 也 就是负载较轻的设备进行处理。 另外， 当 VM和 VMM都不具有继续处理 音频数据的能力时， 可以结束音频数据处理。

步骤 506: 资源分配器在确定出不存在空闲的专用芯片且确定出使用 VMM进行编解码处理时， 向虚拟硬件模块发送申请失败消息， 该申请失 败消息中携带使用硬件模拟方式的信息；

步骤 507: 虚拟硬件模块向硬件驱动模块发送硬件准备结果， 该硬件 准备结果携带使用硬件模拟方式的信息； 步骤 508: 硬件驱动模块向编解码组件发送请求结果， 该请求结果中 携带使用硬件模拟方式的信息。

步骤 509: 编解码组件接收到携带使用硬件模拟方式的信息的请求结 果后， 向硬件驱动模块发送编解码开始消息；

步骤 510: 硬件驱动模块根据所述编解码开始消息， 将要处理的音频 数据从 VM的用户态拷贝到 VM的内核态， 并向虚拟硬件模块发送 DMA 指令；

步骤 511 : 虚拟硬件模块从 VM的内核态获取要处理的音频数据， 并 使用 VMM的 CPU虚拟的硬件对要处理的音频数据进行处理；

步骤 512: 虚拟硬件模块在对音频数据进行处理后， 向硬件驱动模块 发送 DMA中断指令；

步骤 513: 硬件驱动模块根据所述 DMA中断指令， 从虚拟硬件模块 获取处理后的音频数据， 并将处理后的音频数据发送给编解码组件。

其中， 硬件驱动模块虚拟硬件模块获取处理后的音频数据后， 可以通 知编解码组件， 编解码组件接收到通知后， 可以将处理后的音频数据从内 核态拷贝至用户态将处理后的音频数据发送给编解码组件。

步骤 514: 编解码组件将处理后的音频数据发送给音频模块。

本发明实施例通过查询系统资源的使用情况， 采用上述三种之一的空 闲的系统资源处理音频数据， 可以配置较少的专用芯片， 实现系统资源的 充分利用并降低成本。

图 6为本发明虚拟机环境下音频处理设备一实施例的结构示意图， 该 设备可以是执行上述方法的设备， 该设备可以是提供云服务的服务器， 该 设备包括查询模块 61和处理模块 62;查询模块 61用于接收到编解码调用 消息后， 查询系统资源的使用情况， 所述编解码调用消息中携带要处理的 音频数据， 所述系统资源包括： 专用芯片、 VM和 VMM; 处理模块 62用 于根据所述系统资源的使用情况， 采用空闲的系统资源对所述要处理的音 频数据进行处理。

可选的， 所述处理模块具体用于： 如果根据所述系统资源的使用情况 确定出存在空闲的专用芯片， 则使用所述空闲的专用芯片对所述要处理的 音频数据进行处理； 或者， 如果根据所述系统资源的使用情况确定出不存 在空闲的专用芯片， 则根据 VM的使用情况和 VMM的使用情况， 确定由 VM或者 VMM对所述要处理的音频数据进行处理。

可选的， 处理模块进一步用于在 VM 的使用率高于第一设定值且 VMM的使用率低于第二设定值时， 使用 VMM对所述要处理的音频数据 进行处理， 或者， 在 VM的使用率低于第一设定值且 VMM的使用率高于 第二设定值时， 使用 VM对所述要处理的音频数据进行处理。

本实施例通过查询系统资源的使用情况， 选择空闲的系统资源处理音 频数据， 可以在配置较少的专用芯片时选择由其他系统资源对音频数据进 行处理， 也就是说， 可以根据实际情况选择系统资源， 而并不限定由单一 的系统资源对音频数据进行处理， 因此可以充分利用系统中的所有资源， 降低配置较多专用芯片所需的成本。

图 7为本发明虚拟机环境下音频处理设备另一实施例的结构示意图， 该设备包括编解码组件 71、 硬件驱动模块 72、 虚拟硬件模块 73、 资源分 配器 74和专用芯片 75; 这些部件的组合可以完成上一实施例查询模块和 处理模块的功能。

可选的， 针对查询： 编解码组件 71 用于接收音频模块发送的编解码 调用消息， 从所述编解码调用消息中获取要处理的音频数据， 并发送用于 查询专用芯片的使用情况的请求消息； 硬件驱动模块 72用于根据所述编 解码组件 71 发送的用于查询专用芯片的使用情况的请求消息， 发送编解 码开始请求消息； 虚拟硬件模块 73用于根据所述硬件驱动模块 72发送的 编解码开始请求消息， 发送物理硬件资源申请消息； 资源分配器 74用于 根据所述虚拟硬件模块 73发送的物理硬件资源申请消息， 查询专用芯片 的使用情况， 并在确定出存在空闲的专用芯片时， 向虚拟硬件模块 73发 送申请成功消息； 所述虚拟硬件模块 73还用于根据所述申请成功消息向 硬件驱动模块 72发送硬件准备就绪消息； 所述硬件驱动模块 72还用于根 据所述硬件准备就绪消息向编解码组件 71 发送表明硬件准备就绪的初始 化结果消息.

此时， 针对处理： 编解码组件 71 用于接收到所述表明硬件准备就绪 的初始化结果消息后， 向硬件驱动模块 72发送编解码开始消息； 硬件驱 动模块 72用于根据所述编解码开始消息将所述要处理的音频数据拷贝到 VM的内核态， 并向虚拟硬件模块 73发送 DMA指令； 虚拟硬件模块 73 用于根据所述 DMA指令从 VM的内核态获取所述要处理的音频数据， 并 将所述要处理的音频数据传输给专用芯片 75; 专用芯片 75用于对所述要 处理的音频数据进行编解码处理， 并将处理后的音频数据传输给虚拟硬件 模块 73; 虚拟硬件模块 73还用于获取处理后的音频数据后， 向硬件驱动 模块 72发送 DMA中断指令； 硬件驱动模块 72还用于根据所述 DMA中 断指令， 从虚拟硬件模块 73 获取所述处理后的音频数据， 并发送给编解 码组件 71 ; 编解码组件 71还用于将所述处理后的音频数据发送给音频模 块。

可选的， 针对查询： 编解码组件 71 用于接收音频模块发送的编解码 调用消息， 从所述编解码调用消息中获取要处理的音频数据， 并发送用于 查询专用芯片的使用情况的请求消息； 硬件驱动模块 72用于根据所述编 解码组件 71 发送的用于查询专用芯片的使用情况的请求消息， 发送编解 码开始请求消息； 虚拟硬件模块 73用于根据所述硬件驱动模块 72发送的 编解码开始请求消息， 发送物理硬件资源申请消息； 资源分配器 74用于 根据所述虚拟硬件模块 73发送的物理硬件资源申请消息， 查询专用芯片 的使用情况， 并在确定出不存在空闲的专用芯片后， 进一步查询 VM 和 VMM的使用情况， 并根据 VM和 VMM的使用情况确定出使用 VM自身 进行编解码处理时， 向虚拟硬件模块 73发送携带硬件不可得信息的申请 失败消息； 所述虚拟硬件模块 73还用于根据所述申请失败消息， 向硬件 驱动模块 72发送携带硬件不可得信息的硬件准备结果； 所述硬件驱动模 块 72还用于向编解码组件 71发送携带硬件不可得信息的请求结果。

此时， 针对处理： 编解码组件 71 用于接收到所述携带硬件不可得信 息的请求结果后， 使用自身的编解码算法对所述要处理的音频数据进行编 解码处理， 并将处理后的音频数据发送给音频模块。

可选的， 针对查询： 编解码组件 71 用于接收音频模块发送的编解码 调用消息， 从所述编解码调用消息中获取要处理的音频数据， 并发送用于 查询专用芯片的使用情况的请求消息； 硬件驱动模块 72用于根据所述编 解码组件 71 发送的用于查询专用芯片的使用情况的请求消息， 发送编解 码开始请求消息； 虚拟硬件模块 73用于根据所述硬件驱动模块 72发送的 编解码开始请求消息， 发送物理硬件资源申请消息； 资源分配器 74用于 根据所述虚拟硬件模块 73发送的物理硬件资源申请消息， 查询专用芯片 的使用情况， 并在确定出不存在空闲的专用芯片后， 进一步查询 VM 和 VMM的使用情况 , 并根据 VM和 VMM的使用情况确定出使用 VMM进 行编解码处理时， 向虚拟硬件模块 73发送携带使用硬件模拟方式的信息 的申请失败消息； 所述虚拟硬件模块 73还用于根据所述申请失败消息， 向硬件驱动模块 72发送携带使用硬件模拟方式的信息的硬件准备结果； 所述硬件驱动模块 72还用于向编解码组件 71发送携带使用硬件模拟方式 的信息的请求结果。

此时， 针对处理： 编解码组件 71 用于接收到所述携带使用硬件模拟 方式的信息的请求结果后， 向硬件驱动模块 72发送编解码开始消息； 硬 件驱动模块 72用于根据所述编解码开始消息， 将所述要处理的音频数据 拷贝到 VM的内核态， 并向虚拟硬件模块 73发送 DMA指令； 虚拟硬件 模块 73用于根据所述 DMA指令从 VM的内核态获取所述要处理的音频 数据， 并采用虚拟硬件模块自身的编解码算法对所述要处理的音频数据进 行处理， 以及在对音频数据进行处理后， 向硬件驱动模块 72发送 DMA中 断指令；硬件驱动模块 72还用于根据所述 DMA中断指令，从虚拟硬件模 块 73获取所述处理后的音频数据， 并发送给编解码组件 71 ; 编解码组件 71还用于将所述处理后的音频数据发送给音频模块。

本发明实施例通过查询系统资源的使用情况，可以采用专用芯片、 VM 或者 VMM处理音频数据， 可以配置较少的专用芯片， 实现系统资源的充 分利用并降低成本。

本领域普通技术人员可以理解： 实现上述方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成， 前述的程序可以存储于一计算机 可读取存储介质中， 该程序在执行时， 执行包括上述方法实施例的步骤； 而前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程 序代码的介质。

最后应说明的是： 以上实施例仅用以说明本发明的技术方案， 而非对 其限制； 尽管参照前述实施例对本发明进行了详细的说明， 本领域的普通 技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修 改， 或者对其中部分技术特征进行等同替换； 而这些修改或者替换， 并不 使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权 利 要 求 书

1、 一种虚拟化环境下音频处理方法， 其特征在于， 包括：

接收到编解码调用消息后， 查询系统资源的使用情况， 所述编解码调 用消息中携带要处理的音频数据， 所述系统资源包括： 专用芯片、 虚拟机 VM和虚拟机监控器 VMM;

根据所述系统资源的使用情况， 采用空闲的系统资源对所述要处理的 音频数据进行处理。

2、 根据权利要求 1 所述的方法， 其特征在于， 所述根据所述系统资 源的使用情况， 采用空闲的系统资源对所述要处理的音频数据进行处理， 包括：

如果根据所述系统资源的使用情况确定出存在空闲的专用芯片， 则使 用所述空闲的专用芯片对所述要处理的音频数据进行处理。

3、 根据权利要求 1 所述的方法， 其特征在于， 所述根据所述系统资 源的使用情况， 采用空闲的系统资源对所述要处理的音频数据进行处理， 包括：

如果根据所述系统资源的使用情况确定出不存在空闲的专用芯片， 则 根据 VM的使用情况和 VMM的使用情况，确定由 VM或者 VMM对所述 要处理的音频数据进行处理。

4、 根据权利要求 3所述的方法， 其特征在于， 所述根据 VM的使用 情况和 VMM的使用情况， 确定由 VM或者 VMM对所述要处理的音频数 据进行处理， 包括：

在 VM 的使用率高于第一设定值且 VMM 的使用率低于第二设定值 时， 使用 VMM对所述要处理的音频数据进行处理， 或者， 在 VM的使用 率低于第一设定值且 VMM的使用率高于第二设定值时， 使用 VM对所述 要处理的音频数据进行处理。

5、 根据权利要求 1 所述的方法， 其特征在于， 所述接收到编解码调 用消息后， 查询系统资源的使用情况， 包括：

编解码组件接收音频模块发送的编解码调用消息， 并从所述编解码调 用消息中获取要处理的音频数据；

编解码组件向硬件驱动模块发送用于查询专用芯片的使用情况的请 求消息；

硬件驱动模块根据所述请求消息向虚拟硬件模块发送编解码开始请 求消息；

虚拟硬件模块根据所述编解码开始请求消息向资源分配器发送物理 硬件资源申请消息；

资源分配器根据所述物理硬件资源申请消息查询专用芯片的使用情 况；

资源分配器在确定出存在空闲的专用芯片时， 向虚拟硬件模块发送申 请成功消息；

虚拟硬件模块根据所述申请成功消息向硬件驱动模块发送硬件准备 就绪消息；

硬件驱动模块根据所述硬件准备就绪消息向编解码组件发送表明硬 件准备就绪的初始化结果消息。

6、 根据权利要求 1 所述的方法， 其特征在于， 所述接收到编解码调 用消息后， 查询系统资源的使用情况， 包括：

编解码组件接收音频模块发送的编解码调用消息， 并从所述编解码调 用消息中获取要处理的音频数据；

编解码组件向硬件驱动模块发送用于查询专用芯片的使用情况的请 求消息；

硬件驱动模块根据所述请求消息向虚拟硬件模块发送编解码开始请 求消息；

虚拟硬件模块根据所述编解码开始请求消息向资源分配器发送物理 硬件资源申请消息；

资源分配器根据所述物理硬件资源申请消息查询专用芯片的使用情 况；

资源分配器在确定出不存在空闲的专用芯片后， 进一步查询 VM 和 VMM的使用情况， 并根据 VM和 VMM的使用情况确定出使用 VM自身 进行编解码处理时， 向虚拟硬件模块发送携带硬件不可得信息的申请失败 消息；

虚拟硬件模块根据所述申请失败消息， 向硬件驱动模块发送携带硬件 不可得信息的硬件准备结果；

硬件驱动模块向编解码组件发送携带硬件不可得信息的请求结果。

7、 根据权利要求 1 所述的方法， 其特征在于， 所述接收到编解码调 用消息后， 查询系统资源的使用情况， 包括：

编解码组件接收音频模块发送的编解码调用消息， 并从所述编解码调 用消息中获取要处理的音频数据；

编解码组件向硬件驱动模块发送用于查询专用芯片的使用情况的请 求消息；

硬件驱动模块根据所述请求消息向虚拟硬件模块发送编解码开始请 求消息；

虚拟硬件模块根据所述编解码开始请求消息向资源分配器发送物理 硬件资源申请消息；

资源分配器根据所述物理硬件资源申请消息查询专用芯片的使用情 况；

资源分配器在确定出不存在空闲的专用芯片后， 进一步查询 VM 和

VMM的使用情况 , 并根据 VM和 VMM的使用情况确定出使用 VMM进 行编解码处理时， 向虚拟硬件模块发送携带使用硬件模拟方式的信息的申 请失败消息；

虚拟硬件模块根据所述申请失败消息， 向硬件驱动模块发送携带使用 硬件模拟方式的信息的硬件准备结果；

硬件驱动模块向编解码组件发送携带使用硬件模拟方式的信息的请 求结果。

8、 根据权利要求 5 所述的方法， 其特征在于， 所述对所述要处理的 音频数据进行处理包括： 使用所述空闲的专用芯片对所述要处理的音频数 据进行处理， 所述使用所述空闲的专用芯片对所述要处理的音频数据进行 处理， 包括：

编解码组件接收到所述表明硬件准备就绪的初始化结果消息后， 向硬 件驱动模块发送编解码开始消息；

硬件驱动模块根据所述编解码开始消息将所述要处理的音频数据拷 贝到 VM的内核态， 并向虚拟硬件模块发送 DMA指令； 虚拟硬件模块根据所述 DMA指令从 VM的内核态获取所述要处理的 音频数据， 并将所述要处理的音频数据传输给专用芯片；

专用芯片对所述要处理的音频数据进行编解码处理；

专用芯片将处理后的音频数据传输给虚拟硬件模块；

虚拟硬件模块获取处理后的音频数据后， 向硬件驱动模块发送 DMA 中断指令；

硬件驱动模块根据所述 DMA中断指令， 从虚拟硬件模块获取所述处 理后的音频数据， 并发送给编解码组件；

编解码组件将所述处理后的音频数据发送给音频模块。

9、 根据权利要求 6所述的方法， 其特征在于， 所述对所述要处理的 音频数据进行处理包括： 使用 VM对所述要处理的音频数据进行处理， 所 述使用 VM对所述要处理的音频数据进行处理， 包括：

编解码组件接收到所述携带硬件不可得信息的请求结果后， 使用自身 的编解码算法对所述要处理的音频数据进行编解码处理；

编解码组件将处理后的音频数据发送给音频模块。

10、 根据权利要求 7所述的方法， 其特征在于， 所述对所述要处理的 音频数据进行处理包括： 使用 VMM对所述要处理的音频数据进行处理， 所述使用 VMM对所述要处理的音频数据进行处理， 包括：

编解码组件接收到所述携带使用硬件模拟方式的信息的请求结果后， 向硬件驱动模块发送编解码开始消息；

硬件驱动模块根据所述编解码开始消息， 将所述要处理的音频数据拷 贝到 VM的内核态， 并向虚拟硬件模块发送直接内存存取 DMA指令； 虚拟硬件模块根据所述 DMA指令从 VM的内核态获取所述要处理的 音频数据， 并采用虚拟硬件模块自身的编解码算法对所述要处理的音频数 据进行处理；

虚拟硬件模块在对音频数据进行处理后， 向硬件驱动模块发送 DMA 中断指令；

硬件驱动模块根据所述 DMA中断指令， 从虚拟硬件模块获取所述处 理后的音频数据， 并发送给编解码组件；

编解码组件将所述处理后的音频数据发送给音频模块。

11、 一种虚拟机环境下音频处理设备， 其特征在于， 包括： 查询模块，用于接收到编解码调用消息后，查询系统资源的使用情况， 所述编解码调用消息中携带要处理的音频数据， 所述系统资源包括： 专用 芯片、 虚拟机 VM和虚拟机监控器 VMM;

处理模块， 用于根据所述系统资源的使用情况， 采用空闲的系统资源 对所述要处理的音频数据进行处理。

12、 根据权利要求 11 所述的设备， 其特征在于， 所述处理模块具体 用于：

如果根据所述系统资源的使用情况确定出存在空闲的专用芯片， 则使 用所述空闲的专用芯片对所述要处理的音频数据进行处理； 或者，

如果根据所述系统资源的使用情况确定出不存在空闲的专用芯片， 则 根据 VM的使用情况和 VMM的使用情况，确定由 VM或者 VMM对所述 要处理的音频数据进行处理。

13、 根据权利要求 11所述的设备， 其特征在于， 所述查询模块包括： 编解码组件， 用于接收音频模块发送的编解码调用消息， 从所述编解 码调用消息中获取要处理的音频数据， 并发送用于查询专用芯片的使用情 况的请求消息；

硬件驱动模块， 用于根据所述编解码组件发送的用于查询专用芯片的 使用情况的请求消息， 发送编解码开始请求消息；

虚拟硬件模块， 用于根据所述硬件驱动模块发送的编解码开始请求消 息， 发送物理硬件资源申请消息；

资源分配器， 用于根据所述虚拟硬件模块发送的物理硬件资源申请消 息， 查询专用芯片的使用情况， 并在确定出存在空闲的专用芯片时， 向虚 拟硬件模块发送申请成功消息；

所述虚拟硬件模块还用于根据所述申请成功消息向硬件驱动模块发 送硬件准备就绪消息；

所述硬件驱动模块还用于根据所述硬件准备就绪消息向编解码组件 发送表明硬件准备就绪的初始化结果消息。

14、 根据权利要求 11所述的设备， 其特征在于， 所述查询模块包括： 编解码组件， 用于接收音频模块发送的编解码调用消息， 从所述编解 码调用消息中获取要处理的音频数据， 并发送用于查询专用芯片的使用情 况的请求消息；

硬件驱动模块， 用于根据所述编解码组件发送的用于查询专用芯片的 使用情况的请求消息， 发送编解码开始请求消息；

虚拟硬件模块， 用于根据所述硬件驱动模块发送的编解码开始请求消 息， 发送物理硬件资源申请消息；

资源分配器， 用于根据所述虚拟硬件模块发送的物理硬件资源申请消 息， 查询专用芯片的使用情况， 并在确定出不存在空闲的专用芯片后， 进 一步查询 VM和 VMM的使用情况， 并根据 VM和 VMM的使用情况确定 出使用 VM自身进行编解码处理时， 向虚拟硬件模块发送携带硬件不可得 信息的申请失败消息；

所述虚拟硬件模块还用于根据所述申请失败消息， 向硬件驱动模块发 送携带硬件不可得信息的硬件准备结果；

所述硬件驱动模块还用于向编解码组件发送携带硬件不可得信息的 请求结果。

15、 根据权利要求 11所述的设备， 其特征在于， 所述查询模块包括： 编解码组件， 用于接收音频模块发送的编解码调用消息， 从所述编解 码调用消息中获取要处理的音频数据， 并发送用于查询专用芯片的使用情 况的请求消息；

硬件驱动模块， 用于根据所述编解码组件发送的用于查询专用芯片的 使用情况的请求消息， 发送编解码开始请求消息；

虚拟硬件模块， 用于根据所述硬件驱动模块发送的编解码开始请求消 息， 发送物理硬件资源申请消息；

资源分配器， 用于根据所述虚拟硬件模块发送的物理硬件资源申请消 息， 查询专用芯片的使用情况， 并在确定出不存在空闲的专用芯片后， 进 一步查询 VM和 VMM的使用情况， 并根据 VM和 VMM的使用情况确定 出使用 VMM进行编解码处理时， 向虚拟硬件模块发送携带使用硬件模拟 方式的信息的申请失败消息；

所述虚拟硬件模块还用于根据所述申请失败消息， 向硬件驱动模块发 送携带使用硬件模拟方式的信息的硬件准备结果； 所述硬件驱动模块还用于向编解码组件发送携带使用硬件模拟方式 的信息的请求结果。

16、 根据权利要求 13所述的设备， 其特征在于， 所述处理模块包括： 编解码组件， 用于接收到所述表明硬件准备就绪的初始化结果消息 后， 向硬件驱动模块发送编解码开始消息；

硬件驱动模块， 用于根据所述编解码开始消息将所述要处理的音频数 据拷贝到 VM的内核态，并向虚拟硬件模块发送直接内存存取 DMA指令； 虚拟硬件模块， 用于根据所述 DMA指令从 VM的内核态获取所述要 处理的音频数据， 并将所述要处理的音频数据传输给专用芯片；

专用芯片， 用于对所述要处理的音频数据进行编解码处理， 并将处理 后的音频数据传输给虚拟硬件模块；

虚拟硬件模块还用于获取处理后的音频数据后， 向硬件驱动模块发送

DMA中断指令；

硬件驱动模块还用于根据所述 DMA中断指令， 从虚拟硬件模块获取 所述处理后的音频数据， 并发送给编解码组件；

编解码组件还用于将所述处理后的音频数据发送给音频模块。

17、 根据权利要求 13所述的设备， 其特征在于， 所述处理模块包括： 编解码组件， 用于接收到所述携带硬件不可得信息的请求结果后， 使 用自身的编解码算法对所述要处理的音频数据进行编解码处理， 并将处理 后的音频数据发送给音频模块。

18、 根据权利要求 13所述的设备， 其特征在于， 所述处理模块包括： 编解码组件， 用于接收到所述携带使用硬件模拟方式的信息的请求结 果后， 向硬件驱动模块发送编解码开始消息；

硬件驱动模块， 用于根据所述编解码开始消息， 将所述要处理的音频 数据拷贝到 VM的内核态， 并向虚拟硬件模块发送 DMA指令；

虚拟硬件模块， 用于根据所述 DMA指令从 VM的内核态获取所述要 处理的音频数据， 并采用虚拟硬件模块自身的编解码算法对所述要处理的 音频数据进行处理， 以及在对音频数据进行处理后， 向硬件驱动模块发送 DMA中断指令；

硬件驱动模块还用于根据所述 DMA中断指令， 从虚拟硬件模块获取 所述处理后的音频数据， 并发送给编解码组件；

编解码组件还用于将所述处理后的音频数据发送给音频模块。