WO2010045869A1

WO2010045869A1 - 一种3d音频信号处理的方法、系统和装置

Info

Publication number: WO2010045869A1
Application number: PCT/CN2009/074528
Authority: WO
Inventors: 詹五洲; 王东琦
Original assignee: 华为终端有限公司
Priority date: 2008-10-20
Filing date: 2009-10-20
Publication date: 2010-04-29
Also published as: US8965015B2; EP2337328A1; US20110194701A1; EP2337328B1; EP2337328A4

Description

一种 3D音频信号处理的方法、系统和装置本申请要求了 2008年 10月 20日提交的，申请号为 200810217091.9，发明名称为"一种 3D音频会议的信号处理方法、设备以及系统" 的中国申请优先权以及 2008年 10月 27日提交的，申请号为 200810171240.2，发明名称为 "三维声音重现的方法、装置及系统" 的中国申请优先权，请全部内容通过引用结合在本申请中。技术领域

本发明涉及音频处理技术领域，尤其涉及一种 3D音频信号处理的方法、系统和装置。

背景技术

目前的音频会议系统通常是单声道或者双声道的，缺乏空间临场感，并且在多点会议时，将各路声音混叠在一起，导致声音的清晰度下降。

现有技术中采用 3D声处理对音频会议中的音频流进行处理，即利用各个音频流分配的声像位置，以及根据各个声像位置音频流的位置关系，调节所述音频流在左右声道的增益的大小，进而营造出一种立体的声响效果。

在如何进行 3D音频会议的组网上，现有技术中的一种解决方案是采用分布式的组网结构，每个终端都需要接收其他终端的会议数据，然后对这些音频数据进行 3D定位处理，以便使用户感知不同的音频流为来自不同的方位。参见图 1，在图 1中，终端 2接收到终端 1以及终端 3的会议数据，终端 2对这些音频数据进行 3D定位处理，确定终端 1以及终端 3的方位。现有技术中另一种解决方案是采用集中式的组网结构，参见图 2，在图 2中的会议系统中，有一个服务器以及多个终端，所有的终端都将自身的音频数据发送给服务器，由服务器根据各个与会终端的情况，对发送到该与会终端的音频流进行 3D定位处理，并将处理后的音频流发送到相应的与会终端。

在完成本发明的过程中，发明人发现现有技术至少存在以下问题：现有技术中分布式 3D音频会议，由于音频数据是通过在各个终端中分布处理的，必然就需要许多条传输通道，因此只能适用于拥有几个会场的小型会议；现有技术中集中式 3D音频会议，由于所有的处理都在服务器上进行，这样需要预先知道各个终端播放设备的配置，且终端也不能对其他终端的声像位置进行自由定位。

发明内容

基于现有技术存在问题，本发明提供了一种 3D音频会议的信号处理方法、服务器、终端及系统，用以解决现有技术中存在的传输通道需求过多，且终端无法对其他终端的声像位置进行自由定位的问题。

本发明实施例提供一种 3D音频会议的信号处理方法，该方法包括：针对一个终端，由服务器获取相对于所述终端的至少 1路音频流；所述服务器给所述获取到的相对于所述终端的至少 1路音频流分配标识；

所述服务器将所述获取到的相对于所述终端的至少 1路音频流以及所述至少 1路音频流对应的所述标识进行组合并发送给目标终端。

本发明实施例还提供一种 3D音频会议的信号处理的服务器，所述服务器包括：

音频流获取单元，用于针对一个终端获取相对于所述终端的音频流; 标识分配单元，用于给所述获取到的相对于所述终端的音频流分配标识；

组合发送单元，用于将所述获取到的相对于所述终端的音频流以及所述音频流对应的所述标识进行组合并发送给目标终端。

本发明实施例还提供一种实现 3D音频会议的信号处理的终端，所述终端包括：获取单元，用于获取携带有标识的至少 1路音频流；

音频处理单元，用于从所述获取单元获取到的至少 1路音频流中提取标识信息，并根据所述的标识信息对音频流进行分流，以及将所述多路音频流分别解码；

声像位置分配单元，用于根据所述音频处理单元提取的标识信息对解码后的所述多路音频流分配声像位置；

3D声处理单元，用于根据所述分配的声像位置对所述解码后的多路音频流进行 3D声处理。

本发明实施例还提供一种 3D音频会议的信号处理方法，所述方法包括：

获取携带有标识的多路音频流，并从获取到的多路音频流中提取标识信息；

根据所述的提取的标识信息对具有同一标识的音频流进行分流；根据所述提取的标识信息为各路分流后的音频流分配声像位置；将所述分流后的音频流进行解码，并根据所述的音频流的声像位置信息，对所述解码后的音频流进行 3D声处理。

本发明实施例还提供一种 3D音频的会议系统，所述系统包括：服务器，用于针对一个终端获取相对于所述终端的至少 1音频流；给所述获取到的相对于所述终端的至少 1音频流分配标识；将所述获取到的相对于所述终端的至少 1音频流以及所述至少 1音频流对应的所述标识进行组合并发送给目标终端；

至少一个目标终端，用于获取所述带有标识的至少 1路音频流，提取所述音频流的标识，并根据所述的标识对所述的具有同一标识的音频流进行分流，根据所述提取的标识信息为各路分流后的音频流分配声像位置；将所述分流后的音频流进行解码，并根据所述的音频流的声像位置信息，对所述分流后的音频流进行 3D声处理。采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位。

附图说明

此处所说明的附图用来提供对本发明的进一歩理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图 1为现有技术采用的分布式 3D音频会议系统的网络示意图；图 2为现有技术采用的集中式 3D音频会议系统的网络示意图；图 3为本发明的方法实施例 1的流程示意图；

图 4为本发明的方法实施例 2的流程示意图；

图 5a为本发明的方法实施例 2—种对应的系统组网结构示意图；图 5b为本发明的方法实施例 2另一种对应的系统组网结构示意图；图 6为本发明的方法实施例 3对应的系统组网结构示意图；

图 7为本发明的方法实施例 3的流程示意图；

图 8为本发明的方法实施例 4对应的系统组网结构示意图；

图 9为本发明的方法实施例 4的流程示意图；

图 10为本发明的方法实施例 5的流程示意图；

图 11为本发明的方法实施例中 3D声处理的结构示意图；

图 12为本发明的方法实施例 6的流程示意图；

图 13为本发明的方法实施例 6中盲源分离方法的基本原理框图；图 14为本发明的方法实施例 6中麦克风阵列捕捉声音信号的示意图；图 15为本发明的系统实施例 1的结构示意图；

图 16为本发明的服务器实施例 1的结构示意图；

图 17为图 16所示的服务器实施例 1中音频流获取单元的结构示意图；图 18为图 16所示的标识分配单元的结构示意图；

图 19为图 16所示的服务器实施例 1中组合发送单元的结构示意图；图 20为本发明的设备实施例 1的结构示意图；

图 21为图 20所示的设备实施例 1中的音频处理单元的结构示意图；图 22为本发明的设备实施例 2的结构示意图；

图 23为本发明的设备实施例 3的结构示意图；

图 24为图 23所示的方位计算单元的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一歩详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

方法实施例

方法实施例 1

本发明的方法实施例 1可以通过附图 3进行说明

301、针对一个终端，由服务器获取相对于所述终端的至少 1路音频流; 在实施 301中，所述针对一个终端，由服务器获取相对于所述终端的音频流具体可以为：服务器获取相对于所述终端的多路音频流的能量；服务器根据所述获取的多路音频流的能量，选择能量最大的至少 1路音频流。

可以理解，针对一个终端获取能量最大的几路音频流只是一种实现的方式，也可以获取所有的音频流，其实现方式即不需要对能量进行计算，直接获取相关的音频流。

302、所述服务器给所述获取到的相对于所述终端的至少 1路音频流分配标识；

在实施 302中，所述服务器分配给相对于所述终端的至少 1路音频流的标识，具体可以采用会场号或终端号作为所述多路音频流的标识，当然，也可以由会议管理员人工的分配，或者由会议管理系统实时的分配。

比如当一个会场只有一个终端时，用会场号来标识歩骤 301从一个终端获取到能量最大的至少一路音频流不会引起混淆。但当一个会场有多个终端时，此时就不能使用会场号来标识音频流。由于每个终端获取到的都是不同音频流，所以为了区分来自同一会场的多路音频流，将同一会场的多路音频流各自分配一个序号，这个序号可以是与音频流对应的终端号。服务器分配给每个与之连接的终端一个序号，当根据歩骤 301获取相对于某个终端的音频流时，本歩骤给所述音频流分配的标识可以是该音频流对应所述终端的终端号。这样就能更有效的区分各个终端获取到的音频流。

倘若歩骤 301获取到终端的音频流还携带有该音频流中音频信号对应声源的方位信息，此时分配给音频流的标识可以是将终端号与方位信息组合的标识。方位信息一般携带在音频流的 RTP (Real-time Transport Protocol, 实时传送协议，通常可用于传输视频、音频等实时性要求比较高的数据）包头中，当根据歩骤 301获取到相对于所述终端的音频流后，服务器通过检测音频流的 RTP包头获取方位信息，比如通过检测包头中字段上的标识来判断包头中是否有方位信息，其中字段中对应方位信息的标识是终端设置的；还可以通过设置 0或 1数值的方式来检测，本领域技术人员完全可根据掌握的普通技术知识实现多种检测方式。然后将该音频流对应终端的终端号与该音频流中的方位信息组合成标识，分配给该音频流。由于每个音频流中的方位信息肯定不同，所以也可以采用会场号与方位信息组合标识的方式给音频流分配标识。

由上述可以理解，本发明的实施例中所述音频流的标识只是对所述音频流分配的一种代号，目的是为了区分出所述的音频流，因此，根据本发明的实施例能够得到其他的标识获取方法，对此，本发明的实施例不做限制。

303、所述服务器将所述获取到的相对于所述终端的至少 1路音频流以及所述至少 1路音频流对应的所述标识进行组合并发送给目标终端。

在实施 303中，对于所述服务器将所述获取到的相对于所述终端的至少

1路音频流以及所述至少 1路音频流对应的所述标识进行组合的方式可以为以下方式：

采用松散组合的方式，即对所述获取的音频码流不做任何更改，在对每帧音频数据进行协议封装时，在协议的包头里加上歩骤 302中给所述所述至少 1路音频流分配的标识；

和 /或

采用紧密组合的方式，即将所述获取的单声道的音频码流进行编解码，将所述编解码后的单声道的音频码流整合成一个多声道的码流，在所述的多声道码流的帧头中增加多个声道对应的歩骤 302中给所述所述至少 1路音频流分配的标识。

需要说明的是，对于所述服务器将所述的相对于所述终端的音频流与所述音频流对应的标识进行组合的方式，可以采用全部是松散组合的方式，也可以是全部是紧密组合的方式，还可以是松散组合与紧密组合相结合的方式。

音频流的标识可以在 IP包的协议包头，也可以在音频帧的帧头。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位，特别是当音频流中包括声源的方位信息时，终端可以根据声源的方位信息更准确的对声像位置进行的定位。方法实施例 2

本发明的方法实施例 2主要针对单个服务器的情况的实施例方式进行说明，其处理过程可以通过附图 4所画的流程图进行说明

401、服务器获取所述的各个终端对应的音频流；

在实施 401中，各个终端一般对应于各个会场，相应的终端获取相应会场的音频流，对应于各个终端的服务器获取到所述各个终端对应的音频流。

402、服务器对所述获取到的音频流计算出其能量，并选择出能量最大的至少 1路音频流；

在实施 402时，服务器将 401中获取到的对应于各个终端的音频流分别进行能量的计算，根据能量计算的结果，选择出能量最大的至少 1路音频流，作为最终被选择的音频流；

其中，在进行音频流能量的计算过程中，可以采用以下的方法：

( 1 ) 计算解码后的音频流在时域中一帧时间内的音频能量，计算多帧音频信号后取平均；或

(2 ) 计算解码后的音频流在频域中相应频域范围内的音频能量，计算多帧音频信号后取平均；或

(3 ) 对音频流的量化因子进行解码，从而估计出所述音频流的能量。上述对音频流能量的计算可以归纳为 2类，一类是基于解码方式的计算方法，主要对应于（1 ) (2 )两种方式，另外一类是基于非解码估计的方式，主要对应于（3 )这种方式，之所以采用这两类方式进行音频流能量的估算，主要是由于针对不同的协议，对于一些音频协议（例如： G.723.1协议、 G.729 协议），只有通过对音频流完全解码的方式才能够计算出所述音频流的能量，对于另外一些音频协议（例如： G.722.1协议、 AAC LD协议），只需要对音频流的某些参数进行解码，就能够估计出音频流的能量。

在估算出音频流的能量之后，根据音频会议的策略，可以选择出其中的能量最大的至少 1路音频流作为被选择的音频流。

可以理解，上面对各路音频流的能量进行计算，从而选择出能量最大的至少 1路音频流，只是选择音频流的一种实现方式，也可以不计算各路音频流的能量，而将所有的与会会场的音频流都作为被选择的音频流。

403、服务器获取被选择的至少 1路音频流对应的标识信息；

在实施 403中，针对上述被选择的至少 1路音频流，获取其对应的标识信息。

其中，所述被选的音频流的标识信息具体可以采用该音频流对应的会场号或终端号作为所述多路音频流的标识，若获取到的音频流中包括该音频流中音频信号对应声源的方位信息，则也可以采用 "终端号与方位信息组合标识"或 "会场号与方位信息组合标识" 的方式作为所述多路音频流的标识；一般在该会场中只有一个终端的情况下采用会场号作为所述多路音频流的标识。

一般在该会场中有一个或多个终端并且音频流中包含音频信号对应声源的方位信息的情况下采用 "终端号与方位信息组合标识"或 "会场号与方位信息组合标识" 作为所述多路音频流的标识。其中各个音频流对应的方位信息可以通过检测音频流的 RTP包头获得。

可以理解，本发明的实施例中所述音频流的标识只是对所述音频流分配的一种代号，目的是为了区分出所述的音频流，比如标识也可以由会议管理员人工的分配，或者由会议管理系统实时的分配。因此，根据本发明的实施例能够得到其他的标识获取方法，对此，本发明的实施例不做限制。

404、服务器将所述被选择的音频流与所述获取到的标识信息相组合；在实施 404中，将所述被选择的至少 1路音频流，与所述获取到的被选择的音频流的标识信息进行组合。

其中，进行组合的方式包括：

采用松散组合的方式，即对所述获取的音频码流不做任何更改，在对每帧音频数据进行协议封装时，在协议的包头里加上歩骤 403获取到的所述至少 1路音频流对应的标识；

和 /或

采用紧密组合的方式，即将所述获取的单声道的音频码流进行编解码，将所述编解码后的单声道的音频码流整合成一个多声道的码流，在所述的多声道码流的帧头中增加多个声道对应的音频流标识，该标识及歩骤 403获取到的标识。

需要说明的是，对于将所述的相对于所述终端的音频流与所述音频流对应的标识进行组合的方式，可以采用全部是松散组合的方式，也可以是全部是紧密组合的方式，还可以是松散组合与紧密组合相结合的方式。

405、服务器将所述与标识信息组合后的音频流根据相应的发送策略发送给对应的各个目标终端。

在实施 405中，将所述与标识信息组合后的音频流发送给对应的各个目标终端，具体可以采用如下的策略：

即：如果被选择出的音频流中包括某一个终端所获取的音频流，则发送给目标终端的音频流则是去除所述终端获取音频流的之后的其他被选择出的音频流；如果被选择的音频流不包括某一个终端所获取的音频流时，则发送给所述终端的是所有被选择的音频流。

为了更加清晰的说明这种音频流的发送策略，参考图 5a，对上述策略进行说明，图 5a中共包含 4个终端以及一个服务器，各个终端对应于各个会场，所以此处的终端号也即会场号。其中，各个终端到服务器的虚线含义为：各个终端将自身采集到的音频流上传给服务器，服务器到各个终端的实线含义为：服务器将选择出的音频流下发给各个终端。假设经过服务器的计算，终端 2、 3是能量最大音频流对应的终端，因此，服务器就将音频流 2、 3分别下发给终端 1和终端 4，服务器将音频流 3下发给终端 2，将音频流 2下发给终端 3。

如图 5b所示，图 5b中仍共包含 4个终端以及一个服务器，但终端 1、 2、 3属于一个会场（如图中虚线所示），终端 4为另一个会场。其中虚实线的含义与图 5a相同。假设经过服务器的计算，终端 2是其所在会场中能量最大音频流对应的终端，因此，服务器就将音频流 4分别下发给终端 1、终端 2 和终端 3，服务器将音频流 2下发给终端 4。本示例中各个终端不对应于各个会场，所以此处的终端号不是会场号。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位，特别是当音频流中包括声源的方位信息时，终端可以根据声源的方位信息更准确的对声像位置进行的定位。方法实施例 3

本发明的方法实施例 3主要针对多个服务器相级联的情况的实施例方式进行说明，其结构可以通过图 6来说明

在图 6中，我们可以看出共有三个服务器，以及四个终端，其中终端 1 与终端 2属于服务器 2，终端 3和终端 4属于服务器 3，服务器 2与服务器 3 通过服务器 1级联在一起，其中，可以将服务器 1看成是主服务器，而服务器 2与服务器 3看成是服务器 1的从服务器。

对于多服务器相级联的情况，其处理过程为，参考图 7的流程图：

701、主服务器获取从服务器上传的音频流；

702、所述主服务器对从所述从服务器获取到的音频流分解成多路音频流，所分解出的音频流的路数为所述从服务器下的终端的个数；

在实施 702中，由于所述从服务器获取到的音频流为所述从服务器的各个终端上传的，因此，所述从服务器可以根据具体的终端分解出不同的音频流。

703、所述主服务器对所述分解出的音频流计算出其能量，并选择出能量最大的至少 1路音频流；

在实施 703中，对所述分解出的音频流计算出能量，并选择出能量最大的至少 1路音频流的实现过程类似于本发明的方法实施例 2中的 402，在此不再赘述。

704、所述主服务器获取被选择的至少 1路音频流对应的标识信息；在实施 704中，主服务器通过从服务器获取被选择的至少 1路音频流对应的标识信息。其获取方式类似于本发明的方法实施例 2中的 403，在此不再赘述。 705、所述主服务器将所述被选择的音频流与所述获取到的标识信息相组合；

在实施 705中，由于本歩骤的实现过程类似于本发明的方法实施例 2中的 404，在此不再赘述。

706、所述主服务器将所述与标识信息组合后的音频流根据相应的发送策略发送给对应的各个终端。

由于本歩骤的实现过程类似于本发明的方法实施例 2中的 405，在此不再赘述。

可以理解，本发明的方法实施例 3只给出三个服务器构成的服务器级联的形式，对于更多服务器的级联，其实现的方式同样可以根据本实施例的过程来完成。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及给音频流所分配的标识，对其他终端的声像位置进行自由的定位，特别是当音频流中包括声源的方位信息时，终端可以根据声源的方位信息更准确的对声像位置进行的定位。方法实施例 4

本发明的方法实施例 4主要针对至少 1个终端与多个服务器级联相结合的情况的实施例方式进行说明，其结构可以通过图 8来说明

由图 8可以看出，包含三个服务器，其中，服务器 1为主服务器，服务器 2与服务器 3为从服务器，这三个服务器构成服务器级联的形式，另外，图 8共包括 6个终端，其中，终端 1、 2处于从服务器 2的管辖之下，终端 3、 4为从服务器 3的管辖之下，终端 5、 6为直接与主服务器 1相连的终端。

其实现过程为，参考图 9:

901、主服务器获取从服务器上传的音频流以及所述主服务器所直接管辖的终端的音频流； 902、所述主服务器对从所述从服务器获取到的音频流分解成多路音频流，所分解出的音频流的路数不大于所述从服务器下的终端的个数；

在实施 902中，由于所述从服务器获取到的音频流为所述从服务器的各个终端上传的，因此，所述从服务器可以根据具体的终端分解出不同的音频流。其中，所分解出的音频流的路数可以小于所述从服务器下的终端的个数，根据不同的终端是否发出声音来确定所分解出的音频流的路数，当一些终端无会场声音时，则所分解出的音频流的路数小于所述从服务器下的终端的个数。

903、所述主服务器对从所述从服务器获取到的音频流分解出的音频流以及从直接所管辖的终端获取的音频流分别计算能量，并选择出能量最大的至少 1路音频流；

在实施 903中，所述主服务器对从所述从服务器获取到的音频流分解出的音频流以及从直接所管辖的终端获取的音频流分别计算能量，并选择出能量最大的至少 1路音频流的实现过程类似于本发明的方法实施例 2中的 402，在此不再赘述。

904、所述主服务器获取被选择的至少 1路音频流对应的标识信息；在实施 904中，由于本歩骤的实现过程类似于本发明的方法实施例 2中的 403，在此不再赘述。

905、所述主服务器将所述被选择的音频流与所述获取到的标识信息相组合；

在实施 905中，由于本歩骤的实现过程类似于本发明的方法实施例 2中的 404，在此不再赘述。

906、所述主服务器将所述与标识信息组合后的音频流根据相应的发送策略发送给对应的各个终端或从服务器。

由于本歩骤的实现过程类似于本发明的方法实施例 2中的 405，在此不再赘述。可以理解，本发明的方法实施例 4只给出三个服务器构成的服务器级联以及主服务器管辖的两个终端的形式，对于更多服务器的级联，以及主服务器管辖更多的终端的实现的方式，同样可以根据本实施例的过程来完成。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位，特别是当音频流中包括声源的方位信息时，终端可以根据声源的方位信息更准确的对声像位置进行的定位。

方法实施例 5

本方法实施例针对终端对接收到的音频流进行的处理，参看图 10，其实现过程具体为：

1001、获取携带有标识的至少 1路音频流，并从获取到的至少 1路音频流中提取标识信息；

在实现 1001中，先获取携带有标识的至少 1路音频流，比如接收服务器发送的携带有标识的至少 1路音频流。再从获取到的音频流的 IP包的协议包头，或者从音频帧的帧头提取所述的标识信息。

1002、根据所述的提取的标识信息对具有同一标识的音频流进行分流；在实现 1002中，由于不同的音频流，其标识信息不相同，对于同一标识的音频流进行分流，相同标识的音频流分配给同一个解码模块。

1003、根据所述提取的标识信息为各路分流后的音频流分配声像位置；在实现 1003中，利用歩骤 1001提取出来的音频流的标识信息可以进行声像位置的分配。

声像位置的分配可以通过用户预先指定，即某个声像位置固定分配给某一个终端，也可以自动分配，自动分配可以根据以下原则进行：

当所述标识只包括会场号时：（1 ) 如果音频流对应的标识和正在观看的终端一致，则分配中间的声像位置，在图 11 中该位置即为电视机前的虚拟声像位置。采用这种方法分配的好处是，声像位置和正在观看的图像相匹配。

(2 ) 如果某终端的音频信号能量较大，则分配前面的声像位置，这样可以保证远端说话人的声音来自前面。

(3 ) 如果某终端的音频信号能量较小，则分配两侧的声像位置，这样的终端可能只是噪声，分配在两侧可以让噪声和远端说话人的声音分离的较开，从而保证说话人声音的清晰度。

当所述标识只包括终端号时：如果音频流中的终端号和正在观看的终端一致，则分配和图像相匹配声像位置，对应于图 11，即分配前面两个扬声器 (P2和 P3 ) 之间的声像位置；如果不一致，则分配两侧的声像位置，对应于图 11，可以分配 P1和 P2两个扬声器之间的声像位置。

当所述标识包括终端号和方位信息时：首先根据终端号进行分配，如果音频流中的终端号和正在观看的终端一致，则分配和图像相匹配声像位置，对应于图 11，即分配前面两个扬声器（P2和 P3 ) 之间的声像位置；如果不一致，则分配两侧的声像位置，对应于图 11，可以分配 P1和 P2两个扬声器之间的声像位置。由于音频流标识中还包括该音频流的方位信息，此时利用终端号和方位信息可以进行更准确的声像分配。例如在上述终端号分配完毕后，如果某音频流的终端号和正在观看的终端一致，其水平方位是左中的位置，这说明图像中的说话人应该也在左中的位置，此时可将该音频流的声像分配在相对于图像的左中位置，对应于图 11，即分配前面两个扬声器（P2 和 P3 ) 之间的左中位置。

1004、将所述分流后的音频流进行解码，并根据所述的音频流的声像位置信息，对所述解码后的音频流进行 3D声处理。

在实现 1004中，对于歩骤 1002中根据相同的标识信息分配在同一音频流的音频流进行解码，利用 1003分配的声像位置信息，对所述的解码后的音频流进行 3D声处理。本发明的方法实施例都用到了 3D声处理，其他地方不再赘述。 3D声处理的目的是通过利用左右两个音箱来营造出一个立体声场， 3D 声处理的具体过程可以通过如下的例子进行说明，参见图 11 :

在图 11 中，扬声器 pl、 p2之间的距离为 d，虚拟声像 vl距离扬声器 pi之间的距离为 w，假设某个音频流 si分配的声像位置为 vl,则可将 si乘上增益 gl输送到 pl， si乘上增益 g2输送到 p2， gl、 g2可按下式计算： w/d = (_gl - _g2)/(_gl + _g2) (1)

c=gl x gl+g2 x g2 (2)

公式（1 )、（2) 中 gl是左声道幅度增益， g2是右声道幅度增益， c 是一个固定值，例如可以等于 1。

当计算出左右声道的增益信息时，就能够模拟出立体的声场。

本实施例不仅能够使得终端根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位，将混杂在一起的不同声源所对应的音频信号分离出来，并计算出不同声源所对应的音频信号的位置信息，使得声音输出后接收侧终端可以很好地模拟再现原始真实声场。方法实施例 6

本发明实施例提供一种获取所述音频流中音频信号对应声源的方位信息的方法，如图 12所示，图 12是根据本发明实施例提供的获取所述音频流中音频信号对应声源的方位信息的方法的流程图。该流程图包括下列歩骤：

1201、获取来自本地各个声源的多路音频信号；

在实施歩骤 1201过程中，所述获取来自本地各个声源的多路音频信号是采用多个麦克风组成的麦克风阵列采集本地同时说话的多个人（即多个声源）的语音信号，从而捕获多路声音信号，将其转换为多路音频信号。其中本地可以指麦克风阵列所在本方会场。 1202、将获取的多路音频信号进行声源分离，得到与所述各个声源对应的音频信号；

在实施歩骤 1202中，所述将获取的多路音频信号进行声源分离采用盲源分离方法。

下面详细说明盲源分离方法：

图 13是图 12中所示的盲源分离方法的基本原理框图。所谓盲源分离，是指在不知道源信号和传输信道的先验信息的情况下，根据输入信号的统计特征，仅由观测到的混合信号来回复或分离出源信号。也就是说，源信号是不能被观测到的，得到的是混合后的信号；另外，各个不同的源信号是如何混合的也是未知的。典型的被观测信号是一系列传感器的输出，而每一个传感器收到的是源信号的不同组合。盲源分离的主要任务就是从观测数据中恢复出源信号。对应于本发明的实施例中，麦克风阵列采集同时说话的多个人的语音信号，从而获得多路语音，利用盲源分离技术从这多路语音中恢复出每个人对应的语音信号，也就是从多路语音中分离出与多个声源对应的音频信号。盲源分离方法的基本原理就是使观测信号经过一个分离系统后能恢复或分离出源信号。如图 13所示， N个相互统计独立的未知源信号8 =[₈1 ：)， s2(t), …， sN(t)]T经未知混合系统 H的传输后，由 M个传感器检测获得 M 个观测信号 X =[xl(t), x2(t), ...， xM(t)]T 。盲源分离的任务是将观测信号通过信号分离器（即，通过分离算法）后使得输出 y =[yl(t), y2(t),..., yN(t)]T 是源信号的一个拷贝或估计。

目前解决盲源分离最主要的方法有如下三种：独立分量分析方法、熵最大化方法以及非线性主分量分析方法。

1203、根据所述获取的多路音频信号及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息；

在实施歩骤 1203 的过程中，所述根据所述获取的多路音频信号及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息具体包括：估算所述多路音频信号传播到所述用来获取来自各个声源的多路音频信号的各个装置之间的相对时延；根据估算出的所述相对时延及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息。

下面详细说明基于时延估算的声源定位算法：

图 14是图 12中所示的麦克风阵列捕捉声音信号的示意图。如图 14所示，由于声源与各个麦克风之间的距离不同，所以声源发出的声音信号传播到麦克风阵列中的不同麦克风的时间不同。例如存在两个声源，声源 1发出的声音信号传播到麦克风阵列中的各个麦克风的时间是不同的，声源 2发出的声音信号传播到麦克风阵列中的各个麦克风的时间也是不同的，这样从不同的麦克风输出的对应同一声源的音频信号的时间也不相同。因此首先估算与各个声源对应的音频信号之间的相对时延，然后利用估算出来的相对时延结合已知的麦克风之间的位置关系确定各个声源的方位。时延估算算法中应用最为广泛的是广义互相关函数法 (GCC, Generalized Cross Correlation：)。广义互相关函数法通过求两音频信号之间的互功率谱，并在频域内进行加权，对噪声和反射声进行抑制，再反变换到时域，得到两音频信号间的互相关函数。互相关函数的峰值位置即为两音频信号之间的相对时延。得到音频信号之间的时延后，结合已知的麦克风之间的位置关系，即可得到与声源对应的方位信息。

1204、发送包括所述本地各个声源对应的音频信号和方位信息的音频流。

此处，方位信息可以设置在音频流的 RTP包头中，从而将携带方位信息的音频流进行发送，其中在将方位设置于信息包头中时可在相应的包头的字段中设置标识以便服务器在接收到音频流时根据标识检测出包头中的方位信息。或根据设置 0或 1数值的方式标记包头中是否有方位信息，总之本领域技术人员可根据普通的技术知识进行设置，以使服务器在接收到音频流后检测出包头中的方位信息。

需要说明的是，本实施例所述的方法是获取声源的方位信息，所以与上述实施例中的对 3D声处理的方法并不冲突，本实施例所述的方法可以在对 3D声进行处理之前实现，比如在实施例 5的歩骤 1001之前获取麦克风阵列所在场景中的声源的方位信息，说明此时对端在收听本端的声音。当然也可以是在实施例 5对 3D声进行处理之后完成，说明此时本端在根据对端的说话内容进行回答，其主要是基于麦克风阵列所在场景中的声源的状况来实现，由此可以推断，本实施例所述的方法完全可以与实施例五所述的方法并存，比如设计在同一个终端中，这样不仅可以实现实施例五所述的方法也可以实现本实施例所述的方法。

本实施例的终端可以获取声源的方位信息，并将获取到的方位信息设置于音频流的包头中发送，以使服务器可以根据音频流中的方位信息分配给音频流作为标识。系统实施例

系统实施例 1

本发明的系统实施例可以通过附图 15进行说明。

服务器 1200，用于针对一个终端获取相对于所述终端的至少 1 路音频流；给所述获取到的相对于所述终端的至少 1路音频流分配标识；将所述获取到的相对于所述终端的至少 1路音频流以及所述至少 1路音频流对应的所述标识进行组合并发送给目标终端；

至少一个目标终端 1300，用于获取所述带有标识的至少 1路音频流，提取所述音频流的标识，并根据所述的标识对所述的具有同一标识的音频流进行分流，根据所述提取的标识信息为各路分流后的音频流分配声像位置；将所述分流后的音频流进行解码，并根据所述的音频流的声像位置信息，对所述分流后的音频流进行 3D声处理。所述目标终端 1300还用于获取来自所述终端所在会场内的各个声源的多路音频信号，将获取的多路音频信号进行声源分离，得到与所述各个声源对应的音频信号，根据所述获取的多路音频信号及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息，向所述服务器发送包括所述各个声源对应的音频信号和方位信息的音频流。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位。系统实施例 2

参考图 6结构图，在系统实施例 1的基础上，本系统实施例包括一个主服务器，即图 6中的服务器 1，用于针对一个终端获取相对于所述终端的至少 1路音频流;给所述获取到的相对于所述终端的至少 1路音频流分配标识; 将所述获取到的相对于所述终端的至少 1路音频流以及所述至少 1路音频流对应的所述标识进行组合并发送给所述终端，还用于将所述至少一个从服务器的经过组合后的带标识的所述音频流分解为多路音频流；至少一个从服务器，即图 6中的服务器 2与服务器 3，用于获取其自身管辖的终端或其他服务器的音频流，并将所述获取到的音频流与所述音频流的标识进行组合。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位。装置实施例

服务器实施例

本实施例主要提供一种实现 3D音频会议的信号处理的服务器，所属服务器包括，参考图 16:

音频流获取单元 161，用于针对一个终端获取相对于所述终端的至少 1 路音频流；

标识分配单元 162，用于给所述获取到的相对于所述终端的至少 1路音频流分配标识；

组合发送单元 163，用于将所述获取到的相对于所述终端的至少 1路音频流以及所述至少 1路音频流对应的所述标识进行组合并发送给所述终端。

如参考图 17所示，本实施例所述的音频流获取单元 161可以包括：音频流能量获取模块 1611，用于获取相对于所述终端的多路音频流的能音频流选择模块 1612，用于根据所述获取的多路音频流的能量，选择能量最大的至少 1路音频流。

本实施例所述的音频流获取单元 161还可以包括：

检测模块 1613，用于检测获取到的音频流包头中音频信号对应声源的方位信息。

如图 18所示，本实施例所述的标识分配单元 162可以包括：

会场终端号获取模块 1621，用于获取所述的能量最大的至少 1路音频流各自所在会场的会场号和 /或者各自所在会场终端的终端号；

标识组合模块 1622，用于将所述检测模块 1613检测到的方位信息与所述会场终端号获取模块 1621获取到的会场号或终端号组合成的第二标识；标识分配模块 1623，用于将所述会场终端号获取模块 1621获取到的会场号或终端号作为第一标识分配给所述音频流；还用于将所述标识组合模块 1622组合成的第二标识分配给所述音频流。

所述组合发送单元 163具体包括以下模块，参考图 19: 第一组合模块 1631，用于对所述被选的音频码流不做任何更改，在对每帧音频数据进行协议封装时，在协议的包头里加上给所述至少 1路音频流分配的标识；和 /或第二组合模块 1632，用于将所述被选的单声道的音频码流进行编解码，将所述编解码后的单声道的音频码流整合成一个多声道的码流，在所述的多声道码流的帧头中增加多个声道对应的给所述至少 1路音频流分配标识。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位，特别是当音频流中包括声源的方位信息时，终端可以根据声源的方位信息更准确的对声像位置进行的定位。设备实施例

设备实施例 1

本发明实施例还提供一种实现 3D音频会议的信号处理的终端，参考图 20，包括：

获取单元 171，用于获取携带有标识的至少 1路音频流；

音频处理单元 172，用于从所述获取单元 171获取到的至少 1路音频流中提取标识信息，并根据所述的标识信息对音频流进行分流，以及将所述多路音频流分别解码；

声像位置分配单元 173，用于根据所述音频处理单元提取的标识信息对解码后的所述多路音频流分配声像位置；当所述标识中包括对应声源的方位信息时，声像位置分配单元根据方位信息准确分配声像位置。

3D声处理单元 174，用于根据所述分配的声像位置对所述解码后的多路音频流进行 3D声处理。

在实现本发明实施例的过程中，所述音频处理单元 172具体包括参考图 21：标识提取模块 1721，用于从获取到的分配标识的多路音频流提取标识信息；分配模块 1722，用于根据所述的提取出的标识信息分配音频流；解码模块 1723，用于将所述多路音频流分别解码。

采用本发明实施例的技术方案，使得终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位，特别当音频流中包括对应声源的方位信息时，可以通过该方位信息对声像进行更准确的分配从而根据所述分配的声像位置对所述解码后的多路音频流进行 3D声处理。设备实施例 2

在上述设备实施例 1的基础上，所述终端还可以包括，参考图 22: 音频编码单元 175，用于对获取到的音频信号进行编码。设备实施例 3

在上述设备实施例 1、 2的基础上，所述终端还可以包括，参考图 23，多路音频信号获取单元 176，用于在所述终端接收到服务器发送的所述多路音频流之前或在所述终端对接收到的多路音频流进行 3D声处理后，获取来自本地各个声源的多路音频信号；声源分离单元 177，用于将所述获取的多路音频信号进行声源分离，得到与所述各个声源对应的音频信号；方位计算单元 178，用于根据所述获取的多路音频信号及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息；发送单元 179，用于发送包括所述各个声源对应的音频信号和方位信息的音如参考图 24所示，本实施例所述方位计算单元 178可以包括时延估算模块 1781，用于估算所述多路音频信号传播到所述用来获取来自各个声源的多路音频信号的各个装置之间的相对时延；声源定位模块 1782，用于根据时延估算模块 1781估算出的所述相对时延及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息。

采用本发明实施例的技术方案，使得不仅终端能够根据接收到的其他终端的音频流以及音频流所分配的标识，对其他终端的声像位置进行自由的定位，而且可以将混杂在一起的不同声源所对应的音频信号分离出来，并计算出不同声源所对应的音频信号的位置信息，使得声音输出后接收侧终端可以很好地模拟再现原始真实声场。

结合本文中所公开的实施例描述的方法或算法的歩骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM)、内存、只读存储器（ROM)、电可编程 ROM、电可擦除可编程 ROM、寄存器、硬盘、可移动磁盘、 CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一歩详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种 3D音频会议的信号处理方法，其特征在于，所述方法包括：针对一个终端，由服务器获取相对于所述终端的至少 1路音频流；所述服务器给所述获取到的相对于所述终端的至少 1 路音频流分配标识；

2、根据权利要求 1所述的信号处理方法，其特征在于，所述音频流携带音频信号对应声源的方位信息。

3、根据权利要求 2所述的信号处理方法，其特征在于，所述服务器给所述获取到的相对于所述终端的至少 1路音频流分配标识包括：

所述服务器将所述方位信息与终端号组合成第一标识分配给获取到所述音频流中的能量最大的至少 1路音频流；或者

所述服务器将所述方位信息与会场号组合成第二标识分配给获取到所述音频流中的能量最大的至少 1路音频流；或者

所述服务器将终端号或会场号作为第三标识分配给获取到所述音频流中的能量最大的至少 1路音频流。

4、根据权利要求 2所述的信号处理方法，其特征在于，所述服务器将所述获取到的相对于所述终端的至少 1路音频流以及与所述至少 1路音频流对应的所述标识进行组合具体包括以下方式：

采用松散组合的方式，即对所述获取的音频码流不做任何更改，在对每帧音频数据进行协议封装时，在音频数据帧的包头里加上给所述至少 1路音频流分配的标识；

和 /或

采用紧密组合的方式，即将所述获取的单声道的音频码流进行编解码，将所述编解码后的单声道的音频码流整合成一个多声道的码流，在所述的多声道码流的帧头中增加多个声道对应的给所述至少 1路音频流分配的标识。

5、根据权利要求 2所述的信号处理方法，其特征在于，所述针对一个终端，由服务器获取相对于所述终端的至少 1路音频流具体包括以下几种方式中的一种：

在单个服务器的情况下，所述单个服务器获取多个终端的分别发送的音频流中能量最大的至少 1路音频流；或

在多个服务器级联的情况下，所述多个服务器中的主服务器获取对应所述主服务器的多个从服务器获取到的多路音频流中能量最大的至少 1路音频流，每个从服务器获取到的多路音频流为对应所述从服务器的多个终端分别发送的音频流；

在至少一个终端以及多个服务器级联并存的情况下，所述多个服务器中的主服务器获取所述至少一个终端发送的音频流，以及所述多个服务器中的主服务器获取对应所述主服务器的多个从服务器获取到的多路音频流，每个从服务器获取到的多路音频流为对应所述从服务器的多个终端的分别发送的音频流，所述主服务器从获取到的所述至少一个终端发送的音频流以及获取到的多个从服务器获取到的多路音频流中获取能量最大的至少 1 路音频流。

6、一种实现 3D音频会议的信号处理的服务器，其特征在于，所述服务器包括：

音频流获取单元，用于针对一个终端获取相对于所述终端的至少 1路音标识分配单元，用于给所述获取到的相对于所述终端的至少 1路音频流分配标识；

组合发送单元，用于将所述获取到的相对于所述终端的至少 1路音频流以及所述至少 1路音频流对应的所述标识进行组合并发送给目标终端。

7、根据权利要求 6所述的服务器，其特征在于，所述音频流获取单元还包括：

检测模块，用于检测获取到的所述至少 1路音频流包头中音频信号对应声源的方位信息。

8、根据权利要求 Ί所述的服务器，其特征在于，所述标识分配单元包括：

会场终端号获取模块，用于获取所述的能量最大的至少 1路音频流各自所在会场的会场号和 /或各自所在会场终端的终端号；

标识分配模块，用于将所述会场终端号获取模块获取到的会场号或终端号作为第一标识分配给所述音频流。

9、根据权利要求 8所述的服务器，其特征在于，所述标识分配单元还包括：

标识组合模块，用于将所述检测模块检测到的方位信息与所述会场终端号获取模块获取到的会场号或终端号组合成的第二标识；

所述标识分配模块，还用于将所述标识组合模块组合成的第二标识分配给所述音频流。

10、根据权利要求 8或 9所述的服务器，其特征在于，所述组合发送单元具体包括以下模块：

第一组合模块，用于对所述被选的音频码流不做任何更改，在对每帧音频数据进行协议封装时，在协议的包头里加上给所述至少 1路音频流分配的标识；

和 /或

第二组合模块，用于将所述被选的单声道的音频码流进行编解码，将所述编解码后的单声道的音频码流整合成一个多声道的码流，在所述的多声道码流的帧头中增加多个声道对应的给所述至少 1路音频流分配标识。

11、一种 3D音频会议的信号处理方法，其特征在于，所述方法包括：获取携带有标识的至少 1路音频流，并从获取到的至少 1路音频流中提取标识信息；

12、根据权利要求 11 所述的信号处理方法，其特征在于，所述根据所述的提取的标识信息对具有同一标识信息的音频流进行分流具体为：

读取音频流中的标识信息；

根据读取到的所述标识信息的音频流分配到具有相同标识信息的音频流通道中。

13、根据权利要求 11 所述的信号处理方法，其特征在于，在获取到所述多路音频流前或在进行 3D声处理后，所述方法还包括：

获取来自本地各个声源的多路音频信号；

将获取的多路音频信号进行声源分离，得到与所述各个声源对应的音频信号；

根据所述获取的多路音频信号及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息；

发送包括所述本地各个声源对应的音频信号和方位信息的音频流。

14、根据权利要求 13所述的信号处理方法，其特征在于，所述根据所述获取的多路音频信号及用来获取来自本地各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息具体包括：

估算所述多路音频信号传播到所述用来获取来自各个声源的多路音频信号的各个装置之间的相对时延；

根据估算出的所述相对时延及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息。

15、一种实现 3D音频会议的信号处理的终端，其特征在于，所述终端包括：

获取单元，用于获取携带有标识的至少 1路音频流；

3D 声处理单元，用于根据所述分配的声像位置对所述解码后的多路音频流进行 3D声处理。

16、根据权利要求 15所述的终端，其特征在于，所述音频处理单元具体包括：

标识提取模块，用于从所述获取单元获取到的多路音频流中提取标识信息；

分配模块，用于根据所述的提取出的标识信息分配音频流；

解码模块，用于将所述多路音频流分别解码。

17、根据权利要求 16所述的终端，其特征在于，所述终端还包括：音频编码单元，用于对获取到的音频信号进行编码。

18、根据权利要求 17所述的终端，其特征在于，所述终端还包括：多路音频信号获取单元，用于在所述终端获取到服务器发送的所述多路音频流之前或在所述终端对获取到的多路音频流进行 3D声处理后，获取来自本地各个声源的多路音频信号；

声源分离单元，用于将所述获取的多路音频信号进行声源分离，得到与所述各个声源对应的音频信号；

方位计算单元，用于根据所述获取的多路音频信号及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息；发送单元，用于发送包括所述本地各个声源对应的音频信号和方位信息的音频流。

19、根据权利要求 18所述的终端，其特征在于，所述方位计算单元包括：

时延估算模块，用于估算所述多路音频信号传播到所述用来获取来自各个声源的多路音频信号的各个装置之间的相对时延；

声源定位模块，用于根据估算出的所述相对时延及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息。

20、一种 3D音频的会议系统，其特征在于，所述系统包括：服务器，用于针对一个终端获取相对于所述终端的至少 1路音频流；给所述获取到的相对于所述终端的至少 1路音频流分配标识；将所述获取到的相对于所述终端的至少 1路音频流以及所述至少 1路音频流对应的所述标识进行组合并发送给目标终端；

至少一个目标终端，用于获取所述带有标识的至少 1路音频流，提取所述音频流的标识，并根据所述的标识对所述的具有同一标识的音频流进行分流，根据所述提取的标识信息为各路分流后的音频流分配声像位置；将所述分流后的音频流进行解码，并根据所述的音频流的声像位置信息，对所述分流后的音频流进行 3D声处理。

21、根据权利要求 20所述的会议系统，其特征在于，所述服务器为主服务器，所述会议系统还包括：

至少一个从服务器，用于获取其自身管辖的终端或其他服务器的音频流，并将所述获取到的音频流与所述音频流的标识进行组合；

所述主服务器，还用于将所述至少一个从服务器的经过组合后的带标识的所述音频流分解为多路音频流。

22、根据权利要求 20或 21所述的会议系统，其特征在于，所述目标终端还用于获取来自所述终端所在会场内的各个声源的多路音频信号，将获取的多路音频信号进行声源分离，得到与所述各个声源对应的音频信号，根据所述获取的多路音频信号及用来获取来自各个声源的多路音频信号的装置之间的位置关系计算出与所述各个声源对应的方位信息，向所述服务器发送包括所述各个声源对应的音频信号和方位信息的音频流。