WO2014040429A1

WO2014040429A1 - 视频会议提醒方法、装置和视频会议系统

Info

Publication number: WO2014040429A1
Application number: PCT/CN2013/076678
Authority: WO
Inventors: 王东琦; 张巍; 李凯
Original assignee: 华为技术有限公司
Priority date: 2012-09-17
Filing date: 2013-06-04
Publication date: 2014-03-20
Also published as: CN102843543B; CN102843543A

Abstract

本发明提供一种视频会议提醒方法、装置和视频会议系统。该方法包括：获取视频会议中的各会场的音频信息和/或视频信息；对各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；对所述相关会场进行提醒。本发明实施例可对视频会议进程进行监控，获得影响会议秩序的相关会场，并可对相关会场进行提醒，可有效确保会议秩序的正常进行。

Description

视频会议提醒方法、装置和视频会议系统

本申请要求于 2012年 9月 17日提交中国专利局、申请号为 201210345438. 4、发明名称为 "视频会议提醒方法、装置和视频会议系统" 的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域本发明实施例涉及视频会议技术，尤其涉及一种视频会议提醒方法、装置和视频会议系统。背景技术

视频会议系统是一种可进行多点（即多个会场）多人（每个会场有 1个参会者或者多个参会者）参与的会议系统，不同地点的人员，可通过视频会议系统来举行会议，降低企业成本，增加人员之间的沟通效率，被越来越多的企业等各种机构所釆用。

其中，如图 1A所示，视频会议系统通常由 2个或者 2个以上的会场构成 (作为举例，图 1A中包括四个会场），如图 1B所示，每个会场包括 1个或者多个会议终端（作为举例，图 1B 中包括三个会议终端），并且一个会场包括至少 1个显示器（作为举例，图 1B示出了三个）、至少 1个扬声器（作为举例，图 1B示出了 2个）、至少 1个麦克风（作为举例，图 1B示出了三个，即 MIC1、 MIC2和 MIC3 )、至少 1个摄像头（作为举例，图 1B示出了三个摄像头构成的摄像机组），对于某一个会场而言，该会场的会议终端接收到其他会场通过网络传输过来的音频信号以及视频信号，并对音频和视频信号进行解码，将解码后的音频信号送到扬声器进行播放，将解码后的视频信号进行显示，并且该会场的摄像头（或者摄像机 )用来釆集本会场的视频图像，该会场的麦克风用来釆集本会场的音频信号，通过本会场的会议终端对这些釆集到的音视频信号进行音视频信号的处理，以及编码，通过网络发送给其他的会场。这样，各个会场的参会人员就可实时听到其他会场的声音和看到其他会场的图像,从而实现视频会议的功能。

但是，现有视频会议系统中，由于系统自身的局限性，无法对会议秩序进行有效控制，特别是在会场较多，参与人员较多的场合，常常因秩序混乱而导致会议效率降低，甚至会议无法正常进行。发明内容本发明实施例提供一种视频会议提醒方法、装置和视频会议系统，可对扰乱会议秩序情况进行及时处理，提醒与会人员，确保会议秩序的正常进行。

本发明实施例提供一种视频会议提醒方法，包括：

获取视频会议中的各会场的音频信息和 /或视频信息；

对所述各会场的音频信息和 /或视频信息进行分析，确定影响会议秩序的相关会场；

对所述影响会议秩序的相关会场进行提醒

本发明实施例还提供一种视频会议提醒装置，包括：

信息获取模块，用于获取视频会议中的各会场的音频信息和 /或视频信息；相关会场确定模块，用于对所述各会场的音频信息和 /或视频信息进行分析，确定影响会议秩序的相关会场；

提醒模块，用于对所述影响会议秩序的相关会场进行提醒。

本发明实施例进一步地提供一种视频会议系统，包括：

多个视频会议终端，分别设置在各会场中，用于播放和釆集视频信息以及音频信息；

视频会议提醒装置，用于获取各会场的音频信息和 /或视频信息，并对所述各会场的音频信息和 /或视频信息进行分析，确定影响会议秩序的相关会场，并通过视频会议终端对所述影响会议秩序的相关会场进行提醒。

本发明实施例提供的视频会议提醒方法、装置和视频会议系统，通过对各会场的音频和 /或视频进行分析，以确定影响会议秩序的相关会场，并可对相关会场进行及时提醒，从而可对视频会议系统的会议秩序进行有效控制，避免会议秩序混乱，确保会议的正常进行，提高会议效果。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图 1 A为现有技术中的视频会议系统的组网示意图；

图 1B为现有技术中的一个视频会议会场的布局示意图；

图 2为本发明实施例一提供的视频会议提醒方法的流程示意图；

图 3为本发明实施例二提供的视频会议提醒方法的流程示意图；

图 4A为本发明实施例三提供的视频会议提醒方法的流程示意图；图 4 B为本实施例中获取的各会场的语音状态的示意图；

图 5A为本发明实施例四提供的视频会议提醒方法的流程示意图；图 5B为本发明实施例中对会议中的讲话时间段统计的示意图；

图 6为本发明实施例五提供的视频会议提醒方法的流程示意图；

图 7为本发明实施例六提供的视频会议提醒方法的流程示意图；

图 8为本发明实施例七提供的视频会议提醒方法的流程示意图；

图 9为本发明实施例八提供的视频会议提醒装置的结构示意图；

图 10为本发明实施例九提供的视频会议提醒装置的结构示意图；图 11为本发明实施例十提供的视频会议提醒装置的结构示意图；图 12为本发明实施例十一提供的视频会议提醒装置的结构示意图；图 13为本发明实施例十二提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图 14为本发明实施例十三提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图 15为本发明实施例十四提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图 16为本发明实施例十五提供的视频会议提醒装置中相关会场确定单元的结构示意图；图 17为本发明实施例十六提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图 18为本发明实施例十七提供的视频会议提醒装置的结构示意图；图 19为本发明实施例十八提供的视频会议提醒装置的结构示意图；图 20为本发明实施例十九提供的视频会议系统的结构示意图；

图 21为本发明实施例二十提供的视频会议系统的结构示意图。具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图 2为本发明实施例一提供的视频会议提醒方法的流程示意图。如图 2所示，本实施例方法可包括如下步骤：

步骤 101、获取视频会议系统中的各会场的音频信息和 /或视频信息；步骤 102、对各会场的音频信息和 /或视频信息进行分析，确定影响会议秩序的相关会场；

步骤 103、对影响会议秩序的相关会场进行提醒。

本实施例可对视频会议系统中各会场的音频信息和视频信息进行分析，以根据对音频信息和 /或视频信息的分析，确定是否有干扰会议正常进行的相关会场，并可对影响会议秩序的相关会场进行提醒，确保会议的正常进行，可有效提高视频会议系统的会议效率。

本实施例中，对相关会场进行提醒，具体可以是通过语音方式进行提醒，或者以视频方式在视频会议终端上进行提醒，例如可以文字播放等方式进行视频提醒。

本实施例提供的视频会议提醒方法，通过对各会场的音频和 /或视频进行分析，以确定影响会议秩序的相关会场，并可对相关会场进行及时提醒，从而可对视频会议系统的会议秩序进行有效控制，避免会议秩序混乱，确保会议的正常进行，提高会议效果。图 3为本发明实施例二提供的视频会议提醒方法的流程示意图。如图 3所示，本实施例可基于预设时间段内的音频信息确定相关会场，具体地，如图 3 所示，本实施例可包括如下步骤：

步骤 201、获取预设时间段内，视频会议中的各会场的音频信息；步骤 202、对预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场；

步骤 203、对影响会议秩序的相关会场进行提醒。

本实施例可统计预设时间段内各会场的音频信息，并可对统计的预设时间段内各会场的音频信息进行分析，例如音量大小、讲话时间等，以确定相关会场。其中，所述的预设时间段的长度可根据需要而选择合适的长度，例如， 2 分钟、 10分钟等，本实施例并不做限制。

下面将以基于预设时间段内的音频信息确定相关会场具体分析实例对本发明技术方案做详细的说明。

图 4A为本发明实施例三提供的视频会议提醒方法的流程示意图。本实施例可通过对各会场的音频信息进行分析，根据各会场参会人员的并行讲话时间，来确定是否出现影响会议秩序的相关会场，具体地，如图 4A所示，本实施例可包括以下步骤：

步骤 301、获取视频会议系统中各会场的音频信息；

步骤 302、根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

步骤 303、预设时间段内，两个或两个以上的会场的语音状态均为讲话状态时，判定该两个或两个以上的会场为影响会议秩序的相关会场。

上述步骤 302中，获取各会场的语音状态，具体是根据各会场的音频信息，来确定各会场是否处于讲话的语音状态，实际应用中，对于一个会场而言，在某一时刻，若根据音频信息，判定为语音时，则可确定该会场在该时刻的语音活动度为 1 ,表示会场处于讲话状态，有人在进行讲话，否则，语音活动度为 0, 表示会场中没有人讲话，为非讲话状态。

图 4B为本实施例中获取的各会场的语音状态的示意图。本实施例中，以具有 4个会场的会议为例，来说明各会场的语音状态，具体地，如图 4B所示，为对视频会议系统中的 4个会场，即会场 1、会场 2、会场 3和会场 4的语音状态进行说明，其中，横坐标表示会议持续时间，纵坐标表示各会场的语音状态是处于讲话状态还是非讲话状态， 0表示没有人讲话， 1表示有人讲话。可以看出，在 tl-tl5这一时间段内，其中在 tl~t4阶段，会场 3和会场 4处于交替讲话的状态，这可以认为是两个会场中的人处于交替讲话的状态，整个会议处于正常的状态；在 t6 ~ t7时刻，会场 4和会场 2处于同时讲话的状态，可以认为在此阶段，会场 4和会场 2是影响会议秩序的相关会场；同样的，在 t9-tl0阶段，会场 2和会场 3处于同时讲话的状态，可以认为在此阶段，会场 2和会场 3是影响会议秩序的相关会场；而在 tl2~tl3阶段，会场 1、会场 2和会场 3这三个会场均处于同时讲话的状态，在此情况下，则会场 1、会场 2和会场 3均是影响会议秩序的相关会场。

本领域技术人员可以理解，在进行会议时，通常是只有一个会场中的人员进行讲解，正常的会议秩序应该是各会场的讲话是交替进行的，因此，当出现

2个会场或者多个会场出现同时讲话的情况，则说明会议进入了无序的状态，通过对各会场并行讲话进行分析，从而可确定出影响会议秩序的相关会场。

上述步骤 304中，对相关会场进行提醒，具体可釆用语音提醒的方式，以提醒相关会场的与会人员注意会场秩序。较佳的，为了不影响会议的过程，还可以釆用图像显示，或者信号灯的方式对相关的会场进行提醒。

本领域技术人员可以理解，在对相关会场进行提醒前，还可通过向主持会议的主会场的主持人发出提醒，以确定是否需要对相关会场发出提醒，待主持人确定后，可向相关会场发出提醒，以避免发出错误的提醒。

可以看出，本实施例是基于并行讲话时间来确定是否有同时讲话的会场，以将同时讲话的会场作为影响会议秩序的相关会场。

图 5A为本发明实施例四提供的视频会议提醒方法的流程示意图。本实施例可根据各会场的音频信息，确定整个会议中的讲话时间所占的比率，来确定会议秩序是否正常，以确定影响会议秩序的相关会场，具体地，如图 5A所示，本实施例方法可包括以下步骤：

步骤 401、获取视频会议系统中各会场的音频信息；

步骤 402、根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

步骤 403、预设时间段内，统计各会场中语音状态为讲话状态的若干会场的讲话时间段；

步骤 404、获得该若干会场的讲话时间段占用预设时间段的比率，并在该比率小于预设比率阔值时，判定会议的主会场或所有会场为相关会场。

上述步骤 402和步骤 403中 ,统计各会场中的语音状态为讲话状态的多个会场的讲话时间段，具体可为：某一时刻，只要会议中的一个会场的语音状态为讲话状态，即根据音频信息确定为语音时，则可将该时刻下的会议的活动度记为 1 , 然后计算在预设时间段内会议的活动度为 1的总时间段，即讲话时间段。

图 5B为本发明实施例中对会议中的讲话时间段统计的示意图。如图 5B所示，其中横坐标标识会议进行时间，纵坐标表示各会场的语音状态，可以看出，在 tl-t2时间段内，会场 3的处于讲话状态， t3-t4时间段内，会场 2处于讲话状态，则会议在 0-t时间段内，各会场中，讲话时间段为 tl-t2和 t3-t4两个时间段之和，因此，根据该时间统计，就可以计算出讲话时间段在整个 t时间段内的比率，也可称为会议处于活动状态的概率。当该比率较低时，则表明会议中，会议中时间利用不充分，会议节奏緩慢，会议秩序不正常，此时，就可以将参与的主会场判定为相关会场，或者将所有会场均判定为相关会场，并向相关会场发出提醒，例如可以发出需要加快会议进度等提示信息，以便会议正常进行。本领域技术人员可以理解，其中预设比率阔值的大小可根据实际需要选择适合的数值，本实施例并不做特别限制。

可以看出，本实施例^^于多个会场的讲话时间的占用率来确定会议节奏是否緩慢，以在会议节奏緩慢时确定影响会议秩序的相关会场。

本领域技术人员可以理解，本实施例可与图 3A所示的实施例结合起来，确定影响会议秩序的相关会场，例如可将会议节奏緩慢时，处于并行讲话的会场作为相关会场等，对此本发明实施例并不做特别限制。

图 6为本发明实施例五提供的视频会议提醒方法的流程示意图。与上述图 5A和图 5B所示实施例技术方案不同的是，本实施例可对一个会场的讲话时间段进行统计，以确定相关会场，具体地，如图 6所示，本实施例方法可包括：步骤 501、获取视频会议系统的各会场的音频信息；

步骤 502、根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

步骤 503、预设时间段内，当检测出一会场的语音状态为讲话状态时，统计该一会场处于讲话状态的讲话时间段；

步骤 504、获得该讲话时间段占用预设时间段的比率，并在该比率大于预设比率阔值时，判定该一会场为相关会场。

本领域技术人员可以理解，当会议进行过程中，若一个会场的讲话时间过多，则表明其他会场的讲话时间较短，会议互动较差，因此，可将该会场或者所有会场判定为相关会场，以提醒会议互动较差。

进一步的，可以理解，由于不同会议的主题以及内容不同，会导致不同的会议状态，譬如：宣讲式的会议，很可能出现某一个会场一直处于讲话状态，而其他会场则处于非讲话状态，在这种情况下，通过系统的设置，使得该图 6 所公开的方法对应的系统功能处于关闭状态。而对于讨论式的会议，由于需要各个会场的讨论，则可以将图 6所公开的方法对应的系统功能打开。

可以看出，本实施例于一会场的讲话时间的占用率来确定会场互动是否较差，以在会议互动较差时确定影响会议秩序的相关会场。

本领域技术人员可以理解，本实施例可与图 3A和 /或图 4A所示的实施例结合起来，即通过多种手段相结合来确定影响会议秩序的相关会场，对此本发明实施例并不做特别限制。

图 7为本发明实施例六提供的视频会议提醒方法的流程示意图。本实施例可根据预设的关键词对各会场的讲话情况进行判断，以确定会场讲话是否围绕会议主题进行，以便确定会场是否为影响会议秩序的相关会场，具体地，如图 7所示，本实施例方法可包括如下步骤：

步骤 601、获取预设时间段内各会场的音频信息；

步骤 602、对各会场的音频信息中的语音进行语音到文字的识别；步骤 603、将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场。

本实施例中，可预先设置会议所要讨论内容的关键字，这样，识别各会场的语音对应的文字后，就可以与关键字语音进行比较，当会场中的人员讨论的内容不涉及，即不包括该关键字语音时，可确定该会场正在讨论与会议无关的内容，则可将该会场判定为影响会议秩序的相关会场。例如，某一会议的议题为召开电信行业的大会准备，这样，可根据会议议题，预先为该议题确定一些关键词，例如电信、参与者、地点、酒店、时间、材料、邀请函、议程安排等，这样，在会议开始后，就可以对各会场的语音进行识别和语义分析，当发现与会者的发言中不包括与预先设置的关键词时，则认为相应会场的讨论的话题偏离了会议主题，则可判定该会场影响了会议的正常进行，为影响会议秩序的相关会场，可对该会场进行提醒。

本领域技术人员可以理解，对语音进行识别可釆用传统的语音识别技术，以确定各语音对应的文字，并根据该识别出的文字与预设的关键词进行比对，一旦发现会场中的语音不涉及和会议主题相关的关键词时，就可以判定该会场讨论偏离会议主题，可对其进行提醒。

可以看出，本实施例是基于会场的语音是否超与关键词匹配，来确定会场的讲话是否超出会议主题，以在超出会议主题时确定影响会议秩序的相关会场。

同样地，本实施例也可与图 4A、图 5A和 /或图 6所示实施例结合起来，确定影响会议秩序的相关会场，对此本实施例并不做特别限制。

图 8为本发明实施例七提供的视频会议提醒方法的流程示意图。本实施例可根据各会场的语音的音量，来判定会场是否为影响会议秩序的相关会场，具体地，如图 8所示，本实施例方法可包括如下步骤：

步骤 701、获取视频会议系统内各会场的音频信息；

步骤 702、根据各会场的音频信息，获取预设时间段内各会场的音频音量；步骤 703、将音频音量大于预设音量阔值的会场判定为影响会议秩序的相关会场。

本实施例中，可根据各会场的音量，来确定各会场的讲话是否正常，例如音量过高，则认为不能正常的会议讲话，可能是争吵等，因此，可将音量过高的会场判定为影响会议秩序的相关会场，并对这些影响会议秩序的相关会场进行提醒。

实际应用中，可预先设定音量阔值，例如 80分贝或 90分贝，当会场的音量超过该预设音量阔值时，就可判定会场音量过大。

同样地，本实施例也可与上述图 4A、图 5A、图 6和 /或图 7所示的实施例结合起来，确定影响会议秩序的相关会场，对此本发明实施例并不做特别限制。实际应用中可根据会议的类型等，选择图 4A、图 5A、图 6、图 7和图 8任一实施例或任意两个以上的实施例结合起来，确定影响会议秩序的相关会场。图 9为本发明实施例八提供的视频会议提醒方法的流程示意图。本实施例可根据各会场的视频信息，通过人脸表情识别，来判定会场是否为影响会议秩序的相关会场，具体地，如图 9所示，本实施例方法可包括如下步骤：

步骤 801、获取视频会议系统中各会场的视频信息；

步骤 802、根据各会场的视频信息，提取各会场中与会人员的脸部图像信息；

步骤 803、利用人脸识别技术，对与会人员的脸部图像信息进行与会人员的表情的识别，并将人脸表情异常的与会人员所在会场判定为影响会议秩序的相关会场。

本实施例中，对人脸进行识别时可釆用传统人脸识别技术，以确定人脸表情是否异常，包括人脸表情库的建立和人脸表情的识别，其中，人脸表情库的建立可釆用美国 CMU机器人研究所和心理学系共同建立的人脸表情库 ( Cohn-Kanade AU-Coded Facial Expression Image Database , CKACFEID) , 或者釆用日本 ATR建立的日本女性表情数据库 (JAFFE); 而人脸表情识别可包括人脸图像获取、图像预处理、图像特征提取以及分类判别，其中，本实施例中通过会议室中的视频设备釆集人脸图像，图像预处理主要是对图像的大小和灰度的归一化处理，图像特征提取可釆用几何特征、统计特征、频率域特征和运动特征等的提取，图像分类判别可釆用线性分类器、神经网络分类器、支持向量机（SVM )分类算法、隐马尔可夫模型（Hidden Markov Models, HMM ) 等方法来实现。具体地，本实施例人脸表情识别方法可与现有技术相同或类似，在此不再赘述。

可以看出，本实施例可基于人脸表情识别来确定与会人员的人脸表情，以根据与会人员的人脸表情来确定影响会议秩序的相关会场。

图 10为本发明实施例九提供的视频会议提醒方法的流程示意图。本实施例可基于视频信息来确定各会场与会人员的肢体动作，以判定会场是否为影响会议秩序的相关会场，具体地，如图 10所示，本实施例方法可包括如下步骤：步骤 901、获取视频会议系统中各会场的视频信息；

步骤 902、根据各会场的视频信息，提取各会场中与会人员的肢体动作；响会议秩序的相关会场。本实施例中 ,根据各会场的视频信息 ,提取各会场中与会人员的肢体动作 , 具体可釆用深度摄像机来检测人体姿态、手势等肢体动作信息，例如可基于微软的 Kinect体感摄像机来检测人体肢体动作，其具体实现与现有技术相同或类似，在此不再赘述。

本实施例中，可根据与会人员的手势识别以及动作识别等肢体动作，来判定与会人员是否干扰了会议正常进行，例如手势动作大于预设动作阔值，和 / 或动作姿势的变化是否大于预设变化阔值等，来确定是否判定与会人员所在会场为影响会议秩序的相关会场。

可以看出，本实施例可基于人的姿态检测确定与会人员的肢体动作，以根据与会人员的肢体动作来确定影响会议秩序的相关会场。

本领域技术人员可以理解，实际应用中，也可将图 8和图 9所示实施例结合起来，来确定影响会议秩序的相关会场，即可将同时满足人脸异常和肢体动作过大的会场作为相关会场，或者，将只要出现人脸异常或肢体动作的会场均作为相关会场。

本领域技术人员可以理解，实际应用中，也可将上述图 3-图 8所示的基于音频信息来确定相关会场与图 9和图 10基于视频信息确定相关会场结合起来，对此本发明实施例并不做特别限制。

本领域技术人员可以理解，上述的音频信息和视频信息均可由会议终端釆集得到，其中，会议终端上设置有摄像头和麦克风，从而可实时釆集所在会场的音频和视频信息。

图 11为本发明实施例十提供的视频会议提醒装置的结构示意图。如图 11 所示，本实施例提醒装置包括信息获取模块 1、相关会场确定模块 2和提醒模块 3 , 其中：

信息获取模块 1，用于获取视频会议中的各会场的音频信息和 /或视频信息；

相关会场确定模块 2, 用于对各会场的音频信息和 /或视频信息进行分析，确定影响会议秩序的相关会场；

提醒模块 3 , 用于对影响会议秩序的相关会场进行提醒。

本实施例中，相关会场确定模块 2可根据信息获取模块 1获取到的视频信息或音频信息，来确定相干会场，并由提醒模块 3向各相关会场发出提醒，以确保会议的正常进行，其具体实现可参见上述本发明方法实施例的说明，在此不再赘述。

图 12为本发明实施例十一提供的视频会议提醒装置的结构示意图。本实施例可基于预设时间段内的音频信息来确定相关会场，具体地，如图 12所示，上述图 11中所示的相关会场确定模块 2具体可包括信息获取单元 21和相关会场确定单元 22 , 其中：

信息获取单元 21 , 用于获取预设时间段内各会场的音频信息；

相关会场确定单元 22 , 用于对预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场。

本实施例中，可基于预设时间段内的音频信息来确定相关会场，其具体实现可参见上述本发明方法实施例二至七的说明，在此不再赘述。

图 13为本发明实施例十二提供的视频会议提醒装置中相关会场确定单元的结构示意图。如图 13所示，本实施例中，上述图 12中的相关会场确定单元 22 具体可包括第一获取子单元 221和第一判定子单元 222，其中：

第一获取子单元 221 , 用于根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

第一判定子单元 222 , 用于检测到两个或两个以上的会场的语音状态均为讲话状态时，判定该两个或两个以上的会场为影响会议秩序的相关会场。

本实施例装置可通过对各会场的音频信息进行分析，根据各会场参会人员的并行讲话时间，来确定相关会场，其具体实现可参见上述本发明方法实施例三的说明，在此不再赘述。

图 14为本发明实施例十三提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图 13所示实施例技术方案不同的是，本实施例中，相关会场确定单元 22具体可包括第二获取子单元 223、第二统计子单元 224和第二判定子单元 225 , 其中：

第二获取子单元 223 , 用于根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

第二统计子单元 224, 用于统计各会场中的语音状态为讲话状态的若干会场的讲话时间段；

第二判定子单元 225 , 用于获得若干会场的讲话时间段占用预设时间段的比率，并在比率小于预设比率阔值时，判定会议的主会场或所有会场为相关会场。

本实施例装置可根据各会场的音频信息，确定整个会议中的若干会场的讲话时间所占的比率，来确定会议秩序是否正常，以确定影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例四的说明，在此不再赘述。

图 15为本发明实施例十四提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图 14所示实施例技术方案不同的是，本实施例中，相关会场确定单元 22具体可包括第三获取子单元 226、第三统计子单元 227和第三判定子单元 228, 其中：

第三获取子单元 226, 用于根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

第三统计子单元 227 , 用于当检测出一会场的语音状态为讲话状态时，统计该一会场处于讲话状态的讲话时间段；

第三判定子单元 228, 用于获得该讲话时间段占用预设时间段的比率，并在该比率大于预设比率阔值时，判定该一会场或所有会场为相关会场。

本实施例装置可根据各会场的音频信息，确定整个会议中的一会场的讲话时间所占的比率，来确定会议秩序是否正常，以确定影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例五的说明，在此不再赘述。

图 16为本发明实施例十五提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图 13所示实施例技术方案不同的是，本实施例中，相关会场确定单元 22具体可包括：语音识别子单元 229和第四判定子单元 2210 , 其中：

语音识别子单元 229 , 用于对各会场的音频信息中的语音进行语音到文字的识别；

第四判定单元 2210,用于将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场。

本实施例装置可根据预设的关键词对各会场的讲话情况进行判断，以确定会场讲话是否围绕会议主题进行，以便确定会场是否为影响会议秩序的相关会场，具体实现可参见上述本发明方法实施例六的说明，在此不再赘述。

图 17为本发明实施例十六提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图 13所示实施例技术方案不同的是，本实施例中，相关会场确定单元 22具体可包括第五获取子单元 2211和第五判定子单元 2212 , 其中：

第五获取子单元 2211 , 用于根据各会场的音频信息，获取各会场的音频音量；

第五判定子单元 2212,用于将音频音量大于预设音量阔值的会场判定为影响会议秩序的相关会场。

本实施例装置可根据各会场的语音的音量，来判定会场是否为影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例七的说明，在此不再赘述。

图 18为本发明实施例十七提供的视频会议提醒装置的结构示意图。本实施例可基于视频信息来确定相关会场，具体地，如图 18所示，图 11中所示的相关会场确定模块 2具体可包括脸部信息提取单元 23和第一判定单元 24, 其中：脸部信息提取单元 23 , 用于根据各会场的视频信息，提取各会场中与会人员的脸部图像信息；

第一判定单元 24, 用于利用人脸识别技术，对与会人员的脸部图像信息进行与会人员的表情识别，并将人脸表情异常的与会人员所在会场判定为影响会议秩序的相关会场。

本实施例装置可根据各会场的视频信息，通过人脸表情识别，来判定会场是否为影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例八的说明，在此不再赘述。

图 19为本发明实施例十八提供的视频会议提醒装置的结构示意图。与上述图 18所示实施例技术方案不同的是，本实施例中，相关会场确定模块 2具体可包括肢体动作提取单元 25和第二判定单元 26, 其中：

肢体动作提取单元 25 , 用于根据各会场的视频信息，提取各会场中与会人员的肢体动作；场判定为影响会议秩序的相关会场。

本实施例装置可基于视频信息来确定各会场与会人员的肢体动作，以判定会场是否为影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例九的说明，在此不再赘述。

图 20为本发明实施例十九提供的视频会议系统的结构示意图。如图 20所示，本实施例视频会议系统包括多个视频会议终端 10和视频会议提醒装置 20 , 其中：

该多个视频会议终端 10分别设置在不同的会场中，用于播放和釆集视频信息以及音频信息；

视频会议提醒装置 20 , 用于获取各会场的音频信息或 /或视频信息，并对各会场的音频信息和 /或视频信息进行分析，确定影响会议秩序的相关会场，并通过视频会议终端对影响会议秩序的相关会场进行提醒。

本实施例视频会议系统可基于视频会议提醒装置 20,监控各会场的会议情况，确定影响会议秩序的相关会场，并可基于视频会议终端 10对相关会场作出提醒，确保会议的正常进行。其中，所述的视频会议提醒装置 20具体可以为上述本发明装置各实施例提供的视频会议提醒装置，具体结构可参见上述本发明各装置实施例的说明在此不再赘述。

图 21为本发明实施例二十提供的视频会议系统的结构示意图。如图 21所示，为本实施例视频会议系统的实际应用场景示意图，该视频会议系统包括：会场 100、会场 200、会场 300、网络处理设备 400和会议管理中心设备 500 , 其中网络处理设备 400用于接收会场釆集到的音视频信息，并将接收到的音视频信息转发到其他会场；会议管理中心设备 500可通过网络处理设备 400控制各会场的接入或断开。

本实施例中，如图 21所示，会场 100包括显示设备 1001、视频釆集设备 1002、麦克风设备 1003、扬声器设备 1004以及控制设备 1005 , 其中，显示设备 1001 用于显示视频及图像；视频釆集设备 1002用于釆集本会场的视频信息；麦克风设备 1003用于釆集本会场参会人员的声音；扬声器设备 1004用于播放其他会场以及本会场的声音；控制设备 1005与本会场的其他设备连接，用于接收釆集的本会场的视频信息、音频信息等，并传输至挽留过处理设备 400 , 同时，该控制设备 1005还用于接收网络处理设备 400发送的其他会场的音视频信息等会场信息，并发送至显示设备 1001进行视频的播放或图像的显示，发送至扬声器设备 1004进行声音的播放。

本实施例中，上述的网络处理设备 400可以为微型计算机处理设备，用于与其他设备通过网络进行连接，并可处理其他会场发送来的信息，会议管理中心设备 500也可以是微型计算机处理设备。

本实施例视频会议系统可与现有的会议系统相同，不同的是，网络处理设备 400上可集成有上述本发明各实施例提供的视频会议提醒装置；或者，该视频会议系统中，也可单独设置有视频会议提醒装置，例如，可设置在与网络处理设备 400的相同位置或各会场中。

本领域技术人员可以理解，视频会议系统中的会场的数量处理如图 21所示的 3个外，也可以为 4个或 4个以上，实际应用中可根据需要设置合适数量的会场；各会场均可釆集各自会场的音视频信息，并可及时通过网络处理设备传送至其他会场，并可通过集成在网络处理设备内的视频会议提醒装置，检测影响会议秩序的相关会场，并可向相关会场发送提醒。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权利要求

1、一种视频会议提醒方法，其特征在于，包括：

获取视频会议中的各会场的音频信息和 /或视频信息；

对所述影响会议秩序的相关会场进行提醒。

2、根据权利要求 1所述的视频会议提醒方法，其特征在于，对各会场的音频信息进行分析，确定影响会议秩序的相关会场包括：

获取预设时间段内各会场的音频信息；

对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场。

3、根据权利要求 2所述的视频会议提醒方法，其特征在于，所述对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场包括：根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；

检测到两个或两个以上的会场的语音状态均为讲话状态时，判定所述两个或两个以上的会场为影响会议秩序的相关会场。

4、根据权利要求 2所述的视频会议提醒方法，其特征在于，所述对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场包括：根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；

统计各会场中的语音状态为讲话状态的若干会场的讲话时间段；率小于预设比率阔值时，判定会议的主会场或所有会场为相关会场。

5、根据权利要求 2所述的视频会议提醒方法，其特征在于，所述对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场包括：根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；

当检测出一会场的语音状态为讲话状态时，统计所述一会场处于讲话状态的讲话时间段；比率阔值时，判定所述一会场或所有会场为相关会场。

6、根据权利要求 2所述的视频会议提醒方法，其特征在于，所述对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场包括：对各会场的音频信息中的语音进行语音到文字的识别；

将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场。

7、根据权利要求 2所述的视频会议提醒方法，其特征在于，对各会场的音频信息进行分析，确定影响会议秩序的相关会场包括：

根据各会场的音频信息，获取各会场的音频音量；

将音频音量大于预设音量阔值的会场判定为影响会议秩序的相关会场。

8、根据权利要求 1所述的视频会议提醒方法，其特征在于，对各会场的视频信息进行分析，确定影响会议秩序的相关会场包括：

根据各会场的视频信息，提取各会场中与会人员的脸部图像信息；利用人脸识别技术，对所述与会人员的脸部图像信息进行与会人员的表情的识别，并将人脸表情异常的与会人员所在会场判定为影响会议秩序的相关会场。

9、根据权利要求 1所述的视频会议提醒方法，其特征在于，对各会场的视频信息进行分析，确定影响会议秩序的相关会场包括：

根据各会场的视频信息，提取各会场中与会人员的肢体动作；序的相关会场。

10、一种视频会议提醒装置，其特征在于，包括：

提醒模块，用于对所述影响会议秩序的相关会场进行提醒。

11、根据权利要求 10所述的视频会议提醒装置，其特征在于，所述相关会场确定模块包括：信息获取单元，用于获取预设时间段内各会场的音频信息；

相关会场确定单元，用于对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场。

12、根据权利要求 11所述的视频会议提醒装置，其特征在于，所述相关会场确定单元包括：

第一获取子单元，用于根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；

第一判定子单元，用于检测到两个或两个以上的会场的语音状态均为讲话状态时，判定所述两个或两个以上的会场为影响会议秩序的相关会场。

13、根据权利要求 11所述的视频会议提醒装置，其特征在于，所述相关会场确定单元包括：

第二获取子单元，用于根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；

第二统计子单元，用于统计各会场中的语音状态为讲话状态的若干会场的讲话时间段；

第二判定子单元 ,用于获得所述若干会场的讲话时间段占用所述预设时间段的比率，并在所述比率小于预设比率阔值时，判定会议的主会场或所有会场为相关会场。

14、根据权利要求 11所述的视频会议提醒装置，其特征在于，所述相关会场确定单元包括：

第三获取子单元，用于根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；

第三统计子单元，用于当检测出一会场的语音状态为讲话状态时，统计所述一会场处于讲话状态的讲话时间段；并在所述比率大于预设比率阔值时，判定所述一会场或所有会场为相关会场。

15、根据权利要求 11所述的视频会议提醒装置，其特征在于，所述相关会场确定单元包括：

语音识别子单元 ,用于对各会场的音频信息中的语音进行语音到文字的识别；第四判定子单元，用于将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场。

16、根据权利要求 11所述的视频会议提醒装置，其特征在于，所述相关会场确定单元包括：

第五获取子单元，用于根据各会场的音频信息，获取各会场的音频音量；第五判定子单元，用于将音频音量大于预设音量阔值的会场判定为影响会议秩序的相关会场。

17、根据权利要求 10所述的视频会议提醒装置，其特征在于，所述相关会场确定模块包括：

脸部信息提取单元，用于根据各会场的视频信息，提取各会场中与会人员的脸部图像信息；

第一判定单元，用于利用人脸识别技术，对所述与会人员的脸部图像信息进行与会人员的表情识别，并将人脸表情异常的与会人员所在会场判定为影响会议秩序的相关会场。

18、根据权利要求 10所述的视频会议提醒装置，其特征在于，所述相关会场确定模块包括：

肢体动作提取单元，用于根据各会场的视频信息，提取各会场中与会人员的肢体动作；判定为影响会议秩序的相关会场。

19、一种视频会议系统，其特征在于，包括：

多个视频会议终端，分别设置在各会场中，用于播放和釆集视频信息以及音频信息；视频会议提醒装置，用于获取各会场的音频信息和 /或视频信息，并对所述各会场的音频信息和 /或视频信息进行分析，确定影响会议秩序的相关会场，并通过视频会议终端对所述影响会议秩序的相关会场进行提醒。