WO2016110047A1 - 远程会议系统和进行远程会议的方法 - Google Patents

远程会议系统和进行远程会议的方法 Download PDF

Info

Publication number
WO2016110047A1
WO2016110047A1 PCT/CN2015/081041 CN2015081041W WO2016110047A1 WO 2016110047 A1 WO2016110047 A1 WO 2016110047A1 CN 2015081041 W CN2015081041 W CN 2015081041W WO 2016110047 A1 WO2016110047 A1 WO 2016110047A1
Authority
WO
WIPO (PCT)
Prior art keywords
listeners
speaking
person
image
certain
Prior art date
Application number
PCT/CN2015/081041
Other languages
English (en)
French (fr)
Inventor
武乃福
牛贝
魏伟
吴坤
王涛
林家强
周春苗
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US14/912,686 priority Critical patent/US9706169B2/en
Publication of WO2016110047A1 publication Critical patent/WO2016110047A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Abstract

本发明的实施例公开了一种远程会议系统和进行远程会议的方法。远程会议系统包括:处于第一会议场所的第一图像显示系统,用于显示多个听众的图像;检测系统,检测处于第一会议场所的人员的头部的至少一部分的动作或位姿;判断系统,基于检测系统检测到的动作或位姿判断正在讲话的人员是正在对某一听众或某些听众讲话还是针对所有听众讲话;处于第二会议场所的第二图像显示系统,在判断系统判断出正在讲话的人员是正在对多个听众中的某一听众或某些听众讲话时,向多个听众中的某一听众或某些听众显示特定图像,使多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。由此,使远程会议中目标听众知道讲话的人员正在对自己讲话。

Description

远程会议系统和进行远程会议的方法 技术领域
本发明的实施例涉及一种远程会议系统和进行远程会议的方法。
背景技术
基于互联网的远程会议成为了许多办公的选择。但是,远程会议中听众无法知道说话的人是否正在针对自己讲话。
发明内容
本发明的实施例的目的是提供一种远程会议系统和进行远程会议的方法,由此,远程会议中听众能够知道说话的人员是否正在针对自己讲话。
根据本发明的实施例,提供了一种远程会议系统,该远程会议系统包括:处于第一会议场所的第一图像显示系统,所述第一图像显示系统用于显示多个听众的图像;检测系统,所述检测系统构造成检测处于第一会议场所的人员的头部的至少一部分的动作或位姿;判断系统,所述判断系统构造成基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话;处于第二会议场所的第二图像显示系统,所述第二图像显示系统构造成在所述判断系统判断出正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话时,向所述多个听众中的某一听众或某些听众显示特定图像,使所述多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。
采用上述技术方案,例如使远程会议中目标听众知道讲话的人员正在对自己讲话。
根据本发明的实施例,所述的远程会议系统还包括:处于第一会议场所的声音跟踪系统,所述声音跟踪系统构造成确定处于第一会议场所的人员中谁正在讲话。
采用上述技术方案,例如可以在第一会议场所具有多个人员时自动确定谁正在讲话。
根据本发明的实施例,所述第二图像显示系统进一步构造成在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时,向所有听众显示普通图像。
采用上述技术方案,例如听众能够知道讲话不是针对自己。
根据本发明的实施例,所述第二图像显示系统进一步构造成在向所述多个听众中的某一听众或某些听众显示特定图像的同时,向其余的听众显示普通图像。
采用上述技术方案,例如其余的听众能够知道讲话不是针对自己。
根据本发明的实施例,除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
采用上述技术方案,例如在两个会议场所都有多个人时,向某一听众或某些听众提供仅仅包含讲话的人员的图像,使听众知道讲话是针对自己。
根据本发明的实施例,除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像,而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
采用上述技术方案,例如在两个会议场所都有多个人时,向听众 提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像,使听众知道讲话是否是针对自己。
根据本发明的实施例,除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外,所述普通图像比所述特定图像包含更多的场景的图像。
采用上述技术方案,例如第一会议场所有一个人或多个人时,改变图像中的场景的大小,使听众知道讲话是否是针对自己。
根据本发明的实施例,正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案,例如第一会议场所有一个人或多个人时,改变图像中的讲话的人员的图像的大小,使听众知道讲话是否是针对自己
根据本发明的实施例,正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案,例如第一会议场所有一个人或多个人时,改变图像中的讲话的人员的面部的图像的大小,使听众知道讲话是否是针对自己。
根据本发明的实施例,所述检测系统是眼球跟踪系统,所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作,所述判断系统基于所述眼球跟踪系统检测到的眼球动作,判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
采用上述技术方案,例如可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
根据本发明的实施例,本发明提供了一种进行远程会议的方法,该方法包括:在第一会议场所利用第一图像显示系统显示多个听众的图像;利用检测系统检测处于第一会议场所的人员的头部的至少一部 分的动作或位姿;利用判断系统基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话;在所述判断系统判断出正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话时,利用处于第二会议场所的第二图像显示系统向所述多个听众中的某一听众或某些听众显示特定图像,使所述多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。
采用上述技术方案,例如使远程会议中目标听众知道讲话的人员正在对自己讲话。
根据本发明的实施例,所述的进行远程会议的方法还包括:在判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话之前,利用声音跟踪系统确定处于第一会议场所的人员中谁正在讲话。
采用上述技术方案,例如可以在第一会议场所具有多个人员时自动确定谁正在讲话。
根据本发明的实施例,所述的进行远程会议的方法还包括:在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时,利用所述第二图像显示系统向所有听众显示普通图像。
采用上述技术方案,例如听众能够知道讲话不是针对自己。
根据本发明的实施例,所述的进行远程会议的方法还包括:利用所述第二图像显示系统在向所述多个听众中的某一听众或某些听众显示特定图像的同时,向其余的听众显示普通图像。
采用上述技术方案,例如其余的听众能够知道讲话不是针对自己。
根据本发明的实施例,除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
采用上述技术方案,例如在两个会议场所都有多个人时,向某一 听众或某些听众提供仅仅包含讲话的人员的图像,使听众知道讲话是针对自己。
根据本发明的实施例,除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像,而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
采用上述技术方案,例如在两个会议场所都有多个人时,向听众提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像,使听众知道讲话是否是针对自己。
根据本发明的实施例,除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外,所述普通图像比所述特定图像包含更多的场景的图像。
采用上述技术方案,例如第一会议场所有一个人或多个人时,改变图像中的场景的大小,使听众知道讲话是否是针对自己。
根据本发明的实施例,正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案,例如第一会议场所有一个人或多个人时,改变图像中的讲话的人员的图像的大小,使听众知道讲话是否是针对自己
根据本发明的实施例,正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
采用上述技术方案,例如第一会议场所有一个人或多个人时,改变图像中的讲话的人员的面部的图像的大小,使听众知道讲话是否是针对自己。
所述检测系统是眼球跟踪系统,所述眼球跟踪系统构造成检测处 于第一会议场所的人员的眼球动作,所述判断系统基于所述眼球跟踪系统检测到的眼球动作,判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
采用上述技术方案,例如可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
附图说明
图1为根据本发明的一个实施例的远程会议系统的示意框图;以及
图2为根据本发明的一个实施例的进行远程会议的方法的流程图。
具体实施方式
下面结合说明书附图来说明本发明的具体实施方式。
下面结合附图,对本发明实施例的具体实施方式进行详细地说明。另外,在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本披露实施例的全面理解。然而明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。在其他情况下,公知的结构和装置以图示的方式体现以简化附图。
如图1所示,根据本发明的实施例的远程会议系统100包括:处于第一会议场所10的第一图像显示系统D1,所述第一图像显示系统D1用于显示多个听众B1、B2、B3的图像;检测系统,所述检测系统构造成检测处于第一会议场所10的人员A1、A2、A3的头部的至少一部分的动作或位姿;判断系统J,所述判断系统J构造成基于所述检测系统检测到的动作或位姿判断正在讲话的人员(例如处于第一会议场所10的一个人员或多个人员A1、A2、A3)是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众 B1、B2、B3讲话;处于第二会议场所20的第二图像显示系统D2,所述第二图像显示系统D2构造成在所述判断系统J判断出正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话时,向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像,使所述多个听众B1、B2、B3中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。由此,使远程会议中目标听众知道讲话的人员正在对自己讲话。
应当注意的是,此处所用的会议场所表示,在同一会议场所的例如A1、A2、A3的人员可以通过眼神面对面交流,不在同一会议场所的人员,例如A和B则不能通过眼神面对面地交流。换句话说,不在同一会议场所的A与B之间的交流或会议是远程的交流或远程会议。本发明的交互系统可以提供间接的方式使得在不同的会议场所的A和B可以进行远程会议,包括提供眼神交流。在本发明以下的实施例中,会议和远程的含义与在以上实施例中的相同。
根据本发明的实施例的远程会议系统还可以包括:处于第一会议场所的声音跟踪系统V,所述声音跟踪系统V构造成确定处于第一会议场所10的人员A1、A2、A3中谁正在讲话。由此,可以在第一会议场所10具有多个人员A1、A2、A3时自动确定谁正在讲话。此外,根据本发明的实施例的远程会议系统还可以包括控制器等,用于控制各个组成部件的操作。
根据本发明的实施例,检测系统可以是眼球跟踪系统E,所述眼球跟踪系统E构造成检测处于第一会议场所10的人员A1、A2、A3的眼球动作,所述判断系统J基于所述眼球跟踪系统E检测到的眼球动作,判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。由此,可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
此外,作为选择,也可以采用检测正在讲话的人员的面部朝向的面部朝向检测系统或其它任何合适的系统,由此所述判断系统J基于检测结果判断正在讲话的人员是正在对所述多个听众中的某一听众 或某些听众讲话还是针对所有听众讲话。
例如,参见图1,声音跟踪系统V能够自动寻找声源位置,由此确定处于第一会议场所10的人员A1、A2、A3中谁正在讲话。在第一会议场所10设置摄像系统C,摄像系统C根据声音跟踪系统V确定的声源位置,进行图像采集。多个人员A1、A2、A3在讲话时,或通过麦克风讲话时被声音跟踪系统V探测到,然后摄像系统C进行图像采集。声音跟踪系统V可以是语音寻址系统。眼球跟踪系统E可以通过特殊设计的光学探头,去捕捉人的眼球动作,所述判断系统J基于所述眼球跟踪系统E检测到的眼球动作判断正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众讲话。例如,眼球跟踪系统E可以设有光学探头,去捕捉人的眼球动作。此外,远程会议系统100还包括:处于第二会议场所20的摄像系统,用于将多个听众B1、B2、B3的图像传送到处于第一会议场所10的第一图像显示系统D1。在第一会议场所10的人员A1、A2、A3和处于第二会议场所20的听众B1、B2、B3进行对话的情况下,与第一会议场所10一样,第二会议场所20可以设有声音跟踪系统V、眼球跟踪系统E和摄像系统C。
如图1所示,根据本发明的一些实施例,所述第二图像显示系统D2进一步构造成在所述判断系统J判断出正在讲话的人员是正在对所有听众讲话时,向所有听众B1、B2、B3显示普通图像。由此,听众能够知道讲话不是针对自己。根据本发明的另外一些实施例,所述第二图像显示系统D2进一步构造成在向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像的同时,向其余的听众显示普通图像。由此,其余的听众能够知道讲话不是针对自己。
根据本发明的一些实施例,除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外,在第一会议场所10还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像。由此,在两个会议场所都有多个人时,向某一听众或某 些听众提供仅仅包含讲话的人员的图像,使听众知道讲话是针对自己。
根据本发明的另外一些实施例,除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外,在第一会议场所10还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像,而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。在两个会议场所都有多个人时,向听众提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像,使听众知道讲话是否是针对自己。
作为特定图像和普通图像的一种实施例,除了包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像之外,所述普通图像比所述特定图像包含更多的场景的图像。由此第一会议场所有一个人或多个人时,改变图像中的场景的大小,使听众知道讲话是否是针对自己。
作为特定图像和普通图像的另一种实施例,正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此,第一会议场所有一个人或多个人时,改变图像中的讲话的人员的图像的大小,使听众知道讲话是否是针对自己。作为特定图像和普通图像的再一种实施例,正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此,第一会议场所有一个人或多个人时,改变图像中的讲话的人员的面部的图像的大小,使听众知道讲话是否是针对自己。
例如,声音跟踪系统V确定处于第一会议场所10的人员A1、A2、A3中谁正在讲话,判断系统J判断正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众讲话,根据判断系统J判断的结果,会议系统100中的第二图像 显示系统D2对多个听众B1、B2、B3提供不同的图像或相同的图像,例如第二图像显示系统D2可以是多视场显示系统或多个显示器,由此可以对多个听众B1、B2、B3提供不同的图像,这样就可以根据不同的需要,更加接近地还原实际的远程会议场景。
比如,在第一会议场所10,如图1所示,声音跟踪系统V检测到正在讲话的人员A2在讲话,并且正在讲话的人员A2在讲话时如果眼部盯着第一图像显示系统D1中的听众B3的图像,判断系统J判断出正在讲话的人员A2和听众B3是在进行单独的对话和交流,第二图像显示系统D2会向听众B3显示特定的图像,例如采用多视场显示系统向听众B3显示特定的图像,而第二图像显示系统D2向其他听众B1和B2依旧提供普通图像,例如第一会议场所10的全部场景,即第二图像显示系统D2向其他听众B1和B2提供的普通图像不受影响。如果眼球跟踪系统E探测到正在讲话的人员A2的眼部动作没有固定的对象,那么判断系统J会判断出正在讲话的人员A2是针对所有听众B1、B2、B3在讲话,所以第二图像显示系统D2不会做特殊处理或所以第二图像显示系统D2提供所有第一会议场所10的人员A1、A2、A3的图像。
例如,在视频会议中,眼球跟踪系统E会捕捉到正在讲话的人员A2盯着第一图像显示系统D1中的听众B3的图像,语音跟踪系统V检测到正在讲话的人员A2发出声音,由此判断系统J判断出正在讲话的人员A2主要是针对听众B3进行讲话,这样在摄像系统C的配合下,将采集的图像输送给第二图像显示系统D2,第二图像显示系统D2会向听众B3显示特定的图像,例如正在讲话的人员A2的单人的影像,而第二图像显示系统D2向其他听众B1和B2依旧提供普通图像,例如第一会议场所10的全景的视频影像或所有第一会议场所10的人员A1、A2、A3的图像。由此,提高了远程视频会议的针对性,避免讲话者针对听者的不确定导致的交流阻塞。
作为另一个示例,在视频会议中,眼球跟踪系统E通过捕捉人员A1、A2、A3的眼球动作检测到人员A1、A2的眼部分别盯着第一图像显示系统D1中的听众B1和B3,同时语音跟踪系统V也同时检测 到人员A1、A2发出声音,由此判断系统J判断出正在讲话的人员A1和听众B1是在进行一对一讲话,并且正在讲话的人员A2和听众B3是在进行一对一讲话,第二图像显示系统D2会向听众B1显示特定的图像,例如正在讲话的人员A1的单人的影像,向听众B3显示特定的图像,例如正在讲话的人员A2的单人的影像,而第二图像显示系统D2向其他听众B2依旧提供普通图像,例如第一会议场所10的全景的视频影像或所有第一会议场所10的人员A1、A2、A3的图像。
下面描述根据本发明的实施例的进行远程会议的方法。
参见图2,根据本发明的实施例的进行远程会议的方法包括:
步骤S100:在第一会议场所10利用第一图像显示系统D1显示多个听众B1、B2、B3的图像;
步骤S200:利用检测系统检测处于第一会议场所10的人员A1、A2、A3的头部的至少一部分的动作或位姿;
步骤S300:利用判断系统J基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话还是针对所有听众讲话;
步骤S400:在所述判断系统J判断出正在讲话的人员是正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话时,利用处于第二会议场所20的第二图像显示系统D2向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像,使所述多个听众B1、B2、B3中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。由此,使远程会议中目标听众知道讲话的人员正在对自己讲话。
参见图2,进行远程会议的方法还包括:步骤S500:在所述判断系统J判断出正在讲话的人员是正在对所有听众讲话时,利用所述第二图像显示系统D2向所有听众显示普通图像。由此,听众能够知道讲话不是针对自己。
根据本发明的一些实施例,进行远程会议的方法还可以包括:在判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话之前,利用声音跟踪系统确定处于第一 会议场所的人员中谁正在讲话。由此可以在第一会议场所具有多个人员时自动确定谁正在讲话。
根据本发明的一个示例,所述检测系统是眼球跟踪系统,所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作,所述判断系统基于所述眼球跟踪系统检测到的眼球动作,判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。由此,可以更准确地确定正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
根据本发明的一些实施例,进行远程会议的方法还包括:利用所述第二图像显示系统D2在向所述多个听众B1、B2、B3中的某一听众或某些听众显示特定图像的同时,向其余的听众显示普通图像。由此,其余的听众能够知道讲话不是针对自己。
根据本发明的一些实施例,除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外,在第一会议场所10还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像。由此,在两个会议场所都有多个人时,向某一听众或某些听众提供仅仅包含讲话的人员的图像,使听众知道讲话是针对自己。
根据本发明的另外一些实施例,除了正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员之外,在第一会议场所10还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的面部的图像,而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。由此,在两个会议场所都有多个人时,向听众提供仅仅包含讲话的人员的图像或包含第一会议场所的所有人的图像,使听众知道讲话是否是针对自己。
作为特定图像和普通图像的一种实施例,除了包含正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像之外,所述普通图像比所述特定图像包含更多的场景的图像。由此,第一会议场所有一个人或多个人时,改变图像中的场景的大小,使听众知道讲话是否是针对自己。
作为特定图像和普通图像的另一种实施例,正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此,第一会议场所有一个人或多个人时,改变图像中的讲话的人员的图像的大小,使听众知道讲话是否是针对自己。
作为特定图像和普通图像的再一种实施例,正在对所述多个听众B1、B2、B3中的某一听众或某些听众讲话的人员A1、A2、A3的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。由此,第一会议场所有一个人或多个人时,改变图像中的讲话的人员的面部的图像的大小,使听众知道讲话是否是针对自己。
此外,第一会议场的人员可以是一个人或多个人。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (20)

  1. 一种远程会议系统,包括:
    处于第一会议场所的第一图像显示系统,所述第一图像显示系统用于显示多个听众的图像;
    检测系统,所述检测系统构造成检测处于第一会议场所的人员的头部的至少一部分的动作或位姿;
    判断系统,所述判断系统构造成基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话;
    处于第二会议场所的第二图像显示系统,所述第二图像显示系统构造成在所述判断系统判断出正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话时,向所述多个听众中的某一听众或某些听众显示特定图像,使所述多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。
  2. 根据权利要求1所述的远程会议系统,还包括:
    处于第一会议场所的声音跟踪系统,所述声音跟踪系统构造成确定处于第一会议场所的人员中谁正在讲话。
  3. 根据权利要求1所述的远程会议系统,其中:
    所述第二图像显示系统进一步构造成在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时,向所有听众显示普通图像。
  4. 根据权利要求1所述的远程会议系统,其中:
    所述第二图像显示系统进一步构造成在向所述多个听众中的某一听众或某些听众显示特定图像的同时,向其余的听众显示普通图像。
  5. 根据权利要求1至4中的任一项所述的远程会议系统,其中:
    除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
  6. 根据权利要求3或4所述的远程会议系统,其中:
    除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像,而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
  7. 根据权利要求3或4所述的远程会议系统,其中:
    除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外,所述普通图像比所述特定图像包含更多的场景的图像。
  8. 根据权利要求3或4所述的远程会议系统,其中:
    正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
  9. 根据权利要求3或4所述的远程会议系统,其中:
    正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
  10. 根据权利要求1所述的远程会议系统,其中:
    所述检测系统是眼球跟踪系统,所述眼球跟踪系统构造成检测处 于第一会议场所的人员的眼球动作,所述判断系统基于所述眼球跟踪系统检测到的眼球动作,判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
  11. 一种进行远程会议的方法,包括:
    在第一会议场所利用第一图像显示系统显示多个听众的图像;
    利用检测系统检测处于第一会议场所的人员的头部的至少一部分的动作或位姿;
    利用判断系统基于所述检测系统检测到的动作或位姿判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话;
    在所述判断系统判断出正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话时,利用处于第二会议场所的第二图像显示系统向所述多个听众中的某一听众或某些听众显示特定图像,使所述多个听众中的某一听众或某些听众知道正在讲话的人员是正在对自己讲话。
  12. 根据权利要求11所述的进行远程会议的方法,还包括:
    在判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话之前,利用声音跟踪系统确定处于第一会议场所的人员中谁正在讲话。
  13. 根据权利要求11所述的进行远程会议的方法,还包括:
    在所述判断系统判断出正在讲话的人员是正在对所有听众讲话时,利用所述第二图像显示系统向所有听众显示普通图像。
  14. 根据权利要求11所述的进行远程会议的方法,还包括:
    利用所述第二图像显示系统在向所述多个听众中的某一听众或某些听众显示特定图像的同时,向其余的听众显示普通图像。
  15. 根据权利要求11至14中的任一项所述的进行远程会议的方法,其中:
    除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像。
  16. 根据权利要求13或14所述的进行远程会议的方法,其中:
    除了正在对所述多个听众中的某一听众或某些听众讲话的人员之外,在第一会议场所还包括另外的人员,所述特定图像仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像或仅仅包含正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像,而所述普通图像包含正在讲话的人员以及至少一个另外的人员的图像或正在讲话的人员以及至少一个另外的人员的面部的图像。
  17. 根据权利要求13或14所述的进行远程会议的方法,其中:
    除了包含正在对所述多个听众中的某一听众或某些听众讲话的人员的图像之外,所述普通图像比所述特定图像包含更多的场景的图像。
  18. 根据权利要求13或14所述的进行远程会议的方法,其中:
    正在对所述多个听众中的某一听众或某些听众讲话的人员的图像在所述特定图像中的大小大于在所述普通图像中的大小。
  19. 根据权利要求13或14所述的进行远程会议的方法,其中:
    正在对所述多个听众中的某一听众或某些听众讲话的人员的面部的图像在所述特定图像中的大小大于在所述普通图像中的大小。
  20. 根据权利要求11所述的进行远程会议的方法,其中:
    所述检测系统是眼球跟踪系统,所述眼球跟踪系统构造成检测处于第一会议场所的人员的眼球动作,所述判断系统基于所述眼球跟踪系统检测到的眼球动作,判断正在讲话的人员是正在对所述多个听众中的某一听众或某些听众讲话还是针对所有听众讲话。
PCT/CN2015/081041 2015-01-09 2015-06-09 远程会议系统和进行远程会议的方法 WO2016110047A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/912,686 US9706169B2 (en) 2015-01-09 2015-06-09 Remote conference system and method of performing remote conference

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510013171.2A CN104539873B (zh) 2015-01-09 2015-01-09 远程会议系统和进行远程会议的方法
CN201510013171.2 2015-01-09

Publications (1)

Publication Number Publication Date
WO2016110047A1 true WO2016110047A1 (zh) 2016-07-14

Family

ID=52855332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/081041 WO2016110047A1 (zh) 2015-01-09 2015-06-09 远程会议系统和进行远程会议的方法

Country Status (3)

Country Link
US (1) US9706169B2 (zh)
CN (1) CN104539873B (zh)
WO (1) WO2016110047A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539873B (zh) * 2015-01-09 2017-09-29 京东方科技集团股份有限公司 远程会议系统和进行远程会议的方法
WO2020240730A1 (ja) * 2019-05-29 2020-12-03 三菱電機株式会社 受話者推定装置、受話者推定方法、及び受話者推定プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732687A (zh) * 2002-12-30 2006-02-08 摩托罗拉公司 用于远程临场通信的方法、系统和装置
WO2007005752A2 (en) * 2005-07-01 2007-01-11 Dennis Christensen Visual and aural perspective management for enhanced interactive video telepresence
US20080298571A1 (en) * 2007-05-31 2008-12-04 Kurtz Andrew F Residential video communication system
CN101764990A (zh) * 2009-12-11 2010-06-30 圆展科技股份有限公司 识别标签呈现方法、呈现系统与视频提供装置、接收装置
CN104539873A (zh) * 2015-01-09 2015-04-22 京东方科技集团股份有限公司 远程会议系统和进行远程会议的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5201050B2 (ja) * 2009-03-27 2013-06-05 ブラザー工業株式会社 会議支援装置、会議支援方法、会議システム、会議支援プログラム
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
CN102377975A (zh) * 2010-08-10 2012-03-14 华为终端有限公司 用于视频通信的视频处理方法、装置及系统
CN104038725B (zh) * 2010-09-09 2017-12-29 华为终端有限公司 多屏视频会议中对与会者图像显示进行调整的方法及装置
GB201017382D0 (en) * 2010-10-14 2010-11-24 Skype Ltd Auto focus
CN102025970A (zh) * 2010-12-15 2011-04-20 广东威创视讯科技股份有限公司 自动调整视频会议显示模式的方法及系统
US8947493B2 (en) * 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8848021B2 (en) * 2012-01-19 2014-09-30 Microsoft Corporation Remote participant placement on a unit in a conference room
US20130215214A1 (en) * 2012-02-22 2013-08-22 Avaya Inc. System and method for managing avatarsaddressing a remote participant in a video conference
US9386270B2 (en) * 2014-01-15 2016-07-05 Cisco Technology, Inc. Displaying information about at least one participant in a video conference session

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732687A (zh) * 2002-12-30 2006-02-08 摩托罗拉公司 用于远程临场通信的方法、系统和装置
WO2007005752A2 (en) * 2005-07-01 2007-01-11 Dennis Christensen Visual and aural perspective management for enhanced interactive video telepresence
US20080298571A1 (en) * 2007-05-31 2008-12-04 Kurtz Andrew F Residential video communication system
CN101764990A (zh) * 2009-12-11 2010-06-30 圆展科技股份有限公司 识别标签呈现方法、呈现系统与视频提供装置、接收装置
CN104539873A (zh) * 2015-01-09 2015-04-22 京东方科技集团股份有限公司 远程会议系统和进行远程会议的方法

Also Published As

Publication number Publication date
US20160353059A1 (en) 2016-12-01
CN104539873A (zh) 2015-04-22
US9706169B2 (en) 2017-07-11
CN104539873B (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
US10182208B2 (en) Panoramic image placement to minimize full image interference
US9883143B2 (en) Automatic switching between dynamic and preset camera views in a video conference endpoint
JP6535681B2 (ja) ビデオ会議中におけるプレゼンターの表示
US9712785B2 (en) Method and system for video conferencing units
US11128793B2 (en) Speaker tracking in auditoriums
US10264210B2 (en) Video processing apparatus, method, and system
US20160359941A1 (en) Automated video editing based on activity in video conference
US20200068172A1 (en) Multiple simultaneous framing alternatives using speaker tracking
US10397519B1 (en) Defining content of interest for video conference endpoints with multiple pieces of content
WO2018209879A1 (zh) 自动选择摄像头画面的方法、装置及音视频系统
NO327899B1 (no) Fremgangsmate og system for automatisk kamerakontroll
US11076127B1 (en) System and method for automatically framing conversations in a meeting or a video conference
WO2019033968A1 (zh) 摄像跟踪方法、装置及设备
US11750925B1 (en) Computer program product and method for auto-focusing a camera on an in-person attendee who is speaking into a microphone at a meeting
US11405584B1 (en) Smart audio muting in a videoconferencing system
US10979666B2 (en) Asymmetric video conferencing system and method
JPWO2019139101A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016110047A1 (zh) 远程会议系统和进行远程会议的方法
US10469800B2 (en) Always-on telepresence device
JP2016039600A (ja) 制御装置、制御方法、プログラム、表示装置、撮像装置および映像会議システム
JP2003244669A (ja) 視線検出機能を有するテレビ会議システム
JP2005328461A (ja) テレビ会議装置及び多地点テレビ会議システム
WO2022051920A1 (en) Tracking with multiple cameras
JP2007228429A (ja) 遠隔会議支援装置及び遠隔会議支援方法
TW202301320A (zh) 依觀看方向進行動作偵測以控制對應裝置之系統及方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14912686

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15876553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27/11/2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15876553

Country of ref document: EP

Kind code of ref document: A1