WO2017215295A1 - 一种摄像机参数调整方法、导播摄像机及系统 - Google Patents

一种摄像机参数调整方法、导播摄像机及系统 Download PDF

Info

Publication number
WO2017215295A1
WO2017215295A1 PCT/CN2017/075893 CN2017075893W WO2017215295A1 WO 2017215295 A1 WO2017215295 A1 WO 2017215295A1 CN 2017075893 W CN2017075893 W CN 2017075893W WO 2017215295 A1 WO2017215295 A1 WO 2017215295A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
video object
video
coordinate
dimensional
Prior art date
Application number
PCT/CN2017/075893
Other languages
English (en)
French (fr)
Inventor
刘源
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2017215295A1 publication Critical patent/WO2017215295A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • a guide strategy may be generated to perform camera parameter adjustment; otherwise, panoramic shooting may be performed, or switching to another guide camera for shooting, Or do nothing.
  • FIG. 2 is a schematic flowchart diagram of a camera parameter adjustment method according to an embodiment of the present invention. Specifically, the method of the embodiment of the present invention may be specifically applied to the above-mentioned navigation camera. As shown in FIG. 2, the camera parameter adjustment method in the embodiment of the present invention may include the following steps:
  • FIG. 4 is a schematic flowchart diagram of another camera parameter adjustment method according to an embodiment of the present invention.
  • the guide camera can be used for detecting/tracking of a student, and can mainly perform detection based on a student standing motion: when the guide camera detects that a student in the classroom stands, a close-up image of the standing student is output. When there are no students standing in the classroom, a panoramic image of the classroom is output. When there are multiple students standing in the scene, they are guided according to a certain strategy, such as taking a close-up of the first standing student, or making a close-up of the students who are talking among the standing students according to the detected sound source information, etc. Wait.
  • the camera parameter adjustment method in the embodiment of the present invention may include the following steps:
  • the navigation camera can detect/track the video object in the shooting scene of the binocular camera, thereby establishing a model for obtaining the video object.
  • the video object may include a student's face object, a humanoid object or a moving object, and the like.
  • the guide camera can detect/track the feature set in the video object model, and the feature can include the feature point and the feature edge of the video object, and can be obtained by the above-mentioned video object feature detection and matching algorithm, and details are not described herein.
  • the distance of the student to the PTZ camera can be determined according to the coordinates of the student in the PTZ camera. Therefore, the parameter adjustment is performed according to the distance, so that the speed of the camera's auto focus can be improved and the Zoom value can be quickly adjusted to obtain a close-up effect of an appropriate size.
  • the first target object may refer to a blackboard, which may be determined according to the feature matching algorithm described above, so that the arm of the video object can be determined by the pair of lines, and the distance between the arm and the blackboard is detected to determine the video.
  • the object such as whether the teacher is performing a blackboard operation, is to make a close-up of the book operation when determining the board book.
  • the video object includes a second target object of a preset shape
  • the determining unit 12 is further specifically configured to:
  • the binocular camera is configured to acquire a second three-dimensional coordinate of the video object, and transmit the second three-dimensional coordinate to the navigation camera; wherein the second three-dimensional coordinate is the video object in the binocular The three-dimensional coordinates of the second coordinate system corresponding to the camera;
  • the processor 100 reads the driver software from the memory 200 and executes it under the action of the driver software:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例公开了一种摄像机参数调整方法、导播摄像机以及系统，其中，该方法包括：获取视频对象的第一三维坐标，所述第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标；判断所述视频对象对应的视频事件是否与预设的触发事件相匹配；若是，则将所述导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。采用本方案，能够基于三维坐标检测提高对象检测和跟踪的精度，从而提升参数调整的准确性，并降低设备成本。

Description

一种摄像机参数调整方法、导播摄像机及系统
本申请要求于2016年6月14日提交中国专利局、申请号为201610420547.6、发明名称为“一种摄像机参数调整方法、导播摄像机及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及图像处理技术领域，尤其涉及一种摄像机参数调整方法、导播摄像机及系统。
背景技术
随着图像处理技术以及互联网的不断发展，智能教学系统已被广泛应用于各种课堂(或培训、会议等)中，其通过对教师授课内容以及师生间的互动过程进行拍摄，使得其他用户能够通过网络直播或录播平台将教师授课内容以及师生间的互动过程进行直播或点播，实现远程教学。
在智能教学系统中，摄像机在对教师及学生进行拍摄时，需要通过运动检测和跟踪确保教师和学生处于拍摄图像的合适区域中，如目前可通过让教师佩戴红外传感器并通过摄像机来对教师进行检测和跟踪，或者采用单个全景摄像机来进行运动检测，并控制PTZ(Pan Tilt Zoom，即“平移，倾斜，变焦”)摄像机进行跟踪。然而，该通过红外传感器进行检测和跟踪的方式是基于摄像机采集图像中对象的二维坐标进行检测和跟踪的，导致其检测和跟踪的准确性较低，且由于用户必须佩戴特殊的红外传感器，则额外增加了设备成本；而该采用全景摄像机进行检测方式也是基于摄像机采集图像中对象的二维坐标进行检测和跟踪的，且其采用的是简单的图像检测算法，受限于算法的性能，导致其检测和跟踪的准确性较低。
发明内容
本发明实施例提供一种摄像机参数调整方法、导播摄像机及系统，能够基于三维坐标检测提高对象检测和跟踪的精度，从而提升参数调整的准确性，并降低设备成本。
第一方面，本发明实施例提供了一种摄像机参数调整方法，所述方法应用于导播摄像机中，包括：
获取视频对象的第一三维坐标；判断该视频对象对应的视频事件是否与预设的触发事件相匹配；若是，则将该导播摄像机的摄像参数调整为与该第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。
其中，该第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标。该导播摄像机可配置为PTZ摄像机，则该导播摄像机对应的第一坐标系可以是指以PTZ摄像机光心为原点建立的三维坐标系，或者以其他任意参照物为原点建立的三维坐标系。
可选的，该预设的触发事件可包括但不限于学生站立事件，学生举手事件、教师讲台 授课事件、板书事件、PPT播放事件等等。从而可基于对象三维坐标来进行导播摄像机的参数调整，对学生站立事件，学生举手事件、教师授课事件、板书事件、PPT播放事件等事件进行特写，并输出调整摄像参数后的视频图像，使得能够基于三维坐标检测提升对象检测和跟踪的准确性，提升参数调整的准确性以确保输出图像的显示效果，并能够降低设备成本。
在一些实施例中，若该视频对象对应的视频事件与预设的触发事件相匹配，则可生成导播策略，进行摄像参数调整；否则，可进行全景拍摄，或切换到其他导播摄像机进行拍摄，或不做任何处理。
可选的，在一些实施例中，所述获取视频对象的第一三维坐标的具体方式可以为：获取与该导播摄像机连接的双目摄像机传输的视频对象的第二三维坐标；根据预先标定的该双目摄像机和该导播摄像机的位置关系，将该视频对象的第二三维坐标转换为第一三维坐标。
进一步可选的，该第二三维坐标可以是该双目摄像机通过分别获取的视频对象在该双目摄像机的左视图和右视图中的二维坐标以及获取的该双目摄像机的内外参数据计算得到的。
其中，该第二三维坐标为视频对象在双目摄像机对应的第二坐标系下的三维坐标。该二维坐标为所述视频对象在所述双目摄像机的左视图和右视图中对应的像素坐标。
可选的，在一些实施例中，该双目摄像机可安装在导播支架上，即该导播摄像机如PTZ摄像机可通过导播支架与双目摄像机连接。进一步可选的，该导播支架上还可安装麦克风。
可选的，在一些实施例中，该第一三维坐标包括X、Y、Z方向的坐标值；则所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配的具体方式可以为：计算视频对象在Y方向的当前坐标值与历史坐标值的差值；判断该差值是否超过预设的第一距离阈值；若超过，则确定该视频对象对应的视频事件与预设的触发事件相匹配。
其中，所述计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值的具体方式可以为：获取所述视频对象对应的图像帧集合，所述图像帧集合中包括当前图像帧之前的预设数目的图像帧；按照预设的筛选规则从所述图像帧集合中确定出所述视频对象在Y方向的历史坐标值，并计算所述视频对象在所述Y方向的当前坐标值与所述历史坐标值的差值。
可选的，该按照预设的筛选规则确定出的历史坐标值可以是该图像帧集合中的所有或部分图像帧在Y方向的坐标值的平均值，或该图像帧集合中任一图像帧在Y方向的坐标值，如该图像帧集合中与当前图像帧距离时间最长的图像帧在Y方向的坐标值，等等。从而可通过检测视频对象如学生的站立动作来实现对导播摄像机的参数调整，实现对站立的学生的特写。
可选的，在一些实施例中，所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配的具体方式可以为：获取当前视频图像中的视频对象的数目以及所述视频对象的面积；当视频对象的数目为1，且该视频对象的面积不小于预设面积阈值时，则确定该视频对象对应的视频事件与预设的触发事件相匹配。从而可根据视频对象的三维坐标进行摄像机参数调整，实现对该视频对象如正在讲台上授课的教师的特写。
可选的，在一些实施例中，还可通过将双目摄像机获取的包括视频对象的图像进行边 缘直线化处理；从进行边缘直线化处理后的图像中确定出夹角小于预设角度阈值的直线对，并从该直线对中选取出所述视频对象的特征点。则所述获取视频对象的第一三维坐标的具体方式可以为：获取该特征点的第一三维坐标，并将该特征点的第一三维坐标作为该视频对象的第一三维坐标。
进一步可选的，所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配的具体方式可以为：根据预设颜色和/或特征边缘算法从当前拍摄区域中确定出第一目标对象，并获取该第一目标对象在该第一坐标系下的三维坐标；根据该第一三维坐标和该目标对象的三维坐标确定出视频对象(如上述的特征点)与该第一目标对象的第二距离值，并将该第二距离值与预设的第二距离阈值进行比较；若该第二距离值小于所述第二距离阈值，则确定该视频对象对应的视频事件与预设的触发事件相匹配。
其中，该第一目标对象可以是指黑板，其可以根据预设的特征匹配算法确定出，从而可通过该直线对确定出视频对象的手臂，并通过检测该手臂与黑板的距离，确定出视频对象如教师是否正进行板书操作，以便于在确定进行板书时对该板书操作进行特写。
可选的，在一些实施例中，所述视频对象还可包括预设形状的第二目标对象；所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配的具体方式可以为：获取第二目标对象中显示内容发生变化的区域的面积；判断该面积是否大于预设的面积阈值；若超过面积阈值，则确定该视频对象对应的视频事件与预设的触发事件相匹配。
进一步可选的，所述获取所述第二目标对象中显示内容发生变化的区域的面积的具体方式可以为：获取第二目标对象中亮色度发生变化的像素的数目；根据获取的像素的数目以及每一个像素的大小确定出所述第二目标对象中显示内容发生变化的区域的面积。
其中，该第二目标对象可以是指PPT投影幕，从而能够通过检测PPT内容变化来实现对PPT演示的特写。
第二方面，本发明实施例还提供了一种导播摄像机，包括：通信接口、存储器和处理器，所述处理器分别与所述通信接口及所述存储器连接；其中，
所述存储器用于存储驱动软件；
所述处理器从所述存储器读取所述驱动软件并在所述驱动软件的作用下执行上述第一方面的摄像机参数调整方法的部分或全部步骤。
第三方面，本发明实施例还提供了一种参数调整装置，包括获取单元、判断单元以及参数调整单元，该参数调整装置通过上述单元实现第一方面的摄像机参数调整方法的部分或全部步骤。
第四方面，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有程序，所述程序执行时包括上述第一方面的摄像机参数调整方法的部分或全部的步骤。
第五方面，本发明实施例还提供了一种导播摄像系统，包括导播摄像机和双目摄像机，所述导播摄像机通过有线接口或无线接口与所述双目摄像机连接；其中，
所述双目摄像机，用于获取视频对象的第二三维坐标，并将所述第二三维坐标传输给所述导播摄像机；
所述导播摄像机，用于执行上述第一方面的摄像机参数调整方法的部分或全部的步骤。
实施本发明实施例，具有如下有益效果：
在本发明实施例中，可通过获取视频对象在以导播摄像机对应的坐标系下的三维坐标， 以及检测该视频对象对应的视频事件是否与预设的触发事件相匹配，确定是否需要进行摄像机参数调整，并具体在匹配时根据该获取的视频对象的三维坐标来进行导播摄像机的参数调整，以输出调整摄像参数后的视频图像，使得导播摄像系统能够基于三维坐标检测，以提高视频对象检测和跟踪的精度，从而提升参数调整的准确性，确保输出图像的显示效果，并能够降低设备成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种导播摄像机的应用场景的俯视图；
图1b是图1a的导播摄像机的应用场景的侧视图；
图2是本发明实施例提供的一种摄像机参数调整方法的流程示意图；
图3a是本发明实施例提供的一种摄像机成像模型示意图；
图3b是本发明实施例提供的一种双目摄像机的三维定位原理图；
图3c是本发明实施例提供的一种PTZ摄像机旋转模型示意图；
图4是本发明实施例提供的另一种摄像机参数调整方法的流程示意图；
图5是本发明实施例提供的又一种摄像机参数调整方法的流程示意图；
图6是本发明实施例提供的再一种摄像机参数调整方法的流程示意图；
图7是本发明实施例提供的一种参数调整装置的结构示意图；
图8是本发明实施例提供的一种导播摄像系统的结构示意图；
图9是本发明实施例提供的一种导播摄像系统的组网示意图；
图10是本发明实施例提供的一种导播摄像机的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应理解，本发明实施例涉及的“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本发明实施例涉及的导播摄像机可具体为PTZ摄像机，其连接有双目摄像机，该导播摄像机可应用于教学、会议、培训等场景，并可根据不同场景进行导播摄像机位置及数目的部署。例如，一种典型的应用场景如图1a至图1b所示，该图1a为本发明实施例 提供的一种导播摄像机的应用场景的俯视图，图1b是图1a的应用场景的侧视图。该应用场景下，导播摄像机部署为三机位安装方式，即部署包括三个导播摄像机，每一个导播摄像机连接有双目摄像机(图中未示出)。该场景适用于较小的导播空间(如教室、会议室等等)，所需要的导播摄像机数量可配置为较少。具体的，以导播空间为教室为例，该应用场景下的三个导播摄像机可分别为用于学生检测/跟踪的导播摄像机(即导播摄像机1)、用于教师检测/跟踪的导播摄像机(即导播摄像机2)以及用于板书/PPT演示检测/跟踪的导播摄像(即导播摄像机3)。其中，该导播摄像机1可安装于教室前面墙壁的上方，向下呈一定角度俯拍学生，如可安装于教室中的黑板的上方，该导播摄像机1可用于拍摄学生的全景和特写。导播摄像机2可安装于教室后面墙壁的上方，以拍摄教师活动的区域，用于跟踪拍摄教师的全景和特写。导播摄像机3可采用天花板吊装方式置于黑板的前上方，并配置以距离黑板较近，用于拍摄板书的特写。当导播摄像机3检测到教师在写板书时，可输出板书特写的视频图像，而检测到PPT演示内容发生改变时，则可输出PPT演示的视频图像。
可选的，上述的应用场景中的导播摄像机之间可以通过局域网(Local Area Network，简称为“LAN”)或无线保真(Wireless Fidelity，简称为“Wi-Fi”)的方式进行互联以传输控制消息，该控制消息包括摄像机切换消息、音视频数据如视频对象模型数据等等。进一步可选的，该控制消息可通过互联网协议(Internet Protocol，简称为“IP”)传输，如采用IP Camera协议栈。当某一导播摄像机需要进行多路视频输出时，可连接到该导播摄像机所在组网系统的视频矩阵上，由视频矩阵进行切换输出。可选的，该视频矩阵的切换策略可以由场景中的任一指定的导播摄像机如作为主机位的导播摄像机控制，或由第三方设备进行控制，本发明实施例不做限定。该视频矩阵输出的视频图像通过编解码设备进行编码后，可在本地进行录制或传输到远端，以实现视频点播或直播等。其中，每个导播摄像机可称为一个机位，当采用多个导播摄像机进行配合拍摄时，可从中确定出一个主机位，则其余为从机位，作为从机位的导播摄像机可将自身的IP等信息注册到主机位上，从而主机位能够实现对多个从机位进行管理。
在一些实施例中，该双目摄像机可安装在导播支架上，即该PTZ摄像机(即导播摄像机)可通过导播支架(简称“支架”)与双目摄像机连接。其中，PTZ摄像机用于进行导播拍摄和跟踪，此外，该支架上还可安装麦克风，该麦克风可用于实现声源定位、声源识别等功能。该PTZ摄像机和支架可以是分离的，也可以是集成在一起的，且该PTZ摄像机和支架之间可采用控制接口如串行接口进行通信。
在一些实施例中，双目摄像机可用于视频采集、视频预处理、运动检测、人脸检测、人形检测、场景对象检测、特征检测/匹配、双目摄像机标定、多摄像机标定等等，麦克风可用于音频采集、音频预处理、视频采集、声源行为识别等等，PTZ摄像机可用于视频对象3D定位、视频对象建模、视频对象跟踪、动作/姿态识别、导播控制及视频切换/合成等等。其中，视频预处理包括对输入的双目图像进行预处理，如进行降噪，更改分辨率和帧率等操作；运动检测包括检测场景中的运动对象，并将运动对象和静止的背景进行分离，得到运动对象的区域；人脸检测包括检测场景中的人脸目标对象，输出人脸的检测信息，如人脸位置、区域、方向等信息；人形检测包括检测场景中的人形头肩部分区域，输出检测信息；场景对象检测包括检测场景中除了人之外的其它对象，如黑板和讲台等；特征检测/ 匹配包括对检测得到的运动对象区域进行特征检测和匹配，检测一个图像中的特性对象(如特征点)并在另一个图像中进行匹配，输出匹配的特征对象信息；双目摄像机标定包括对双目摄像机及PTZ摄像机进行标定，获得双目摄像机内外参和双目摄像机与PTZ摄像机的相对外参信息，用于计算视频图像中的视频对象的三维坐标；多摄像机标定包括对多个导播摄像机的相对位置关系进行标定，获得多个导播摄像机的相对外参信息，用于视频对象在多个导播摄像机坐标系中的定位。进一步的，音频采集包括同步采集麦克风的多路音频数据；音频预处理包括对输入的多路音频数据进行3A处理，其中3A处理包括自动曝光控制(AE)、自动聚焦控制(AF)、自动白平衡控制(AWB)；声源定位包括对输入的多路音频数据进行检测，找到发声对象的二维位置信息；声源行为识别包括检测和统计场景中视频对象的语音行为。进一步的，视频对象3D定位包括根据双目摄像机的内外参和特征检测/匹配得到的视差信息，获得图像中对象特征的深度信息，结合音频定位的结果，得到对象特征在单个导播摄像机坐标系下的三维位置信息，根据特征在单个导播坐标系下的位置以及多个导播摄像机的相对位置关系，可以得到特征在其它导播摄像机坐标系中的位置信息；视频对象建模包括结合音源定位、人脸信息、特征对象和场景对象等信息构建视频对象的模型；视频对象跟踪包括对场景中多个视频对象进行跟踪，更新对象的状态信息；动作/姿态识别包括对视频对象的动作、姿态等进行识别，例如识别学生的站立姿势、举手动作，教师的板书动作等；导播控制包括结合动作/姿态识别和音源行为识别的结果确定导播策略，导播摄像机控制输出导播策略对应的控制指令、视频对象和场景特征信息以及视频输出策略等。其中，摄像机控制指令可用于控制PTZ摄像机进行PTZ操作，即平移、倾斜、变焦操作等等，视频对象和场景特征信息可用于多个导播摄像机之间的信息共享，视频输出策略可用于控制单个或多个导播摄像机包括的多路PTZ摄像机视频流的输出策略。
应理解，在本发明实施例中，不同应用场景下每个导播摄像机可根据检测到的视频对象的不同制定出相同或不同的导播策略，即上述的导播摄像机1、2、3为不同检测位置下进行视频对象检测以确定导播策略的摄像机。其中，该导播策略包括对视频对象进行特写、全景拍摄、切换视频输出图像等等。
进一步的，请参见图2，图2是本发明实施例提供的一种摄像机参数调整方法的流程示意图。具体的，本发明实施例的所述方法可具体应用于上述的导播摄像机中，如图2所示，本发明实施例的所述摄像机参数调整方法可以包括以下步骤：
101、获取视频对象的第一三维坐标。
其中，所述第一三维坐标为所述视频对象在导播摄像机对应的第一坐标系下的三维坐标。该导播摄像机可配置为PTZ摄像机，则该导播摄像机对应的第一坐标系可以是指以PTZ摄像机光心为原点建立的三维坐标系，或者以其他任意参照物为原点建立的三维坐标系，本发明实施例不做限定。
可选的，所述导播摄像机可与预置的双目摄像机相连接，该双目摄像机可具体安装在与该PTZ摄像机连接的导播支架上。则所述获取视频对象的第一三维坐标，可以具体为：获取与所述导播摄像机连接的双目摄像机传输的视频对象的第二三维坐标，所述第二三维坐标为所述视频对象在所述双目摄像机对应的第二坐标系下的三维坐标；根据预先标定的所述双目摄像机和所述PTZ摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。进一步可选的，所述第二三维坐标可以是所述双目摄像机通过分别获取的视 频对象在所述双目摄像机的左视图和右视图中的二维坐标以及获取的所述双目摄像机的内外参数据计算得到的。其中，该双目摄像机对应的第二坐标系可以是指以双目摄像机光心为原点建立的三维坐标系，或者以其他任意参照物为原点建立的三维坐标系。该二维坐标为所述视频对象在所述双目摄像机的左视图和右视图中对应的像素坐标。
具体实施例中，可预先对双目摄像机之间的位置关系、导播摄像机(PTZ摄像机)和双目摄像机之间的位置关系以及多导播摄像机之间的位置关系进行标定。其中，双目摄像机系统标定得到的参数可用于计算视频对象在双目摄像机对应的坐标系下的三维坐标；导播摄像机和双目摄像机之间的位置关系标定可用于计算视频对象在导播摄像机坐标系下的三维坐标；而多导播摄像机之间的位置关系标定的参数可用于计算多机位部署场景时，视频对象在每个导播摄像机坐标系下的三维坐标，以便于进行坐标转换。具体的，下面对标定过程进行简要描述。其中，双目摄像机包括左摄像机和右摄像机，左摄像机获取的图像称为左视图，右摄像机获取的图像称为右视图。则其中单个摄像机的成像(投影)模型可通过如下公式来描述：
x＝PX＝K[R|t]X
如图3a所示，x为场景中某个点(即视频对象，具体可为视频对象对应的特征点)在图像坐标系下的像素坐标，其为二维坐标；X为场景中某个点在世界坐标系下的位置坐标；P为3×4的投影矩阵。PX是指P×X。其中，K为3×3的摄像机内参矩阵，可以表示为：
Figure PCTCN2017075893-appb-000001
其中，fx,fy为x和y方向的等效焦距，cx,cy为为光心的图像坐标，s为skew形变系数(sensor和光轴不垂直导致，通常很小，在标定过程中可忽略)。
此外，R和t为摄像机外参，分别表示为3×3的旋转矩阵和3×1的平移向量，如下所示：
R＝[r1 r2 r3]
t＝[t1 t2 t3]T
其中，r1,r2,r3为旋转矩阵中3×1的列向量。
由于摄像机镜头的光学特性、图像感光器件的制造和安装等因素，摄像机实际拍摄得到的图像不是理想的，会存在畸变，因此需要对图像畸变进行建模，以获取理想图像。具体的，摄像机图像畸变的模型可根据如下公式来描述：
Figure PCTCN2017075893-appb-000002
其中，xp,yp为校正后像素位置，xd,yd为校正前像素位置，k1,k2,k3为径向畸变系数，p1,p2为切向畸变系数。
基于上述单目摄像机的成像模型，当已知世界坐标系变换到左摄像机坐标系和右摄像机坐标系的旋转矩阵R1和R2及平移向量t1和t2时，则可以得到双目摄像机之间的相对外参，包括旋转矩阵R和平移向量T：
Figure PCTCN2017075893-appb-000003
Figure PCTCN2017075893-appb-000004
应理解，在本发明实施例中，双目摄像机之间的位置关系以及PTZ摄像机与双目摄像机之间的位置关系是固定不变的，这两种标定可以在出厂前完成，即该两种标定得到的数据如内外参数据是固定不变的。可选的，在本发明实施例中，摄像机的标定可以采用多种方案，如Zhang的平面标定法(又称“张氏标定法”)，其畸变参数计算采用Brown的方法，此处不赘述。
进一步的，由上述双目摄像机标定原理可知，多导播摄像机位置关系的标定的本质是求两两相邻的导播摄像机之间的相对外参，根据相邻导播摄像机之间的相对外参计算出任意两个导播摄像机之间的外参，从而得到任意两个导播摄像机之间的位置关系。多导播摄像机部署时两两导播摄像机之间需要有较大的拍摄重叠区域，多个机位构成类似于环绕多摄像机系统，第i个摄像机相对第j个摄像机的旋转矩阵和平移向量为：
Ri,i-1Ri-1,i-2...Rj+1,j
Ri,i-1Ri-1,i-2...Rj+2,j+1Tj+Ri,i-1Ri-1,i-2...Rj+3,j+2Tj+1+...+Ri,i-1Ti-2+Ti-1
其中，Ri,i-1Ri-1,i-2...Rj+1,j表示Ri,i-1×Ri-1,i-2×...×Rj+1,j。由于导播摄像机部署时，不同导播支架上用于定位的摄像头的位置是根据实际部署场景发生变化的，因此多导播摄像机之间的位置关系无法在设备出厂前进行预标定，则可在导播摄像机部署时进行现场标定。
进一步的，在实现对双目摄像机之间的位置关系、导播摄像机和双目摄像机之间的位置关系以及多导播摄像机之间的位置关系的标定之后，即可对导播摄像机的拍摄范围内的视频对象进行定位，获取其三维位置信息，以根据获取的三维位置信息确定出合适的导播摄像机机位，并根据该三维位置信息对应的导播策略对该导播摄像机进行参数调整，控制PTZ摄像机定位到合适的位置进行视频对象拍摄。其中，对视频对象的定位包括双目摄像机三维定位、单导播摄像机如PTZ摄像机定位以及多导播摄像机机位间的三维定位。
具体的，在双目摄像机的三维定位过程中，可利用双目摄像头拍摄的立体图像，计算得到场景中某个观测点在摄像机坐标系中的深度位置信息，从而确定该观测点的三维位置信息。该方式和人眼感知深度距离的原理相同，称为双目摄像机测距。如图3b所示，其提供了一种双目摄像机的三维定位原理图，以下对该双目摄像机系统的测距原理进行简要介绍。其中，P为世界坐标系下的观测点，被左右两个摄像机拍摄成像。其中，该P点在左摄像机物理坐标系中的位置为XL，YL，ZL，在左视图的成像点像素位置坐标为xl，yl；在右摄像机物理坐标系中的位置为XR，YR，ZR，在右视图的成像点像素位置坐标为xr，yr，假设左右摄像机的相对外参为R，T；左右摄像机的焦距分别为：fl，fr。根据双目摄像 机模型，可知左右摄像机的成像模型和左右摄像机的物理坐标位置关系为：
Figure PCTCN2017075893-appb-000005
Figure PCTCN2017075893-appb-000006
根据上述公式可推导得到：
Figure PCTCN2017075893-appb-000007
其中，xl，yl，xr，yr的值可以通过图像匹配得到，fl，fr，R，T可以通过双目摄像机标定得到，因此可以计算出XL，YL，ZL和XR，YR，ZR的值，从而确定场景中观测点在双目摄像机对应的坐标系下的三维坐标。
进一步的，在PTZ摄像机三维定位过程中，PTZ摄像机定位的基本目的是已知某个目标在PTZ摄像机坐标系中的物理坐标，如何通过旋转PTZ摄像机使得该目标的某个点定位到图像中的特定像素坐标位置。该目标在PTZ摄像机坐标系中的物理坐标可以通过该目标在双目摄像机坐标系中的三维位置，以及标定得到的双目摄像机和PTZ摄像机之间的位置关系计算得出。请参见图3c，是本发明实施例提供的一种PTZ摄像机旋转模型示意图。如图3c所示，假设希望目标点P出现的位置坐标为x0,y0，目标点P的物理坐标位置为X,Y,Z，在成像平面上的像素坐标位置为xc,yc，则可分别绕X轴和Y轴旋转，使点P的像素位置和目标位置重合，则Pan(平移)和Tilt(倾斜)操作的旋转角度可以按下列公式建模：
Figure PCTCN2017075893-appb-000008
Figure PCTCN2017075893-appb-000009
由于PTZ摄像机为变焦相机，因此需要获取变焦倍数Z和焦距、畸变系数等内参的函数关系。例如，可利用多项式拟合变焦倍数Z和焦距fx，fy的关系，得到如下关系：
fx＝a0+a1Z+a2Z2+...anZn
fy＝b0+b1Z+b2Z2+...bnZn
具体的，在不同的Z值下，标定得到摄像机内参，计算得到对应的fx，fy和畸变系数，并使用最小二乘法拟合出系数。其它的畸变系数等内参也可以按照类似方法处理。得到不同Z值下摄像机的内参后，根据Pan/Tilt模型公式可以计算得到Δp,Δt的值。
进一步的，在确定出双目摄像机的三维定位及PTZ摄像机三维定位之后，即可对
视频对象检测跟踪和场景建模。其中，视频对象检测/跟踪的目的是构建和描述场景中存在的视频对象，并对这些对象进行跟踪和识别。视频对象包括教师和学生对象，系统需要循环地对输入的双目摄像机的图像数据进行处理，包括进行人脸检测和匹配、人形检测和匹配、动对象检测和匹配等，对视频对象建立模型并更新模型参数，从而根据检测得到的对象模型进行整个拍摄场景的建模。建模得到的场景模型可用于后续的动作识别和导播策略处理。其中，人脸检测可以用于检测距离较近的视频对象，如检测距离较近的教师和学生，对于较远的区域，由于人脸面积较小无法很好的检测出，则可采用人形或运动对象检测的方法。对于人脸检测、人形检测和运动对象检测等检测方法的具体实现方式，此处不赘述。其中，视频对象的匹配可应用于双目摄像机中，利用该双目摄像机中一个摄像机图像中检测到的视频对象区域，在另一个摄像机图像中找到对应的视频图像区域，以便于在视频对象的匹配区域中进行特征匹配和三维坐标的计算。视频对象的匹配算法和跟踪算法类似，可采用基于灰度的模板匹配和MeanShift等算法，此处不赘述。
在本发明实施例中，视频对象可以通过其特征进行表示，通常使用的特征包括特征点、图像纹理、直方图信息等。该特征检测和匹配可在检测到的视频对象区域中进行，从而可根据特征点信息来计算视频对象的三维位置信息，即三维坐标，并可根据纹理信息和直方图信息进行视频对象的跟踪。其中，该特征点是主要的特征类型，特征点检测算法包括Harris角点检测、SIFT特征点检测等算法。进一步的，特征匹配用于建立双目摄像机同一视频对象特征的对应关系，特征点可以采用FLANN算法、KLT光流法等匹配算法进行匹配，图像纹理可以采用灰度模板匹配等算法进行匹配，直方图可以采用直方图匹配等算法进行匹配。综上，根据匹配得到的特征信息，以及上述的双目摄像机三维定位算法，则可计算得到单个导播摄像机三维坐标系下视频对象特征的三维坐标，从而可以在三维空间中定位和跟踪某个视频对象。
进一步的，根据视频对象检测和匹配、特征检测和匹配算法得到数据以及视频对象三维位置计算的结果，可在单个导播摄像机坐标系中建立起多个视频对象的模型，并可通过人脸、人形和运动检测跟踪算法对模型数据进行更新。具体的，可为每个视频对象模型分配一个唯一的ID号，模型中的数据代表了该视频对象的属性。例如，对于运动对象模型，模型中的数据可包括对象ID、外接矩形二维坐标、对象特征点的三维坐标、运动区域纹理数据、直方图数据等属性。当运动对象位置发生变化时，其属性会根据上述检测和匹配算法的输出进行刷新，但对象的ID保持不变。人脸和人形对象的建立与运动对象模型类似，此处不再赘述。
应理解，在多机位应用场景中，多个导播摄像机之间可以通过网络通信交换视频对象模型数据，单个导播摄像机得到了其它导播摄像机的视频对象模型数据后，可利用上述的多导播摄像机三维定位和视频对象匹配的算法建立视频对象模型的对应关系，从而得到对整个场景的导播策略。通信时的网络通信协议可以采用标准协议如HTTP协议，也可以采用 自定义协议，视频对象模型的数据被按照一定格式如XML格式进行格式化、打包和传输。通过对多个导播摄像机视频对象模型的匹配和合并，单个导播摄像机可建立起整个拍摄场景的模型。场景模型中包含了多个视频对象的模型，反映了视频对象的特征和在三维空间中的分布情况。导播摄像机需要对场景模型进行维护，包括新增、删除对象模型和对象模型属性更新。例如当双目摄像机检测到新的运动对象或人形对象时，建立对象模型后加入对象模型集合中；视频对象消失后，删除该对象的模型；视频对象位置发生变化后，更新对应对象模型的参数。
102、判断所述视频对象对应的视频事件是否与预设的触发事件相匹配。
具体的，若该视频对象对应的视频事件与预设的触发事件相匹配，则可执行步骤103，生成导播策略，进行摄像参数调整；否则，可进行全景拍摄，或切换到其他导播摄像机进行拍摄，或不做任何处理，本发明实施例不做限定。
可选的，该预设的触发事件可包括但不限于学生站立事件，学生举手事件、教师讲台授课事件、板书事件、PPT播放事件等等。
103、将导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。
可选的，所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，可以具体为：获取当前视频图像中的视频对象的数目以及所述视频对象的面积；当视频对象的数目为1，且该视频对象的面积不小于预设面积阈值时，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。从而可根据视频对象的三维坐标进行摄像机参数调整，实现对该视频对象如正在讲台上授课的教师的特写。
可选的，所述第一三维坐标包括X、Y、Z方向的坐标值；所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，可以具体为：计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值；判断所述差值是否超过预设的第一距离阈值；若超过，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。进一步的，所述计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值，可以具体为：获取所述视频对象对应的图像帧集合，所述图像帧集合中包括当前图像帧之前的预设数目的图像帧；按照预设的筛选规则从所述图像帧集合中确定出所述视频对象在Y方向的历史坐标值，并计算所述当前坐标值与所述历史坐标值的差值。其中，该按照预设的筛选规则确定出的历史坐标值可以是该图像帧集合中的所有或部分图像帧在Y方向的坐标值的平均值，或该图像帧集合中任一图像帧在Y方向的坐标值，如该图像帧集合中与当前图像帧距离时间最长的图像帧在Y方向的坐标值。从而可通过检测视频对象如学生的站立动作来实现对导播摄像机的参数调整，实现对站立的学生的特写。
可选的，还可通过将所述双目摄像机获取的包括所述视频对象的图像进行边缘直线化处理；从所述进行边缘直线化处理后的图像中确定出夹角小于预设角度阈值的直线对，并从所述直线对中选取出所述视频对象的特征点。则所述获取视频对象的第一三维坐标，可以具体为：获取所述特征点的第一三维坐标，并将所述特征点的第一三维坐标作为所述视频对象的第一三维坐标。
进一步可选的，所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，可以具体为：根据预设颜色和/或特征边缘算法从当前拍摄区域中确定出第一目标对象，并 获取所述第一目标对象在所述第一坐标系下的三维坐标；根据所述第一三维坐标和所述第一目标对象的三维坐标确定出所述视频对象与所述第一目标对象的第二距离值，并将所述第二距离值与预设的第二距离阈值进行比较；若所述第二距离值小于所述第二距离阈值，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。其中，该第一目标对象可以是指黑板，其可以根据上述的特征匹配算法确定出，从而可通过该直线对确定出视频对象的手臂，并通过检测该手臂与黑板的距离，确定出视频对象如教师是否正进行板书操作，以便于在确定进行板书时对该板书操作进行特写。
进一步可选的，所述视频对象包括预设形状的第二目标对象；所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，可以具体为：获取所述第二目标对象中显示内容发生变化的区域的面积；判断所述面积是否大于预设的面积阈值；若超过所述面积阈值，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。可选的，所述获取所述第二目标对象中显示内容发生变化的区域的面积，可以具体为：获取所述第二目标对象中亮色度发生变化的像素的数目；根据获取的像素的数目以及每一个像素的大小确定出所述第二目标对象中显示内容发生变化的区域的面积。其中，该第二目标对象可以是指PPT投影幕，从而能够通过检测PPT内容变化来实现对PPT演示的特写。
在本发明实施例中，可通过获取视频对象在以导播摄像机如PTZ摄像机对应的坐标系下的三维坐标，以及检测该视频对象对应的视频事件是否与预设的触发事件相匹配，确定是否需要进行摄像机参数调整，并具体在匹配时根据该获取的视频对象的三维坐标来进行PTZ摄像机的参数调整，以输出调整摄像参数后的视频图像，使得导播摄像系统能够基于三维坐标检测，以提高视频对象检测和跟踪的精度，从而提升参数调整的准确性，确保输出图像的显示效果，并能够降低设备成本。
下面以应用场景为部署有三机位的导播摄像机的教室为例，对处于不同位置的导播摄像机确定导播策略的流程进行说明。其导播类型可分为学生导播、教师导播和板书/PPT导播三种，即该导播摄像机可分别用于学生的检测和跟踪、教师检测和跟踪和板书/PPT演示检测和跟踪。以下分别详细说明。
请参见图4，图4是本发明实施例提供的另一种摄像机参数调整方法的流程示意图。具体的，在本发明实施例中，该导播摄像机可用于学生的检测/跟踪，主要可基于学生站立动作进行检测：当导播摄像机检测到教室中有学生站立后，则输出站立的学生的特写图像，当教室中没有学生站立时，则输出教室的全景图像。当场景中有多个学生站立时，则依据一定的策略进行导播，如拍摄最先站立学生的特写，或根据检测到的声源信息对多个站立的学生中正在说话的学生进行特写，等等。如图4所示，本发明实施例所述的摄像机参数调整方法可以包括以下步骤：
201、获取视频对象的第二三维坐标。
其中，所述第二三维坐标为所述视频对象在双目摄像机对应的坐标系即第二坐标系下的三维坐标。
202、根据预先标定的双目摄像机和PTZ摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。
其中，所述第一三维坐标为所述视频对象在双目摄像机对应的坐标系即第一坐标系下的三维坐标。该PTZ摄像机即导播摄像机对应的第一坐标系可以是指以PTZ摄像机光心为 原点建立的三维坐标系，或者以其他任意参照物为原点建立的三维坐标系。该双目摄像机对应的第二坐标系可以是指以该双目摄像机的光心为原点建立的坐标系，或者以其他任意参照物为原点建立的三维坐标系，本发明实施例不做限定。
具体实施例中，导播摄像机可对双目摄像机的拍摄场景中的视频对象进行检测/跟踪，从而建立得到视频对象的模型。可选的，该视频对象可包括学生的人脸对象、人形对象或运动对象等等。导播摄像机可在视频对象模型中检测/跟踪特征集合，特征可以包括视频对象的特征点和特征边缘等，具体可由上述的视频对象特征检测和匹配算法得到，此处不再赘述。例如，导播摄像机检测到拍摄场景中的多个运动对象，可在运动对象的区域内确定出一个特征点集合，然后利用特征点匹配算法对该特征点集合进行跟踪，从而实现对视频对象的跟踪。
具体的，导播摄像机可根据上述的双目摄像机三维定位原理，计算所选择特征的三维位置信息。具体可通过获取双目摄像机左右视图中该特征的二维坐标(即像素坐标)，以及该双目摄像机的内外参数据，计算得到该视频对象在该第二坐标系下的三维坐标，也即该特征在该第二坐标系下的三维坐标。其中，该特征在双目摄像机左右视图中对应的二维坐标反映了特征在双目摄像机中的视差，该二维坐标具体可以通过上述的特征匹配算法得到，该双目摄像机的内外参数据可通过上述的双目摄像机标定算法得到，此处不再赘述。进一步的，导播摄像机可根据标定好的双目摄像机和PTZ摄像机的位置关系，将学生在双目摄像机中的三维坐标即该特征在第二坐标系下的三维坐标转换为在PTZ摄像机中的坐标，即转换为在第一坐标系下的三维坐标。
203、计算所述视频对象在Y方向的当前坐标值与历史坐标值的差值。
204、判断所述差值是否超过预设的第一距离阈值。
其中，本发明实施例涉及的三维坐标如第一三维坐标及第二三维坐标包括X、Y、Z方向的坐标值，该X、Y、Z方向具体可参照图3a-3c的示意图所示。从而可通过检测Y方向上视频对象移动的距离来判断该视频对象如学生是否有站立动作。
具体的，若该差值超过预设的第一距离阈值，即检测到有学生站立时，则可确定视频对象对应的视频事件与预设的触发事件相匹配，则可执行步骤205；否则，可仍按照原有的导播策略进行拍摄，如拍摄学生的全景图像。其中，该第一距离阈值可预先配置得到，如根据导播摄像机的应用场景设置该第一距离阈值，如对于小学生，可将该第一距离阈值设置为较小；对于高中生或大学生，可将该第一距离阈值设置为较大。或者该第一距离阈值还可为预设的固定值，本发明实施例不做限定。
可选的，所述计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值，可以具体为：获取所述视频对象对应的图像帧集合，所述图像帧集合中包括当前图像帧之前的预设数目的图像帧；按照预设的筛选规则从所述图像帧集合中确定出所述视频对象在Y方向的历史坐标值，并计算所述视频对象在所述Y方向的当前坐标值与所述历史坐标值的差值。具体的，为了提升该站立动作的检测的准确性，可通过检测一段时间内特征的坐标变化来进行判断。由此，可缓存当前图像帧之前若干历史帧的特征集合数据，并判断缓存的历史帧数是否满足检测帧数要求，即是否达到该预设数目，当达到该预设数目时，即可进行站立动作的识别，即通过判断特征在Y方向的坐标与历史帧的坐标的差值是否低于预设的第一距离阈值来判断学生是否站立。因视频对象(学生)坐着的时候，其区域沿X方 向的变化可能较大，而沿Y方向和Z方向的变化较小，而对象站立或坐下时对象变化区域沿Y方向的变化较大，X方向和Z方向的变化较小，因此根据这一特征可以判断不同距离的学生是否站立，相比二维图像上的Y方向判断具有更高的准确性。具体的，若一段时间内特征集合中的特征的Y坐标变化方向为向上且变化量超过一定阈值，即该当前坐标值与特征集合对应的历史坐标值的差值为正值，且超过该第一距离阈值时，则可以认为当前视频事件为站立事件，即可确定视频对象对应的视频事件与预设的触发事件相匹配；相应地，若特征的Y坐标变化方向为向下且变化量超过一定阈值，即该当前坐标值与特征集合对应的历史坐标值的差值为负值，且该负值的绝对值超过该第一距离阈值时，则可认为是坐下动作；若特征的Y坐标变化是随机的且变化量较小，未超过该阈值，则可认为没有站立/坐下动作。其中，缓存的特征集合中的历史图像帧没有达到该预设数目，则需要继续进行数据缓存，该数据缓存可以实现为一个队列，通过不断移除时间最长的图像帧并添加当前帧的数据。可选的，队列的长度可通过接口由外部设定。
205、将所述PTZ摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。
进一步的，当检测到学生站立/坐下动作时，则可将该学生确定为需要拍摄特写的学生，即可触发导播动作，以对该学生进行特写。可选的，当检测到有多个学生站立时，可以根据预设的导播策略选择学生进行特写，如对最先站立的学生进行特写，或者通过声源检测对站立的学生中正在说话的学生进行特写，或者也可以从中随机选择学生进行特写，等等，本发明实施例不做限定。从而能通过检测视频对象如学生的站立动作来生成导播策略，实现对导播摄像机的参数调整，对站立的学生的特写。
具体的，在进行摄像机参数调整以实现对学生特写时，可根据学生在PTZ摄像机中的坐标，确定出学生到PTZ摄像机的距离。从而根据该距离进行参数调整，使得能够提升摄像机自动聚焦的速度及实现快速调节Zoom值，以获得一个合适大小的特写效果。
请参见图5，图5是本发明实施例提供的又一种摄像机参数调整方法的流程示意图。具体的，在本发明实施例中，该导播摄像机可用于教师的检测/跟踪，主要可基于讲台上的教师和学生运动的检测：当导播摄像机检测到讲台上只有教师，即视频对象的数目为1时，则可跟踪拍摄教师的特写；当讲台上同时有教师和学生，即视频对象的数目大于1时，则可拍摄讲台的全景；当检测到讲台上没有教师或学生，即视频对象的数目为0或者视频对象的面积均小于预设面积阈值时，则可切换到用于学生的检测/跟踪导播摄像机输出。如图5所示，本发明实施例所述的摄像机参数调整方法可以包括以下步骤：
301、获取视频对象的第二三维坐标。
具体实施例中，导播摄像机即PTZ摄像机可接收双目摄像机获取的图像中的视频对象进行检测/跟踪，从而建立得到视频对象的模型。可选的，该视频对象可能包括教师的人形对象或运动对象等等。可选的，导播摄像机可在视频对象模型中检测/跟踪特征集合，特征可以包括视频对象的特征点和特征边缘等，具体可由上述的视频对象特征检测和匹配算法得到，此处不再赘述。
302、根据预先标定的双目摄像机和PTZ摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。
其中，该第一三维坐标和第二三维坐标请参照上述实施例的相关描述，此处不再赘述。
303、获取当前视频图像中的视频对象的数目以及所述视频对象的面积。
304、当视频对象的数目为1，且该视频对象的面积不小于预设面积阈值时，将所述PTZ摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。
具体实施例中，导播摄像机可根据上述的双目摄像机三维定位原理，计算视频对象如教师的三维位置信息。具体可通过获取双目摄像机左右视图中该视频对象(具体可以是视频对象的上述的特征集合中的某一特征)的二维坐标，以及该双目摄像机的内外参数据，计算得到该视频对象在该第二坐标系下的三维坐标，并可进一步根据标定好的双目摄像机和PTZ摄像机的位置关系，将视频对象如教师在双目摄像机中的三维坐标即该特征在第二坐标系下的三维坐标转换为在PTZ摄像机中的坐标，即转换为在第一坐标系下的三维坐标。
具体的，导播摄像机可通过判断视频对象的数量和区域面积大小来调整摄像机参数。若未发现视频对象或视频对象的面积小于面积阈值，则可切换到用于学生检测/跟踪的导播摄像机进行拍摄，因在视频对象的面积过小时，可能该检测到的对象为噪声，而非教师或学生；若存在单个或多个视频对象且视频对象面积大于设定的面积阈值，则说明存在教师或学生，并可执行后续的处理。具体可在检测到视频对象的数目为1且其面积大于面积阈值时，则可确定视频对象对应的视频事件与预设的触发事件相匹配，即可对该视频对象如教师进行特写，从而能够在检测到检测区域如讲台上仅有一个视频对象时，对该视频对象如教师进行特写；在检测到面积均大于面积阈值的视频对象大于1时，则可进行全景图像拍摄如拍摄讲台的全景。此外，本发明实施例还可根据视频对象三维坐标信息，以及黑板/讲台的三维坐标信息，判断出视频对象的三维位置是否超出了黑板/讲台范围，如果超出了黑板/讲台范围，则认为讲台上没有人，切换到学生导播摄像机输出视频图像。
请参见图6，图6是本发明实施例提供的再一种摄像机参数调整方法的流程示意图。具体的，在本发明实施例中，该导播摄像机可用于板书/PPT演示的检测/跟踪，主要可基于对板书动作和PPT演示操作进行检测：当导播摄像机检测到视频对象如教师的板书动作时，将输出切换到板书特写图像；当检测到有PPT演示内容变化时，将输出切换到PPT演示图像。如图6所示，本发明实施例所述的摄像机参数调整方法可以包括以下步骤：
401、获取视频对象的第二三维坐标。
402、根据预先标定的双目摄像机和PTZ摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。
其中，该第一三维坐标和第二三维坐标请参照上述实施例的相关描述，此处不再赘述。
403、根据预设颜色和/或特征边缘算法从当前拍摄区域中确定出第一目标对象，并获取所述第一目标对象在第一坐标系下的三维坐标。
进一步的，可将所述双目摄像机获取的包括所述视频对象的图像进行边缘直线化处理；从所述进行边缘直线化处理后的图像中确定出夹角小于预设角度阈值的直线对，并从所述直线对中选取出所述视频对象的特征点。则所述获取视频对象的第一三维坐标，可以具体为：获取所述特征点的第一三维坐标，并将所述特征点的第一三维坐标作为所述视频对象的第一三维坐标。
具体的，对于第一目标对象的检测如黑板，可以采用基于图像颜色和边缘特征的算法确定出，具体可通过Canny算子提取出黑板的边缘，根据其长直线特征得到其外接矩形的 坐标进行确定，此处不赘述。对于双目摄像机检测到的运动对象，可进行Canny边缘检测和轮廓提取，将检测得到图像边缘进行直线化和筛选，得到类似手臂边缘特征的直线对。从而通过该直线对确定出视频对象的手臂，在被识别为手臂的边缘检测特征点，并通过检测该特征点与黑板即第一目标对象的距离，确定出视频对象如教师是否正进行板书操作，以便于在确定进行板书时对该板书操作进行特写。其中，该直线对的夹角要小于预设角度阈值，即直线对和水平坐标轴的夹角小于该角度阈值。进一步的，为提升获取的手臂直线的准确性，还可通过检测检测到直线对的间距，并将间距处于预设长度范围内的直线对确定为该手臂直线对，以过滤掉非手臂的其他直线对。可选的，该角度阈值可预先配置得到。该特征点可由上述的视频对象特征检测和匹配算法得到，并根据双目摄像机三维定位原理，计算得到所选择特征点的在PTZ摄像机对应的坐标系下的三维坐标，此处不再赘述。
404、根据所述第一三维坐标和所述第一目标对象的三维坐标确定出所述视频对象与所述第一目标对象的第二距离值。
405、判断所述第二距离值是否小于预设的第二距离阈值。
具体实施例中，可根据第一目标对象如黑板的三维坐标，以及手臂对应的特征点的三维坐标，换算得到手臂和黑板的相对位置，从而能够根据板书手臂的位置识别板书动作，如果板书手臂位置和黑板较近，如手臂和黑板之间的距离即第二距离值小于第二距离阈值时，则认为存在板书动作，即确定所述视频对象对应的视频事件与预设的触发事件相匹配，并可触发PTZ摄像机进行板书特写，即执行步骤408；否则，则可认为不存在板书情况，比如可能是举手等其它动作，可不做任何处理。
406、获取第二目标对象中显示内容发生变化的区域的面积。
407、判断所述面积是否大于预设的面积阈值。
具体的，可通过获取拍摄场景中的第二目标对象如PPT投影幕中亮色度发生变化的像素的数目；根据获取的像素的数目以及每一个像素的大小确定出所述第二目标对象中显示内容发生变化的区域的面积。
具体的，可通过计算第二目标对象中显示内容发生变化的区域面积，如根据亮色度发生变化的像素的数目确定该第二目标对象的变化区域面积，并在检测到该区域面积大于一定阈值，则可表明PPT内容发生了变化，并可执行步骤408，对PPT演示进行特写；否则，则可认为当前不存在PPT切换情况，可不做任何处理。
408、将所述PTZ摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。
具体实施例中，根据板书动作和PPT演示检测的结果，若检测到板书动作或PPT演示内容改变，则可对该板书动作或PPT演示内容进行特写，切换到该板书动作或PPT演示内容对应的视频。如果该板书动作或PPT演示内容同时发生，则可优先切换板书特写视频，或者优先切换至PPT演示内容特写视频，或者按照预设的时间间隔交替切换，等等，本发明实施例不做限定。
请参见图7，图7是本发明实施例提供的一种参数调整装置的结构示意图。具体的，本发明实施例的所述装置可具体设置于上述的导播摄像机中，如图7所示，本发明实施例的所述参数调整装置可以包括获取单元11、判断单元12以及参数调整单元13。其中，
所述获取单元11，用于获取视频对象的第一三维坐标。
其中，所述第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标。该导播摄像机可具体为PTZ摄像机，则该导播摄像机对应的第一坐标系可以是指以PTZ摄像机光心为原点建立的三维坐标系，或者以其他任意参照物为原点建立的三维坐标系，本发明实施例不做限定。
所述判断单元12，用于判断所述视频对象对应的视频事件是否与预设的触发事件相匹配。
所述参数调整单元13，用于在所述判断单元12的判断结果为是时，将所述导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。
可选的，在本发明实施例中，所述导播摄像机可与预置的双目摄像机相连接，该双目摄像机可具体安装在与该PTZ摄像机连接的导播支架上。则所述获取单元11可具体用于：
获取与所述导播摄像机连接的双目摄像机传输的视频对象的第二三维坐标；
根据预先标定的所述双目摄像机和所述PTZ摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。
其中，所述第二三维坐标为所述视频对象在所述双目摄像机对应的第二坐标系下的三维坐标。可选的，所述第二三维坐标可以是所述双目摄像机通过分别获取的视频对象在所述双目摄像机的左视图和右视图中的二维坐标以及获取的所述双目摄像机的内外参数据计算得到的。
进一步的，在可选的实施例中，所述第一三维坐标包括X、Y、Z方向的坐标值；所述判断单元12可具体用于：
计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值；
判断所述差值是否超过预设的第一距离阈值；
若超过，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
可选的，所述判断单元12执行所述计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值的具体方式可以为：
获取所述视频对象对应的图像帧集合，所述图像帧集合中包括当前图像帧之前的预设数目的图像帧；
按照预设的筛选规则从所述图像帧集合中确定出所述视频对象在Y方向的历史坐标值，并计算所述当前坐标值与所述历史坐标值的差值。
其中，该按照预设的筛选规则确定出的历史坐标值可以是该图像帧集合中的所有或部分图像帧在Y方向的坐标值的平均值，或该图像帧集合中任一图像帧在Y方向的坐标值，如该图像帧集合中与当前图像帧距离时间最长的图像帧在Y方向的坐标值。从而可通过检测视频对象如学生的站立动作来实现对导播摄像机的参数调整，实现对站立的学生的特写。
进一步的，在可选的实施例中，所述判断单元12还可具体用于：
获取当前视频图像中的视频对象的数目以及所述视频对象的面积；
当视频对象的数目为1，且该视频对象的面积不小于预设面积阈值时，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
从而可根据视频对象的三维坐标进行摄像机参数调整，实现对该视频对象如正在讲台上授课的教师的特写。
进一步的，在可选的实施例中，所述判断单元12还可具体用于：
根据预设颜色和/或特征边缘算法从当前拍摄区域中确定出第一目标对象，并获取所述第一目标对象在所述第一坐标系下的三维坐标；
根据所述第一三维坐标和所述第一目标对象的三维坐标确定出所述视频对象与所述第一目标对象的第二距离值，并将所述第二距离值与预设的第二距离阈值进行比较；
若所述第二距离值小于所述第二距离阈值，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
具体的，该第一目标对象可以是指黑板，其可以根据上述的特征匹配算法确定出，从而可通过该直线对确定出视频对象的手臂，并通过检测该手臂与黑板的距离，确定出视频对象如教师是否正进行板书操作，以便于在确定进行板书时对该板书操作进行特写。
进一步的，在可选的实施例中，所述视频对象包括预设形状的第二目标对象，则所述判断单元12还可具体用于：
获取所述第二目标对象中显示内容发生变化的区域的面积；
判断所述面积是否大于预设的面积阈值；若超过所述面积阈值，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
可选的，判断单元12所述获取所述第二目标对象中显示内容发生变化的区域的面积的具体方式可以为：
获取所述第二目标对象中亮色度发生变化的像素的数目；根据获取的像素的数目以及每一个像素的大小确定出所述第二目标对象中显示内容发生变化的区域的面积。
其中，该第二目标对象可以是指PPT投影幕，从而能够通过检测PPT内容变化来实现对PPT演示的特写。
在本发明实施例中，可通过获取视频对象在以导播摄像机对应的坐标系下的三维坐标，以及检测该视频对象对应的视频事件是否与预设的触发事件相匹配，确定是否需要进行摄像机参数调整，并具体在匹配时根据该获取的视频对象的三维坐标来进行导播摄像机的参数调整，以输出调整摄像参数后的视频图像，使得导播摄像系统能够基于三维坐标检测，以提高视频对象检测和跟踪的精度，从而提升参数调整的准确性，确保输出图像的显示效果，并能够降低设备成本。
请参见图8，图8是本发明实施例提供的一种导播摄像系统的结构示意图。具体的，本发明实施例的所述导播摄像系统可包括双目摄像机和至少一个导播摄像机，所述至少一个导播摄像机通过有线接口或无线接口与所述双目摄像机连接；其中，
所述双目摄像机，用于获取视频对象的第二三维坐标，并将所述第二三维坐标传输给所述导播摄像机；其中，所述第二三维坐标为所述视频对象在所述双目摄像机对应的第二坐标系下的三维坐标；
所述导播摄像机，用于接收所述双目摄像机传输的所述第二三维坐标；根据预先标定的所述双目摄像机和所述导播摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标；判断所述视频对象对应的视频事件是否与预设的触发事件相匹配；若是，则将所述导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像；其中，所述第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标。
可选的，所述导播摄像机可配置为PTZ摄像机，所述双目摄像机设置于预置的导播支架上，并通过所述导播支架与所述PTZ摄像机连接。
具体的，如图8所示，假设本发明实施例中安装有2个(或者为其他数目)PTZ摄像机即导播摄像机，分别记为PTZ摄像机1和PTZ摄像机2，用于进行导播拍摄和跟踪，其可通过导播支架(简称“支架”)与双目摄像机进行有线或无线连接。该双目摄像机安装在该支架上，此外，该支架上还可安装有麦克风，安装的麦克风可以是阵列形式的，该阵列形式的麦克风可用于实现声源定位、声源识别等功能，具体可包括水平阵列的麦克风和垂直阵列的麦克风。进一步的，该PTZ摄像机和支架可以是分离的，也可以是集成在一起的，该PTZ摄像机和支架之间可采用控制接口如串行接口进行通信。在一些实施例中，上述的导播摄像机和导播支架(包括双目摄像机、麦克风等)还可集成为一个导播设备，对于导播摄像系统中各设备的连接形式，本发明实施例不做限定。
进一步的，请参见图9，是本发明实施例提供的一种导播摄像系统的组网示意图。如图9所示，多个机位可以进行组网，多机位组网方式包括多个安装PTZ摄像机的机位间组网，安装PTZ摄像机和导播支架的机位+无PTZ摄像机的机位(即只有导播支架)间组网，以及无PTZ摄像机的机位+多个普通PTZ摄像机组网(即无导播支架)，两两机位中的双目摄像机之间要求具有拍摄重叠区域。若组网中的摄像机数量较少，视频数据可以级联进行处理(导播支架支持视频级联)；若数量较多，多个摄像机的视频都输出到视频矩阵进行处理，由视频矩阵进行一个或多个摄像机视频源的切换或合成。进一步的，支架可对外提供视频输入/输出接口、LAN/Wi-Fi网口和串行接口等。其中，视频输入接口用于外接其它摄像机的输入视频；视频输出接口用于连接终端或视频矩阵等设备以输出视频图像；串行接口则提供了对支架的控制和调试接口；LAN/Wi-Fi网口用于多个摄像机机位的级联，可传输音视频数据及控制数据等等。
具体的，本发明实施例中的导播摄像机和双目摄像机可参照上述图1-7对应实施例的相关描述，此处不再赘述。
请参见图10，图10是本发明实施例提供的一种导播摄像机的结构示意图，用于执行上述的摄像机参数调整方法。具体的，如图10所示，本发明实施例的所述导播摄像机包括：通信接口300、存储器200和处理器100，所述处理器100分别与所述通信接口300及所述存储器200连接。所述存储器200可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。所述通信接口300、存储器200以及处理器100之间可以通过总线进行数据连接，也可以通过其他方式数据连接。本实施例中以总线连接进行说明。图10中示出的设备结构并不构成对本发明实施例的限定，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器100为设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器200内的程序和/或单元，以及调用存储在存储器200内的驱动软件，以执行设备的各种功能和处理数据。处理器100可以由集成电路(Integrated Circuit，简称为“IC”)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器100可以仅包括中央处理器(Cntral Processing Unit，简称为“CPU”)，也可以是CPU、数字信号处理器(Digital Signal Processor，简称为“DSP”)、图形处理器(Graphic Processing Unit，简称为“GPU”)及各种控制芯片 的组合。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信接口300可包括有线接口、无线接口等。
存储器200可用于存储驱动软件(或软件程序)以及单元，处理器100、通信接口300通过调用存储在存储器200中的驱动软件以及单元，从而执行设备的各项功能应用以及实现数据处理。存储器200主要包括程序存储区和数据存储区，其中，程序存储区可存储至少一个功能所需的驱动软件等；数据存储区可存储根据参数调整过程中的数据，如上述的三维坐标信息。
具体的，所述处理器100从所述存储器200读取所述驱动软件并在所述驱动软件的作用下执行：
获取视频对象的第一三维坐标，所述第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标；
判断所述视频对象对应的视频事件是否与预设的触发事件相匹配；
若是，则将所述导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并通过所述通信接口300输出调整摄像参数后的视频图像。
可选的，所述处理器100从所述存储器200读取所述驱动软件并在所述驱动软件的作用下执行所述获取视频对象的第一三维坐标，具体执行以下步骤：
通过所述通信接口300获取与所述导播摄像机连接的双目摄像机传输的视频对象的第二三维坐标，所述第二三维坐标为所述视频对象在所述双目摄像机对应的第二坐标系下的三维坐标；
根据预先标定的所述双目摄像机和所述导播摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。
其中，所述第二三维坐标可以是所述双目摄像机通过分别获取的视频对象在所述双目摄像机的左视图和右视图中的二维坐标以及获取的所述双目摄像机的内外参数据计算得到的。
可选的，所述第一三维坐标包括X、Y、Z方向的坐标值；所述处理器100从所述存储器200读取所述驱动软件并在所述驱动软件的作用下执行所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，具体执行以下步骤：
计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值；
判断所述差值是否超过预设的第一距离阈值；
若超过，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
可选的，所述处理器100从所述存储器200读取所述驱动软件并在所述驱动软件的作用下执行所述计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值，具体执行以下步骤：
获取所述视频对象对应的图像帧集合，所述图像帧集合中包括当前图像帧之前的预设数目的图像帧；
按照预设的筛选规则从所述图像帧集合中确定出所述视频对象在Y方向的历史坐标值，并计算所述视频对象在所述Y方向的当前坐标值与所述历史坐标值的差值。
可选的，所述处理器100从所述存储器200读取所述驱动软件并在所述驱动软件的作用下执行所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，具体执行 以下步骤：
根据预设颜色和/或特征边缘算法从当前拍摄区域中确定出目标对象，并获取所述目标对象在所述第一坐标系下的三维坐标；
根据所述第一三维坐标和所述目标对象的三维坐标确定出所述视频对象与所述目标对象的第二距离值，并将所述第二距离值与预设的第二距离阈值进行比较；
若所述第二距离值小于所述第二距离阈值，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称为“ROM”)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

  1. 一种摄像机参数调整方法，其特征在于，所述方法应用于导播摄像机中，包括：
    获取视频对象的第一三维坐标，所述第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标；
    判断所述视频对象对应的视频事件是否与预设的触发事件相匹配；
    若是，则将所述导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像。
  2. 根据权利要求1所述的方法，其特征在于，所述获取视频对象的第一三维坐标，包括：
    获取与所述导播摄像机连接的双目摄像机传输的视频对象的第二三维坐标，所述第二三维坐标为所述视频对象在所述双目摄像机对应的第二坐标系下的三维坐标；
    根据预先标定的所述双目摄像机和所述导播摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。
  3. 根据权利要求2所述的方法，其特征在于，所述第二三维坐标是所述双目摄像机通过分别获取的视频对象在所述双目摄像机的左视图和右视图中的二维坐标以及获取的所述双目摄像机的内外参数据计算得到的。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，所述第一三维坐标包括X、Y、Z方向的坐标值；所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，包括：
    计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值；
    判断所述差值是否超过预设的第一距离阈值；
    若超过，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
  5. 根据权利要求4所述的方法，其特征在于，所述计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值，包括：
    获取所述视频对象对应的图像帧集合，所述图像帧集合中包括当前图像帧之前的预设数目的图像帧；
    按照预设的筛选规则从所述图像帧集合中确定出所述视频对象在Y方向的历史坐标值，并计算所述视频对象在所述Y方向的当前坐标值与所述历史坐标值的差值。
  6. 根据权利要求1-3任一项所述的方法，其特征在于，所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，包括：
    根据预设颜色和/或特征边缘算法从当前拍摄区域中确定出目标对象，并获取所述目标对象在所述第一坐标系下的三维坐标；
    根据所述第一三维坐标和所述目标对象的三维坐标确定出所述视频对象与所述目标对象的第二距离值，并将所述第二距离值与预设的第二距离阈值进行比较；
    若所述第二距离值小于所述第二距离阈值，则确定所述视频对象对应的视频事件与预设 的触发事件相匹配。
  7. 一种导播摄像机，其特征在于，包括：通信接口、存储器和处理器，所述处理器分别与所述通信接口及所述存储器连接；其中，
    所述存储器用于存储驱动软件；
    所述处理器从所述存储器读取所述驱动软件并在所述驱动软件的作用下执行：
    获取视频对象的第一三维坐标，所述第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标；
    判断所述视频对象对应的视频事件是否与预设的触发事件相匹配；
    若是，则将所述导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并通过所述通信接口输出调整摄像参数后的视频图像。
  8. 根据权利要求7所述的导播摄像机，其特征在于，所述处理器从所述存储器读取所述驱动软件并在所述驱动软件的作用下执行所述获取视频对象的第一三维坐标，具体执行以下步骤：
    通过所述通信接口获取与所述导播摄像机连接的双目摄像机传输的视频对象的第二三维坐标，所述第二三维坐标为所述视频对象在所述双目摄像机对应的第二坐标系下的三维坐标；
    根据预先标定的所述双目摄像机和所述导播摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标。
  9. 根据权利要求8所述的导播摄像机，其特征在于，所述第二三维坐标是所述双目摄像机通过分别获取的视频对象在所述双目摄像机的左视图和右视图中的二维坐标以及获取的所述双目摄像机的内外参数据计算得到的。
  10. 根据权利要求7-9任一项所述的导播摄像机，其特征在于，所述第一三维坐标包括X、Y、Z方向的坐标值；所述处理器从所述存储器读取所述驱动软件并在所述驱动软件的作用下执行所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，具体执行以下步骤：
    计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值；
    判断所述差值是否超过预设的第一距离阈值；
    若超过，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
  11. 根据权利要求10所述的导播摄像机，其特征在于，所述处理器从所述存储器读取所述驱动软件并在所述驱动软件的作用下执行所述计算所述视频对象在所述Y方向的当前坐标值与历史坐标值的差值，具体执行以下步骤：
    获取所述视频对象对应的图像帧集合，所述图像帧集合中包括当前图像帧之前的预设数目的图像帧；
    按照预设的筛选规则从所述图像帧集合中确定出所述视频对象在Y方向的历史坐标值，并计算所述视频对象在所述Y方向的当前坐标值与所述历史坐标值的差值。
  12. 根据权利要求7-9任一项所述的导播摄像机，其特征在于，所述处理器从所述存储器读取所述驱动软件并在所述驱动软件的作用下执行所述判断所述视频对象对应的视频事件是否与预设的触发事件相匹配，具体执行以下步骤：
    根据预设颜色和/或特征边缘算法从当前拍摄区域中确定出目标对象，并获取所述目标对象在所述第一坐标系下的三维坐标；
    根据所述第一三维坐标和所述目标对象的三维坐标确定出所述视频对象与所述目标对象的第二距离值，并将所述第二距离值与预设的第二距离阈值进行比较；
    若所述第二距离值小于所述第二距离阈值，则确定所述视频对象对应的视频事件与预设的触发事件相匹配。
  13. 一种导播摄像系统，其特征在于，包括导播摄像机和双目摄像机，所述导播摄像机通过有线接口或无线接口与所述双目摄像机连接；其中，
    所述双目摄像机，用于获取视频对象的第二三维坐标，并将所述第二三维坐标传输给所述导播摄像机；其中，所述第二三维坐标为所述视频对象在所述双目摄像机对应的第二坐标系下的三维坐标；
    所述导播摄像机，用于接收所述双目摄像机传输的所述第二三维坐标；根据预先标定的所述双目摄像机和所述导播摄像机的位置关系，将所述视频对象的第二三维坐标转换为第一三维坐标；判断所述视频对象对应的视频事件是否与预设的触发事件相匹配；若是，则将所述导播摄像机的摄像参数调整为与所述第一三维坐标对应的摄像参数，并输出调整摄像参数后的视频图像；其中，所述第一三维坐标为所述视频对象在所述导播摄像机对应的第一坐标系下的三维坐标。
  14. 根据权利要求13所述的导播摄像系统，其特征在于，所述导播摄像机为PTZ摄像机，所述双目摄像机设置于预置的导播支架上，并通过所述导播支架与所述PTZ摄像机连接。
PCT/CN2017/075893 2016-06-14 2017-03-07 一种摄像机参数调整方法、导播摄像机及系统 WO2017215295A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610420547.6A CN107507243A (zh) 2016-06-14 2016-06-14 一种摄像机参数调整方法、导播摄像机及系统
CN201610420547.6 2016-06-14

Publications (1)

Publication Number Publication Date
WO2017215295A1 true WO2017215295A1 (zh) 2017-12-21

Family

ID=60662995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/075893 WO2017215295A1 (zh) 2016-06-14 2017-03-07 一种摄像机参数调整方法、导播摄像机及系统

Country Status (2)

Country Link
CN (1) CN107507243A (zh)
WO (1) WO2017215295A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993318A (zh) * 2017-12-28 2019-07-09 中国船舶重工集团公司第七一一研究所 船用柴油机的故障处理的方法和装置
CN110147717A (zh) * 2019-04-03 2019-08-20 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
WO2020090516A1 (en) * 2018-11-02 2020-05-07 Sony Corporation Image processing device, image processing method, and program
CN111275765A (zh) * 2018-12-05 2020-06-12 杭州海康威视数字技术股份有限公司 一种确定目标gps的方法、装置及摄像机
CN111290583A (zh) * 2020-03-02 2020-06-16 北京萌科科技有限公司 三维立体板书的生成方法、电子设备及教学系统
CN111452043A (zh) * 2020-03-27 2020-07-28 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN111709302A (zh) * 2020-05-21 2020-09-25 青岛小鸟看看科技有限公司 人脸表情检测方法、装置、头戴显示设备及存储介质
CN111722186A (zh) * 2020-06-30 2020-09-29 中国平安人寿保险股份有限公司 基于声源定位的拍摄方法、装置、电子设备及存储介质
CN111899282A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN112184890A (zh) * 2020-10-14 2021-01-05 佳都新太科技股份有限公司 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN112287771A (zh) * 2020-10-10 2021-01-29 北京沃东天骏信息技术有限公司 用于检测视频事件的方法、装置、服务器和介质
CN112330721A (zh) * 2020-11-11 2021-02-05 北京市商汤科技开发有限公司 三维坐标的恢复方法及装置、电子设备和存储介质
CN112509058A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 外参的计算方法、装置、电子设备和存储介质
EP3793184A1 (en) * 2019-09-11 2021-03-17 EVS Broadcast Equipment SA Method for operating a robotic camera and automatic camera system
CN112819770A (zh) * 2021-01-26 2021-05-18 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及系统
CN113391298A (zh) * 2021-04-30 2021-09-14 深圳市安思疆科技有限公司 一种激光雷达的参数标定方法和装置
CN114040115A (zh) * 2021-11-29 2022-02-11 海南哦课教育科技有限公司 目标对象异常动作的捕获方法、装置、介质和电子设备
CN114549976A (zh) * 2022-01-29 2022-05-27 深圳市云鼠科技开发有限公司 一种基于多摄像头的移动机器人的轨迹测量方法及系统
CN115396602A (zh) * 2022-07-30 2022-11-25 珠海视熙科技有限公司 一种基于三摄摄像系统的场景拍摄控制方法、装置及系统
GB2611030A (en) * 2021-09-17 2023-03-29 Marss Ventures Ltd Method of estimating an orientation adjustment and surveillance apparatus
CN116382320A (zh) * 2023-05-26 2023-07-04 深圳市景创科技电子股份有限公司 水下机器人姿态控制方法及装置
CN117478944A (zh) * 2023-09-27 2024-01-30 珠海视熙科技有限公司 主播定位方法、装置、介质及直播机和电子设备

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900860A (zh) * 2018-08-23 2018-11-27 佛山龙眼传媒科技有限公司 一种导播控制方法及装置
CN109460077B (zh) * 2018-11-19 2022-05-17 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
CN110134156A (zh) * 2019-02-28 2019-08-16 成都派沃特科技股份有限公司 利用视觉识别技术的数据中心设备故障检测系统
CN109828618A (zh) * 2019-02-28 2019-05-31 成都派沃特科技股份有限公司 基于人工智能技术的数据中心设备测控装置
CN109949550A (zh) * 2019-02-28 2019-06-28 成都派沃特科技股份有限公司 分布式数据中心设备状态的云监控系统
CN110456829B (zh) * 2019-08-07 2022-12-13 深圳市维海德技术股份有限公司 定位跟踪方法、装置及计算机可读存储介质
CN112492261A (zh) * 2019-09-12 2021-03-12 华为技术有限公司 跟踪拍摄方法及装置、监控系统
CN111259825B (zh) * 2020-01-19 2023-06-02 成都依能科技股份有限公司 基于人脸识别的ptz扫描路径生成方法
CN111259824B (zh) * 2020-01-19 2023-04-14 成都依能科技股份有限公司 基于教室尺寸自动生成扫描路径的方法
CN111698467B (zh) * 2020-05-08 2022-05-06 北京中广上洋科技股份有限公司 基于多摄像机的智能跟踪方法及系统
CN112163761A (zh) * 2020-09-25 2021-01-01 浙江大华技术股份有限公司 远程教学系统
CN112689092A (zh) * 2020-12-23 2021-04-20 广州市迪士普音响科技有限公司 一种自动跟踪的会议录播方法、系统、装置及存储介质
JP2023511239A (ja) * 2020-12-31 2023-03-17 商▲湯▼国▲際▼私人有限公司 操作イベント認識方法、及び装置
CN113271482A (zh) * 2021-05-17 2021-08-17 广东彼雍德云教育科技有限公司 一种便捷式全幅抠像黑板
CN113342240B (zh) * 2021-05-31 2024-01-26 深圳市捷视飞通科技股份有限公司 课件切换方法、装置、计算机设备和存储介质
CN113470099B (zh) * 2021-07-09 2022-03-25 北京的卢深视科技有限公司 深度成像的方法、电子设备及存储介质
CN113587895B (zh) * 2021-07-30 2023-06-30 杭州三坛医疗科技有限公司 双目测距方法及装置
CN113744299B (zh) * 2021-09-02 2022-07-12 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN114666457A (zh) * 2022-03-23 2022-06-24 华创高科(北京)技术有限公司 一种视音频节目的导播方法、装置、设备、系统及介质
CN114758016B (zh) * 2022-06-15 2022-09-13 超节点创新科技(深圳)有限公司 摄像设备标定方法、电子设备和存储介质
CN115174845A (zh) * 2022-06-30 2022-10-11 钉钉(中国)信息技术有限公司 一种针对视频会议中特殊行为动作的特写拍摄方法及装置
CN115713565A (zh) * 2022-12-16 2023-02-24 盐城睿算电子科技有限公司 一种双目伺服相机目标定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005259173A (ja) * 2005-05-23 2005-09-22 Omron Corp 人間検知装置および人間検知方法ならびにプログラム
CN1976445A (zh) * 2006-12-15 2007-06-06 上海鼎业电子科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
CN103164991A (zh) * 2013-03-01 2013-06-19 广州市信和电信发展有限公司 一种网络互动教学教研应用系统
CN103327250A (zh) * 2013-06-24 2013-09-25 深圳锐取信息技术股份有限公司 基于模式识别镜头控制方法
CN103777643A (zh) * 2012-10-23 2014-05-07 北京网动网络科技股份有限公司 一种基于图像定位的摄像机自动跟踪系统及跟踪方法
CN104735413A (zh) * 2015-03-18 2015-06-24 苏州阔地网络科技有限公司 一种在线课堂中的画面切换方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005259173A (ja) * 2005-05-23 2005-09-22 Omron Corp 人間検知装置および人間検知方法ならびにプログラム
CN1976445A (zh) * 2006-12-15 2007-06-06 上海鼎业电子科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
CN103777643A (zh) * 2012-10-23 2014-05-07 北京网动网络科技股份有限公司 一种基于图像定位的摄像机自动跟踪系统及跟踪方法
CN103164991A (zh) * 2013-03-01 2013-06-19 广州市信和电信发展有限公司 一种网络互动教学教研应用系统
CN103327250A (zh) * 2013-06-24 2013-09-25 深圳锐取信息技术股份有限公司 基于模式识别镜头控制方法
CN104735413A (zh) * 2015-03-18 2015-06-24 苏州阔地网络科技有限公司 一种在线课堂中的画面切换方法及装置

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993318A (zh) * 2017-12-28 2019-07-09 中国船舶重工集团公司第七一一研究所 船用柴油机的故障处理的方法和装置
WO2020090516A1 (en) * 2018-11-02 2020-05-07 Sony Corporation Image processing device, image processing method, and program
CN111275765A (zh) * 2018-12-05 2020-06-12 杭州海康威视数字技术股份有限公司 一种确定目标gps的方法、装置及摄像机
CN111275765B (zh) * 2018-12-05 2023-09-05 杭州海康威视数字技术股份有限公司 一种确定目标gps的方法、装置及摄像机
CN110147717B (zh) * 2019-04-03 2023-10-20 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
CN110147717A (zh) * 2019-04-03 2019-08-20 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
EP3793184A1 (en) * 2019-09-11 2021-03-17 EVS Broadcast Equipment SA Method for operating a robotic camera and automatic camera system
CN111290583A (zh) * 2020-03-02 2020-06-16 北京萌科科技有限公司 三维立体板书的生成方法、电子设备及教学系统
CN111452043A (zh) * 2020-03-27 2020-07-28 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN111709302A (zh) * 2020-05-21 2020-09-25 青岛小鸟看看科技有限公司 人脸表情检测方法、装置、头戴显示设备及存储介质
CN111709302B (zh) * 2020-05-21 2023-08-25 青岛小鸟看看科技有限公司 人脸表情检测方法、装置、头戴显示设备及存储介质
CN111722186B (zh) * 2020-06-30 2024-04-05 中国平安人寿保险股份有限公司 基于声源定位的拍摄方法、装置、电子设备及存储介质
CN111722186A (zh) * 2020-06-30 2020-09-29 中国平安人寿保险股份有限公司 基于声源定位的拍摄方法、装置、电子设备及存储介质
CN111899282A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN111899282B (zh) * 2020-07-30 2024-05-14 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN112287771A (zh) * 2020-10-10 2021-01-29 北京沃东天骏信息技术有限公司 用于检测视频事件的方法、装置、服务器和介质
CN112184890A (zh) * 2020-10-14 2021-01-05 佳都新太科技股份有限公司 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN112184890B (zh) * 2020-10-14 2023-06-30 佳都科技集团股份有限公司 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN112330721B (zh) * 2020-11-11 2023-02-17 北京市商汤科技开发有限公司 三维坐标的恢复方法及装置、电子设备和存储介质
CN112330721A (zh) * 2020-11-11 2021-02-05 北京市商汤科技开发有限公司 三维坐标的恢复方法及装置、电子设备和存储介质
CN112509058B (zh) * 2020-11-30 2023-08-22 北京百度网讯科技有限公司 外参的计算方法、装置、电子设备和存储介质
CN112509058A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 外参的计算方法、装置、电子设备和存储介质
CN112819770A (zh) * 2021-01-26 2021-05-18 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及系统
CN113391298A (zh) * 2021-04-30 2021-09-14 深圳市安思疆科技有限公司 一种激光雷达的参数标定方法和装置
CN113391298B (zh) * 2021-04-30 2023-09-22 深圳市安思疆科技有限公司 一种激光雷达的参数标定方法和装置
GB2611030A (en) * 2021-09-17 2023-03-29 Marss Ventures Ltd Method of estimating an orientation adjustment and surveillance apparatus
GB2611030B (en) * 2021-09-17 2024-04-03 Marss Ventures Ltd Method of estimating an orientation adjustment and surveillance apparatus
CN114040115A (zh) * 2021-11-29 2022-02-11 海南哦课教育科技有限公司 目标对象异常动作的捕获方法、装置、介质和电子设备
CN114549976A (zh) * 2022-01-29 2022-05-27 深圳市云鼠科技开发有限公司 一种基于多摄像头的移动机器人的轨迹测量方法及系统
CN115396602A (zh) * 2022-07-30 2022-11-25 珠海视熙科技有限公司 一种基于三摄摄像系统的场景拍摄控制方法、装置及系统
CN116382320B (zh) * 2023-05-26 2023-09-01 深圳市景创科技电子股份有限公司 水下机器人姿态控制方法及装置
CN116382320A (zh) * 2023-05-26 2023-07-04 深圳市景创科技电子股份有限公司 水下机器人姿态控制方法及装置
CN117478944A (zh) * 2023-09-27 2024-01-30 珠海视熙科技有限公司 主播定位方法、装置、介质及直播机和电子设备

Also Published As

Publication number Publication date
CN107507243A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
WO2017215295A1 (zh) 一种摄像机参数调整方法、导播摄像机及系统
WO2018014730A1 (zh) 一种摄像机参数调整方法、导播摄像机及系统
US9270941B1 (en) Smart video conferencing system
EP3855731A1 (en) Context based target framing in a teleconferencing environment
CN111432115B (zh) 基于声音辅助定位的人脸追踪方法、终端及存储装置
US8749607B2 (en) Face equalization in video conferencing
WO2020042970A1 (zh) 一种三维建模的方法及其装置
CN108900787B (zh) 图像显示方法、装置、系统及设备、可读存储介质
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
WO2017094543A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法
CN105794197A (zh) 能够生成全景文件的便携式设备
US11451746B1 (en) Image and audio data processing to create mutual presence in a video conference
US9787939B1 (en) Dynamic viewing perspective of remote scenes
JP7074056B2 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP6946684B2 (ja) 電子情報ボードシステム、画像処理装置、及びプログラム
JP5963006B2 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
WO2017112070A1 (en) Controlling audio beam forming with video stream data
EP4075794A1 (en) Region of interest based adjustment of camera parameters in a teleconferencing environment
EP4135314A1 (en) Camera-view acoustic fence
US11430178B2 (en) Three-dimensional video processing
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111325790A (zh) 目标追踪方法、设备及系统
US20200252585A1 (en) Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras
US10701313B2 (en) Video communication device and method for video communication
WO2024205641A1 (en) Automatic videoconference framing using multiple cameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17812410

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17812410

Country of ref document: EP

Kind code of ref document: A1