WO2015139471A1 - 一种视频拼接的实现方法和系统 - Google Patents
一种视频拼接的实现方法和系统 Download PDFInfo
- Publication number
- WO2015139471A1 WO2015139471A1 PCT/CN2014/091829 CN2014091829W WO2015139471A1 WO 2015139471 A1 WO2015139471 A1 WO 2015139471A1 CN 2014091829 W CN2014091829 W CN 2014091829W WO 2015139471 A1 WO2015139471 A1 WO 2015139471A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- picture
- threshold
- screen
- overlapping portion
- rotating
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Abstract
本发明公开了一种视频拼接的实现方法和系统：当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面；其中，M和N均为正整数，且M和N中的至少一个大于1，每个摄像头的镜头前方均设置有一个旋转镜面；根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求；根据调整结果进行视频拼接。本发明所述方案具有较好的适应性和灵活性，且能够降低人力和时间成本等。
Description
本申请要求于2014年3月20日提交中国专利局、申请号为201410104497.1、发明名称为“一种视频拼接的实现方法和系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本发明涉及视频监控技术，特别涉及一种视频拼接的实现方法和系统。
发明背景
视频拼接技术，是指将数段有重叠部分的视频拼接成一段大型的无缝高分辨率视频的技术。
现有视频拼接技术的实现方式主要包括：
1)将固定数量的摄像头固定于一个密闭装置内，摄像头的数量至少为两个，各摄像头之间的角度固定；由于这种方式中的摄像头的数量和角度均固定，因此对于不同的场景，适应性和灵活性比较差；
2)使用独立的摄像头，分别架设，同样，摄像头的数量至少为两个，并可根据实际场景的需求，选择摄像头的数量和角度；这种方式虽然具有较好的适应性和灵活性，但整个摄像头的架设和调试过程均需要人工完成，而且，在架设和调试完成后，后续如果因为震动或风雨等导致摄像头的画面位置发生移动，还需要重新进行调试等，实现起来非常麻烦，需要耗费大量的人力和时间成本。
发明内容
有鉴于此，本发明提供了一种视频拼接的实现方法和系统，具有较
好的适应性和灵活性，且能够降低人力和时间成本。
为了达到上述目的，本发明的技术方案是这样实现的：
一种视频拼接的实现方法，包括：
当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面；其中，M和N均为正整数，且M和N中的至少一个大于1，每个摄像头的镜头前方均设置有一个旋转镜面；
根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求；
根据调整结果进行视频拼接。
一种视频拼接的实现系统，包括：
M×N个摄像头以及一个远程控制装置；其中，M和N均为正整数，且M和N中的至少一个大于1，每个摄像头的镜头前方均设置有一个旋转镜面；
所述远程控制装置，用于当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面；根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求；根据调整结果进行视频拼接。
可见，采用本发明所述方案，一旦完成摄像头的初始架设后，后续调试工作即可自动完成，而且，如果因为震动或风雨等导致摄像头的画面位置发生移动，也可自动完成调试，从而节省了人力和时间成本；另外，本发明所述方案中的摄像头的数量可灵活调整，摄像头的角度也可通过旋转镜面进行灵活调整，因此，可适用于任意的场景，即本发明所
述方案具有较好的适应性和灵活性。
附图简要说明
图1为本发明视频拼接的实现方法实施例的流程图。
图2为本发明实施例中摄像头及旋转镜面的正面和侧面示意图。
图3为本发明实施例中摄像头的安装方式示意图。
图4为本发明实施例中1×3视频拼接场景中的摄像头架设方式正面示意图。
图5为本发明实施例中1×3视频拼接场景中的摄像头架设方式俯视示意图。
图6为本发明实施例中1×3视频拼接场景中的3个画面预览示意图。
图7为本发明实施例中3×3视频拼接场景中的各摄像头的位置示意图。
图8为本发明实施例中1×3视频拼接场景中摄像头A对应的旋转镜面的调整方式及调整前后的视野变化示意图。
图9为本发明实施例中1×3视频拼接场景中摄像头C对应的旋转镜面的调整方式示意图。
图10为本发明实施例中1×3视频拼接场景中摄像头C对应的旋转镜面调整前后的视野变化示意图。
图11为本发明实施例中1×3视频拼接场景中调整后的3个画面示意图。
图12为本发明实施例中视频拼接的实现系统的示例性结构图。
实施本发明的方式
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。
图1为本发明视频拼接的实现方法实施例的流程图。如图1所示，该方法可包括以下步骤11～13。
步骤11：当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面；其中，M和N均为正整数，且M和N中的至少一个大于1，每个摄像头的镜头前方均设置有一个旋转镜面。
M和N的具体取值均可根据实际需要而定。
初始架设可由人工完成，以1×3视频拼接场景为例，通常，需要保证3个摄像头的安装高度基本一致，摄像头的视野方向基本一致。
各摄像头可独立架设，较佳地，可在每个摄像头的镜头中轴前方均设置一个可控制的旋转镜面，以便尽可能地覆盖摄像头原有的视野，如何设置旋转镜面以及如何控制旋转镜面进行旋转不作限制，可采用本领域技术人员能够想到的任意方式。
图2为本发明摄像头及旋转镜面的正面和侧面示意图，如图2所示，左侧为摄像头及旋转镜面的正面示意图，右侧为摄像头及旋转镜面的侧面示意图。
图3为本发明摄像头的安装方式示意图，如图3所示，在这种安装方式下，摄像头的安装始终固定，但可通过对旋转镜面进行旋转控制，使得摄像头的视野进行较大范围的巡航。
图4为本发明1×3视频拼接场景中的摄像头架设方式正面示意图，图5为本发明1×3视频拼接场景中的摄像头架设方式俯视示意图；如
图4和图5所示，按照从左到右的顺序，将3个摄像头分别称为摄像头A、摄像头B和摄像头C。
完成摄像头的初始架设之后，可从M×N个摄像头对应的M×N个画面中选定一个作为基准画面。
具体来说，在按照图4和图5所示方式完成摄像头的初始架设之后，可实时预览3个摄像头对应的画面，图6为本发明1×3视频拼接场景中的3个画面预览示意图，如图6所示，其中画面A对应于摄像头A，画面B对应于摄像头B，画面C对应于摄像头C，外框表示大视野即整个监控场景，可选定画面B作为基准画面。
另外，在选定基准画面之后，还可进一步进行以下处理：获取选定的基准画面对应的旋转镜面的控制参数，根据获取到的控制参数对除选定的基准画面对应的旋转镜面以外的各旋转镜面进行控制和调整，具体实现为现有技术，这样处理的好处在于能够使相邻画面之间存在重叠部分，以方便后续的调整。
步骤12：根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求。
本步骤中，可针对每个待调整的画面x(为便于表述，用画面x来表示任一需要调整的画面)，分别进行以下处理：确定画面x是否与选定的基准画面相邻；如果是，则将选定的基准画面作为画面x的基准画面，如果否，则将已调整完毕、且与画面x相邻的画面作为画面x的基准画面；根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转，将画面x的位置调整至符合要求。
图7为本发明3×3视频拼接场景中的各摄像头的位置示意图，摄像头1～9的位置分别如图7所示，摄像头1～9分别对应画面1～9；初始，
可选定画面5作为基准画面，那么，可基于画面5来对画面2、画面4、画面6和画面8进行调整，并可基于调整完毕的画面2或画面4来调整画面1，基于调整完毕的画面2或画面6来调整画面3，基于调整完毕的画面4或画面8来调整画面7，基于调整完毕的画面6或画面8来调整画面9，即调整完毕后的画面也可以作为基准画面。
在实际应用中，根据画面x与其基准画面的相对位置的不同，对画面x的具体调整方式可能会有所不同，以下分别进行介绍。
1)当画面x位于其基准画面y的左侧时
确定画面x与画面y(为便于表述，将画面x的基准画面称为画面y)的重叠部分的高度与画面y的高度之比A；
如果A小于第一阈值，且重叠部分位于画面y的左上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；
如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；
确定画面x与画面y的重叠部分大小与画面y的大小之比B；
如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；
如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值。
2)当画面x位于其基准画面y的右侧时
确定画面x与画面y的重叠部分的高度与画面y的高度之比A；
如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；
如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；
确定画面x与画面y的重叠部分大小与画面y的大小之比B；
如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；
如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于第三阈值。
3)当画面x位于其基准画面y的上方时
确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；
如果A小于第一阈值，且重叠部分位于画面y的左上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；
如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；
确定画面x与画面y的重叠部分大小与画面y的大小之比B；
如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；
如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，
将画面x向上移动，直至B大于第二阈值且小于第三阈值。
4)当画面x位于其基准画面y的下方时
确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；
如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；
如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；
确定画面x与画面y的重叠部分大小与画面y的大小之比B；
如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；
如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值。
通过上述方式1)～4)可以看出，在实际应用中，对画面进行调整时，可能需要对其进行水平方向上的移动，即左移或右移，也可能需要对其进行竖直方向上的移动，即上移或下移，还可能需要对其进行水平以及竖直两个方向上的移动。当需要进行两个方向上的移动时，先进行哪个方向上的移动可根据实际需要而定，而且，假设先进行水平方向上的移动，移动到合适位置后，再进行竖直方向上的移动，当竖直方向上移动到合适位置后，水平方向上可能又会变得不合适了，那么则需要再次对水平方向上进行移动；无论如何移动，只要最终A和B均满足方式1)～4)中所述的条件即可。
上述各阈值的具体取值均可根据实际需要而定，比如，第一阈值的取值可为95％，第二阈值的取值可为20％，第三阈值的取值可为40％。
另外，在控制画面x对应的旋转镜面进行旋转时，可采用以下处理方式：每次旋转预定角度，并在每次进行旋转之后，确定画面x的位置是否已经符合要求，如果是，则停止旋转，否则，继续旋转，所述预定角度的具体取值也可根据实际需要而定。
比如，方式1)中，B小于第二阈值，当控制画面x对应的旋转镜面旋转预定角度之后，发现B仍然小于第二阈值，那么则可再次控制画面x对应的旋转镜面旋转预定角度，如果之后发现B变为大于第二阈值且小于第三阈值，则结束旋转，否则，可再次控制画面x对应的旋转镜面旋转预定角度。
以下仍以1×3视频拼接场景为例，如前所述，将图6中所示的画面B选定为基准画面。
如图6所示，画面A和画面B之间存在一定的高度差，因此需要对画面A进行调整，假设已知画面B的高度为1080像素，并分析出画面A和画面B的重叠部分的高度为700像素，700/1080<95％，进一步地，通过分析发现，重叠部分位于画面B的左上方，因此可知画面A高于画面B，相应地，可控制画面A对应的旋转镜面向下旋转，以降低画面A的视野，即将画面A向下移动，且可采用逐次降低的方式，直至重叠部分的高度等于或大于1080×95％。
图8为本发明1×3视频拼接场景中摄像头A对应的旋转镜面的调整方式及调整前后的视野变化示意图，如图8所示，将旋转镜面向下旋转，实线表示调整之前的视野，虚线表示调整之后的视野。
对于处于/近似处于同一水平线上的两个画面，水平方向上只会有4种可能，即没有重叠部分、重叠部分过少、重叠部分过多和重叠部分适
中，如重叠部分<20％则认为重叠部分过少，重叠部分>20％且<40％则认为重叠部分适中，重叠部分大于40％则认为重叠部分过多。
假设进行竖直方向上的调整之后，画面A和画面B的重叠部分适中，画面C和画面B在同一水平线上，即画面C的竖直方向上不需要进行调整，但与画面B的重叠部分<20％，因此，需要对画面C进行水平方向上的调整。图9为本发明1×3视频拼接场景中摄像头C对应的旋转镜面的调整方式示意图，如图9所示，可控制旋转镜面沿镜面中轴进行逆时针旋转，从而使得画面C向左移动，直至画面C与画面B的重叠部分适中。
图10为本发明1×3视频拼接场景中摄像头C对应的旋转镜面调整前后的视野变化示意图，如图10所示，虚线表示调整之前的视野，实线表示调整之后的视野。
相应地，图11为本发明1×3视频拼接场景中调整后的3个画面示意图，如图11所示，画面A’表示调整之后的画面A，画面C’表示调整之后的画面C，可以看出，画面A’、画面B和画面C’达到了视频拼接的要求。
在实际应用中，如果在摄像头A的左侧再增加一个摄像头D，在摄像头C的右侧再增加一个摄像头E，即由1×3视频拼接场景变为1×5视频拼接场景，那么可将画面A’作为画面D的基准画面，对画面D进行调整，将画面C’作为画面E的基准画面，对画面E进行调整。
步骤13：根据调整结果进行视频拼接。
本步骤的具体实现为现有技术，不再赘述。
基于上述介绍，本发明同时公开了一种视频拼接的实现系统，图12为本发明实施例中视频拼接的实现系统的示例性结构图。如图12所示，
该系统可包括：M×N个摄像头111以及一个远程控制装置112；其中，M和N均为正整数，且M和N中的至少一个大于1，每个摄像头的镜头前方均设置有一个旋转镜面。
远程控制装置112用于当确定完成M×N视频拼接场景中的摄像头111初始架设后，从M×N个摄像头111对应的M×N个画面中选定一个基准画面；根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求；根据调整结果进行视频拼接。
其中，
远程控制装置112中可具体包括：
第一处理模块1121，用于当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面，并通知第二处理模块1122；
第二处理模块1122，用于针对每个待调整的画面x，分别进行以下处理：确定画面x是否与选定的基准画面相邻；如果是，则将选定的基准画面作为画面x的基准画面，如果否，则将已调整完毕、且与画面x相邻的画面作为画面x的基准画面；根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转，将画面x的位置调整至符合要求；根据调整结果进行视频拼接。
另外，
第一处理模块1121还可进一步用于，在选定一个基准画面之后，获取选定的基准画面对应的旋转镜面的控制参数，根据获取到的控制参数对除选定的基准画面对应的旋转镜面以外的各旋转镜面进行控制和调整。
具体地，
当画面x位于其基准画面y的左侧时，
第二处理模块1122确定画面x与画面y的重叠部分的高度与画面y的高度之比A；如果A小于第一阈值，且重叠部分位于画面y的左上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；
第二处理模块1122确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值。
当画面x位于其基准画面y的右侧时，
第二处理模块1122确定画面x与画面y的重叠部分的高度与画面y的高度之比A；如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；
第二处理模块1122确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于
第三阈值。
当画面x位于其基准画面y的上方时，
第二处理模块1122确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；如果A小于第一阈值，且重叠部分位于画面y的左上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；
第二处理模块1122确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至B大于第二阈值且小于第三阈值。
当画面x位于其基准画面y的下方时，
第二处理模块1122确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；
第二处理模块1122确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应
的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值。
上述系统实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。
以上实施例中的技术方案，也可借助软件加必需的通用硬件平台的方式来实现，当然也可以只通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的远程控制装置可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行上述实例所述的方法。
本领域技术人员可以理解上述实例中的装置中的模块可以按照实例描述进行分布于实例的装置中，也可以进行相应变化位于不同于本实例的一个或多个装置中。上述实例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
基于上述各个实例所提供的技术方案，这里还提出了一种机器可读的存储介质，存储用于使一机器执行如本文所述的视频拼接的实现方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实例中任何一项实例的全部或部分功能，因此程序代码和存储程序代码的存储介质构成了实现上述视频图像存储技术方案的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光
盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实例中任一实例的功能。
例如，本发明实施方式的视频拼接的实现系统中的远程控制装置112的又一结构可包括：一存储器、以及与所述存储器通信连接的处理器，其中所述存储器存储有可由所述处理器执行的计算机可执行指令。其中：该计算机可执行指令可包括第一处理模块指令和第二处理模块指令，其分别用于指示处理器执行图12中所示的第一处理模块1121和第二处理模块1122的功能。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
- 一种视频拼接的实现方法，其特征在于，包括：当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面；其中，M和N均为正整数，且M和N中的至少一个大于1，每个摄像头的镜头前方均设置有一个旋转镜面；根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求；根据调整结果进行视频拼接。
- 根据权利要求1所述的方法，其特征在于，所述选定基准画面之后，进一步包括：获取选定的基准画面对应的旋转镜面的控制参数，根据获取到的控制参数对除选定的基准画面对应的旋转镜面以外的各旋转镜面进行控制和调整。
- 根据权利要求1所述的方法，其特征在于，所述根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求包括：针对每个待调整的画面x，分别进行以下处理：确定画面x是否与选定的基准画面相邻；如果是，则将选定的基准画面作为画面x的基准画面，如果否，则将已调整完毕、且与画面x相邻的画面作为画面x的基准画面；根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转， 将画面x的位置调整至符合要求。
- 根据权利要求3所述的方法，其特征在于，所述画面x位于其基准画面y的左侧；所述根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转，将画面x的位置调整至符合要求包括：确定画面x与画面y的重叠部分的高度与画面y的高度之比A；如果A小于第一阈值，且重叠部分位于画面y的左上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值。
- 根据权利要求3所述的方法，其特征在于，所述画面x位于其基准画面y的右侧；所述根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转，将画面x的位置调整至符合要求包括：确定画面x与画面y的重叠部分的高度与画面y的高度之比A；如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于第三阈值。
- 根据权利要求3所述的方法，其特征在于，所述画面x位于其基准画面y的上方；所述根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转，将画面x的位置调整至符合要求包括：确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；如果A小于第一阈值，且重叠部分位于画面y的左上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至B大于第二阈值且小于第三阈值。
- 根据权利要求3所述的方法，其特征在于，所述画面x位于其基准画面y的下方；所述根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转，将画面x的位置调整至符合要求包括：确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值。
- 根据权利要求4、5、6或7所述的方法，其特征在于，所述控制画面x对应的旋转镜面进行旋转包括：每次旋转预定角度，并在每次进行旋转之后，确定画面x的位置是否已经符合要求，如果是，则停止旋转，否则，继续旋转。
- 一种视频拼接的实现系统，其特征在于，包括：M×N个摄像头以及一个远程控制装置；其中，M和N均为正整数，且M和N中的至少一个大于1，每个摄像头的镜头前方均设置有一个旋转镜面；所述远程控制装置，用于当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面；根据选定的基准画面，通过控制对应的旋转镜面进行旋转，分别将除选定的基准画面以外的各画面中、位置不符合要求的画面调整至符合要求；根据调整结果进行视频拼接。
- 根据权利要求9所述的系统，其特征在于，所述远程控制装置中包括：第一处理模块，用于当确定完成M×N视频拼接场景中的摄像头初始架设后，从M×N个摄像头对应的M×N个画面中选定一个基准画面，并通知第二处理模块；所述第二处理模块，用于针对每个待调整的画面x，分别进行以下处理：确定画面x是否与选定的基准画面相邻；如果是，则将选定的基准画面作为画面x的基准画面，如果否，则将已调整完毕、且与画面x相邻的画面作为画面x的基准画面；根据画面x的基准画面，通过控制画面x对应的旋转镜面进行旋转，将画面x的位置调整至符合要求；根据调整结果进行视频拼接。
- 根据权利要求10所述的系统，其特征在于，所述第一处理模块进一步用于，在选定一个基准画面之后，获取选定的基准画面对应的旋转镜面的控制参数，根据获取到的控制参数对除选定的基准画面对应的旋转镜面以外的各旋转镜面进行控制和调整。
- 根据权利要求10或11所述的系统，其特征在于，当画面x位于其基准画面y的左侧时，所述第二处理模块确定画面x与画面y的重叠部分的高度与画面y的高度之比A；如果A小于第一阈值，且重叠部分位于画面y的左上方， 则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；所述第二处理模块确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值。
- 根据权利要求10或11所述的系统，其特征在于，当画面x位于其基准画面y的右侧时，所述第二处理模块确定画面x与画面y的重叠部分的高度与画面y的高度之比A；如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至A大于第一阈值；所述第二处理模块确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至B大于第二阈值且小于第三阈值。
- 根据权利要求10或11所述的系统，其特征在于，当画面x位于其基准画面y的上方时，所述第二处理模块确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；如果A小于第一阈值，且重叠部分位于画面y的左上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右上方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；所述第二处理模块确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值，第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至B大于第二阈值且小于第三阈值。
- 根据权利要求10或11所述的系统，其特征在于，当画面x位于其基准画面y的下方时，所述第二处理模块确定画面x与画面y的重叠部分的宽度与画面y的宽度之比A；如果A小于第一阈值，且重叠部分位于画面y的左下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向右移动，直至A大于第一阈值；如果A小于第一阈值，且重叠部分位于画面y的右下方，则通过控制画面x对应的旋转镜面进行旋转，将画面x向左移动，直至A大于第一阈值；所述第二处理模块确定画面x与画面y的重叠部分大小与画面y的大小之比B；如果B小于第二阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向上移动，直至B大于第二阈值且小于第三阈值， 第三阈值大于第二阈值；如果B大于第三阈值，则通过控制画面x对应的旋转镜面进行旋转，将画面x向下移动，直至B大于第二阈值且小于第三阈值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14886544.7A EP2978215B1 (en) | 2014-03-20 | 2014-11-21 | Method and system for achieving video stitching |
| US14/890,263 US9961305B2 (en) | 2014-03-20 | 2014-11-21 | Method and system for video stitching |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410104497.1 | 2014-03-20 | ||
| CN201410104497.1A CN104702907B (zh) | 2014-03-20 | 2014-03-20 | 一种视频拼接的实现方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015139471A1 true WO2015139471A1 (zh) | 2015-09-24 |
Family
ID=53349634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2014/091829 WO2015139471A1 (zh) | 2014-03-20 | 2014-11-21 | 一种视频拼接的实现方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9961305B2 (zh) |
| EP (1) | EP2978215B1 (zh) |
| CN (1) | CN104702907B (zh) |
| WO (1) | WO2015139471A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106385545A (zh) * | 2016-09-09 | 2017-02-08 | 航美传媒集团有限公司 | 基于高清视频多画面无缝拼接方法 |
| CN108377345B (zh) * | 2018-04-11 | 2020-04-03 | 浙江大华技术股份有限公司 | 一种曝光参数值确定方法、装置、多目摄像机及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021678A (zh) * | 2007-04-04 | 2007-08-22 | 乔楠 | 一种环幕摄像系统 |
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| CN102620720A (zh) * | 2012-02-16 | 2012-08-01 | 北京航空航天大学 | 一种柔性双目成像装置和成像方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5619255A (en) * | 1994-08-19 | 1997-04-08 | Cornell Research Foundation, Inc. | Wide-screen video system |
| US5672866A (en) * | 1996-03-19 | 1997-09-30 | Hughes Electronics | System and method for remote image sensing and autocalibration |
| ATE420528T1 (de) * | 1998-09-17 | 2009-01-15 | Yissum Res Dev Co | System und verfahren zur erzeugung und darstellung von panoramabildern und filmen |
| US7162102B2 (en) * | 2001-12-19 | 2007-01-09 | Eastman Kodak Company | Method and system for compositing images to produce a cropped image |
| US20050025313A1 (en) * | 2003-06-19 | 2005-02-03 | Wachtel Robert A. | Digital imaging system for creating a wide-angle image from multiple narrow angle images |
| FR2857481A1 (fr) * | 2003-07-08 | 2005-01-14 | Thomson Licensing Sa | Procede et dispositif de detection de visages dans une image couleur |
| JP4386021B2 (ja) * | 2005-10-11 | 2009-12-16 | ソニー株式会社 | 撮像装置 |
| US7925074B2 (en) * | 2006-10-16 | 2011-04-12 | Teradyne, Inc. | Adaptive background propagation method and device therefor |
| US8200039B2 (en) * | 2007-04-05 | 2012-06-12 | Adobe Systems Incorporated | Laying out multiple images |
| US20090041368A1 (en) * | 2007-08-06 | 2009-02-12 | Microsoft Corporation | Enhancing digital images using secondary optical systems |
| US8416282B2 (en) * | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
| CN101404725B (zh) * | 2008-11-24 | 2010-07-21 | 华为终端有限公司 | 摄像机、摄像机组、摄像机组的控制方法、装置及系统 |
| US8442661B1 (en) * | 2008-11-25 | 2013-05-14 | Anybots 2.0, Inc. | Remotely controlled self-balancing robot including a stabilized laser pointer |
| US8896671B2 (en) * | 2010-04-09 | 2014-11-25 | 3D-4U, Inc. | Apparatus and method for capturing images |
| CN103295209A (zh) * | 2012-02-24 | 2013-09-11 | 深圳市蓝韵实业有限公司 | Dr图像的拼接方法及系统 |
| US8902335B2 (en) * | 2012-06-06 | 2014-12-02 | Apple Inc. | Image blending operations |
| CN103065470B (zh) * | 2012-12-18 | 2014-12-17 | 浙江工业大学 | 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置 |
| US20150193909A1 (en) * | 2014-01-09 | 2015-07-09 | Trax Technology Solutions Pte Ltd. | Method and device for panoramic image processing |
-
2014
- 2014-03-20 CN CN201410104497.1A patent/CN104702907B/zh active Active
- 2014-11-21 EP EP14886544.7A patent/EP2978215B1/en active Active
- 2014-11-21 WO PCT/CN2014/091829 patent/WO2015139471A1/zh active Application Filing
- 2014-11-21 US US14/890,263 patent/US9961305B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021678A (zh) * | 2007-04-04 | 2007-08-22 | 乔楠 | 一种环幕摄像系统 |
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| CN102620720A (zh) * | 2012-02-16 | 2012-08-01 | 北京航空航天大学 | 一种柔性双目成像装置和成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP2978215A4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2978215A4 (en) | 2017-02-22 |
| EP2978215A1 (en) | 2016-01-27 |
| CN104702907B (zh) | 2019-05-10 |
| US9961305B2 (en) | 2018-05-01 |
| CN104702907A (zh) | 2015-06-10 |
| EP2978215B1 (en) | 2019-04-10 |
| US20160112676A1 (en) | 2016-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6496093B1 (ja) | ３次元３６０度バーチャルリアリティカメラの露出制御 | |
| US20160112629A1 (en) | Method for managing surveillance system with aid of panoramic map, and associated apparatus | |
| US9319622B2 (en) | Video projector with automated image enhancement | |
| US20170019594A1 (en) | Increasing spatial resolution of panoramic video captured by a camera array | |
| CN103986872A (zh) | 一种终端及终端拍摄方法 | |
| US9998667B2 (en) | Rotation stabilization | |
| US11741571B2 (en) | Voronoi cropping of images for post field generation | |
| JP2013258538A (ja) | 撮像制御装置、撮像制御方法及びプログラム | |
| WO2019071990A1 (zh) | 图像处理方法及装置 | |
| CN106161961A (zh) | 一种消除盲区的摄像头视频监控装置及方法 | |
| CN104917960A (zh) | 一种控制摄像头旋转的方法及终端 | |
| WO2016125946A1 (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
| WO2015139471A1 (zh) | 一种视频拼接的实现方法和系统 | |
| TW202011218A (zh) | 用於攝影的設備控制系統及方法 | |
| CN111200686A (zh) | 拍摄图像合成方法、终端和计算机可读存储介质 | |
| TW200919380A (en) | Camera control method, camera control device, camera control program, and camera system | |
| EP3451658A1 (en) | System for high-resolution content playback | |
| US20170310891A1 (en) | Image processing apparatus, image processing method and storage medium | |
| US20190304070A1 (en) | Image rectification method and device, and storage medium | |
| KR102268558B1 (ko) | 차량 온라인 판매를 위한 자동 사진촬영시스템 및 그 시스템의 구동방법 | |
| CN105282417A (zh) | 一种超像素拍摄实现方法、装置及终端设备 | |
| JP2013145949A (ja) | 投影システム、および重畳画像の画合わせの調整方法 | |
| US20180084236A1 (en) | Systems and methods for reducing horizontal misalignment in 360-degree video | |
| US20180376058A1 (en) | Display processing apparatus, display processing method, and computer-readable medium for executing display processing method | |
| KR102314478B1 (ko) | 전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WWE | Wipo information: entry into national phase |
Ref document number: 2014886544 Country of ref document: EP |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14886544 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 14890263 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |