WO2019136950A1 - 虚拟图像处理方法、图像处理系统及存储介质 - Google Patents

虚拟图像处理方法、图像处理系统及存储介质 Download PDF

Info

Publication number
WO2019136950A1
WO2019136950A1 PCT/CN2018/095890 CN2018095890W WO2019136950A1 WO 2019136950 A1 WO2019136950 A1 WO 2019136950A1 CN 2018095890 W CN2018095890 W CN 2018095890W WO 2019136950 A1 WO2019136950 A1 WO 2019136950A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
parameter
camera device
scene
image processing
Prior art date
Application number
PCT/CN2018/095890
Other languages
English (en)
French (fr)
Inventor
严振航
吴振志
谢明璞
刘宇
李选中
孙兴红
吴涵渠
Original Assignee
深圳市奥拓电子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市奥拓电子股份有限公司 filed Critical 深圳市奥拓电子股份有限公司
Priority to EP18899867.8A priority Critical patent/EP3745700A4/en
Priority to US16/646,017 priority patent/US11354816B2/en
Priority to JP2020511180A priority patent/JP2020534724A/ja
Publication of WO2019136950A1 publication Critical patent/WO2019136950A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Vascular Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种虚拟图像处理方法、图像处理系统及存储介质，所述方法用于实现拍摄画面的虚拟，所述方法包括以下步骤：获取摄像装置的基准位置及实时位置；计算实时位置相对基准位置的移动参数；根据移动参数虚拟出虚拟摄像装置的位置及姿态，并计算出待替换场景相对虚拟出的虚拟摄像装置的透视参数；根据透视参数编码虚拟场景；用编码后的虚拟场景替换待替换场景。本发明提供的虚拟图像处理方法，通过获取的移动参数虚拟出虚拟摄像装置的位置及姿态，从而计算出待替换场景相对虚拟摄像装置的透视参数，在根据透视参数编码虚拟场景，可以实现编码虚拟场景与拍摄画面的无缝融合，可以适用于摄像装置移动中的虚拟显示。

Description

虚拟图像处理方法、图像处理系统及存储介质 技术领域
本发明涉及图像处理技术领域，特别是涉及一种虚拟图像处理方法、图像处理系统及存储介质。
 背景技术
像机拍摄的真实场景与图型工作站渲染出的虚拟三维场景合成，得到最终观众看到的画面。这一方法可应用在虚拟演播室中，将主持人在现场的活动与图形工作站产生的虚拟背景无缝融合，也可应用在足球、篮球等体育比赛的转播过程中，可以通过虚拟图像处理替换掉球场周边的广告，现场观众看到的和电视机观众看到的可以是两个不同的广告，同时同一个体育比赛针对不同的转播国家也可以虚拟出不同的广告，以提高广告商的收益。
目前的虚拟图像处理方法要求摄像机云台固定在三脚架上不能随意移动，此时图形工作站通过获取摄像机的平摇、俯仰、聚焦、对焦这几个参数就可以计算出所合成的虚拟画面相对于原始画面的透视关系，从而实现虚拟图像。但是摄像机的固定机位就限制了视频拍摄的灵活性，只能从某一固定位置进行拍摄，例如球员快速跑动或者赛车高速运动的拍摄就很难被完整的跟踪拍摄，另外一旦摄像机位置被移动后就要对系统进行重新的标定工作，费时费力。因此，现有技术存在缺陷，需要改进。
 技术问题
基于此，有必要针对摄像机云台不能随意移动的问题，提供一种虚拟图像处理方法、图像处理系统及存储介质。
 技术解决方案
本发明第一方面提供一种虚拟图像处理方法，所述方法用于实现拍摄画面的虚拟，所述方法包括以下步骤：
获取摄像装置的基准位置及实时位置；
计算实时位置相对基准位置的移动参数；
根据移动参数虚拟出虚拟摄像装置的位置及姿态，并计算出待替换场景相对虚拟出的虚拟摄像装置的透视参数；
根据透视参数编码虚拟场景；
用编码后的虚拟场景替换待替换场景。
在其中一个实施例中，所述摄像装置内设置有陀螺仪，并通过陀螺仪实时计算摄像装置的实时位置相对基准位置在X、Y、Z三个方向的移动参数。
在其中一个实施例中，所述根据移动参数虚拟出虚拟摄像装置的位置及姿态包括：
获取摄像装置的静置参数；
由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态；
其中，所述静置参数包括摄像机的平摇、摄像机的俯仰、镜头的聚焦、镜头的变焦中的至少一种。
在其中一个实施例中，所述由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态包括：
基于摄像装置的基准位置、移动参数综合计算得到摄像装置实际所处的位置，作为虚拟摄像装置的位置；
基于静置参数计算得到虚拟摄像装置的姿态。
在其中一个实施例中，所述由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态包括：
基于摄像装置的基准位置、移动参数综合计算后得到摄像装置拍摄时实际所处的位置；
基于移动参数计算预测摄像装置的移动趋势；
将摄像装置实际所处的位置与移动趋势计算所述虚拟摄像装置的位置；
基于静置参数计算得到虚拟摄像装置的姿态。
在其中一个实施例中，所述计算出待替换场景相对虚拟摄像装置的透视参数包括：
识别待替换场景在拍摄画面中的位置；
依据虚拟摄像装置的位置及姿态计算待替换场景的透视参数；
其中，所述透视参数包括位置、大小、畸变中的至少一种。
上述虚拟图像处理方法，通过获取的移动参数虚拟出虚拟摄像装置的位置及姿态，从而计算出待替换场景相对虚拟摄像装置的透视参数，在根据透视参数编码虚拟场景，可以实现编码虚拟场景与拍摄画面的无缝融合。可以适用于摄像装置移动中的虚拟显示。
本发明第二方面提供一种图像处理系统，包括：
摄像装置，用于拍摄画面；
位置获取部件，用于获取摄像装置的实时位置和基准位置；
计算部件，用于计算摄像机的实时位置相对基准位置的移动参数；
处理器，用于根据移动参数虚拟出虚拟摄像装置的位置及姿态，并计算出待替换场景相对虚拟摄像装置的透视参数；
编码部件，用于编码虚拟场景；及
替换部件，用于将待替换场景替换为虚拟场景。
在其中一个实施例中，所述摄像装置内设置有陀螺仪，所述计算部件为陀螺仪芯片。
在其中一个实施例中，还包括：
参数获取部件，用于获取摄像装置的静置参数。
本发明第三方面提供一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现上述任一项所述的虚拟图像处理方法。
 有益效果
上述图像处理系统，通过获取的移动参数虚拟出虚拟摄像装置的位置及姿态，从而计算出待替换场景相对虚拟摄像装置的透视参数，在根据透视参数编码虚拟场景，可以实现编码虚拟场景与拍摄画面的无缝融合。可以适用于摄像装置移动中的虚拟显示。
 附图说明
图1为本发明一实施例的虚拟图像处理方法的流程图；
图2为本发明一实施例的虚拟图像处理方法的部分流程分解图；
图3为本发明又一实施例的虚拟图像处理方法的部分流程分解图；
图4为LED显示屏的显示画面的编码过程；
图5为本发明又一实施例的虚拟图像处理方法的流程图；
图6为本发明一实施例的图像处理系统的结构框图。
 本发明的实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实 施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实 施方式中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式 仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域 普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保 护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的 技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具 体的实施方式的目的，不是旨在于限制本发明。
图1是本发明一些实施例的虚拟图像处理方法的流程图，所述虚拟图像的处理方法可应用于电视的现场直播、转播，以及虚拟演播室。应该说明的是，本发明实施方式的虚拟图像处理方法并不限于图1所示的流程图中的步骤及顺序，根据不同的需求，流程图中的步骤可以增加、移除或者改变顺序。
本发明实施方式的虚拟图像处理方法以摄像装置的拍摄画面为处理对象，所述摄像装置在拍摄过程中，可以是静态的置于某个特定的位置，也可以是进行动态的移动拍摄，虚拟图像处理方法可以根据具体的拍摄画面对处于拍摄区域内的特定载体上显示画面进行虚拟替换，以一虚拟场景替换显示画面，从而可以使得不同地区看见不同的虚拟场景，示例性的，在电视转播过程中，通过广告的替换，实现向不同地区转播不同的广告，提升转播收入。所述特定载体通常是广告牌或广告机（如LED显示屏），所述显示画面可以是屏幕上正在播放的视频。
如图1所示，所述虚拟图像处理方法包括以下步骤：
步骤S102：获取摄像装置的基准位置及实时位置。
摄像装置在移动拍摄过程中，显示画面的特定载体在摄像装置的拍摄画面中的形状、大小处于不断变化中，因而，为了实现对摄像装置在移动过程中拍摄画面中显示画面的虚拟替换，摄像装置需要预先确定的一基准位置，并在摄像装置的拍摄过程中根据该基准位置对载体的形状、大小、畸变进行评估。
步骤S104：计算实时位置相对基准位置的移动参数。
在一些实施例中，摄像装置内设置有计算部件，计算部件根据摄像装置的实时位置相对基准位置计算出摄像装置的移动参数，以为虚拟摄像机的虚拟提供参考。在具体的实施例中，摄像装置内设置有陀螺仪，并通过陀螺仪实时计算摄像装置的实时位置相对基准位置在X、Y、Z三个方向的移动参数。
步骤S106：根据移动参数虚拟出虚拟摄像装置的位置及姿态，并计算出待替换场景相对虚拟出的虚拟摄像装置的透视参数。
所述待替换场景是指摄像装置所捕获的显示在特定载体上的显示画面。所述虚拟摄像装置的位置及姿态为根据一帧特定图像计算出的摄像机的拍摄视角。摄像装置的拍摄画面以帧为单位进行传送，在下一帧图像到达之前，以当前正在处理的图像帧的成像视角为虚拟摄像装置的初始位置，则根据虚拟摄像装置的初始位置以及摄像装置的移动参数，可以虚拟出下一帧图像中虚拟摄像装置的位置，进而虚拟出下一帧图像的成像视角，从而可以根据成像视角的变化计算待替换场景相对虚拟摄像装置的透视参数。根据不同处理器的处理效率，虚拟摄像装置的位置及姿态的虚拟可以具有一定的延迟，可以是根据当前帧虚拟出后面一帧或多帧的虚拟摄像装置的位置及姿态，并且这种延迟是可以调节的。本领域技术人员可以理解的是，在处理器的处理效率满足条件的基础上，可以直接计算当前帧的虚拟摄像装置的位置及姿态，计算出待替换场景相对虚拟出的虚拟摄像装置的透视参数，并将其作为调整虚拟场景的标准。
请参阅图2，在一些实施例中，所述根据移动参数虚拟出虚拟摄像装置的位置及姿态包括：
步骤S1061：获取摄像装置的静置参数；
步骤S1063：由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态。
摄像装置的静置参数包括摄像机的平摇、摄像机的俯仰、镜头的聚焦、镜头的变焦中的至少一种。摄像装置在进行移动拍摄时，为了画面的防抖，通常需要加装摄像云台，因而摄像装置的平遥和俯仰可以通过摄像云台进行获取。而镜头的聚焦和变焦将直接决定拍摄画面的大小和清晰度，通常由摄像装置的控制芯片进行控制，因此，镜头的聚焦和变焦可以直接从摄像装置的控制芯片读取。
通过静置参数可以确定摄像装置在特定位置的姿态变化，通过基准位置和移动参数可以确定摄像装置的移动方位，从而可以根据当前帧的虚拟摄像装置的位置，虚拟出虚拟摄像装置的位置及姿态。
在一实施例中，所述由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态包括：
基于摄像装置的基准位置、移动参数综合计算得到摄像装置实际所处的位置，作为虚拟摄像装置的位置；
基于静置参数计算得到虚拟摄像装置的姿态。
由于相机的快门通常时间极短，因而，在前后帧的虚拟摄像装置的位置和姿态的虚拟变化较小，基本相同，因而可以采用前一帧图像的虚拟摄像装置的位置和姿态替代为后一帧或多帧图像的虚拟摄像装置的位置和姿态，作为虚拟摄像装置的位置和姿态，误差通常可以控制在允许的范围内，不会被观察者的视觉捕捉到。
在另一些实施例中，所述由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态包括：
基于摄像装置的基准位置、移动参数综合计算后得到摄像装置拍摄时实际所处的位置；
基于移动参数计算预测摄像装置的移动趋势；
将摄像装置实际所处的位置与移动趋势计算所述虚拟摄像装置的位置；
基于静置参数计算得到虚拟摄像装置的姿态。
当摄像装置内设置有陀螺仪时，依据摄像装置在X、Y、Z三个方向上的运动可以分别计算出摄像装置在X、Y、Z三个方向上在时间T后摄像装置所处的位置，进而依据时间T后摄像装置所处的位置与当前摄像装置的位置可以对摄像装置的移动趋势进行预测，预测的结果可以表示为一趋势向量，用以表征摄像装置的移动方向。一般地，时间T小于等于摄像装置的快门打开时间。
请参阅图3，在一些实施例中，所述计算出待替换场景相对虚拟出的虚拟摄像装置的透视参数包括：
步骤S1065：识别待替换场景在拍摄画面中的位置；
步骤S1067：依据虚拟摄像装置的位置及姿态计算待替换场景相对虚拟摄像装置的透视参数。
待替换场景的识别可以通过对载体的显示画面进行编码实现，在一具体的实施例中，所述载体的显示画面的编码可以是：在正常的显示帧之间插入虚拟帧，使得正常的显示帧与虚拟帧周期性的显示在载体（LED显示屏）上，通过控制显示帧与虚拟帧的时隙比，使得LED显示屏在观察者眼中所呈现的画面仅为显示帧，而虚拟帧则由于所占时隙过短无法被人眼捕捉。摄像装置的快门开启时间与虚拟帧的显示时间同步，即摄像装置的快门仅在LED显示屏显示虚拟帧时开启，因而，摄像装置捕捉到的LED显示屏的显示画面（即待替换场景）仅为虚拟帧。所述虚拟帧可以是红、绿、蓝纯色图像。因而，只要识别出虚拟帧，即可识别出待替换场景。
请继续参阅图4，图4示例性的示出了载体（以LED显示屏为例）的显示画面的编码过程，载体内设置有处理器，显示帧100经过处理器的处理后显示在LED显示屏上，多个连续的显示帧100经过处理器后，两个显示帧100之间被插入一帧虚拟帧200，虚拟帧200可以是由外接传送至处理器，也可以由处理器自动生成，处理器调节显示帧100与虚拟帧200的时隙比后，将数据流送至LED进行显示，使得显示帧100与虚拟帧200交替的显示在LED显示屏上。最终，显示帧100被肉眼所观察到，虚拟帧200被摄像装置捕获形成待替换场景，因而待替换场景的识别只要识别出纯色图像区域即可。
虚拟出虚拟摄像装置的位置及姿态后，即可虚拟出虚拟摄像装置的成像视角，根据虚拟摄像装置的当前成像视角及虚拟出的成像视角，即可根据成像视角的变化计算待替换场景相对虚拟摄像装置的透视参数，所述透视参数包括位置、大小、畸变中的至少一种。
步骤S108：根据透视参数编码虚拟场景。
为了使得虚拟场景与下一帧图像的待替换场景位置重合，需要根据透视参数对虚拟场景进行编码，使其符合待替换场景与虚拟摄像装置的透视关系，进而实现与拍摄画面的无缝融合。
步骤S110：用编码后的虚拟场景替换待替换场景。
虚拟场景编码后，将待替换场景区域进行抠像，并替换为虚拟场景，即完成虚拟场景与拍摄画面的无缝融合。将融合后的画面传送至一显示装置上进行显示，此时，显示装置上的显示画面中载体上显示的为虚拟场景，而拍摄现场的载体上显示的为显示帧100组成的显示视频，即实现了拍摄画面的虚拟。
请参阅图5，在一些实施例中，所述虚拟图像处理方法还包括：
步骤S112：将摄像装置的实时位置更新为摄像装置的基准位置。
通过更新摄像装置的基准位置，可以提升计算的精确度。
当然，在一些实施例中，摄像装置的基准位置也可以是不变的，维持一个固定的位置，并将该位置作为坐标系零点，摄像装置的移动可以看成在坐标系内的移动。
上述虚拟图像处理方法，通过获取的移动参数虚拟出虚拟摄像装置的位置及姿态，从而计算出待替换场景相对虚拟摄像装置的透视参数，在根据透视参数编码虚拟场景，可以实现编码虚拟场景与拍摄画面的无缝融合。可以适用于摄像装置移动中的虚拟显示。
请从参阅图6，本发明还提供一种图像处理系统10，在一些实施例中，所述图像处理系统10包括摄像装置110、位置获取部件120、计算部件130、处理器140、编码部件150及替换部件160。可以理解的是，对应于上述虚拟图像处理方法中的各实施例，所述图像处理系统10可以包括图5中所示的各部件或装置的部分或全部，各部件或装置的功能将在以下具体介绍，需要说明的是，以上的虚拟图像处理方法的各实施例中相同的名词相关的名词及其具体的解释说明也可适用于以下对各部件或装置的功能介绍，为避免重复，在此不再重复赘述。
所述摄像装置110，用于拍摄画面。
所述位置获取部件120，用于获取摄像装置110的实时位置和基准位置。
所述计算部件130，用于计算摄像机的实时位置相对基准位置的移动参数。
在一些实施例中，可以在摄像装置110内设置陀螺仪，陀螺仪的芯片可以作为计算部件130，通过陀螺仪的芯片实时计算摄像机的实时位置相对基准位置的移动参数。
所述处理器140，用于根据移动参数虚拟出虚拟摄像装置的位置及姿态，并计算出待替换场景相对虚拟摄像装置的透视参数；
所述待替换场景是指摄像装置110所捕获的显示在特定载体上的显示画面。
在一些实施例中，还包括参数获取部件170，所述参数获取部件170用于获取摄像装置110的静置参数。
摄像装置110的静置参数包括摄像机的平摇、摄像机的俯仰、镜头的聚焦、镜头的变焦中的至少一种。所述参数获取部件170可以设置于所述摄像装置110内。
在一实施例中，所述处理器140还用于：
基于摄像装置110的基准位置、移动参数综合计算得到摄像装置110实际所处的位置，作为虚拟摄像装置的位置；及
基于静置参数计算得到虚拟摄像装置的姿态。
在一些实施例中，所述处理器140还用于：
识别待替换场景在拍摄画面中的位置；以及
依据虚拟摄像装置的位置及姿态计算待替换场景相对虚拟摄像装置的透视参数。
所述编码部件150，用于编码虚拟场景；
所述替换部件160，用于将待替换场景替换为虚拟场景。
在一些实施例中，还包括位置更新部件180，所述位置更新部件180用于更新摄像装置110的基准位置。
本发明一实施例还提供一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现上述任一实施例所述的虚拟图像处理方法。
所述图像系统/计算机装置集成的部件/模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施方式的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个具体实施方式中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述部件的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能模块/部件可以集成在相同处理模块/部件中，也可以是各个模块/部件单独物理存在，也可以两个或两个以上模块/部件集成在相同模块/部件中。上述集成的模块/部件既可以采用硬件的形式实现，也可以采用硬件加软件功能模块/部件的形式实现。
对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节， 而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

  1. 一种虚拟图像处理方法，所述方法用于实现拍摄画面的虚拟，其特征在于，所述方法包括以下步骤：
    获取摄像装置的基准位置及实时位置；
    计算实时位置相对基准位置的移动参数；
    根据移动参数虚拟出虚拟摄像装置的位置及姿态，并计算出待替换场景相对虚拟出的虚拟摄像装置的透视参数；
    根据透视参数编码虚拟场景；
    用编码后的虚拟场景替换待替换场景。
  2. 根据权利要求1所述的虚拟图像处理方法，其特征在于，所述摄像装置内设置有陀螺仪，并通过陀螺仪实时计算摄像装置的实时位置相对基准位置在X、Y、Z三个方向的移动参数。
  3. 根据权利要求1或2所述的虚拟图像处理方法，其特征在于，所述根据移动参数虚拟出虚拟摄像装置的位置及姿态包括：
    获取摄像装置的静置参数；
    由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态；
    其中，所述静置参数包括摄像机的平摇、摄像机的俯仰、镜头的聚焦、镜头的变焦中的至少一种。
  4. 根据权利要求3所述的虚拟图像处理方法，其特征在于，所述由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态包括：
    基于摄像装置的基准位置、移动参数综合计算得到摄像装置实际所处的位置，作为虚拟摄像装置的位置；
    基于静置参数计算得到虚拟摄像装置的姿态。
  5. 根据权利要求3所述的虚拟图像处理方法，其特征在于，所述由基准位置、移动参数及静置参数根据预设算法计算出虚拟摄像装置的位置及姿态包括：
    基于摄像装置的基准位置、移动参数综合计算后得到摄像装置拍摄时实际所处的位置；
    基于移动参数计算预测摄像装置的移动趋势；
    将摄像装置实际所处的位置与移动趋势计算所述虚拟摄像装置的位置；
    基于静置参数计算得到虚拟摄像装置的姿态。
  6. 根据权利要求3-5任一项所述的虚拟图像处理方法，其特征在于，所述计算出待替换场景相对虚拟摄像装置的透视参数包括：
    识别待替换场景在拍摄画面中的位置；
    依据虚拟摄像装置的位置及姿态计算待替换场景的透视参数；
    其中，所述透视参数包括位置、大小、畸变中的至少一种。
  7. 一种图像处理系统，其特征在于，包括：
    摄像装置，用于拍摄画面；
    位置获取部件，用于获取摄像装置的实时位置和基准位置；
    计算部件，用于计算摄像机的实时位置相对基准位置的移动参数；
    处理器，用于根据移动参数虚拟出虚拟摄像装置的位置及姿态，并计算出待替换场景相对虚拟摄像装置的透视参数；
    编码部件，用于编码虚拟场景；及
    替换部件，用于将待替换场景替换为虚拟场景。
  8. 根据权利要求7所述的图像处理系统，其特征在于，所述摄像装置内设置有陀螺仪，所述计算部件为陀螺仪芯片。
  9. 根据权利要求7或8所述的图像处理系统，其特征在于，还包括：
    参数获取部件，用于获取摄像装置的静置参数。
  10. 一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现如权利要求1至6任一项所述的虚拟图像处理方法。
PCT/CN2018/095890 2018-01-15 2018-07-17 虚拟图像处理方法、图像处理系统及存储介质 WO2019136950A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18899867.8A EP3745700A4 (en) 2018-01-15 2018-07-17 VIRTUAL IMAGE PROCESSING, IMAGE PROCESSING SYSTEM, AND STORAGE MEDIA
US16/646,017 US11354816B2 (en) 2018-01-15 2018-07-17 Virtual image processing method, image processing system, and storage medium
JP2020511180A JP2020534724A (ja) 2018-01-15 2018-07-17 仮想画像処理方法、画像処理システムおよび記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810033430.1A CN108289220B (zh) 2018-01-15 2018-01-15 虚拟图像处理方法、图像处理系统及存储介质
CN201810033430.1 2018-01-15

Publications (1)

Publication Number Publication Date
WO2019136950A1 true WO2019136950A1 (zh) 2019-07-18

Family

ID=62835330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/095890 WO2019136950A1 (zh) 2018-01-15 2018-07-17 虚拟图像处理方法、图像处理系统及存储介质

Country Status (5)

Country Link
US (1) US11354816B2 (zh)
EP (1) EP3745700A4 (zh)
JP (1) JP2020534724A (zh)
CN (1) CN108289220B (zh)
WO (1) WO2019136950A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170441B2 (ja) * 2018-07-12 2022-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN109045694B (zh) * 2018-08-17 2020-01-10 腾讯科技（深圳）有限公司 虚拟场景显示方法、装置、终端及存储介质
CN109040528B (zh) * 2018-09-30 2021-07-23 深圳市励得数码科技有限公司 演播室中摄像机的运动状态确定方法、装置及演播室系统
CN110377861B (zh) * 2019-07-23 2023-11-07 腾讯科技（深圳）有限公司 场景间元素互动方法、装置、存储介质和计算机设备
CN111737518A (zh) * 2020-06-16 2020-10-02 浙江大华技术股份有限公司 基于三维场景模型的图像展示方法、装置及电子设备
CN112312041B (zh) * 2020-10-22 2023-07-25 北京虚拟动点科技有限公司 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
CN113766119B (zh) * 2021-05-11 2023-12-05 腾讯科技（深圳）有限公司 虚拟形象显示方法、装置、终端及存储介质
CN113923354B (zh) * 2021-09-30 2023-08-01 卡莱特云科技股份有限公司 基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统
CN116546304A (zh) * 2022-05-13 2023-08-04 腾讯数码（深圳）有限公司 一种参数配置方法、装置、设备、存储介质及产品
CN115761114B (zh) * 2022-10-28 2024-04-30 如你所视(北京)科技有限公司 视频生成方法、装置及计算机可读存储介质
CN117097878A (zh) * 2023-10-16 2023-11-21 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
US20140002580A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
CN103841299A (zh) * 2012-11-23 2014-06-04 西安天动数字科技有限公司 虚拟演播室系统
CN107158695A (zh) * 2017-06-16 2017-09-15 苏州蜗牛数字科技股份有限公司 一种现实与虚拟场景混合展现的方法及系统
CN107231531A (zh) * 2017-05-23 2017-10-03 青岛大学 一种网络虚拟现实技术与实拍结合影视制作系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5533348A (en) * 1994-08-26 1996-07-09 American Standard Inc. Average air temperature sensor
GB2305051B (en) * 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
WO1999048285A1 (fr) * 1998-03-18 1999-09-23 Nippon Television Network Corporation Systeme et procede de remplacement d'image
JP2004227332A (ja) * 2003-01-23 2004-08-12 Hitachi Ltd 情報表示方法
JP5944904B2 (ja) * 2010-09-20 2016-07-05 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． 風景の背景と前景とを区別する方法、及び風景の画像において背景を置き換える方法
GB201208088D0 (en) 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
CN105023294B (zh) * 2015-07-13 2018-01-19 中国传媒大学 结合传感器与Unity3D的定点移动增强现实方法
CN106296683A (zh) 2016-08-09 2017-01-04 深圳迪乐普数码科技有限公司 一种虚拟屏幕墙的生成方法及终端
CN107170047A (zh) * 2017-04-13 2017-09-15 北京小鸟看看科技有限公司 虚拟现实场景的更新方法、设备及虚拟现实设备
US10914957B1 (en) * 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
CN107229335A (zh) * 2017-06-01 2017-10-03 北京小鸟看看科技有限公司 一种虚拟现实场景的更换方法、装置和头戴显示设备
CN107229355A (zh) 2017-06-20 2017-10-03 柳州易农科技有限公司 一种用于家庭使用的无线鼠标

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002580A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
CN103841299A (zh) * 2012-11-23 2014-06-04 西安天动数字科技有限公司 虚拟演播室系统
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN107231531A (zh) * 2017-05-23 2017-10-03 青岛大学 一种网络虚拟现实技术与实拍结合影视制作系统
CN107158695A (zh) * 2017-06-16 2017-09-15 苏州蜗牛数字科技股份有限公司 一种现实与虚拟场景混合展现的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3745700A4 *

Also Published As

Publication number Publication date
US11354816B2 (en) 2022-06-07
CN108289220B (zh) 2020-11-27
EP3745700A4 (en) 2021-10-13
JP2020534724A (ja) 2020-11-26
US20200349734A1 (en) 2020-11-05
EP3745700A1 (en) 2020-12-02
CN108289220A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
WO2019136950A1 (zh) 虚拟图像处理方法、图像处理系统及存储介质
US7118228B2 (en) Image display system
US5963247A (en) Visual display systems and a system for producing recordings for visualization thereon and methods therefor
CN104954769B (zh) 一种浸入式超高清视频处理系统及方法
CN104702928B (zh) 修正图像交叠区的方法、记录介质以及执行装置
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
US20070247518A1 (en) System and method for video processing and display
KR20010032346A (ko) 개선된 영상 변환 및 부호화 기술
US20150070467A1 (en) Depth key compositing for video and holographic projection
CN110300316A (zh) 视频中植入推送信息的方法、装置、电子设备及存储介质
CN112330736A (zh) 一种场景画面的拍摄方法、装置、电子设备及存储介质
US11615755B1 (en) Increasing resolution and luminance of a display
CN115578970A (zh) 一种球形led屏幕校正方法、装置、系统及电子设备
CN113692734A (zh) 用于采集和投影图像的系统和方法，以及该系统的应用
Lee et al. Video extrapolation using neighboring frames
WO2021031210A1 (zh) 视频处理方法和装置、存储介质和电子设备
CN110446092B (zh) 用于体育比赛的虚拟观众席生成方法、系统、装置和介质
JP2005223487A (ja) デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラム
WO2023036218A1 (zh) 视点宽度的确定方法及其装置
US11792511B2 (en) Camera system utilizing auxiliary image sensors
US20200226716A1 (en) Network-based image processing apparatus and method
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
WO2023189079A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN112433599A (zh) 显示方法、装置和计算机可读存储介质
True et al. GPU-Based Realtime System for Cinematic Virtual Reality Production

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899867

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020511180

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018899867

Country of ref document: EP

Effective date: 20200817