WO2018121333A1 - 一种360度vr全景图形图像及视频实时生成方法 - Google Patents

一种360度vr全景图形图像及视频实时生成方法 Download PDF

Info

Publication number
WO2018121333A1
WO2018121333A1 PCT/CN2017/117071 CN2017117071W WO2018121333A1 WO 2018121333 A1 WO2018121333 A1 WO 2018121333A1 CN 2017117071 W CN2017117071 W CN 2017117071W WO 2018121333 A1 WO2018121333 A1 WO 2018121333A1
Authority
WO
WIPO (PCT)
Prior art keywords
panoramic
degree
video
graphic image
texture
Prior art date
Application number
PCT/CN2017/117071
Other languages
English (en)
French (fr)
Inventor
史鹏程
Original Assignee
艾迪普（北京）文化科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 艾迪普（北京）文化科技股份有限公司 filed Critical 艾迪普（北京）文化科技股份有限公司
Priority to US16/474,103 priority Critical patent/US11019259B2/en
Publication of WO2018121333A1 publication Critical patent/WO2018121333A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Definitions

  • the invention relates to the field of computer graphics image tracking processing, in particular to a 360 degree VR panoramic graphics image and a real-time generating method of video.
  • VR is the abbreviation of Virtual Reality, and Chinese means virtual reality.
  • 360-degree VR video is a 360x 180 panoramic video image rendered by VR technology, which enables strong immersion and interaction on mobile phones, helmets, PCs and other devices.
  • This emerging video model has developed rapidly in recent years and has become an important means of communication for the development of multiple media such as planes, televisions, movies, and networks. It is also a commercial market with key software and hardware manufacturers.
  • the patent application of the application No. 201210365946.9 discloses a system and method for displaying and interacting a panoramic video, which simply renders the panoramic video onto the 3D model, wherein the graphic image and the text are not processed, and the 360 degree VR panorama cannot be realized.
  • the playback of graphic images The traditional graphic image system is mainly used for superimposing video signals captured by ordinary cameras, such as 1080 50i, 1080 50P, etc., and the computer generates ordinary perspective projection graphic images, so that the output video and the 360-degree panoramic video format are generally 4K.
  • the picture is also real-time stitching processing, if the traditional graphic image is up-converted and superimposed (frame size is increased), in addition to the picture quality can not be guaranteed,
  • the perspective projection of the graphic image and the panoramic video cannot be fused at all in the spatial and perspective relationship, so that the picture sound is rigid and does not make the viewer feel immersed in the current video.
  • the present invention provides a 360-degree VR panoramic graphic image real-time generating method and a real-time generating method for the video including the 360-degree VR panoramic graphic image to solve the prior art.
  • traditional graphic image processing methods there are simple methods, single functions, complicated operations, unable to guarantee picture quality, perspective projection of graphic images and panoramic video in the spatial and perspective relationship can not be integrated and the picture and sound rigid and rigid technology problem.
  • the method for real-time generation of 360 degree VR panoramic graphic image comprises:
  • Determining camera position information determining current camera position and scene information according to preset settings or information of external devices
  • Generating a panoramic scene map using the texture of the panoramic CUBE texture map as a data source, performing spherical projection and secondary rendering on the texture of the panoramic CUBE texture map within a 360-degree angle of view, and performing a conversion operation to convert the CUBE texture
  • the data calculation is converted into a rendering target with a width and height of 3840 pixels and 2160 pixels respectively, and a 4K panoramic scene map is generated; wherein the aspect ratio of the 4K panoramic scene map is optionally 2:1.
  • a 360-degree VR panoramic graphic image is generated, and the generated panoramic scene texture is extracted for texture data, and output to a rendering result data queue, and the rendering result data is output through a video IO card to obtain a 360-degree VR panoramic graphic image with a key signal.
  • real-time rendering all the three-dimensional graphics images onto the spatial projection object comprises the following steps:
  • the panoramic CUBE texture map is centered on the camera, and includes textures in which all objects in the scene are rendered.
  • the graphics acceleration card After generating the panoramic scene texture at the end of each panoramic rendering, the graphics acceleration card is sent an instruction to obtain a texture data object interface, the texture object is locked, the texture data is obtained, and then the texture object is unlocked, and the texture data is obtained through these links. extract.
  • the step of outputting the panoramic scene texture to the rendering result data queue is:
  • the empty data queue is used to store the rendering result
  • the present invention also provides a real-time video generation method with a 360 degree VR panoramic graphic image, which is characterized in that a panoramic video signal generated by a panoramic camera is input, and a panoramic video and a 360 degree VR panoramic graphic image are displayed. Superimpose to generate a video with a 360 degree VR panoramic graphic image.
  • the panoramic video and the 360 degree VR panoramic graphic image are superimposed in an internal key manner, and the specific steps are:
  • panoramic video and the 360 degree VR panoramic graphic image may be superimposed by using an external key, and the specific steps are as follows:
  • the invention overcomes the defects that the traditional graphic image processing method has the advantages of simple method, single function, complicated operation, and cannot guarantee picture quality, so that the perspective image and the panoramic video can be completely accurate in spatial and perspective relationship.
  • the fusion of the images enables the natural integration of graphic images and video, creating an immersive 360-degree virtual environment for the audience, deepening the audience's immersion in the virtual 360-degree virtual graphic image and video, greatly enhancing the audience's virtual reality sense. Experience.
  • FIG. 1 is a schematic diagram showing the principle of a 360 degree VR panoramic graphic image real-time generating method according to an embodiment of the invention
  • FIG. 2 is a flowchart of a method for generating a 360 degree VR panoramic graphic image according to an embodiment of the present invention
  • FIG. 3 is a flow chart of outputting a panoramic scene map to a rendering result data queue in the step of generating a 360 degree VR panoramic graphic image in the flowchart shown in FIG. 2;
  • 4(a) and 4(b) are respectively a panoramic video and an internal key and an external key in a video real-time generating method for a 360-degree VR panoramic graphic image according to another embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a method for real-time generation of a 360 degree VR panoramic graphic image according to an embodiment of the invention.
  • the invention renders a full-enclosed panoramic CUBE texture map by real-time rendering a three-dimensional graphic image in a scene captured by the camera onto a spatial projection object, and then forming a full-enclosed panoramic CUBE texture map; and then the panoramic CUBE texture in a 360-degree viewing angle range
  • the texture of the texture is spherically projected and rendered twice, and converted into a render target, which ultimately produces a panoramic scene map.
  • the 360 degree VR panoramic graphic image generating method of the invention passes VR panoramic video 3D graphics rendering engine, can meet the requirements of real-time 4K rendering and broadcast.
  • the present invention proposes a 360 degree VR panoramic graphic image real-time generation method. As shown in Figure 2, the method includes:
  • S201 Determine camera position information: determine current camera position and scene information according to preset settings or information of an external device;
  • S202 Generate a panoramic CUBE texture map: according to the change of the scene information, use the GPU to perform a three-dimensional CUBE projection map rendering operation on all the three-dimensional graphic images in the scene captured by the camera, thereby real-time rendering the three-dimensional graphic image onto the spatial projection object.
  • the three-dimensional graphics scenes of the upper, lower, left, and right front and back are separately combined and captured and captured to form a CUBE rendering texture of all-round, full-enclosed and full-scenario;
  • S203 Generate a panoramic scene map: using the texture of the panoramic CUBE texture map as a data source, performing spherical projection and secondary rendering on the texture of the panoramic CUBE texture map by a GPU in a 360-degree view angle, in a 360-degree view
  • the projection rendering operation is performed on the CUBE texture data, and the CUBE texture data calculation is converted into a rendering target with a width and height of 3840 pixels and 2160 pixels respectively, and a 4K panoramic scene map is generated; wherein the aspect ratio of the rendering target can be The selection is 2:1.
  • the method based on the present invention can be optimized by optimizing the GPU algorithm of DirectX. (VR panoramic video 3D graphics rendering engine) rendering and playout technology, can more effectively display 3D scene content in 4K format.
  • DirectX VR panoramic video 3D graphics rendering engine
  • real-time rendering all the three-dimensional graphics images onto the spatial projection object comprises the following steps:
  • the panoramic CUBE texture map is centered on the camera, and includes textures in which all objects in the scene are rendered.
  • the graphics acceleration card After generating the panoramic scene texture at the end of each panoramic rendering, the graphics acceleration card is sent an instruction to obtain a texture data object interface, the texture object is locked, the texture data is obtained, and then the texture object is unlocked, and the texture data is obtained through these links. extract.
  • the step of outputting the panoramic scene texture to the rendering result data queue is:
  • S301 Set a critical lock and, under its protection, take a data address from the empty data queue header, update the calculated latest data, add a timestamp and a parity field identifier to the data block, and add the data block to the data to be broadcast.
  • the empty data queue is used to store the rendering result;
  • the present invention generally improves the 3D rendering technology of the GPU+CPU by improving the MMX instruction set and the SSE instruction set, and satisfies the three-dimensional object creation, rendering, texture special effects in the 360 degree 4K panoramic rendering environment.
  • 3D panoramic image production and broadcast effects such as animation effects, shaders, and file formats.
  • a dedicated fast creation software for VR panoramic three-dimensional graphics and a VR panoramic video live broadcast and dedicated control software by which VR panoramic video signals, three-dimensional graphic templates, real-time external data, etc. can be used.
  • the video material is combined to generate a 360-degree panoramic image signal with a key signal in real-time, combined with an external device, using a standard 4K SDI video signal interface, with a VR panoramic camera, a 4K switcher, a 4K video server, and a 4K button.
  • a standard video production device such as a controller generates a 360-degree panoramic video program signal with a graphic image to form a complete system that satisfies the live broadcast of the VR panoramic video program.
  • the present invention also provides a real-time generating method for 360 degree VR panoramic graphic image video.
  • the method can input a panoramic video signal generated by a panoramic camera, and superimpose the panoramic video and the 360-degree VR panoramic graphic image to generate a 360-degree VR panoramic graphic.
  • the video of the image can input a panoramic video signal generated by a panoramic camera, and superimpose the panoramic video and the 360-degree VR panoramic graphic image to generate a 360-degree VR panoramic graphic.
  • the video of the image can input a panoramic video signal generated by a panoramic camera, and superimpose the panoramic video and the 360-degree VR panoramic graphic image to generate a 360-degree VR panoramic graphic.
  • the panoramic video and the 360-degree VR panoramic graphic image are superimposed in an internal key manner, and the specific steps are as follows:
  • the panoramic video and the 360-degree VR panoramic graphic image may be superimposed in an external key manner.
  • the specific steps are as follows:
  • the method of the present invention can also switch the manner of selecting the panoramic camera channel, trigger the real-time switching of the relevant 360 degree VR panoramic graphic image scene, and convert the graphic image rendering effect, or can deploy multiple 360 degrees.
  • VR panoramic graphics rendering service to achieve multi-channel multi-camera 360-degree panoramic graphics system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种360度VR全景图形图像的实时生成方法，该方法包括：确定当前的摄像机位置和场景信息；将所述摄像机拍摄的场景内的三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并将其转换到一个渲染目标中，生成全景场景贴图；将生成的全景场景贴图通过视频IO卡的输出，得到有键信号的360度VR全景图形图像。此外，本发明还公开了一种360度VR全景图形图像视频的实时生成方法，该方法将全景视频信号中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。

Description

一种360度VR全景图形图像及视频实时生成方法 技术领域
本发明涉及计算机图形图像跟踪处理领域，具体涉及一种360度VR全景图形图像及视频的实时生成方法。
背景技术
VR是Virtual Reality的英文缩写，中文意为虚拟现实。360度VR视频就是利用VR技术呈现的360x 180的全景视频画面，让使用着在手机、头盔、PC等设备上获得较强的观看沉浸感、交互感。这种新兴的视频模式近年来发展十分迅速，已经成为平面、电视、电影、网络等多个媒体竞相发展的重要传播手段，也是各个软硬件产商重点投入的商业市场。
在现有的产品技术中，还只是集中在360度全景视频摄像设备(全景摄像机)以及观看设备(VR眼镜)的研发上，其仅仅能够完成简单的VR视频拍摄、缝合拼接和直播功能，而目前在中间的360度全景三维图形图像引擎上的技术、方法比较简单，而且还存在着功能单一、操作复杂等问题。
而在360度全景视频播出中，目前还没有很好的方式添加全景图形文字。如申请号201210365946.9的专利申请公开了一种全景视频的展示与交互系统和方法，其仅仅就是将全景视频渲染到3D模型上，其中并没有对图形图像和文字进行处理，无法实现360度VR全景图形图像的播放。而传统的图形图像系统主要用于普通摄像机拍摄的视频信号叠加，如1080 50i、1080 50P等制式的摄像机，计算机生成普通的透视投影图形图像，这样输出的视频而360度全景视频格式一般为4K 25P、4K 50P、4K 120P或8K 25P制式，及画幅至少在4K以上，画面也是实时缝合处理而成，如果使用传统的图形图像上变换后叠加(画幅增大)，除了画面质量不能保障外，透视投影的图形图像和全景视频在 空间和透视关系上完全不能融合，从而使得画面声音死板，并不能使观众产生沉浸在当前视频中的感觉。上面传统图形图像处理系统和方法的缺点大大的限制了VR视频行业的发展。
发明内容
针对上面提到的现有技术中存在的技术问题，本发明提出了一种360度VR全景图形图像实时生成方法及包含该360度VR全景图形图像的视频的实时生成方法，以解决现有技术中存在的传统图形图像处理方法中存在的方法简单、功能单一、操作复杂、无法保障画面质量、透视投影的图形图像和全景视频在空间和透视关系上完全不能融合以及画面和声音生硬呆板的技术问题。
本发明提供的一种360度VR全景图形图像实时生成方法包括：
确定摄像机位置信息，根据预先的设置或外部设备的信息，确定当前的摄像机位置和场景信息；
生成全景CUBE纹理贴图，根据场景信息的变化，将所述摄像机拍摄的场景内的全部三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；
生成全景场景贴图，将所述全景CUBE纹理贴图的纹理做为数据源，在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并进行转换运算，将CUBE纹理数据计算转换到一个宽高分别为3840像素和2160像素的渲染目标中，生成4K全景场景贴图；其中，4K全景场景贴图的宽高比可选地为2:1。
生成360度VR全景图形图像，将生成的全景场景贴图进行纹理数据提取，输出到渲染结果数据队列，通过视频IO卡将所述渲染结果数据输出，得到有键信号的360度VR全景图形图像。
其中，可选地，在生成CUBE纹理贴图步骤中，将全部三维图形图像实时渲染到空间投影对象上包括下面步骤：
以所述摄像机位置为原点，建立局部三维坐标系；
以90度的视场角FOV，沿着所述三维坐标系的X、-X、Y、-Y、Z以及-Z轴的方向分别对场景内的物件进行投影并进行6次组合渲染，合并成具有6个纹理面的天空包围盒，形成6幅正方形的纹理贴图，从而形成所述全包围的CUBE纹理贴图。所述全景CUBE纹理贴图以摄像机为圆心，包括场景内全部物件被渲染后的纹理。
在每次全景渲染结束生成全景场景贴图后，给图形加速卡发指令，获取纹理数据对象接口，对纹理对象进行锁定处理，获取纹理数据，然后对纹理对象解除锁定，通过这些环节来获得纹理数据提取。
在本发明的可选的实施方式中，在生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的步骤为：
i)设置临界锁并在其保护下，从空数据队列头中取出数据地址，更新计算出的最新数据，并在该数据块加上时间戳和奇偶场标识，将该数据块加入待播数据队列尾部，所述空数据队列用于存储渲染结果；
ii)在视频播出线程中，当等到播出指令时，在临界锁保护下，根据播出状态从待播数据队列头中取出待播、标识正确的数据，送入到板卡播出；
iii)将播过的数据缓存放入到空数据队列尾部，形成一个8字形结构的队列。
此外，本发明还提供了一种带有360度VR全景图形图像的视频实时生成方法，其特征在于，输入全景摄像机生成的全景视频信号，将其中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。
可选地，以内部键的方式和对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：
a)将全景摄像机同步到信号发生器的BB信号上；
b)输入所述全景摄像机实时生成的全景视频信号，进行全景图形图像、全 景视频的画面叠加，然后进行视频输出。
此外，还可以以外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：
a’)将全景摄像机、4K键控器\切换台和所述360度VR全景图形图像信号统一同步到信号发生器的BB信号上；
b’)将全景视频信号、全景图形图像信号统一在4K键控器\切换台上叠加，然后输出。
通过上述方法，本发明克服了传统图形图像处理方法中存在的方法简单、功能单一、操作复杂、无法保障画面质量的缺陷，使透视投影的图形图像和全景视频在空间和透视关系上能够完全准确地融合，使图形图像和视频能够自然结合，为观众营造出身临其境的360度虚拟环境，加深观众在虚拟的360度的虚拟图形图像视频中的沉浸感，大大提升了观众的虚拟现实感官体验。
附图说明
图1为根据本发明实施例的一种360度VR全景图形图像实时生成方法的原理示意图；
图2为本发明实施例的360度VR全景图形图像生成方法的流程图；
图3为根据图2所示的流程图中的生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的流程图；
图4(a)和图4(b)分别为根据本发明另一实施例的一种360度VR全景图形图像的视频实时生成方法中的以内部键和外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，下面所描述的实施例仅是本发明的实施例，其仅用于 更加清楚地对本发明进行解释和说明，并不能以此来限定本发明的保护范围。
参考图1，图1为根据本发明实施例的一种360度VR全景图形图像实时生成方法的原理示意图。本发明通过将摄像机拍摄的场景内的三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；然后在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并将其转换到一个渲染目标中，最终生成全景场景贴图。本发明的360度VR全景图形图像生成方法通过
Figure PCTCN2017117071-appb-000001
VR全景视频三维图形渲染引擎，可以满足实时4K渲染以及播出的要求。
参考图2，本发明提出了一种360度VR全景图形图像实时生成方法。如图2所示，该方法包括：
S201，确定摄像机位置信息：根据预先的设置或外部设备的信息，确定当前的摄像机位置和场景信息；
S202，生成全景CUBE纹理贴图：根据场景信息的变化，利用GPU将所述摄像机拍摄的场景内的全部三维图形图像进行三维空间CUBE投影贴图渲染运算，从而将三维图形图像实时渲染到空间投影对象上，分六个视角对上下左右前后三维图形场景进行分别进行组合渲染和捕捉合并，形成全方位、全包围、全场景的CUBE渲染贴图；
S203，生成全景场景贴图：将所述全景CUBE纹理贴图的纹理做为数据源，在360度视角范围内通过GPU对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，在360度视角范围内针对CUBE纹理数据进行投影渲染运算，将CUBE纹理数据计算转换到一个宽高分别为3840像素和2160像素的渲染目标中，生成4K全景场景贴图；其中，所述渲染目标的宽高比可选地为2:1。
S204，生成360度VR全景图形图像：将生成的全景场景贴图进行纹理数据提取，输出到渲染结果数据队列，通过4K Video IO卡将所述渲染结果数据输出，得到有键信号的360度VR全景图形图像。
在实际应用中，基于本发明的方法，可以通过优化DirectX的GPU算法， 通过
Figure PCTCN2017117071-appb-000002
(VR全景视频三维图形渲染引擎)的渲染和播出技术，能够更高效展示4K制式下的三维场景内容。
其中，可选地，在生成CUBE纹理贴图步骤中，将全部三维图形图像实时渲染到空间投影对象上包括下面步骤：
以所述摄像机位置为原点，建立局部三维坐标系；
以90度的视场角FOV，沿着所述三维坐标系的X、-X、Y、-Y、Z以及-Z轴的方向分别对场景内的物件进行投影并进行6次组合渲染，合并成具有6个纹理面的天空包围盒，形成6幅正方形的纹理贴图，从而形成所述全包围的CUBE纹理贴图。所述全景CUBE纹理贴图以摄像机为圆心，包括场景内全部物件被渲染后的纹理。
在每次全景渲染结束生成全景场景贴图后，给图形加速卡发指令，获取纹理数据对象接口，对纹理对象进行锁定处理，获取纹理数据，然后对纹理对象解除锁定，通过这些环节来获得纹理数据提取。
参考图3，基于图2所示的方法，在可选的实施方式中，生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的步骤为：
S301，设置临界锁并在其保护下，从空数据队列头中取出数据地址，更新计算出的最新数据，并在该数据块加上时间戳和奇偶场标识，将该数据块加入待播数据队列尾部，所述空数据队列用于存储渲染结果；
S302，在视频播出线程中，当等到播出指令时，在临界锁保护下，根据播出状态从待播数据队列头中取出待播、标识正确的数据，送入到板卡播出；
S303，将播过的数据缓存放入到空数据队列尾部，形成一个8字形结构的队列。
在实际应用过程中，本发明通常通过改进MMX指令集和SSE指令集，使得GPU+CPU的三维渲染技术配合更完善，满足在360度4K全景渲染环境下的三维物件创作、渲染、纹理特效、动画特效、着色器、文件格式等三维全景图形图像制作和播出效果。
基于本发明的上述方法，能够构造VR全景三维图形的专用快速创作软件以及用于VR全景视频直播及专用控制软件，通过这些软件，可以将VR全景视频信号、三维图形模板、实时外部数据等多种视频素材结合在一起，实时渲染生成一个360度带键信号的全景图形图像信号，结合外部设备，利用标准的4K SDI视频信号接口，与VR全景摄像机、4K切换台、4K视频服务器和4K键控器等标准视频制作设备，生成360度带图形图像的全景视频节目信号，形成一套满足VR全景视频节目直播的完整系统。
此外，本发明还提供了一种360度VR全景图形图像视频的实时生成方法。参考图4(a)和图4(b)，所述方法能够输入全景摄像机生成的全景视频信号，将其中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。
如图4(a)所示，可选地，以内部键的方式和对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：
a)将全景摄像机同步到信号发生器的BB信号上；
b)输入所述全景摄像机生成的全景视频信号，进行全景图形图像、全景视频的画面叠加，然后进行视频输出。
如图4(b)所示，还可以以外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：
a’)将全景摄像机、4K键控器\切换台和所述360度VR全景图形图像信号统一同步到信号发生器的BB信号上；
b’)将全景视频信号、全景图形图像信号统一在4K键控器\切换台上叠加，然后输出。
此外，在实际应用过程中，本发明的方法还可以通过切换选择全景摄像机通道的方式，同时触发相关360度VR全景图形图像场景实时切换，进行图形图像渲染效果转换，或者可以部署多台360度VR全景图形图像渲染服务，以实现多讯道多机位的360度全景图形图像系统。
以上对本发明的具体实施方式进行了详细的描述，但本领域内的技术人员根据本发明的创造性概念，可以对本发明进行各种变形和修改，但所做的各种变形和修改不脱离本发明的精神和范围，皆属于本发明权利要求的范围之内。

Claims (9)

  1. 一种360度VR全景图形图像的实时生成方法，其特征在于，该方法包括：
    确定摄像机位置信息：根据预先的设置或外部设备的信息，确定当前的摄像机位置和场景信息；
    生成全景CUBE纹理贴图：根据场景信息的变化，将所述摄像机拍摄的场景内的全部三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；
    生成全景场景贴图：将所述全景CUBE纹理贴图的纹理做为数据源，在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并进行转换运算，将其转换到一个渲染目标中，生成4K全景场景贴图；
    生成360度VR全景图形图像：将生成的全景场景贴图进行纹理数据提取，输出到渲染结果数据队列，通过视频IO卡将所述渲染结果数据输出，得到有键信号的360度VR全景图形图像。
  2. 如权利要求1所述的方法，其特征在于，在生成CUBE纹理贴图步骤中，将全部三维图形图像实时渲染到空间投影对象上包括下面步骤：
    以所述摄像机位置为原点，建立局部三维坐标系；
    以90度的视场角FOV，沿着所述三维坐标系的X、-X、Y、-Y、Z以及-Z轴的方向分别对场景内的物件进行投影并进行6次组合渲染，合并成具有6个纹理面的天空包围盒，形成6幅正方形的纹理贴图，从而形成所述全包围的CUBE纹理贴图。
  3. 如权利要求1所述的方法，其特征在于，在每次全景渲染结束生成全景场景贴图后，给图形加速卡发指令，获取纹理数据对象接口，对纹理对象进行锁定处理，获取纹理数据，然后对纹理对象解除锁定，通过这些环节来获得纹理数据提取。
  4. 如权利要求1所述的方法，其特征在于，所述全景CUBE纹理贴图以 摄像机为圆心，包括场景内全部物件被渲染后的纹理。
  5. 如权利要求1所述的方法，其特征在于，所述全景场景贴图的宽高比为2:1。
  6. 如权利要求1所述的方法，其特征在于，在生成360度VR全景图形图像步骤中，将全景场景贴图输出到渲染结果数据队列的步骤为：
    i)设置临界锁并在其保护下，从空数据队列头中取出数据地址，更新计算出的最新数据，并在该数据块加上时间戳和奇偶场标识，将该数据块加入待播数据队列尾部，所述空数据队列用于存储渲染结果；
    ii)在视频播出线程中，当等到播出指令时，在临界锁保护下，根据播出状态从待播数据队列头中取出待播、标识正确的数据，送入到板卡播出；
    iii)将播过的数据缓存放入到空数据队列尾部，形成一个8字形结构的队列。
  7. 一种360度VR全景图形图像视频的实时生成方法，其特征在于，输入全景摄像机生成的全景视频信号，将其中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。
  8. 如权利要求7所述的方法，其特征在于，以内部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：
    a)实时将全景摄像机同步到信号发生器的BB信号上；
    b)输入所述全景摄像机生成的全景视频信号，进行全景图形图像、全景视频的画面叠加，然后进行视频输出。
  9. 如权利要求7所述的方法，其特征在于，以外部键的方式对所述全景视频和所述360度VR全景图形图像进行叠加，具体步骤为：
    a’)将全景摄像机、4K键控器\切换台和所述360度VR全景图形图像信号统一同步到信号发生器的BB信号上；
    b’)将全景视频信号、全景图形图像信号统一在4K键控器\切换台上叠加，然后输出。
PCT/CN2017/117071 2016-12-30 2017-12-19 一种360度vr全景图形图像及视频实时生成方法 WO2018121333A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/474,103 US11019259B2 (en) 2016-12-30 2017-12-19 Real-time generation method for 360-degree VR panoramic graphic image and video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611253932.2A CN108616731B (zh) 2016-12-30 2016-12-30 一种360度vr全景图形图像及视频实时生成方法
CN201611253932.2 2016-12-30

Publications (1)

Publication Number Publication Date
WO2018121333A1 true WO2018121333A1 (zh) 2018-07-05

Family

ID=62707854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/117071 WO2018121333A1 (zh) 2016-12-30 2017-12-19 一种360度vr全景图形图像及视频实时生成方法

Country Status (3)

Country Link
US (1) US11019259B2 (zh)
CN (1) CN108616731B (zh)
WO (1) WO2018121333A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292336A (zh) * 2020-01-21 2020-06-16 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111836032A (zh) * 2020-04-23 2020-10-27 湖南傲英创视信息科技有限公司 一种周扫立体全景视频采集系统
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112104853A (zh) * 2019-06-17 2020-12-18 上海哔哩哔哩科技有限公司 3d视频的全景渲染方法、计算机设备和可读存储介质
CN112215033A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 车辆全景环视图像的生成方法、装置、系统及存储介质
CN114842120A (zh) * 2022-05-19 2022-08-02 北京字跳网络技术有限公司 一种图像渲染处理方法、装置、设备及介质
CN115209121A (zh) * 2022-07-14 2022-10-18 江苏龙威中科技术有限公司 一种具有智能集成功能的全范围仿真系统及方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050146B (zh) * 2018-10-11 2022-04-15 上海云绅智能科技有限公司 一种单屏成像的方法、智能设备及系统
KR102543228B1 (ko) * 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
CN111696396A (zh) * 2019-03-12 2020-09-22 兴万信息技术(上海)有限公司 一种vr模拟培训教学系统
CN111726594A (zh) * 2019-03-21 2020-09-29 上海飞猿信息科技有限公司 一种高效优化渲染及与位姿反畸变融合的实现方法
CN111665631A (zh) * 2020-06-16 2020-09-15 长沙知勤达知识产权代理有限公司 一种基于虚拟现实的水族观赏系统及方法
CN112037341A (zh) * 2020-08-26 2020-12-04 北京掌中飞天科技股份有限公司 基于Web前端处理VR全景交互功能的方法及装置
CN114143528B (zh) * 2020-09-04 2024-06-28 北京大视景科技有限公司 多视频流融合方法、电子设备、存储介质
CN112138387B (zh) * 2020-09-22 2024-07-09 网易（杭州）网络有限公司 图像处理方法、装置、设备和存储介质
CN112465939B (zh) * 2020-11-25 2023-01-24 上海哔哩哔哩科技有限公司 全景视频渲染方法及系统
CN112672131B (zh) * 2020-12-07 2024-02-06 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN112734947B (zh) * 2020-12-29 2022-10-14 贝壳技术有限公司 在vr房屋中进行3d内容投放方法及装置
CN113206992A (zh) * 2021-04-20 2021-08-03 聚好看科技股份有限公司 一种转换全景视频投影格式的方法及显示设备
CN114302060A (zh) * 2021-12-30 2022-04-08 苏州瀚易特信息技术股份有限公司 一种360度vr全景图形图像及视频实时生成方法
US11985381B2 (en) * 2022-01-10 2024-05-14 Tencent America LLC Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines
CN114582188B (zh) * 2022-01-26 2024-08-16 广州市乐拓电子科技有限公司 一种基于ar的沉浸式仿真体育训练室
CN114449169B (zh) * 2022-01-27 2023-11-17 中影电影数字制作基地有限公司 一种将全景视频展现在cave空间中的裁剪方法及系统
CN114565743A (zh) * 2022-02-24 2022-05-31 国网上海市电力公司 一种电力勘测现场vr模型建立方法
CN114630037B (zh) * 2022-03-22 2024-02-02 北京有竹居网络技术有限公司 拍摄装置及其控制方法、装置、可读存储介质和电子设备
CN114581611B (zh) * 2022-04-28 2022-09-20 阿里巴巴（中国）有限公司 虚拟场景构建方法以及装置
CN115063462B (zh) * 2022-06-06 2024-08-30 华中科技大学 一种三维影像采集与沉浸式生成方法及系统
US12073010B2 (en) 2022-07-01 2024-08-27 State Farm Mutual Automobile Insurance Company VR environment for accident reconstruction
US11790776B1 (en) 2022-07-01 2023-10-17 State Farm Mutual Automobile Insurance Company Generating virtual reality (VR) alerts for challenging streets
CN117095149B (zh) * 2023-10-18 2024-02-02 广东图盛超高清创新中心有限公司 用于超高清vr现场制作的实时图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US20150321103A1 (en) * 2014-05-08 2015-11-12 Sony Computer Entertainment Europe Limited Image capture method and apparatus
WO2016140082A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN107133918A (zh) * 2017-05-05 2017-09-05 陈健 一种在三维场景中任意位置生成全景图的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945563B (zh) 2012-09-26 2017-05-24 天津游奕科技有限公司 一种全景视频的展示与交互系统及方法
US8949841B2 (en) * 2012-12-27 2015-02-03 Nvidia Corporation Approach for a configurable phase-based priority scheduler

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US20150321103A1 (en) * 2014-05-08 2015-11-12 Sony Computer Entertainment Europe Limited Image capture method and apparatus
WO2016140082A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN107133918A (zh) * 2017-05-05 2017-09-05 陈健 一种在三维场景中任意位置生成全景图的方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104853A (zh) * 2019-06-17 2020-12-18 上海哔哩哔哩科技有限公司 3d视频的全景渲染方法、计算机设备和可读存储介质
US11910068B2 (en) 2019-06-17 2024-02-20 Shanghai Bilibili Technology Co., Ltd. Panoramic render of 3D video
CN112215033A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 车辆全景环视图像的生成方法、装置、系统及存储介质
CN112215033B (zh) * 2019-07-09 2023-09-01 杭州海康威视数字技术股份有限公司 车辆全景环视图像的生成方法、装置、系统及存储介质
CN111369684B (zh) * 2019-12-10 2023-09-01 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111292336A (zh) * 2020-01-21 2020-06-16 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法
CN111292336B (zh) * 2020-01-21 2023-06-06 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法
CN111836032A (zh) * 2020-04-23 2020-10-27 湖南傲英创视信息科技有限公司 一种周扫立体全景视频采集系统
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN114842120A (zh) * 2022-05-19 2022-08-02 北京字跳网络技术有限公司 一种图像渲染处理方法、装置、设备及介质
CN115209121A (zh) * 2022-07-14 2022-10-18 江苏龙威中科技术有限公司 一种具有智能集成功能的全范围仿真系统及方法
CN115209121B (zh) * 2022-07-14 2024-03-15 江苏龙威中科技术有限公司 一种具有智能集成功能的全范围仿真系统及方法

Also Published As

Publication number Publication date
CN108616731B (zh) 2020-11-17
CN108616731A (zh) 2018-10-02
US20200128178A1 (en) 2020-04-23
US11019259B2 (en) 2021-05-25

Similar Documents

Publication Publication Date Title
US11019259B2 (en) Real-time generation method for 360-degree VR panoramic graphic image and video
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
JP7249755B2 (ja) 画像処理システムおよびその制御方法、プログラム
CN110691175B (zh) 演播室中模拟摄像机运动跟踪的视频处理方法及装置
KR101723210B1 (ko) 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
CN107005689B (zh) 数字视频渲染
JP2019191989A (ja) 仮想視点画像を生成するシステム、方法及びプログラム
WO2023098279A1 (zh) 视频数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN213461894U (zh) 一种xr-扩展现实系统
KR20210032549A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
US9338429B2 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
US20090153550A1 (en) Virtual object rendering system and method
WO2022024780A1 (ja) 情報処理装置、情報処理方法、映像配信方法及び情報処理システム
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
KR102558294B1 (ko) 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법
JP2018033107A (ja) 動画の配信装置及び配信方法
CN213126145U (zh) 一种ar-虚拟互动系统
KR101752691B1 (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
JP6091850B2 (ja) テレコミュニケーション装置及びテレコミュニケーション方法
US12112426B2 (en) Augmenting a view of a real-world environment with a view of a volumetric video object
US11388378B2 (en) Image processing apparatus, image processing method and projection system
KR101453531B1 (ko) 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법
Kriz et al. Proposed Methods for Real-Time Visualization of Panoramic Stadium Tribune Images in High Resolution

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17889229

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17889229

Country of ref document: EP

Kind code of ref document: A1