WO2019047847A1 - 一种虚拟现实的六自由度三维重构方法、系统及便携式终端 - Google Patents

一种虚拟现实的六自由度三维重构方法、系统及便携式终端 Download PDF

Info

Publication number
WO2019047847A1
WO2019047847A1 PCT/CN2018/104135 CN2018104135W WO2019047847A1 WO 2019047847 A1 WO2019047847 A1 WO 2019047847A1 CN 2018104135 W CN2018104135 W CN 2018104135W WO 2019047847 A1 WO2019047847 A1 WO 2019047847A1
Authority
WO
WIPO (PCT)
Prior art keywords
fisheye
images
stereo
dimensional
maps
Prior art date
Application number
PCT/CN2018/104135
Other languages
English (en)
French (fr)
Inventor
谢亮
Original Assignee
深圳岚锋创视网络科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳岚锋创视网络科技有限公司 filed Critical 深圳岚锋创视网络科技有限公司
Publication of WO2019047847A1 publication Critical patent/WO2019047847A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Definitions

  • the invention relates to a method for processing an image, in particular to a six-degree-of-freedom three-dimensional reconstruction method and system for a virtual reality and a portable terminal.
  • fisheye images can record a wider range of scenes, and multiple fisheye images can be obtained by shooting with multiple cameras arranged in a circular arrangement.
  • virtual reality technology can only achieve a rotation experience of three degrees of freedom, and it is difficult to achieve a spatial translation effect, which brings a poor visual effect and a sense of presence.
  • a three-dimensional reconstruction method for a picture in a virtual reality is dispersed in various documents.
  • Chinese Patent Application No. 2016106797331 discloses a three-dimensional reconstruction method of a target based on a single light field camera.
  • Complex, and the main application scenario is the field of three-dimensional shape detection of products on industrial production lines, and the effect of three-dimensional reconstruction needs to be further improved.
  • the three-dimensional reconstruction technology of the mobile client is also widely disclosed in various documents.
  • this patent application 2016102078353 discloses a binocular three-dimensional reconstruction method.
  • the technology has higher hardware requirements and higher marketization cost. Conducive to large-scale promotion, and the process is complex, the amount of calculation is large, and the hardware load is large.
  • An object of the present invention is to provide a six-degree-of-freedom three-dimensional reconstruction method, system, computer readable storage medium and portable terminal for virtual reality.
  • the six-degree-of-freedom three-dimensional reconstruction method of the virtual reality provided by the present invention includes:
  • the three-dimensional panorama is reconstructed according to the plurality of depth maps and the plurality of stereo corrected images.
  • the six-degree-of-freedom three-dimensional reconstruction system of the virtual reality comprises:
  • a fisheye image acquisition module for acquiring a plurality of fisheye images
  • Distortion correction module used to correct distortion of multiple fisheye images and obtain images with multiple distortion corrections
  • Stereo correction module used for stereo correction of multiple distortion corrected images to obtain multiple stereo corrected images.
  • Stereo matching module used for stereo matching of two adjacent images in multiple stereo corrected images to obtain multiple disparity maps
  • View conversion module used to convert multiple disparity maps into multiple depth maps
  • 3D panoramic reconstruction module reconstructing a 3D panoramic image according to multiple depth maps and multiple stereo corrected images.
  • the present invention still further provides a computer readable storage medium storing a computer program, the computer program being executed by a processor to implement the steps of the six-degree-of-freedom three-dimensional reconstruction method of the virtual reality provided by the present invention .
  • the present invention still further provides a portable terminal, the portable terminal comprising:
  • One or more processors are One or more processors;
  • One or more computer programs wherein the one or more computer programs are stored in the memory and configured to be executed by the one or more processors, the processor implementing the computer program
  • the virtual reality six-degree-of-freedom three-dimensional reconstruction method, system and portable terminal provided by the invention perform distortion correction and stereo correction on the fisheye image, and further perform two adjacent images in the plurality of stereo corrected images.
  • the stereo matching is used to obtain the disparity map, and the disparity map is converted into the depth map.
  • the depth map and the stereo corrected image are used to reconstruct the three-dimensional panoramic image, thereby realizing the six-degree-of-freedom experience of the virtual reality, and giving the user a better realism and A sense of presence.
  • FIG. 1 is a flowchart of a six-degree-of-freedom three-dimensional reconstruction method for virtual reality according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram of a virtual reality six-degree-of-freedom three-dimensional reconstruction system according to Embodiment 2 of the present invention.
  • FIG. 3 is a structural diagram of a portable terminal according to Embodiment 4 of the present invention.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • a six-degree-of-freedom three-dimensional reconstruction method for a virtual reality includes the following steps:
  • the fisheye image is taken by a fisheye camera or a portable terminal with a fisheye lens, and the fisheye camera or the portable terminal with a fisheye lens may have N, and N is an integer greater than or equal to 2, so the number of fisheye images corresponds accordingly. For the N picture.
  • S102 Perform distortion correction on a plurality of fisheye images to obtain images with multiple distortion corrections.
  • S102 may specifically: calibrate N fisheye cameras or portable terminals with fisheye lens respectively, and acquire internal shooting parameters and distortion coefficients of N fisheye cameras or portable terminals with fisheye lens; according to the obtained N fisheyes
  • the internal imaging parameters and the distortion coefficient of the camera or the portable terminal with the fisheye lens respectively correct the distortion of the corresponding N fisheye images, and obtain the image after N distortion correction.
  • S103 Perform stereo correction on the image after the plurality of distortion corrections to obtain a plurality of stereo corrected images.
  • S104 Perform stereo matching on two adjacent images in the plurality of stereo corrected images to obtain a plurality of disparity maps.
  • S104 may be specifically: for two adjacent images in the stereo corrected image, such as I 1 -I 2 , I 2 -I 3 , . . . I n -I 1 , performing stereo matching to obtain N disparity maps disp 1 -disp n .
  • S105 may be specifically: obtaining a correspondence between a disparity value and a depth value
  • the N disparity maps are respectively converted into N depth maps depth 1 -depth n .
  • S106 Reconstruct the three-dimensional panoramic image according to the multiple depth map and the multiple stereo corrected images.
  • S106 may be specifically: obtaining a back projection model of a two-dimensional image point to a three-dimensional space point, and reconstructing the three-dimensional panoramic image by using the N depth image and the N stereo corrected image I 1 -I n based on the back projection model.
  • S106 can also be specifically:
  • the rotation axis of the i-th fisheye camera or the portable terminal with a fisheye lens relative to the first fisheye camera or the portable terminal with a fisheye lens is R i
  • the translation vector is t i
  • the three-dimensional point is in the first fish
  • each point in each depth map is converted to a three-dimensional point coordinate with reference to the coordinate system of the first fisheye camera or the portable terminal with a fisheye lens;
  • each point on the stereo corrected image is projected onto the unit sphere, and saved in the form of a latitude and longitude map to obtain a panoramic color image;
  • a three-dimensional panorama is obtained from the panoramic depth map and the panoramic color image.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • a block diagram of a virtual reality six-degree-of-freedom three-dimensional reconstruction system according to Embodiment 2 of the present invention includes:
  • the fisheye image acquisition module 201 is configured to acquire a plurality of fisheye images.
  • the fisheye camera or the portable terminal with a fisheye lens may have N, and N is an integer greater than or equal to 2, and therefore, the number of fisheye images corresponds to N frames.
  • the distortion correction module 202 is configured to perform distortion correction on a plurality of fisheye images to obtain a plurality of distortion corrected images. Specifically, it can be used to respectively calibrate N fisheye cameras or portable terminals with a fisheye lens to obtain internal shooting parameters and distortion coefficients of N fisheye cameras or portable terminals with fisheye lens; according to the obtained N fisheye cameras Or the internal shooting parameters and the distortion coefficient of the portable terminal with the fisheye lens respectively correct the corresponding N fisheye images to obtain N distortion corrected images.
  • the stereo correction module 203 is configured to perform stereo correction on the image after the plurality of distortion corrections to obtain a plurality of stereo corrected images.
  • the stereo matching module 204 is configured to perform stereo matching on two adjacent images in the plurality of stereo corrected images to obtain a plurality of disparity maps. Specifically, it can be used to perform stereo matching on two adjacent images in multiple stereo corrected images, such as I 1 -I 2 , I 2 -I 3 , . . . I n -I 1 , to obtain N disparity maps disp 1 -disp n .
  • the view conversion module 205 is configured to convert the plurality of disparity maps into multiple depth maps. Specifically, the mapping between the disparity value and the depth value may be obtained, and the N disparity maps are respectively converted into N depth maps depth 1 -depth n according to the correspondence between the disparity values and the depth values.
  • the three-dimensional panoramic reconstruction module 206 reconstructs the three-dimensional panoramic image according to the plurality of depth maps and the plurality of stereo-corrected images. Specifically, it can be used to obtain a back projection model of a two-dimensional image point to a three-dimensional space point. Based on the back projection model, the three-dimensional panoramic image is reconstructed by using the N depth map and the N stereo corrected image I 1 -I n .
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • the third embodiment of the present invention further provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the six freedoms of the virtual reality provided by the first embodiment of the present invention are implemented.
  • the steps of the three-dimensional reconstruction method are implemented.
  • Embodiment 4 is a diagrammatic representation of Embodiment 4:
  • FIG. 3 is a block diagram showing a specific structure of a portable terminal according to Embodiment 4 of the present invention.
  • a portable terminal 300 includes:
  • One or more processors 302 are One or more processors 302;
  • One or more computer programs wherein the one or more computer programs are stored in the memory 301 and configured to be executed by the one or more processors 302, the processor executing the computer program
  • the steps of the six-degree-of-freedom three-dimensional reconstruction method of the virtual reality provided by the first embodiment of the present invention are implemented.

Abstract

本发明涉及图像处理领域，提供一种虚拟现实的六自由度三维重构方法、系统及便携式终端，所述方法包括获取多幅鱼眼图像，对多幅鱼眼图像进行畸变矫正和立体校正，并进一步对立体校正后的图像中相邻的两幅图像进行立体匹配获取视差图，将视差图转换为深度图，最后利用深度图和立体校正后的图像重构出三维全景图。本发明实现了虚拟现实的六自由度的体验，带给用户较好的真实感和临场感。

Description

一种虚拟现实的六自由度三维重构方法、系统及便携式终端 技术领域
本发明涉及一种图像的处理方法，特别是涉及一种虚拟现实的六自由度三维重构方法、系统及便携式终端。
背景技术
和普通平面图像相比，鱼眼图像能够记录的场景范围更广，利用环形排布的多个摄像机拍摄可以得到多幅鱼眼图像。目前虚拟现实技术只能实现3个自由度的旋转体验，难以实现在空间上的平移效果，带给人的视觉效果和临场感较差。
现有技术中，针对虚拟现实中图片的三维重构方法分散于各种文献中，例如，中国专利申请号2016106797331揭示了一种基于单光场相机的目标物三维重构方法，该方法流程较为复杂，且主要应用场景为工业生产线上产品的三维形状检测等领域，三维重构的效果有待进一步提高。
移动客户端的三维重构技术目前也散见于各种文献，例如，这个专利申请2016102078353揭示了一种双目三维重构方法，同样的，该技术对硬件要求较高，市场化成本较高，不利于大规模推广，且流程复杂，计算量大，硬件负荷较大。
因此，有必要重新审视虚拟现实技术中三维重构的思路，开发一种利用新的三维重构技术，重建出摄像机周围360°的场景，实现六自由度的体验，带给用户较好的真实感和临场感的技术。
技术问题
本发明的目的在于提供一种虚拟现实的六自由度三维重构方法、系统、计算机可读存储介质及便携式终端。
技术解决方案
本发明提供的虚拟现实的六自由度三维重构方法包括：
获取多幅鱼眼图像；
对多幅鱼眼图像进行畸变矫正，得到多幅畸变矫正后的图像；
对多幅畸变矫正后的图像进行立体校正，得到多幅立体校正后的图像；
对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取多幅视差图；
将多幅视差图分别转换为多幅深度图；
根据多幅深度图和多幅立体校正后的图像重构三维全景图。
本发明提供的虚拟现实的六自由度三维重构系统包括：
鱼眼图像获取模块，用于获取多幅鱼眼图像；
畸变矫正模块：用于对多幅鱼眼图像进行畸变矫正，得到多幅畸变矫正后的图像；
立体校正模块：用于对多幅畸变矫正后的图像进行立体校正，得到多幅立体校正后的图像。
立体匹配模块：用于对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取多幅视差图；
视图转换模块：用于将多幅视差图分别转换为多幅深度图；
三维全景重构模块：根据多幅深度图和多幅立体校正后的图像重构三维全景图。
本发明还进一步提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的虚拟现实的六自由度三维重构方法的步骤。
本发明还进一步提供一种便携式终端，该便携式终端包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计 算机程序时实现本发明提供的虚拟现实的六自由度三维重构方法的步骤。
有益效果
采用本发明提供的虚拟现实的六自由度三维重构方法、系统及便携式终端，对鱼眼图像进行畸变矫正和立体校正，并进一步对多幅立体校正后的图像中相邻的两幅图像进行立体匹配获取视差图，将视差图转换为深度图，最后利用深度图和立体校正后的图像重构出三维全景图，实现虚拟现实的六自由度的体验，带给用户较好的真实感和临场感。
附图说明
图1是本发明实施例一提供的虚拟现实的六自由度三维重构方法流程图。
图2是本发明实施例二提供的虚拟现实的六自由度三维重构系统的模块图。
图3是本发明实施例四提供的便携式终端组成图。
本发明的实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
请参阅图1，本发明实施例一提供的虚拟现实的六自由度三维重构方法，包括以下步骤：
S101：获取多幅鱼眼图像。
所述鱼眼图像由鱼眼摄像机拍摄或带鱼眼镜头的便携式终端拍摄，鱼眼摄像机或带鱼眼镜头的便携式终端可以为N个，N为大于等于2的整数，因此，鱼眼图像的数量相应的为N幅。
S102：对多幅鱼眼图像进行畸变矫正，得到多幅畸变矫正后的图像。
S102具体可以为：分别对N个鱼眼摄像机或带鱼眼镜头的便携式终端进 行标定，获取N个鱼眼摄像机或带鱼眼镜头的便携式终端的内部拍摄参数和畸变系数；根据获取的N个鱼眼摄像机或带鱼眼镜头的便携式终端的内部拍摄参数和畸变系数分别对相应的N幅鱼眼图像进行畸变矫正，得到N幅畸变矫正后的图像。
S103：对多幅畸变矫正后的图像进行立体校正，得到多幅立体校正后的图像。
S104：对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取多幅视差图。
S104具体可以为：对多幅立体校正后的图像中相邻的两幅图像，如I 1-I 2，I 2-I 3，…I n-I 1，进行立体匹配获取N幅视差图disp 1-disp n。
S105：将多幅视差图分别转换为多幅深度图。
S105具体可以为：获取视差值与深度值之间的对应关系；
根据视差值与深度值之间的对应关系，分别将N幅视差图转换为N幅深度图depth 1-depth n。
S106：根据多幅深度图和多幅立体校正后的图像重构三维全景图。
S106具体可以为：获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用N幅深度图和N幅立体校正后的图像I 1-I n重构三维全景图。
S106具体也可以为：
对于第i幅深度图上的一点，其齐次坐标为q i＝(u，v，1) T，u，v是第i幅深度图上的点在图像上的坐标，深度值为d，则该三维点坐标在当前鱼眼摄像机或带鱼眼镜头的便携式终端的坐标系下的坐标为：P i＝dK -1q i；其中K为立体校正后的图像的鱼眼摄像机或带鱼眼镜头的便携式终端的内参，
Figure PCTCN2018104135-appb-000001
c x，c y是鱼眼摄像机或带鱼眼镜头的便携式终主点坐标，f x、f y是鱼眼摄像机或带鱼眼镜头的便携式终的像素焦距；
第i个鱼眼摄像机或带鱼眼镜头的便携式终端相对于第1个鱼眼摄像机或带鱼眼镜头的便携式终端的旋转矩阵为R i，平移向量为t i，则该三维点在第一个鱼眼摄像机或带鱼眼镜头的便携式终端的坐标系下的坐标值为：P 1＝R iP i+t i；
通过以上转换，把每幅深度图里的每个点转换到以第一个鱼眼摄像机或带鱼眼镜头的便携式终端的坐标系为参考的三维点坐标；
将这些三维点投影到单位球上，用经纬度图的形式保存，即可得到一张全景深度图；
同理，把立体校正后的图像上的每个点投影到单位球上，用经纬度图的形式保存，得到一张全景彩色图像；
根据全景深度图和全景彩色图像得到三维全景图。
实施例二：
请参阅图2，本发明实施例二提供的虚拟现实的六自由度三维重构系统的模块图，该系统包括：
鱼眼图像获取模块201：用于获取多幅鱼眼图像。所述鱼眼摄像机或带鱼眼镜头的便携式终端可以为N个，N为大于等于2的整数，因此，鱼眼图像的数量相应的为N幅。
畸变矫正模块202：用于对多幅鱼眼图像进行畸变矫正，得到多幅畸变矫正后的图像。具体可以用于分别对N个鱼眼摄像机或带鱼眼镜头的便携式终端进行标定，获取N个鱼眼摄像机或带鱼眼镜头的便携式终端的内部拍摄参数和畸变系数；根据获取的N个鱼眼摄像机或带鱼眼镜头的便携式终端的内部拍摄参数和畸变系数对分别对相应的N幅鱼眼图像进行畸变矫正，得到N幅畸变矫正后的图像。
立体校正模块203：用于对多幅畸变矫正后的图像进行立体校正，得到多幅立体校正后的图像。
立体匹配模块204：用于对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取多幅视差图。具体可以用于对多幅立体校正后的图像中相邻的两幅图像，例如I 1-I 2，I 2-I 3，…I n-I 1，进行立体匹配获取N幅视差图disp 1-disp n。
视图转换模块205：用于将多幅视差图分别转换为多幅深度图。具体可以用于获取视差值与深度值之间的对应关系，根据视差值与深度值之间的对应关系，分别将N幅视差图转换为N幅深度图depth 1-depth n。
三维全景重构模块206：根据多幅深度图和多幅立体校正后的图像重构三维全景图。具体可以用于获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用N幅深度图和N幅立体校正后的图像I 1-I n重构三维全景图。
实施例三：
本发明实施例三还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例一提供的虚拟现实的六自由度三维重构方法的步骤。
实施例四：
图3示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端300，包括：
一个或多个处理器302；
存储器301；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器301中，并且被配置成由所述一个或多个处理器302执行，所述处理器执行所述计算机程序时实现本发明实施例一提供的虚拟现实的六自由度三维重构方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种虚拟现实的六自由度三维重构方法，其特征在于，包括以下步骤：
    获取多幅鱼眼图像；
    对多幅鱼眼图像进行畸变矫正，得到多幅畸变矫正后的图像；
    对多幅畸变矫正后的图像进行立体校正，得到多幅立体校正后的图像；
    对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取多幅视差图；
    将多幅视差图分别转换为多幅深度图；
    根据多幅深度图和多幅立体校正后的图像重构三维全景图。
  2. 如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，鱼眼图像的数量为N幅，鱼眼图像由鱼眼摄像机拍摄或带鱼眼镜头的便携式终端拍摄，鱼眼摄像机或带鱼眼镜头的便携式终端的数量为N个，N为大于等于2的整数。
  3. 如权利要求2所述的虚拟现实的六自由度三维重构方法，其特征在于，所述对多幅鱼眼图像进行畸变矫正，得到多幅畸变矫正后的图像具体为：
    分别对N个鱼眼摄像机或带鱼眼镜头的便携式终端进行标定，获取N个鱼眼摄像机或带鱼眼镜头的便携式终端的内部拍摄参数和畸变系数；根据获取的N个鱼眼摄像机或带鱼眼镜头的便携式终端的内部拍摄参数和畸变系数分别对相应的N幅鱼眼图像进行畸变矫正，得到N幅畸变矫正后的图像。
  4. 如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取多幅视差图具体是：对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取N幅视差图disp 1-disp n。
  5. 如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述将多幅视差图分别转换为多幅深度图具体为：获取视差值与深度值之间的对应关系，分别将N幅视差图转换为N幅深度图depth 1-depth n。
  6. 如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述根据多幅深度图和多幅立体校正后的图像重构三维全景图具体为：获取二维图像点到三维空间点的反投影模型，基于反投影模型，利用N幅深度图和N幅立体校正后的图像I 1-I n重构三维全景图。
  7. 如权利要求1所述的虚拟现实的六自由度三维重构方法，其特征在于，所述根据多幅深度图和多幅立体校正后的图像重构三维全景图具体为：
    对于第i幅深度图上的一点，其齐次坐标为q i＝(u，v，1) T，u，v是第i幅深度图上的点在图像上的坐标，深度值为d，则该三维点坐标在当前鱼眼摄像机或带鱼眼镜头的便携式终端的坐标系下的坐标为：P i＝dK -1q i；其中K为立体校正后的图像的鱼眼摄像机或带鱼眼镜头的便携式终端的内参，
    Figure PCTCN2018104135-appb-100001
    c x，c y是鱼眼摄像机或带鱼眼镜头的便携式终主点坐标，f x、f y是鱼眼摄像机或带鱼眼镜头的便携式终的像素焦距；
    第i个鱼眼摄像机或带鱼眼镜头的便携式终端相对于第1个鱼眼摄像机或带鱼眼镜头的便携式终端的旋转矩阵为R i，平移向量为t i，则该三维点在第一个鱼眼摄像机或带鱼眼镜头的便携式终端的坐标系下的坐标值为：P 1＝R iP i+t i：
    通过以上转换，把每幅深度图里的每个点转换到以第一个鱼眼摄像机或带鱼眼镜头的便携式终端的坐标系为参考的三维点坐标；
    将这些三维点投影到单位球上，用经纬度图的形式保存，即可得到一张全景深度图；
    同理，把立体校正后的图像上的每个点投影到单位球上，用经纬度图的形式保存，得到一张全景彩色图像；
    根据全景深度图和全景彩色图像得到三维全景图。
  8. 一种虚拟现实的六自由度三维重构系统，其特征在于，包括：
    鱼眼图像获取模块，用于获取多幅鱼眼图像；
    畸变矫正模块，用于对多幅鱼眼图像进行畸变矫正，得到多幅畸变矫正后的图像；
    立体校正模块，用于对多幅畸变矫正后的图像进行立体校正，得到多幅立体校正后的图像；
    立体匹配模块，用于对多幅立体校正后的图像中相邻的两幅图像进行立体匹配，获取多幅视差图；
    视图转换模块，用于将多幅视差图分别转换为多幅深度图；
    三维全景重构模块，用于根据多幅深度图和多幅立体校正后的图像重构三维全景图。
  9. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的虚拟现实的六自由度三维重构方法的步骤。
  10. 一种便携式终端，包括：
    一个或多个处理器；
    存储器；以及
    一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的虚拟现实的六自由度三维重构方法的步骤。
PCT/CN2018/104135 2017-09-06 2018-09-05 一种虚拟现实的六自由度三维重构方法、系统及便携式终端 WO2019047847A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710797771.1 2017-09-06
CN201710797771.1A CN107437273A (zh) 2017-09-06 2017-09-06 一种虚拟现实的六自由度三维重构方法、系统及便携式终端

Publications (1)

Publication Number Publication Date
WO2019047847A1 true WO2019047847A1 (zh) 2019-03-14

Family

ID=60461526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/104135 WO2019047847A1 (zh) 2017-09-06 2018-09-05 一种虚拟现实的六自由度三维重构方法、系统及便携式终端

Country Status (2)

Country Link
CN (1) CN107437273A (zh)
WO (1) WO2019047847A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437273A (zh) * 2017-09-06 2017-12-05 深圳岚锋创视网络科技有限公司 一种虚拟现实的六自由度三维重构方法、系统及便携式终端
CN108564617B (zh) * 2018-03-22 2021-01-29 影石创新科技股份有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN109375369B (zh) * 2018-11-23 2021-05-18 国网天津市电力公司 一种vr巨幕影院模式下的畸变预处理方法
CN109741385A (zh) * 2018-12-24 2019-05-10 浙江大华技术股份有限公司 一种图像处理系统、方法、装置、电子设备及存储介质
CN109919128B (zh) * 2019-03-20 2021-04-13 联想(北京)有限公司 控制指令的获取方法、装置及电子设备
CN110349109B (zh) * 2019-07-12 2023-04-21 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN112837207A (zh) * 2019-11-25 2021-05-25 影石创新科技股份有限公司 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及系统
CN112529848B (zh) * 2020-11-27 2023-10-24 北京爱笔科技有限公司 全景图更新方法、装置、可读介质以及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
US20130155183A1 (en) * 2011-12-14 2013-06-20 Electronics And Telecommunications Research Institute Multi image supply system and multi image input device thereof
CN103186233A (zh) * 2011-12-31 2013-07-03 上海飞来飞去新媒体展示设计有限公司 眼神定位全景互动控制方法
CN106954012A (zh) * 2017-03-29 2017-07-14 武汉嫦娥医学抗衰机器人股份有限公司 一种高清多相机全景立体成像系统及方法
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法
CN107437273A (zh) * 2017-09-06 2017-12-05 深圳岚锋创视网络科技有限公司 一种虚拟现实的六自由度三维重构方法、系统及便携式终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000461B (zh) * 2006-12-14 2010-09-08 上海杰图软件技术有限公司 一种鱼眼图像生成立方体全景的方法
CN101726855B (zh) * 2009-11-13 2011-05-11 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
TWI528019B (zh) * 2014-03-31 2016-04-01 大猩猩科技股份有限公司 用於物件包裝之物件三維尺寸估測系統及方法
CN106296825B (zh) * 2016-07-27 2019-02-05 中国科学院半导体研究所 一种仿生三维信息生成系统及方法
CN106251357A (zh) * 2016-08-04 2016-12-21 合肥景昇信息科技有限公司 基于虚拟现实与视觉定位系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
US20130155183A1 (en) * 2011-12-14 2013-06-20 Electronics And Telecommunications Research Institute Multi image supply system and multi image input device thereof
CN103186233A (zh) * 2011-12-31 2013-07-03 上海飞来飞去新媒体展示设计有限公司 眼神定位全景互动控制方法
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法
CN106954012A (zh) * 2017-03-29 2017-07-14 武汉嫦娥医学抗衰机器人股份有限公司 一种高清多相机全景立体成像系统及方法
CN107437273A (zh) * 2017-09-06 2017-12-05 深圳岚锋创视网络科技有限公司 一种虚拟现实的六自由度三维重构方法、系统及便携式终端

Also Published As

Publication number Publication date
CN107437273A (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
WO2019047847A1 (zh) 一种虚拟现实的六自由度三维重构方法、系统及便携式终端
US10474227B2 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
CN106875451B (zh) 相机标定方法、装置及电子设备
CN108462838B (zh) 一种全景视频防抖方法、装置及便携式终端
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
WO2019205852A1 (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
WO2019179200A1 (zh) 多目相机的三维重建方法、vr相机和全景相机
CN106934772B (zh) 一种全景图像或视频的水平校准方法、系统及便携式终端
TWI619091B (zh) 全景圖壓縮方法及裝置
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN109272570A (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN106651808B (zh) 一种鱼眼图转换方法及装置
KR20210139369A (ko) 깊이 정보를 사용하여 현실 세계의 객체를 렌더링하는 시스템들 및 방법들
SG176327A1 (en) A system and method of image processing
CN103247024A (zh) 一种基于同心圆算法的180度鱼眼图像展开方法和装置
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
WO2021104308A1 (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2018000892A1 (zh) 一种全景立体影像的成像方法、装置及系统
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN105488764B (zh) 鱼眼图像校正方法及装置
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CN115002345B (zh) 一种图像校正方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18854922

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18854922

Country of ref document: EP

Kind code of ref document: A1