KR20200109014A - Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor - Google Patents
Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor Download PDFInfo
- Publication number
- KR20200109014A KR20200109014A KR1020190027956A KR20190027956A KR20200109014A KR 20200109014 A KR20200109014 A KR 20200109014A KR 1020190027956 A KR1020190027956 A KR 1020190027956A KR 20190027956 A KR20190027956 A KR 20190027956A KR 20200109014 A KR20200109014 A KR 20200109014A
- Authority
- KR
- South Korea
- Prior art keywords
- wide
- image
- images
- angle
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003384 imaging method Methods 0.000 title 1
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000003702 image correction Methods 0.000 description 8
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 7
- 101150052583 CALM1 gene Proteins 0.000 description 7
- 102100025580 Calmodulin-1 Human genes 0.000 description 7
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 7
- 101150091339 cam-1 gene Proteins 0.000 description 7
- 101100438241 Arabidopsis thaliana CAM5 gene Proteins 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 101100438239 Arabidopsis thaliana CAM4 gene Proteins 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 101150026942 CAM3 gene Proteins 0.000 description 3
- 101150058073 Calm3 gene Proteins 0.000 description 3
- 102100025579 Calmodulin-2 Human genes 0.000 description 3
- 102100025926 Calmodulin-3 Human genes 0.000 description 3
- 101001077352 Homo sapiens Calcium/calmodulin-dependent protein kinase type II subunit beta Proteins 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Abstract
Description
본 발명은 360 영상 복원 기술에 관한 것으로, 보다 구체적으로는 광각 카메라들에 의해 실시간 촬영된 광각 영상들에 대응하는 360 거리 영상(또는 360 거리 맵)을 폴리곤(polygon) 기반으로 360 컬러 영상으로 복원할 수 있는 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치에 관한 것이다.The present invention relates to a 360 image restoration technology, and more specifically, a 360-distance image (or a 360-distance map) corresponding to wide-angle images captured in real time by wide-angle cameras is restored to a 360 color image based on a polygon It relates to a real-time polygon-based 360 image restoration method and apparatus for the same.
3D 프린트, 가상현실(VR), 증강현실(AR), 게임 등의 서비스 군의 활황으로 3차원 장면을 재건하는 기술에 대한 요구는 증가하였으나, 상대적으로 현실의 장면을 3차원 장면으로 재건하는 기술은 미비하다. 상기 요구의 증가로 인해, 연속된 2D 영상을 이용하여 3차원 장면을 재건하는 여러 알고리즘이 개발되고 있다.Due to the boom of 3D printing, virtual reality (VR), augmented reality (AR), and games, the demand for a technology to reconstruct a 3D scene has increased, but a technology that rebuilds a real scene into a 3D scene. Is insufficient. Due to the increase in demand, several algorithms for reconstructing a 3D scene using a continuous 2D image have been developed.
한편, 연속된 2D 영상을 이용하여 3차원 장면을 재건하는 작업에는 많은 연산이 소요된다. 각각의 연속된 영상에서의 특이점 계산, 특이점의 매칭 계산, 및 매칭된 영상들의 위치 계산 등 많은 연산이 필요하다. 그리고 일반적으로 연속된 영상이 고화질의 동영상일 경우, 더욱 많은 연산 과정이 필요하다. 이러한 이유로 연속된 2D 영상을 이용하여 실시간으로 만족할 만한 3차원 장면을 재건하는 것이 어렵다는 문제가 있다.On the other hand, a lot of calculations are required to reconstruct a 3D scene using a continuous 2D image. A number of calculations are required, such as calculation of singular points in each successive image, matching calculation of singular points, and calculation of positions of matched images. And, in general, when the continuous image is a high-definition video, more calculation processes are required. For this reason, there is a problem that it is difficult to reconstruct a satisfactory 3D scene in real time using a continuous 2D image.
본 발명의 실시예들은, 광각 카메라들에 의해 실시간 촬영된 광각 영상들에 대응하는 360 거리 영상(또는 360 거리 맵)을 폴리곤(polygon) 기반으로 360 컬러 영상으로 복원할 수 있는 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치를 제공한다.Embodiments of the present invention are a real-time polygon-based 360 image capable of reconstructing a 360-distance image (or a 360-distance map) corresponding to wide-angle images captured in real time by wide-angle cameras into a 360 color image based on a polygon. A restoration method and apparatus thereof are provided.
본 발명의 일 실시예에 따른 360 영상 복원 방법은 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 단계; 미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 단계; 상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 단계; 상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 단계; 상기 생성된 360 거리 영상을 복수의 폴리곤들로 분할하고, 상기 분할된 각 폴리곤(polygon) 상에 위치하는 각 픽셀의 거리 값을 폴리곤 기반으로 계산하는 단계; 및 상기 폴리곤 기반으로 계산된 거리 값과 상기 광각 영상들에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성하는 단계를 포함한다.A 360 image restoration method according to an embodiment of the present invention includes the steps of receiving wide-angle images photographed by a wide-angle camera disposed in each of preset directions; Generating a pair of correction images for each of the wide-angle images using a preset image rectification technique; Generating a plurality of disparity maps based on stereo matching using a pair of corrected images generated for each of the wide-angle images; Generating a 360-distance image corresponding to the wide-angle images based on the generated parallax maps; Dividing the generated 360-distance image into a plurality of polygons, and calculating a distance value of each pixel positioned on each of the divided polygons based on a polygon; And generating a 360-degree color image corresponding to the wide-angle images based on the distance value calculated based on the polygon and the wide-angle images.
상기 폴리곤 기반으로 계산하는 단계는 상기 360 거리 영상을 미리 설정된 다면체로 분할하고, 상기 분할된 다면체를 구성하는 각 면의 꼭지점에 대한 거리 값에 기초하여 상기 각 면 상의 픽셀들 각각에 대한 거리 값을 계산할 수 있다.In the calculating based on the polygon, the 360 distance image is divided into a polyhedron set in advance, and a distance value for each of the pixels on each surface is calculated based on a distance value for a vertex of each surface constituting the divided polyhedron. Can be calculated.
상기 360도 컬러 영상을 생성하는 단계는 상기 각 면 상의 픽셀들 각각에 대한 거리 값과 상기 각 면에 해당하는 광각 영상의 컬러 값에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성할 수 있다.The generating of the 360-degree color image includes generating a 360-degree color image corresponding to the wide-angle images based on a distance value for each of the pixels on each side and a color value of the wide-angle image corresponding to each side. I can.
상기 보정 영상들을 생성하는 단계는 상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성할 수 있다.In the generating of the correction images, a pair of correction images for each of the wide-angle images may be generated by correcting each of the wide-angle images to look in the same direction as neighboring cameras.
상기 시차 맵들을 생성하는 단계는 상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성할 수 있다.In the generating of the disparity maps, the disparity maps may be generated based on stereo matching between two corrected images corrected for the same direction among the corrected images.
상기 360 거리 영상을 생성하는 단계는 상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성할 수 있다.The generating of the 360 distance image includes calculating a distance value for each of the parallax maps to generate distance maps corresponding to each of the parallax maps, and based on forward warping using the generated distance maps. The 360-distance image may be generated.
상기 수신하는 단계는 미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신할 수 있다.The receiving may correct the captured wide-angle images based on an intrinsic parameter and an extrinsic parameter for each of the wide-angle cameras stored in advance, and receive the corrected wide-angle images.
본 발명의 일 실시예에 따른 360 영상 복원 장치는 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 수신부; 미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 보정부; 상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 시차 맵 생성부; 상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 거리 영상 생성부; 상기 생성된 360 거리 영상을 복수의 폴리곤들로 분할하고, 상기 분할된 각 폴리곤(polygon) 상에 위치하는 각 픽셀의 거리 값을 폴리곤 기반으로 계산하는 계산부; 및 상기 폴리곤 기반으로 계산된 거리 값과 상기 광각 영상들에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성하는 컬러 영상 생성부를 포함한다.A 360 image restoration apparatus according to an embodiment of the present invention includes: a receiver configured to receive wide-angle images captured by a wide-angle camera disposed in each of preset directions; A correction unit that generates a pair of correction images for each of the wide-angle images using a preset image rectification technique; A disparity map generator for generating a plurality of disparity maps based on stereo matching using a pair of corrected images generated for each of the wide-angle images; A distance image generator configured to generate a 360 distance image corresponding to the wide-angle images based on the generated parallax maps; A calculation unit that divides the generated 360 distance image into a plurality of polygons, and calculates a distance value of each pixel positioned on each of the divided polygons based on a polygon; And a color image generator that generates 360-degree color images corresponding to the wide-angle images based on the distance value calculated based on the polygon and the wide-angle images.
상기 계산부는 상기 360 거리 영상을 미리 설정된 다면체로 분할하고, 상기 분할된 다면체를 구성하는 각 면의 꼭지점에 대한 거리 값에 기초하여 상기 각 면 상의 픽셀들 각각에 대한 거리 값을 계산할 수 있다.The calculation unit may divide the 360-distance image into a preset polyhedron, and calculate a distance value for each of the pixels on each surface based on a distance value for a vertex of each surface constituting the divided polyhedron.
상기 컬러 영상 생성부는 상기 각 면 상의 픽셀들 각각에 대한 거리 값과 상기 각 면에 해당하는 광각 영상의 컬러 값에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성할 수 있다.The color image generator may generate a 360 degree color image corresponding to the wide-angle images based on a distance value for each of the pixels on each side and a color value of a wide-angle image corresponding to each side.
상기 보정부는 상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성할 수 있다.The correction unit may generate a pair of corrected images for each of the wide-angle images by correcting each of the wide-angle images to look in the same direction as neighboring cameras.
상기 시차 맵 생성부는 상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성할 수 있다.The parallax map generator may generate the parallax maps based on stereo matching between two corrected images corrected for the same direction among the corrected images.
상기 거리 영상 생성부는 상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성할 수 있다.The distance image generator calculates a distance value for each of the parallax maps to generate distance maps corresponding to each of the parallax maps, and the 360 distance image based on forward warping using the generated distance maps. Can be created.
상기 수신부는 미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신할 수 있다.The receiver may correct the captured wide-angle images based on an intrinsic parameter and an extrinsic parameter for each of the wide-angle cameras stored in advance, and receive the corrected wide-angle images.
본 발명의 실시예들에 따르면, 광각 카메라들 예를 들어, 360 광각 카메라 또는 360 어안 카메라에 의해 실시간 촬영된 광각 영상들에 대응하는 360 거리 영상(또는 360 거리 맵)을 폴리곤(polygon) 기반으로 360 컬러 영상으로 복원할 수 있다.According to embodiments of the present invention, a 360 distance image (or a 360 distance map) corresponding to wide-angle images captured in real time by wide-angle cameras, for example, a 360 wide-angle camera or a 360 fisheye camera, is based on a polygon. It can be restored to a 360 color image.
본 발명의 실시예들에 따르면, 복수의 광각렌즈 카메라들 또는 복수의 어안렌즈 카메라들로부터 오는 신호를 분석하여 3차원 거리(또는 깊이)와 고해상도 컬러를 가지고 있는 3차원 360 영상을 실시간으로 복원할 수 있다.According to embodiments of the present invention, a
이러한 본 발명은 3차원 360 영상을 실시간에 필요로 하는 다양한 증강 현실 또는 가상 현실 어플리케이션에 사용될 수도 있고, 드론, 무인 차량 등 다양한 기술에 적용될 수 있다.The present invention may be used in various augmented reality or virtual reality applications requiring a
도 1은 본 발명의 일 실시예에 따른 360 영상 복원 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에서 사용하는 360 광각 카메라에 대한 일 예시도를 나타낸 것이다.
도 3은 영상 보정 기법을 이용하여 보정 이미지를 생성하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 영상 보정 기법을 통해 생성된 보정 이미지들에 대한 일 예시도를 나타낸 것이다.
도 5는 보정 이미지를 이용하여 생성된 시차 맵에 대한 일 예시도를 나타낸 것이다.
도 6은 시차로부터 거리를 계산하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 7은 시차 맵을 이용하여 생성된 거리 맵에 대한 일 예시도를 나타낸 것이다.
도 8과 도 9는 도 1의 단계 S150과 단계 S160을 설명하기 위한 예시도들을 나타낸 것이다.
도 10과 도 11은 본 발명에 의해 생성된 360 컬러 영상, 픽셀 단위로 생성된 360 컬러 영상 및 실측 영상과 비교한 일 예시도들을 나타낸 것이다.
도 12는 본 발명의 일 실시예에 따른 360 영상 복원 장치에 대한 구성을 나타낸 것이다.1 is a flowchart illustrating a method for reconstructing a 360 image according to an embodiment of the present invention.
2 shows an exemplary view of a 360 wide-angle camera used in the present invention.
3 illustrates an exemplary diagram for explaining a process of generating a corrected image using an image correction technique.
4 shows an exemplary diagram of corrected images generated through an image correction technique.
5 shows an exemplary view of a parallax map generated using a corrected image.
6 shows an exemplary diagram for explaining a process of calculating a distance from parallax.
7 shows an exemplary diagram of a distance map generated using a parallax map.
8 and 9 show exemplary diagrams for explaining steps S150 and S160 of FIG. 1.
10 and 11 are exemplary diagrams comparing a 360 color image generated by the present invention, a 360 color image generated in pixel units, and a measured image.
12 illustrates a configuration of a 360 image reconstruction apparatus according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terms used in this specification are for describing exemplary embodiments, and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used herein, "comprises" and/or "comprising" refers to the recited component, step, operation, and/or element being one or more of the other elements, steps, operations and/or elements. It does not exclude presence or addition.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted.
본 발명의 실시예들은, 광각 카메라들 예를 들어, 360 광각 카메라 또는 360 어안 카메라에 의해 실시간 촬영된 광각 영상들을 이용한 영상 보정(image rectification)과 스테레오 매칭을 수행하고, 스테레오 매칭을 통해 생성된 시차 맵들을 이용하여 360 거리 영상을 생성하며, 생성된 360 거리 영상의 각 픽셀에 대한 거리 값을 폴리곤 기반으로 계산한 후 폴리곤 기반으로 계산된 각 픽셀의 거리 값과 광각 영상들의 컬러에 기초하여 360 컬러 영상을 생성함으로써, 360 거리 영상에 포함된 노이즈를 줄여 고해상도의 360 컬러 영상을 실시간으로 복원하는 것을 그 요지로 한다.Embodiments of the present invention perform image rectification and stereo matching using wide-angle cameras, for example, wide-angle images captured in real time by a 360 wide-angle camera or a 360 fisheye camera, and parallax generated through stereo matching. A 360-distance image is generated using maps, and a distance value for each pixel of the generated 360-distance image is calculated based on a polygon, and then 360 colors are calculated based on the distance value of each pixel calculated based on the polygon and the color of the wide-angle images. By generating an image, the point is to reduce the noise included in the 360-distance image and restore a high-
여기서, 본 발명은 영상 보정을 통해 광각 영상들 각각에 대하여 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성할 수 있다. 예를 들어, 본 발명은 6개의 광각 영상들이 수신되는 경우 12개의 보정 영상들을 생성할 수 있다.Here, in the present invention, a pair of corrected images for each of the wide-angle images may be generated by correcting each of the wide-angle images to look in the same direction as the neighboring cameras through image correction. For example, the present invention may generate 12 corrected images when 6 wide-angle images are received.
나아가, 본 발명은 시차 맵들을 이용하여 생성된 360 거리 영상에 대하여 미리 설정된 다면체 예를 들어, 정이십면체(lcosahedron)로 분할하고, 다면체를 구성하는 각 면의 꼭지점에 대한 거리 값에 기초하여 각 면 상에 위치하는 픽셀들 각각에 대한 거리 값을 계산함으로써, 폴리곤 기반으로 거리 값을 계산하고, 이를 통해 360 거리 영상에 포함된 노이즈를 최대한 줄일 수 있으며, 따라서 고해상도의 360 컬러 영상을 복원할 수 있다.Furthermore, the present invention divides the 360 distance image generated using the parallax map into a preset polyhedron, for example, an icosahedron, and based on the distance values for the vertices of each surface constituting the polyhedron, By calculating the distance value for each of the pixels located on the plane, the distance value is calculated based on the polygon, and through this, noise included in the 360 distance image can be reduced as much as possible, and thus, a high-
도 1은 본 발명의 일 실시예에 따른 360 영상 복원 방법에 대한 동작 흐름도를 나타낸 것이다.1 is a flowchart illustrating a method for reconstructing a 360 image according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 360 영상 복원 방법은 복수의 광각 카메라들 예를 들어, 일정 간격으로 일정 각도 단위로 배치된 복수의 어안 카메라들을 포함하는 360 카메라에 의해 촬영된 광각 영상들을 수신한다(S110).Referring to FIG. 1, a 360 image restoration method according to an embodiment of the present invention is photographed by a 360 camera including a plurality of wide-angle cameras, for example, a plurality of fisheye cameras arranged in units of a predetermined angle at a predetermined interval. Wide-angle images are received (S110).
예컨대, 단계 S110은 도 2에 도시된 바와 같이 60도 단위로 일정 간격 배치된 6개의 광각 카메라들 각각에 의해 촬영된 광각 영상들을 수신할 수 있다.For example, in step S110, as shown in FIG. 2, wide-angle images captured by each of six wide-angle cameras arranged at regular intervals in units of 60 degrees may be received.
본 발명은 360 카메라에 배치된 각 카메라 모듈 즉, 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터들과 카메라들 간의 거리, 각도 등에 대한 정보를 포함하는 외부(extrinsic) 파라미터들을 이용하여 카메라들 간의 관계를 미리 교정(calibration)하고, 이러한 교정을 통해 광각 카메라들 각각으로부터 촬영된 광각 영상들이 교정되어 수신될 수 있다. 즉, 단계 S110은 미리 저장된 상기 광각 카메라들 각각에 대한 내부 파라미터와 외부 파라미터에 기초하여 촬영된 광각 영상들을 교정(calibration)하고, 상기 교정된 광각 영상들을 수신한다. 이하 본 발명의 상세한 설명에서의 광각 영상들은 카메라들 각각의 내부 파라미터와 카메라들 간의 외부 파라미터에 의해 교정된 광각 영상들을 의미할 수 있다.The present invention relates to a relationship between cameras using intrinsic parameters for each camera module disposed in a 360 camera, that is, external parameters including information on distances and angles between the cameras. Is calibrated in advance, and through this calibration, wide-angle images captured from each of the wide-angle cameras may be calibrated and received. That is, in step S110, the captured wide-angle images are calibrated based on an internal parameter and an external parameter for each of the wide-angle cameras stored in advance, and the corrected wide-angle images are received. In the following detailed description of the present invention, wide-angle images may mean wide-angle images corrected by internal parameters of each of the cameras and external parameters between the cameras.
단계 S110에 의해 광각 영상들 예를 들어, 60도 간격으로 배치된 광각 카메라들(CAM0 내지 CAM5) 각각에 의해 촬영된 6개의 광각 영상들이 수신되면, 미리 설정된 영상 보정(image rectification) 기법을 이용하여 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성한다(S120).In step S110, when wide-angle images, for example, six wide-angle images captured by each of the wide-angle cameras CAM0 to CAM5 arranged at intervals of 60 degrees, are received, a preset image rectification technique is used. A pair of corrected images for each of the wide-angle images is generated (S120).
여기서, 단계 S120은 광각 영상들을 각각에 대하여 위도와 경도를 이용한 영상 보정 기법을 통해 광각 영상들 각각에 대한 한 쌍의 보정 영상들(rectified images)을 생성할 수 있다. 물론, 단계 S120은 위도와 경도를 이용한 영상 보정 기법에 한정하지 않으며, 본 발명의 방법에서 스테레오 매칭을 수행하기 위한 보정 영상들을 생성할 수 있는 다양한 보정 기법을 이용할 수 있다.Here, in step S120, a pair of rectified images for each of the wide-angle images may be generated through an image correction technique using latitude and longitude for each of the wide-angle images. Of course, step S120 is not limited to an image correction technique using latitude and longitude, and various correction techniques capable of generating corrected images for performing stereo matching in the method of the present invention may be used.
예컨대, 단계 S120은 도 3에 도시된 바와 같이, CAM0에 의해 촬영된 광각 영상에 대하여, CAM0과 우측에 이웃하는 카메라 즉, CAM1이 동일한 방향을 바라보도록 보정함으로써, CAM0에 의해 촬영된 광각 영상에 대하여 우측으로 일정 각도 예를 들어, 30도 회전된 보정 영상을 생성할 수 있다. 즉, CAM0과 CAM1이 동일한 방향을 바라보도록, CAM0의 방향을 우측으로 30도 회전하고 CAM1의 방향을 좌측으로 30도 회전함으로써, CAM0에 의해 촬영된 광각 영상에 대하여 우측으로 30도 회전된 보정 영상을 생성하고, CAM1에 의해 촬영된 광각 영상에 대하여 좌측으로 30도 회전된 보정 영상을 생성할 수 있다. 이러한 과정이, CAM0과 CAM1, CAM1과 CAM2, CAM2와 CAM3, CAM3과 CAM4, CAM4와 CAM5 그리고 CAM5와 CAM0에 대하여 이루어짐으로써, 도 4에 도시된 바와 같이 CAM0 내지 CAM5의 광각 영상들 각각에 대하여 우측으로 30도 회전된 보정 영상과 좌측으로 30도 회전된 보정 영상을 생성할 수 있다. 다시 말해, 도 4a에 도시된 우측 회전(right rotation)에 의해 생성된 보정 영상은 이웃하는 우측 카메라와 동일한 방향을 바라보도록 영상 보정 기법을 수행함으로써, 해당 카메라의 광각 영상에 대한 우측으로 일정 각도 회전된 보정 영상을 의미하는 것이고, 도 4b에 도시된 좌측 회전(left rotation)에 의해 생성된 보정 영상은 이웃하는 좌측 카메라와 동일한 방향을 바라보도록 영상 보정 기법을 수행함으로써, 해당 카메라의 광각 영상에 대한 좌측으로 일정 각도 회전된 보정 영상을 의미하는 것이다.For example, step S120 corrects the wide-angle image captured by CAM0 so that CAM0 and the camera adjacent to the right, that is, CAM1, look in the same direction as shown in FIG. 3, so that the wide-angle image captured by CAM0 is A corrected image rotated by a certain angle, for example, 30 degrees to the right may be generated. That is, the corrected image rotated 30 degrees to the right with respect to the wide-angle image captured by CAM0 by rotating the direction of CAM0 30 degrees to the right and 30 degrees to the left so that CAM0 and CAM1 face the same direction. And generate a correction image rotated 30 degrees to the left with respect to the wide-angle image captured by CAM1. This process is performed for CAM0 and CAM1, CAM1 and CAM2, CAM2 and CAM3, CAM3 and CAM4, CAM4 and CAM5, and CAM5 and CAM0. As shown in FIG. 4, the right side for each of the wide-angle images of CAM0 to CAM5. As a result, a correction image rotated 30 degrees and a correction image rotated 30 degrees to the left can be generated. In other words, the corrected image generated by right rotation shown in FIG. 4A is rotated by a certain angle to the right with respect to the wide-angle image of the corresponding camera by performing the image correction technique to look in the same direction as the neighboring right camera. The corrected image generated by left rotation shown in FIG. 4B is an image correction technique to look in the same direction as the neighboring left camera, so that the wide-angle image of the corresponding camera is It means a corrected image rotated by a certain angle to the left.
단계 S120에 의해 광각 영상들 예를 들어, 6개의 광각 영상들 각각에 대한 보정 영상들 예를 들어, 12개의 보정 영상들이 생성되면, 생성된 보정 영상들을 이용한 스테레오 매칭(stereo matching)에 기초하여 복수의 시차 맵들 예를 들어, 6개의 시차 맵들을 생성한다(S130).When the wide-angle images, for example, corrected images for each of the six wide-angle images, for example, 12 corrected images are generated in step S120, a plurality of the corrected images are generated based on stereo matching using the generated corrected images. For example, 6 parallax maps are generated (S130).
예를 들어, 단계 S130은 도 5에 도시된 바와 같이, CAM0의 우측 회전된 보정 영상과 CAM1의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(a)을 생성하고, CAM1의 우측 회전된 보정 영상과 CAM2의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(b)을 생성하며, CAM2의 우측 회전된 보정 영상과 CAM3의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(c)을 생성하고, CAM3의 우측 회전된 보정 영상과 CAM4의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(d)을 생성하며, CAM4의 우측 회전된 보정 영상과 CAM5의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(e)을 생성하고, CAM5의 우측 회전된 보정 영상과 CAM0의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(f)을 생성할 수 있다.For example, step S130 generates a parallax map (a) for two corrected images through stereo matching using the corrected image rotated to the right of CAM0 and the corrected image rotated to the left of CAM1, as shown in FIG. , A parallax map (b) is generated for two corrected images through stereo matching using the corrected image rotated to the right of CAM1 and the corrected image rotated to the left of CAM2. A parallax map (c) is generated for the two corrected images through stereo matching using the corrected image, and stereo matching using the corrected image rotated to the right of CAM3 and the corrected image rotated to the left of CAM4 is used for the two corrected images. A parallax map (d) is generated, and a parallax map (e) is generated for the two corrected images through stereo matching using the corrected image rotated to the right of CAM4 and the corrected image rotated to the left of CAM5. A parallax map f for the two corrected images may be generated through stereo matching using the corrected image and the corrected image rotated to the left of CAM0.
여기서, 단계 S130에 의해 생성된 시차 맵의 각 픽셀 값은 해당 보정 영상을 촬영한 두 카메라 간의 각도 차이(angle disparity)일 수 있는데, 해당 픽셀에 대한 왼쪽 카메라에 맺힌 각도와 오른쪽 카메라에 맺힌 각도 차이를 의미할 수 있다.Here, each pixel value of the parallax map generated by step S130 may be an angle disparity between the two cameras that have captured the corrected image, and the angle difference between the left camera and the right camera for the pixel Can mean
이러한 과정을 통해 생성된 시차 맵은 노이즈를 포함할 수 있기 때문에 이러한 노이즈를 제거하기 위한 프로세싱이 추가적으로 이루어질 수 있다. 예를 들어, 단계 S130에 의해 생성된 시차 맵들 각각은 비용 군집화(cost aggregation)에 기반하여 시차 맵들 각각에 포함된 노이즈를 제거할 수 있으며, 노이즈 제거를 통해 시차 맵에 구멍과 같은 디펙트(defect)가 발생하거나 시차 값에 차이가 날 수 있기 때문에 이러한 디펙트나 차이가 나는 부분을 채워주기 위한 과정이 필요할 수 있다. 예를 들어, 해당 시차 맵을 생성하는데 사용되는 보정 영상들과 디펙트를 채워주기 위한 프로세싱 예를 들어, 영상 전파(propagation) 기법을 이용하여 해당 디펙트를 채워줌으로써, 도 5에 도시된 것과 같은 최종 6개의 시차 맵을 생성할 수 있다.Since the parallax map generated through this process may include noise, processing to remove such noise may be additionally performed. For example, each of the parallax maps generated in step S130 may remove noise included in each of the parallax maps based on cost aggregation, and defects such as holes in the parallax map may be removed through noise removal. ) May occur or there may be a difference in the parallax value, so a process to fill in such defects or differences may be required. For example, correction images used to generate the parallax map and processing to fill the defects, for example, by filling the corresponding defects using an image propagation technique, as shown in FIG. The final 6 parallax maps can be created.
단계 S130에 의해 스테레오 매칭에 의한 복수의 시차 맵들이 생성되면, 생성된 복수의 시차 맵들 예를 들어, 6개의 시차 맵들에 기초하여 광각 영상들에 대응하는 360 거리 영상(또는 360 거리 맵)을 생성한다(S140).When a plurality of parallax maps by stereo matching are generated in step S130, a 360 distance image (or 360 distance map) corresponding to the wide-angle images is generated based on the generated parallax maps, for example, 6 parallax maps. Do (S140).
본 발명에서의 거리 맵은 360 카메라 전체의 중심으로부터 각 픽셀들의 실제 위치까지의 거리 값으로 이루어진 맵을 의미할 수 있다.The distance map in the present invention may mean a map consisting of distance values from the center of the entire 360 camera to the actual positions of each pixel.
이 때, 단계 S140은 도 5에 도시된 시차 맵들 각각에 대하여, 거리 값을 계산하여 시차 맵들 각각에 대응하는 거리 맵들(도 7)을 생성하고, 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 광각 영상들에 대응하는 360 거리 영상을 생성할 수 있다. In this case, in step S140, a distance value is calculated for each of the parallax maps shown in FIG. 5 to generate distance maps (FIG. 7) corresponding to each of the parallax maps, and forward warping using the generated distance maps. Based on, a 360-distance image corresponding to the wide-angle images may be generated.
단계 S140은 복수의 시차 맵들 각각에 대하여, 거리 값을 계산하여 도 7과 같은 시차 맵들 각각에 대응하는 거리 맵들을 생성하는데, 시차 맵의 각 픽셀에 대한 시차 값으로부터 거리 값을 계산함으로써, 거리 맵을 생성할 수 있다.In step S140, a distance value is calculated for each of the plurality of parallax maps to generate distance maps corresponding to each of the parallax maps as shown in FIG. 7. By calculating a distance value from a parallax value for each pixel of the parallax map, the distance map Can be created.
즉, 단계 S140은 도 5a에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7a에 도시된 거리 맵을 생성하고, 도 5b에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7b에 도시된 거리 맵을 생성하며, 5c에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7c에 도시된 거리 맵을 생성하고, 도 5d에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7d에 도시된 거리 맵을 생성하며, 5e에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7e에 도시된 거리 맵을 생성하고, 도 5f에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7f에 도시된 거리 맵을 생성한다.That is, in step S140, the distance map shown in FIG. 7A is generated by calculating the distance value using the parallax map shown in FIG. 5A, and the distance shown in FIG. 7B is calculated through the distance value calculation using the parallax map shown in FIG. 5B. A map is generated, and the distance map shown in Fig. 7C is generated by calculating the distance value using the parallax map shown in 5c, and the distance map shown in Fig. 7D by calculating the distance value using the parallax map shown in Fig. 5D. Is generated, and the distance map shown in Fig. 7e is generated by calculating the distance value using the parallax map shown in 5e, and the distance map shown in Fig. 7f is calculated by calculating the distance value using the parallax map shown in Fig. 5f. Generate.
예컨대, 시차 맵의 각 픽셀에 대한 시차 값은 해당 시차 맵을 생성하는데 사용된 보정 영상을 촬영한 두 카메라 간의 각도 차이(
[수학식 1][Equation 1]
여기서, b는 두 카메라 간의 거리를 의미할 수 있다.Here, b may mean a distance between two cameras.
[수학식 2][Equation 2]
시차 맵들 각각에 대하여, 거리 값 계산을 통해 시차 맵들 각각에 대응하는 거리 맵들이 생성되면, 6개의 거리 맵들 하나의 360 거리 영상 또는 360 거리 맵으로 생성하기 위하여, 6개의 거리 맵들에 대한 포워드 와핑을 수행함으로써, 6개의 거리 맵들이 합쳐진 하나의 360 거리 영상이 생성된다.For each of the parallax maps, when distance maps corresponding to each of the parallax maps are generated through distance value calculation, forward warping of 6 distance maps is performed to generate a 360 distance image or a 360 distance map of one of the six distance maps. By performing, one 360 distance image is generated in which six distance maps are combined.
이 때, 단계 S140은 생성된 360 거리 영상에 대하여, 인페인팅(inpainting) 과정과 필터링 예를 들어, 미디언 필터링(median filtering) 과정을 수행함으로써, 촬영된 광각 영상들에 대한 최종 360 거리 영상(spherical distance map)을 실시간으로 생성할 수 있다.In this case, in step S140, an inpainting process and a filtering process, for example, median filtering, are performed on the generated 360-distance image, so that the final 360-distance image ( spherical distance map) can be generated in real time.
단계 S140에 의하여 360 거리 영상(또는 360 거리 맵)이 생성되면, 생성된 360 거리 영상을 복수의 폴리곤들로 분할하고, 분할된 각 폴리곤 상에 위치하는 각 픽셀의 거리 값을 폴리곤 기반으로 계산한다(S150).When a 360 distance image (or 360 distance map) is generated in step S140, the generated 360 distance image is divided into a plurality of polygons, and a distance value of each pixel located on each divided polygon is calculated based on the polygon. (S150).
여기서, 단계 S150은 360 거리 영상을 미리 설정된 다면체 예를 들어, 정이십면체 또는 정팔십면체로 분할하고, 분할된 다면체를 구성하는 각 면의 꼭지점에 대한 거리 값에 기초하여 각 면 상의 픽셀들 각각에 대한 거리 값을 계산한다.Here, in step S150, the 360 distance image is divided into a predetermined polyhedron, for example, an icosahedron or an octahedron, and each of the pixels on each surface is based on a distance value for a vertex of each surface constituting the divided polyhedron. Calculate the distance value for.
즉, 단계 S150은 도 8에 도시된 바와 같이 360 거리 영상(depth map)을 미리 설정된 레벨 예를 들어, 레벨0, 레벨1, 레벨2 와 같이 설정된 레벨들 중 어느 하나의 레벨에 대응하는 다면체로 분할(subdivision)하고, 분할된 다면체의 각 면의 꼭지점 예를 들어, 도 9에 도시된 360 거리 영상에서 분할된 꼭지점 abc를 포함하는 면을 꼭지점 abc 각각의 거리 값이 곱해진 꼭지점 ABC를 포함하는 면으로 프로젝션한 후 꼭지점 abc를 포함하는 면 상에 위치하는 픽셀 Pt를 꼭지점 ABC를 포함하는 면 상에 위치하는 점 P로 프로젝션함으로써, 거리 값 OA, OB, OC를 이용하여 거리 값 OP를 계산하고, 이렇게 계산된 거리 값 OP를 통해 꼭지점 abc를 포함하는 면 상에 위치한 픽셀 Pt에 대한 거리 값을 계산할 수 있다. 이러한 과정이 꼭지점 abc를 포함하는 면 상에 위치한 모든 픽셀에 대해 이루어지고, 따라서 꼭지점 abc를 포함하는 면 상에 위치한 픽셀들 각각의 거리 값이 계산될 수 있다.That is, step S150 is a polyhedron corresponding to one of the preset levels, for example,
이 때, 단계 S150은 아래 <수학식 3>을 이용하여 각 면 상에 위치하는 각 픽셀의 거리 값을 계산할 수 있다.In this case, in step S150, a distance value of each pixel positioned on each surface may be calculated using
[수학식 3][Equation 3]
상술한 바와 같이, 단계 S150은 픽셀 단위로 3차원 공간 정보를 이용하지 않고 다면체의 각 면 예를 들어, 삼각형 단위로 이용함으로써, 각 면 상에 위치하는 픽셀의 거리 값을 각 면의 꼭지점에 대한 거리 값에 기초하여 계산할 수 있으며, 따라서 픽셀 단위의 3차원 공간 정보에 포함된 노이즈를 최대한 줄일 수 있다. 이는 360 거리 영상이 노이즈에 로버스트(robust)한 이미지 스티칭 파이프라인으로, 하나의 구면에 대응할 수 있기 때문이다. 즉, 단계 S150은 하나의 구면에 대응하는 360 거리 영상에 대하여 다면체로 분할한 후 분할된 각 면의 꼭지점에 대한 거리 값을 이용하여 각 면 상에 포함된 각 픽셀의 거리 값을 계산함으로써, 360 거리 영상에서 노이즈를 제거할 수 있다. 즉, 본 발명은 각 픽셀의 거리 값을 각 면 예컨대, 삼각형 단위로 근사하면 삼각형 내부에서 픽셀 단위 노이즈가 없기 때문에 시각적으로 노이즈가 줄어들 수 있다.As described above, step S150 does not use 3D spatial information on a pixel basis, but uses each side of the polyhedron, for example, in a triangle unit, so that the distance value of the pixel located on each side is determined for the vertex of each side. It can be calculated based on the distance value, and thus, noise included in the 3D spatial information in pixel units can be reduced as much as possible. This is because a 360-distance image is an image stitching pipeline that is robust to noise and can correspond to one spherical surface. That is, in step S150, the 360 distance image corresponding to one spherical surface is divided into a polyhedron and then the distance value of each pixel included on each surface is calculated by using the distance values for the vertices of each divided surface. Noise can be removed from street images. That is, in the present invention, if the distance value of each pixel is approximated by each side, for example, in a triangle unit, since there is no pixel unit noise inside the triangle, noise can be visually reduced.
단계 S150에 의해 폴리곤 기반으로 각 면 상에 위치하는 각 픽셀의 거리 값이 계산되면, 폴리곤 기반으로 계산된 각 픽셀의 거리 값과 광각 영상들(source image)에 기초하여 광각 영상들에 대응하는 360 컬러 영상을 생성 또는 복원한다(S160).When the distance value of each pixel located on each surface is calculated based on the polygon in step S150, 360 corresponding to the wide-angle images based on the distance value of each pixel calculated based on the polygon and the source image A color image is generated or restored (S160).
여기서, 단계 S160은 도 8과 도 9에 도시된 바와 같이, 각 면 상에 위치하는 각 픽셀에 대한 컬러를 광각 영상들 중 해당 면에 대응하는 광각 영상(source image)에서 찾고 해당 면의 각 픽셀 자리로 컬러를 이동시킴으로써, 계산된 거리 값과 해당 픽셀의 컬리를 가지는 광각 영상들에 대응하는 360 컬러 영상(output image 또는 novel view image)을 복원할 수 있다. 즉, 꼭지점 ABC를 포함하는 면 상에 위치하는 점 P를 원본 영상의 구체 상의 점 Ps로 프로젝션함으로써, Ps의 컬러를 원본 영상(source image)로부터 찾을 수 있다. 물론, 단계 S160에서 각 면에 대응하는 원본 영상은 해당 면과 관련된 복수의 광각 카메라들 중 해당 면에 대하여 가장 작은 각 차이를 가지는 광각 카메라에 의해 촬영된 광각 영상을 해당 면에 대응하는 원본 영상일 수 있다.Here, in step S160, as shown in FIGS. 8 and 9, the color of each pixel located on each surface is searched from a source image corresponding to a corresponding surface among wide-angle images, and each pixel of the corresponding surface is By moving the color to the spot, a 360 color image (output image or novel view image) corresponding to the wide-angle images having the calculated distance value and the color of the corresponding pixel may be restored. That is, the color of Ps can be found from the source image by projecting the point P located on the plane including the vertex ABC as the point Ps on the sphere of the original image. Of course, the original image corresponding to each side in step S160 is the original image corresponding to the corresponding side from the wide-angle image captured by the wide-angle camera having the smallest angle difference with respect to the corresponding side among the plurality of wide-angle cameras related to the corresponding side. I can.
또한, 본 발명에 따른 방법은 각 면 예컨대, 삼각형을 실제 공간으로 근사하는 방법이기 때문에 각 면 상에서 계산된 거리 값 예를 들어, P와 단계 S140에 의해 생성된 360 거리 영상에서의 거리 값 예를 들어, P' 간에 오차가 발생할 수 있으며, 따라서 이러한 오차(P-P')를 최소화하기 위한 삼각형을 선택하여야 한다. 이 때, 삼각형을 선택하는 방법은 정확도와 속도의 트레이드 오프(trade off)를 고려하여 선택될 수 있다.In addition, since the method according to the present invention is a method of approximating each surface, such as a triangle, to an actual space, a distance value calculated on each surface, for example, P and an example of a distance value in the 360 distance image generated by step S140 For example, an error may occur between P', and therefore, a triangle must be selected to minimize this error (P-P'). In this case, a method of selecting a triangle may be selected in consideration of a trade off between accuracy and speed.
상술한 바와 같이, 본 발명의 일 실시예에 따른 방법은 도 2에 도시된 바와 같이, 360 카메라를 구성하는 복수의 광각 카메라들(CAM0 내지 CAM5)에 의해 촬영된 광각 영상들에 대한 360 스테레오 매칭(spherical stereo matching)을 통해 3차원 거리 영상을 생성하고, 생성된 360 거리 영상에 대하여 다면체를 이용한 폴리곤 기반으로 각 면 상에 위치하는 각 픽셀의 거리 값을 계산함으로써, 360 거리 영상에 포함된 노이즈를 줄이고, 이를 통해 고해상도의 360 컬러 영상을 실시간으로 복원 또는 재구성할 수 있다.As described above, the method according to an embodiment of the present invention, as shown in FIG. 2, is 360 stereo matching for wide-angle images captured by a plurality of wide-angle cameras CAM0 to CAM5 constituting a 360 camera. Noise included in the 360 distance image is generated by generating a 3D distance image through (spherical stereo matching), and calculating the distance value of each pixel located on each surface based on a polygon using a polyhedron for the generated 360 distance image. And, through this, a high-
도 10과 도 11은 본 발명에 의해 생성된 360 컬러 영상, 픽셀 단위로 생성된 360 컬러 영상 및 실측 영상과 비교한 일 예시도들을 나타낸 것이다.10 and 11 are exemplary diagrams comparing a 360 color image generated by the present invention, a 360 color image generated in pixel units, and a measured image.
도 10에 도시된 바와 같이, 의자의 형상을 통해 알 수 있듯이 픽셀 단위(pixel-wise) 스티칭(stitching) 결과 보다 20개의 삼각형으로 만들어진 본 발명의 결과(20 triangle-wise)가 픽셀 노이즈가 적은 것을 알 수 있으며, 본 발명의 결과(20 triangle-wise)가 실측 영상(GT)에 가깝게 복원된 것을 알 수 있다.As shown in FIG. 10, as can be seen from the shape of the chair, the result of the present invention (20 triangle-wise) made of 20 triangles is less pixel noise than the result of pixel-wise stitching. It can be seen, and it can be seen that the result of the present invention (20 triangle-wise) is restored close to the measured image GT.
또한, 도 11에 도시된 바와 같이, 픽셀 단위(pixel-wise) 스티칭(stitching) 결과는 끊김은 없으나 자글거리는 노이즈가 많은 것을 알 수 있으며, 20개의 삼각형으로 만들어진 본 발명의 결과(20 triangle-wise)에서 끊김이 발생하지만, 삼각형의 개수가 늘어난 80개의 삼각형으로 만들어진 본 발명의 결과(80 triangle-wise)에서는 끊김이 없어지고 실측 영상(GT)에 가까운 결과물을 얻을 수 있는 것을 알 수 있다.In addition, as shown in FIG. 11, the result of pixel-wise stitching is not interrupted, but it can be seen that there is a lot of noise, and the result of the present invention made of 20 triangles (20 triangle-wise) ), but in the result of the present invention made of 80 triangles with an increased number of triangles (80 triangle-wise), it can be seen that the breakout disappears and a result close to the measured image GT can be obtained.
즉, 본 발명에 따른 방법은 광각 영상들에 대한 360 스테레오 매칭과 폴리곤 기반을 이용한 360 영상의 거리 값 계산을 통해 실측 360 영상에 가까운 고해상도의 360 영상을 복원할 수 있으며, 이를 통해 3차원 360 영상을 실시간에 필요로 하는 다양한 증강 현실 또는 가상 현실 등에 용이하게 적용할 수 있다.That is, the method according to the present invention can restore a high-
물론, 본 발명에 따른 방법은 증강 현실과 가상 현실 등의 어플리케이션에 한정되지 않으며, 360 영상을 필요로 하는 다양한 분야에 적용할 수 있다.Of course, the method according to the present invention is not limited to applications such as augmented reality and virtual reality, and can be applied to various fields requiring 360 images.
이와 같이, 본 발명의 실시예에 따른 방법은 360 광각 카메라 또는 360 어안 카메라에 의해 실시간 촬영된 광각 영상들을 이용한 영상 보정(image rectification)과 스테레오 매칭을 수행하고, 스테레오 매칭을 통해 생성된 시차 맵들을 이용하여 360 거리 영상을 생성하며, 생성된 360 거리 영상의 각 픽셀에 대한 거리 값을 폴리곤 기반으로 계산한 후 폴리곤 기반으로 계산된 각 픽셀의 거리 값과 광각 영상들의 컬러에 기초하여 360 컬러 영상을 생성함으로써, 360 거리 영상에 포함된 노이즈를 줄여 고해상도의 360 컬러 영상을 실시간으로 복원할 수 있다.As described above, the method according to an embodiment of the present invention performs image rectification and stereo matching using wide-angle images captured in real time by a 360 wide-angle camera or a 360 fisheye camera, and uses the parallax maps generated through stereo matching. A 360-distance image is generated using a polygon-based distance value for each pixel of the generated 360-distance image, and then a 360 color image is generated based on the distance value of each pixel calculated based on the polygon and the color of the wide-angle images. By generating, it is possible to restore a high-
도 12는 본 발명의 일 실시예에 따른 360 영상 복원 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 11의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.12 is a diagram illustrating a configuration of an apparatus for reconstructing a 360 image according to an embodiment of the present invention, and illustrates a configuration of an apparatus for performing the method of FIGS. 1 to 11.
도 12를 참조하면, 본 발명의 일 실시예에 따른 360 영상 복원 장치(1200)는 수신부(1210), 보정부(1220), 시차 맵 생성부(1230), 거리 영상 생성부(1240), 계산부(1250) 및 컬러 영상 생성부(1260)를 포함한다.Referring to FIG. 12, a 360
수신부(1210)는 360 카메라를 구성하는 복수의 광각 카메라들 각각에 의해 촬영된 광각 영상들을 수신한다.The receiving
여기서, 수신부(1210)는 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터들과 외부(extrinsic) 파라미터들을 이용하여 카메라들 간의 관계를 미리 교정(calibration)하고, 이러한 교정을 통해 광각 카메라들 각각으로부터 촬영된 광각 영상들을 교정함으로써, 교정된 광각 영상들을 수신할 수 있다.Here, the
보정부(1220)는 미리 설정된 영상 보정(image rectification) 기법을 이용하여 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성한다.The
여기서, 보정부(1220)는 이웃하는 카메라들과 동일한 방향을 바라보도록 광각 영상들 각각을 보정함으로써, 광각 영상들 각각에 대한 두 개의 보정 영상들을 생성할 수 있다.Here, the
예를 들어, 보정부(1220)는 이웃하는 우측 카메라와 동일한 방향을 바라보도록, 해당 카메라의 방향을 우측으로 30도 회전하고 이웃 하는 우측 카메라의 방향을 좌측으로 30도 회전함으로써, 해당 카메라에 의해 촬영된 광각 영상에 대하여 우측으로 30도 회전된 보정 영상을 생성하고, 이웃하는 우측 카메라에 의해 촬영된 광각 영상에 대하여 좌측으로 30 회전된 보정 영상을 생성할 수 있으며, 이웃하는 좌측 카메라와 동일한 방향을 바라보도록, 해당 카메라의 방향을 좌측으로 30도 회전하고 이웃 하는 좌측 카메라의 방향을 우측으로 30도 회전함으로써, 해당 카메라에 의해 촬영된 광각 영상에 대하여 좌측으로 30도 회전된 보정 영상을 생성하고, 이웃하는 좌측 카메라에 의해 촬영된 광각 영상에 대하여 우측으로 30 회전된 보정 영상을 생성할 수 있다. 보정부는 상술한 바와 같이, 360 카메라를 구성하는 모든 카메라들 각각에 대하여 이러한 영상 보정 기법을 이용함으로써, 해당 광각 영상에 대한 두 개의 보정 영상을 생성할 수 있다.For example, the
시차 맵 생성부(1230)는 광각 영상들 각각에 대응하는 보정 영상들이 생성되면 보정 영상들 이용한 스테레오 매칭(stereo matching)에 기초하여 복수의 시차 맵들 예를 들어, 6개의 시차 맵들을 생성한다.When corrected images corresponding to each of the wide-angle images are generated, the
여기서, 시차 맵 생성부(1230)는 스테레오 매칭을 통해 최초로 생성된 시차 맵들 각각이 노이즈를 포함할 수 있기 때문에 이러한 노이즈를 제거하기 위한 프로세싱이 추가적으로 수행할 수 있으며, 시차 맵들 각각의 질을 향상시키기 위한 추가 작업 또한 수행할 수 있다. 예를 들어, 시차 맵 생성부는 시차 맵들 각각에 대하여 비용 군집화(cost aggregation)를 수행함으로써, 시차 맵들 각각에 포함된 노이즈를 제거할 수 있으며, 노이즈 제거를 통해 시차 맵에 구멍과 같은 디펙트(defect)가 발생하거나 시차 값에 차이가 날 수 있기 때문에 이러한 디펙트나 차이가 나는 부분을 채워주기 위한 영상 전파(propagation) 기법을 수행함으로써, 질이 향상된 최종 시차 맵들을 생성할 수 있다.Here, since each of the parallax maps initially generated through stereo matching may contain noise, the
거리 영상 생성부(1240)는 복수의 시차 맵들 예를 들어, 6개의 시차 맵들에 기초하여 광각 영상들에 대응하는 360 거리 영상을 생성한다.The
여기서, 거리 영상 생성부(1240)는 시차 맵들 각각에 대하여, 거리 값을 계산하여 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 광각 영상들에 대응하는 360 거리 영상을 생성할 수 있다.Here, the
계산부(1250)는 360 거리 영상을 복수의 폴리곤들로 분할하고, 분할된 각 폴리곤 상에 위치하는 각 픽셀의 거리 값을 폴리곤 기반으로 계산한다.The
이 때, 계산부(1250)는 360 거리 영상을 미리 설정된 다면체로 분할하고, 분할된 다면체를 구성하는 각 면의 꼭지점에 대한 거리 값에 기초하여 각 면 상의 픽셀들 각각에 대한 거리 값을 계산할 수 있다.In this case, the
컬러 영상 생성부(1260)는 360 거리 영상에 대해 폴리곤 기반으로 계산된 각 픽셀의 거리 값과 광각 영상들에 기초하여 광각 영상들에 대응하는 360 컬러 영상을 생성 또는 복원한다.The
비록, 도 12의 장치에서 그 설명이 생략되었더라도, 도 12을 구성하는 각 구성 수단은 도 1 내지 도 11에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.Although the description of the device of FIG. 12 is omitted, each component constituting FIG. 12 may include all the contents described in FIGS. 1 to 11, which will be apparent to those skilled in the art.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.
Claims (14)
미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 단계;
상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 단계;
상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 단계;
상기 생성된 360 거리 영상을 복수의 폴리곤들로 분할하고, 상기 분할된 각 폴리곤(polygon) 상에 위치하는 각 픽셀의 거리 값을 폴리곤 기반으로 계산하는 단계; 및
상기 폴리곤 기반으로 계산된 거리 값과 상기 광각 영상들에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성하는 단계
를 포함하는 360 영상 복원 방법.
Receiving wide-angle images captured by a wide-angle camera disposed in each of preset directions;
Generating a pair of correction images for each of the wide-angle images using a preset image rectification technique;
Generating a plurality of disparity maps based on stereo matching using a pair of corrected images generated for each of the wide-angle images;
Generating a 360-distance image corresponding to the wide-angle images based on the generated parallax maps;
Dividing the generated 360-distance image into a plurality of polygons, and calculating a distance value of each pixel positioned on each of the divided polygons based on a polygon; And
Generating a 360-degree color image corresponding to the wide-angle images based on the distance value calculated based on the polygon and the wide-angle images
360 image restoration method comprising a.
상기 폴리곤 기반으로 계산하는 단계는
상기 360 거리 영상을 미리 설정된 다면체로 분할하고, 상기 분할된 다면체를 구성하는 각 면의 꼭지점에 대한 거리 값에 기초하여 상기 각 면 상의 픽셀들 각각에 대한 거리 값을 계산하는 것을 특징으로 하는 360 영상 복원 방법.
The method of claim 1,
The step of calculating based on the polygon
A 360 image, characterized in that the 360 image is divided into a predetermined polyhedron, and a distance value for each of the pixels on each surface is calculated based on a distance value for a vertex of each surface constituting the divided polyhedron. How to restore.
상기 360도 컬러 영상을 생성하는 단계는
상기 각 면 상의 픽셀들 각각에 대한 거리 값과 상기 각 면에 해당하는 광각 영상의 컬러 값에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성하는 것을 특징으로 하는 360 영상 복원 방법.
The method of claim 2,
Generating the 360-degree color image
And generating a 360-degree color image corresponding to the wide-angle images based on a distance value for each of the pixels on each side and a color value of the wide-angle image corresponding to each side.
상기 보정 영상들을 생성하는 단계는
상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 것을 특징으로 하는 360영상 복원 방법.
The method of claim 1,
Generating the corrected images
And generating a pair of corrected images for each of the wide-angle images by correcting each of the wide-angle images to look in the same direction as neighboring cameras.
상기 시차 맵들을 생성하는 단계는
상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성하는 것을 특징으로 하는 360영상 복원 방법.
The method of claim 4,
The step of generating the parallax maps
And generating the parallax maps based on stereo matching between two corrected images corrected for the same direction among the corrected images.
상기 360 거리 영상을 생성하는 단계는
상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 방법.
The method of claim 1,
Generating the 360 distance image
For each of the parallax maps, a distance value is calculated to generate distance maps corresponding to each of the parallax maps, and the 360 distance image is generated based on forward warping using the generated distance maps. How to restore 360 images
상기 수신하는 단계는
미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신하는 것을 특징으로 하는 360영상 복원 방법.
The method of claim 1,
The receiving step
And correcting the captured wide-angle images based on an intrinsic parameter and an extrinsic parameter for each of the wide-angle cameras stored in advance, and receiving the corrected wide-angle images.
미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 보정부;
상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 시차 맵 생성부;
상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 거리 영상 생성부;
상기 생성된 360 거리 영상을 복수의 폴리곤들로 분할하고, 상기 분할된 각 폴리곤(polygon) 상에 위치하는 각 픽셀의 거리 값을 폴리곤 기반으로 계산하는 계산부; 및
상기 폴리곤 기반으로 계산된 거리 값과 상기 광각 영상들에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성하는 컬러 영상 생성부
를 포함하는 360 영상 복원 장치.
A receiver configured to receive wide-angle images photographed by a wide-angle camera disposed in each of preset directions;
A correction unit that generates a pair of correction images for each of the wide-angle images using a preset image rectification technique;
A disparity map generator for generating a plurality of disparity maps based on stereo matching using a pair of corrected images generated for each of the wide-angle images;
A distance image generator configured to generate a 360 distance image corresponding to the wide-angle images based on the generated parallax maps;
A calculation unit that divides the generated 360-distance image into a plurality of polygons and calculates a distance value of each pixel positioned on each of the divided polygons based on a polygon; And
A color image generator for generating a 360-degree color image corresponding to the wide-angle images based on the distance value calculated based on the polygon and the wide-angle images
360 image restoration apparatus comprising a.
상기 계산부는
상기 360 거리 영상을 미리 설정된 다면체로 분할하고, 상기 분할된 다면체를 구성하는 각 면의 꼭지점에 대한 거리 값에 기초하여 상기 각 면 상의 픽셀들 각각에 대한 거리 값을 계산하는 것을 특징으로 하는 360 영상 복원 장치.
The method of claim 8,
The calculation unit
A 360 image, characterized in that the 360 image is divided into a predetermined polyhedron, and a distance value for each of the pixels on each surface is calculated based on a distance value for a vertex of each surface constituting the divided polyhedron. Restoration device.
상기 컬러 영상 생성부는
상기 각 면 상의 픽셀들 각각에 대한 거리 값과 상기 각 면에 해당하는 광각 영상의 컬러 값에 기초하여 상기 광각 영상들에 대응하는 360도 컬러 영상을 생성하는 것을 특징으로 하는 360 영상 복원 장치.
The method of claim 9,
The color image generator
And generating 360-degree color images corresponding to the wide-angle images based on a distance value for each of the pixels on each side and a color value of a wide-angle image corresponding to each side.
상기 보정부는
상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 것을 특징으로 하는 360영상 복원 장치.
The method of claim 8,
The correction unit
And generating a pair of corrected images for each of the wide-angle images by correcting each of the wide-angle images to look in the same direction as neighboring cameras.
상기 시차 맵 생성부는
상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성하는 것을 특징으로 하는 360영상 복원 장치.
The method of claim 8,
The parallax map generator
And generating the parallax maps based on stereo matching between two correction images corrected for the same direction among the correction images.
상기 거리 영상 생성부는
상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 장치.
The method of claim 8,
The distance image generator
For each of the parallax maps, a distance value is calculated to generate distance maps corresponding to each of the parallax maps, and the 360 distance image is generated based on forward warping using the generated distance maps. 360 image restoration device.
상기 수신부는
미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신하는 것을 특징으로 하는 360영상 복원 장치.The method of claim 8,
The receiver
A 360 image restoration apparatus, characterized in that for correcting the captured wide-angle images based on an intrinsic parameter and an extrinsic parameter for each of the wide-angle cameras stored in advance, and receiving the corrected wide-angle images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190027956A KR102192347B1 (en) | 2019-03-12 | 2019-03-12 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190027956A KR102192347B1 (en) | 2019-03-12 | 2019-03-12 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200109014A true KR20200109014A (en) | 2020-09-22 |
| KR102192347B1 KR102192347B1 (en) | 2020-12-17 |
Family
ID=72706852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190027956A KR102192347B1 (en) | 2019-03-12 | 2019-03-12 | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102192347B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230093681A (en) | 2021-12-20 | 2023-06-27 | 한국전자통신연구원 | Method and apparatus for improving quality and realism of rendered image |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110063778A (en) * | 2008-08-29 | 2011-06-14 | 톰슨 라이센싱 | View synthesis with heuristic view blending |
| KR20120018915A (en) * | 2010-08-24 | 2012-03-06 | 삼성전자주식회사 | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image |
| KR101694890B1 (en) * | 2016-03-29 | 2017-01-13 | 주식회사 비젼인 | Image processing system and method using 2D images from multiple points |
| KR20170017700A (en) * | 2015-08-07 | 2017-02-15 | 삼성전자주식회사 | Electronic Apparatus generating 360 Degrees 3D Stereoscopic Panorama Images and Method thereof |
-
2019
- 2019-03-12 KR KR1020190027956A patent/KR102192347B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110063778A (en) * | 2008-08-29 | 2011-06-14 | 톰슨 라이센싱 | View synthesis with heuristic view blending |
| KR20120018915A (en) * | 2010-08-24 | 2012-03-06 | 삼성전자주식회사 | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image |
| KR20170017700A (en) * | 2015-08-07 | 2017-02-15 | 삼성전자주식회사 | Electronic Apparatus generating 360 Degrees 3D Stereoscopic Panorama Images and Method thereof |
| KR101694890B1 (en) * | 2016-03-29 | 2017-01-13 | 주식회사 비젼인 | Image processing system and method using 2D images from multiple points |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230093681A (en) | 2021-12-20 | 2023-06-27 | 한국전자통신연구원 | Method and apparatus for improving quality and realism of rendered image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102192347B1 (en) | 2020-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106846409B (en) | Calibration method and device of fisheye camera | |
| CN110336987B (en) | Projector distortion correction method and device and projector | |
| CN108876926B (en) | Navigation method and system in panoramic scene and AR/VR client equipment | |
| KR101956149B1 (en) | Efficient Determination of Optical Flow Between Images | |
| EP3534336B1 (en) | Panoramic image generating method and apparatus | |
| JP5739584B2 (en) | 3D image synthesizing apparatus and method for visualizing vehicle periphery | |
| EP1453001B1 (en) | Image processing apparatus, image processing method, storage medium and computer program | |
| US20070279412A1 (en) | Infilling for 2D to 3D image conversion | |
| KR101969082B1 (en) | Optimal Spherical Image Acquisition Method Using Multiple Cameras | |
| US11195252B2 (en) | System and method for rectifying a wide-angle image | |
| KR20170017586A (en) | Method for assuming parameter of 3d display device and 3d display device thereof | |
| CN110191326A (en) | A kind of optical projection system resolution extension method, apparatus and optical projection system | |
| US10244227B2 (en) | Capture and render of virtual reality content employing a light field camera array | |
| Ferreira et al. | Stereo reconstruction of a submerged scene | |
| EP1342211A2 (en) | Systems and methods for registration of hemispheric images for panomaric viewing | |
| CN110782507A (en) | Texture mapping generation method and system based on face mesh model and electronic equipment | |
| CN111510621A (en) | Imaging system | |
| KR102159134B1 (en) | Method and system for generating real-time high resolution orthogonal map for non-survey using unmanned aerial vehicle | |
| KR102192347B1 (en) | Real-Time Reconstruction Method of Polyhedron Based 360 Imaging and Apparatus Therefor | |
| KR102132527B1 (en) | Avm system and method for detecting matched point between images in avm system | |
| US20220321859A1 (en) | Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof | |
| KR102133090B1 (en) | Real-Time Reconstruction Method of Spherical 3D 360 Imaging and Apparatus Therefor | |
| KR100867731B1 (en) | Method for estimation of omnidirectional camera motion | |
| JP2004046777A (en) | Image processor, image processing method used therefor, and its program | |
| KR101541114B1 (en) | Next viewing direction determining method for 3d scanner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |