KR101835434B1 - 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 - Google Patents
투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 Download PDFInfo
- Publication number
- KR101835434B1 KR101835434B1 KR1020160056447A KR20160056447A KR101835434B1 KR 101835434 B1 KR101835434 B1 KR 101835434B1 KR 1020160056447 A KR1020160056447 A KR 1020160056447A KR 20160056447 A KR20160056447 A KR 20160056447A KR 101835434 B1 KR101835434 B1 KR 101835434B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- acquisition
- depth
- pose
- acquired
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013507 mapping Methods 0.000 title claims description 15
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000002787 reinforcement Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000006798 ring closing metathesis reaction Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0096—Synchronisation or controlling aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Abstract
3차원 공간에 대한 투영 이미지 생성 방법이 개시된다. 본 발명의 일 실시예에 따른 투영 이미지 생성 방법은 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지 및 복수의 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정하는 단계;상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 단계; 및 상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 단계를 포함한다.
Description
본 발명은 이미지 생성에 관한 것으로, 특히 3차원 공간에 대한 투영 이미지를 생성하는 방법 및 장치, 이미지 픽셀과 깊이값간의 매핑 방법에 관한 것이다.
100여년 전부터 실내 및 실외 환경을 디지털 정보로 표현하기 위한 여러 가지 방법들이 도입되었다. 환경의 영상 정보를 취득하기 위해서 카메라가 도입되었고, 환경의 깊이 정보를 취득하기 위해서 각종 거리측정기들이 도입되었다. 그리고 최근 구글의 JUMP나 삼성의 Project Beyond 등을 통해서, 이미지와 깊이값을 동시에 취득하여 3D 이미지를 제작하고 이를 사용자에게 HMD(Head Mount Display)를 통해 제공하기 위한 센서 시스템도 출시되었다.
그러나 상기 시스템들은 한 장소에서만 데이터 취득이 가능하기 때문에 특정 포즈(2차원 혹은 3차원 공간상의 위치 및 각도)에서 특정 시야(Field of View)에 대한 정보만을 기록할 수 있다는 한계가 있다.
이를 극복하기 위해 보다 촘촘한 간격을 두고 여러 장의 이미지 및 깊이값을 취득할 수 있다. 이의 예로 인터넷 포털의 Street View 지도서비스에서는 이미지를 촘촘한 간격으로 촬영하고 있고, JUMP나 Project Beyond 등에서도 동일한 구현이 가능하다.
그러나 이와 같은 종래 기술에서는 가상의 사용자가 이미지가 획득되지 않은 포즈에 위치하는 경우에는 해당 위치에 대응되는 3D 이미지를 생성할 수 없다는 한계가 있다. 종래 기술은 이미지가 획득되지 않은 가상의 3차원 공간상의 포즈에 가상의 사용자가 위치하게 되면 해당 포즈의 전-후에 해당하는 포즈에서 취득된 이미지를 혼합하여 3D 이미지를 표시하고, 사용자가 이동함에 따라 다음번 포즈에서 취득된 이미지를 이용하여 3D 이미지를 표시하는 방식을 활용하고 있기에, 사용자 입장에서는 부자연스러움을 느끼게 된다.
이를 극복하기 위해서, 복수의 연속적인 포즈들에 대하여 이미지 및 깊이값을 취득하는 방식을 통해 사용자 이동에 따라 자연스러운 3D 이미지 표시가 가능하게 할 수 있으나, 이 경우는 사용자가 이미지 및 깊이값이 취득된 경로와 동일한 경로로 이동할 경우에 한해서 자연스러운 3D 이미지 표시가 가능하다는 한계가 있다. 즉, 사용자가 이미지가 취득된 경로를 벗어나 이동을 할 수 없기 때문에, 이는 주로 롤러코스터 등의 놀이기구를 체험하는 형태의 컨텐츠 제작 등에만 사용 가능하다는 한계가 있다.
또한, 전방향 카메라로 이미지를 촬영한 경우, 해당 이미지의 중심점을 기준으로 좌우 각각의 방향으로 시야를 이동시켜 양안 이미지를 만들어, 이를 HMD(Head Mount Display) 장치를 통해 디스플레이하는 방법 역시 전방향 카메라의 특성으로 인해 360도 회전을 하여 촬영 영상을 3D로 감상할 수는 있으나 촬영 경로를 벗어나서는 관찰이 불가능하다는 한계가 있다.
이상에서 살펴본 바와 같이, 종래에는 실내 및 실외 환경에 대하여 사용자의 임의 이동 및 임의 회전에 대응되는 실감나는 3D 이미지를 제공할 수 없었다는 문제점이 있었다.
본 발명의 목적은 사용자의 임의 이동 및 임의 회전에 대응되는 실감나는 3D 이미지를 제공하기 위한 투영 이미지 생성 방법 및 그 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 투영 이미지 생성 방법은 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지 및 복수의 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정하는 단계; 상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 단계; 및 상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 단계를 포함한다.
바람직하게는, 상기 투영 이미지 생성에 이용되는 상기 복수의 취득 이미지 중 적어도 하나는 상기 대응이미지취득포즈에서 취득된 취득 이미지로서 상기 대응이미지취득포즈를 원점으로 하는 좌표계인 취득좌표계를 대표하는 이미지로 설정된 대표 이미지이고, 상기 투영 이미지 생성에 이용되는 상기 복수의 취득 깊이값은 상기 대응깊이취득포즈에서 취득된 복수의 깊이값으로서 상기 기준 좌표계의 원점을 기준으로 하는 복수의 깊이값 또는 상기 취득좌표계의 원점을 기준으로 하는 복수의 깊이값 중에서 상기 대표 이미지의 화각에 포함되는 깊이값인 복수의 대응깊이값을 포함할 수 있다.
바람직하게는, 상기 투영 이미지를 생성하는 단계는 상기 복수의 대응깊이값 각각에 대응되는 상기 대표 이미지에 포함된 픽셀인 복수의 대응픽셀에 상기 복수의 대응깊이값을 투영하여 생성할 수 있다.
바람직하게는, 상기 사용자포즈가 상기 대응이미지취득포즈와 상이하고, 상기 사용자포즈에서의 상기 사용자의 시야각에 대응되는 상기 가상의 3차원 공간상의 영역 중에서 상기 대표 이미지에 포함되지 않은 유실시야영역이 존재하는 경우, 상기 투영 이미지를 생성하는 단계는 상기 대표 이미지를 제외한 상기 복수의 취득 이미지 중에서 상기 유실시야영역에 해당하는 픽셀인 복수의 유실픽셀을 포함하는 취득 이미지인 보강 이미지 및 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성하는 단계를 포함할 수 있다.
바람직하게는, 상기 보강 이미지 및 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성하는 단계는 상기 유실시야영역이 존재하는지 여부를 판단하는 단계; 상기 유실시야영역이 존재한다고 판단되면, 상기 복수의 취득 이미지에 포함된 복수의 픽셀들에 대응되는 상기 복수의 취득 깊이값이 매칭된 정보인 깊이-이미지연계정보에 기초하여 상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 단계; 상기 보강 이미지를 상기 대표 이미지보다 낮은 가중치로 상호 조합함으로써 조합 이미지를 생성하는 단계; 및 상기 복수의 취득 깊이값을 상기 조합 이미지에 투영한 투영 이미지를 생성하는 단계를 포함할 수 있다.
바람직하게는, 상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 단계는 상기 사용자포즈를 중심으로 레이캐스팅(raycasting)을 수행하여 상기 사용자의 시야각 내에 포함되는 깊이값인 복수의 사용자시야깊이값을 검출하는 단계; 상기 복수의 사용자시야깊이값 중에서 상기 유실 시야 영역에 해당하는 깊이값인 복수의 유실시야깊이값을 검출하는 단계; 상기 깊이-이미지연계정보에 기초하여, 상기 복수의 유실시야깊이값에 대응되는 상기 복수의 유실픽셀을 검출하는 단계; 및 상기 검출된 복수의 유실픽셀에 기초하여, 상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 단계를 포함할 수 있다.
바람직하게는, 상기 깊이-이미지연계정보는 상기 깊이취득포즈에서 취득된 복수의 취득 깊이값으로부터 상기 깊이취득포즈까지의 거리인 복수의 제1깊이값거리를 산출하는 단계; 상기 이미지취득포즈 및 상기 깊이취득포즈를 이용하여, 상기 제1깊이값거리를 상기 깊이취득포즈에서 취득된 상기 각각의 복수의 취득 깊이값으로부터 상기 이미지취득포즈까지의 거리인 복수의 제2깊이값거리로 변환하는 단계; 및 상기 취득 이미지 취득에 이용된 이미지 센서에 대응되는 카메라 행렬 및 상기 복수의 제2깊이값거리를 이용하여, 상기 취득 이미지에 포함된 복수의 픽셀에 상기 복수의 취득 깊이값을 매핑하는 단계를 통해 산출될 수 있다.
바람직하게는, 상기 깊이취득포즈에서 취득된 복수의 취득 깊이값으로부터 상기 깊이취득포즈까지의 거리인 복수의 제1깊이값거리를 산출하는 단계는 상기 복수의 취득 깊이값 각각의 취득 시간이 소정 시간 간격 이내인 상기 복수의 취득 깊이값만을 이용하여 수행될 수 있다.
바람직하게는, 상기 사용자포즈가 상기 대응이미지취득포즈와 동일하고, 상기 대응이미지취득포즈에서 취득된 상기 취득 이미지의 화각이 상기 대응깊이취득포즈에서 취득된 상기 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각보다 큰 경우, 상기 투영 이미지를 생성하는 단계는 상기 대표 이미지가 취득된 상기 대응이미지취득포즈로부터 소정 거리 이내에 속하는 복수의 상기 대응깊이취득포즈로부터 취득된 복수의 상기 깊이 지도와 상기 대표 이미지를 이용하여 수행될 수 있다.
바람직하게는, 상기 사용자포즈가 상기 대응이미지취득포즈와 동일하고, 상기 대응이미지취득포즈에서 취득된 상기 취득 이미지의 화각이 상기 대응깊이취득포즈에서 취득된 상기 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각보다 큰 경우, 상기 투영 이미지를 생성하는 단계는 상기 대표 이미지가 취득된 상기 대응이미지취득포즈로부터 소정 거리 이내에 속하는 복수의 상기 대응깊이취득포즈로부터 취득된 복수의 상기 깊이 지도를 미리 그룹핑하여 생성한 그룹핑깊이지도와 상기 대표 이미지를 이용하여 수행될 수 있다.
바람직하게는, 상기 복수의 취득 깊이값으로 구성되는 깊이 지도는 미리 설정된 파라미터를 기반으로 하는 메쉬 구조의 취득 깊이값으로 구성될 수 있다.
바람직하게는, 상기 투영 이미지를 생성하는 단계는 상기 복수의 취득 깊이값 중에서 상기 투영 이미지 생성에 이용될 상기 복수의 취득 이미지 각각이 취득된 시점으로부터 소정 시간 이내에 취득된 상기 취득 깊이값만을 이용하여 수행될 수 있다.
바람직하게는, 상기 복수의 이미지취득포즈 각각에 포함된 상기 취득 각도는 상기 복수의 이미지취득포즈 각각에 포함된 상기 취득 이미지가 전방향(omni-directional) 카메라에 의해 취득된 경우에는 전방향 각도일 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 투영 이미지 생성 방법은 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈를 기준 좌표계를 기준으로 추정하고, 복수의 취득 깊이값에 대응되는 복수의 깊이취득포즈를 상기 복수의 이미지취득포즈 각각을 원점으로 하는 취득 좌표계 기준으로 추정하는 단계; 상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 단계; 및 상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 투영 이미지 생성 장치는 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지 및 복수의 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정하는 데이터 포즈 추정부; 상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 사용자 포즈 취득부; 및 상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 이미지 생성부를 포함할 수 있다.
바람직하게는, 상기 투영 이미지 생성에 이용되는 상기 복수의 취득 이미지 중 적어도 하나는 상기 대응이미지취득포즈에서 취득된 취득 이미지로서 상기 대응이미지취득포즈를 원점으로 하는 좌표계인 취득좌표계를 대표하는 이미지로 설정된 대표 이미지이고, 상기 투영 이미지 생성에 이용되는 상기 복수의 취득 깊이값은 상기 대응깊이취득포즈에서 취득된 복수의 깊이값으로서 상기 기준 좌표계의 원점을 기준으로 하는 복수의 깊이값 또는 상기 취득좌표계의 원점을 기준으로 하는 복수의 깊이값 중에서 상기 대표 이미지의 화각에 포함되는 깊이값인 복수의 대응깊이값을 포함할 수 있다.
바람직하게는, 상기 대응이미지취득포즈가 상기 사용자포즈와 상이하고, 상기 사용자포즈에서의 상기 사용자의 시야각에 대응되는 상기 가상의 3차원 공간상의 영역 중에서 상기 대표 이미지에 포함되지 않은 유실시야영역이 존재하는 경우, 상기 이미지 생성부는 상기 대표 이미지를 제외한 상기 복수의 취득 이미지 중에서 상기 유실시야영역에 해당하는 픽셀인 복수의 유실픽셀을 포함하는 취득 이미지인 보강 이미지 및 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성할 수 있다.
바람직하게는, 상기 이미지 생성부는 상기 유실시야영역이 존재하는지 여부를 판단하는 사용자 시야 판단부; 상기 유실시야영역이 존재한다고 판단되면, 상기 복수의 취득 이미지에 포함된 복수의 픽셀들에 대응되는 상기 복수의 취득 깊이값이 매칭된 정보인 깊이-이미지연계정보에 기초하여 상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 보강 이미지 선정부; 상기 보강 이미지를 상기 대표 이미지보다 낮은 가중치로 상호 조합함으로써 조합 이미지를 조합 이미지 생성부; 및 상기 복수의 취득 깊이값을 상기 조합 이미지에 투영한 투영 이미지를 투영 이미지 생성부를 포함할 수 있다.
바람직하게는, 상기 사용자포즈가 상기 대응이미지취득포즈와 동일하고, 상기 대응이미지취득포즈에서 취득된 상기 취득 이미지의 화각이 상기 대응깊이취득포즈에서 취득된 상기 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각보다 큰 경우, 상기 이미지 생성부는 상기 대표 이미지가 취득된 상기 대응이미지취득포즈로부터 소정 거리 이내에 속하는 복수의 상기 대응깊이취득포즈로부터 취득된 복수의 상기 깊이 지도와 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 투영 이미지 생성 장치는 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈를 기준 좌표계를 기준으로 추정하고, 복수의 취득 깊이값에 대응되는 복수의 깊이취득포즈를 상기 복수의 이미지취득포즈 각각을 원점으로 하는 취득 좌표계 기준으로 추정하는 데이터 포즈 추정부;상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 사용자 포즈 취득부; 및 상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 이미지 생성부를 포함한다.
또한, 상기 목적을 달성하기 위한 이미지 픽셀과 깊이값간의 매핑 방법은 실제 3차원 공간에 대하여 취득된 취득 이미지 및 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 이미지취득포즈 및 깊이취득포즈를 기준 좌표계를 기준으로 추정하는 단계; 상기 깊이취득포즈에서 취득된 복수의 취득 깊이값으로부터 상기 깊이취득포즈까지의 거리인 복수의 제1깊이값거리를 산출하는 단계; 상기 이미지취득포즈 및 상기 깊이취득포즈를 이용하여, 상기 제1깊이값거리를 상기 깊이취득포즈에서 취득된 상기 각각의 복수의 취득 깊이값으로부터 상기 이미지취득포즈까지의 거리인 복수의 제2깊이값거리로 변환하는 단계; 및 상기 취득 이미지 취득에 이용된 이미지 센서에 대응되는 카메라 행렬 및 상기 복수의 제2깊이값거리를 이용하여, 상기 취득 이미지에 포함된 복수의 픽셀에 상기 복수의 취득 깊이값을 매핑하는 단계를 포함한다.
바람직하게는, 상기 복수의 제2깊이값거리로 변환하는 단계는 상기 이미지취득포즈를 나타내는 행렬의 역행렬, 상기 깊이취득포즈를 나타내는 행렬 및 상기 제1깊이값거리 각각을 상호간에 곱셈 연산함으로써 수행될 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 이미지 픽셀과 깊이값간의 매핑 방법은 상기 취득 이미지의 취득에 이용된 이미지 센서의 해상도가 상기 취득 깊이값의 취득에 이용된 거리 센서의 해상도보다 높은 경우, 상기 취득 이미지에 포함된 복수의 픽셀에 상기 복수의 취득 깊이값을 매핑하는 단계는 상기 이미지 픽셀과 매핑된 복수의 취득 깊이값인 초기연계깊이값 중에서 3개 이상의 초기연계깊이값을 선별하여 다각형 메쉬를 구성하는 단계; 상기 이미지 센서의 해상도에 기초하여, 대응되는 취득 깊이값이 존재하지 않는 이미지 픽셀인 복수의 미매핑 픽셀 중에서 상기 다각형 메쉬 내부에 포함될 복수의 미매핑픽셀의 개수 및 위치를 산출하는 단계; 상기 산출된 복수의 미매핑픽셀의 개수 및 위치에 기초하여 상기 복수의 미매핑픽셀에 대응되는 복수의 깊이값을 추정하는 단계; 및 상기 추정된 복수의 깊이값을 상기 복수의 미매핑픽셀에 매핑하는 단계를 더 포할 수 있다.
바람직하게는, 상기 복수의 미매핑픽셀에 대응되는 복수의 깊이값을 추정하는 단계는 내삽법(interpolation)을 이용하여 수행될 수 있다.
본 발명의 일 실시예에 따르면, 이미지를 그 이미지가 취득된 이미지취득포즈의 취득 좌표계에 연동하여 표시함으로써, 취득 좌표계 기준으로 취득된 취득 이미지를 기준 좌표계 기준으로 변환하는 과정에서 발생하는 이미지 왜곡을 제거할 수 있다. 특히, 이미지를 사용자 시야보다 넓은 화각을 가진 광각 이미지 센서를 활용하여 취득함으로써, 사용자가 하나의 고정된 위치에서 주변을 둘러볼 경우 동일한 조건에서 촬영된 하나의 광각 이미지를 볼 수 있게 되어 사용자에게 자연스럽고 실감나는 이미지를 제공해줄 수 있는 효과가 있다.
본 발명의 다른 실시예에 따르면, 이미지취득포즈의 취득 좌표계별로 연동된 한 개의 대표 이미지만을 이용하여 투영 이미지를 생성하므로, 종래에 비해 훨씬 더 적은 데이터양으로 투영 이미지를 생성할 수 있게 되는 효과가 있다.
본 발명의 또 다른 실시예에 따르면, 이미지취득포즈의 취득 좌표계별로 연동되는 대표 이미지를 이용하여 투영 이미지를 생성하므로, 실제 3차원 공간에 해당하는 이미지가 변경된 경우 간판 교체와 같이 해당 이미지취득포즈에 대해서만 새로운 취득 이미지를 취득하여 대표 이미지로 설정하는 것만으로도 전체 이미지 데이터를 최신 이미지 데이터로 손쉽게 판올림(up-grade)을 할 수 있게 되는 효과가 있다.
본 발명의 또 다른 실시예에 따르면, 깊이-이미지 연계 정보를 통해 깊이값을 매개로 취득 이미지의 어떤 픽셀이 사용자 시야안에 포함되는지 확인할 수 있고, 이를 통해 어떤 취득 이미지가 사용자 시야 안에 들어와야 하는지 확인할 수 있게 되므로, 사용자가 이미지 취득 경로를 벗어난 사용자 포즈에 위치하는 경우에도 해당 사용자 포즈에서의 사용자의 임의의 시야에 대응되는 투영 이미지를 생성할 수 있게 되는 효과가 있다.
본 발명의 또 다른 실시예에 따르면, 깊이-이미지 연계 정보를 이용하여 취득 이미지의 화각에 대응되는 복수의 깊이 지도를 이용하여 투영 이미지를 생성함으로써, 이미지 센서의 화각보다 좁은 화각을 가지는 거리 센서를 이용하면서도 이미지 센서의 넓은 화각에 대응되는 넓은 화각을 가진 투영 이미지를 생성할 수 있게 되는 효과가 있다.
본 발명의 또 다른 실시예에 따르면, 대표 이미지와 보강 이미지를 조합한 조합 이미지를 이용하여 투영 이미지를 생성하는 경우에, 가중치를 달리하여 조합하는 방법 등을 통하여 복수의 이미지를 이용하여 생성되는 투영 이미지의 이미지 왜곡을 최소화할 수 있게 되는 효과가 있다.
본 발명의 또 다른 실시예에 따르면, 취득 이미지 및 취득 깊이값 각각이 취득된 시간을 기반으로 복수의 취득 깊이값 중 투영 이미지 생성에 이용될 취득 깊이값을 선별함으로써, 고리 닫힘 상황 등으로 인한 이미지 왜곡을 최소화할 수 있게 되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 깊이값을 기저 벡터로 표시한 예시를 도시한 도면이다.
도 3은 이미지와 깊이값을 동시에 취득하기 위한 통합센서의 예시를 도시한 도면이다.
도 4는 종래의 기준 좌표계 기준으로 생성된 3D 이미지를 설명하기 위하여 도시한 도면이다.
도 5는 위치 추정 오차에 따른 이미지 왜곡을 설명하기 위하여 도시한 도면이다.
도 6은 기준 좌표계에 따른 깊이취득포즈를 설명하기 위하여 도시한 도면이다.
도 7은 위치 추정 오차에 따른 지형 왜곡 및 이미지 왜곡을 설명하기 위하여 도시한 도면이다.
도 8은 이미지 센서의 화각을 설명하기 위하여 도시한 도면이다.
도 9는 거리 센서의 화각을 설명하기 위하여 도시한 도면이다.
도 10은 하나의 이미지취득포즈와 복수의 깊이취득포즈를 이용하여 투영 이미지를 생성하는 방법을 설명하기 위하여 도시한 도면이다.
도 11은 깊이값이 그룹화된 예시를 설명하기 위하여 도시한 도면이다.
도 12는 고리 닫힘 상황을 설명하기 위하여 도시한 도면이다.
도 13은 고리 닫힘 상황에서의 깊이값 그룹화의 왜곡을 설명하기 위하여 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 깊이-이미지연계정보 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 15a는 본 발명의 일 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 15b는 본 발명의 다른 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 15c는 본 발명의 또 다른 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 16은 본 발명의 다른 실시예에 따른 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 17은 본 발명의 일 실시예에 따라 유실시야영역이 존재하는 경우의 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 18은 이미지 센서의 화각이 사용자 시야를 포함하는 환경을 설명하기 위하여 도시한 도면이다.
도 19는 이미지 센서의 화각이 사용자 시야를 포함하지 못하는 환경을 설명하기 위하여 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 보강 이미지 선정 방법을 설명하기 위하여 도시한 흐름도이다.
도 21은 사용자 이동에 따른 본 발명과 종래 기술의 차이점을 설명하기 위하여 도시한 도면이다.
도 22는 본 발명의 일 실시예에 따른 파라미터 기반의 깊이값 메쉬 구조를 설명하기 위하여 도시한 도면이다.
도 23은 본 발명의 일 실시예에 따른 투영 이미지 생성 장치를 설명하기 위하여 도시한 도면이다.
도 24는 본 발명의 일 실시예에 따른 이미지 생성부를 설명하기 위하여 도시한 도면이다.
도 25는 본 발명의 일 실시예에 따른 깊이값의 다각형 메쉬 구조를 설명하기 위하여 도시한 도면이다.
도 2는 본 발명의 깊이값을 기저 벡터로 표시한 예시를 도시한 도면이다.
도 3은 이미지와 깊이값을 동시에 취득하기 위한 통합센서의 예시를 도시한 도면이다.
도 4는 종래의 기준 좌표계 기준으로 생성된 3D 이미지를 설명하기 위하여 도시한 도면이다.
도 5는 위치 추정 오차에 따른 이미지 왜곡을 설명하기 위하여 도시한 도면이다.
도 6은 기준 좌표계에 따른 깊이취득포즈를 설명하기 위하여 도시한 도면이다.
도 7은 위치 추정 오차에 따른 지형 왜곡 및 이미지 왜곡을 설명하기 위하여 도시한 도면이다.
도 8은 이미지 센서의 화각을 설명하기 위하여 도시한 도면이다.
도 9는 거리 센서의 화각을 설명하기 위하여 도시한 도면이다.
도 10은 하나의 이미지취득포즈와 복수의 깊이취득포즈를 이용하여 투영 이미지를 생성하는 방법을 설명하기 위하여 도시한 도면이다.
도 11은 깊이값이 그룹화된 예시를 설명하기 위하여 도시한 도면이다.
도 12는 고리 닫힘 상황을 설명하기 위하여 도시한 도면이다.
도 13은 고리 닫힘 상황에서의 깊이값 그룹화의 왜곡을 설명하기 위하여 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 깊이-이미지연계정보 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 15a는 본 발명의 일 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 15b는 본 발명의 다른 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 15c는 본 발명의 또 다른 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 16은 본 발명의 다른 실시예에 따른 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 17은 본 발명의 일 실시예에 따라 유실시야영역이 존재하는 경우의 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이다.
도 18은 이미지 센서의 화각이 사용자 시야를 포함하는 환경을 설명하기 위하여 도시한 도면이다.
도 19는 이미지 센서의 화각이 사용자 시야를 포함하지 못하는 환경을 설명하기 위하여 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 보강 이미지 선정 방법을 설명하기 위하여 도시한 흐름도이다.
도 21은 사용자 이동에 따른 본 발명과 종래 기술의 차이점을 설명하기 위하여 도시한 도면이다.
도 22는 본 발명의 일 실시예에 따른 파라미터 기반의 깊이값 메쉬 구조를 설명하기 위하여 도시한 도면이다.
도 23은 본 발명의 일 실시예에 따른 투영 이미지 생성 장치를 설명하기 위하여 도시한 도면이다.
도 24는 본 발명의 일 실시예에 따른 이미지 생성부를 설명하기 위하여 도시한 도면이다.
도 25는 본 발명의 일 실시예에 따른 깊이값의 다각형 메쉬 구조를 설명하기 위하여 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이다.
단계 110에서는, 투영 이미지 생성 장치가 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지 및 복수의 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정한다.
이때, 투영 이미지 생성 장치는 복수의 취득 이미지 각각이 취득된 위치 및 해당 이미지가 취득된 각도(요, 피치, 롤링에 대한 각도를 포함)를 포함하는 복수의 이미지취득포즈 및 복수의 취득 깊이값 각각이 취득된 위치 및 해당 깊이값이 취득된 각도(요, 피치, 롤링에 대한 각도를 포함)를 포함하는 복수의 깊이취득포즈 뿐만 아니라, 각각의 이미지취득포즈에서 취득된 취득 이미지 및 이미지 취득 시간(절대적인 취득 시간, 상대적인 취득 시간, 취득 이미지의 선후 관계 등)에 대한 정보, 각각의 깊이취득포즈에서 취득된 취득 깊이값 및 깊이값 취득 시간(절대적인 취득 시간, 상대적인 취득 시간, 취득 깊이값의 선후 관계 등)에 대한 정보를 저장하고 있다고 가정할 수 있다. 다만, 다른 실시예에서는 이미지취득포즈가 이미지가 취득된 위치만을 포함하고, 깊이취득포즈가 깊이값이 취득된 위치만을 포함할 수도 있다. 또한, 복수의 이미지취득포즈 각각에 포함된 취득 이미지가 전방향(omni-directional) 카메라에 의해 취득된 경우에는 이미지취득포즈에 포함된 취득 각도는 전방향 각도일 수 있다.
여기서, 취득 이미지는 3차원 공간에 대한 2차원 이미지로서 2자유도의 기저벡터(basis vector)로 표현 가능한 형태를 가질 수 있으며, 카메라와 같이 3차원 컬러값을 2차원으로 표현하는 형태 또는 카메라에 적외선필터를 장착하여 3차원 열정보를 2차원으로 표현한 형태일 수 있다.
또한, 취득 이미지는 다수의 카메라를 사용하여 생성된 파노라마 이미지 또는 광각이미지일 수 있으며, 본 발명에서의 이미지는 2자유도 기저벡터로 표현 가능한 형태로서 정의되기 때문에 일반적인 사각형 형태 뿐만 아니라 카메라 특성에 따라 사각형 이외의 기하학적 형태를 가질 수도 있다.
또한, 취득 깊이값은 3자유도의 기저 벡터로 표현 가능한 점 형태를 가지며, 거리센서를 사용하여 취득될 수도 있고, 서로 다른 곳에서 촬영된 두개 이상의 이미지를 활용하여 추정될 수도 있다. 전자의 예로는 라이다(LIDAR), 소나(SONAR), 적외선(InfraRed), TOF(Time Of Flight) 거리탐지기를 통해 취득된 깊이값이 있고, 후자의 예로는 스테레오카메라, 다중카메라, 전방향 스테레오카메라 등을 통해 취득된 깊이값이 있다. 한편, Kinect, JUMP, PrimeSense, Project Beyond 등의 디바이스를 이용하게 되면 취득 이미지 및 취득 깊이값을 동시에 취득할 수도 있다.
도 2는 본 발명의 깊이값을 기저 벡터로 표시한 예시를 도시한 도면으로서, 깊이값은 좌측과 같이 α,β,γ로 표현되는 폴라 좌표계(Polar Coordinate) 또는 우측과 같이 X, Y, Z 축을 이용하여 표현되는 카르테시언 좌표계(Cartesian Coordinate)를 이용하여 3자유도의 기저벡터로 표시될 수 있다. 여기서, 깊이값은 단수의 점형태 혹은 복수의 점형태로 구성될 수 있으며, 점으로 구성된 삼각형 기반의 메쉬(Mesh) 구조의 깊이값 집합, 특정 기하형태의 깊이값 집합도 포함할 수 있다.
예컨대, 본 발명의 일 실시예에서는 거리 센서를 통해 취득한 취득 깊이값 뿐만 아니라 내삽법(interpolation)을 통해 깊이값을 새롭게 추정하여 사용할 수도 있다. 보다 구체적으로는, 복수의 취득 깊이값 중에서 3개 이상의 깊이값을 선별하여 다각형(삼각형 포함) 메쉬를 구성한 후, 그 다각형 메쉬 내부에 내삽법(interpolation)을 통해 새로운 깊이값을 추정하여 추가할 수 있다.
한편, 본 발명의 일 실시예에 따른 취득 이미지 및 취득 깊이값은 도 3과 같은 통합 센서를 이용하여 동시에 취득될 수도 있다.
도 3은 이미지와 깊이값을 동시에 취득하기 위한 통합센서의 예시를 도시한 도면으로, 도 3에서는 상단의 광각 이미지 센서와 하단의 거리센서(Lidar)가 결합된 통합센서가 도시되어 있다. 이때, 광각 이미지 센서는 수직/수평으로 전방향 화각을 가질 수 있으나, Lidar와 같은 거리 센서는 소정 각도의 좁은 화각을 가지는 것이 일반적이다. 한편, 다른 실시예에서는 3차원 공간상의 포즈는 관성센서, 가속센서, 지자기센서, 무선통신신호 등을 더 이용하여 추정될 수 있다.
본 발명에서 투영 이미지 생성 장치는 기존에 기준 좌표계를 기준으로 저장된 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정하게 되는데, 기준 좌표계는 절대 좌표계(W)라고 명명하기도 하며 특정한 하나의 원점을 기준으로 하여 모든 포즈를 표시하는 방식이다. 한편, 기준 좌표계와 반대되는 개념은 취득 좌표계인데, 지역 좌표계라고 명명하기도 하며 원점이 다수개 존재하고, 다수개의 원점 각각을 기준으로 하여 포즈를 표시하는 방식이다.
예컨대, 복수의 카메라를 이용하여 이미지를 취득하는 경우에, 이미지가 취득된 이미지취득포즈를 기준 좌표계를 기준으로 표시하면 복수의 카메라 각각의 포즈가 하나의 특정한 원점을 기준으로 표시되지만, 이미지취득포즈를 취득 좌표계 기준으로 표시하면 복수의 카메라 각각이 위치하는 복수의 지점이 모두 개별 취득 좌표계의 원점이 된다.
다만, 원칙적으로는 기준 좌표계는 원점을 하나만 설정하여야 하지만 복수개의 층으로 구성되는 건물 등에 기준 좌표계를 적용하는 경우에는 개별 층별로 기준 좌표계가 설정되어 개별 층별로 원점이 설정될 수도 있다.
단계 120에서는, 투영 이미지 생성 장치가 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득한다.
여기서, 사용자포즈는 가상의 3차원 공간에 표시되는 사용자의 아바타의 위치 및 사용자의 시야가 향하는 방향을 나타내는 각도일 수 있다.
단계 130에서는, 투영 이미지 생성 장치가 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 복수의 취득 깊이값을 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성한다.
여기서, 대응이미지취득포즈는 사용자 포즈에 대응되는 이미지취득포즈를 나타내고, 대응깊이취득포즈는 사용자 포즈에 대응되는 깊이취득포즈를 의미한다. 예컨대, 사용자 포즈로부터 소정 거리 이내에 존재하는 하나의 이미지취득포즈 및 적어도 하나의 깊이취득포즈가 대응이미지취득포즈 및 대응깊이취득포즈로 결정되거나, 사용자 포즈로부터 가장 가까운 거리에 위치하는 하나의 이미지취득포즈 및 하나의 깊이취득포즈가 대응이미지취득포즈 및 대응깊이취득포즈로 결정될 수 있다. 또한, 대응이미지취득포즈는 사용자포즈에서의 사용자의 시야와의 중첩도가 가장 높은 취득 이미지가 취득된 이미지취득포즈로 결정될 수도 있다.
한편, 사용자 포즈는 대응이미지취득포즈, 깊이취득포즈와 동일하다고 판단될 수도 있고, 상이하다고 판단될 수도 있다. 예컨대, 사용자 포즈와 대응이미지취득포즈간의 차이 값 및 사용자 포즈와 깊이취득포즈간의 차이 값 각각이 소정 임계치 이내이면, 사용자 포즈는 대응이미지취득포즈 및 깊이취득포즈 각각과 동일하다고 판단되고, 그 외의 경우에는 사용자 포즈는 대응이미지취득포즈 및 깊이취득포즈 각각과 상이하다고 판단될 수 있다.
한편, 본 발명의 일 실시예에 따르면 투영 이미지 생성에 이용되는 취득 이미지는 대응이미지취득포즈에서 취득된 취득 이미지로서 대응이미지취득포즈를 원점으로 하는 좌표계인 취득좌표계를 대표하는 이미지로 설정된 대표 이미지일 수 있고, 투영 이미지 생성에 이용되는 복수의 취득 깊이값은 대응깊이취득포즈에서 취득된 복수의 깊이값으로서 기준 좌표계의 원점을 기준으로 하는 복수의 깊이값 또는 취득좌표계의 원점을 기준으로 하는 복수의 깊이값 중에서 대표 이미지의 화각에 포함되는 깊이값인 복수의 대응깊이값일 수 있다.
즉, 본 발명의 일 실시예에서는 취득 좌표계 기준으로 대응이미지취득포즈별 대표 이미지를 설정할 수 있는데, 이에 따라 사용자가 특정 취득 좌표계에 진입하게 되면 해당 취득 좌표계 내에서는 하나의 대표 이미지만이 표시되게 된다. 이를 통해, 후술할 도 4에서와 같이 소정 크기의 수많은 이미지를 조합하여 사용자 포즈에 대응되는 투영 이미지를 생성하는 종래의 기준 좌표계 기준의 투영 이미지 생성 방법에 비하여 왜곡이 최소화된 자연스러운 이미지를 사용자에게 표시할 수 있게 된다. 또한, 이와 같이 복수의 대응이미지취득포즈 각각의 취득 좌표계별로 연동되는 대표 이미지를 설정함으로써, 실제 3차원 공간의 주변 환경이 바뀌는 경우 등 실제 3차원 공간에 해당하는 이미지가 변경된 경우 간판 교체와 같이 해당 대응이미지취득포즈에 대해서만 새로운 취득 이미지를 취득하여 대표 이미지로 설정하면 되므로, 전체 이미지 데이터를 최신 이미지 데이터로 손쉽게 판올림(up-grade)을 할 수 있게되는 효과가 있다.
보다 구체적으로, 본 발명의 일실시예에서는 투영 이미지 생성 장치가 대표 이미지의 화각에 포함되는 깊이값인 복수의 대응깊이값 각각에 대응되는 대표 이미지에 포함된 픽셀인 복수의 대응픽셀에 복수의 대응깊이값을 투영하여 투영 이미지를 생성하게 된다.
이때, 대응깊이값에 대응되는 대응픽셀은 깊이-이미지연계정보에 기초하여 결정될 수 있는데, 깊이-이미지연계정보를 생성하는 구체적인 동작에 대해서는 도 14 및 도 15를 참조하여 후술한다.
한편, 본 발명의 다른 실시예에 따르면 하나의 대응이미지취득포즈에서 취득된 하나의 대표 이미지에 복수의 대응깊이취득포즈에서 취득된 복수의 취득 깊이값을 투영하여 투영 이미지를 생성할 수도 있는데, 이는 이미지의 화각과 복수의 깊이값으로 구성되는 깊이지도의 화각의 차이로 인한 것이다. 이에 대해서는 도 8 내지 도 10을 참조하여 후술한다.
다른 실시예에서는, 사용자포즈가 대응이미지취득포즈와 상이하고 사용자포즈에서의 사용자의 시야각에 대응되는 가상의 3차원 공간상의 영역 중에서 대표 이미지에 포함되지 않은 유실시야영역이 존재하는 경우에는, 투영 이미지 생성 장치가 대표 이미지를 제외한 복수의 취득 이미지 중에서 유실시야영역에 해당하는 픽셀인 복수의 유실픽셀을 포함하는 취득 이미지인 보강 이미지 및 대표 이미지를 이용하여 투영 이미지를 생성할 수 있는데, 이에 대해서는 도 17 내지 도 20을 참조하여 후술한다.
이하에서는 도 4 내지 도 7을 참조하여, 종래의 3D 이미지 생성 방법에서 발생할 수 있는 이미지 왜곡에 대하여 설명한다.
도 4는 종래의 기준 좌표계 기준으로 생성된 3D 이미지를 설명하기 위하여 도시한 도면이다.
도 4를 참조하면, 기준 좌표계를 기준으로 복수의 이미지취득포즈별로 별도의 취득 이미지가 존재하게 되고, 그와 같이 이미지취득포즈별로 존재하는 복수의 이미지를 결합하여 생성된 결합이미지에 깊이값을 투영하여 투영 이미지를 생성하고, 최종적으로 왼쪽 눈과 오른쪽 눈 각각에 대응되는 2개의 투영 이미지를 이용하여 3D 이미지를 생성하게 된다. 이와 같이, 조도 차이, 셔터스피드 차이 등이 존재하는 복수의 취득 이미지 각각을 결합하여 사용자에게 표시할 하나의 이미지를 생성하기 때문에 도 4에서와 같이 부자연스러운 결합이미지를 사용자에게 표시하게 된다.
한편, 종래에는 이미지취득포즈와 깊이취득포즈 각각의 위치 추정 오차로 인해 이미지 왜곡이 발생할 수 있는데, 이에 대해서는 도 5를 참조하여 설명한다.
도 5는 위치 추정 오차에 따른 이미지 왜곡을 설명하기 위하여 도시한 도면이다.
도 5를 참조하면, 기둥의 이미지가 바닥에 맺히는 이미지 왜곡이 발생한 도면이 도시되어 있는데, 이와 같은 왜곡이 발생하는 이유는 컴퓨터를 통해 구현된 가상 3D 환경에서는 데이터(이미지 또는 깊이값) 취득 지점에서의 절대적인 포즈를 확실히 알 수 있는 반면, 실제 3D 환경에서 데이터를 취득할 경우에는 데이터를 취득한 다양한 포즈들의 절대 좌표값을 추정할 수 밖에 없고, 이러한 추정 과정에서 필연적으로 추정오차가 발생하기 때문이다.
이하에서는 이와 같은 왜곡이 발생하는 이유를 도 6 및 도 7을 참조하여 구체적으로 설명한다.
도 6은 기준 좌표계에 따른 깊이취득포즈를 설명하기 위하여 도시한 도면이다.
도 6a에서는 오차가 없는 이상적인 깊이취득포즈 
, 
, 
가 W를 기준으로 표시되어 있고, 도 6b에서는 오차가 존재하는 추정 깊이취득포즈 
, 
, 
가 W를 기준으로 표시되어 있는데, 도 6b를 참조하면 W로부터 먼 지점일수록 추정 깊이취득포즈의 오차가 커지는 것을 알수 있다. 즉, 도 6b에서는 
, 
, 
로 갈수록 오차가 커지는 것을 알 수 있다.
도 6에서 W는 기준 좌표계의 원점을 나타내고, Li(L1, L2, L3)는 깊이값이 취득된 지점을 나타내고,
는 기준 좌표계 W를 기준으로 하는 Li 각각의 지점에서의 깊이취득포즈를 나타내고, 수학식 1과 같이 정의될 수 있다.
[수학식 1]
여기서, 
는 W를 기준으로 Li 지점까지의 3D 각도를 나타내는 회전 행렬(Rotation Matrix)을 의미하고, 
는 W를 기준으로 Li 지점까지의 3D 이동 거리를 나타내고, 
는[0 0 0] 행렬을 나타내며, 깊이취득포즈 
는 이와 같은 값들을 융합하여 생성된다.
한편, 추정 깊이취득포즈 
를 추정하는 과정은 이상적인 깊이취득포즈 
과의 오차의 합인 
, 절대 오차합의 제곱인 
, 확률분포를 고려한 Nearest Estimated Error Square 등의 지표를 최소화하는 방식으로 수행된다.
다만, 수학식 1은 3D 환경에서의 깊이취득포즈를 나타낸 것으로 2D 환경에서는 차원을 한 단계 낮추어 동일하게 기술될 수 있으며, 본 발명에서의 깊이취득포즈는 3D 환경과 2D 환경에서 모두 정의될 수 있다. 한편, 수학식 1에서는 깊이취득포즈를 H 행렬을 이용하여 표시하였으나, 본 발명은 이에 한정되지 않고 위치벡터 및 각도벡터의 조합, 각도 부분에 대한 오일러(Euler), 쿼터니언(Quaternion), 이중(Dual) 쿼터니언, 로드리게스 표현법들을 이용하여 표시하는 것도 가능하다.
한편, 기준 좌표계 기준의 이미지취득포즈는 이미지가 취득된 지점인 Ci에 대하여 
로 표시되고, W를 기준으로 Ci 지점까지의 3D 각도를 나타내는 
, W를 기준으로 Ci 지점까지의 3D 이동 거리를 나타내는 
를 융합하여 구성될 수 있다. 다만, 본 발명은 이에 한정되지 않고 이미지취득포즈는 H 행렬 이외의 다양한 표현법을 이용하여 표시될 수 있다.
또한, 일반적으로 이미지 센서와 거리 센서간의 포즈 관계는 알려져 있다고 가정할 수 있으므로 둘 사이의 포즈 관계인 
는 주어진 상수 값으로 볼 수 있고, 이에 따르면 깊이취득포즈 
과 이미지취득포즈
중 어느 하나의 값을 추정하게 되면 별도의 측정 없이도 다른 하나의 값을 추정할 수 있게 된다.
도 6b에서와 같이 모든 깊이값 취득 지점 Li에 대해 추정 깊이취득포즈 
가 산출되고, 모든 이미지 취득 지점 Ci에 대해 추정 이미지취득포즈 
가 산출되면, 투영 이미지를 생성하게 되는데 전술한바와 같이 오차가 존재하는 추정 깊이취득포즈 
에서 취득된 깊이값과 오차가 존재하는 추정 이미지취득포즈 
에서 취득된 이미지를 이용하여 투영 이미지를 생성하게 되므로, 투영 이미지에 왜곡이 발생하게 된다. 이에 대해서는 도 7을 이용하여 보다 구체적으로 설명한다.
도 7은 위치 추정 오차에 따른 지형 왜곡 및 이미지 왜곡을 설명하기 위하여 도시한 도면이다.
도 7a는 오차가 없는 기준 좌표계 기준의 이상적인 m번째 데이터(이미지 또는 깊이값) 포즈 
에서 취득된 취득 이미지 Im 및 취득 깊이값 Dm이 도시되어 있고, 이상적인 n번째 데이터 포즈 
에서 취득된 취득 이미지 In 및 취득 깊이값 Dn이 도시되어 있다. 이때, O에 해당하는 부분은 기둥을 나타내고 X에 해당하는 부분은 바닥을 나타낸다.
도 7b는 오차가 존재하는 기준 좌표계 기준의 m번째 추정 데이터 포즈
과 n번째 추정 데이터 포즈 
이 도시되어 있는데, m번째 추정 데이터 포즈
은 도 7a의 이상적인 m번째 데이터 포즈 
와 거의 오차가 없으나, n번째 추정 데이터 포즈
은 도 7a의 이상적인 n번째 데이터 포즈 
으로부터 오른쪽으로 치우친 오차가 발생한 것을 알 수 있다.
하지만, 실제로는 이와 같은 오차를 탐지하는 것이 불가능하기 때문에 오차가 있는 그대로 해당하는 데이터 포즈에서 투영 이미지를 생성하게 되고, 이에 따르면 도 5 및 도 7b에서와 같이 위치 오차로 인하여 기둥의 영상이 바닥에 투영되는 이미지 왜곡이 발생하게 된다.
이와 같이, 종래의 기준 좌표계 기준의 투영 이미지 생성 방법은 위치 오차로 인한 도 5 및 도 7b와 같은 이미지 왜곡이 발생하는 문제가 있었다. 이와 같은 문제점을 해결할 수 있는 방안으로서 취득 좌표계 기준의 투영 이미지 생성 방법이 있으나, 이 경우에는 위치추정오차로 인한 이미지 왜곡이 없다는 장점이 있으나 이미지 센서의 화각과 거리 센서의 화각의 차이로 인해 이미지 센서의 화각과 거리 센서의 화각이 중첩되는 좁은 시야에 대해서만 투영 이미지를 생성할 수 있다는 문제가 있다. 예컨대, 이미지는 전방향 카메라 등 전방향에 대해 이미지를 한번에 취득할 수 있는 다양한 디바이스들이 있으나, 깊이값의 경우 전방향을 동시에 탐지할 수 있는 디바이스가 없기 때문에, 하나의 취득 좌표계에서 취득된 깊이값과 이미지를 이용하여 투영이미지를 생성하려고 할 경우, 중첩된 좁은 시야에 대해서만 투영이미지를 생성할 수 있게 되므로, 이를 감상하는 사용자의 시야가 제한되어 버릴 수 있는 것이다. 이에 대해서는 도 8 및 도 9를 참조하여 설명한다.
도 8은 이미지 센서의 화각을 설명하기 위하여 도시한 도면이다.
도 8을 참조하면, 이미지 센서를 이용하여 이미지를 촬영하는 사람이 이미지 취득 지점인 Ci 지점에서 회색으로 표시된 장애물을 바라보고 이미지를 촬영하는 경우에 발밑의 일부 영역(하얀색 부분)과 회색 장애물 때문에 촬영이 제한되는 장애물 오른쪽 영역(하얀색 부분)을 제외한 모든 영역(빗금 표시된 영역)이 이미지 센서의 화각이 된다.
반면, 도 9는 거리 센서의 화각을 설명하기 위하여 도시한 도면인데, 도 9에서 거리 센서를 이용하여 깊이값을 취득하는 사람이 깊이값 취득 지점인 Lj 지점에서 회색으로 표시된 장애물을 바라보고 깊이값을 취득하는 경우에, Lj를 중심으로 앞뒤의 방향으로 좁은 범위를 가진 빗금으로 표시된 일부 영역만이 거리 센서의 화각이 된다. 따라서, 도 8의 이미지 센서의 화각과 도 9의 거리 센서의 화각이 겹치는 영역에 대한 투영 이미지만이 제작 가능하게 되는 것이다.
이와 같은 문제를 해결하기 위해 하나의 전방향(omni-directional) 센서로 이미지를 취득하고 해당 영상의 중심점에서 좌우 각 방향으로 이동한 시점에서의 이미지를 취득하여 3D 이미지를 제작하는 방법이 있고, 전방향 이미지의 특성상 이미지 취득 지점에서 자유로운 회전이 가능하다는 장점이 있다. 그러나 취득 이미지에 연계된 깊이값의 부재로 인해 상하좌우로의 이동이 불가능하다는 한계가 있다. 이를 극복하기 위해 한 지점을 두대의 카메라를 통해 촬영하고, 이러한 카메라에서 촬영된 이미지를 조합하여 전방향으로 구현한 project beyond 혹은 jump와 같은 기술이 구현된 바 있다. 이러한 구현은 두 대의 카메라 조합을 활용하여 이미지 화각과 이에 대응되는 깊이 지도의 화각이 동일하나, 깊이값의 정확도가 현저히 낮아져서 이미지취득포즈 또는 깊이취득포즈의 기준좌표계를 기준으로 하는 포즈 추정에 큰 오차가 발생하게 된다. 이 경우 도 4 또는 도 7과 같은 왜곡이 발생할 뿐 아니라, 도 21과 같이 사용자가 A, B, C, D, ..., X, Y, Z 순서로 촬영된 공간에서, 촬영 시간의 도약이 일어나는 C에서 X로의 이동이 발생하게 되면 C 지점에서의 포즈 추정 오차와 X 지점에서의 포즈 추정 오차로 인해 두 지점간의 전환 순간에 급격한 부자연스러움이 발생한다. 또한, 이미지가 촬영된 순서대로 사용자가 감상을 하는 경우에도 부정확한 깊이값으로 인해 3D 영상의 일부분들이 순간적으로 돌출되거나 함몰되는 등의 부자연스러움을 겪게 되며, 상기 기술된 모든 현상들은 이미지 정보가 불충분한 곳에서 증폭된다는 문제들을 내포하고 있다.
본 발명은 이미지 센서의 화각보다 거리 센서의 화각이 좁은 경우에 하나의 이미지취득포즈와 복수의 깊이취득포즈를 이용하여 투영 이미지를 생성함으로써, 사용자가 이미지 취득 경로를 벗어나 이동하더라도 그에 대응되는 투영 이미지를 제공할 수 있게 되는데, 이에 대해서는 도 10을 참조하여 설명한다.
도 10은 하나의 이미지취득포즈와 복수의 깊이취득포즈를 이용하여 투영 이미지를 생성하는 방법을 설명하기 위하여 도시한 도면이다.
도 10을 참조하면, 상단에는 특정한 이미지취득포즈에서의 광각 이미지 센서의 화각이 도시되어 있고, 하단에는 서로 다른 깊이취득포즈에서의 거리 센서의 화각이 도시되어 있다. 도 10에서 좌측 하단은 깊이값 취득 지점 Lj-1에서의 거리 센서의 화각을 나타내고, 가운데 하단은 깊이값 취득 지점 Lj에서의 거리 센서의 화각을 나타내고, 우측 하단은 깊이값 취득 지점 Lj+1에서의 거리 센서의 화각을 나타내는데, 거리 센서의 화각은 그 거리 센서를 통해 취득되는 깊이값으로 구성되는 깊이 지도의 화각과 동일하다.
본 발명의 일 실시예에 따른 투영 이미지 생성 장치는 사용자포즈가 대응이미지취득포즈와 동일하고, 대응이미지취득포즈에서 취득된 취득 이미지의 화각이 대응깊이취득포즈에서 취득된 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각보다 큰 경우(포즈 동일- 화각 상이)에는 대표 이미지가 취득된 대응이미지취득포즈로부터 소정 거리 이내에 속하는 복수의 대응깊이취득포즈로부터 취득된 복수의 깊이 지도와 하나의 대표 이미지를 이용하여 투영 이미지를 생성하게 된다.
기존 기법과 같이 이미지 센서의 화각보다 좁은 화각을 가지는 거리 센서를 이용하여 투영 이미지를 생성하게 되면, 거리 센서의 좁은 화각에 대응되는 좁은 화각을 가진 투영 이미지만을 생성할 수 있었던 반면, 본 발명은 도 10에서와 같이 취득 이미지의 모든 화각에 대응되는 복수의 깊이 지도를 이용할 수 있게 되므로, 이미지 센서의 화각보다 좁은 화각을 가지는 거리 센서를 통해서도 이미지 센서의 넓은 화각에 대응되는 넓은 화각을 가진 투영 이미지를 생성할 수 있게 된다.
이는, 본 발명에서 이미지 취득 포즈가 기준 좌표계를 기준으로 표현되고, 깊이취득포즈에서 취득된 깊이값들도 동일하게 기준 좌표계를 기준으로 표현되기 때문에, 특정 이미지 취득 포즈에서 취득된 이미지 픽셀이 어떤 깊이값을 가지는 지를 기준 좌표계를 활용하여 판별할 수 있기 때문이다. 이에 대한 보다 구체적인 설명은 도 15b를 참조하여 후술한다.
또한, 다른 실시예에서는 깊이값을 이미지 취득 포즈를 원점으로 하는 취득 좌표계를 기준으로 표현하여 동일한 효과를 얻을 수 있으며, 이에 대해서는 도 15c를 참조하여 후술한다.
한편, 이미지 센서의 해상도와 거리 센서의 해상도가 상이한 경우에는 모든 이미지 픽셀에 대응되는 깊이 값을 찾을 수 있는 것이 아니기 때문에, 이 경우에는 깊이값에 매핑된 이미지 픽셀을 활용하여 깊이값이 매핑되지 않은 이미지 픽셀들의 깊이값을 내삽법 등을 통하여 용이하게 추정할 수 있으므로 본 발명을 실시하는데 문제가 발생하지는 않는다.
한편, 본 발명에서는 사용자가 이미지 취득 경로를 벗어난 경우여서 현재 사용자 포즈에 대응되는 취득 이미지가 없더라도 현재 사용자의 포즈에 대응되는 대응이미지취득포즈에 설정된 대표 이미지를 사용할 수 있고, 현재 사용자 포즈에 대응되는 하나의 대응깊이취득포즈에서 취득한 깊이 지도의 화각이 대표 이미지의 화각보다 좁은 경우라도 복수의 다른 깊이취득포즈에서 취득된 깊이 지도를 이용하여 대표 이미지와 동일한 화각을 가지는 깊이 지도를 제공할 수 있으므로, 사용자가 이미지 취득 경로를 벗어난 경우라도 자연스럽게 실감나는 투영 이미지를 제작할 수 있게 된다.
또한, 하나의 이미지취득포즈와 복수의 깊이취득포즈를 이용하여 투영 이미지를 생성하기 위해서는 특정한 이미지취득포즈에 대응되는 대표 이미지의 화각에 포함되는 모든 깊이 지도를 찾아야 하는데, 이때 깊이-이미지연계정보가 이용될 수 있다. 즉, 현재 사용자 포즈에 대응되는 대응이미지취득포즈가 결정되면, 깊이-이미지연계정보를 이용하여 그 대응이미지취득포즈에서 취득된 대표 이미지의 화각에 포함되는 복수의 깊이 지도를 검출하고, 그 검출된 복수의 깊이 지도와 하나의 대표 이미지를 이용하여 투영 이미지를 생성할 수 있다.
다만, 다른 실시예에서는 대응이미지취득포즈가 결정될 때마다 매번 대응이미지취득포즈에 대응되는 깊이 지도를 검출하는 대신, 그 대응이미지취득포즈에 대응되는 깊이값을 미리 한번만 그룹화해두고 차후에는 그 그룹화된 깊이값을 이용하여 투영 이미지를 생성할 수도 있다. 이에 대해서는 도 11을 참조하여 후술한다.
도 11은 깊이값이 그룹화된 예시를 설명하기 위하여 도시한 도면이다.
도 11을 참조하면, 기준 좌표계의 원점 W를 기준으로 하는 이미지 취득 지점 Ci에 대한 이미지취득포즈
가 도시되어 있고, 그 이미지 취득 지점을 중심으로 매칭된 그룹화된 깊이값이 도시되어 있다. 이와 같이, 이미지취득포즈에 대응하여 그룹화된 깊이값을 매핑해두게 되면 매번 새롭게 대응되는 깊이값을 산출할 필요가 없어져 연산 효율성이 높아진다.
다만, 이와 같은 그룹화된 깊이값을 이용하는 과정에서 고리 닫힘 상황과 같은 심각한 위치 오차가 발생하게 되면 이미지 왜곡이 보다 크게 발생할 수 있는데, 이에 대해서는 도 12 및 도 13을 참조하여 설명한다.
도 12는 고리 닫힘 상황을 설명하기 위하여 도시한 도면이다.
도 12는 고림 닫힘 상황을 도시하고 있는데, 사용자가 장시간의 시간 간격을 두고 두 번(t1과 t100)에 걸쳐 상호간에 거의 근접한 사용자 포즈를 방문할 경우, 장시간의 시간 간격으로 인해 서로 다른 촬영 조건(조명, 노출시간, 렌즈초점거리등)과 두번째 방문시 누적된 포즈 추정 오차에도 불구하고 거리의 근접성으로 인해 취득 이미지 및 취득 깊이값을 함께 사용하게 되는 경우를 말한다.
도 13은 고리 닫힘 상황에서의 깊이값 그룹화의 왜곡을 설명하기 위하여 도시한 도면이다.
도 13을 참조하면, j+100번째 깊이 취득 지점인 Lj+100에 대한 그룹화된 깊이값이 고리 닫힘 상황에 따른 위치 오차로 인해 소정 각도만큼 기울어져서 표시되어 있는데, 이를 Ci에서 취득된 취득 이미지에 투영하게 될 경우 심각한 이미지 왜곡이 발생하게 된다
도 14는 본 발명의 일 실시예에 따른 깊이-이미지연계정보 생성 방법을 설명하기 위하여 도시한 흐름도이다.
단계 1410에서는, 투영 이미지 생성 장치가 실제 3차원 공간에 대하여 취득된 취득 이미지 및 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 이미지취득포즈 및 깊이취득포즈를 기준 좌표계를 기준으로 추정한다.
단계 1420에서는, 투영 이미지 생성 장치가 깊이취득포즈에서 취득된 복수의 취득 깊이값으로부터 깊이취득포즈까지의 거리인 복수의 제1깊이값거리를 산출한다.
예컨대, 투영 이미지 생성 장치는 j번째 깊이취득포즈 
에서 취득된 k번째 깊이값에 대하여 그 k번째 깊이값으로부터 j번째 깊이취득포즈 
까지의 거리인 제1깊이값거리 
를 산출할 수 있다.
단계 1430에서는, 투영 이미지 생성 장치가 이미지취득포즈 및 깊이취득포즈를 이용하여, 복수의 제1깊이값거리를 깊이취득포즈에서 취득된 각각의 복수의 취득 깊이값으로부터 이미지취득포즈까지의 거리인 복수의 제2깊이값거리로 변환한다.
보다 구체적으로, 투영 이미지 생성 장치는 수학식 2에 의해 제2깊이값거리를 산출할 수 있다.
[수학식 2]
수학식 2를 참조하면, 제2깊이값거리 
는 i번째 이미지취득포즈를 나타내는 행렬 
의 역행렬 
, j번째 깊이취득포즈를 나타내는 행렬 
및 제1깊이값거리 
각각을 상호간에 곱셈 연산함으로써 산출될 수 있다.
단계 1440에서는, 투영 이미지 생성 장치가 취득 이미지 취득에 이용된 이미지 센서에 대응되는 카메라 행렬 및 복수의 제2깊이값거리를 이용하여, 취득 이미지에 포함된 복수의 픽셀에 복수의 취득 깊이값을 매핑한다.
보다 구체적으로, 투영 이미지 생성 장치는 수학식 3에 의해 취득 이미지에 포함된 복수의 이미지 픽셀에 복수의 취득 깊이값을 매핑할 수 있다.
[수학식 3]
여기서, p는 특정한 이미지 픽셀의 위치를 나타내고, K는 카메라 행렬을 나타내고, I3는 1과 0으로 구성된 3x3 행렬을 나타내고, 
는 3x1의 0 행렬을 나타내는데, 수학식 3을 통해 특정한 이미지 픽셀 위치 p에게 대응되는 깊이값이 매핑된다. 한편, I3는 수학식 4와 같이 표시되고, 카메라 행렬은 실제 3차원 공간상에 배치된 이미지에 포함된 픽셀을 이미지 센서의 위치를 기준으로 표시하기 위하여 회전하고 이동하기 위한 행렬로서, 카메라 행렬은 당업자에게 자명한 개념이므로 자세한 설명은 생략한다.
[수학식 4]
이와 같이, 이미지 픽셀과 깊이값간의 매핑을 모든 이미지취득포즈에 대해 반복하게 되면 특정 깊이 값이 어떤 이미지 취득 포즈의 이미지 화각에 대응되는지를 알 수 있게 된다.
한편, 이미지 센서의 해상도가 거리 센서의 해상도보다 높은 경우에는 이미지 픽셀 중에서 대응되는 깊이값이 존재하지 않는 미매핑픽셀이 발생할 수 있는데, 투영 이미지 생성 장치는 미매핑픽셀에 대해서는 내삽법을 이용하여 추정된 깊이값을 매핑할 수 있다.
보다 구체적으로, 이미지 센서의 해상도가 거리 센서의 해상도보다 높을때, 투영 이미지 생성 장치는 이미지 픽셀과 매핑된 복수의 취득 깊이값인 초기연계깊이값 중에서 3개 이상의 초기연계깊이값을 선별하여 다각형 메쉬(삼각형 메쉬 포함)를 구성하고, 이미지 센서의 해상도에 기초하여 대응되는 취득 깊이값이 존재하지 않는 이미지 픽셀인 복수의 미매핑 픽셀 중에서 그 다각형 메쉬 내부에 포함될 복수의 미매핑픽셀의 개수 및 위치를 산출하고, 그 산출된 복수의 미매핑픽셀의 개수 및 위치에 기초하여 복수의 미매핑픽셀에 대응되는 복수의 깊이값을 추정한 후, 그 추정된 복수의 깊이값을 복수의 미매핑픽셀에 매핑하는 단계를 더 수행할 수 있다.
예컨대, 도 25는 본 발명의 일 실시예에 따른 깊이값의 다각형 메쉬 구조를 설명하기 위하여 도시한 도면으로, 도 25를 참조하면 취득 이미지 위에 수많은 삼각형 메쉬가 표시되어 있는데, 삼각형 메쉬를 구성하는 3개 꼭지점은 취득 깊이값으로서 빨간색으로 표시되어 있으며, 삼각형 메쉬 내부에 포함되는 이미지 픽셀들에는 매핑되는 깊이값이 없는 상태이다. 이와 같은 경우에, 투영 이미지 생성 장치는 삼각형 메쉬 내부에 포함되는 이미지 픽셀 개수 및 위치를 산출하여 내삽법 등을 이용하여 각각의 이미지 픽셀에 대응되는 깊이값을 추정하여 매핑할 수 있다. 한편, 복수의 미매핑픽셀에 매핑되는 깊이값은 추가연계깊이값이라고 명명할 수 있다.
이와 같은 과정을 통해, 취득 이미지의 모든 픽셀에 대해 깊이값이 매핑되면, 최종적으로 투영 이미지 생성 장치는 깊이-이미지연계정보를 생성하게 된다.
또한, 이와 같이 생성된 깊이-이미지연계정보는 취득 이미지에 포함되는 깊이값을 추정하는데 이용될 수 있다. 예컨대, 단계 1410에서는, 투영 이미지 생성 장치는가 복수의 이미지취득포즈 각각을 중심으로 레이캐스팅을 수행하여 복수의 이미지취득포즈 각각에서 취득된 취득 이미지에 포함되는 취득 깊이값인 복수의 연계깊이값(초기연계깊이값 및 추가연계깊이값)을 기준좌표계 기준으로 검출할 수 있다. 한다.
이때, 투영 이미지 생성 장치는 복수의 이미지취득포즈 각각을 중심으로 레이캐스팅을 수행하여 복수의 연계깊이값을 검출할 수도 있다.
보다 구체적으로는, 본 발명에서 i번째 이미지 취득 지점 Ci와 j번째 깊이값 취득 지점 Lj 각각에서의 이미지취득포즈 
와 깊이취득포즈 
가 모두 기준 좌표계를 기준으로하여 표시되기 때문에, 투영 이미지 생성 장치는 이미지취득포즈 
에서 깊이-이미지연계정보에 기초하여 깊이취득포즈 
를 향하여 레이캐스팅을 수행함으로써 깊이취득포즈 
에서의 k번째 깊이값 
가 이미지취득포즈 
에서 취득된 취득 이미지의 화각에 포함되는 것을 확인할 수 있게 된다. 이때, 이미지취득포즈 
에서 취득된 취득 이미지의 화각에 포함되는 깊이취득포즈 
에서의 k번째 깊이값 
가 연계깊이값으로서 검출될 수 있다.
다른 실시예에서는, 복수의 연계깊이값을 검출할 때, 복수의 취득 깊이값 각각의 취득 시간이 소정 시간 간격 이내인 복수의 취득 깊이값만을 대상으로 연계깊이값을 검출할 수도 있다.
예컨대, 도 12에서와 같은 고리 닫힘 상황에서 시간 t1에서 취득된 취득 깊이값과 t100에서 취득된 취득 깊이값을 모두 이용하여 취득 이미지에 포함되는 취득 깊이값인 연계깊이값을 검출하게 되면, 도 13에서와 같은 이미지 왜곡이 발생할 수 있으므로, 투영 이미지 생성 장치는 시간 t1~t10까지의 취득 깊이값만을 이용하여 연계 깊이값을 검출할 수 있다.
종래에는 취득 깊이값을 취득하여 저장할때 취득 시간 정보를 별도로 저장하지 않고, 복수의 취득 깊이값 각각의 선후 관계만을 표시하였기 때문에 취득 깊이값 상호간에 얼마나 시간 간격이 존재하는지 알수 없었지만, 본 발명에서는 복수의 취득 깊이값 각각이 취득될때 취득 시간도 함께 저장하여 취득 깊이값 선별에 활용함으로써, 고리 닫힘 상황 등으로 인한 이미지 왜곡을 최소화할 수 있게 되는 장점이 있다.
이와 같이, 취득 좌표계를 기준으로 하는 복수의 연계깊이값을 취득 이미지에 포함된 복수의 픽셀과 매칭한 정보가 깊이-이미지연계정보이고, 깊이-이미지연계정보는 복수의 이미지취득포즈 각각에서 생성될 수 있다.
다른 실시예에서는 깊이-이미지연계정보가 기준 좌표계를 기준으로 하는 복수의 연계깊이값을 취득 이미지에 포함된 복수의 픽셀과 매칭한 정보일 수 있다.
한편, 도 14의 실시예는 투영 이미지 생성 장치가 기준좌표계를 기준으로 동작을 수행하였지만, 이미지 취득 포즈의 원점을 기준으로 하는 취득 좌표계를 기준으로 동작을 수행할 수도 있다.
도 15a는 본 발명의 일 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 15a를 참조하면, 추정된 i번째 이미지 취득 지점 
와 추정된 j번째 깊이값 취득 지점 
가 W로 표시된 좌표축과 화살표로 연결되어 있는데, 이는 이미지 취득 지점 
에서의 이미지취득포즈 
와 깊이값 취득 지점 
에서의 깊이취득포즈 
은 기준 좌표계를 기준으로 추정된다는 것을 의미한다.
또한, 
로 표시된 좌표축이 깊이값을 나타내는 점과 화살표로 연결되어 있고, 
로 표시되어 있는데 이는 j번째 깊이취득포즈 
에서 취득된 k번째 깊이값에 대하여 그 k번째 깊이값으로부터 j번째 깊이취득포즈 
까지의 거리인 제1깊이값거리 
를 나타낸 것이다.
또한, 도 15a 상단에는 이미지 취득 지점 
에 이미지 평면이 매핑되어 있는데, 
로 표시된 좌표축의 원점은 이미지 센서(카메라)의 중심점을 나타내고 이미지 평면은 이미지 센서에 탑재된 CMOS 센서에서 3차원 공간을 바라보았을때 형성되는 2차원 이미지 평면을 나타낸다.
이때, 이미지 취득 지점 
로부터 깊이값까지의 거리는 제2깊이값거리 
이고, 이미지 취득 지점 
로부터 깊이값까지 일직선으로 연결한 선과 이미지 평면이 교차되는 지점에 이미지 픽셀 p가 표시되어 있는데, 그 픽셀 p와 제2깊이값거리 
가 서로 매핑이 된다는 것을 의미한다.
다만, 어떤 깊이값의 경우에는 이미지 취득 지점 
로부터 깊이값까지 일직선으로 연결한 선이 이미지 평면을 벗어나 교차 지점이 존재하지 않을 수 있는데, 이 경우에는 대응되는 깊이값이 존재하지 않는 이미지 픽셀인 미매핑 픽셀이 발생하게 된다.
도 15b는 본 발명의 다른 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 15b에서, 추정된 i번째 이미지 취득 지점 
와 추정된 j-1, j, j+1번째 깊이값 취득 지점 
, 
, 
가 W로 표시된 좌표축과 화살표로 연결되어 있는데, 이는 이미지 취득 지점 
에서의 이미지취득포즈와 깊이값 취득 지점 
, 
, 
에서의 깊이취득포즈들은 기준 좌표계를 기준으로 추정된다는 것을 의미한다.
또한, 도 15b 하단에 산재되어 분포되어 있는 점들은 깊이취득포즈들 각각에서 취득된 취득 깊이값들을 나타내는데, W로 표시된 좌표축이 점과 화살표로 연결되어 있는 것은 깊이값이 기준 좌표계 기준으로 표시된다는 것을 의미한다. 다만, 다른 실시예에서는 취득 깊이값이 이미지 취득 지점 
를 원점으로 하는 취득 좌표계를 기준으로 표시될 수도 있다.
또한, 도 15b 상단에는 이미지 취득 지점 
에 대표 이미지가 매핑되어 있는데, 이는 대표 이미지가 이미지 취득 지점 
를 원점으로 하는 취득좌표계를 대표하는 이미지로 설정되어 있음을 나타낸다.
즉, 도 15b의 깊이-이미지 연계에 따르면, 이미지취득포즈와 깊이취득포즈는 기준 좌표계를 기준으로 추정되고, 이미지취득포즈에는 그 이미지취득포즈에서 취득된 복수의 취득 이미지 중에서 한개의 대표 이미지가 그 이미지취득포즈를 원점으로 취득좌표계를 대표하는 이미지로서 선정되어 연동되고, 취득 깊이값은 기준 좌표계를 기준으로 추정된다.
한편, 도 15b의 실시예에서의 이미지 센서의 화각이 거리 센서의 화각보다 크고, 깊이값 취득 지점 
, 
, 
에서의 깊이취득포즈들에서 취득된 깊이지도가 모두 이미지 취득 지점 
의 취득 좌표계에 연동된 대표 이미지의 화각 내에 포함된다면, 투영 이미지 생성 장치는 이미지 취득 지점 
의 취득 좌표계에 연동된 하나의 대표 이미지와 깊이값 취득 지점 
, 
, 
에서의 깊이취득포즈들에서 취득된 복수의 깊이지도를 이용하여 투영 이미지를 생성할 수 있다.
도 15c는 본 발명의 또 다른 실시예에 따른 깊이-이미지 연계를 설명하기 위하여 도시한 도면이다.
도 15c에서, 추정된 i번째 이미지 취득 지점 
가 W로 표시된 좌표축과 화살표로 연결되어 있는데, 이는 이미지 취득 지점 
에서의 이미지취득포즈가 기준 좌표계를 기준으로 추정된다는 것을 의미한다.
또한, 추정된 j-1, j, j+1번째 깊이값 취득 지점 
, 
, 
가 이미지 취득 지점 
로 표시된 좌표축과 화살표로 연결되어 있는데, 이는 추정된 j-1, j, j+1번째 깊이값 취득 지점 
, 
, 
의 깊이취득포즈가 이미지 취득 지점 
를 원점으로 하는 취득 좌표계 기준으로 추정된다는 것을 의미한다.
또한, 도 15c에서 이미지 취득 지점 
로 표시된 좌표축이 하단의 깊이값을 나타내는 복수의 점들 중 하나와 화살표로 연결되어 있는 것은 취득 깊이값이 이미지 취득 지점 
를 원점으로 하는 취득 좌표계를 기준으로 표시된다는 것을 나타낸다. 다만, 다른 실시예에서는 취득 깊이값이 기준 좌표계를 기준으로 표시될 수도 있다.
또한, 도 15c 상단에는 이미지 취득 지점 
에 대표 이미지가 매핑되어 있는데, 이는 대표 이미지가 이미지 취득 지점 
를 원점으로 하는 취득좌표계를 대표하는 이미지로 설정되어 있음을 나타낸다.
즉, 도 15c의 깊이-이미지 연계에 따르면, 이미지취득포즈는 기준 좌표계를 기준으로 추정되고, 깊이취득포즈는 이미지취득포즈를 원점으로 하는 취득좌표계를기준으로 추정되고, 이미지취득포즈에는 그 이미지취득포즈에서 취득된 복수의 취득 이미지 중에서 한개의 대표 이미지가 그 이미지취득포즈를 원점으로 하는 취득좌표계를 대표하는 이미지로서 선정되어 연동되고, 취득 깊이값은 이미지취득포즈를 원점으로 하는 취득좌표계를 기준으로 추정된다.
도 15c에 따른 투영 이미지 생성 방법은 도 16을 참조하여 설명한다.
도 16은 본 발명의 다른 실시예에 따른 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이다.
단계 1610에서는, 투영 이미지 생성 장치가 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지에 대응되는 복수의 이미지취득포즈를 기준 좌표계를 기준으로 추정하고, 복수의 취득 깊이값에 대응되는 복수의 깊이취득포즈를 복수의 이미지취득포즈 각각을 원점으로 하는 취득 좌표계 기준으로 추정한다.
단계 1620에서는, 투영 이미지 생성 장치가 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득한다.
단계 1630에서는, 투영 이미지 생성 장치가 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 복수의 취득 깊이값을 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성한다.
이때, 투영 이미지 생성 장치는 복수의 취득 깊이값 중에서 투영 이미지 생성에 이용될 복수의 취득 이미지 각각이 취득된 시점으로부터 소정 시간 이내에 취득된 취득 깊이값만을 이용하여 대표 이미지에 투영함으로써 투영 이미지를 생성할 수도 있다. 이는, 고리 닫힘 상황 등의 발생으로 인한 투영 이미지의 왜곡을 최소화하기 위한 것이다.
또한, 투영 이미지 생성 장치는 대응깊이취득포즈에 연동된 대표 이미지를 이용하여 투영 이미지를 생성하게 되는데, 대응깊이취득포즈에 연동할 대표 이미지를 선정할때 깊이-이미지연계정보를 이용할 수도 있다.
예컨대, 투영 이미지 생성 장치는 깊이-이미지연계정보를 통해 취득 이미지와 사용자 시야와의 중첩 영역을 검출한 후, 그 중첩 영역이 가장 넓은 취득 이미지를 대표 이미지로 설정할 수 있다. 이와 같은 실시예는, 사용자포즈와 가장 가까운 이미지취득포즈에 연계된 이미지를 대표이미지로 선정하는 방법 등으로도 용이하게 구현될 수 있다.
도 17은 본 발명의 일 실시예에 따라 유실시야영역이 존재하는 경우의 투영 이미지 생성 방법을 설명하기 위하여 도시한 흐름도이고, 도 18은 이미지 센서의 화각이 사용자 시야를 포함하는 환경을 설명하기 위하여 도시한 도면이고, 도 19는 이미지 센서의 화각이 사용자 시야를 포함하지 못하는 환경을 설명하기 위하여 도시한 도면이다.
도 17의 실시예는 도 1의 단계 130 또는 도 16의 단계 1630을 한정하는 실시예로서, 도 1의 실시예의 단계 110 및 단계 120 이후에 수행되고, 도 16의 단계 1610 및 단계 1620 이후에 수행되는 단계이다.
단계 1710에서는, 투영 이미지 생성 장치가 사용자의 시야각에 대응되는 가상의 3차원 공간상의 영역 중에서 대표 이미지에 포함되지 않은 유실시야영역이 존재하는지 여부를 판단한다.
도 18을 참조하면, i번째 이미지 취득 지점 Ci에서의 이미지 센서의 화각이 사용자의 위치 지점 u에서의 사용자의 시야를 모두 포함하므로, 유실 시야 영역은 존재하지 않는다.
하지만, 도 19를 참조하면, i번째 이미지 취득 지점 Ci와 사용자의 위치 지점 u의 하단에 회색 정사각형 형태의 장애물이 존재하여, i번째 이미지 취득 지점 Ci에 위치한 이미지 센서의 화각을 제한시킴으로써, 이미지 센서의 시야 한계가 사용자의 시야한계보다 좁아지면서 x표로 표시된 유실 시야 영역이 발생하게 된다. 가상의 3차원 공간상에서 사용자가 유실 시야 영역을 바라보게 되면, 대표 이미지에는 그 유실 시야 영역에 해당하는 픽셀이 존재하지 않으므로 까만색 또는 흰색으로 표시될 수 있다.
한편, 종래의 취득 좌표계 기준 투영 이미지 생성 방법에 따르면 어느 취득 이미지가 사용자 시야에 포함되는지 알 수 없어, 유실 시야 영역에 대응되는 픽셀이 까만색 또는 흰색을 가지도록 표시된 투영 이미지를 생성하였다.
하지만, 본 발명의 일 실시예에 따르면 깊이-이미지 연계 정보를 통해 깊이값을 매개로 취득 이미지의 어떤 픽셀이 사용자 시야안에 포함되는지 확인할 수 있고, 이를 통해 어떤 취득 이미지가 사용자 시야 안에 들어와야 하는지 확인할 수 있게 되어, 유실 시야 영역에 대응되는 픽셀이 실제 3차원 공간에서와 동일한 색깔을 가지도록 표시된 투영 이미지를 생성할 수 있게 된다. 즉, 본 발명의 일 실시예에 따르면, 도 19와 같이 장애물이 존재하거나, 이미지취득포즈와 사용자 포즈가 상이한 경우에도 해당 위치에서의 사용자의 임의의 시야에 대응되는 자연스러운 투영 이미지를 생성할 수 있게 되는 효과가 있다.
단계 1720에서는, 유실시야영역이 존재한다고 판단되면, 투영 이미지 생성 장치가 복수의 취득 이미지에 포함된 복수의 픽셀들에 대응되는 복수의 취득 깊이값이 매칭된 정보인 깊이-이미지연계정보에 기초하여 복수의 취득 이미지 중에서 보강 이미지를 선정한다.
이때, 보강 이미지를 선정하는 동작에 대한 구체적인 설명은 도 20을 참조하여 후술한다.
단계 1730에서는, 투영 이미지 생성 장치가 보강 이미지와 대표 이미지를 상호 조합함으로써 조합 이미지를 생성한다.
이때, 투영 이미지 생성 장치는 보강 이미지를 대표 이미지와 동일한 가중치로 상호 조합하거나, 보강 이미지를 대표이미지보다 낮은 가중치로 상호 조합하여 조합 이미지를 생성할 수 있다.
단계 1742에서는, 투영 이미지 생성 장치가 복수의 취득 깊이값을 조합 이미지에 투영한 투영 이미지를 생성한다.
단계 1744에서는, 1742 단계에서 유실시야영역이 존재하지 않는다고 판단되면, 투영 이미지 생성 장치가 복수의 취득 깊이값을 대표 이미지에 투영한 투영 이미지를 생성한다.
도 20은 본 발명의 일 실시예에 따른 보강 이미지 선정 방법을 설명하기 위하여 도시한 흐름도이다.
단계 2010에서는, 투영 이미지 생성 장치가 사용자포즈를 중심으로 사용자의 시야각 내에 포함되는 깊이값인 복수의 사용자시야깊이값을 검출한다.
전술한 바와 같이, 투영 이미지 생성 장치는 사용자포즈를 중심으로 레이캐스팅 등을 수행하여 복수의 사용자시야깊이값을 검출할 수도 있다.
단계 2020에서는, 투영 이미지 생성 장치가 복수의 사용자시야깊이값 중에서 유실 시야 영역에 해당하는 깊이값인 복수의 유실시야깊이값을 검출한다.
예컨대, 사용자가 특정한 사용자 포즈에서 한바퀴 돌면서 3차원 공간을 바라보는 경우 360도에 해당하는 복수의 사용자시야깊이값이 존재하지만, 그 중에서도 특정한 각도에 유실 시야 영역이 존재하게 되고, 투영 이미지 생성 장치는 그 유실 시야 영역에 해당하는 깊이값을 유실시야깊이값으로서 검출하게 된다.
단계 2030에서는, 투영 이미지 생성 장치가 깊이-이미지연계정보에 기초하여, 복수의 유실시야깊이값에 대응되는 복수의 유실픽셀을 검출한다.
예컨대, 투영 이미지 생성 장치는 깊이-이미지연계정보를 이용하면 복수의 유실시야깊이값 각각에 대응되는 픽셀이 무엇인지를 알 수 있고, 그와 같이 복수의 유실시야깊이값 각각에 대응되는 픽셀을 유실픽셀로서 검출하게 된다.
단계 2040에서는, 투영 이미지 생성 장치가 그 검출된 복수의 유실픽셀에 기초하여, 복수의 취득 이미지 중에서 복수의 유실픽셀을 포함하는 취득 이미지인 보강 이미지를 선정한다.
도 21은 사용자 이동에 따른 본 발명과 종래 기술의 차이점을 설명하기 위하여 도시한 도면이다.
도 21에는 이미지 취득 경로가 A-B-C-D...-X-Y-Z와 같이 도시되어 있는데, W전술한 바와 같이 종래에는 사용자가 이와 같은 이미지가 취득된 경로를 그대로 따라 가는 경우에 한해서만 투영 이미지를 제공해줄 수 있었으나, 본 발명에서는 사용자가 이미지 취득 경로를 벗어나 C에서 X로 이동하는 경우에도 자연스러운 투영 이미지를 제공해줄 수 있는 장점이 있다.
도 22는 본 발명의 일 실시예에 따른 파라미터 기반의 깊이값 메쉬 구조를 설명하기 위하여 도시한 도면이다.
도 22는 깊이 지도가 미리 설정된 파라미터를 기반으로 하는 메쉬 구조의 취득 깊이값으로 구성되는 경우를 도시한 것으로, 좌측의 메쉬는 천정이 기울어진 박스로 정의된 파라미터화된 패턴으로 근사화된 메쉬 구조이고, 가운데는 모든 깊이값을 내포하는 바운딩박스로 근사화된 메쉬 구조이고, 우측은 메쉬수를 줄이면서도 많은 수의 깊이값을 포함하도록 근사화된 기하형태의 메쉬 구조를 나타낸다. 이와 같은 형태의 메쉬 구조의 깊이값을 이용하게 되면 모든 이미지 픽셀에 대해 깊이-이미지 연계가 수행되지 않은 경우에도 메쉬 단위로 투영 이미지를 생성할 수 있게되는 장점이 있다.
도 23은 본 발명의 일 실시예에 따른 투영 이미지 생성 장치를 설명하기 위하여 도시한 도면이다.
도 23을 참조하면, 본 발명의 일 실시예에 따른 투영 이미지 생성 장치는 데이터 포즈추정부(2310), 사용자 포즈 취득부(2320) 및 이미지 생성부(2330)를 포함한다.
데이터 포즈 추정부(2310)는 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지 및 복수의 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정한다.
다른 실시예에서, 데이터 포즈 추정부(2310)는 이미지취득포즈는 기준 좌표계를 기준으로 추정하고, 깊이취득포즈는 이미지취득포즈 각각을 원점으로 하는 취득 좌표계 기준으로 추정할 수도 있다.
바람직하게는, 본 발명의 일 실시예에 따른 투영 이미지 생성 장치는 복수의 취득 이미지, 복수의 취득 이미지가 취득된 취득 시간 정보, 복수의 취득 깊이값, 복수의 취득 깊이값이 취득된 취득 시간 정보, 복수의 취득 이미지에 대응되는 복수의 이미지 취득 포즈, 상기 복수의 취득 깊이값에 대응되는 깊이취득 포즈, 관성 변화 정보, 표식관측 정보, 광파계 정보 등의 환경 센싱 정보를 복수의 센서들로부터 수신하여 저장하는 저장부(미도시)를 더 포함할 수 있다.
이때, 환경 센싱 정보를 센싱하는 센서는 도 3에서와 같이 이미지 센서와 거리 센서가 통합된 통합 센서일 수도 있고, 그 밖에 다른 센서까지 모두 통합된 형태의 통합 센서일 수도 있다. 도 3의 통합 센서에서는 이미지 센서와 거리 센서가 강성체결되어 있는데, 이와 같은 경우에는 두 센서간의 상대적 포즈는 상수값으로 사전에 주어질 수 있다. 또한, 환경 센싱 정보는 로봇에 탑재된 통합 센서 또는 사람의 어깨 등에 착용된 통합 센서가 실내 혹은 실외 환경을 이동하면서 정지된 상태 또는 이동하는 상태에서 취득한 정보일 수 있다.
데이터 포즈 추정부(2310)는 저장부에 저장된 환경 센싱 정보를 읽어와 기준 좌표계를 기준으로 모든 이미지취득포즈 및 깊이취득포즈를 추정하게 된다. 다만, 다른 실시예에서는 데이터 포즈 추정부(2310)가 깊이취득포즈를 취득 좌표계를 기준으로 추정한 후, 깊이취득포즈와 이미지취득포즈간의 상대 포즈를 이용하여 기준 좌표계 기준으로 깊이취득포즈를 추정할 수도 있다.
또한, 데이터 포즈 추정부(2310)는 이미지취득포즈에서 취득된 복수의 취득 이미지 중에서 그 이미지취득포즈를 원점으로 하는 취득 좌표계를 대표하는 대표 이미지를 설정하여 그 취득 좌표계에 연동시킨 후 저장부에 저장할 수도 있다. 이에 따라, 사용자가 가상의 3차원 공간에서 특정한 이미지취득포즈의 취득 좌표계 내에 진입하게 되면, 해당 취득 좌표계에서 소정 임계치 이내의 거리 내에서는 사용자가 이동하더라도 사용자에게는 그 취득 좌표계를 대표하는 대표 이미지만이 표시되게 된다.
사용자 포즈 취득부(2320)는 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득한다.
바람직하게는, 본 발명의 일 실시예에 따른 투영 이미지 생성 장치는 가상의 3차원 공간에서 사용자를 이동시키고, 사용자의 시야각 등을 설정할 수 있는 사용자 입력부(미도시)를 더 포함할 수 있다.
사용자 입력부는 키보드, 조이스틱 형태일 수도 있고, HMD(Head Mount Display)에 구비된 각속도 센서, 가속도 센서, 지자기 센서 등에 기초한 입력 수단일 수 있고, 카메라 영상의 옵티컬플로우(optical flow)를 통한 입력 수단일 수도 있다.
이미지 생성부(2330)는 사용자 포즈에 대응되는 대응이미지취득포즈 및 적어도 하나의 대응깊이취득포즈에 기초하여, 복수의 취득 깊이값을 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성한다.
보다 구체적으로는, 이미지 생성부(2330)는 하나의 대표 이미지(또는 조합 이미지)에 복수의 대응깊이취득포즈에서 취득된 복수의 깊이값을 투영함으로써 투영 이미지를 생성하게 된다.
이미지 생성부(2330)의 구체적인 구성에 대해서는 도 24를 참조하여 후술한다.
바람직하게는, 본 발명의 일 실시예에 따른 투영 이미지 생성 장치는 복수의 취득 이미지 중에서 취득 이미지의 거리별, 이동시간별, 형상특징별 기준에 따라 이미지를 샘플링하여, 투영 이미지 생성에 이용되는 취득 이미지 개수를 줄여주는 이미지 관리부(미도시)를 더 포함할 수 있다. 즉, 이미지 관리부는 저장부에 저장된 취득 이미지들 중에서 취득 이미지에 동적인 부분이 있거나, 사람얼굴 등 개인정보에 해당하는 부분들이 존재하는 취득 이미지에 대해서는 후가공을 수행할 수 있다. 또한, 이미지 관리부는 고리 닫힘 상황이 발생한 지점에서 복수의 취득 이미지들이 다른 촬영조건(조명, 노출시간, 렌즈초점거리등)에서 취득되어 있다면 그와 같은 취득 이미지에 대해서는 그 차이를 최소화하는 보정을 수행할 수도 있다.
한편, 이미지 관리부는 이와 같은 처리를 마친 취득 이미지를 다시 저장부에 저장함으로써, 투영 이미지 생성시에 이용되는 취득 이미지 개수 및 취득 이미지간의 차이를 줄여줄 수 있다. 또한, 취득 이미지간 촬영 조건의 차이가 소정 임계값 이상인 경우에는 경보를 발생시킨 후, 해당 이미지의 차이를 줄이는 보정을 하거나 해당 이미지를 삭제할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 투영 이미지 생성 장치는 거리 센서를 통해 취득된 취득 깊이값에 포함된 노이즈를 제거하는 동작을 수행하는 깊이값 관리부(미도시)를 더 포함할 수 있다. 이때, 취득 깊이값에 포함된 노이즈를 제거하는 동작은 2015.05.06에 출원된 한국특허출원 10-2015-0062890 " 외곽 공간 특징 정보 추출 방법 "을 참조하여 수행될 수 있다.
취득 이미지와는 달리 취득 깊이값에는 유리나 거울 또는 반사재질 물체에 대해 많은 노이즈들이 포함될 수 있다. 또한, 거리 센서의 넓은 탐침거리로 인해 한 물체가 여러번 관찰되기도 하고, 특정 영역에 많은 개수의 깊이값이 맺히기도 한다. 이러한 노이즈나 불균형적인 깊이값 분포등이 향후 투영이미지의 실감성을 현격히 저해할 수 있기 때문에, 깊이값 관리부는 저장부에 저장된 취득 깊이값에 포함된 노이즈를 사전에 제거하는 동작을 수행할 수 있다.
다른 실시예에서는, 이미지 생성부(2330)는 이미지 관리부 및 깊이값 관리부를 거친 취득 이미지 및 취득 깊이값을 이용하여 투영 이미지를 생성할 수 있다.
도 24는 본 발명의 일 실시예에 따른 이미지 생성부를 설명하기 위하여 도시한 도면이다.
도 24를 참조하면, 본 발명의 일 실시예에 따른 이미지 생성부(2330)는 사용자 시야 판단부(2332), 보강 이미지 선정부(2334), 조합 이미지 생성부(2336) 및 투영 이미지 생성부(2338)를 포함한다. 다만, 다른 실시예에서는 보강 이미지 선정부(2334) 및 조합 이미지 생성부(2336)는 생략될 수 있다.
사용자 시야 판단부(2332)는 사용자포즈에서의 사용자의 시야각에 대응되는 가상의 3차원 공간상의 영역 중에서 대표 이미지에 포함되지 않은 유실시야영역이 존재하는지 여부를 판단한다.
다른 실시예에서, 사용자 시야 판단부(2332)는 사용자 포즈가 이미지취득포즈, 깊이취득포즈와 동일한지 상이한지를 판단할 수도 있다.
또 다른 실시예에서는, 이미지취득포즈에서 취득된 취득 이미지의 화각 내에 사용자 포즈에서의 사용자의 시야가 소정 임계치 이상 포함되는 경우 사용자 포즈와 이미지 취득 포즈가 동일하고, 그 외의 경우에는 사용자 포즈와 이미지 취득 포즈가 상이하다고 판단할 수도 있다. 예컨대, 이미지취득포즈에서 취득된 취득 이미지의 화각과 사용자 포즈에서의 사용자의 시야가 90% 이상 중첩되는 경우에는 사용자 포즈와 이미지 취득 포즈가 동일하다고 판단할 수 있다.
보강 이미지 선정부(2334)는 유실시야영역이 존재한다고 판단되면, 복수의 취득 이미지에 포함된 복수의 픽셀들에 대응되는 복수의 취득 깊이값이 매칭된 정보인 깊이-이미지연계정보에 기초하여 복수의 취득 이미지 중에서 보강 이미지를 선정한다.
조합 이미지 생성부(2336)는 보강 이미지를 대표 이미지와 상호 조합함으로써 조합 이미지를 생성할 수 있다.
이때, 조합 이미지 생성부(2336)는 보강 이미지를 대표 이미지와 동일한 가중치로 상호 조합하거나, 보강 이미지를 대표이미지보다 낮은 가중치로 상호 조합하여 조합 이미지를 생성할 수 있다.
예컨대, 조합 이미지 생성부(2336)는 투명도를 매우 높인 보강 이미지를 레이어 형태로 대표 이미지와 조합함으로써, 보강 이미지의 가중치가 낮은 조합 이미지를 생성할 수도 있다.
투영 이미지 생성부(2338)는 복수의 취득 깊이값을 조합 이미지에 투영한 투영 이미지를 생성한다.
이와 같이, 투영 이미지 생성부(2338)는 조합 이미지를 이용하여 투영 이미지를 생성할 수도 있고, 대표 이미지만을 이용하여 투영 이미지를 생성할 수 있는데, 사용자 포즈와 그 사용자 포즈에 대응되는 대응이미지취득포즈가 동일한지 상이한지에 따라 다음과 같이 동작을 수행하게 된다.
첫 번째로, 사용자 포즈와 대응이미지취득포즈가 동일하고, 그 대응이미지취득포즈에서 취득된 취득 이미지의 화각과 대응깊이취득포즈에서 취득된 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각이 동일한 경우(포즈 동일-화각 동일)에는 투영 이미지 생성부(2338)는 그 취득된 취득 이미지와 취득 깊이값을 이용하여 투영 이미지를 생성한다. 이때, 투영 이미지 생성부(2338)는 대응이미지취득포즈에서 취득된 복수의 취득 이미지 중에서 하나의 대표 이미지를 선정하고, 그 선정된 대표 이미지에 취득 깊이값을 투영하여 투영 이미지를 생성하게 된다.
두 번째로, 사용자 포즈와 대응이미지취득포즈가 동일하지만, 그 대응이미지취득포즈에서 취득된 취득 이미지의 화각이 대응깊이취득포즈에서 취득된 깊이 지도의 화각보다 큰 경우(포즈 동일-화각 상이)에는, 투영 이미지 생성부(2338)는 하나의 대응이미지취득포즈의 취득 좌표계에 연동된 하나의 대표이미지에 복수의 대응깊이취득포즈에서 취득된 복수의 깊이 지도를 투영하여 투영 이미지를 생성한다.
세 번째로, 사용자 포즈와 대응이미지취득포즈가 상이하면, 투영 이미지 생성부(2338)는 하나의 대응이미지취득포즈의 취득 좌표계에 연동된 하나의 대표이미지에 보강 이미지를 조합한 조합 이미지와 복수의 대응깊이취득포즈에서 취득된 복수의 깊이 지도를 이용하여 투영 이미지를 생성한다.
전술한 바와 같이, 조합 이미지 생성시의 대표 이미지의 가중치와 보강 이미지의 가중치가 동일할 경우에는 실제 3차원 공간상의 한점이 다수의 취득 이미지를 이용하여 표현됨으로써 불가피하게 발생하는 최소 수픽셀 이상의 위치추정오차로 인해 투영 이미지의 실감성이 현저히 저하될 수 있으므로, 조합 이미지 생성시의 대표 이미지의 가중치는 보강 이미지의 가중치보다 높게 설정되어야 한다. 다만, 대표 이미지의 가중치가 99.9이고 보강 이미지의 가중치 0.1인 경우과 같이 보강 이미지의 가중치가 매우 작은 경우에는 해당 보강 이미지가 투영 이미지의 실감성에 미치는 영향이 미미하므로, 해당 보강 이미지는 조합 이미지 생성시에 이용되지 않을 수 있다.
한편, 이미지취득포즈의 취득 좌표계에 연동되는 대표 이미지는 깊이-이미지연계정보를 통해 취득 이미지와 사용자 시야와의 중첩 영역을 검출한 후 그 중첩 영역이 가장 넓은 취득 이미지를 대표 이미지로 설정하는 방식, 이미지취득포즈로부터 가장 가까운 거리의 취득 이미지를 대표 이미지로 설정하는 방식 등에 의해 설정될 수 있다. 이때, 이미지취득포즈부터 취득 이미지까지의 거리는 유클리디언 메트릭을 기반으로 계산되는 값이며, 예컨대 절대 차이값, 벡터의 2차놈 (2-norm)등이 이용될 수 있다.
본 발명은 실내환경의 방, 집, 쇼핑몰, 호텔, 터미널, 공항 등에 사용될수 있고, 실외환경의 문화유산, 도시-지형정보의 보존 등에 사용될 수 있으며, 실내외 환경의 아파트 단지, 학교 캠퍼스 등에 사용될 수 있는데, 이와 같은 장소들에 본 발명을 적용함으로써 3차원 가상지도를 만들 수 있다.
이와 같은 3차원 지도정보는 다양한 서비스를 창출할 수 있는 플랫폼 역할을 하므로 이를 활용하여 부동산연계서비스, 시설홍보 서비스, 게임컨텐츠 제작서비스, 유적지-관광지 실감체험 서비스, 지도내 물품정보를 연계한 O2O서비스등을 실시할 수 있다.
또한, 사전 제작된 3차원 지도정보에서 핵심 특징점들을 추출하여 데이터베이스에 보관하고 있고, 사용자가 해당 실제공간에서 카메라 혹은 관성센서정보를 활용하여 데이터를 취득한 경우, 데이터베이스의 특징점과 사용자가 제공한 특징점을 비교하여 사용자 위치를 즉시 찾을 수 있으며, 이를 통해 사용자 디바이스의 디스플레이 장치를 사용자 시야로 하여 투영이미지를 생성시킬 수 있고, 사용자의 디바이스 조작에 대응하여 연속된 투영이미지를 제공하여, 사용자가 디스플레이를 통해 3차원 지도를 경험토록 할 수 있다.
예컨대, 사용자는 상점에 들어가 보지 않고도 상점의 분위기나 특정 물건에 대한 세부정보도 확인하도록 할 수 있다. 또한, 본 발명은 재난안전관리를 위해서도 사용가능한데, 원자력 발전소와 같이 사람이 긴급히 출입하여야 하는 위험지역의 경우, 사전에 로봇등을 통하여 데이터를 간단히 취득하고 본 발명에 따라 가상공간으로 구축한 이후, 침투 요원에게 HMD등을 통해 공간을 충분히 경험하게 함으로써 재난 시 긴급대처가 가능하도록 할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (24)
- 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지 및 복수의 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정하는 단계;
상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 상기 사용자의 시야가 향하는 방향을 나타내는 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 단계; 및
상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 상기 사용자 포즈에 대응되는 복수의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 투영 이미지 생성 방법. - 제1항에 있어서,
상기 투영 이미지 생성에 이용되는 상기 복수의 취득 이미지 중 적어도 하나는
상기 대응이미지취득포즈에서 취득된 취득 이미지로서 상기 대응이미지취득포즈를 원점으로 하는 좌표계인 취득좌표계를 대표하는 이미지로 설정된 대표 이미지이고,
상기 투영 이미지 생성에 이용되는 상기 복수의 취득 깊이값은
상기 대응깊이취득포즈에서 취득된 복수의 깊이값으로서 상기 기준 좌표계의 원점을 기준으로 하는 복수의 깊이값 또는 상기 취득좌표계의 원점을 기준으로 하는 복수의 깊이값 중에서 상기 대표 이미지의 화각에 포함되는 깊이값인 복수의 대응깊이값을 포함하는 것을 특징으로 하는 투영 이미지 생성 방법. - 제2항에 있어서,
상기 투영 이미지를 생성하는 단계는
상기 복수의 대응깊이값 각각에 대응되는 상기 대표 이미지에 포함된 픽셀인 복수의 대응픽셀에 상기 복수의 대응깊이값을 투영하여 생성하는 것을 특징으로 하는 투영 이미지 생성 방법. - 제2항에 있어서,
상기 사용자포즈가 상기 대응이미지취득포즈와 상이하고, 상기 사용자포즈에서의 상기 사용자의 시야각에 대응되는 상기 가상의 3차원 공간상의 영역 중에서 상기 대표 이미지에 포함되지 않은 유실시야영역이 존재하는 경우,
상기 투영 이미지를 생성하는 단계는
상기 대표 이미지를 제외한 상기 복수의 취득 이미지 중에서 상기 유실시야영역에 해당하는 픽셀인 복수의 유실픽셀을 포함하는 취득 이미지인 보강 이미지 및 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 투영 이미지 생성 방법. - 제4항에 있어서,
상기 보강 이미지 및 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성하는 단계는
상기 유실시야영역이 존재하는지 여부를 판단하는 단계;
상기 유실시야영역이 존재한다고 판단되면, 상기 복수의 취득 이미지에 포함된 복수의 픽셀들에 대응되는 상기 복수의 취득 깊이값이 매칭된 정보인 깊이-이미지연계정보에 기초하여 상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 단계;
상기 보강 이미지를 상기 대표 이미지보다 낮은 가중치로 상호 조합함으로써 조합 이미지를 생성하는 단계; 및
상기 복수의 취득 깊이값을 상기 조합 이미지에 투영한 투영 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 투영 이미지 생성 방법. - 제5항에 있어서,
상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 단계는
상기 사용자포즈를 중심으로 레이캐스팅(raycasting)을 수행하여 상기 사용자의 시야각 내에 포함되는 깊이값인 복수의 사용자시야깊이값을 검출하는 단계;
상기 복수의 사용자시야깊이값 중에서 상기 유실 시야 영역에 해당하는 깊이값인 복수의 유실시야깊이값을 검출하는 단계;
상기 깊이-이미지연계정보에 기초하여, 상기 복수의 유실시야깊이값에 대응되는 상기 복수의 유실픽셀을 검출하는 단계; 및
상기 검출된 복수의 유실픽셀에 기초하여, 상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 단계를 포함하는 것을 특징으로 하는 투영 이미지 생성 방법. - 제5항에 있어서,
상기 깊이-이미지연계정보는
상기 깊이취득포즈에서 취득된 복수의 취득 깊이값으로부터 상기 깊이취득포즈까지의 거리인 복수의 제1깊이값거리를 산출하는 단계;
상기 이미지취득포즈 및 상기 깊이취득포즈를 이용하여, 상기 제1깊이값거리를 상기 깊이취득포즈에서 취득된 상기 각각의 복수의 취득 깊이값으로부터 상기 이미지취득포즈까지의 거리인 복수의 제2깊이값거리로 변환하는 단계; 및
상기 취득 이미지의 취득에 이용된 이미지 센서에 대응되는 카메라 행렬 및 상기 복수의 제2깊이값거리를 이용하여, 상기 취득 이미지에 포함된 복수의 픽셀에 상기 복수의 취득 깊이값을 매핑하는 단계를 통해 산출되는 것을 특징으로 하는 투영 이미지 생성 방법. - 제7항에 있어서,
상기 깊이취득포즈에서 취득된 복수의 취득 깊이값으로부터 상기 깊이취득포즈까지의 거리인 복수의 제1깊이값거리를 산출하는 단계는
상기 복수의 취득 깊이값 각각의 취득 시간이 소정 시간 간격 이내인 상기 복수의 취득 깊이값만을 이용하여 수행되는 것을 특징으로 하는 투영 이미지 생성 방법. - 제2항에 있어서,
상기 사용자포즈가 상기 대응이미지취득포즈와 동일하고, 상기 대응이미지취득포즈에서 취득된 상기 취득 이미지의 화각이 상기 대응깊이취득포즈에서 취득된 상기 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각보다 큰 경우,
상기 투영 이미지를 생성하는 단계는
상기 대표 이미지가 취득된 상기 대응이미지취득포즈로부터 소정 거리 이내에 속하는 복수의 상기 대응깊이취득포즈로부터 취득된 복수의 상기 깊이 지도와 상기 대표 이미지를 이용하여 수행되는 것을 특징으로 하는 투영 이미지 생성 방법. - 제9항에 있어서,
상기 사용자포즈가 상기 대응이미지취득포즈와 동일하고, 상기 대응이미지취득포즈에서 취득된 상기 취득 이미지의 화각이 상기 대응깊이취득포즈에서 취득된 상기 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각보다 큰 경우,
상기 투영 이미지를 생성하는 단계는
상기 대표 이미지가 취득된 상기 대응이미지취득포즈로부터 소정 거리 이내에 속하는 복수의 상기 대응깊이취득포즈로부터 취득된 복수의 상기 깊이 지도를 미리 그룹핑하여 생성한 그룹핑깊이지도와 상기 대표 이미지를 이용하여 수행되는 것을 특징으로 하는 투영 이미지 생성 방법. - 제2항에 있어서,
상기 복수의 취득 깊이값으로 구성되는 깊이 지도는
미리 설정된 파라미터를 기반으로 하는 메쉬 구조의 취득 깊이값으로 구성되는 것을 특징으로 하는 투영 이미지 생성 방법. - 제1항에 있어서,
상기 투영 이미지를 생성하는 단계는
상기 복수의 취득 깊이값 중에서 상기 투영 이미지 생성에 이용될 상기 복수의 취득 이미지 각각이 취득된 시점으로부터 소정 시간 이내에 취득된 상기 취득 깊이값만을 이용하여 수행되는 것을 특징으로 하는 투영 이미지 생성 방법. - 제1항에 있어서,
상기 복수의 이미지취득포즈 각각에 포함된 상기 취득 각도는
상기 복수의 이미지취득포즈 각각에 포함된 상기 취득 이미지가 전방향(omni-directional) 카메라에 의해 취득된 경우에는 전방향 각도인 것을 특징으로 하는 투영 이미지 생성 방법. - 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈를 기준 좌표계를 기준으로 추정하고, 복수의 취득 깊이값에 대응되는 복수의 깊이취득포즈를 상기 복수의 이미지취득포즈 각각을 원점으로 하는 취득 좌표계 기준으로 추정하는 단계;
상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 상기 사용자의 시야가 향하는 방향을 나타내는 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 단계; 및
상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 상기 사용자 포즈에 대응되는 복수의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 투영 이미지 생성 방법. - 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지 및 복수의 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈 및 복수의 깊이취득포즈를 기준 좌표계를 기준으로 추정하는 데이터 포즈 추정부;
상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 상기 사용자의 시야가 향하는 방향을 나타내는 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 사용자 포즈 취득부; 및
상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 상기 사용자 포즈에 대응되는 복수의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 이미지 생성부를 포함하는 것을 특징으로 하는 투영 이미지 생성 장치. - 제15항에 있어서,
상기 투영 이미지 생성에 이용되는 상기 복수의 취득 이미지 중 적어도 하나는
상기 대응이미지취득포즈에서 취득된 취득 이미지로서 상기 대응이미지취득포즈를 원점으로 하는 좌표계인 취득좌표계를 대표하는 이미지로 설정된 대표 이미지이고,
상기 투영 이미지 생성에 이용되는 상기 복수의 취득 깊이값은
상기 대응깊이취득포즈에서 취득된 복수의 깊이값으로서 상기 기준 좌표계의 원점을 기준으로 하는 복수의 깊이값 또는 상기 취득좌표계의 원점을 기준으로 하는 복수의 깊이값 중에서 상기 대표 이미지의 화각에 포함되는 깊이값인 복수의 대응깊이값을 포함하는 것을 특징으로 하는 투영 이미지 생성 장치. - 제16항에 있어서,
상기 대응이미지취득포즈가 상기 사용자포즈와 상이하고, 상기 사용자포즈에서의 상기 사용자의 시야각에 대응되는 상기 가상의 3차원 공간상의 영역 중에서 상기 대표 이미지에 포함되지 않은 유실시야영역이 존재하는 경우,
상기 이미지 생성부는
상기 대표 이미지를 제외한 상기 복수의 취득 이미지 중에서 상기 유실시야영역에 해당하는 픽셀인 복수의 유실픽셀을 포함하는 취득 이미지인 보강 이미지 및 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성하는것을 특징으로 하는 투영 이미지 생성 장치. - 제17항에 있어서,
상기 이미지 생성부는
상기 유실시야영역이 존재하는지 여부를 판단하는 사용자 시야 판단부;
상기 유실시야영역이 존재한다고 판단되면, 상기 복수의 취득 이미지에 포함된 복수의 픽셀들에 대응되는 상기 복수의 취득 깊이값이 매칭된 정보인 깊이-이미지연계정보에 기초하여 상기 복수의 취득 이미지 중에서 상기 보강 이미지를 선정하는 보강 이미지 선정부;
상기 보강 이미지를 상기 대표 이미지보다 낮은 가중치로 상호 조합함으로써 조합 이미지를 조합 이미지 생성부; 및
상기 복수의 취득 깊이값을 상기 조합 이미지에 투영한 투영 이미지를 투영 이미지 생성부를 포함하는 것을 특징으로 하는 투영 이미지 생성 장치. - 제16항에 있어서,
상기 사용자포즈가 상기 대응이미지취득포즈와 동일하고, 상기 대응이미지취득포즈에서 취득된 상기 취득 이미지의 화각이 상기 대응깊이취득포즈에서 취득된 상기 복수의 취득 깊이값으로 구성되는 깊이 지도의 화각보다 큰 경우,
상기 이미지 생성부는
상기 대표 이미지가 취득된 상기 대응이미지취득포즈로부터 소정 거리 이내에 속하는 복수의 상기 대응깊이취득포즈로부터 취득된 복수의 상기 깊이 지도와 상기 대표 이미지를 이용하여 상기 투영 이미지를 생성하는 것을 특징으로 하는 투영 이미지 생성 장치. - 실제 3차원 공간에 대하여 취득된 복수의 취득 이미지의 취득 위치 및 취득 각도를 포함하는 복수의 이미지취득포즈를 기준 좌표계를 기준으로 추정하고, 복수의 취득 깊이값에 대응되는 복수의 깊이취득포즈를 상기 복수의 이미지취득포즈 각각을 원점으로 하는 취득 좌표계 기준으로 추정하는 데이터 포즈 추정부;
상기 실제 3차원 공간에 대응되는 가상의 3차원 공간에서의 사용자의 위치 및 상기 사용자의 시야가 향하는 방향을 나타내는 각도를 포함하는 사용자포즈를 기준 좌표계를 기준으로 취득하는 사용자 포즈 취득부; 및
상기 사용자 포즈에 대응되는 대응이미지취득포즈 및 상기 사용자 포즈에 대응되는 복수의 대응깊이취득포즈에 기초하여, 상기 복수의 취득 깊이값을 상기 복수의 취득 이미지 중 적어도 하나에 투영한 투영 이미지를 생성하는 이미지 생성부를 포함하는 것을 특징으로 하는 투영 이미지 생성 장치. - 실제 3차원 공간에 대하여 취득된 취득 이미지 및 취득 깊이값 각각의 취득 위치 및 취득 각도를 포함하는 이미지취득포즈 및 깊이취득포즈를 기준 좌표계를 기준으로 추정하는 단계;
상기 깊이취득포즈에서 취득된 복수의 취득 깊이값으로부터 상기 깊이취득포즈까지의 거리인 복수의 제1깊이값거리를 산출하는 단계;
상기 이미지취득포즈 및 상기 깊이취득포즈를 이용하여, 상기 제1깊이값거리를 상기 깊이취득포즈에서 취득된 상기 각각의 복수의 취득 깊이값으로부터 상기 이미지취득포즈까지의 거리인 복수의 제2깊이값거리로 변환하는 단계; 및
상기 취득 이미지의 취득에 이용된 이미지 센서에 대응되는 카메라 행렬 및 상기 복수의 제2깊이값거리를 이용하여, 상기 취득 이미지에 포함된 복수의 픽셀에 상기 복수의 취득 깊이값을 매핑하는 단계를 포함하는 것을 특징으로 하는 이미지 픽셀과 깊이값간의 매핑 방법. - 제21항에 있어서,
상기 복수의 제2깊이값거리로 변환하는 단계는
상기 이미지취득포즈를 나타내는 행렬의 역행렬, 상기 깊이취득포즈를 나타내는 행렬 및 상기 제1깊이값거리 각각을 상호간에 곱셈 연산함으로써 수행되는 것을 특징으로 하는 이미지 픽셀과 깊이값간의 매핑 방법. - 제21항에 있어서,
상기 취득 이미지의 취득에 이용된 이미지 센서의 해상도가 상기 취득 깊이값의 취득에 이용된 거리 센서의 해상도보다 높은 경우,
상기 취득 이미지에 포함된 복수의 픽셀에 상기 복수의 취득 깊이값을 매핑하는 단계는
상기 이미지 픽셀과 매핑된 복수의 취득 깊이값인 초기연계깊이값 중에서 3개 이상의 초기연계깊이값을 선별하여 다각형 메쉬를 구성하는 단계;
상기 이미지 센서의 해상도에 기초하여, 대응되는 취득 깊이값이 존재하지 않는 이미지 픽셀인 복수의 미매핑 픽셀 중에서 상기 다각형 메쉬 내부에 포함될 복수의 미매핑픽셀의 개수 및 위치를 산출하는 단계;
상기 산출된 복수의 미매핑픽셀의 개수 및 위치에 기초하여 상기 복수의 미매핑픽셀에 대응되는 복수의 깊이값을 추정하는 단계; 및
상기 추정된 복수의 깊이값을 상기 복수의 미매핑픽셀에 매핑하는 단계를 더 포함하는 것을 특징으로 하는 이미지 픽셀과 깊이값간의 매핑 방법. - 제23항에 있어서,
상기 복수의 미매핑픽셀에 대응되는 복수의 깊이값을 추정하는 단계는
내삽법(interpolation)을 이용하여 수행되는 것을 특징으로 하는 이미지 픽셀과 깊이값간의 매핑 방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16821572.1A EP3321888B1 (en) | 2015-07-08 | 2016-06-29 | Projected image generation method and device, and method for mapping image pixels and depth values |
| PCT/KR2016/006961 WO2017007166A1 (ko) | 2015-07-08 | 2016-06-29 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
| JP2018500685A JP6687204B2 (ja) | 2015-07-08 | 2016-06-29 | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 |
| CN201680040327.9A CN107836012B (zh) | 2015-07-08 | 2016-06-29 | 投影图像生成方法及其装置、图像像素与深度值之间的映射方法 |
| US15/515,315 US10602115B2 (en) | 2015-07-08 | 2016-06-29 | Method and apparatus for generating projection image, method for mapping between image pixel and depth value |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150097442 | 2015-07-08 | ||
| KR20150097442 | 2015-07-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170007098A KR20170007098A (ko) | 2017-01-18 |
| KR101835434B1 true KR101835434B1 (ko) | 2018-03-09 |
Family
ID=57992391
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160056447A KR101835434B1 (ko) | 2015-07-08 | 2016-05-09 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
| KR1020160057705A KR20170007102A (ko) | 2015-07-08 | 2016-05-11 | 3차원 지도 생성 및 표시 장치 및 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160057705A KR20170007102A (ko) | 2015-07-08 | 2016-05-11 | 3차원 지도 생성 및 표시 장치 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10602115B2 (ko) |
| EP (2) | EP3321888B1 (ko) |
| JP (1) | JP6687204B2 (ko) |
| KR (2) | KR101835434B1 (ko) |
| CN (1) | CN107836012B (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3553468A1 (en) | 2018-04-06 | 2019-10-16 | Korea University Research and Business Foundation | Method and apparatus for generating 3d map of indoor space |
| WO2020251151A1 (ko) | 2019-06-14 | 2020-12-17 | 고려대학교 산학협력단 | 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치 |
| JP2021531524A (ja) * | 2019-06-14 | 2021-11-18 | 高麗大学校産学協力団Korea University Research And Business Foundation | ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置 |
| KR102339472B1 (ko) * | 2020-12-23 | 2021-12-16 | 고려대학교 산학협력단 | 3차원 공간 모델 생성 방법 및 장치 |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3283843B1 (en) * | 2015-04-01 | 2024-01-10 | Vayavision Sensing Ltd. | Generating 3-dimensional maps of a scene using passive and active measurements |
| CN108139758A (zh) * | 2015-10-09 | 2018-06-08 | 深圳市大疆创新科技有限公司 | 基于显著性特征的载运工具定位 |
| CN107995477A (zh) | 2016-10-26 | 2018-05-04 | 中联盛世文化（北京）有限公司 | 图像展示方法、客户端及系统、图像发送方法及服务器 |
| US10560678B2 (en) * | 2016-11-09 | 2020-02-11 | Mediatek Inc. | Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function |
| EP3383035A1 (en) | 2017-03-29 | 2018-10-03 | Koninklijke Philips N.V. | Image generation from video |
| JP7033865B2 (ja) * | 2017-08-10 | 2022-03-11 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
| CN111264058A (zh) * | 2017-09-15 | 2020-06-09 | 交互数字Vc控股公司 | 用于对三自由度和体积兼容视频流进行编码和解码的方法、设备 |
| JP6419278B1 (ja) * | 2017-09-19 | 2018-11-07 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
| KR102009400B1 (ko) * | 2017-12-20 | 2019-08-12 | 김기효 | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 |
| KR102105365B1 (ko) * | 2018-01-04 | 2020-05-29 | 주식회사 팬스컴스 | 가상공간 내 복수의 디스플레이 화면 매핑 방법 |
| EP3511910A1 (en) * | 2018-01-12 | 2019-07-17 | Koninklijke Philips N.V. | Apparatus and method for generating view images |
| KR102323394B1 (ko) | 2018-01-22 | 2021-11-08 | 삼성전자주식회사 | 차량의 주행을 보조하는 장치 및 방법 |
| KR101893368B1 (ko) * | 2018-01-31 | 2018-09-04 | 공간정보기술 주식회사 | 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템 |
| GB2571306A (en) * | 2018-02-23 | 2019-08-28 | Sony Interactive Entertainment Europe Ltd | Video recording and playback systems and methods |
| KR102197732B1 (ko) * | 2018-04-06 | 2021-01-04 | 고려대학교 산학협력단 | 실내공간의 3차원 지도 생성 방법 및 장치 |
| US10726567B2 (en) * | 2018-05-03 | 2020-07-28 | Zoox, Inc. | Associating LIDAR data and image data |
| US10600192B1 (en) * | 2018-05-14 | 2020-03-24 | Vulcan Inc. | Multi-camera homogeneous object alignment |
| US10679362B1 (en) | 2018-05-14 | 2020-06-09 | Vulcan Inc. | Multi-camera homogeneous object trajectory alignment |
| US10948297B2 (en) | 2018-07-09 | 2021-03-16 | Samsung Electronics Co., Ltd. | Simultaneous location and mapping (SLAM) using dual event cameras |
| CN108876862B (zh) * | 2018-07-13 | 2021-12-07 | 北京控制工程研究所 | 一种非合作目标点云位置姿态计算方法 |
| WO2020013977A1 (en) * | 2018-07-13 | 2020-01-16 | Interdigital Vc Holdings, Inc. | Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream |
| KR102491939B1 (ko) * | 2018-08-24 | 2023-01-26 | 삼성전자주식회사 | 전방향 이미지를 프로세싱하기 위한 방법 및 장치 |
| KR102467556B1 (ko) * | 2018-10-04 | 2022-11-17 | (주)티랩스 | 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법 |
| EP3644604A1 (en) * | 2018-10-23 | 2020-04-29 | Koninklijke Philips N.V. | Image generating apparatus and method therefor |
| CN109521879B (zh) * | 2018-11-19 | 2022-02-18 | 杭州易现先进科技有限公司 | 交互式投影控制方法、装置、存储介质及电子设备 |
| WO2020230921A1 (ko) | 2019-05-14 | 2020-11-19 | 엘지전자 주식회사 | 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇 |
| CN112097742B (zh) * | 2019-06-17 | 2022-08-30 | 北京地平线机器人技术研发有限公司 | 一种位姿确定方法及装置 |
| EP4075389A4 (en) * | 2019-12-20 | 2023-02-15 | Uisee Technologies (Zhejiang) Ltd. | METHOD, DEVICE AND SYSTEM FOR THREE-DIMENSIONAL RECONSTRUCTION AND STORAGE MEDIUM |
| KR102316232B1 (ko) * | 2020-02-05 | 2021-10-22 | 네이버 주식회사 | 2차원 지도 정보를 기반으로 거리뷰 이미지의 포즈를 정합시키기 위한 전자 장치 및 그의 동작 방법 |
| KR102444879B1 (ko) * | 2020-03-05 | 2022-09-19 | 고려대학교 산학협력단 | 라이다(Lidar)를 이용한 실내 공간의 3차원 모델링 방법 |
| CN111563924B (zh) * | 2020-04-28 | 2023-11-10 | 上海肇观电子科技有限公司 | 图像深度确定方法及活体识别方法、电路、设备和介质 |
| US11232315B2 (en) | 2020-04-28 | 2022-01-25 | NextVPU (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
| KR102414307B1 (ko) * | 2020-06-29 | 2022-06-29 | (주)뉴빌리티 | 3d 맵의 변경 구역 업데이트 시스템 및 그 방법 |
| CN111833391B (zh) * | 2020-07-16 | 2024-01-09 | 北京百度网讯科技有限公司 | 图像深度信息的估计方法及装置 |
| KR102542363B1 (ko) * | 2020-12-15 | 2023-06-13 | (주)심스리얼리티 | 3차원 공간에서 객체를 인식하는 방법 |
| CN112764546B (zh) * | 2021-01-29 | 2022-08-09 | 重庆子元科技有限公司 | 一种虚拟人物位移控制方法、装置及终端设备 |
| CN113066007A (zh) * | 2021-06-03 | 2021-07-02 | 潍坊幻视软件科技有限公司 | 指示3d空间中目标位置的方法 |
| CN113436269B (zh) * | 2021-06-15 | 2023-06-30 | 影石创新科技股份有限公司 | 图像稠密立体匹配方法、装置和计算机设备 |
| US20220408019A1 (en) * | 2021-06-17 | 2022-12-22 | Fyusion, Inc. | Viewpoint path modeling |
| CN114237537B (zh) * | 2021-12-10 | 2023-08-04 | 杭州海康威视数字技术股份有限公司 | 头戴式设备、远程协助方法及系统 |
| KR102600420B1 (ko) * | 2021-12-31 | 2023-11-09 | 주식회사 쓰리아이 | 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템 |
| CN115390571B (zh) * | 2022-10-27 | 2023-03-24 | 杭州蓝芯科技有限公司 | 一种绕障行驶方法和移动机器人 |
| KR102618951B1 (ko) | 2023-06-20 | 2023-12-29 | 주식회사 모빌테크 | 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
| KR102616435B1 (ko) | 2023-07-21 | 2023-12-21 | 주식회사 모빌테크 | 지도 갱신 방법 및 이를 실행하기 위하여 기록매체에기록된 컴퓨터 프로그램 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060146138A1 (en) | 2004-12-17 | 2006-07-06 | Jun Xin | Method and system for synthesizing multiview videos |
| US20070015997A1 (en) | 2005-05-23 | 2007-01-18 | Higgins William E | Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy |
| WO2010122145A1 (en) | 2009-04-25 | 2010-10-28 | Siemens Aktiengesellschaft | A method and a system for assessing the relative pose of an implant and a bone of a creature |
| US20100302145A1 (en) | 2009-06-01 | 2010-12-02 | Microsoft Corporation | Virtual desktop coordinate transformation |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US20130033484A1 (en) | 2011-08-01 | 2013-02-07 | Fuji Xerox Co., Ltd. | System and method for interactive markerless paper documents in 3d space with mobile cameras and projectors |
| US20130156260A1 (en) | 2011-12-15 | 2013-06-20 | Microsoft Corporation | Problem states for pose tracking pipeline |
| US20130238295A1 (en) | 2012-03-06 | 2013-09-12 | Samsung Electronics Co., Ltd. | Method and apparatus for pose recognition |
| WO2013173728A1 (en) | 2012-05-17 | 2013-11-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display |
| US20140321708A1 (en) | 2009-10-19 | 2014-10-30 | Metaio Gmbh | Method for determining the pose of a camera and for recognizing an object of a real environment |
| US20150145985A1 (en) | 2013-11-26 | 2015-05-28 | Michael Jason Gourlay | Large-Scale Surface Reconstruction That Is Robust Against Tracking And Mapping Errors |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0757117A (ja) * | 1993-07-09 | 1995-03-03 | Silicon Graphics Inc | テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム |
| US5841441A (en) * | 1996-01-19 | 1998-11-24 | Virtus Corporation | High-speed three-dimensional texture mapping systems and methods |
| US6759979B2 (en) * | 2002-01-22 | 2004-07-06 | E-Businesscontrols Corp. | GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site |
| EP1563882A4 (en) * | 2002-11-20 | 2006-01-18 | Sega Corp | GAME IMAGE DISPLAY CONTROL PROGRAM, GAME DEVICE, AND RECORDING MEDIUM |
| US7747067B2 (en) * | 2003-10-08 | 2010-06-29 | Purdue Research Foundation | System and method for three dimensional modeling |
| JP2008219390A (ja) * | 2007-03-02 | 2008-09-18 | Victor Co Of Japan Ltd | 画像閲覧装置 |
| KR100918706B1 (ko) | 2007-03-20 | 2009-09-22 | 인천대학교 산학협력단 | 카메라 자세 추정 장치 및 방법 |
| JP4489800B2 (ja) * | 2007-08-30 | 2010-06-23 | 株式会社スクウェア・エニックス | 画像生成装置及び方法、並びにプログラム及び記録媒体 |
| JP2009080578A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 多視点データ生成装置、方法及びプログラム |
| JP5288445B2 (ja) * | 2007-12-04 | 2013-09-11 | 独立行政法人情報通信研究機構 | 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体 |
| GB0908200D0 (en) * | 2009-05-13 | 2009-06-24 | Red Cloud Media Ltd | Method of simulation of a real physical environment |
| EP2434457A4 (en) * | 2009-05-18 | 2014-01-15 | Kodaira Associates Inc | METHOD FOR TRANSMITTING IMAGE INFORMATION |
| US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
| JP5624394B2 (ja) * | 2010-07-16 | 2014-11-12 | キヤノン株式会社 | 位置姿勢計測装置、その計測処理方法及びプログラム |
| US9485497B2 (en) * | 2010-09-10 | 2016-11-01 | Reald Inc. | Systems and methods for converting two-dimensional images into three-dimensional images |
| EP2643820B1 (en) * | 2010-11-24 | 2018-01-24 | Google LLC | Rendering and navigating photographic panoramas with depth information in a geographic information system |
| EP2643822B1 (en) * | 2010-11-24 | 2017-03-22 | Google, Inc. | Guided navigation through geo-located panoramas |
| US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
| US8711206B2 (en) | 2011-01-31 | 2014-04-29 | Microsoft Corporation | Mobile camera localization using depth maps |
| US9407904B2 (en) * | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
| JP5776218B2 (ja) * | 2011-02-24 | 2015-09-09 | 株式会社大林組 | 画像合成方法 |
| WO2012132234A1 (ja) * | 2011-03-31 | 2012-10-04 | パナソニック株式会社 | 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム |
| CN102834849B (zh) * | 2011-03-31 | 2016-08-31 | 松下知识产权经营株式会社 | 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序 |
| EP2600316A1 (en) * | 2011-11-29 | 2013-06-05 | Inria Institut National de Recherche en Informatique et en Automatique | Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation |
| JP5788810B2 (ja) * | 2012-01-10 | 2015-10-07 | 株式会社パスコ | 撮影対象検索システム |
| US9846960B2 (en) * | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
| KR101423139B1 (ko) * | 2012-06-19 | 2014-07-28 | 한양대학교 산학협력단 | 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체 |
| KR101546654B1 (ko) | 2012-06-26 | 2015-08-25 | 한국과학기술원 | 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치 |
| US20140098100A1 (en) * | 2012-10-05 | 2014-04-10 | Qualcomm Incorporated | Multiview synthesis and processing systems and methods |
| KR101544021B1 (ko) * | 2012-10-29 | 2015-08-13 | 경북대학교 산학협력단 | 3차원 지도 생성 장치 및 3차원 지도 생성 방법 |
| US9508146B2 (en) * | 2012-10-31 | 2016-11-29 | The Boeing Company | Automated frame of reference calibration for augmented reality |
| US9058693B2 (en) * | 2012-12-21 | 2015-06-16 | Dassault Systemes Americas Corp. | Location correction of virtual objects |
| US20140267228A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Mapping augmented reality experience to various environments |
| JP5945255B2 (ja) * | 2013-08-27 | 2016-07-05 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
| CA2888943C (en) * | 2013-10-03 | 2015-08-18 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
| US20150206337A1 (en) * | 2014-01-17 | 2015-07-23 | Nokia Corporation | Method and apparatus for visualization of geo-located media contents in 3d rendering applications |
| US20160019718A1 (en) * | 2014-07-16 | 2016-01-21 | Wipro Limited | Method and system for providing visual feedback in a virtual reality environment |
| KR20170041720A (ko) * | 2014-08-07 | 2017-04-17 | 포브, 아이엔씨. | 3차원상의 주시점의 위치 특정 알고리즘 |
-
2016
- 2016-05-09 KR KR1020160056447A patent/KR101835434B1/ko active IP Right Grant
- 2016-05-11 KR KR1020160057705A patent/KR20170007102A/ko not_active Application Discontinuation
- 2016-06-29 CN CN201680040327.9A patent/CN107836012B/zh not_active Expired - Fee Related
- 2016-06-29 EP EP16821572.1A patent/EP3321888B1/en active Active
- 2016-06-29 JP JP2018500685A patent/JP6687204B2/ja active Active
- 2016-06-29 US US15/515,315 patent/US10602115B2/en active Active
- 2016-07-07 EP EP16821660.4A patent/EP3321889A4/en not_active Withdrawn
- 2016-07-07 US US15/742,206 patent/US10349033B2/en active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060146138A1 (en) | 2004-12-17 | 2006-07-06 | Jun Xin | Method and system for synthesizing multiview videos |
| US20070015997A1 (en) | 2005-05-23 | 2007-01-18 | Higgins William E | Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy |
| WO2010122145A1 (en) | 2009-04-25 | 2010-10-28 | Siemens Aktiengesellschaft | A method and a system for assessing the relative pose of an implant and a bone of a creature |
| US20100302145A1 (en) | 2009-06-01 | 2010-12-02 | Microsoft Corporation | Virtual desktop coordinate transformation |
| WO2010141398A2 (en) | 2009-06-01 | 2010-12-09 | Microsoft Corporation | Virtual desktop coordinate transformation |
| US20140321708A1 (en) | 2009-10-19 | 2014-10-30 | Metaio Gmbh | Method for determining the pose of a camera and for recognizing an object of a real environment |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US20130033484A1 (en) | 2011-08-01 | 2013-02-07 | Fuji Xerox Co., Ltd. | System and method for interactive markerless paper documents in 3d space with mobile cameras and projectors |
| US20130156260A1 (en) | 2011-12-15 | 2013-06-20 | Microsoft Corporation | Problem states for pose tracking pipeline |
| US20130238295A1 (en) | 2012-03-06 | 2013-09-12 | Samsung Electronics Co., Ltd. | Method and apparatus for pose recognition |
| WO2013173728A1 (en) | 2012-05-17 | 2013-11-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display |
| US20150138069A1 (en) | 2012-05-17 | 2015-05-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display |
| US20150145985A1 (en) | 2013-11-26 | 2015-05-28 | Michael Jason Gourlay | Large-Scale Surface Reconstruction That Is Robust Against Tracking And Mapping Errors |
| WO2015080922A1 (en) | 2013-11-26 | 2015-06-04 | Microsoft Technology Licensing, Llc | Large-scale surface reconstruction that is robust against tracking and mapping errors |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3553468A1 (en) | 2018-04-06 | 2019-10-16 | Korea University Research and Business Foundation | Method and apparatus for generating 3d map of indoor space |
| WO2020251151A1 (ko) | 2019-06-14 | 2020-12-17 | 고려대학교 산학협력단 | 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치 |
| JP2021531524A (ja) * | 2019-06-14 | 2021-11-18 | 高麗大学校産学協力団Korea University Research And Business Foundation | ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置 |
| EP3770809A4 (en) * | 2019-06-14 | 2022-03-09 | Korea University Research and Business Foundation | METHOD AND APPARATUS FOR ESTIMATING A USER'S POSE USING A VIRTUAL THREE-DIMENSIONAL SPACE MODEL |
| JP7138361B2 (ja) | 2019-06-14 | 2022-09-16 | 高麗大学校産学協力団 | ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置 |
| US11915449B2 (en) | 2019-06-14 | 2024-02-27 | Korea University Research And Business Foundation | Method and apparatus for estimating user pose using three-dimensional virtual space model |
| KR102339472B1 (ko) * | 2020-12-23 | 2021-12-16 | 고려대학교 산학협력단 | 3차원 공간 모델 생성 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3321889A4 (en) | 2019-01-09 |
| CN107836012A (zh) | 2018-03-23 |
| CN107836012B (zh) | 2021-10-08 |
| EP3321888A1 (en) | 2018-05-16 |
| KR20170007098A (ko) | 2017-01-18 |
| US10602115B2 (en) | 2020-03-24 |
| JP2018528509A (ja) | 2018-09-27 |
| EP3321889A1 (en) | 2018-05-16 |
| JP6687204B2 (ja) | 2020-04-22 |
| US10349033B2 (en) | 2019-07-09 |
| US20170230633A1 (en) | 2017-08-10 |
| EP3321888B1 (en) | 2021-12-08 |
| KR20170007102A (ko) | 2017-01-18 |
| US20180205925A1 (en) | 2018-07-19 |
| EP3321888A4 (en) | 2019-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101835434B1 (ko) | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 | |
| US10896497B2 (en) | Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method | |
| JP6088094B1 (ja) | 複合現実環境を作成するためのシステム等 | |
| US8963943B2 (en) | Three-dimensional urban modeling apparatus and method | |
| JP5093053B2 (ja) | 電子カメラ | |
| JP7041551B2 (ja) | 施工工程管理システム及び施工工程管理方法 | |
| US20120001901A1 (en) | Apparatus and method for providing 3d augmented reality | |
| US10521962B1 (en) | Method and system for visualizing overlays in virtual environments | |
| WO2010130987A2 (en) | Image generation method | |
| US11668577B1 (en) | Methods and systems for response vehicle deployment | |
| CN108885342A (zh) | 用于低延迟渲染的宽基线立体 | |
| CN111260789B (zh) | 避障方法、虚拟现实头戴设备以及存储介质 | |
| CN106873300B (zh) | 面向智能机器人的虚拟空间投影方法和装置 | |
| JP2018106661A (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
| WO2017017790A1 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
| JP7006810B2 (ja) | ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法 | |
| JP2019179015A (ja) | 経路表示装置 | |
| KR20150096127A (ko) | 사진에 촬영된 지점의 위치를 계산하는 방법 및 장치 | |
| JP6134874B1 (ja) | 複合現実環境を作成するためのシステム等 | |
| Cai et al. | Heads-up lidar imaging with sensor fusion | |
| JP7465133B2 (ja) | 情報処理装置、情報処理方法 | |
| WO2023223933A1 (ja) | 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム | |
| JP5168313B2 (ja) | 画像表示装置 | |
| JP2019179530A (ja) | 経路評価装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |