KR20210046799A - 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법 - Google Patents

실측 깊이정보를 이용한 정밀한 360 이미지 제작기법 Download PDF

Info

Publication number
KR20210046799A
KR20210046799A KR1020217010004A KR20217010004A KR20210046799A KR 20210046799 A KR20210046799 A KR 20210046799A KR 1020217010004 A KR1020217010004 A KR 1020217010004A KR 20217010004 A KR20217010004 A KR 20217010004A KR 20210046799 A KR20210046799 A KR 20210046799A
Authority
KR
South Korea
Prior art keywords
image
information
depth information
camera
pixel
Prior art date
Application number
KR1020217010004A
Other languages
English (en)
Other versions
KR102467556B1 (ko
Inventor
도락주
최형아
장범철
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20210046799A publication Critical patent/KR20210046799A/ko
Application granted granted Critical
Publication of KR102467556B1 publication Critical patent/KR102467556B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

깊이정보를 이용한 360 이미지 제작 방법을 개시한다. 본 발명의 일 실시예에 따른 깊이정보를 이용한 360 이미지 제작 방법은 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 정보수신단계; 상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 대상선택단계; 상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 이미지픽셀값취득단계; 및 상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 대상픽셀구성단계를 포함한다.

Description

실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
본 발명은 복수의 카메라를 사용하여 동시에 취득된 여러 이미지들을 하나의 360 이미지로 생성하는 과정에서, 해당 공간에서 실측된 깊이정보를 동시에 활용하여, 보다 정밀한 360 이미지를 구성하는 방법 및 장치에 관한 것이다.
중첩영상을 재구성하는 기술은 360 이미지 제작에 다수 사용되어 왔다. 즉, 360 이미지를 제작함에 있어, 공간 내 소실된 구간 없이 촬영하기 위해 다수 카메라의 시야를 중첩시켜 각각의 이미지를 취득한 후, 이를 하나의 영상으로 재구성하는 기술은 널리 사용되어 왔다.
보다 구체적으로, 360 이미지는 2차원 좌표계를 사용하는 파노라믹 이미지와 3차원 좌표계를 사용하는 큐브 이미지 등의 여러 가지 형태가 있으며, 복수의 카메라 영상을 하나의 360 영상으로 재구성하는 단계에서 특정 지름을 가진 구(도 2 참조) 혹은 큐브등 단순한 기하형상을 가정하고, 개별 카메라에서 촬영된 영상을 기하형상에 투영하고, 투영된 기하형상의 정보를 파노라믹 이미지 혹은 큐브 이미지로 재투영하여 360 이미지를 생성하게 된다.
이때, 도 3를 참조하면, 상기의 투영단계에서 기하형상의 부정확성으로 인하여 상이한 카메라가 취득한 영상이 재구성된 영상에서 정확하게 정합되지 않는 현상이 발생할 수 있다.
따라서, 종래 기술에 의한 이미지 부정합 문제를 해결할 수 있는 깊이정보를 이용한 정밀한 360 이미지 제작 방법 및 장치의 필요성이 대두되고 있다.
본 발명은 복수의 카메라이미지로부터 파노라믹 이미지 혹은 큐브 이미지 등의 360 이미지를 생성하려고 하는 경우, 같은 공간에서 취득된 지형정보를 동시에 활용함을 통해 보다 정밀한 360 이미지를 생성하기 위한 방법 및 장치를 제공하고자 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 깊이정보를 이용한 360 이미지 제작 방법은 소정의 공간에 대하여 360 이미지를 제작하는 방법에 있어서, 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 정보수신단계; 상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 대상선택단계; 상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 이미지픽셀값취득단계; 및 상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 대상픽셀구성단계를 포함한다.
바람직하게는, 상기 대상선택단계와 상기 이미지픽셀값취득단계의 사이에, 상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 복수대응확인단계를 더 포함하고, 상기 대상픽셀구성단계는 상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성할 수 있다.
바람직하게는, 상기 대상선택단계, 상기 이미지픽셀값취득단계, 상기 복수대응확인단계, 상기 대상픽셀구성단계를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 360이미지생성단계를 더 포함할 수 있다.
바람직하게는, 상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 생성하는 3차원지도생성단계를 더 포함할 수 있다.
바람직하게는, 상기 3차원지도생성단계는 상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고, 상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 깊이정보를 이용한 360 이미지 제작 장치는 소정의 공간에 대하여 360 이미지를 제작하는 장치에 있어서, 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 수신부; 상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 선택부; 상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 취득부; 및 상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 구성부를 포함한다.
바람직하게는, 상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 확인부를 더 포함하고, 상기 구성부는 상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성할 수 있다.
바람직하게는, 상기 선택부, 상기 취득부, 상기 확인부 및 상기 구성부를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 생성부를 더 포함할 수 있다.
바람직하게는, 상기 생성부는 상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 더 생성할 수 있다.
바람직하게는, 상기 생성부는 상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고, 상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성할 수 있다.
본 발명의 일 실시예에 따른 이미지 생성 방법 및 장치는, 종래 기술에서 두 대 이상의 카메라가 동일 지점을 촬영하고 이를 그대로 360 이미지로 변환할 때 발생하는 부정합에 대하여, 상기 공간에서 실측된 깊이데이터를 동시에 활용함으로써, 해당 부정합이 발생한 지점에서 왜곡되지 않은 선명한 이미지를 구성할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 360 이미지 생성 방법 및 장치를 통해 생성된 360 이미지는 지형정보를 통해 생성된 이미지이므로, 이를 해당지형에 투영할 경우 이미지와 지형정보가 일치하게 되고 이를 통해 가상공간에서 3차원지도를 구현할 경우 이미지와 지형 간의 부정합으로 인한 왜곡이 발생하지 않는 효과가 있다.
특히, 3차원 지도내의 임의의 시야를 온전히 복원하기 위해, 임의의 시야를 가장 잘 표현하는 대표이미지와, 해당 대표이미지로는 표현할 수 없는 유실시야를 표현하기 위해 보완이미지를 선택하고, 이들 이미지 전체 혹은 일부 픽셀에 가중치를 부여하여 표현하는 방식을 구현할 경우, 본 발명의 일 실시예에 따른 이미지 생성 방법 및 장치를 통해 모든 360 이미지들이 지형정보와 일치되도록 구성할 수 있고, 이로 인해 다수의 360 이미지들이 동시에 적용되는 경우에도 지형정보 기준으로 일관성을 유지하게 되어 보다 선명한 3차원지도를 구현할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 방법을 설명하기 위한 흐름도이다.
도 2는 구 형태의 기하형상에 투영된 360 이미지이다.
도 3은 상이한 카메라가 취득한 영상이 정확하게 정합되지 않아 중첩된 부분에 왜곡이 발생한 360 파노라믹 이미지이다.
도 4는 이미지와 형상의 불일치로 인해 3차원 지도에서 실내구성물의 일관성이 유지되지 않는 경우를 나타내는 이미지이다.
도 5는 본 발명의 일 실시예에 따른 깊이정보가 주어진 경우를 설명하기 위한 도면이다.
도 6은 종래 기술에 따른 깊이정보가 주어지지 않은 경우 경우를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 깊이정보지점이 두 대 이상의 카메라에 의해 촬영된 경우를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 장치를 설명하기 위한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 방법을 설명하기 위한 흐름도이다.
단계 S110에서는, 360 이미지 제작 장치가 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 그 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 360 이미지의 원점 위치에 대한 정보인 위치정보, 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 그 복수의 카메라 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 360 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신한다.
이때, 도 5 내지 7을 참조하면, 카메라의 원점의 포즈정보는 특정 카메라 원점(11)에 대한 위치 및 방향을 나타내는 3차원 포즈(pose) 정보일 수 있다. 또한, 360 이미지 원점의 위치정보는 360 이미지의 원점(12)의 3차원 위치정보일 수 있다. 또한, 깊이정보는 카메라가 촬영한 공간에서 특정 좌표계를 기준으로 다수의 실측된 깊이정보(13-18)일 수 있다. 또한, 카메라 이미지는 카메라가 촬영한 카메라 원점(11)에서 촬영한 카메라 이미지(19)일 수 있다. 또한, 카메라 모델은 카메라 이미지(19)내 특정 픽셀값과 깊이정보(13-18) 사이의 대응관계를 도출할 수 있는 정보일 수 있다. 또한, 360 모델은 360 이미지 내 픽셀값과 깊이정보 사이의 대응관계를 구성하는 구성모델(21)일 수 있다.
한편, 카메라원점의 포즈 정보는 3차원에서의 벡터(vector)로 표현될 수도 있고, 폴라(polar)좌표계나 회전매트릭스(rotation matrix), 쿼터니언(Quaternion) 등을 통해서도 표현될 수 있다.
또한, 실측된 깊이정보는 센서를 통해 얻어진 공간 지형정보를 나타내며, 취득 센서의 종류 및 표현 형태에 한정되지 않는다.
보다 구체적으로, 실측된 깊이정보는 포인트클라우드, 메쉬, 깊이 이미지 등의 형태로 나타낼 수 있으며, 다양한 센서를 통해 취득 가능하다. 대표적인 센서로는 Time-of-flight camera와 같은 scannerless 방식, LiDAR, Velodyne과 같은 scanning 방식, LiDAR 등의 레이저를 이용한 거리측정 센서, Kinect, RealSense, Structure Sensor 등과 같은 structured light를 이용한 3D 카메라가 있다. 뿐만 아니라, 단일 카메라 또는 복수의 카메라로 얻은 여러 장의 이미지를 이용한 3D reconstruction 기법을 통해서도 깊이 정보를 측정할 수 있다.
또한, 카메라 모델은 공간내 깊이정보지점(15)이 주어진 경우 이 지점에 연계된 카메라 이미지(19)의 픽셀(24)을 레이케스팅(ray-casting)(20) 기법등을 활용하여 찾아낼 수 있도록 해주는 모델이며, 도 5에서는 핀홀카메라(pin-hole) 카메라 기준의 선형모델을 표현하였으나, 어안렌즈(fish-eye)등을 사용한 경우 각기 다른 모델을 사용할 수 있다.
또한, 360 이미지의 구성모델(21)은 일반적으로 공간을 3차원 구형이나 큐브 등으로 표현하고, 360 이미지의 특정픽셀(22)을 해당 구형이나 큐브 내에서 선택한 경우 해당 특정픽셀(22)이 연계된 공간 내 깊이정보를 레이캐스팅(ray-casting)(23) 기법 등을 활용하여 찾아낼 수 있도록 해주는 모델일 수 있다. 예컨대, 도 5에서는 3차원 큐브를 가정하고, 이의 2차원 투사도를 기반으로 360 이미지 구성모델(21)을 모사하였으나, 어떤 임의의 형상에 특정되지 않는다.
한편, 포즈정보, 위치정보, 깊이정보는 전역 좌표계(global coordinate system)를 기준으로 기술된 값일 수 있으며, 특히 포즈정보와 위치정보는 깊이정보의 기준좌표계를 변환하기 위해 이용될 수 있다.
단계 S120에서는, 360 이미지 제작 장치가 그 위치정보, 360 모델 및 깊이정보를 이용하여, 깊이정보에 포함된 복수의 지점 중에서 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택한다.
즉, 360 이미지 제작 장치는 360 이미지 내 대상픽셀(22)을 특정한 경우에, 360 모델(21)과 깊이정보(13-18)을 동시에 이용하여 그 대상픽셀(22)에 대응되는 깊이정보지점(15)를 선택할 수 있다.
이때, 360 이미지 제작 장치는 전역 좌표계에 기반하는 위치정보와 깊이정보를 이용하여, 깊이정보의 좌표계를 위치정보의 원점 위치를 기준으로 하는 기준좌표계로 변경할 수 있다.
단계 S130에서는, 360 이미지 제작 장치가 그 포즈정보, 카메라 모델 및 깊이정보를 이용하여, 복수의 카메라 이미지 중에서 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득한다.
예컨대, 360 이미지 제작 장치는 카메라 모델을 이용하여 레이케스팅(20)기법 등을 통하여 대응되는 깊이정보지점(15)를 검출하고, 이에 대응되는 카메라이미지픽셀값(24)를 검출할 수 있다.
이때, 360 이미지 제작 장치는 전역 좌표계에 기반하는 포즈정보와 깊이정보를 이용하여, 깊이정보의 좌표계를 포즈정보에 포함된 카메라의 위치 및 방향을 기준으로 하는 기준좌표계로 변경할 수 있다.
마지막으로 단계 S140에서는, 360 이미지 제작 장치가 그 취득된 카메라 이미지의 픽셀값을 이용하여 대상픽셀의 픽셀값을 구성한다.
이때, 종래 기술과 같이 실측된 깊이정보를 이용하지 않는 경우, 도 6과 같이 360 모델(21)만을 사용하면 360 이미지 원점(12)과 360 모델(21)의 관계(27)를 통해 대상픽셀(22)이 찾고, 이에 대응되는 이미지픽셀값(26)을 찾게 되며, 이 경우 실제 이미지픽셀(24)과는 다른 영상정보값이 사용되게 되어 이미지와 깊이정보 간의 왜곡이 발생하게 되는 문제가 있다.
다른 실시예에서는, 360 이미지 제작 장치가 대상선택단계(단계 S120)와 이미지픽셀값취득단계(단계 S130)의 사이에, 깊이정보지점이 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인(복수대응확인단계)하고, 만일 대응되는 경우, 대상픽셀구성단계(단계 S140)에서 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 대상픽셀의 픽셀값을 구성할 수 있다.
예컨대, 360 이미지 제작 장치는 도 7에서 깊이정보지점(15)이 서로 다른 두 대 이상의 카메라에 의한 카메라 이미지의 카메라이미지픽셀(24, 30)에 대응되는 것을 확인하는 복수대응확인단계를 추가로 실시할 수 있다.
이 경우, 360 이미지 제작 장치는 각 카메라의 카메라 모델에서 공간 내 깊이정보지점(15)에 대해 이 지점에 연계된 카메라 이미지(19, 28)의 픽셀(24,30)을 레이케스팅(20,29) 기법 등을 활용하여 찾아낼 수 있다.
또한, 360 이미지 제작 장치는 복수대응확인단계에서 2개의 카메라 이미지의 카메라이미지픽셀(24,30)이 대응되는 경우 대상픽셀구성단계에서 대응되는 복수의 카메리아미지픽셀(24,30)에 가중치를 부여하여 대상픽셀(22)의 값을 구성할 수 있다.
또 다른 실시예에서는, 360 이미지 제작 장치가 대상선택단계(S120), 이미지픽셀값취득단계(S130), 복수대응확인단계, 대상픽셀구성단계(S140)를 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 360 이미지를 생성할 수 있다.
즉, 360 이미지 제작 장치가 360 이미지에 포함된 모든 픽셀에 대하여 대상선택단계(S120), 이미지픽셀값취득단계(S130), 복수대응확인단계, 대상픽셀구성단계(S140)를 반복 적용하여 360 이미지를 생성할 수 있다.
또 다른 실시예에서는, 360 이미지 제작 장치가 그 생성된 360 이미지를 지형정보에 투영하여 가상공간 내 3차원 지도를 생성할 수 있다.
즉, 360 이미지 제작 장치가 그 생성된 360 이미지를 지형정보에 투영하여 가상공간 내 3차원 지도를 생성할 수 있다.
또 다른 실시예에서는, 360 이미지 제작 장치가 대표이미지와 보완이미지를 이용하여 투영이미지를 생성할 수 있다.
즉, 360 이미지 제작 장치가 3차원 지도를 표현함에 있어서 3차원 지도가 있는 가상공간의 임의 시야에 대해 해당 시야를 가장 잘 표현할 수 있는 360이미지를 대표이미지로 선정할 수 있다. 그리고, 360 이미지 제작 장치가 그 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정할 수 있다. 또한, 360 이미지 제작 장치가 그 대표이미지와 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 장치를 설명하기 위한 블록도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 깊이정보를 이용한 정밀한 360 이미지 제작 장치(900)는 수신부(910), 선택부(920), 취득부(930) 및 구성부(940)를 포함할 수 있다. 또한, 선택적으로 확인부(미도시) 및 생성부(미도시)를 더 포함할 수 있다.
수신부(910)는 적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 360 이미지의 원점 위치에 대한 정보인 위치정보, 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 복수의 카메라 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 360 이미지에 포함된 픽셀과 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신한다.
선택부(920)는 위치정보, 360 모델 및 깊이정보를 이용하여, 깊이정보에 포함된 복수의 지점 중에서 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택한다.
취득부(930)는 포즈정보, 카메라 모델 및 깊이정보를 이용하여, 복수의 카메라 이미지 중에서 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득한다.
구성부(940)는 그 취득된 카메라 이미지의 픽셀값을 이용하여 대상픽셀의 픽셀값을 구성한다.
확인부(미도시)는 그 깊이정보지점이 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인한다.
이때, 구성부(940)는 그 깊이정보지점이 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 대상픽셀의 픽셀값을 구성할 수 있다.
생성부(미도시)는 선택부(910), 취득부(920), 확인부(미도시) 및 구성부(940)를 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 360 이미지를 생성한다.
다른 실시예에서는, 생성부(미도시)는 생성된 360 이미지를 깊이정보에 기반하는 지형정보에 투영하여 공간에 대응되는 가상공간의 3차원 지도를 더 생성할 수 있다.
또 다른 실시예에서는, 생성부(미도시)는 3차원 지도에 대응되는 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 그 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고, 대표이미지와 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 지형정보에 투영함으로써 3차원 지도를 생성할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 소정의 공간에 대하여 360 이미지를 제작하는 방법에 있어서,
    적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 정보수신단계;
    상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 대상선택단계;
    상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 이미지픽셀값취득단계; 및
    상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 대상픽셀구성단계
    를 포함하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  2. 제1항에 있어서,
    상기 대상선택단계와 상기 이미지픽셀값취득단계의 사이에,
    상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 복수대응확인단계를 더 포함하고,
    상기 대상픽셀구성단계는
    상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  3. 제2항에 있어서,
    상기 대상선택단계, 상기 이미지픽셀값취득단계, 상기 복수대응확인단계, 상기 대상픽셀구성단계를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 360이미지생성단계를 더 포함하는 것을 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  4. 제3항에 있어서,
    상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 생성하는 3차원지도생성단계를 더 포함하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  5. 제4항에 있어서,
    상기 3차원지도생성단계는
    상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고,
    상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 방법.
  6. 소정의 공간에 대하여 360 이미지를 제작하는 장치에 있어서,
    적어도 하나의 카메라를 이용해 촬영된 복수의 카메라 이미지, 상기 복수의 카메라 이미지가 촬영된 카메라의 위치 및 방향에 대한 정보인 포즈정보, 상기 360 이미지의 원점 위치에 대한 정보인 위치정보, 상기 공간에서 측정된 복수의 깊이값에 대응되는 지점에 관한 정보인 깊이정보, 상기 복수의 카메라 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 카메라 모델 및 상기 360 이미지에 포함된 픽셀과 상기 깊이정보에 포함된 지점 사이의 대응관계를 나타내는 360 모델을 포함하는 360 이미지제작정보를 수신하는 수신부;
    상기 위치정보, 상기 360 모델 및 상기 깊이정보를 이용하여, 상기 깊이정보에 포함된 복수의 지점 중에서 상기 360 이미지에 포함된 픽셀인 대상픽셀에 대응되는 깊이정보지점을 선택하는 선택부;
    상기 포즈정보, 상기 카메라 모델 및 상기 깊이정보를 이용하여, 상기 복수의 카메라 이미지 중에서 상기 깊이정보지점에 대응되는 카메라 이미지의 픽셀의 픽셀값을 취득하는 취득부; 및
    상기 취득된 카메라 이미지의 픽셀값을 이용하여 상기 대상픽셀의 픽셀값을 구성하는 구성부
    를 포함하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  7. 제6항에 있어서,
    상기 깊이정보지점이 상기 복수의 카메라 이미지 중 2개 이상의 카메라 이미지의 픽셀에 대응되는지 여부를 확인하는 확인부를 더 포함하고,
    상기 구성부는
    상기 깊이정보지점이 상기 2개 이상의 카메라 이미지의 픽셀에 대응되는 경우, 상기 2개 이상의 카메라 이미지의 픽셀 각각에 소정의 가중치를 부여하여 상기 대상픽셀의 픽셀값을 구성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  8. 제7항에 있어서,
    상기 선택부, 상기 취득부, 상기 확인부 및 상기 구성부를 상기 360 이미지에 포함된 모든 픽셀에 대해 반복 적용하여 상기 360 이미지를 생성하는 생성부를 더 포함하는 것을 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  9. 제8항에 있어서,
    상기 생성부는
    상기 생성된 360 이미지를 상기 깊이정보에 기반하는 지형정보에 투영하여 상기 공간에 대응되는 가상공간의 3차원 지도를 더 생성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
  10. 제9항에 있어서,
    상기 생성부는
    상기 3차원 지도에 대응되는 상기 가상공간의 임의의 시야를 대표하는 360 이미지를 대표이미지로 선정하고, 상기 대표이미지로 표현할 수 없는 유실시야를 표현하기 위해 상기 대표이미지 이외의 적어도 하나의 360 이미지를 보완이미지로 지정하고,
    상기 대표이미지와 상기 보완이미지의 정보에 가중치를 부여하여 임의의 시야에 대응하는 투영이미지를 생성하여, 상기 지형정보에 투영함으로써 3차원 지도를 생성하는 것을 특징으로 하는 깊이정보를 이용한 360 이미지 제작 장치.
KR1020217010004A 2018-10-04 2019-10-04 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법 KR102467556B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20180118379 2018-10-04
KR1020180118379 2018-10-04
PCT/KR2019/013030 WO2020071849A1 (ko) 2018-10-04 2019-10-04 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법

Publications (2)

Publication Number Publication Date
KR20210046799A true KR20210046799A (ko) 2021-04-28
KR102467556B1 KR102467556B1 (ko) 2022-11-17

Family

ID=70054880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010004A KR102467556B1 (ko) 2018-10-04 2019-10-04 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법

Country Status (3)

Country Link
US (1) US20200286205A1 (ko)
KR (1) KR102467556B1 (ko)
WO (1) WO2020071849A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240069976A (ko) 2022-11-14 2024-05-21 서울과학기술대학교 산학협력단 휴먼 slam을 위한 영상 녹화시 다중 360 이미지 제작 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339472B1 (ko) * 2020-12-23 2021-12-16 고려대학교 산학협력단 3차원 공간 모델 생성 방법 및 장치
CN112883494B (zh) * 2021-03-17 2022-07-19 清华大学 自行车三维模型重建方法和装置
WO2023241782A1 (en) * 2022-06-13 2023-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Determining real-world dimension(s) of a three-dimensional space

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130004060A1 (en) * 2011-06-29 2013-01-03 Matthew Bell Capturing and aligning multiple 3-dimensional scenes
KR20170007098A (ko) * 2015-07-08 2017-01-18 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US20180144547A1 (en) * 2015-06-30 2018-05-24 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
US9619691B2 (en) * 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
WO2017031117A1 (en) * 2015-08-17 2017-02-23 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130004060A1 (en) * 2011-06-29 2013-01-03 Matthew Bell Capturing and aligning multiple 3-dimensional scenes
US20180144547A1 (en) * 2015-06-30 2018-05-24 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
KR20170007098A (ko) * 2015-07-08 2017-01-18 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240069976A (ko) 2022-11-14 2024-05-21 서울과학기술대학교 산학협력단 휴먼 slam을 위한 영상 녹화시 다중 360 이미지 제작 시스템

Also Published As

Publication number Publication date
US20200286205A1 (en) 2020-09-10
WO2020071849A1 (ko) 2020-04-09
KR102467556B1 (ko) 2022-11-17

Similar Documents

Publication Publication Date Title
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
KR102467556B1 (ko) 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
US11354840B2 (en) Three dimensional acquisition and rendering
KR102227583B1 (ko) 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
CN114119849A (zh) 三维场景渲染方法、设备以及存储介质
CN103988048B (zh) 在空间编码幻灯片图像上的模式的对准方法和系统
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
CN108205797A (zh) 一种全景视频融合方法及装置
JP4839237B2 (ja) ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体
KR102152432B1 (ko) 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
CN104854426A (zh) 用于为了三维图像生成来标记图像的系统和方法
JP2016537901A (ja) ライトフィールド処理方法
CN110458932A (zh) 图像处理方法、装置、系统、存储介质和图像扫描设备
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
JP2013101464A (ja) 画像処理装置および画像処理方法
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
Martell et al. Benchmarking structure from motion algorithms of urban environments with applications to reconnaissance in search and rescue scenarios
JP2008310724A (ja) ３次元形状復元装置，３次元形状復元方法，３次元形状復元プログラム及びそのプログラムを格納した記録媒体
US20140192045A1 (en) Method and apparatus for generating three-dimensional caricature using shape and texture of face
CN103530869B (zh) 用于匹配移动质量控制的系统和方法
Aliakbarpour et al. Imu-aided 3d reconstruction based on multiple virtual planes
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right