KR20190042187A - 깊이 값을 추정하는 방법 및 장치 - Google Patents

깊이 값을 추정하는 방법 및 장치 Download PDF

Info

Publication number
KR20190042187A
KR20190042187A KR1020170133815A KR20170133815A KR20190042187A KR 20190042187 A KR20190042187 A KR 20190042187A KR 1020170133815 A KR1020170133815 A KR 1020170133815A KR 20170133815 A KR20170133815 A KR 20170133815A KR 20190042187 A KR20190042187 A KR 20190042187A
Authority
KR
South Korea
Prior art keywords
pixel
frame
frames
mesh
depth value
Prior art date
Application number
KR1020170133815A
Other languages
English (en)
Other versions
KR102468897B1 (ko
Inventor
박승인
안민수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170133815A priority Critical patent/KR102468897B1/ko
Priority to US15/986,368 priority patent/US10621783B2/en
Priority to CN201810686860.3A priority patent/CN109671115B/zh
Priority to JP2018133934A priority patent/JP7173772B2/ja
Priority to EP18190427.7A priority patent/EP3471057B1/en
Publication of KR20190042187A publication Critical patent/KR20190042187A/ko
Application granted granted Critical
Publication of KR102468897B1 publication Critical patent/KR102468897B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 깊이 값을 추정하는 방법 및 장치는 입력 영상으로부터 제1 프레임 및 제2 프레임을 포함하는 복수의 프레임들을 선택하고, 복수의 프레임들 각각의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 복수의 프레임들마다 생성한 다각형들을 포함하는 메시를 기초로, 제1 프레임의 픽셀에 대응되는 제2 프레임의 대응 픽셀의 검색 범위를 설정하며, 검색 범위를 기초로 픽셀과 대응 픽셀을 매칭시켜 픽셀의 깊이 값을 추정한다.

Description

깊이 값을 추정하는 방법 및 장치{METHOD AND APPARATUS OF ESTIMATING DEPTH VALUE}
아래 실시예들은 단안 카메라를 이용하여 깊이 값을 추정하는 방법 및 장치에 관한 것이다.
2차원 입력 영상은 깊이 추정(depth estimation)을 통해 3차원 영상으로 재구성(reconstruction)될 수 있다. 2차원 입력 영상의 깊이를 추정하는 데에는 예를 들어, 깊이 카메라(depth camera)를 이용하여 깊이 값을 추정하는 방법, 두 대의 카메라를 이용하여 획득한 좌, 우 양안 영상들에 스테레오 비전(stereo vision) 기술을 적용하여 깊이 값을 추정하는 방법, 또는 이동중인 카메라의 위치를 측정하면서 동시에 주변 환경의 지도를 작성하는 SLAM(Simultaneous Localization and Mapping) 기법 등이 이용될 수 있다.
모바일 디바이스(mobile device)에서 영상의 깊이 값을 추정하는 경우, 깊이 카메라 또는 두 대의 카메라와 같은 부가적인 하드웨어 장치를 필요로 할 수 있다. 또한, 모바일 디바이스의 소형화로 인해 두 대의 카메라 간의 적절한 거리 확보가 어려우며, 한정된 연산 자원(computational resource)으로 인해 SLAM 기법에 요구되는 연산을 실시간으로 처리하는 데에 어려움이 있다.
일 실시예에 따르면, 깊이 값을 추정하는 방법은 입력 영상으로부터 복수의 프레임들-상기 복수의 프레임들은 제1 프레임 및 제2 프레임을 포함함-을 선택하는 단계; 상기 복수의 프레임들 각각의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 상기 복수의 프레임들 별로 다각형들을 포함하는 메시(mesh)를 생성하는 단계; 상기 메시를 기초로, 상기 제1 프레임의 픽셀에 대응되는 상기 제2 프레임의 대응 픽셀(pixel correspondence)의 검색 범위를 설정하는 단계; 및 상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀을 매칭(matching)시켜 상기 픽셀의 깊이 값을 추정하는 단계를 포함한다.
상기 검색 범위를 설정하는 단계는 상기 메시에 포함된 다각형들의 깊이 값들을 기초로, 상기 다각형들 중 어느 하나의 다각형에 위치하는 상기 제1 프레임의 픽셀에 대응되는 상기 대응 픽셀의 검색 범위를 설정하는 단계를 포함할 수 있다.
상기 검색 범위를 설정하는 단계는 상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 기초로, 상기 제2 프레임에서 상기 픽셀에 대응되는 대응 픽셀의 검색 범위를 설정하는 단계를 포함할 수 있다.
상기 검색 범위를 설정하는 단계는 상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는 단계; 및 상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영(projection)하여 상기 대응 픽셀의 검색 범위를 설정하는 단계를 포함할 수 있다.
상기 픽셀의 3차원 후보 좌표들을 예측하는 단계는 상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들 각각을 사용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는 단계를 포함할 수 있다.
상기 픽셀의 3차원 후보 좌표들을 예측하는 단계는 상기 메시에서 상기 제1 프레임의 픽셀이 포함된 다각형의 깊이 값들의 보간(interpolation)된 값을 산출하는 단계; 및 상기 보간된 값을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는 단계를 포함할 수 있다.
상기 대응 픽셀의 검색 범위를 설정하는 단계는 상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영하여 상기 대응 픽셀의 후보들을 결정하는 단계; 및 상기 대응 픽셀의 후보들을 기준으로 에피폴라 라인(epipolar line)을 따라 상기 제2 프레임에서의 상기 대응 픽셀의 검색 범위를 설정하는 단계를 포함할 수 있다.
상기 픽셀의 깊이 값을 추정하는 단계는 상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀들의 후보들을 매칭시켜 상기 픽셀의 깊이 값을 추정하는 단계를 포함할 수 있다.
상기 복수의 프레임들을 선택하는 단계는 상기 입력 영상을 촬영한 카메라의 포즈 정보를 이용하여 상기 복수의 프레임들을 페어링(pairing)하는 단계를 포함할 수 있다.
상기 복수의 프레임들을 페어링하는 단계는 상기 복수의 프레임들 간의 중첩(overlap) 정도, 상기 복수의 프레임들 간의 베이스라인(baseline)의 길이, 상기 복수의 프레임들 간의 시야각(viewing angle) 중 어느 하나 또는 이들의 조합에 기초하여 상기 복수의 프레임들을 페어링하는 단계를 포함할 수 있다.
상기 메시를 생성하는 단계는 상기 복수의 프레임들 별로 상기 깊이 값을 포함하는 특징점들을 꼭지점으로 하는 다각형들을 포함하는 상기 메시를 생성하는 단계를 포함할 수 있다.
상기 깊이 값을 추정하는 방법은 상기 메시에 포함된 다각형들 중 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 결정하는 단계를 더 포함할 수 있다.
상기 깊이 값을 추정하는 방법은 상기 입력 영상을 촬영한 카메라의 포즈 정보를 추정하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 깊이 값을 추정하는 장치는 입력 영상을 촬영하는 카메라; 및 상기 입력 영상으로부터 복수의 프레임들-상기 복수의 프레임들은 제1 프레임 및 제2 프레임을 포함함-을 선택하고, 상기 복수의 프레임들 각각의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 상기 복수의 프레임들 별로 다각형들을 포함하는 메시를 생성하고, 상기 메시를 기초로, 상기 제1 프레임의 픽셀에 대응되는 상기 제2 프레임의 대응 픽셀의 검색 범위를 설정하며, 상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀을 매칭시켜 상기 픽셀의 깊이 값을 추정하는 프로세서를 포함한다.
상기 프로세서는 상기 메시에 포함된 다각형들의 깊이 값들을 기초로, 상기 다각형들 중 어느 하나의 다각형에 위치하는 상기 제1 프레임의 픽셀에 대응되는 상기 대응 픽셀의 검색 범위를 설정할 수 있다.
상기 프로세서는 상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 기초로, 상기 제2 프레임에서 상기 픽셀에 대응되는 대응 픽셀의 검색 범위를 설정할 수 있다.
상기 프로세서는 상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측하고, 상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영하여 상기 대응 픽셀의 검색 범위를 설정할 수 있다.
상기 프로세서는 상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들 각각을 사용하여 상기 픽셀의 3차원 후보 좌표들을 예측할 수 있다.
상기 픽셀의 3차원 후보 좌표들을 예측하는 단계는 상기 메시에서 상기 제1 프레임의 픽셀이 포함된 다각형의 깊이 값들의 보간된 값을 산출하고, 상기 보간된 값을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측할 수 있다.
상기 프로세서는 상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영하여 상기 대응 픽셀의 후보들을 결정하고, 상기 대응 픽셀의 후보들을 기준으로 에피폴라 라인을 따라 상기 제2 프레임에서의 상기 대응 픽셀의 검색 범위를 설정할 수 있다.
상기 프로세서는 상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀들의 후보들을 매칭시켜 상기 픽셀의 깊이 값을 추정할 수 있다.
상기 프로세서는 상기 카메라의 포즈 정보를 이용하여 상기 복수의 프레임들을 페어링할 수 있다.
상기 프로세서는 상기 복수의 프레임들 간의 중첩 정도, 상기 복수의 프레임들 간의 베이스라인의 길이, 상기 복수의 프레임들 간의 시야각 중 어느 하나 또는 이들의 조합에 기초하여 상기 복수의 프레임들을 페어링할 수 있다.
상기 프로세서는 상기 복수의 프레임들 별로 상기 깊이 값을 포함하는 특징점들을 꼭지점으로 하는 다각형들을 포함하는 상기 메시를 생성할 수 있다.
상기 프로세서는 상기 메시에 포함된 다각형들 중 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 결정할 수 있다.
상기 프로세서는 상기 카메라의 포즈 정보를 추정할 수 있다.
도 1은 일 실시예에 따른 깊이 값을 추정하는 방법을 나타낸 흐름도.
도 2는 일 실시예에 따라 입력 영상으로부터 복수의 프레임들을 선택하는 방법을 설명하기 위한 도면.
도 3은 일 실시예에 따라 메시를 생성하는 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따라 검색 범위를 설정하는 방법을 나타낸 흐름도.
도 5는 일 실시예에 따라 대응 픽셀의 검색 범위를 설정하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 메시에서 픽셀이 포함된 다각형이 한 객체에 위치하는 경우 및 여러 객체에 걸쳐 위치하는 경우를 설명하기 위한 도면.
도 7은 일 실시예에 따라 생성된 깊이 맵을 도시한 도면.
도 8 내지 도 9는 다른 실시예들에 따른 깊이 값을 추정하는 방법을 나타낸 흐름도.
도 10은 일 실시예에 따른 깊이 값을 추정하는 장치의 블록도.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것이다. 개시된 실시예들은 다양한 다른 형태로 변경되어 실시될 수 있으며 본 명세서의 범위는 개시된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 다양한 증강 현실(Augmented Reality; AR) 응용 분야들에서 입력 영상의 3차원 장면을 재구성하는 과정에서 깊이 값을 추정하는 데에 이용될 수 있다. 실시예들은 깊이 카메라 등의 부가적인 하드웨어 구성이 없이도 하나의 카메라에서 획득되는 영상들에 의해 빠른 시간 내에 조밀한 깊이 맵을 생성할 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 실시간으로 증강 현실 어플리케이션들을 구현하는 데에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 깊이 값을 추정하는 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 깊이 값을 추정하는 장치(이하, '추정 장치')는 입력 영상으로부터 복수의 프레임들을 선택한다(110). 입력 영상은 추정 장치에 입력되는 영상으로, 예를 들어, 실시간 영상(live image) 또는 동영상(moving picture)일 수 있다. 입력 영상은 복수의 프레임들을 포함할 수 있다. 이때, 선택된 프레임들은 예를 들어, 입력 영상에 포함된 복수의 프레임들 중 일부에 해당하는 프레임들로서, 선택되지 않은 프레임들과 구분하기 위해 '키 프레임들(key frames)'이라 부르기로 한다. 입력 영상은 추정 장치에 포함된 카메라(예를 들어, 도 10에 도시된 카메라(1010))를 통해 캡쳐된 것일 수도 있고, 추정 장치의 외부로부터 획득된 것일 수도 있다. 추정 장치가 입력 영상으로부터 복수의 프레임들을 선택하는 방법은 아래의 도 2를 참조하여 구체적으로 설명하기로 한다.
추정 장치는 단계(110)에서 선택된 복수의 프레임들 각각의 특징점들(feature points) 중 깊이 값을 포함하는 특징점들을 이용하여, 복수의 프레임들마다 다각형들을 포함하는 메시(mesh)를 생성한다(120). 추정 장치는 복수의 프레임들, 다시 말해, 키 프레임들마다에 대하여 깊이 값을 포함하는 특징점들을 이용하여 메시를 생성할 수 있다. 추적 장치는 예를 들어, 키 프레임 A의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 키 프레임 A에 대한 메시를 생성할 수 있다., 또한, 추적 장치는 키 프레임 B의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 키 프레임 B에 대한 메시를 생성할 수 있다. 특징점은 프레임 내 특징이 되는 점으로, 해당하는 프레임 내 2차원 위치에 대응하는 정보를 포함할 수 있다. 각각의 프레임은 복수의 특징점들을 포함할 수 있으며, 프레임으로부터 특징점들을 검출하는 동작에는 예를 들어, 에지 검출을 위한 캐니(Canny) 연산자, 소벨(Sobel) 연산자, LoG(Laplacian of Gaussian) 연산자, DoG(Difference of Gaussian) 연산자, 코너(corner) 검출을 위한 해리스 연산자(Harris operator), 지역 공간 구조의 묘사를 위한 센서스 변환(Census transform) 연산자, 프리윗(Prewitt) 연산자, 로버츠(Roberts) 연산자, 라플라시안(Laplacian) 연산자, 및 컴퍼스(Compass) 연산자 등을 이용하는 일반적인 특징점 검출 알고리즘이 적용될 수 있으므로 보다 상세한 설명은 생략한다.
실시예에 따르면, 특징점들 중 적어도 일부는 추가적으로 깊이 값에 대응하는 정보를 더 포함할 수 있다. 예를 들어, 입력 영상을 촬영한 카메라의 포즈 정보를 추정하는 과정에서 특징점들 중 적어도 일부의 3차원 위치에 대응하는 정보가 획득될 수 있다. 3차원 위치는 깊이 값을 포함한다. 추정 장치는 복수의 프레임들 각각의 특징점들 중 깊이 값을 포함하는 특징점들에 기초하여 복수의 프레임들마다 다각형들을 생성하고, 생성된 다각형들을 포함하는 메시를 생성할 수 있다. 추정 장치는 예를 들어, 깊이 값을 포함하는 특징점들을 꼭지점으로 하는 다각형들을 포함하는 메시를 복수의 프레임들마다 생성할 수 있다.
일 실시예에서 추정 장치가 생성하는 메시는 입력 영상의 장면 구조(scene structure)를 나타내는 것으로서, 입력 영상의 깊이 공간(depth space)에 대한 사전 정보(Prior information)에 해당할 수 있다. 본 명세서에서는 설명의 편의를 위하여 추정 장치가 메시를 생성하는 것으로 기재하였으나 반드시 이에 한정되는 것은 아니다. 추정 장치는 메시 이외에도 입력 영상의 장면 구조를 표현할 수 있는 다양한 기하(geometry) 구조를 생성할 수 있다. 추정 장치가 메시를 생성하는 방법은 아래의 도 3을 참조하여 구체적으로 설명하기로 한다.
입력 영상으로부터 선택된 복수의 프레임들은 예를 들어, 제1 프레임 및 제2 프레임을 포함한다. 추정 장치는 제1 프레임의 픽셀 및 제1 프레임의 픽셀에 대응되는 제2 프레임의 대응 픽셀(pixel correspondence)을 매칭함으로써 픽셀과 대응 픽셀 사이의 시차(disparity) 값을 추정하고, 픽셀 또는 대응 픽셀의 깊이 값을 결정할 수 있다. 여기서, 제1 프레임의 픽셀과 제2 프레임의 대응 픽셀을 매칭하는 것은 제1 프레임의 픽셀과 제2 프레임에 포함된 픽셀들을 비교함으로써, 제1 프레임의 픽셀에 대응하는 제2 프레임의 대응 픽셀을 찾는 스테레오 매칭(stereo matching)으로 이해될 수 있다. 추정 장치는 예를 들어, 윈도우 기반의 스테레오 매칭(window-based stereo matching) 알고리즘에 의해 픽셀과 대응 픽셀을 매칭시켜 픽셀의 깊이 값을 추정할 수 있다. 윈도우 기반의 스테레오 매칭 알고리즘은 예를 들어, 일정한 크기의 윈도우를 이용하여 각 프레임에서 최대 검색 범위에 해당하는 영역에서 픽셀들을 추출하여 스테레오 매칭을 수행하는 방식이다. 추정 장치는 예를 들어, 동일 사이즈의 다수의 윈도우들(multiple windows)을 이용하거나, 또는 각도가 조정되는 쉬프티드 윈도우(shifted window)를 이용하여 윈도우를 재설정한 후, 픽셀들을 추출하여 스테레오 매칭을 수행할 수도 있다.
추정 장치는 단계(120)에서 복수의 프레임들마다 생성된 메시를 기초로, 제1 프레임의 픽셀에 대응되는 제2 프레임의 대응 픽셀의 검색 범위를 설정한다(130). 추정 장치는 각 메시에 포함된 다각형들의 깊이 값들을 기초로, 제1 프레임의 픽셀에 대응되는 제2 프레임의 대응 픽셀을 검출하기 위하여 제2 프레임 내에서 검색을 수행하는 검색 범위를 감소시킬 수 있다. 예를 들어, 추정 장치는 각 메시에 포함된 다각형들 중 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 기초로 제2 프레임에서 픽셀에 대응되는 대응 픽셀의 검색 범위를 설정할 수 있다. 추정 장치가 검색 범위를 설정하는 방법은 아래의 도 4 내지 도 6을 참조하여 구체적으로 설명하기로 한다.
추정 장치는 단계(130)에서 설정된 검색 범위를 기초로 픽셀과 대응 픽셀을 매칭(matching)시켜 픽셀의 깊이 값을 추정한다(140). 추정 장치는 제2 프레임 내에서 제1 프레임의 픽셀에 대응 가능한 모든 후보 범위를 검색하는 대신, 단계(130)에서 설정된 검색 범위 내에서 매칭을 수행할 수 있다. 이로 인하여, 깊이 값을 추정하는데 필요한 자원의 양이 감소될 수 있다. 실시예에 따르면, 추정 장치는 추정한 픽셀의 깊이 값을 이용하여 예를 들어, 도 7에 도시된 것과 같은 조밀한 깊이 맵(700)을 생성할 수 있다.
도 2는 일 실시예에 따라 입력 영상으로부터 복수의 프레임들을 선택하는 방법을 설명하기 위한 도면이다. 도 2를 참조하면, 객체들(예를 들어, 미키 마우스 인형과 자동차 장난감)을 촬영한 입력 영상(210)의 일 예시가 도시된다. 이때, 입력 영상(210)은 실시간 영상 또는 동영상으로서 다수 개의 프레임들(230)을 포함할 수 있다. 실시예에 따라서, 입력 영상은 복수 개일 수도 있다.
추정 장치는 입력 영상(210)으로부터 복수의 키 프레임들(key frame)(250)을 선택할 수 있다. 이때, 복수의 키 프레임들(250)은 입력 영상(210)에 포함된 다수 개의 프레임들(230) 중에서 깊이 추정에 이용되는 프레임들에 해당할 수 있다. 키 프레임들(250)은 다수 개의 프레임들(230) 중 선택된 일부 프레임에 해당할 수 있다.
일 실시예에 따른 추정 장치는 입력 영상(210)을 촬영한 카메라(또는 촬영 장치)의 포즈 정보를 추정할 수 있다. 입력 영상(210)이 입력되면, 추정 장치는 예를 들어, 특징 기반(Feature based)의 SLAM(Simultaneous Localization and Mapping) 기법을 통해 매 프레임마다의 카메라의 포즈 정보를 획득할 수 있다. 카메라의 포즈 정보는 예를 들어, 카메라의 위치에 해당하는 X(수평), Y(수직), Z(깊이)와 카메라의 자세(orientation)에 해당하는 피치(pitch), 요(yaw), 및 롤(roll)을 포함하는 6 자유도(6 DoF) 카메라 포즈일 수 있다. 카메라의 포즈 정보를 획득하는 데에는 특징 기반의 SLAM 기법 이외에도, 예를 들어, 다이렉트(Direct) SLAM 기법, EKF(Extended Kalman Filter) SLAM 기법, 패스트(Fast) SLAM 기법, 및 LSD(Large-Scale Direct Monocular) SLAM 기법 등 다양한 SLAM 기법들이 이용될 수 있다.
예를 들어, 입력 영상(210)이 추정 장치의 외부로부터 획득된 것인 경우, 추정 장치는 입력 영상(210) 이외에도 입력 영상(210)을 촬영한 촬영 장치의 회전(rotation) 정보 및 이동(translation) 정보 등과 같은 포즈 정보, 촬영 장치의 위치 정보 및/또는 촬영 장치의 캘리브레이션 정보(calibration information) 등을 함께 수신할 수 있다.
추정 장치는 카메라의 포즈 정보를 이용하여 프레임들(230) 중 깊이 추정을 위한 복수의 키 프레임들(250)을 페어링(pairing)할 수 있다. 여기서, 페어링은 예를 들어, 키 프레임 1(251)과 키 프레임 2(253), 키 프레임 2(253)과 키 프레임 3(255), 또는 키 프레임 3(255)과 키 프레임 4(257)을 하나의 페어(pair)로 짝 짓는 것에 해당한다.
키 프레임 1(251)과 키 프레임 2(253)는 모션 스테레오 페어 1(271)이 되고, 키 프레임 2(253)과 키 프레임 3(255)는 모션 스테레오 페어 2(273)이 되며, 키 프레임 3(255)과 키 프레임 4(257)는 모션 스테레오 페어 3(275)가 될 수 있다.
추정 장치는 프레임들 간의 스테레오 매칭(stereo matching)이 용이하도록 예를 들어, 복수의 프레임들 간의 중첩(overlap) 정도, 복수의 프레임들 간의 베이스라인(baseline)의 길이, 복수의 프레임들 간의 시야각(viewing angle) 등의 조건을 검사할 수 있다. 추정 장치는 중첩 정보, 베이스라인의 길이, 시야각 중 어느 하나 또는 이들의 조합에 의해 페어링할 복수의 프레임들을 선택할 수 있다. 추정 장치는 예를 들어, 중첩 정도가 일정 임계치 이상인 프레임들을 서로 페어링할 수 있다. 또한 추정 장치는 중첩 정도가 일정 임계치 이상인 프레임들 중에서 베이스라인의 길이가 미리 설정된 기준값보다 큰 프레임들을 페어링하거나, 또는 프레임들 간의 시야각이 시야각 임계치를 초과하지 않는 프레임들을 선택하여 서로 페어링할 수 있다.
실시예에 따라서, 추정 장치는 프레임들 간의 스테레오 매칭을 위한 별도의 키 프레임 세트를 생성할 수도 있으나, SLAM 기법의 수행 중에 생성되는 키 프레임들 중 전술한 여러 조건에 부합하는 프레임들을 선택하여 페어링하는 것이 효율적이다.
일 실시예에 따른 추정 장치는 카메라의 포즈 추정을 통해 얻어지는 특징점들에 대응되는 3차원 맵 포인트들 및 3차원 맵을 사전 정보로 이용함으로써 보다 효율적으로 조밀한 깊이 맵을 생성할 수 있다.
도 3은 일 실시예에 따라 메시를 생성하는 방법을 설명하기 위한 도면이다. 도 3(a)를 참조하면, 프레임(310)의 특징점들(315)을 나타낸 도면이 도시된다. 도 3(b)를 참조하면, 도 3(a)에 도시된 특징점들(315) 중 깊이 값을 포함하는 특징점들(320)이 맵핑된 3차원 맵(330)이 도시된다. 도 3(c)를 참조하면, 특징점들(320)을 이용하여 생성된 메시(350) 및 메시(350)에 포함된 어느 하나의 다각형(355)이 도시된다.
추정 장치는 예를 들어, 특징 기반의 SLAM 기법을 이용하여 매 프레임(310)마다 핵심적인 특징점들(315)을 찾을 수 있다. 추정 장치는 특징점들(315)을 도 3(b)에 도시된 3차원 맵(330)에 매칭(matching)하여 각 프레임의 6 자유도 카메라 포즈를 산출할 수 있다. 추정 장치는 특징 기반의 SLAM 기법이 수행될수록, 선형 삼각 측량(linear triangulation) 등을 통해 프레임(310)에서 찾아지는 특징점들(315)의 실제 3차원 공간상 위치인 맵 포인트(map point)를 찾아내고, 이를 바탕으로 3차원 맵(330)을 갱신할 수 있다.
일 실시예에서는 2차원 메시의 생성을 위한 별도의 계산이 없이도 카메라 포즈를 추정하는 과정에서 생성되는 특징점들을 이용함으로써 특징 기반의 SLAM 기법을 효율적으로 이용할 수 있다. 또는 실시예에 따라서 추정 장치는 3차원 위치가 알려진, 다시 말해 깊이 값을 알고 있는 픽셀들 가운데 일부를 영상 내에 골고루 분포하도록 분산시킨 후, 메시 생성 시의 입력으로 사용함으로써 다이렉트 SLAM 기법을 활용할 수도 있다.
추정 장치는 프레임(310) 내에 존재하는 특징점들(315) 중 3차원 위치가 알려져 깊이 값을 포함하는 특징점들(예를 들어, 도 3(b)에 도시된 특징점들(320))을 선택하여 도 3(c)에 도시된 것과 같은 2차원 메시(350)를 생성할 수 있다. 추정 장치는 예를 들어, 델로네 삼각 분할 방법(Delaunay triangulation)을 통해 2차원 메시(350)를 생성할 수 있다. 델로네 삼각 분할 방법은 평면상의 점(들)의 집합에서 대한 보로노이 다이어그램(Voronoi diagram)에서 인접한 모든 보로노이 다각형에 대응되는 두 점을 선분으로 연결하여 삼각형(triangle)의 네트워크를 구성하는 방법으로서, 삼각형을 정의하는 3개의 점을 제외한 어떤 다른 점도 삼각형을 감싸고 있는 원에 포함되지 않아야 하는 조건을 만족해야 한다. 여기서, 2차원 삼각화 메시는 3차원 월드 좌표 정보(map points)가 아닌, 각 프레임(2차원 영상) 내의 영상 좌표를 사용하여 삼각화를 수행함을 의미한다. 2차원 메시(350)는 삼각화 메시(triangulation mesh)일 수 있다.
보다 구체적으로, 추정 장치는 예를 들어, 도 3(a)에 도시된 특징점들(315) 중 (u p , v p )와 같이 도 3(b)에 도시된 3차원 맵(330)에서 3차원 위치 정보(Xp, Yp, Zp)가 알려진, 그러므로 깊이 값을 알고 있는 특징점들(320)을 이용하여 도 3(c)에 도시된 것과 같은 2차원 메시(350)를 생성할 수 있다. 2차원 메시(350)는 장면 구조를 담고 있기 때문에 깊이 추정을 빠르게 수행하기 위한 근사치 정보를 제공할 수 있다.
일 실시예에 따른 추정 장치는 프레임 내 각 픽셀들의 깊이를 추정할 때, 2차원 메시(350)에서 해당 픽셀이 존재하는 삼각형(355)의 범위 안에서 깊이 값을 결정할 수 있다. 이 때, 2차원 메시(350)에 포함된 삼각형(355)의 꼭지점은 깊이 값을 포함하는 특징점들에 해당한다. 예를 들어, 삼각형(355)의 각 꼭지점마다에는 상응하는 깊이 값{(zl), (zm), (zn)} 또는 상응하는 3차원 정보(예를 들어, (ul, vl, zl), (um, vm, zm), (un, vn, zn))가 저장될 수 있다.
도 4는 일 실시예에 따라 검색 범위를 설정하는 방법을 나타낸 흐름도이다. 도 4를 참조하면, 일 실시예에 따른 추정 장치는 메시에서 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 이용하여 픽셀의 3차원 후보 좌표들을 예측할 수 있다(410). 추정 장치는 예를 들어, 메시에서 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들 각각을 사용하여 픽셀의 3차원 후보 좌표들을 예측할 수 있다. 또는 추정 장치는 메시에서 제1 프레임의 픽셀이 포함된 다각형의 깊이 값들의 보간(interpolation)된 값을 산출하고, 보간된 값을 이용하여 픽셀의 3차원 후보 좌표들을 예측할 수 있다. 이때, 메시는 제1 프레임에 대응하여 생성된 메시일 수 있다.
추정 장치는 단계(410)에서 예측된 픽셀의 3차원 후보 좌표들을 제2 프레임의 좌표계로 투영(projection)하여 대응 픽셀의 검색 범위를 설정할 수 있다(420). 추정 장치는 예를 들어, 픽셀의 3차원 후보 좌표들을 제2 프레임의 좌표계로 투영하여 대응 픽셀의 후보들을 결정하고, 대응 픽셀의 후보들을 기준으로 에피폴라 라인(epipolar line)을 따라 제2 프레임에서의 대응 픽셀의 검색 범위를 설정할 수 있다. 추정 장치가 대응 픽셀의 검색 범위를 설정하는 방법은 아래의 도 5를 참조하여 구체적으로 설명하기로 한다.
도 5는 일 실시예에 따라 대응 픽셀의 검색 범위를 설정하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 키 프레임 k(510)과 키 프레임 m(530)이 도시된다. 키 프레임 k(510)는 픽셀 p(505)를 포함하는 삼각형(515)의 메시를 포함한다. 키 프레임 k(510)을 촬영한 카메라의 렌즈 초점(Oi)과 키 프레임 m(530)을 촬영한 카메라의 렌즈 초점(Oj) 간의 포즈 정보는 회전 정보(Rji) 및 이동 정보(tji)일 수 있다.
도 5에서 렌즈 초점(Oi)과 렌즈 초점(Oj) 간을 연결한 라인(501)은 두 키 프레임들 간의 '베이스라인(baseline)'에 해당하고, 베이스라인(501)이 키 프레임 k(510) 및 키 프레임 m(530) 각각의 이미지 평면과 만나는 점 e와 e'은 '에피폴(epipole)'에 해당할 수 있다. 이때, 키 프레임 m(530)의 에피폴 e'를 통과하고, 렌즈 초점(Oi)과 키 프레임 k(510)에 포함된 픽셀 p(505)을 잇는 라인(520)과 나란한 라인(540)이 '에피폴라 라인(epipolar line)'에 해당할 수 다.
일 실시예에 따른 추정 장치는 키 프레임 k(510)의 전체 검색 범위에서 각 픽셀의 깊이 값을 찾는 대신, 메시에서 해당 픽셀(예를 들어, 픽셀 p(505))이 속한 삼각형(515)의 각 꼭지점이 갖는 깊이 값을 전파(propagation)하여 키 프레임 m(530)에서의 검색 범위를 축소(reduction)할 수 있다.
예를 들어, 도 5에서 키 프레임 k(510)의 픽셀 p(505)가 속한 삼각형(515)의 각 꼭지점의 깊이 값들이 {z1, z2, z3}라고 하자.
키 프레임 k(510)의 픽셀 p(505)의 대응 픽셀 p' 를 키 프레임 k(510)와 페어링된 키 프레임 m(530)에서 찾는 경우, 추정 장치는 픽셀 p(505)가 속한 삼각형(515)의 각 꼭지점의 깊이 값들 {z1, z2, z3}을 이용하여 픽셀 p(505)의 3차원 후보 좌표들을 예측할 수 있다. 3차원 후보 좌표들을 3차원 월드 좌표들에 해당할 수 있다.
추정 장치는 픽셀 p(505)가 속한 삼각형(505)의 각 꼭지점의 깊이 값들 {z1, z2, z3} 각각을 전파하여 픽셀 p의 3차원 후보 좌표들을 예측할 수 있다. 실시예에 따라서, 추정 장치는 픽셀 p(505)가 속한 삼각형(505)의 각 꼭지점의 깊이 값들 {z1, z2, z3}을 전파하는 대신, 평활화 제약 조건(smoothness constraint)을 가정하여 세 개의 깊이 값들{z1, z2, z3}의 보간된 값을 픽셀 p의 3차원 후보 좌표로 예측하여 계산 시간을 절약할 수도 있다. 이 경우, 보간된 값은 픽셀 p의 단일 후보 좌표가 될 수 있다.
평활화 제약 조건은 한 객체 내에서 깊이 값이 급격하게 변하지 않으므로 이웃에 있는 픽셀들과 동일 또는 유사한 깊이 값을 가진다는 것이다. 다만, 후술하는 도 6의 (b)에 도시된 것과 같이, 메시에 포함된 삼각형들이 하나의 객체가 아닌 복수 개의 객체에 걸쳐 있는 경우, 단일 후보 좌표로 예측된 깊이 값(보간된 값)의 오차는 크게 증가할 수도 있다.
추정 장치는 픽셀 p(505)의 3차원 후보 좌표들(또는 깊이 값들)을 바탕으로 픽셀 p(505)가 페어링된 키 프레임 m(530) 내에서 위치할 가능성이 있는 3차원 좌표를 찾아내고, 찾아진 3차원 좌표를 기초로 깊이 값을 추정할 수 있다.
추정 장치는 픽셀 p(505)의 3차원 후보 좌표들을 키 프레임 m(530)의 좌표계로 투영(projection)하여 픽셀 p(505)의 대응 픽셀의 후보들(p'1, p'2, p'3)(541, 543, 545)을 찾아낼 수 있다 추정 장치는 대응 픽셀의 후보들(p'1, p'2, p'3)(541, 543, 545)을 기준으로 에피폴라 라인(540)을 따라 약간의 변화량(variance)으로 검색 범위(550)를 설정할 수 있다. 이때, 약간의 변화량은 라인(520)에서 세 개의 깊이 값들{z1, z2, z3}이 갖는 변화량(±α)에 따라 변화될 수 있다.
추정 장치는 검색 범위(550)를 기초로 픽셀 p(505)과 대응 픽셀의 후보들(p'1, p'2, p'3)(541, 543, 545)을 스테레오 매칭시켜 픽셀 p(505)의 깊이 값을 추정할 수 있다.
추정 장치는 스테레오 매칭 시에 예를 들어, 윈도우(window) 기반의 접근 방법 이외에 기울어진 평면(slanted surface), 및/또는 색차(color difference) 등의 처리를 위한 다양한 매칭 기술들을 적용할 수 있다.
일 실시예에서는 전술한 바와 같이 메시에서 픽셀 p(505)가 포함된 삼각형(515)을 이용하여 에피폴라 라인(540) 전체가 아니라 일부(검색 범위(550))를 검색하고, 영상 내 모든 픽셀들에 대하여 픽셀 단위의 매칭을 수행함으써 모바일 디바이스에서도 실시간으로 조밀한 깊이 맵을 생성할 수 있다.
도 6은 일 실시예에 따른 메시에서 픽셀이 포함된 다각형이 한 객체에 위치하는 경우 및 여러 객체에 걸쳐 위치하는 경우를 설명하기 위한 도면이다. 도 6의 (a)를 참조하면, 한 객체(620) 상에 존재하는 특징점들에 의해 메시의 삼각형(610)이 구성되는 경우가 도시된다.
도 6의 (a)에 도시된 것과 같이 한 객체(620) 상에 존재하는 특징점들로 삼각형(610)이 구성될 경우, 삼각형(610)의 세 꼭지점의 깊이 값들 간의 차이가 크지 않다. 이러한 경우, 전술한 평활화 조건을 가정하여 세 꼭지점의 깊이 값들을 보간한 값을 픽셀 p의 단일 깊이 값(3차원 후보 좌표)으로 이용할 수 있다. 하지만, 한 객체(620)에 의해서는 특징점들이 조밀하게 찾아지지 않는 경우, 도 6의 (b)에 도시된 것과 같이 여러 개의 다른 객체들에 속하는 특징점들로 구성된 메시의 삼각형(650)이 생성될 수 있다.
도 6의 (b)를 참조하면, 두 개의 서로 다른 객체들(630, 640)에 속하는 특징점들에 의해 메시의 삼각형(650)이 구성되는 경우가 도시된다. 예를 들어, 도 6의 (b)에 도시된 것과 같이 메시의 삼각형(650)이 서로 다른 객체들(630, 640)에 포함되는 경우, 픽셀 p가 속한 삼각형(650)의 깊이 값들{z1, z2, z3} 각각을 사용하여 픽셀 p의 3차원 월드 좌표들을 생성하고, 3차원 월드 좌표들을 이용하여 대응 픽셀 p'을 찾는 것이 정확도 측면에서 유리할 수 있다.
도 7은 일 실시예에 따라 생성된 깊이 맵을 도시한 도면이다. 도 7을 참조하면, 일 실시예에 따른 추정 장치가 전술한 방법에 영상 내 모든 픽셀들에 대하여 추정한 픽셀의 깊이 값에 의해 생성된 깊이 맵(700)이 도시된다.
추정 장치는 깊이 맵(700)을 이용하여 입력 영상에 대한 3차원 영상을 재구성할 수 있다. 추정 장치는 예를 들어, 도 10에 도시된 디스플레이 장치(1050)를 이용하여 입력 영상으로부터 재구성된 3차원 영상을 디스플레이할 수 있다.
도 8은 다른 실시예에 따른 깊이 값을 추정하는 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 추정 장치는 카메라의 포즈 정보를 추정할 수 있다(810). 카메라의 포즈 정보는 예를 들어, 회전 매트릭스(rotation matrix) R, 이동 매트릭스(translation matrix) t 및 카메라의 위치 정보를 포함할 수 있다.
추정 장치는 카메라의 포즈정보를 이용하여 입력 영상으로부터 제1 프레임 및 제2 프레임을 포함하는 복수의 프레임들을 선택할 수 있다(820).
추정 장치는 선택된 복수의 프레임들 간의 정렬(alignment)을 위한 영상 렉티피케이션(image rectification)을 수행할 수 있다(830). 영상 렉티피케이션은 프레임들을 에피폴라 라인에 평행하도록 변환하는 과정에 해당한다. 영상 렉티피케이션을 수행하는 경우, 프레임들이 에피폴라 라인에 평행하게 정렬되어 있으므로 2차원의 에피폴라 라인 상에서의 검색이 아닌 1차원의 평면 직선(에피폴라 라인) 상에서의 시차 검색(disparity search)이 가능하다.
도 8의 단계(840)는 도 1의 단계(120)에 대응되고, 단계(850)은 도 1의 단계(130)에 대응되며, 단계(860)은 단계(140)에 대응되므로 해당 부분의 설명을 참조하기로 한다.
추정 장치는 단계(860)의 매칭 과정을 통해 추정된 픽셀의 깊이 값을 이용하여 깊이 맵을 생성할 수 있다(870).
도 9는 다른 실시예에 따라 깊이 값을 추정하는 방법을 나타낸 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 추정 장치는 모션 스테레오의 입력 영상을 2개 이상 사용하는 멀티 뷰 매칭(multi-view matching) 또한 수행할 수 있다.
도 9에 도시된 단계(910)는 도 8에 도시된 단계(810)과 동일하므로 해당 부분에 대한 설명을 참조하기로 한다. 또한, 도 9에 도시된 단계(920) 내지 단계(940)은 도 1에 도시된 단계(110) 내지 단계(140)과 동일하므로 해당 부분의 설명을 참고하기로 한다.
추정 장치는 단계(940)에서 설정된 검색 범위를 이용하여 멀티 뷰 매칭을 수행할 수 있다(950). 멀티 뷰 매칭은 멀티 뷰 프레임들(Multiview frames) 중에서 인접한 프레임들에 의한 여러 스테레오 페어들을 생성하고, 각 페어에 대해 독립적으로 깊이(depth)를 추정 후 최종적으로 깊이 퓨전(depth fusion)을 통해 최적의 결합 깊이(optimal joint depth) 값을 추정하기 위한 것이다.
추정 장치는 멀티 뷰 매칭을 통해 추정된 깊이 값(예를 들어, 최적의 결합 깊이 값)을 이용하여 깊이 맵을 생성할 수 있다(960). 입력 영상은 복수 개일 수도 있다.
도 10은 일 실시예에 따른 깊이 값을 추정하는 장치의 블록도이다. 도 10을 참조하면, 일 실시예에 따른 깊이 값을 추정하는 장치(이하, '추정 장치')(1000)는 카메라(1010), 프로세서(1030) 및 메모리(1040)를 포함한다. 추정 장치(1000)는 통신 인터페이스(1020) 및/또는 디스플레이 장치(1050)를 더 포함할 수 있다. 카메라(1010), 통신 인터페이스(1020), 프로세서(1030), 메모리(1040) 및 디스플레이 장치(1050)는 통신 버스(1005)를 통해 서로 통신할 수 있다.
추정 장치(1000)는 예를 들어, 스마트 폰을 포함하는 모바일 기기들, 내비게이터, 지능형 자동차 등과 같이 실시간으로 다양한 증강 현실(Augmented Reality; AR) 어플리케이션들을 구현하는 전자 장치일 수 있다.
카메라(1010)는 입력 영상을 촬영한다. 입력 영상은 단수 개일 수도 있고, 복수 개일 수도 있다. 입력 영상은 복수 개의 프레임들을 포함할 수 있다. 카메라(1010)는 단안 카메라(monocular camera)일 수 있다.
통신 인터페이스(1020)는 추정 장치(1000)의 외부에서 촬영된 입력 영상을 수신할 수 있다. 이 경우, 통신 인터페이스(1020)는 입력 영상 이외에도 입력 영상을 촬영한 촬영 장치의 회전 정보 및 이동 정보 등과 같은 포즈 정보, 및 촬영 장치의 캘리브레이션 정보 등을 수신할 수 있다.
프로세서(1030)는 입력 영상으로부터 복수의 프레임들을 선택한다. 복수의 프레임들은 예를 들어, 제1 프레임 및 제2 프레임을 포함한다. 이때, 프로세서(1030)는 카메라(1010)의 포즈 정보를 추정하고, 카메라(1010)의 포즈 정보를 이용하여 복수의 프레임들을 페어링할 수 있다. 프로세서(1030)는 예를 들어, 복수의 프레임들 간의 중첩 정도, 복수의 프레임들 간의 베이스라인의 길이, 복수의 프레임들 간의 시야각 등에 기초하여 복수의 프레임들을 페어링할 수 있다.
프로세서(1030)는 복수의 프레임들 각각의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 복수의 프레임들마다 다각형들을 포함하는 메시를 생성한다. 프로세서(1030)는 복수의 프레임들마다 깊이 값을 포함하는 특징점들을 꼭지점으로 하는 다각형들을 포함하는 메시를 생성할 수 있다.
프로세서(1030)는 메시를 기초로, 제1 프레임의 픽셀에 대응되는 제2 프레임의 대응 픽셀의 검색 범위를 설정한다. 프로세서(1030)는 검색 범위를 기초로 픽셀과 대응 픽셀을 매칭시켜 픽셀의 깊이 값을 추정할 수 있다. 프로세서(1030)는 추정한 픽셀의 깊이 값을 이용하여 예를 들어, 도 7에 도시된 것과 같이 조밀한 깊이 맵을 생성할 수 있다. 프로세서(1030)은 깊이 맵을 이용하여 입력 영상에 대한 3차원 영상을 재구성할 수 있다. 입력 영상으로부터 재구성된 3차원 영상은 디스플레이 장치(1050)를 통해 디스플레이할 수 있다.
프로세서(1030)는 메시에 포함된 다각형들 중 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 결정할 수 있다. 프로세서(1030)는 메시에 포함된 다각형들의 깊이 값들을 기초로, 다각형들 중 어느 하나의 다각형에 위치하는 제1 프레임의 픽셀에 대응되는 대응 픽셀의 검색 범위를 설정할 수 있다. 프로세서(1030)는 메시에서 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 기초로, 제2 프레임에서 픽셀에 대응되는 대응 픽셀의 검색 범위를 설정할 수 있다.
프로세서(1030)는 메시에서 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 이용하여 픽셀의 3차원 후보 좌표들을 예측하고, 픽셀의 3차원 후보 좌표들을 제2 프레임의 좌표계로 투영하여 대응 픽셀의 검색 범위를 설정할 수 있다.
프로세서(1030)는 픽셀의 3차원 후보 좌표들을 제2 프레임의 좌표계로 투영하여 대응 픽셀의 후보들을 결정하고, 대응 픽셀의 후보들을 기준으로 에피폴라 라인을 따라 제2 프레임에서의 대응 픽셀의 검색 범위를 설정할 수 있다. 프로세서(1030)는 검색 범위를 기초로 픽셀과 대응 픽셀들의 후보들을 매칭시켜 픽셀의 깊이 값을 추정할 수 있다.
이 밖에도, 프로세서(1030)는 도 1 내지 도 9를 통해 전술한 방법 또는 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1030)는 프로그램을 실행하고, 추정 장치(1000)를 제어할 수 있다. 프로세서(1030)에 의하여 실행되는 프로그램 코드는 메모리(1040)에 저장될 수 있다.
메모리(1040)는 입력 영상 및/또는 복수의 프레임들을 저장할 수 있다. 메모리(1040)는 프로세서(1030)가 생성한 메시, 픽셀의 깊이 값, 깊이 맵, 및/또는 프로세서(1030)가 재구성한 3차원 영상을 저장할 수 있다.
또한, 메모리(1040)는 상술한 프로세서(1030)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(1040)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(1040)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1040)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
디스플레이 장치(1050)는 프로세서(1030)에 의해 입력 영상으로부터 재구성된 3차원 영상을 디스플레이할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 추정 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 추정 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 추정 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 추정 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 추정 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 추정 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 추정 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 추정 장치에 의하여 해석되거나 추정 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (27)

  1. 입력 영상으로부터 복수의 프레임들-상기 복수의 프레임들은 제1 프레임 및 제2 프레임을 포함함-을 선택하는 단계;
    상기 복수의 프레임들 각각의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 상기 복수의 프레임들마다 다각형들을 포함하는 메시(mesh)를 생성하는 단계;
    상기 메시를 기초로, 상기 제1 프레임의 픽셀에 대응되는 상기 제2 프레임의 대응 픽셀(pixel correspondence)의 검색 범위를 설정하는 단계; 및
    상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀을 매칭(matching)시켜 상기 픽셀의 깊이 값을 추정하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  2. 제1항에 있어서,
    상기 검색 범위를 설정하는 단계는
    상기 메시에 포함된 다각형들의 깊이 값들을 기초로, 상기 다각형들 중 어느 하나의 다각형에 위치하는 상기 제1 프레임의 픽셀에 대응되는 상기 대응 픽셀의 검색 범위를 설정하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  3. 제1항에 있어서,
    상기 검색 범위를 설정하는 단계는
    상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 기초로, 상기 제2 프레임에서 상기 픽셀에 대응되는 대응 픽셀의 검색 범위를 설정하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  4. 제1항에 있어서,
    상기 검색 범위를 설정하는 단계는
    상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는 단계; 및
    상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영(projection)하여 상기 대응 픽셀의 검색 범위를 설정하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  5. 제4항에 있어서,
    상기 픽셀의 3차원 후보 좌표들을 예측하는 단계는
    상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들 각각을 사용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  6. 제4항에 있어서,
    상기 픽셀의 3차원 후보 좌표들을 예측하는 단계는
    상기 메시에서 상기 제1 프레임의 픽셀이 포함된 다각형의 깊이 값들의 보간(interpolation)된 값을 산출하는 단계; 및
    상기 보간된 값을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  7. 제4항에 있어서,
    상기 대응 픽셀의 검색 범위를 설정하는 단계는
    상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영하여 상기 대응 픽셀의 후보들을 결정하는 단계; 및
    상기 대응 픽셀의 후보들을 기준으로 에피폴라 라인(epipolar line)을 따라 상기 제2 프레임에서의 상기 대응 픽셀의 검색 범위를 설정하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  8. 제7항에 있어서,
    상기 픽셀의 깊이 값을 추정하는 단계는
    상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀들의 후보들을 매칭시켜 상기 픽셀의 깊이 값을 추정하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  9. 제1항에 있어서,
    상기 복수의 프레임들을 선택하는 단계는
    상기 입력 영상을 촬영한 카메라의 포즈 정보를 이용하여 상기 복수의 프레임들을 페어링(pairing)하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  10. 제9항에 있어서,
    상기 복수의 프레임들을 페어링하는 단계는
    상기 복수의 프레임들 간의 중첩(overlap) 정도, 상기 복수의 프레임들 간의 베이스라인(baseline)의 길이, 상기 복수의 프레임들 간의 시야각(viewing angle) 중 어느 하나 또는 이들의 조합에 기초하여 상기 복수의 프레임들을 페어링하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  11. 제1항에 있어서,
    상기 메시를 생성하는 단계는
    상기 복수의 프레임들마다 상기 깊이 값을 포함하는 특징점들을 꼭지점으로 하는 다각형들을 포함하는 상기 메시를 생성하는 단계
    를 포함하는, 깊이 값을 추정하는 방법.
  12. 제1항에 있어서,
    상기 메시에 포함된 다각형들 중 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 결정하는 단계
    를 더 포함하는, 깊이 값을 추정하는 방법.
  13. 제1항에 있어서,
    상기 입력 영상을 촬영한 카메라의 포즈 정보를 추정하는 단계
    를 더 포함하는, 깊이 값을 추정하는 방법.
  14. 하드웨어와 결합되어 제1항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  15. 입력 영상을 촬영하는 카메라; 및
    상기 입력 영상으로부터 복수의 프레임들-상기 복수의 프레임들은 제1 프레임 및 제2 프레임을 포함함-을 선택하고, 상기 복수의 프레임들 각각의 특징점들 중 깊이 값을 포함하는 특징점들을 이용하여 상기 복수의 프레임들마다 다각형들을 포함하는 메시를 생성하고, 상기 메시를 기초로, 상기 제1 프레임의 픽셀에 대응되는 상기 제2 프레임의 대응 픽셀의 검색 범위를 설정하며, 상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀을 매칭시켜 상기 픽셀의 깊이 값을 추정하는 프로세서
    를 포함하는, 깊이 값을 추정하는 장치.
  16. 제15항에 있어서,
    상기 프로세서는
    상기 메시에 포함된 다각형들의 깊이 값들을 기초로, 상기 다각형들 중 어느 하나의 다각형에 위치하는 상기 제1 프레임의 픽셀에 대응되는 상기 대응 픽셀의 검색 범위를 설정하는, 깊이 값을 추정하는 장치.
  17. 제15항에 있어서,
    상기 프로세서는
    상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 기초로, 상기 제2 프레임에서 상기 픽셀에 대응되는 대응 픽셀의 검색 범위를 설정하는, 깊이 값을 추정하는 장치.
  18. 제15항에 있어서,
    상기 프로세서는
    상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측하고, 상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영하여 상기 대응 픽셀의 검색 범위를 설정하는, 깊이 값을 추정하는 장치.
  19. 제18항에 있어서,
    상기 프로세서는
    상기 메시에서 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들 각각을 사용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는, 깊이 값을 추정하는 장치.
  20. 제18항에 있어서,
    상기 픽셀의 3차원 후보 좌표들을 예측하는 단계는
    상기 메시에서 상기 제1 프레임의 픽셀이 포함된 다각형의 깊이 값들의 보간된 값을 산출하고, 상기 보간된 값을 이용하여 상기 픽셀의 3차원 후보 좌표들을 예측하는, 깊이 값을 추정하는 장치.
  21. 제18항에 있어서,
    상기 프로세서는
    상기 픽셀의 3차원 후보 좌표들을 상기 제2 프레임의 좌표계로 투영하여 상기 대응 픽셀의 후보들을 결정하고, 상기 대응 픽셀의 후보들을 기준으로 에피폴라 라인을 따라 상기 제2 프레임에서의 상기 대응 픽셀의 검색 범위를 설정하는, 깊이 값을 추정하는 장치.
  22. 제21항에 있어서,
    상기 프로세서는
    상기 검색 범위를 기초로 상기 픽셀과 상기 대응 픽셀들의 후보들을 매칭시켜 상기 픽셀의 깊이 값을 추정하는, 깊이 값을 추정하는 장치.
  23. 제15항에 있어서,
    상기 프로세서는
    상기 카메라의 포즈 정보를 이용하여 상기 복수의 프레임들을 페어링하는, 깊이 값을 추정하는 장치.
  24. 제23항에 있어서,
    상기 프로세서는
    상기 복수의 프레임들 간의 중첩 정도, 상기 복수의 프레임들 간의 베이스라인의 길이, 상기 복수의 프레임들 간의 시야각 중 어느 하나 또는 이들의 조합에 기초하여 상기 복수의 프레임들을 페어링하는, 깊이 값을 추정하는 장치.
  25. 제15항에 있어서,
    상기 프로세서는
    상기 복수의 프레임들마다 상기 깊이 값을 포함하는 특징점들을 꼭지점으로 하는 다각형들을 포함하는 상기 메시를 생성하는, 깊이 값을 추정하는 장치.
  26. 제15항에 있어서,
    상기 프로세서는
    상기 메시에 포함된 다각형들 중 상기 제1 프레임의 픽셀을 포함하는 다각형의 깊이 값들을 결정하는, 깊이 값을 추정하는 장치.
  27. 제15항에 있어서,
    상기 프로세서는
    상기 카메라의 포즈 정보를 추정하는, 깊이 값을 추정하는 장치.
KR1020170133815A 2017-10-16 2017-10-16 깊이 값을 추정하는 방법 및 장치 KR102468897B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170133815A KR102468897B1 (ko) 2017-10-16 2017-10-16 깊이 값을 추정하는 방법 및 장치
US15/986,368 US10621783B2 (en) 2017-10-16 2018-05-22 Image processing method and apparatus using depth value estimation
CN201810686860.3A CN109671115B (zh) 2017-10-16 2018-06-28 使用深度值估计的图像处理方法和装置
JP2018133934A JP7173772B2 (ja) 2017-10-16 2018-07-17 深度値推定を用いた映像処理方法及び装置
EP18190427.7A EP3471057B1 (en) 2017-10-16 2018-08-23 Image processing method and apparatus using depth value estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170133815A KR102468897B1 (ko) 2017-10-16 2017-10-16 깊이 값을 추정하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190042187A true KR20190042187A (ko) 2019-04-24
KR102468897B1 KR102468897B1 (ko) 2022-11-21

Family

ID=63371544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133815A KR102468897B1 (ko) 2017-10-16 2017-10-16 깊이 값을 추정하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10621783B2 (ko)
EP (1) EP3471057B1 (ko)
JP (1) JP7173772B2 (ko)
KR (1) KR102468897B1 (ko)
CN (1) CN109671115B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129206B1 (ko) * 2019-06-14 2020-07-01 주식회사 큐픽스 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
CN108416840B (zh) * 2018-03-14 2020-02-18 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN113748313B (zh) * 2019-05-22 2023-11-21 欧姆龙株式会社 三维测量系统及三维测量方法
CN110310371B (zh) * 2019-05-27 2023-04-04 太原理工大学 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法
CN112085842B (zh) * 2019-06-14 2024-04-09 北京京东乾石科技有限公司 深度值确定方法及装置、电子设备和存储介质
CN111601181B (zh) * 2020-04-27 2022-04-29 北京首版科技有限公司 生成视频指纹数据的方法及装置
CN112750157B (zh) * 2020-08-11 2023-09-12 腾讯科技（深圳）有限公司 一种深度图像生成方法及装置
CN112070817B (zh) * 2020-08-25 2024-05-28 中国科学院深圳先进技术研究院 一种图像深度估计方法、终端设备及计算机可读存储介质
KR102472568B1 (ko) * 2020-10-15 2022-12-01 한국전자기술연구원 포즈 정보와 뎁스 정보를 기초로 증강 현실을 제공하기 위한 3차원 맵을 구성하기 위한 장치 및 이를 위한 방법
US20220189049A1 (en) * 2020-12-12 2022-06-16 Niantic, Inc. Self-Supervised Multi-Frame Monocular Depth Estimation Model
US11205310B1 (en) * 2021-03-08 2021-12-21 Htc Corporation Background skybox constructing method and electronic device
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
CN113610961B (zh) * 2021-08-05 2022-12-09 北京信息科技大学 一种基于卡尔曼滤波的由光场epi重建稠密深度方法
CN113658242A (zh) * 2021-08-23 2021-11-16 深圳市慧鲤科技有限公司 深度估计方法、装置、计算机设备及存储介质
CN117272758B (zh) * 2023-11-20 2024-03-15 埃洛克航空科技（北京）有限公司 基于三角格网的深度估计方法、装置、计算机设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110158528A1 (en) * 2009-12-31 2011-06-30 Sehoon Yea Determining Disparity Search Range in Stereo Videos
KR20110087303A (ko) * 2008-11-25 2011-08-02 엔이씨 시스템 테크놀로지 가부시키가이샤 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061489B2 (en) 2003-08-15 2006-06-13 Microsoft Corporation Precomputed radiance transfer for rendering objects
US7747067B2 (en) 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
CN101512601B (zh) 2006-09-04 2013-07-31 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
KR100894874B1 (ko) 2007-01-10 2009-04-24 주식회사 리얼이미지 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
JP2008309529A (ja) 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
KR20100000671A (ko) * 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법
GB2478156A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for generating a disparity map for stereoscopic images
KR101681538B1 (ko) * 2010-10-20 2016-12-01 삼성전자주식회사 영상 처리 장치 및 방법
JP5887515B2 (ja) * 2010-11-10 2016-03-16 パナソニックＩｐマネジメント株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
WO2013029675A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
US20130215239A1 (en) 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
JP5955028B2 (ja) * 2012-02-28 2016-07-20 株式会社トプコン 画像処理装置、画像処理方法および画像処理用のプログラム
CN102663810B (zh) * 2012-03-09 2014-07-16 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
US20140241612A1 (en) 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
CN105190226B (zh) * 2013-03-12 2017-09-19 富士胶片株式会社 图像判定装置、摄像装置、三维计量装置以及图像判定方法
US9183583B2 (en) 2013-05-13 2015-11-10 A9.Com, Inc. Augmented reality recommendations
KR101472314B1 (ko) 2013-05-22 2014-12-12 인하대학교 산학협력단 단일 카메라를 이용한 ３차원 입력장치 및 방법
US9715758B2 (en) 2013-07-16 2017-07-25 Samsung Electronics Co., Ltd. Image processing apparatus and method using virtual point light (VPL) information
US9275078B2 (en) 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
US9779508B2 (en) * 2014-03-26 2017-10-03 Microsoft Technology Licensing, Llc Real-time three-dimensional reconstruction of a scene from a single camera
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
JP2016157197A (ja) * 2015-02-23 2016-09-01 株式会社リコー 自己位置推定装置、自己位置推定方法およびプログラム
KR101679741B1 (ko) * 2015-05-06 2016-11-28 고려대학교 산학협력단 외곽 공간 특징 정보 추출 방법
KR102146398B1 (ko) 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN105654492B (zh) * 2015-12-30 2018-09-07 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
CN106570900B (zh) * 2016-10-11 2019-04-16 宁波大学 一种立体图像重定位方法
US10282913B2 (en) * 2017-07-24 2019-05-07 Visom Technology, Inc. Markerless augmented reality (AR) system
US10290049B1 (en) * 2018-06-27 2019-05-14 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multi-user augmented reality shopping
CN109448045B (zh) * 2018-10-23 2021-02-12 南京华捷艾米软件科技有限公司 基于slam的平面多边形物体测量方法及机器可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110087303A (ko) * 2008-11-25 2011-08-02 엔이씨 시스템 테크놀로지 가부시키가이샤 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체
US20110158528A1 (en) * 2009-12-31 2011-06-30 Sehoon Yea Determining Disparity Search Range in Stereo Videos

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Chi Zhang et al, MeshStereo: A Global Stereo Model with Mesh Alignment Regularization for View Interpolation, IEEE CV 2015(2015.12.07.)* *
Georg Klein et al, Parallel Tracking and Mapping for Small AR Workspaces, IEEE and ACM ISMAR 2007(2007.11.13.)* *
V. Gouet et al, A Fast Matching Method for Color Uncalibrated Images using Differential Invariants, BMVC 98(1998.01.01.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129206B1 (ko) * 2019-06-14 2020-07-01 주식회사 큐픽스 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치

Also Published As

Publication number Publication date
JP7173772B2 (ja) 2022-11-16
CN109671115B (zh) 2023-07-14
US20190114832A1 (en) 2019-04-18
EP3471057B1 (en) 2022-01-26
JP2019075082A (ja) 2019-05-16
KR102468897B1 (ko) 2022-11-21
US10621783B2 (en) 2020-04-14
EP3471057A1 (en) 2019-04-17
CN109671115A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
KR102468897B1 (ko) 깊이 값을 추정하는 방법 및 장치
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US8447099B2 (en) Forming 3D models using two images
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
JP2018534698A (ja) Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム
Taketomi et al. Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
Teixeira et al. Real-time mesh-based scene estimation for aerial inspection
Alsadik Guided close range photogrammetry for 3D modelling of cultural heritage sites
Azartash et al. An integrated stereo visual odometry for robotic navigation
Liu et al. Accurate real-time visual SLAM combining building models and GPS for mobile robot
Xu et al. Optical flow-based video completion in spherical image sequences
CA3236528A1 (en) Methods, storage media, and systems for generating a three-dimensional line segment
Zeng et al. Multi-run 3D streetside reconstruction from a vehicle
Yoshimoto et al. Cubistic representation for real-time 3D shape and pose estimation of unknown rigid object
McBride et al. 3D scene reconstruction: why, when, and how?
Pretto et al. Scalable dense large-scale mapping and navigation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant