KR20170082794A - 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치 - Google Patents

깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치 Download PDF

Info

Publication number
KR20170082794A
KR20170082794A KR1020160001993A KR20160001993A KR20170082794A KR 20170082794 A KR20170082794 A KR 20170082794A KR 1020160001993 A KR1020160001993 A KR 1020160001993A KR 20160001993 A KR20160001993 A KR 20160001993A KR 20170082794 A KR20170082794 A KR 20170082794A
Authority
KR
South Korea
Prior art keywords
image
depth
image object
correlation
far
Prior art date
Application number
KR1020160001993A
Other languages
English (en)
Other versions
KR102502451B1 (ko
Inventor
이원희
성영훈
임수철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160001993A priority Critical patent/KR102502451B1/ko
Priority to US15/384,616 priority patent/US10068347B2/en
Publication of KR20170082794A publication Critical patent/KR20170082794A/ko
Application granted granted Critical
Publication of KR102502451B1 publication Critical patent/KR102502451B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/22—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length at, near, or formed by the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치이 개시된다. 일 실시예에 따른 깊이 추정 방법은 이미지를 획득하는 단계와, 상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이에 기초하여 상기 제2 이미지 객체의 깊이를 추정하는 단계를 포함한다.

Description

깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING DEPTH, AND METHOD AND APPARATUS FOR LEARNING DISTANCE ESTIMATOR}
아래 실시예들은 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치에 관한 것이다.
스테레오 카메라에서 깊이를 측정하기 위해, 좌/우 카메라로 입력된 영상의 대응점을 찾는 스테레오 매칭 알고리즘을 이용하여 대응점의 디스패리티를 찾고, 디스패리티와 스테레오 카메라의 베이스라인(baseline), 초점 거리(focal length) 등을 이용하여 깊이를 계산한다.
스테레오 카메라에서 스테레오 매칭을 통해서 측정 가능한 깊이 범위는 베이스라인에 비례한다. 원거리 깊이를 측정하기 위해서 베이스라인을 길게 하여야 하지만, 제품 사이즈가 커진다. 베이스라인을 늘리지 않고 원거리 깊이를 측정하기 위해서는 스테레오 매칭을 픽셀 단위가 아닌 서브-픽셀 단위로 수행하지만, 계산량이 증가할 뿐만 아니라 계산량에 비해 정확성이 제한적이다.
실시예들은 근거리 객체와 원거리 객체의 관계와 근거리 객체의 깊이를 이용하여 스테레오 카메라로부터 획득된 이미지 내 원거리 객체의 원거리 깊이를 추정할 수 있다.
또한, 실시예들은 근거리 객체와 원거리 객체의 관계가 학습된 거리 추정기를 이용하여 원거리 객체의 원거리 깊이를 더 정밀하게 추정할 수 있는 기술을 제공할 수 있다.
일 실시예에 따른 깊이 추정 방법은 이미지를 획득하는 단계와, 상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이에 기초하여 상기 제2 이미지 객체의 깊이를 추정하는 단계를 포함할 수 있다.
상기 추정하는 단계는 기 학습된 거리 추정기에 상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이를 적용하여 상기 제2 이미지 객체의 깊이를 추정하는 단계를 포함할 수 있다.상기 제1 이미지 객체는 상기 이미지를 획득하는 스테레오 카메라의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위치하는 근거리 이미지 객체이고, 상기 제2 이미지 객체는 상기 임계 깊이보다 멀리 위치하는 원거리 이미지 객체일 수 있다.
상기 추정하는 단계는 상기 이미지를 스테레오 매칭하여 상기 제1 이미지 객체의 깊이를 획득하는 단계를 포함할 수 있다.
상기 추정하는 단계는 상기 이미지를 분석하여 상기 상관 관계를 획득하는 단계를 포함할 수 있다.
상기 상관 관계는 상기 제1 이미지 객체와 상기 제2 이미지 객체 각각의 깊이 큐에 기초하여 획득될 수 있다.
상기 깊이 큐는 선형 원근, 대기 원근, 상대 크기, 친숙한 크기, 수평선과의 근접성, 및 텍스처 기울기 중에서 적어도 하나를 포함할 수 있다.
상기 제1 이미지 객체 및 상기 제2 이미지 객체 각각은 코너 포인트, 텍스처 및 선 중에서 적어도 하나로 구성될 수 있다.
상기 거리 추정기는 트레이닝 데이터에 포함된 근거리 객체 이미지와 원거리 객체 이미지 사이의 상관 관계 및 상기 트레이닝 데이터를 스테레오 매칭하여 획득된 상기 근거리 객체의 깊이에 의하여 추정된 상기 원거리 객체의 깊이와, 상기 원거리 객체의 실제 깊이에 기초하여 학습될 수 있다.
일 실시예에 따른 거리 추정기 학습 방법은 트레이닝 데이터에 포함된 근거리 객체와 원거리 객체 사이의 상관 관계를 획득하는 관계와, 상기 트레이닝 데이터를 스테레오 매칭하여 상기 근거리 객체의 깊이를 획득하는 단계와, 상기 상관 관계 및 상기 근거리 객체의 깊이에 기초하여 상기 원거리 객체의 깊이를 추정하는 거리 추정기를 학습시키는 단계를 포함할 수 있다.
상기 근거리 객체는 상기 학습 데이터를 획득하는 스테레오 카메라의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위치하는 객체이고, 상기 원거리 객체는 상기 임계 깊이보다 멀리 위치하는 객체일 수 있다.
상기 학습시키는 단계는 상기 상관 관계 및 상기 근거리 객체의 깊이에 의하여 추정된 상기 원거리 객체의 깊이와 상기 원거리 객체의 실제 깊이 사이의 차이가 최소화되도록 상기 거리 추정기를 학습시키는 단계를 포함할 수 있다.
상기 상관 관계는 상기 근거리 객체와 상기 원거리 객체 각각의 깊이 큐에 기초하여 획득될 수 있다.
상기 깊이 큐는 선형 원근, 대기 원근, 상대 크기, 친숙한 크기, 수평선과의 근접성 및 텍스처 기울기 중에서 적어도 하나를 포함할 수 있다.
상기 근거리 객체 및 상기 원거리 객체 각각은 코너 포인트, 텍스처 및 선 중에서 적어도 하나로 구성될 수 있다.
일 실시예에 따른 거리 추정 장치는 이미지를 획득하는 스테레오 카메라와, 상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이에 기초하여 상기 제2 이미지 객체의 깊이를 추정하는 컨트롤러를 포함할 수 있다.
상기 컨트롤러는 기 학습된 거리 추정기에 상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이를 적용하여 상기 제2 이미지 객체의 깊이를 추정할 수 있다.상기 제1 이미지 객체는 상기 스테레오 카메라의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위치하는 근거리 이미지 객체이고, 상기 제2 이미지 객체는 상기 임계 깊이보다 멀리 위치하는 원거리 이미지 객체일 수 있다.
상기 거리 추정기는 트레이닝 데이터에 포함된 근거리 객체 이미지와 원거리 객체 이미지 사이의 상관 관계 및 상기 트레이닝 데이터를 스테레오 매칭하여 획득된 상기 근거리 객체의 깊이에 의하여 추정된 상기 원거리 객체의 깊이와, 상기 원거리 객체의 실제 깊이에 기초하여 학습될 수 있다.
상기 컨트롤러는 상기 이미지를 스테레오 매칭하여 상기 제1 이미지 객체의 깊이를 획득할 수 있다.
상기 컨트롤러는 상기 이미지를 분석하여 상기 상관 관계를 획득할 수 있다.
상기 컨트롤러는 상기 제1 이미지 객체와 상기 제2 이미지 객체 각각의 깊이 큐에 기초하여 상기 상관 관계를 획득할 수 있다.
도 1은 일 실시예에 따른 학습 장치를 설명하는 블록도이다.
도 2는 일 실시예에 따른 거리를 추정하기 위한 학습를 설명하는 도면이다.
도 3은 일 실시예에 따른 학습 장치의 학습 동작을 설명하기 위한 플로우 차트이다.
도 4는 일 실시예에 따른 거리 추정 장치의 개략적인 블록도이다.
도 5는 도 4에 도시된 컨트롤러의 개략적인 블록도이다.
도 6은 일 실시예에 따른 거리 추정 장치의 동작을 설명하기 위한 플로우 차트이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 학습 장치를 설명하는 블록도이다.
도 1을 참조하면, 학습 장치(100)는 수신부(110), 매칭부(130), 분석부(150), 및 학습부(170)를 포함할 수 있다.
학습 장치(100)는 원거리의 이미지 객체(또는 객체)의 깊이 추정을 위한 거리 추정기를 학습시킬 수 있다. 예를 들어, 학습 장치(100)는 이미지 객체가 포함된 트레이닝 데이터를 수산하고, 수신된 트레이닝 데이터를 이용하여 이미지 객체의 깊이를 추정하는 거리 추정기를 학습시킬 수 있다.
학습 장치(100)는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치에 구현(또는 탑재)될 수 있다.
휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 예를 들어, 스마트 디바이스는 스마트 와치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.
수신부(110)는 트레이닝 데이터를 수신할 수 있다. 트레이닝 데이터는 스테레오 카메라로부터 획득된 이미지일 수 있다. 트레이닝 데이터는 근거리 이미지 객체와 원거리 이미지 객체를 포함할 수 있다. 근거리 이미지 객체와 원거리 이미지 객체 각각은 코너 포인트, 텍스처, 및 선 중에서 적어도 하나로 구성될 수 있다.
근거리 이미지 객체는 스테레오 카메라를 기준으로 근거리에 위치하는 이미지 객체이고, 원거리 이미지 객체는 원거리에 위치하는 이미지 객체일 수 있다. 예를 들어, 근거리 이미지 객체는 스테레오 카메라의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위치하는 이미지 객체이고, 원거리 이미지 객체는 임계 깊이보다 멀리 위치하는 이미지 객체일 수 있다.
또한, 트레이닝 데이터는 왼쪽 이미지와 오른쪽 이미지를 포함할 수 있다. 왼쪽 이미지는 스테레오 카메라에 포함된 제1 스테레오 카메라로부터 획득되고, 오른쪽 이미지는 스테레오 카메라에 포함된 제2 스테레오 카메라로부터 획득될 수 있다. 이때, 왼쪽 이미지와 오른쪽 이미지 각각은 근거리 이미지 객체와 원거리 이미지 객체를 포함할 수 있다.
분석부(130)는 트레이닝 데이터를 분석하여 트레이닝 데이터 내 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계를 획득할 수 있다. 예를 들어, 분석부(130)는 근거리 이미지 객체와 원거리 이미지 객체 각각의 깊이 큐에 기초하여 상관 관계를 획득할 수 있다. 깊이 큐는 선형 원근(linear perspective), 대기 원근(aerial perspective), 상대 크기(relative size), 친숙한 크기(familiar size), 수평선과의 근접성(proximity to horizon), 및 텍스처 기울기(texture gradient) 중에서 적어도 하나를 포함할 수 있다.
매칭부(150)는 트레이닝 데이터를 스테레오 매칭하여 근거리 이미지 객체의 깊이를 획득할 수 있다. 예를 들어, 매칭부(150)는 왼쪽 이미지와 오른쪽 이미지를 스테레오 매칭하여 근거리 이미지 객체와 원거리 이미지 객체 각각에 대한 좌표간 디스패리티(disparity)를 검출할 수 있다. 매칭부(150)는 근거리 이미지 객체에 대한 좌표간 디스패리티를 이용하여 근거리 이미지 객체의 깊이를 계산할 수 있다. 원거리 이미지 객체에 대한 좌표간 디스패리티는 0에 가까워서, 원거리 이미지 객체의 깊이는 계산되기 어려울 수 있다.
즉, 근거리 이미지 객체는 매칭부(150)의 스테레오 매칭을 통해 깊이가 획득될 수 있는 이미지 객체를 의미하고, 원거리 객체는 매칭부(150)의 스테레오 매칭을 통해 깊이가 획득되기 어려운 이미지 객체를 의미할 수 있다.
학습부(170)는 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계 및 근거리 이미지 객체의 깊이에 기초하여 원거리 이미지 객체의 깊이를 추정하도록 거리 추정기를 학습시킬 수 있다. 학습부(170)의 학습 방법에 대해서는 도 2를 참조하여 상세히 설명한다.
수신부(110), 매칭부(130), 분석부(150), 및 학습부(170)는 모듈로 구현될 수 있다. 모듈은 각 구성요소(110, 130, 150 및 170)에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다. 다시 말해, 모듈이란 각 구성요소(110, 130, 150 및 170)의 동작을 수행하기 위한 하드웨어 및/또는 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
도 2는 일 실시예에 따른 거리를 추정하기 위한 학습를 설명하는 도면이다.
도 2를 참조하면, 학습부(170)는 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계 및 근거리 이미지 객체의 깊이를 거리 추정기(190)에 입력할 수 있다. 예를 들어, 학습부(170)는 근거리 이미지 객체의 깊이 큐, 원거리 이미지 객체의 깊이 큐, 및 근거리 이미지 객체의 깊이를 거리 추정기(190)에 입력할 수 있다.
거리 추정기(190)는 입력 값들에 기초하여 원거리 이미지 객체의 깊이에 대응하는 출력 값들을 생성할 수 있다. 거리 추정기(190)는 인공 신경망 (artificial neural network)으로 구성될 수 있다.
인공 신경망은 입력 레이어, 히든 레이어, 및 출력 레이어를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 인접한 레이어 사이의 노드들은 연결 가중치를 가지고 서로 연결될 수 있다. 각 노드들은 활성화 모델에 기초하여 동작할 수 있다. 활성화 모델에 따라 입력 값에 대응하는 출력 값이 결정될 수 있다. 임의의 노드의 출력 값은 해당 노드와 연결된 다음 레이어의 노드로 입력될 수 있다. 다음 레이어의 노드는 복수의 노드들로부터 출력되는 값들을 입력 받을 수 있다. 임의의 노드의 출력 값이 다음 레이어의 노드로 입력되는 과정에서, 연결 가중치가 적용될 수 있다. 다음 레이어의 노드는 활성화 모델에 기초하여 입력 값에 대응하는 출력 값을 해당 노드와 연결된 그 다음 레이어의 노드로 출력할 수 있다.
출력 레이어는 원거리 이미지 객체의 깊이에 대응하는 노드들을 포함할 수 있다. 출력 레이어의 노드들은 원거리 이미지 객체의 깊이에 대응하는 특징 값들을 출력할 수 있다.
거리 추정기(190)는 인공 신경망에서 출력되는 특징 값들에 기초하여 원거리 이미지 객체의 깊이를 추정할 수 있다. 학습부(170)는 원거리 이미지 객체의 실제 깊이를 알고 있으므로, 거리 추정기(190)를 통해 추정된 원거리 객체의 깊이와 실제 깊이의 차이를 계산할 수 있다.
학습부(170)는 역 전파(back propagation) 기법을 이용하여 차이가 감소되도록 거리 추정기(190)를 업데이트할 수 있다. 예를 들어, 학습부(170)는 거리 추정기(190) 내 인공 신경망의 출력 레이어로부터 히든 레이어를 거쳐 입력 레이어로 향하는 역 방향으로 차이를 전파시킬 수 있다. 차이가 역 방향으로 전파되는 과정에서, 차이가 감소되도록 노드들 사이의 연결 가중치들이 업데이트될 수 있다. 이처럼, 학습부(170)는 차이를 고려하여 거리 추정기(190)를 학습시킬 수 있다. 상술한 학습 동작은 차이가 미리 정해진 임계 값 미만이 될 때까지 반복적으로 수행될 수 있다.
학습부(170)는 거리 추정기(190)를 통해 추정된 원거리 객체의 깊이와 실제 깊이의 차이가 최소화되도록 거리 추정기(190)를 학습시킬 수 있다.
도 3은 일 실시예에 따른 학습 장치의 학습 동작을 설명하기 위한 플로우 차트이다.
도 1 내지 도 3을 참조하면, 수신부(110)는 트레이닝 데이터를 수신할 수 있다. 트레이닝 데이터는 스테레오 카메라로부터 획득된 왼쪽 이미지와 오른쪽 이미지를 포함할 수 있다. 왼쪽 이미지와 오른쪽 이미지 각각은 근거리 이미지 객체와 원거리 이미지 객체를 포함할 수 있다.
수신부(110)는 왼쪽 이미지와 오른쪽 이미지를 매칭부(150)와 분석부(130)에 전송할 수 있다.
분석부(130)는 왼쪽 이미지와 오른쪽 이미지를 분석하여 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계를 획득할 수 있다(310). 예를 들어, 분석부(130)는 근거리 이미지 객체와 원거리 이미지 객체 각각의 깊이 큐를 획득할 수 있다.
매칭부(150)는 왼쪽 이미지와 오른쪽 이미지를 스트레오 매칭할 수 있다(330). 이때, 매칭부(150)는 스테레오 매칭을 통해 근거리 이미지 객체의 깊이를 획득할 수 있다. 예를 들어, 매칭부(150)는 왼쪽 이미지와 오른쪽 이미지를 스테레오 매칭하여 근거리 이미지 객체에 대한 좌표간 디스패리티를 검출하고, 검출된 디스패리티를 이용하여 근거리 이미지 객체의 깊이를 계산할 수 있다.
학습부(170)는 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계 및 근거리 이미지 객체의 깊이에 기초하여 원거리 이미지 객체의 깊이를 추정하도록 거리 추정기(190)를 학습시킬 수 있다(350). 예를 들어, 학습부(170)는 원거리 이미지 객체의 실제 깊이와 거리 추정기(190)를 통해 추정된 원거리 객체의 차이가 최소화되도록 거리 추정기(190)를 학습시킬 수 있다.
도 4는 일 실시예에 따른 거리 추정 장치의 개략적인 블록도이고, 도 5는 도 4에 도시된 컨트롤러의 개략적인 블록도이다.
도 4 및 도 5를 참조하면, 거리 추정 장치(400)는 스테레오 카메라(410), 및 컨트롤러(430)를 포함할 수 있다.
거리 추정 장치(400)는 깊이를 추정하는 장치일 수 있다. 예를 들어, 거리 추정 장치(400)는 스테레오 카메라(410)로부터 이미지를 수신하고, 이미지 내 근거리 이미지 객체의 깊이로부터 원거리 이미지 객체의 깊이를 추정할 수 있다. 다른 예를 들어, 거리 추정 장치(400)는 스테레오 카메라(410)로부터 이미지를 수신하고, 기 학습된 거리 추정기를 이용하여 이미지 내 원거리 이미지 객체의 깊이를 추정할 수 있다. 즉, 거리 추정 장치(400)는 기 학습된 거리 추정기를 이용하여 이미지 내 원거리 이미지 객체의 깊이를 더 정밀하게 추정할 수 있다.
거리 추정 장치(400)는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치에 구현될 수 있다.
휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(ditital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 예를 들어, 스마트 디바이스는 스마트 와치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.
또한, 거리 추정 장치(400)는 자율 주행 시스템, ADAS(advanced driver assistant systems) 또는 드론에 구현될 수 있다.
스테레오 카메라(410)는 이미지를 획득할 수 있다. 스테레오 카메라(410)는 제1 스테레오 카메라(413)와 제2 스테레오 카메라(415)를 포함할 수 있다. 제1 스테레오 카메라(413)는 왼쪽 이미지를 획득할 수 있다. 제2 스테레오 카메라(415)는 오른쪽 이미지를 획득할 수 있다. 즉, 이미지는 왼쪽 이미지와 오른쪽 이미지를 포함할 수 있다.
이미지, 즉 왼쪽 이미지와 오른쪽 이미지 각각은 근거리 이미지 객체와 원거리 이미지 객체를 포함할 수 있다. 근거리 이미지 객체와 원거리 이미지 객체 각각은 코너 포인트, 텍스처, 및 선 중에서 적어도 하나로 구성될 수 있다.
근거리 이미지 객체는 스테레오 카메라(410)를 기준으로 근거리에 위치하는 이미지 객체이고, 원거리 이미지 객체는 원거리에 위치하는 이미지 객체일 수 있다. 예를 들어, 근거리 이미지 객체는 제1 스테레오 카메라(413)와 제2 스테레오 카메라(415) 간의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위치하는 이미지 객체이고, 원거리 이미지 객체는 임계 깊이보다 멀리 위치하는 이미지 객체일 수 있다.
컨트롤러(430)는 거리 추정 장치(400)의 동작을 전반적으로 제어할 수 있다. 컨트롤러(430)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(integrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 예를 들어, 컨트롤러(430)는 애플리케이션 프로세서(application processor)일 수 있다.
또한, 컨트롤러(430)는 기 학습된 거리 추정기를 이용하여 이미지 내 객체의 깊이를 추정할 수 있다. 기 학습된 거리 추정기는 도 1의 학습 장치(100)에 의하여 학습된 거리 추정기일 수 있다.
컨트롤러(430)는 매칭부(431), 분석부(433), 및 거리 추정기(435)를 포함할 수 있다.
분석부(433)는 이미지를 분석하여 이미지 내 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계를 획득할 수 있다. 예를 들어, 분석부(433)는 이미지로부터 근거리 이미지 객체와 원거리 이미지 객체 각각의 깊이 큐를 추출할 수 있다. 깊이 큐는 선형 원근(linear perspective), 대기 원근(aerial perspective), 상대 크기(relative size), 친숙한 크기(familiar size), 수평선과의 근접성(proximity to horizon), 및 텍스처 기울기(texture gradient) 중에서 적어도 하나를 포함할 수 있다.
매칭부(431)는 이미지를 스테레오 매칭하여 근거리 이미지 객체의 깊이를 획득할 수 있다. 예를 들어, 매칭부(431)는 왼쪽 이미지와 오른쪽 이미지를 스테레오 매칭하여 근거리 이미지 객체에 대한 좌표간 디스패리티(disparity)를 검출할 수 있다. 매칭부(431)는 검출된 디스패리티를 이용하여 근거리 이미지 객체의 깊이를 계산할 수 있다.
거리 추정기(435)는 기 학습된 거리 추정기일 수 있다. 거리 추정기(435)는 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계 및 근거리 이미지 객체의 깊이에 기초하여 원거리 객체의 깊이를 추정할 수 있다. 도 5에서는 분석부(433)가 거리 추정기(435)의 외부에 구현된 것으로 도시하고 있지만, 실시예에 따라 분석부(433)는 거리 추정기(435) 내에 구현될 수 있다.
매칭부(431), 분석부(433), 및 거리 추정기(435)는 모듈로 구현될 수 있다. 모듈은 각 구성요소(431, 433 및 435)에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다. 다시 말해, 모듈이란 각 구성요소(431, 433 및 435)의 동작을 수행하기 위한 하드웨어 및/또는 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
도 6은 일 실시예에 따른 거리 추정 장치의 동작을 설명하기 위한 플로우 차트이다.
도 4 내지 도 6을 참조하면, 스테레오 카메라(410)는 이미지를 획득할 수 있다. 이미지는 왼쪽 이미지와 오른쪽 이미지를 포함할 수 있다. 왼쪽 이미지와 오른쪽 이미지 각각은 근거리 이미지 객체와 원거리 이미지 객체를 포함할 수 있다.
스테레오 카메라(410)는 왼쪽 이미지와 오른쪽 이미지를 매칭부(431) 및 분석부(433)에 전송할 수 있다.
분석부(433)는 왼쪽 이미지와 오른쪽 이미지를 분석하여 근거리 이미지 객체와 원거리 이미지 객체 사이의 상관 관계를 획득할 수 있다(610). 예를 들어, 분석부(433)는 근거리 이미지 객체와 원거리 이미지 객체 각각의 깊이 큐를 획득할 수 있다.
매칭부(431)는 왼쪽 이미지와 오른쪽 이미지를 스트레오 매칭할 수 있다(630). 이때, 매칭부(431)는 스테레오 매칭을 통해 근거리 이미지 객체의 깊이를 획득할 수 있다. 예를 들어, 매칭부(431)는 왼쪽 이미지와 오른쪽 이미지를 스테레오 매칭하여 근거리 이미지 객체에 대한 좌표간 디스패리티를 검출하고, 검출된 디스패리티를 이용하여 근거리 이미지 객체의 깊이를 계산할 수 있다.
거리 추정기(435)는 근거리 이미지 객체와 원거리 이미지 객체 각각의 깊이 큐 및 근거리 이미지 객체의 깊이에 기초하여 원거리 객체의 깊이를 추정할 수 있다(650).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (22)

  1. 이미지를 획득하는 단계; 및
    상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이에 기초하여 상기 제2 이미지 객체의 깊이를 추정하는 단계
    를 포함하는 깊이 추정 방법.
  2. 제1항에 있어서,
    상기 추정하는 단계는,
    기 학습된 거리 추정기에 상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이를 적용하여 상기 제2 이미지 객체의 깊이를 추정하는 단계
    를 포함하는 깊이 추정 방법.
  3. 제1항에 있어서,
    상기 제1 이미지 객체는,
    상기 이미지를 획득하는 스테레오 카메라의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위치하는 근거리 이미지 객체이고,
    상기 제2 이미지 객체는,
    상기 임계 깊이보다 멀리 위치하는 원거리 이미지 객체인 깊이 추정 방법.
  4. 제1항에 있어서,
    상기 추정하는 단계는,
    상기 이미지를 스테레오 매칭하여 상기 제1 이미지 객체의 깊이를 획득하는 단계
    를 포함하는 깊이 추정 방법.
  5. 제1항에 있어서,
    상기 추정하는 단계는,
    상기 이미지를 분석하여 상기 상관 관계를 획득하는 단계
    를 포함하는 깊이 추정 방법.
  6. 제1항에 있어서,
    상기 상관 관계는,
    상기 제1 이미지 객체와 상기 제2 이미지 객체 각각의 깊이 큐에 기초하여 획득되는 깊이 추정 방법.
  7. 제6항에 있어서,
    상기 깊이 큐는,
    선형 원근, 대기 원근, 상대 크기, 친숙한 크기, 수평선과의 근접성, 및 텍스처 기울기 중에서 적어도 하나를 포함하는 깊이 추정 방법.
  8. 제1항에 있어서,
    상기 제1 이미지 객체 및 상기 제2 이미지 객체 각각은 코너 포인트, 텍스처 및 선 중에서 적어도 하나로 구성되는 깊이 추정 방법.
  9. 제1 항에 있어서,
    상기 거리 추정기는,
    트레이닝 데이터에 포함된 근거리 객체 이미지와 원거리 객체 이미지 사이의 상관 관계 및 상기 트레이닝 데이터를 스테레오 매칭하여 획득된 상기 근거리 객체의 깊이에 의하여 추정된 상기 원거리 객체의 깊이; 및
    상기 원거리 객체의 실제 깊이
    에 기초하여 학습된 깊이 추정 방법.
  10. 트레이닝 데이터에 포함된 근거리 객체와 원거리 객체 사이의 상관 관계를 획득하는 관계;
    상기 트레이닝 데이터를 스테레오 매칭하여 상기 근거리 객체의 깊이를 획득하는 단계; 및
    상기 상관 관계 및 상기 근거리 객체의 깊이에 기초하여 상기 원거리 객체의 깊이를 추정하는 거리 추정기를 학습시키는 단계
    를 포함하는 거리 추정기 학습 방법.
  11. 제10항에 있어서,
    상기 근거리 객체는,
    상기 학습 데이터를 획득하는 스테레오 카메라의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위치하는 객체이고,
    상기 원거리 객체는,
    상기 임계 깊이보다 멀리 위치하는 객체인 거리 추정기 학습 방법.
  12. 제10항에 있어서,
    상기 학습시키는 단계는,
    상기 상관 관계 및 상기 근거리 객체의 깊이에 의하여 추정된 상기 원거리 객체의 깊이와 상기 원거리 객체의 실제 깊이 사이의 차이가 최소화되도록 상기 거리 추정기를 학습시키는 단계
    를 포함하는 거리 추정기 학습 방법.
  13. 제10항에 있어서,
    상기 상관 관계는,
    상기 근거리 객체와 상기 원거리 객체 각각의 깊이 큐에 기초하여 획득되는 거리 추정기 학습 방법.
  14. 제13항에 있어서,
    상기 깊이 큐는,
    선형 원근, 대기 원근, 상대 크기, 친숙한 크기, 수평선과의 근접성 및 텍스처 기울기 중에서 적어도 하나를 포함하는 거리 추정기 학습 방법.
  15. 제10항에 있어서,
    상기 근거리 객체 및 상기 원거리 객체 각각은 코너 포인트, 텍스처 및 선 중에서 적어도 하나로 구성되는 거리 추정기 학습 방법.
  16. 이미지를 획득하는 스테레오 카메라; 및
    상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이에 기초하여 상기 제2 이미지 객체의 깊이를 추정하는 컨트롤러
    를 포함하는 거리 추정 장치.
  17. 제16항에 있어서,
    상기 컨트롤러는,
    기 학습된 거리 추정기에 상기 이미지 내 제1 이미지 객체와 제2 이미지 객체 사이의 상관 관계 및 상기 제1 이미지 객체의 깊이를 적용하여 상기 제2 이미지 객체의 깊이를 추정하는 거리 추정 장치.
  18. 제16항에 있어서,
    상기 제1 이미지 객체는,
    상기 스테레오 카메라의 베이스 라인에 기초하여 결정되는 임계 깊이보다 가깝게 위하는 근거리 이미지 개체이고,
    상기 제2 이미지 객체는,
    상기 임계 깊이보다 멀리 위치하는 원거리 이미지 객체인 거리 추정 장치.
  19. 제17항에 있어서,
    상기 거리 추정기는,
    트레이닝 데이터에 포함된 근거리 객체 이미지와 원거리 객체 이미지 사이의 상관 관계 및 상기 트레이닝 데이터를 스테레오 매칭하여 획득된 상기 근거리 객체의 깊이에 의하여 추정된 상기 원거리 객체의 깊이; 및
    상기 원거리 객체의 실제 깊이
    에 기초하여 학습된 거리 추정 장치.
  20. 제16항에 있어서,
    상기 컨트롤러는,
    상기 이미지를 스테레오 매칭하여 상기 제1 이미지 객체의 깊이를 획득하는 거리 추정 장치.
  21. 제16항에 있어서,
    상기 컨트롤러는,
    상기 이미지를 분석하여 상기 상관 관계를 획득하는 거리 추정 장치.
  22. 제21항에 있어서,
    상기 컨트롤러는,
    상기 제1 이미지 객체와 상기 제2 이미지 객체 각각의 깊이 큐에 기초하여 상기 상관 관계를 획득하는 거리 추정 장치.
KR1020160001993A 2016-01-07 2016-01-07 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치 KR102502451B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160001993A KR102502451B1 (ko) 2016-01-07 2016-01-07 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
US15/384,616 US10068347B2 (en) 2016-01-07 2016-12-20 Method and apparatus for estimating depth, and method and apparatus for training distance estimator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160001993A KR102502451B1 (ko) 2016-01-07 2016-01-07 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170082794A true KR20170082794A (ko) 2017-07-17
KR102502451B1 KR102502451B1 (ko) 2023-02-22

Family

ID=59275889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001993A KR102502451B1 (ko) 2016-01-07 2016-01-07 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치

Country Status (2)

Country Link
US (1) US10068347B2 (ko)
KR (1) KR102502451B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399047B1 (ko) 2021-08-12 2022-05-18 (주)에이아이매틱스 자율주행에서의 시각적 속성 추정을 위한 시각 정보 처리 방법 및 시스템
KR20220079125A (ko) 2020-12-04 2022-06-13 이화여자대학교 산학협력단 준지도 학습 방식의 단일 영상 깊이 추정 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019027506A1 (en) * 2017-08-01 2019-02-07 Apple Inc. DETERMINATION OF CLEAR-PATTERN LIGHTING VERSUS DENSE
US11328210B2 (en) 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
US10522038B2 (en) 2018-04-19 2019-12-31 Micron Technology, Inc. Systems and methods for automatically warning nearby vehicles of potential hazards
US11373466B2 (en) 2019-01-31 2022-06-28 Micron Technology, Inc. Data recorders of autonomous vehicles
US11410475B2 (en) 2019-01-31 2022-08-09 Micron Technology, Inc. Autonomous vehicle data recorders
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
US11755884B2 (en) 2019-08-20 2023-09-12 Micron Technology, Inc. Distributed machine learning with privacy protection
US12055632B2 (en) * 2020-10-13 2024-08-06 Waymo Llc LIDAR based stereo camera correction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980702922A (ko) * 1995-03-22 1998-09-05 마누엘쿠베로 깊이 모델링 및 이동 물체의 깊이 정보 제공방법 및 장치
JP2006113832A (ja) * 2004-10-15 2006-04-27 Canon Inc ステレオ画像処理装置およびプログラム
US20150325039A1 (en) * 2011-10-21 2015-11-12 Here Global B.V. Depth Cursor and Depth Management in Images
US20150334309A1 (en) * 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
US8472699B2 (en) * 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction
US8358332B2 (en) * 2007-07-23 2013-01-22 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control
KR100934904B1 (ko) 2007-12-28 2010-01-06 재단법인대구경북과학기술원 거리 추정 장치 및 추정 방법
JP5074365B2 (ja) 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
DE102009003110A1 (de) 2009-05-14 2010-11-18 Robert Bosch Gmbh Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
JP5870510B2 (ja) 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
WO2013029675A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US20140063199A1 (en) 2012-09-05 2014-03-06 Samsung Electro-Mechanics Co., Ltd. Electronic device and depth calculating method of stereo camera image using the same
JP5961506B2 (ja) 2012-09-27 2016-08-02 日立オートモティブシステムズ株式会社 ステレオカメラ装置
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
EP2757524B1 (en) 2013-01-16 2018-12-19 Honda Research Institute Europe GmbH Depth sensing method and system for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980702922A (ko) * 1995-03-22 1998-09-05 마누엘쿠베로 깊이 모델링 및 이동 물체의 깊이 정보 제공방법 및 장치
JP2006113832A (ja) * 2004-10-15 2006-04-27 Canon Inc ステレオ画像処理装置およびプログラム
US20150325039A1 (en) * 2011-10-21 2015-11-12 Here Global B.V. Depth Cursor and Depth Management in Images
US20150334309A1 (en) * 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079125A (ko) 2020-12-04 2022-06-13 이화여자대학교 산학협력단 준지도 학습 방식의 단일 영상 깊이 추정 시스템 및 방법과 이를 위한 컴퓨터 프로그램
KR102399047B1 (ko) 2021-08-12 2022-05-18 (주)에이아이매틱스 자율주행에서의 시각적 속성 추정을 위한 시각 정보 처리 방법 및 시스템

Also Published As

Publication number Publication date
US10068347B2 (en) 2018-09-04
US20170200284A1 (en) 2017-07-13
KR102502451B1 (ko) 2023-02-22

Similar Documents

Publication Publication Date Title
KR102502451B1 (ko) 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
US9243916B2 (en) Observability-constrained vision-aided inertial navigation
CN109643383B (zh) 域分离神经网络
Bloesch et al. Iterated extended Kalman filter based visual-inertial odometry using direct photometric feedback
CN108027877B (zh) 用于非障碍区检测的系统和方法
US20220335624A1 (en) Unsupervised training of optical flow estimation neural networks
CN107025658A (zh) 采用单个相机检测运动物体的方法和系统
KR102141296B1 (ko) 객체 추적 방법 및 이를 수행하는 장치
EP2901236B1 (en) Video-assisted target location
KR102608473B1 (ko) 3d 모델 정렬 방법 및 장치
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
US11170581B1 (en) Supervised domain adaptation
CN113537374B (zh) 一种对抗样本生成方法
Brambley et al. Unit dual quaternion‐based pose optimisation for visual runway observations
Belter et al. Modeling spatial uncertainty of point features in feature-based RGB-D SLAM
Lee et al. Long-range pose estimation for aerial refueling approaches using deep neural networks
US20160034607A1 (en) Video-assisted landing guidance system and method
KR20220100813A (ko) 자율주행 차량 정합 방법, 장치, 전자 기기 및 차량
KR101834084B1 (ko) 다중 객체 추적 방법 및 장치
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN113516013B (zh) 目标检测方法、装置、电子设备、路侧设备和云控平台
TWM637241U (zh) 運算裝置及模型產生系統
Portugal et al. A guide for 3D mapping with low-cost sensors using ROS
Thalagala Comparison of state marginalization techniques in visual inertial navigation filters

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160107

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210107

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160107

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220720

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230119

PG1601 Publication of registration