KR20160092289A - 시차 결정 방법 및 장치 - Google Patents

시차 결정 방법 및 장치 Download PDF

Info

Publication number
KR20160092289A
KR20160092289A KR1020150012732A KR20150012732A KR20160092289A KR 20160092289 A KR20160092289 A KR 20160092289A KR 1020150012732 A KR1020150012732 A KR 1020150012732A KR 20150012732 A KR20150012732 A KR 20150012732A KR 20160092289 A KR20160092289 A KR 20160092289A
Authority
KR
South Korea
Prior art keywords
sensor
event
output signal
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150012732A
Other languages
English (en)
Other versions
KR102298652B1 (ko
Inventor
신창우
이규빈
이준행
류현석
우주연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150012732A priority Critical patent/KR102298652B1/ko
Priority to US14/835,078 priority patent/US9842400B2/en
Priority to EP15190972.8A priority patent/EP3051492B1/en
Publication of KR20160092289A publication Critical patent/KR20160092289A/ko
Application granted granted Critical
Publication of KR102298652B1 publication Critical patent/KR102298652B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H04N13/021—
    • H04N13/0217—
    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

시차 결정 방법 및 장치가 개시된다. 일 실시예에 따른 시차 결정 방법은 제1 센서 내 대응 픽셀들에 의하여 이벤트가 감지되는 타이밍들의 차이 및 제1 센서와 제2 센서 간 대응 픽셀들에 의하여 이벤트가 감지되는 타이밍들의 차이에 기초하여, 이벤트에 대한 시차를 결정하는 단계를 포함한다.

Description

시차 결정 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING DISPARTY}
아래 실시예들은 시차 결정 방법 및 장치 또는 깊이 결정 방법 및 장치에 관한 것이다.
스테레오 매칭(stereo matching)은 두 개의 카메라를 이용해서 얻은 영상으로부터 깊이 정보를 구하는 기술이다. 두 카메라 간의 위치 차이 때문에 두 영상에서 동일한 피사체가 서로 다른 위치에 존재하게 된다. 두 카메라의 센싱 평면에 맺히는 점들 사이의 시차는 두 카메라의 초점거리, 두 카메라 사이의 거리, 센싱 픽셀의 크기, 대상 객체까지의 거리의 함수로 표현될 수 있다. 이러한 성질을 이용하여 한 영상의 각 픽셀이 다른 영상의 픽셀과 가장 유사한지를 검색하여 그 결과를 통해 영상에 있는 물체까지의 깊이 정보를 획득하는 것이 가능하게 된다.
다만, 한 영상의 각 픽셀이 다른 영상의 픽셀과 가장 유사한지를 검색하는 과정은 연산 복잡도가 크며, 픽셀 크기 단위의 시차를 이용하는 경우 획득할 수 있는 깊이 정보의 해상도에 한계가 있다.
일 측에 따른 시차 결정 방법은 이벤트를 서로 다른 위치에서 감지하는 제1 센서 및 제2 센서의 출력 신호들을 수신하는 단계; 상기 제1 센서의 출력 신호 및 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 상기 이벤트의 이동 방향을 추출하는 단계; 상기 이동 방향에 기초하여 상기 제1 센서 내 대응 픽셀들 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들을 설정하는 단계; 및 상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여, 시차(disparity)를 결정하는 단계를 포함한다.
상기 설정하는 단계는 상기 제1 센서의 출력 신호가 수신되면, 상기 이동 방향에 기초하여 상기 출력 신호에 대응하는 픽셀의 이전 픽셀을 결정하는 단계; 및 상기 출력 신호에 대응하는 픽셀과 상기 이전 픽셀을 상기 제1 센서 내 대응 픽셀들로 설정하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 제1 센서의 출력 신호가 수신되면, 상기 출력 신호의 시간 정보와 상기 제1 센서를 위한 제1 이벤트 맵 내 상기 출력 신호에 대응하는 원소의 주변 원소들의 시간 정보를 비교하는 단계; 및 상기 비교 결과에 기초하여 상기 이벤트의 이동 방향을 추출하는 단계를 포함할 수 있다.
상기 설정하는 단계는 상기 이동 방향, 상기 제1 센서와 상기 제2 센서에 포함된 픽셀들의 배치, 및 미리 결정된 픽셀 크기 단위의 시차에 기초하여 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들을 설정하는 단계를 포함할 수 있다.
상기 시차 결정 방법은 상기 제1 센서의 출력 신호가 수신되면, 상기 이동 방향이 상기 제2 센서의 위치로부터 상기 제1 센서의 위치로 향하는 가상 방향에 매칭되는지 여부를 판단하는 단계를 더 포함하고, 상기 설정하는 단계는 상기 이동 방향이 상기 가상 방향에 매칭된다는 판단에 따라, 상기 제1 센서와 상기 제2 센서 내 동일한 좌표에 대응하는 픽셀들을 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들로 설정하는 단계를 포함할 수 있다.
상기 처리하는 단계는 상기 제1 센서 내 인접 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제2 센서 내 인접 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여 상기 이벤트의 가속도를 계산하는 단계; 및 상기 가속도, 상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여 상기 시차를 결정하는 단계를 포함할 수 있다.
상기 처리하는 단계는 상기 제1 센서를 위한 제1 이벤트 맵에 기초하여 상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이를 계산하는 단계; 및 상기 제1 이벤트 맵 및 상기 제2 센서를 위한 제2 이벤트 맵에 기초하여 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이를 계산하는 단계를 포함할 수 있다.
상기 시차 결정 방법은 상기 제1 센서의 출력 신호가 수신되면, 상기 제1 센서를 위한 제1 이벤트 맵 내 상기 제1 센서의 출력 신호에 대응하는 원소의 시간 정보를 갱신하는 단계; 및 상기 제2 센서의 출력 신호가 수신되면, 상기 제2 센서를 위한 제2 이벤트 맵 내 상기 제2 센서의 출력 신호에 대응하는 원소의 시간 정보를 갱신하는 단계 중 적어도 하나를 더 포함할 수 있다.
일 측에 따른 시차 결정 장치는 이벤트를 감지하는 제1 센서; 상기 이벤트를 상기 제1 센서의 위치와 다른 위치에서 감지하는 제2 센서; 상기 제1 센서의 출력 신호 및 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 상기 이벤트의 이동 방향을 추출하는 추출부; 상기 이동 방향에 기초하여 상기 제1 센서 내 대응 픽셀들 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들을 설정하는 설정부; 및 상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여, 시차(disparity)를 결정하는 처리부를 포함한다.
상기 제1 센서 및 상기 제2 센서 중 적어도 하나는 입사되는 빛의 변화에 기초하여 이벤트를 감지하고, 감지된 이벤트에 대응하는 이벤트 신호를 출력하는 이벤트 기반 비전 센서를 포함할 수 있다.
상기 제1 센서 및 상기 제2 센서 중 적어도 하나는 프레임 단위로 연속 영상들을 촬영하는 프레임 기반 비전 센서; 및 상기 연속 영상들의 차이에 기초하여 이벤트를 감지하고, 감지된 이벤트에 대응하는 이벤트 신호를 출력하는 출력 모듈을 포함할 수 있다.
상기 시차 결정 장치는 상기 이벤트를 상기 제1 센서의 위치 및 상기 제2 센서의 위치와 다른 위치에서 감지하는 제3 센서를 더 포함하고, 상기 추출부는 상기 제3 센서의 출력 신호에 더 기초하여 상기 이동 방향을 추출하며, 상기 설정부는 상기 이동 방향에 기초하여 상기 제1 센서와 상기 제3 센서 간 대응 픽셀들을 더 설정하고, 상기 처리부는 상기 제1 센서와 상기 제3 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 더 기초하여 상기 시차를 결정할 수 있다.
상기 시차 결정 장치는 미리 정해진 패턴의 빛을 이동시키면서 투사하는 발광부를 더 포함할 수 있다.
도 1은 일 실시예에 따른 시차 결정 장치를 설명하는 도면.
도 2는 일 실시예에 따른 시차 및 깊이를 결정하는 방법을 설명하는 도면.
도 3 및 도 4는 일 실시예에 따른 정밀 시차를 설명하는 도면.
도 5는 일 실시예에 따른 픽셀 크기 단위의 시차로 인한 오차가 깊이 해상도에 미치는 영향을 설명하는 도면.
도 6은 일 실시예에 따른 시차 결정 장치를 나타낸 블록도.
도 7은 이벤트가 발생되는 다양한 실시예들을 설명하는 도면.
도 8은 일 실시예에 따른 이벤트의 이동 방향을 추출하는 방법을 설명하는 도면.
도 9는 일 실시예에 따른 정밀 시차를 결정하는 방법을 설명하는 도면.
도 10 내지 도 14는 정밀 시차를 결정하는 구체적인 실시예들을 설명하는 도면들.
도 15는 실시예들에 따른 복수의 센서들의 구조를 설명하는 도면.
도 16은 일 실시예에 따른 이벤트의 가속도를 고려하여 시차를 결정하는 방법을 설명하는 도면.
도 17은 일 실시예에 따른 시차 결정 방법을 나타낸 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 대상 객체의 깊이(depth)를 측정하는 데 사용될 수 있다. 실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 1은 일 실시예에 따른 시차 결정 장치를 설명하는 도면이다. 도 1을 참조하면, 일 실시예에 따른 시차 결정 장치(100)는 복수의 센서들(110, 120)의 출력 신호들에 기초하여 대상 객체(150)와 관련된 시차(disparity)를 결정한다. 시차 결정 장치(100)는 왼쪽 센서(110)에 의하여 대상 객체(150)가 감지된 결과와 오른쪽 센서(120)에 의하여 대상 객체(150)가 감지된 결과에 기초하여 시차를 결정할 수 있다. 아래에서 상세히 설명하겠으나, 센서는 대상 객체(150)로 인한 이벤트를 감지하고, 대상 객체(150)로 인한 이벤트를 감지함에 반응하여 이벤트 신호를 출력할 수 있다. 이 경우, 센서에 의하여 대상 객체(150)가 감지된 결과는 센서에 의하여 대상 객체(150)로 인한 이벤트가 감지된 결과, 또는 센서에 의하여 출력된 이벤트 신호 등을 지칭할 수 있다.
왼쪽 센서(110)와 오른쪽 센서(120)는 서로 다른 위치에서 대상 객체(150)를 감지할 수 있다. 예를 들어, 도 2를 참조하면, 왼쪽 센서(110)와 오른쪽 센서(120)는 거리 D만큼 이격될 수 있다. 이하, 설명의 편의를 위하여, 왼쪽 센서(110)와 오른쪽 센서(120)가 배치된 방향은 x축 방향으로 지칭될 수 있다. 또한, 왼쪽 센서(110)의 센싱 평면 (이하, '왼쪽 센싱 평면'이라고 함)(115) 및/또는 오른쪽 센서(120)의 센싱 평면 (이하, '오른쪽 센싱 평면'이라고 함)(125)으로부터 대상 객체(150)를 향하는 방향은 z축 방향으로 지칭될 수 있다.
왼쪽 센서(110)와 오른쪽 센서(120)가 대상 객체(150)의 일 측면(151)을 감지하는 경우를 가정하면, 대상 객체(150)의 일 측면(151)에서 전파되는 빛은 왼쪽 센서(110)의 초점(142)을 통과하여 왼쪽 센싱 평면(115)에 도달하고, 오른쪽 센서(120)의 초점(143)을 통과하여 오른쪽 센싱 평면(125)에 도달할 수 있다.
왼쪽 센싱 평면(115)에서 빛이 도달하는 지점은 수학식 1과 같이 계산될 수 있다.
Figure pat00001
여기서, x L 은 왼쪽 센싱 평면(115)의 중심축으로부터 빛이 도달한 지점까지 x축 방향의 거리이고, f는 왼쪽 센서(110)의 초점 거리이며, Z는 대상 객체(150)의 깊이다. Z는 왼쪽 센서(110)의 초점면(141)으로부터 대상 객체(150)까지의 거리일 수 있다. 왼쪽 센서(110)의 초점면(141)은 왼쪽 센서(110)의 초점(142)을 지나면서 왼쪽 센싱 평면(115)과 평행한 면일 수 있다. Z는 대상 객체(150)의 깊이라고 지칭될 수 있다. X는 왼쪽 센싱 평면(115)의 중심축으로부터 대상 객체(150)의 일 측면(151)까지 x축 방향의 거리이다.
또한, 오른쪽 센싱 평면(125)에서 빛이 도달하는 지점은 수학식 2와 같이 계산될 수 있다.
Figure pat00002
여기서, x R 은 오른쪽 센싱 평면(125)의 중심축으로부터 빛이 도달한 지점까지 x축 방향의 거리이고, f는 오른쪽 센서(120)의 초점 거리이다. 오른쪽 센서(120)의 초점 거리와 왼쪽 센서(120)의 초점 거리는 동일할 수 있다. 이 경우, 왼쪽 센서(110)의 초점면(141)과 오른쪽 센서(120)의 초점면(도면 미 표시)은 동일할 수 있다. Z는 대상 객체(150)의 깊이이고, D는 왼쪽 센서(110)와 오른쪽 센서(120) 사이의 거리이며, (X - D)는 오른쪽 센싱 평면(125)의 중심축으로부터 대상 객체(150)의 일 측면(151)까지 x축 방향의 거리이다.
수학식 1과 수학식 2로부터 수학식 3이 도출된다.
Figure pat00003
여기서, d는 대상 객체(150)에 대한 시차이다. 시차 결정 장치(100)는 수학식 3을 이용하여 시차 d로부터 대상 객체(150)의 깊이 Z를 계산할 수 있다.
시차 결정 장치(100)는 일반적인 스테레오 매칭(stereo matching) 기법들에 비하여 더 정밀하게 시차 d를 결정할 수 있다. 예를 들어, 일반적인 스테레오 매칭 기법들은 픽셀 크기 단위의 시차를 결정하는데 비하여, 시차 결정 장치(100)는 픽셀 크기보다 작은 단위의 시차(이하, '정밀 시차(precise disparity)'라고 함)를 결정할 수 있다.
도 3을 참조하면, 왼쪽 센서(110)의 센싱 평면(115)과 오른쪽 센서(120)의 센싱 평면(125)은 각각 복수의 픽셀들을 포함할 수 있다. 일 예로, 왼쪽 센서(110)의 센싱 평면(115)에서 대상 객체(150)의 일 측면(151)을 감지한 픽셀들의 x좌표는 6이고, 오른쪽 센서(120)의 센싱 평면(125)에서 대상 객체(150)의 일 측면(151)을 감지한 픽셀들의 x좌표는 4일 수 있다. 이 경우, 일반적인 스테레오 매칭 기법들에 따르면, 시차는 2(pixels)로 결정될 수 있다. 반면, 도 4를 참조하면, 시차 결정 장치(100)는 정밀 시차(132)를 결정할 수 있다. 정밀 시차(132)는 픽셀 크기 단위의 시차(131)보다 더 정밀하므로, 시차 결정 장치(100)는 깊이의 정밀도를 향상시킬 수 있다.
또한, 시차 결정 장치(100)는 정밀 시차를 결정함으로써, 픽셀 크기 단위로는 시차 차이가 나지 않을 만큼 멀리 위치한 대상 객체의 깊이를 정밀하게 계산할 수 있다. 예를 들어, 도 5를 참조하면, 대상 객체의 깊이가 커질수록, 픽셀 크기 단위의 시차로 인한 오차가 깊이 해상도(depth resolution)에 미치는 영향이 기하급수적으로 증가한다.
깊이 해상도는 수학식 4를 통하여 계산될 수 있다. 수학식 4는 수학식 3을 편 미분한 뒤, d를 (fD / Z)로 치환한 결과이다.
Figure pat00004
수학식 4의 가장 오른쪽 항에서
Figure pat00005
는 시차 단위의 크기를 나타내고, 픽셀 크기 단위의 시차를 이용하는 경우
Figure pat00006
는 단일 픽셀의 크기일 수 있다. 이 경우,
Figure pat00007
는 단일 픽셀 크기의 시차로 구별 가능한 깊이 범위를 나타내고, 수학식 4의 가장 오른쪽 항에서
Figure pat00008
의 텀(term)으로 인하여
Figure pat00009
는 Z 2 에 비례하여 증가한다.
일 예로, 왼쪽 센서(110)와 오른쪽 센서(120) 사이의 거리 D가 25(mm)이고, 왼쪽 센서(110)와 오른쪽 센서(120)의 시점 각도(view angle)가 각각 75.6도이며, 왼쪽 센서(110)와 오른쪽 센서(120)의 초점 거리가 각각 3.3(mm)이고, 왼쪽 센서(110)와 오른쪽 센서(120)는 각각 128 x 128의 픽셀들을 포함하며, 픽셀들 각각의 크기가 40(um)인 경우, 시차 d와 깊이 Z 사이의 관계는 도 5와 같이 계산될 수 있다.
대상 객체의 시차가 4(pixels)인 경우 대상 객체의 깊이는 458(mm) 내지 589(mm) 사이의 값을 가지고, 대상 객체의 시차가 1(pixel)인 경우 대상 객체의 깊이는 1375(mm) 내지 4125(mm) 사이의 값을 가진다. 이처럼 대상 객체의 깊이가 커질수록, 단일 픽셀 크기의 시차로 구별 가능한 깊이 범위가 기하급수적으로 증가한다. 만약 픽셀 크기 단위의 시차만을 이용하여 깊이를 결정한다면, 1500(mm)의 깊이에 위치하는 제1 물체(510)와 4000(mm)의 깊이에 위치하는 제2 물체(520)가 동일한 깊이에 위치한다고 판단될 수 있다.
도 4를 통하여 전술한 바와 같이, 시차 결정 장치(100)는 정밀 시차를 결정함으로써, 픽셀 크기 단위로는 시차 차이가 나지 않을 만큼 멀리 위치한 대상 객체의 깊이도 정밀하게 계산할 수 있다. 예를 들어, 시차 결정 장치(100)는 제1 물체(510)의 시차는 1.375(pixel)이고 제2 물체(520)의 시차는 0.5156(pixel)이라고 결정할 수 있다. 이로 인하여, 시차 결정 장치(100)는 제1 물체(510) 및 제2 물체(520)의 깊이를 정밀하게 결정할 수 있다.
뿐만 아니라, 시차 결정 장치(100)는 정밀 시차를 결정함으로써, 제품 내 왼쪽 센서(110)와 오른쪽 센서(120)가 충분히 가깝게 배치되도록 할 수 있다. 픽셀 크기 단위의 시차를 이용하는 경우, 왼쪽 센서(110)와 오른쪽 센서(120) 사이의 거리 D가 가까울수록 시차 d가 작아져 깊이 Z를 결정하기 어려워진다. 정밀 시차를 이용하는 경우, 시차 d가 작아지더라도 깊이 Z를 결정할 수 있으므로 제품 내 왼쪽 센서(110)와 오른쪽 센서(120)가 충분히 가깝게 배치될 수 있다. 이로 인하여, 시차 결정 장치(100)는 제품의 폼 팩터(form factor)를 감소시키는 기술을 제공할 수 있다. 나아가, 제품 내 왼쪽 센서(110)와 오른쪽 센서(120)가 충분히 가깝게 배치되는 경우, 가려짐(occlusion) 현상도 완화될 수 있다. 이하, 정밀 시차를 결정하는 방법을 상세하게 설명한다.
도 6은 일 실시예에 따른 시차 결정 장치를 나타낸 블록도이다. 도 6을 참조하면, 일 실시예에 따른 시차 결정 장치(100)는 추출부(610), 설정부(620), 및 처리부(630)를 포함한다. 추출부(610), 설정부(620), 및 처리부(630)는 각각 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다.
추출부(610)는 제1 센서의 출력 신호 및/또는 제2 센서의 출력 신호를 수신할 수 있다. 제1 센서와 제2 센서는 서로 다른 위치에서 이벤트를 감지하는 센서들이다. 이벤트는 센서의 픽셀에 입사되는 광량이 변하는 현상을 지칭할 수 있다. 또는, 이벤트는 센서의 픽셀에 입사되는 광량을 변하게 만드는 피사체의 움직임, 센서의 픽셀에 입사되는 광량을 변하게 만드는 센서 자체의 움직임, 또는 센서의 픽셀에 입사되는 광량을 변하게 만드는 조명 등의 변화를 지칭할 수 있다. 일 실시예에 따르면, 이벤트는 연속적인 이벤트를 포함할 수 있다. 예를 들어, 이벤트는 제1 센서 및 제2 센서에 입사되는 빛이 연속적으로 변하는 이벤트일 수 있다.
이벤트를 감지하는 것은 센서에 입사되는 광량이 변하는 것을 감지하는 것을 의미할 수 있다. 센서는 이벤트를 감지함에 반응하여 이벤트 신호를 출력할 수 있다. 예를 들어, 센서는 복수의 픽셀들 중 입사되는 광량이 변하는 것을 감지한 픽셀을 이용하여 이벤트 신호를 출력할 수 있다. 이벤트 신호는 센서에 포함된 복수의 픽셀들 중 입사되는 광량이 변하는 것을 감지한 픽셀에 대한 식별 정보 및 입사되는 광량의 변화를 감지한 시간에 대한 시간 정보를 포함할 수 있다. 제1 센서와 제2 센서는 시차 결정 장치(100)에 포함될 수 있고, 경우에 따라 시차 결정 장치(100)와 구별되는 별도의 장치에 포함될 수도 있다. 예를 들어, 도 1의 왼쪽 센서(110)와 오른쪽 센서(120)를 포함할 수 있다.
제1 센서 및/또는 제2 센서는 이벤트 기반 비전 센서일 수 있다. 이벤트 기반 비전 센서는 미리 정해진 이벤트를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력하는 센서이다. 이벤트 기반 비전 센서는 복수의 이벤트 생성 원소들을 포함하며, 이벤트 생성 원소들 각각은 미리 정해진 이벤트를 감지하여 이벤트 신호를 출력할 수 있다. 이벤트 생성 원소들은 이벤트 기반 비전 센서의 픽셀들로 지칭될 수 있다.
미리 정해진 이벤트는 이벤트 기반 비전 센서로 입사되는 빛의 세기(intensity)가 변하는 이벤트를 포함할 수 있다. 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 ON 이벤트를 출력할 수 있다. 또한, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 OFF 이벤트를 출력할 수 있다. 이벤트 기반 비전 센서는 프레임 기반 비전 센서와 달리 각 픽셀의 포토 다이오드의 출력을 프레임 단위로 스캔 하지 않고, 빛의 변화가 있는 부분의 픽셀 데이터만을 출력할 수 있다.
도 7(a)을 참조하면, 이벤트 기반 비전 센서로 입사되는 빛의 세기의 변화는 대상 객체의 움직임에 기인할 수 있다. 예를 들어, 광원이 고정되어 있고 대상 객체는 스스로 발광하지 않는 경우를 상정하면, 이벤트 기반 비전 센서로 입사되는 빛은 광원에서 발생되어 대상 객체에 의해 반사된 빛일 수 있다. 혹은, 대상 객체가 스스로 발광하는 경우를 상정하면, 이벤트 기반 비전 센서로 입사되는 빛은 대상 객체에 의하여 발생된 빛일 수 있다.
대상 객체(711)가 움직이지 않는 경우, 움직임이 없는 상태의 대상 객체(711)에 의해 반사되거나 발생되는 빛은 실질적으로 변하지 않으므로, 이벤트 기반 비전 센서에 입사되는 빛의 세기의 변화도 발생되지 않는다. 반면, 대상 객체(712)가 움직이는 경우, 움직이는 대상 객체(712)에 의해 반사되거나 발생되는 빛은 대상 객체(712)의 움직임에 따라 변하므로, 이벤트 기반 비전 센서에 입사되는 빛의 세기의 변화가 발생될 수 있다. 이에 따라, 대상 객체(712)의 움직임에 대응하는 이벤트 신호들(713)이 발생될 수 있다. 이 때, 이벤트 기반 비전 센서에 포함된 복수의 이벤트 생성 원소들 중 입력 객체의 움직임을 감지한 일부의 이벤트 생성 원소들만 이벤트 신호를 출력할 수 있다.
도 7(b)를 참조하면, 이벤트 기반 비전 센서로 입사되는 빛의 세기의 변화는 이벤트 기반 비전 센서 자체의 움직임에 기인할 수 있다. 예를 들어, 대상 객체(721)는 움직이지 않지만 이벤트 기반 비전 센서가 움직이는 경우, 이벤트 기반 비전 센서의 각 픽셀들에 입사되는 빛의 세기가 변할 수 있다. 이에 따라, 대상 객체(721)에 대응하는 이벤트 신호들(722)이 발생될 수 있다. 이벤트 기반 비전 센서가 움직이는 경우, 대상 객체(721)는 이벤트 기반 비전 센서의 이동 방향과 반대 방향으로 움직이는 것과 같이 감지될 수 있다.
도 7(c)를 참조하면, 이벤트 기반 비전 센서로 입사되는 빛의 세기의 변화는 미리 정해진 패턴의 빛(731)의 움직임에 기인할 수 있다. 예를 들어, 대상 객체(732)는 움직이지 않지만 미리 정해진 패턴의 빛(731)이 움직이는 경우, 이벤트 기반 비전 센서의 각 픽셀들에 입사되는 빛의 세기가 변할 수 있다. 예를 들어, 미리 정해진 패턴의 빛(731)은 선형 레이저, 프린지 패턴(fringe pattern) 등 다양한 형태를 포함할 수 있고, 왼쪽에서 오른쪽으로 대상 객체(732)를 스캔 하도록 이동될 수 있다. 시차 결정 장치(100)는 미리 정해진 패턴의 빛(731)을 이동시키면서 투사하는 발광부를 더 포함할 수 있다. 이에 따라, 대상 객체(732)에 대응하는 이벤트 신호들(733)이 발생될 수 있다.
제1 센서 및/또는 제2 센서는 프레임 기반 비전 센서 및 출력 모듈을 포함할 수 있다. 프레임 기반 비전 센서는 프레임 단위로 연속 영상들을 촬영하는 센서로, 예를 들어 CCD(Charge-Coupled Device) 카메라, CMOS(Complementary Metal-Oxide-Semiconductor) 카메라 등을 포함할 수 있다. 출력 모듈은 연속 영상들의 차이에 기초하여 이벤트를 감지하고, 감지된 이벤트에 대응하는 이벤트 신호를 출력할 수 있다. 예를 들어, 출력 모듈은 프레임 기반 비전 센서에 의하여 출력되는 연속 영상들을 비교함으로써, 연속 영상들 사이의 차이 정보를 생성할 수 있다. 출력 모듈에 의하여 생성되는 차이 정보는 이벤트 기반 비전 센서에 의하여 출력되는 이벤트 신호에 대응할 수 있다. 예를 들어, 출력 모듈은 연속 영상들을 비교함으로써 인접한 영상 간 움직임이 감지된 픽셀들을 검출하고, 움직임이 감지된 픽셀들에 대응하는 이벤트 신호들을 출력할 수 있다.
제1 센서 및/또는 제2 센서가 프레임 기반 비전 센서 및 출력 모듈을 포함하는 경우에도, 도 7(a) 내지 도 7(c)를 통하여 전술한 사항들이 그대로 적용될 수 있다. 이하, 설명의 편의를 위하여, 제1 센서 및 제2 센서가 이벤트 기반 비전 센서이고, 대상 객체가 움직이는 경우를 예로 들어 설명하나, 실시예들은 다양하게 변경될 수 있다.
추출부(610)는 제1 센서의 출력 신호 및 제2 센서의 출력 신호 중 적어도 하나에 기초하여 이벤트의 이동 방향을 추출한다. 이하, 설명의 편의를 위하여, 수신된 출력 신호에 대응하는 센서를 제1 센서라고 지칭한다. 예를 들어, 도 1의 왼쪽 센서(110)로부터 출력 신호를 수신하는 경우 제1 센서는 왼쪽 센서(110)를 지칭하고, 도 1의 오른쪽 센서(120)로부터 출력 신호를 수신하는 경우 제1 센서는 오른쪽 센서(120)를 지칭할 수 있다. 각각의 경우에서 제2 센서는 제1 센서에 의하여 지칭되지 않는 나머지 센서를 지칭할 수 있다.
도 8을 참조하면, 추출부(610)는 제1 센서의 출력 신호가 수신되면, 제1 센서를 위한 제1 이벤트 맵(800)을 이용할 수 있다. 제1 센서의 출력 신호는 이벤트 신호일 수 있다.
제1 이벤트 맵(800)은 제1 센서의 픽셀들에 대응하는 원소들을 포함한다. 각각의 원소들은 해당 원소에 대응되는 출력 신호가 수신된 가장 최근 시간을 저장할 수 있다. 예를 들어, (4, 4) 위치의 원소에서 출력 신호가 수신된 가장 최근 시간은 908(ms)이고, (3, 3) 위치의 원소에서 출력 신호가 수신된 가장 최근 시간은 855(ms)일 수 있다. 출력 신호가 수신된 시간은 타임 스탬프 또는 시간 정보라고 지칭될 수 있다.
시차 결정 장치(100)는 갱신부를 더 포함할 수 있다. 갱신부는 제1 센서의 출력 신호를 수신하면, 수신된 출력 신호에 기초하여 제1 이벤트 맵(800)을 갱신할 수 있다. 예를 들어, 갱신부는 제1 이벤트 맵(800)에 포함된 복수의 원소들 중 수신된 출력 신호에 대응하는 원소를 검출하고, 검출된 원소에 저장된 값을 출력 신호가 수신된 타임 스탬프로 갱신할 수 있다. 제1 이벤트 맵(800)은 시간의 흐름에 따라 수신되는 출력 신호들의 히스토리를 고려하지 않고, 각 원소에서 마지막으로 수신된 출력 신호의 타임 스탬프만을 저장할 수 있다.
제1 센서의 출력 신호가 수신되면, 추출부(610)는 출력 신호의 시간 정보와 제1 이벤트 맵(800) 내 출력 신호에 대응하는 원소의 주변 원소들의 시간 정보를 비교할 수 있다. 예를 들어, 제1 센서의 출력 신호는 (4, 3) 위치의 원소(810)를 지시하는 정보 및 타임 스탬프를 포함할 수 있다. 추출부(610)는 제1 이벤트 맵(800) 내 원소(810)의 주변 원소들(820)의 시간 정보와 출력 신호의 시간 정보를 비교할 수 있다.
또는, 제1 센서의 출력 신호가 수신되면 갱신부에 의하여 제1 이벤트 맵(800)이 갱신되므로, 추출부(610)는 출력 신호에 대응하는 원소(810)의 시간 정보와 주변 원소들(820)의 시간 정보를 비교할 수도 있다.
추출부(610)는 비교 결과에 기초하여 이벤트의 이동 방향을 추출할 수 있다. 예를 들어, 추출부(610)는 원소(810)의 시간 정보인 910(ms)와 주변 원소들(820) 중 (3, 3) 위치의 원소의 시간 정보인 855(ms)를 비교할 수 있다. 추출부(610)는 원소(810)의 좌측에 위치하는 (3, 3) 위치의 원소의 시간 정보가 55(ms) 이전에 갱신되었음을 알 수 있다. 추출부(610)는 이벤트의 이동 방향이 왼쪽에서 오른쪽으로 향하는 방향이라고 예측할 수 있다.
추출부(610)는 원소(810)의 시간 정보와 주변 원소들(820)의 시간 정보를 비교한 결과, 비교 결과가 미리 정해진 제1 임계치 이상 차이가 나는 경우 해당 원소의 시간 정보는 원소(810)와 관련이 없다고 판단하고 해당 비교 결과를 이용하지 않을 수 있다. 예를 들어, 추출부(610)는 원소(810)의 시간 정보인 910(ms)와 주변 원소들(820) 중 (5, 3) 위치의 원소의 시간 정보인 2(ms)를 비교할 수 있다. 미리 정해진 제1 임계치가 150(ms)라고 가정하면, 추출부(610)는 908(ms) 이전에 갱신된 (5, 3) 위치의 원소의 시간 정보는 원소(810)와 관련이 없다고 판단할 수 있다. 이 경우, 추출부(610)는 이벤트의 이동 방향을 추출할 때 (5, 3) 위치의 원소의 시간 정보를 이용하지 않을 수 있다.
추출부(610)는 원소(810)의 시간 정보와 주변 원소들(820)의 시간 정보를 비교한 결과, 비교 결과가 미리 정해진 제2 임계치 미만 차이가 나는 경우 해당 원소의 시간 정보는 원소(810)의 시간 정보와 동일한 타이밍에 갱신된 것으로 판단할 수 있다. 예를 들어, 추출부(610)는 원소(810)의 시간 정보인 910(ms)와 주변 원소들(820) 중 (4, 4) 위치의 원소의 시간 정보인 908(ms)를 비교할 수 있다. 미리 정해진 제2 임계치가 15(ms)라고 가정하면, 추출부(610)는 2(ms) 이전에 갱신된 (4, 4) 위치의 원소의 시간 정보는 원소(810)와 동일한 타이밍에 갱신된 것으로 판단할 수 있다.
이 경우, 추출부(610)는 (4, 4) 위치의 원소의 시간 정보와 그 주변의 원소들의 시간 정보를 비교한 결과까지 고려하여 이벤트의 이동 방향을 추출할 수 있다. 예를 들어, 추출부(610)는 (4, 4) 위치의 원소의 시간 정보인 908(ms)와 (3, 4) 위치의 원소의 시간 정보인 860(ms)를 비교할 수 있다. 추출부(610)는 (4, 4) 위치의 원소의 좌측에 위치하는 (3, 3) 위치의 원소의 시간 정보가 48(ms) 이전에 갱신되었음을 알 수 있다. 추출부(610)는 이벤트의 이동 방향이 왼쪽에서 오른쪽으로 향하는 방향이라고 예측할 수 있다.
일 실시예에 따르면, 추출부(610)는 원소(810)의 시간 정보와 주변 원소들(820) 중 일부의 시간 정보만을 비교할 수 있다. 예를 들어, 추출부(610)는 주변 원소들(820) 중 센서들이 배치된 방향에 따른 일부의 원소들만 비교 대상으로 이용할 수 있다. 만약 센서들이 배치된 방향이 x축 방향인 경우, 주변 원소들(820) 중 원소(810)를 기준으로 x축 방향으로 배치된 (3, 3) 위치의 원소 및 (5, 3) 위치의 원소가 비교 대상으로 이용될 수 있다.
일 실시예에 따르면, 제1 임계치와 제2 임계치는 물체의 속도 및 물체까지의 거리 등을 고려하여 결정될 수 있다. 예를 들어, 1m 거리에서 1m/s 정도의 속도로 움직이는 물체의 경우, 센서 내 대응 픽셀의 시간차는 10msec 정도일 수 있다. 이 때, 센서 간 거리가 25mm 인 경우, 센서 간 픽셀 시간차는 25msec 정도일 수 있다. 물체의 움직임이 빨라질수록 센서 간 픽셀 시간차는 더 짧아지고, 물체의 움직임이 느려질수록 센서 간 픽셀 시간차는 더 길어질 수 있다. 이 경우, 제1 임계치는 1(ms)로 설정되고, 제2 임계치는 100(ms)로 설정될 수 있다. 제1 임계치인 1(ms) 이하의 시간차를 가지는 이벤트들은 동시에 발생된 이벤트로 처리되고, 제2 임계치인 100(ms) 이상의 시간차를 가지는 이벤트들은 서로 무관한 이벤트로 처리될 수 있다.
이상에서, 제1 센서의 출력 신호가 수신되는 경우를 설명하였으나, 제2 센서의 출력 신호가 수신되는 경우에도 시차 결정 장치(100)는 유사하게 동작할 수 있다. 예를 들어, 시차 결정 장치(100)는 제2 센서를 위한 제2 이벤트 맵을 관리하고, 제2 이벤트 맵을 이용하여 이벤트의 이동 방향을 추출할 수 있다.
일 실시예에 따르면, 주변에서 발생되는 이벤트의 이동 방향을 함께 고려함으로써, 이동 방향 추출 결과의 정확성 또는 신뢰도를 향상시킬 수 있다.
설정부(620)는 이동 방향에 기초하여 제1 센서 내 대응 픽셀들을 설정한다. 제1 센서 내 대응 픽셀들은 대상 객체의 동일한 지점에 대응하는 이벤트를 서로 다른 타이밍에 감지한 제1 센서의 픽셀들을 포함한다. 예를 들어, 제1 센서 내 대응 픽셀들은 대상 객체의 동일한 포인트 또는 동일한 에지(edge)로 인하여 발생된 빛의 변화를 서로 다른 타이밍에 감지할 수 있다. 설정부(620)는 제1 센서의 출력 신호가 수신되면, 출력 신호에 대응하는 픽셀(이하, '현재 픽셀'이라고 함)을 검출할 수 있다. 설정부(620)는 이동 방향에 기초하여 현재 픽셀의 이전 픽셀을 검출할 수 있다. 설정부(620)는 현재 픽셀과 이전 픽셀을 제1 센서 내 대응 픽셀들로 설정할 수 있다.
도 9를 참조하면, 왼쪽 센서(110) 및 오른쪽 센서(120)는 왼쪽에서 오른쪽 방향으로 이동하는 대상 객체의 일 측면(151)을 감지함으로써, 교대로 이벤트 신호를 출력할 수 있다. 왼쪽 센서(110) 및 오른쪽 센서(120)에 포함된 픽셀들 각각은 대상 객체의 일 측면(151)이 처음 감지되는 타이밍에 이벤트 신호를 출력할 수 있다. 예를 들어, 왼쪽 센서(110) 및 오른쪽 센서(120)에 포함된 픽셀들 각각은 해당 픽셀에 투사(projection)된 광량의 합의 변화가 일정량 또는 일정비율 이상일 때 이벤트 신호를 출력할 수 있다.
이벤트 신호는 해당 픽셀을 지시하는 정보 및 타임 스탬프를 포함할 수 있다. 예를 들어, 타이밍(910)에 오른쪽 센서(120)의 제1 픽셀(121)에 의하여 대상 객체의 일 측면(151)이 감지될 수 있다. 오른쪽 센서(120)에 표시된 실선은 오른쪽 센서(120)에서 대상 객체의 일 측면(151)이 감지된 결과를 나타내고, 오른쪽 센서(120)에 표시된 점선은 왼쪽 센서(110)에서 대상 객체의 일 측면(151)이 감지된 결과를 나타낸다. 오른쪽 센서(120)는 제1 픽셀(121)을 지시하는 정보 및 타이밍(910)을 지시하는 타임 스탬프를 포함하는 이벤트 신호를 출력할 수 있다. 갱신부는 이벤트 신호에 기초하여 오른쪽 센서(120)를 위한 이벤트 맵을 갱신할 수 있다.
타이밍(920)에 왼쪽 센서(110)의 제3 픽셀(113)에 의하여 대상 객체의 일 측면(151)이 감지될 수 있다. 왼쪽 센서(110)에 표시된 실선은 왼쪽 센서(110)에서 대상 객체의 일 측면(151)이 감지된 결과를 나타내고, 왼쪽 센서(110)에 표시된 점선은 오른쪽 센서(120)에서 대상 객체의 일 측면(151)이 감지된 결과를 나타낸다. 왼쪽 센서(110)는 제3 픽셀(113)을 지시하는 정보 및 타이밍(920)을 지시하는 타임 스탬프를 포함하는 이벤트 신호를 출력할 수 있다. 갱신부는 이벤트 신호에 기초하여 왼쪽 센서(110)를 위한 이벤트 맵을 갱신할 수 있다. 타이밍(930) 및 타이밍(940)에서도 유사한 동작이 수행될 수 있다.
타이밍(910), 타이밍(920), 타이밍(930), 및 타이밍(940)은 과거 시점들이고 타이밍(950)이 현재 시점이라고 가정하면, 현재 픽셀은 타이밍(950)에 출력되는 이벤트 신호에 대응하는 오른쪽 센서(120)의 제3 픽셀(123)일 수 있다.
추출부(610)는 오른쪽 센서(120)로부터 이벤트 신호를 수신하고, 왼쪽에서 오른쪽으로 향하는 대상 객체의 이동 방향을 추출할 수 있다. 설정부(620)는 현재 픽셀로부터 대상 객체의 이동 방향과 반대 방향으로 인접한 제2 픽셀(122)을 이전 픽셀로 결정할 수 있다. 설정부(620)는 현재 픽셀과 이전 픽셀을 제1 센서 내 대응 픽셀들로 설정할 수 있다.
처리부(630)는 제1 센서 내 대응 픽셀들에 의하여 대상 객체의 움직임이 감지되는 타이밍들의 차이(960)를 계산할 수 있다. 예를 들어, 처리부(630)는 오른쪽 센서(120)를 위한 이벤트 맵으로부터 현재 픽셀의 타이밍 t R (x=3) 과 이전 픽셀의 타이밍 t R (x=2) 을 획득하고, 그 차이(960)를 계산할 수 있다.
설정부(620)는 이동 방향에 기초하여 제1 센서와 제2 센서 간 대응 픽셀들을 설정한다. 제1 센서와 제2 센서 간 대응 픽셀들은 대상 객체의 동일한 지점에 대응하는 이벤트를 감지한 제1 센서의 픽셀 및 제2 센서의 픽셀을 포함한다. 예를 들어, 제1 센서와 제2 센서 간 대응 픽셀들은 대상 객체의 동일한 포인트 또는 동일한 에지로 인하여 발생된 빛의 변화를 서로 다른 타이밍 또는 동일한 타이밍에 감지할 수 있다.
제1 센서와 제2 센서 간 대응 픽셀들이 대상 객체의 동일한 지점에 대응하는 이벤트를 동일한 타이밍에 감지하는 경우, 대상 객체는 미리 정해진 측정 가능 거리보다 멀리 있다고 판단될 수 있다. 이하, 제1 센서와 제2 센서 간 대응 픽셀들이 대상 객체의 동일한 지점에 대응하는 이벤트를 서로 다른 타이밍에 감지하는 실시예들을 설명한다.
일 실시예에 따르면, 설정부(620)는 타이밍들의 차이(970)을 계산하기 위하여 제1 센서와 제2 센서 간 대응 픽셀들을 설정할 수 있다. 이 경우, 시차 결정 장치(100)는 판단부를 더 포함할 수 있다. 판단부는 제1 센서의 출력 신호가 수신되면, 제1 센서 내 현재 픽셀의 좌표에 대응하는 제2 센서 내 픽셀이 대상 객체의 동일한 지점에 대응하는 이벤트를 이미 감지한 상태인지 여부를 판단할 수 있다.
이를 위하여, 판단부는 이벤트의 이동 방향이 제2 센서의 위치로부터 제1 센서의 위치로 향하는 가상 방향에 매칭되는지 여부를 판단할 수 있다. 예를 들어, 타이밍(950)이 현재 시점이라고 가정하면, 현재 픽셀은 타이밍(950)에 출력되는 이벤트 신호에 대응하는 오른쪽 센서(120)의 제3 픽셀(123)일 수 있다. 이 경우, 제1 센서는 오른쪽 센서(120)를 지칭하고 제2 센서는 왼쪽 센서(110)를 지칭한다. 대상 객체의 이동 방향이 왼쪽 센서(110)로부터 오른쪽 센서(120)를 향하는 가상 방향과 매칭되므로, 판단부는 대상 객체의 이동 방향이 가상 방향과 매칭된다고 판단할 수 있다.
설정부(620)는 대상 객체의 이동 방향이 가상 방향과 매칭된다는 판단에 따라, 제1 센서 내 현재 픽셀의 좌표에 대응하는 제2 센서 내 픽셀(이하, '좌표 대응 픽셀'이라고 함)을 검출할 수 있다. 예를 들어, 설정부(620)는 제1 센서 내 현재 픽셀의 x좌표가 3이므로, 제2 센서 내 x좌표가 3인 제3 픽셀(113)을 좌표 대응 픽셀로 검출할 수 있다. 설정부(620)는 현재 픽셀과 좌표 대응 픽셀을 제1 센서와 제2 센서 간 대응 픽셀들로 설정할 수 있다.
처리부(630)는 제1 센서와 제2 센서 간 대응 픽셀들에 의하여 대상 객체의 움직임이 감지되는 타이밍들의 차이(970)를 계산할 수 있다. 예를 들어, 처리부(630)는 오른쪽 센서(120)를 위한 이벤트 맵으로부터 현재 픽셀의 타이밍 t R (x=3)을 획득하고, 왼쪽 센서(110)를 위한 이벤트 맵으로부터 좌표 대응 픽셀의 타이밍 t L (x=3)을 획득하며, 그 차이(970)를 계산할 수 있다.
처리부(630)는 타이밍들의 차이(960)과 타이밍들의 차이(970) 사이의 비율과 픽셀 크기에 기초하여 정밀 시차를 결정할 수 있다. 예를 들어, 처리부(630)는 타이밍들의 차이(970)를 타이밍들의 차이(960)로 나눈 결과에 픽셀 크기를 곱함으로써, 정밀 시차를 결정할 수 있다.
이 경우, 처리부(630)는 미리 결정된 픽셀 크기 단위의 시차를 이용하지 않고도 정밀 시차를 결정할 수 있다. 처리부(630)는 정밀 시차로부터 픽셀 크기 단위의 시차를 결정할 수 있다. 예를 들어, 픽셀 크기 단위의 시차는 향후 다른 픽셀들에서 정밀 시차를 결정하는 데 활용될 수 있다.
다른 실시예에 따르면, 설정부(620)는 타이밍들의 차이(980)를 계산하기 위하여 제1 센서와 제2 센서 간 대응 픽셀들을 설정할 수 있다. 이 경우, 설정부(620)는 이동 방향, 제1 센서와 제2 센서에 포함된 픽셀들의 배치, 및 미리 결정된 픽셀 크기 단위의 시차에 기초하여 제1 센서와 제2 센서 간 대응 픽셀들을 설정할 수 있다.
픽셀 크기 단위의 시차는 다양한 방식으로 미리 결정될 수 있다. 예를 들어, 타이밍들의 차이(960)과 타이밍들의 차이(970) 사이의 비율과 픽셀 크기에 기초하여 정밀 시차가 결정되면, 정밀 시차의 소수점 이하를 버림으로써 픽셀 크기 단위의 시차가 결정될 수 있다. 또는, 대상 객체가 일정 거리 이상 먼 경우 픽셀 크기 단위의 시차가 0으로 결정될 수 있다. 또는, 이벤트의 이동 방향을 트랙킹 함으로써 기존 픽셀들에 대하여 미리 결정된 시차가 이용될 수도 있다. 또는, 일반적인 스테레오 매칭을 통하여 픽셀 크기 단위의 시차가 미리 결정될 수 있다. 일 예로, 픽셀 크기 단위의 시차에 대한 신뢰도를 계산하고, 신뢰도가 미리 정해진 임계 신뢰도 미만인 경우 스테레오 매칭이 수행될 수 있다. 이 경우, 제1 센서의 출력 신호에 기초하여 생성된 제1 영상 및 제2 센서의 출력 신호에 기초하여 생성된 제2 영상이 스테레오 매칭될 수 있다.
설정부(620)는 이동 방향, 제1 센서와 제2 센서에 포함된 픽셀들의 배치, 및 미리 결정된 픽셀 크기 단위의 시차에 기초하여, 제1 센서 내 현재 픽셀의 타이밍과 이전 픽셀의 타이밍 사이에 이벤트 신호가 출력된 제2 센서의 픽셀(이하, '근접 타이밍 픽셀'이라고 함)을 검출할 수 있다. 설정부(620)는 현재 픽셀과 근접 타이밍 픽셀을 제1 센서와 제2 센서 간 대응 픽셀들로 설정할 수 있다.
처리부(630)는 제1 센서와 제2 센서 간 대응 픽셀들에 의하여 대상 객체의 움직임이 감지되는 타이밍들의 차이(980)를 계산할 수 있다. 예를 들어, 처리부(630)는 오른쪽 센서(120)를 위한 이벤트 맵으로부터 현재 픽셀의 타이밍 t R (x=3)을 획득하고, 왼쪽 센서(110)를 위한 이벤트 맵으로부터 근접 타이밍 픽셀의 타이밍 t L (x=4)을 획득하며, 그 차이(980)를 계산할 수 있다.
처리부(630)는 타이밍들의 차이(960)과 타이밍들의 차이(980) 사이의 비율, 픽셀 크기, 및 미리 결정된 픽셀 크기 단위의 시차에 기초하여 정밀 시차를 결정할 수 있다. 예를 들어, 처리부(630)는 타이밍들의 차이(980)를 타이밍들의 차이(960)로 나눈 결과에 미리 결정된 픽셀 크기 단위의 시차를 더한 뒤, 픽셀 크기를 곱함으로써 정밀 시차를 결정할 수 있다.
이하, 도 10 내지 도 14를 참조하여, 정밀 시차를 결정하는 실시예들을 구체적으로 설명한다. 도 10은 이벤트의 이동 방향이 오른쪽인 경우, 오른쪽 센서로부터 이벤트 신호가 출력된 시점에 미리 결정된 픽셀 크기 단위의 시차를 이용하지 않고 정밀 시차를 결정하는 실시예를 설명하는 도면이다.
이벤트의 이동 방향이 오른쪽인 경우는 대상 객체가 왼쪽에서 오른쪽으로 이동하거나, 제1 센서 및 제2 센서가 오른쪽에서 왼쪽으로 이동 또는 회전하거나, 미리 정해진 패턴의 빛이 왼쪽에서 오른쪽으로 이동되면서 투사되는 경우 등을 포함할 수 있다.
이벤트의 이동 방향이 오른쪽인 경우, 오른쪽 센서로부터 이벤트 신호가 출력되면, 오른쪽 센서 내 현재 픽셀의 좌표에 대응하는 왼쪽 센서의 픽셀은 이미 이벤트를 감지한 상태이다. 이 경우, 시차 결정 장치(100)는 수학식 5를 이용하여 시차 d를 계산할 수 있다. 이하, 시차 d는 정밀 시차이다.
Figure pat00010
여기서, t R (x)는 오른쪽 센서의 현재 픽셀에서 이벤트가 감지된 타이밍이다. 시차 결정 장치(100)는 이벤트의 이동 방향이 오른쪽이므로, 이전 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 1을 뺀 좌표를 이용할 수 있다. t R (x-1)는 오른쪽 센서의 이전 픽셀에서 이벤트가 감지된 타이밍이다. 또한, 시차 결정 장치(100)는 별도의 스테레오 매칭 정보 없이도, 현재 픽셀의 x좌표에 대응하는 왼쪽 센서의 대응 좌표 픽셀을 검출할 수 있다. t L (x)는 왼쪽 센서의 대응 좌표 픽셀에서 이벤트가 감지된 타이밍이다.
Figure pat00011
는 픽셀 크기이다.
도 11은 이벤트의 이동 방향이 오른쪽인 경우, 오른쪽 센서로부터 이벤트 신호가 출력된 시점에 미리 결정된 픽셀 크기 단위의 시차를 이용하여 정밀 시차를 결정하는 실시예를 설명하는 도면이다.
미리 결정된 픽셀 크기 단위의 시차를 아는 경우, 시차 결정 장치(100)는 수학식 6을 이용하여 시차 d를 계산할 수 있다.
Figure pat00012
여기서, 시차 결정 장치(100)는 이벤트의 이동 방향이 오른쪽이고 현재 픽셀이 오른쪽 센서에 속하며(예를 들어, 이동 방향과 가상 방향이 매칭됨), 미리 결정된 픽셀 크기 단위의 시차가 n이므로, 현재 픽셀의 타이밍과 이전 픽셀의 타이밍 사이에서 이벤트가 감지된 왼쪽 센서의 근접 타이밍 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 n을 더한 좌표를 이용할 수 있다. t L (x+n)은 왼쪽 센서의 근접 타이밍 픽셀에서 이벤트가 감지된 타이밍이다.
도 12는 이벤트의 이동 방향이 오른쪽인 경우, 왼쪽 센서로부터 이벤트 신호가 출력된 시점에 미리 결정된 픽셀 크기 단위의 시차를 이용하여 정밀 시차를 결정하는 실시예를 설명하는 도면이다. 시차 결정 장치(100)는 수학식 7을 이용하여 시차 d를 계산할 수 있다.
Figure pat00013
여기서, t L (x)는 왼쪽 센서의 현재 픽셀에서 이벤트가 감지된 타이밍이다. 시차 결정 장치(100)는 이벤트의 이동 방향이 오른쪽이므로, 이전 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 1을 뺀 좌표를 이용할 수 있다. t L (x-1)는 왼쪽 센서의 이전 픽셀에서 이벤트가 감지된 타이밍이다. 또한, 시차 결정 장치(100)는 이벤트의 이동 방향이 오른쪽이고 현재 픽셀이 왼쪽 센서에 속하며(예를 들어, 이동 방향과 가상 방향이 매칭되지 않음), 미리 결정된 픽셀 크기 단위의 시차가 n이므로, 현재 픽셀의 타이밍과 이전 픽셀의 타이밍 사이에서 이벤트가 감지된 오른쪽 센서의 근접 타이밍 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 (n+1)을 뺀 좌표를 이용할 수 있다. t R (x-n-1)은 오른쪽 센서의 근접 타이밍 픽셀에서 이벤트가 감지된 타이밍이다.
도 13은 이벤트의 이동 방향이 왼쪽인 경우, 왼쪽 센서로부터 이벤트 신호가 출력된 시점에 정밀 시차를 결정하는 실시예를 설명하는 도면이다. 이벤트의 이동 방향이 왼쪽인 경우는 대상 객체가 오른쪽에서 왼쪽으로 이동하거나, 제1 센서 및 제2 센서가 왼쪽에서 오른쪽으로 이동 또는 회전하거나, 미리 정해진 패턴의 빛이 오른쪽에서 왼쪽으로 이동되면서 투사되는 경우 등을 포함할 수 있다.
이벤트의 이동 방향이 왼쪽인 경우, 왼쪽 센서로부터 이벤트 신호가 출력되면, 왼쪽 센서 내 현재 픽셀의 좌표에 대응하는 오른쪽 센서의 픽셀은 이미 이벤트를 감지한 상태이다. 이 경우, 시차 결정 장치(100)는 수학식 8을 이용하여 시차 d를 계산할 수 있다.
Figure pat00014
여기서, t L (x)는 왼쪽 센서의 현재 픽셀에서 이벤트가 감지된 타이밍이다. 시차 결정 장치(100)는 이벤트의 이동 방향이 왼쪽이므로, 이전 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 1을 더한 좌표를 이용할 수 있다. t L (x+1)는 왼쪽 센서의 이전 픽셀에서 이벤트가 감지된 타이밍이다. 또한, 시차 결정 장치(100)는 별도의 스테레오 매칭 정보 없이도, 현재 픽셀의 x좌표에 대응하는 오른쪽 센서의 대응 좌표 픽셀을 검출할 수 있다. t R (x)는 오른쪽 센서의 대응 좌표 픽셀에서 이벤트가 감지된 타이밍이다.
미리 결정된 픽셀 크기 단위의 시차를 아는 경우, 시차 결정 장치(100)는 수학식 9를 이용하여 시차 d를 계산할 수 있다.
Figure pat00015
여기서, 시차 결정 장치(100)는 이벤트의 이동 방향이 왼쪽이고 현재 픽셀이 왼쪽 센서에 속하며(예를 들어, 이동 방향과 가상 방향이 매칭됨), 미리 결정된 픽셀 크기 단위의 시차가 n이므로, 현재 픽셀의 타이밍과 이전 픽셀의 타이밍 사이에서 이벤트가 감지된 왼쪽 센서의 근접 타이밍 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 n을 뺀 좌표를 이용할 수 있다. t R (x-n)은 오른쪽 센서의 근접 타이밍 픽셀에서 이벤트가 감지된 타이밍이다.
도 14는 이벤트의 이동 방향이 왼쪽인 경우, 오른쪽 센서로부터 이벤트 신호가 출력된 시점에 미리 결정된 픽셀 크기 단위의 시차를 이용하여 정밀 시차를 결정하는 실시예를 설명하는 도면이다. 시차 결정 장치(100)는 수학식 10을 이용하여 시차 d를 계산할 수 있다.
Figure pat00016
여기서, t R (x)는 오른쪽 센서의 현재 픽셀에서 이벤트가 감지된 타이밍이다. 시차 결정 장치(100)는 이벤트의 이동 방향이 왼쪽이므로, 이전 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 1을 더한 좌표를 이용할 수 있다. t R (x+1)는 오른쪽 센서의 이전 픽셀에서 이벤트가 감지된 타이밍이다. 또한, 시차 결정 장치(100)는 이벤트의 이동 방향이 왼쪽이고 현재 픽셀이 오른쪽 센서에 속하며(예를 들어, 이동 방향과 가상 방향이 매칭되지 않음), 미리 결정된 픽셀 크기 단위의 시차가 n이므로, 현재 픽셀의 타이밍과 이전 픽셀의 타이밍 사이에서 이벤트가 감지된 왼쪽 센서의 근접 타이밍 픽셀을 검출하기 위하여 현재 픽셀의 x좌표에서 (n+1)을 더한 좌표를 이용할 수 있다. t L (x+n+1)은 왼쪽 센서의 근접 타이밍 픽셀에서 이벤트가 감지된 타이밍이다.
도 15(a)를 참조하면, 왼쪽 센서와 오른쪽 센서는 각각 독립된 렌즈(1511, 1521)와 센싱 어레이(1512, 1522)를 포함할 수 있다. 도 15(b)를 참조하면, 왼쪽 센서와 오른쪽 센서는 물리적으로 하나의 센싱 어레이(1531)를 논리적으로 분할하여 사용할 수 있다. 이 경우에도, 왼쪽 센서와 오른쪽 센서는 각각 독립된 렌즈(1511, 1521)를 포함할 수 있다.
이상에서, 이벤트의 이동 방향이 왼쪽 또는 오른쪽인 경우, 왼쪽 센서 및 오른쪽 센서에서 이벤트 신호가 출력되는 시점에 시차를 계산하는 실시예들을 설명하였으나, 이벤트의 이동 방향은 다양하게 변경될 수 있다. 예를 들어, 이벤트의 이동 방향이 오른쪽 위쪽 또는 오른쪽 아래쪽인 경우, 이벤트의 이동 방향에 포함된 오른쪽 방향 성분을 이용하여 시차가 동일하게 계산될 수 있다. 또는, 이벤트의 이동 방향이 왼쪽 위쪽 또는 왼쪽 아래쪽인 경우, 이벤트의 이동 방향에 포함된 왼쪽 방향 성분을 이용하여 시차가 동일하게 계산될 수 있다.
이상에서, 설명의 편의를 위하여 두 센서들이 좌-우로 배치되는 실시예들을 설명하였으나, 두 센서들이 배치되는 방식은 다양하게 변경될 수 있다. 예를 들어, 두 센서들은 임의의 방향으로 배치될 수도 있다.
일 실시예에 따른 시차 결정 장치(100)는 제1 센서 및 제2 센서 이외에 제3 센서를 더 이용함으로써, 이벤트의 이동 방향에 왼쪽 성분 또는 오른쪽 성분이 없는 경우에도 시차를 계산할 수 있다. 예를 들어, 도 15(c)를 참조하면, 시차 결정 장치(100)는 왼쪽 센서 및 오른쪽 센서 이외에 직각 방향으로 배치된 제3 센서를 더 이용할 수 있다. 제3 센서는 독립된 렌즈(1541)와 센싱 어레이(1542)를 포함할 수 있다. 또는, 도 15(d)를 참조하면, 왼쪽 센서, 오른쪽 센서, 및 제3 센서는 물리적으로 하나의 센싱 어레이(1551)를 논리적으로 분할하여 사용할 수 있다. 이 경우에도, 왼쪽 센서, 오른쪽 센서, 및 제3 센서는 각각 독립된 렌즈(1511, 1521, 1541)를 포함할 수 있다. 제3 센서를 더 이용하는 경우, 이벤트의 이동 방향에 포함된 위쪽 성분 및 아래쪽 성분을 이용하여 시차가 동일하게 계산될 수 있다.
일 실시예에 따르면, 네 개 이상의 센서들이 다양한 방향으로 배치될 수 있다. 또는, 일 실시예에 따르면, 동일한 방향으로 세 개 이상의 센서들이 배치될 수 있다. 동일한 방향에 배치되는 세 개 이상의 센서들 사이의 간격은 서로 동일할 수도 있고, 서로 다를 수도 있다. 이 경우, 하나의 방향에서 복수의 측정 결과가 도출되므로, 측정 정확도가 향상될 수 있다.
이상에서, 제1 센서 내 대응 픽셀들 및 제1 센서와 제2 센서 간 대응 픽셀들에 의하여 이벤트가 감지되는 동안, 이벤트는 등속 운동을 하는 경우를 가정한다. 일 실시예에 따른 시차 결정 장치(100)는 이벤트가 가속 운동을 하는 경우에도, 시차를 계산할 수 있다. 예를 들어, 도 16을 참조하면, 시차 결정 장치(100)는 오른쪽 렌즈 내 인접 픽셀들에 의하여 이벤트가 감지되는 타이밍들의 차이(1610, 1630), 왼쪽 렌즈 내 인접 픽셀들에 의하여 이벤트가 감지되는 타이밍들의 차이(1620, 1640)에 기초하여 이벤트의 가속도를 계산할 수 있다. 시차 결정 장치(100)는 가속도를 고려하여 정밀 시차를 계산할 수 있다.
일 실시예에 따르면, 시차 결정 장치(100)는 가속도를 계산한 뒤 해당 가속도를 이용하여 시차를 계산하는 대신, 수학식 11을 이용하여 바로 시차를 계산할 수도 있다. 수학식 11은 이벤트가 좌에서 우로 이동하고, 오른쪽 센서의 x 좌표에 위치하는 픽셀에서 이벤트 신호가 출력되는 경우에 시차를 계산하는 수학식일 수 있다.
Figure pat00017
수학식 11은 이벤트의 움직임에 가속도가 없는 경우에도 적용될 수 있다. 다시 말해, 수학식 11은 수학식 5의 일반화된 수학식일 수 있다. 예를 들어, 이벤트의 움직임이 등속인 경우,
Figure pat00018
와
Figure pat00019
이 동일하고,
Figure pat00020
와
Figure pat00021
가 동일하다. 이 경우, 수학식 11은 수학식 5와 같아질 수 있다.
이상에서, 연산 복잡도를 감소시키기 위하여 가장 최근의 이벤트 타이밍들(예를 들어, 이벤트의 움직임이 등속인 경우 3개)을 이용하여 시차를 계산하는 방법을 기술하였으나, 더 이전의 이벤트 혹은 더 많은 이벤트를 이용하여 정확도를 향상시킬 수 있다. 또한, 이벤트의 움직임에 가속도가 있는 경우, z축 방향의 성분이 있는 경우에 대해서도 실시예들이 적용될 수 있다.
도 17은 일 실시예에 따른 시차 결정 방법을 나타낸 동작 흐름도이다. 도 17을 참조하면, 일 실시예에 따른 시차 결정 방법은 이벤트를 서로 다른 위치에서 감지하는 제1 센서 및 제2 센서의 출력 신호들을 수신하는 단계(1710); 제1 센서의 출력 신호 및 제2 센서의 출력 신호 중 적어도 하나에 기초하여 이벤트의 이동 방향을 추출하는 단계(1720); 이동 방향에 기초하여 제1 센서 내 대응 픽셀들 및 제1 센서와 제2 센서 간 대응 픽셀들을 설정하는 단계(1730); 및 제1 센서 내 대응 픽셀들에 의하여 이벤트가 감지되는 타이밍들의 차이 및 제1 센서와 제2 센서 간 대응 픽셀들에 의하여 이벤트가 감지되는 타이밍들의 차이에 기초하여, 시차를 결정하는 단계(1740)를 포함한다. 도 17에 도시된 각 단계들에는 도 1 내지 도 16을 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (30)

  1. 이벤트를 서로 다른 위치에서 감지하는 제1 센서 및 제2 센서의 출력 신호들을 수신하는 단계;
    상기 제1 센서의 출력 신호 및 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 상기 이벤트의 이동 방향을 추출하는 단계;
    상기 이동 방향에 기초하여 상기 제1 센서 내 대응 픽셀들 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들을 설정하는 단계; 및
    상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여, 시차(disparity)를 결정하는 단계
    를 포함하는, 시차 결정 방법.
  2. 제1항에 있어서,
    상기 시차는
    픽셀 크기보다 작은 단위를 가지는, 시차 결정 방법.
  3. 제1항에 있어서,
    상기 제1 센서 내 대응 픽셀들은
    대상 객체의 동일한 지점에 대응하는 이벤트를 서로 다른 타이밍에 감지한 상기 제1 센서의 픽셀들을 포함하는, 시차 결정 방법.
  4. 제1항에 있어서,
    상기 설정하는 단계는
    상기 제1 센서의 출력 신호가 수신되면, 상기 이동 방향에 기초하여 상기 출력 신호에 대응하는 픽셀의 이전 픽셀을 결정하는 단계; 및
    상기 출력 신호에 대응하는 픽셀과 상기 이전 픽셀을 상기 제1 센서 내 대응 픽셀들로 설정하는 단계
    를 포함하는, 시차 결정 방법.
  5. 제1항에 있어서,
    상기 추출하는 단계는
    상기 제1 센서의 출력 신호가 수신되면, 상기 출력 신호의 시간 정보와 상기 제1 센서를 위한 제1 이벤트 맵 내 상기 출력 신호에 대응하는 원소의 주변 원소들의 시간 정보를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 이벤트의 이동 방향을 추출하는 단계
    를 포함하는, 시차 결정 방법.
  6. 제1항에 있어서,
    상기 제1 센서와 상기 제2 센서 간 대응 픽셀들은
    대상 객체의 동일한 지점에 대응하는 이벤트를 감지한 상기 제1 센서의 픽셀 및 상기 제2 센서의 픽셀
    을 포함하는, 시차 결정 방법.
  7. 제1항에 있어서,
    상기 설정하는 단계는
    상기 이동 방향, 상기 제1 센서와 상기 제2 센서에 포함된 픽셀들의 배치, 및 미리 결정된 픽셀 크기 단위의 시차에 기초하여 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들을 설정하는 단계
    를 포함하는, 시차 결정 방법.
  8. 제1항에 있어서,
    상기 제1 센서의 출력 신호가 수신되면, 상기 이동 방향이 상기 제2 센서의 위치로부터 상기 제1 센서의 위치로 향하는 가상 방향에 매칭되는지 여부를 판단하는 단계
    를 더 포함하고,
    상기 설정하는 단계는
    상기 이동 방향이 상기 가상 방향에 매칭된다는 판단에 따라, 상기 제1 센서와 상기 제2 센서 내 동일한 좌표에 대응하는 픽셀들을 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들로 설정하는 단계
    를 포함하는, 시차 결정 방법.
  9. 제8항에 있어서,
    상기 결정하는 단계는
    상기 시차에 기초하여 픽셀 크기 단위의 시차를 결정하는 단계
    를 포함하는, 시차 결정 방법.
  10. 제1항에 있어서,
    상기 결정하는 단계는
    상기 제1 센서 내 인접 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제2 센서 내 인접 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여 상기 이벤트의 가속도를 계산하는 단계; 및
    상기 가속도, 상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여 상기 시차를 결정하는 단계
    를 포함하는, 시차 결정 방법.
  11. 제1항에 있어서,
    상기 이벤트는
    상기 제1 센서 및 상기 제2 센서에 입사되는 빛이 연속적으로 변하는 이벤트
    를 포함하는, 시차 결정 방법.
  12. 제1항에 있어서,
    픽셀 크기 단위의 시차를 생성하기 위하여, 상기 제1 센서의 출력 신호에 기초하여 생성된 제1 영상과 상기 제2 센서의 출력 신호에 기초하여 생성된 제2 영상을 스테레오 매칭하는 단계
    를 더 포함하는, 시차 결정 방법.
  13. 제1항에 있어서,
    상기 결정하는 단계는
    상기 제1 센서를 위한 제1 이벤트 맵에 기초하여 상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이를 계산하는 단계; 및
    상기 제1 이벤트 맵 및 상기 제2 센서를 위한 제2 이벤트 맵에 기초하여 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이를 계산하는 단계
    를 포함하는, 시차 결정 방법.
  14. 제1항에 있어서,
    상기 제1 센서의 출력 신호가 수신되면, 상기 제1 센서를 위한 제1 이벤트 맵 내 상기 제1 센서의 출력 신호에 대응하는 원소의 시간 정보를 갱신하는 단계; 및
    상기 제2 센서의 출력 신호가 수신되면, 상기 제2 센서를 위한 제2 이벤트 맵 내 상기 제2 센서의 출력 신호에 대응하는 원소의 시간 정보를 갱신하는 단계
    중 적어도 하나를 더 포함하는, 시차 결정 방법.
  15. 하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  16. 이벤트를 감지하는 제1 센서;
    상기 이벤트를 상기 제1 센서의 위치와 다른 위치에서 감지하는 제2 센서;
    상기 제1 센서의 출력 신호 및 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 상기 이벤트의 이동 방향을 추출하는 추출부;
    상기 이동 방향에 기초하여 상기 제1 센서 내 대응 픽셀들 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들을 설정하는 설정부; 및
    상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여, 시차(disparity)를 결정하는 처리부
    를 포함하는, 시차 결정 장치.
  17. 제16항에 있어서,
    상기 제1 센서 및 상기 제2 센서 중 적어도 하나는
    입사되는 빛의 변화에 기초하여 이벤트를 감지하고, 감지된 이벤트에 대응하는 이벤트 신호를 출력하는 이벤트 기반 비전 센서
    를 포함하는, 시차 결정 장치.
  18. 제16항에 있어서,
    상기 제1 센서 및 상기 제2 센서 중 적어도 하나는
    복수의 픽셀들을 포함하는 이벤트 기반 비전 센서
    를 포함하고,
    상기 복수의 픽셀들 중 움직임을 감지한 픽셀에서 이벤트 신호가 출력되는, 시차 결정 장치.
  19. 제16항에 있어서,
    상기 제1 센서 및 상기 제2 센서 중 적어도 하나는
    프레임 단위로 연속 영상들을 촬영하는 프레임 기반 비전 센서; 및
    상기 연속 영상들의 차이에 기초하여 이벤트를 감지하고, 감지된 이벤트에 대응하는 이벤트 신호를 출력하는 출력 모듈
    을 포함하는, 시차 결정 장치.
  20. 제16항에 있어서,
    상기 이벤트를 상기 제1 센서의 위치 및 상기 제2 센서의 위치와 다른 위치에서 감지하는 제3 센서
    를 더 포함하고,
    상기 추출부는 상기 제3 센서의 출력 신호에 더 기초하여 상기 이동 방향을 추출하며, 상기 설정부는 상기 이동 방향에 기초하여 상기 제1 센서와 상기 제3 센서 간 대응 픽셀들을 더 설정하고, 상기 처리부는 상기 제1 센서와 상기 제3 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 더 기초하여 상기 시차를 결정하는, 시차 결정 장치.
  21. 제16항에 있어서,
    미리 정해진 패턴의 빛을 이동시키면서 투사하는 발광부
    를 더 포함하는, 시차 결정 장치.
  22. 제16항에 있어서,
    상기 설정부는
    상기 제1 센서의 출력 신호가 수신되면, 상기 이동 방향에 기초하여 상기 출력 신호에 대응하는 픽셀의 이전 픽셀을 결정하고, 상기 출력 신호에 대응하는 픽셀과 상기 이전 픽셀을 상기 제1 센서 내 대응 픽셀들로 설정하는, 시차 결정 장치.
  23. 제16항에 있어서,
    상기 추출부는
    상기 제1 센서의 출력 신호가 수신되면, 상기 출력 신호의 시간 정보와 상기 제1 센서를 위한 제1 이벤트 맵 내 상기 출력 신호에 대응하는 원소의 주변 원소들의 시간 정보를 비교함으로써 상기 이벤트의 이동 방향을 추출하는, 시차 결정 장치.
  24. 제16항에 있어서,
    상기 설정부는
    상기 이동 방향, 상기 제1 센서와 상기 제2 센서에 포함된 픽셀들의 배치, 및 미리 결정된 픽셀 크기 단위의 시차에 기초하여 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들을 설정하는, 시차 결정 장치.
  25. 제16항에 있어서,
    상기 제1 센서의 출력 신호가 수신되면, 상기 이동 방향이 상기 제2 센서의 위치로부터 상기 제1 센서의 위치로 향하는 가상 방향에 매칭되는지 여부를 판단하는 판단부
    를 더 포함하고,
    상기 설정부는
    상기 이동 방향이 상기 가상 방향에 매칭된다는 판단에 따라, 상기 제1 센서와 상기 제2 센서 내 동일한 좌표에 대응하는 픽셀들을 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들로 설정하는, 시차 결정 장치.
  26. 제20항에 있어서,
    상기 처리부는
    상기 시차에 기초하여 픽셀 크기 단위의 시차를 결정하는, 시차 결정 장치.
  27. 제16항에 있어서,
    상기 처리부는
    상기 제1 센서 내 인접 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이 및 상기 제2 센서 내 인접 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이에 기초하여 상기 이벤트의 가속도를 계산하고, 상기 가속도에 더 기초하여 상기 시차를 결정하는, 시차 결정 장치.
  28. 제16항에 있어서,
    픽셀 크기 단위의 시차를 생성하기 위하여, 상기 제1 센서의 출력 신호에 기초하여 생성된 제1 영상과 상기 제2 센서의 출력 신호에 기초하여 생성된 제2 영상을 스테레오 매칭하는 매칭부
    를 더 포함하는, 시차 결정 장치.
  29. 제16항에 있어서,
    상기 처리부는
    상기 제1 센서를 위한 제1 이벤트 맵에 기초하여 상기 제1 센서 내 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이를 계산하고,
    상기 제1 이벤트 맵 및 상기 제2 센서를 위한 제2 이벤트 맵에 기초하여 상기 제1 센서와 상기 제2 센서 간 대응 픽셀들에 의하여 상기 이벤트가 감지되는 타이밍들의 차이를 계산하는, 시차 결정 장치.
  30. 제16항에 있어서,
    상기 제1 센서의 출력 신호가 수신되면, 상기 제1 센서를 위한 제1 이벤트 맵 내 상기 제1 센서의 출력 신호에 대응하는 원소의 시간 정보를 갱신하고, 상기 제2 센서의 출력 신호가 수신되면, 상기 제2 센서를 위한 제2 이벤트 맵 내 상기 제2 센서의 출력 신호에 대응하는 원소의 시간 정보를 갱신하는 갱신부
    를 더 포함하는, 시차 결정 장치.
KR1020150012732A 2015-01-27 2015-01-27 시차 결정 방법 및 장치 Active KR102298652B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150012732A KR102298652B1 (ko) 2015-01-27 2015-01-27 시차 결정 방법 및 장치
US14/835,078 US9842400B2 (en) 2015-01-27 2015-08-25 Method and apparatus for determining disparity
EP15190972.8A EP3051492B1 (en) 2015-01-27 2015-10-22 Method and apparatus for determining disparity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150012732A KR102298652B1 (ko) 2015-01-27 2015-01-27 시차 결정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160092289A true KR20160092289A (ko) 2016-08-04
KR102298652B1 KR102298652B1 (ko) 2021-09-06

Family

ID=54608248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150012732A Active KR102298652B1 (ko) 2015-01-27 2015-01-27 시차 결정 방법 및 장치

Country Status (3)

Country Link
US (1) US9842400B2 (ko)
EP (1) EP3051492B1 (ko)
KR (1) KR102298652B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180102986A (ko) * 2017-03-08 2018-09-18 삼성전자주식회사 타임스탬프를 재생성하도록 구성된 이미지 처리 장치 및 그것을 포함하는 전자 기기
US11202025B2 (en) 2017-03-08 2021-12-14 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
KR20220029562A (ko) * 2019-06-25 2022-03-08 주식회사 소니 인터랙티브 엔터테인먼트 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098789A1 (en) * 2016-12-01 2018-06-07 SZ DJI Technology Co., Ltd. Method and system for detecting and tracking objects using characteristic points
US11143879B2 (en) 2018-05-25 2021-10-12 Samsung Electronics Co., Ltd. Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065915A (ko) * 2010-12-13 2012-06-21 한국과학기술원 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체
JP2014157433A (ja) * 2013-02-15 2014-08-28 Ricoh Co Ltd 視差検出装置、視差検出方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
KR100392381B1 (ko) 2000-11-13 2003-07-22 한국전자통신연구원 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템
EP1570683A1 (en) 2002-11-21 2005-09-07 Vision III Imaging, Inc. Critical alignment of parallax images for autostereoscopic display
KR100776649B1 (ko) 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US7692551B2 (en) 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
KR100951637B1 (ko) 2007-12-17 2010-04-09 한국전자통신연구원 스테레오 비전 시스템 및 이의 영상 처리 방법
KR100926287B1 (ko) 2007-12-28 2009-11-12 재단법인대구경북과학기술원 시차와 원근법을 이용한 거리 추정 장치 및 추정 방법
CN101680756B (zh) 2008-02-12 2012-09-05 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
EP2334089A1 (en) 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
US8488870B2 (en) 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
KR101265021B1 (ko) 2012-02-29 2013-05-24 성균관대학교산학협력단 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치
KR102070562B1 (ko) 2012-06-19 2020-01-30 삼성전자주식회사 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
KR102022970B1 (ko) 2013-04-30 2019-11-04 삼성전자주식회사 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법
JP6195915B2 (ja) * 2013-05-07 2017-09-13 シャープ株式会社 画像計測装置
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065915A (ko) * 2010-12-13 2012-06-21 한국과학기술원 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체
JP2014157433A (ja) * 2013-02-15 2014-08-28 Ricoh Co Ltd 視差検出装置、視差検出方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180102986A (ko) * 2017-03-08 2018-09-18 삼성전자주식회사 타임스탬프를 재생성하도록 구성된 이미지 처리 장치 및 그것을 포함하는 전자 기기
US11202025B2 (en) 2017-03-08 2021-12-14 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
US11575849B2 (en) 2017-03-08 2023-02-07 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
US12395758B2 (en) 2017-03-08 2025-08-19 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
KR20220029562A (ko) * 2019-06-25 2022-03-08 주식회사 소니 인터랙티브 엔터테인먼트 시스템, 정보 처리 장치, 정보 처리 방법 및 프로그램
US12405160B2 (en) 2019-06-25 2025-09-02 Sony Interactive Entertainment Inc. System, information processing device, information processing method, and program

Also Published As

Publication number Publication date
US9842400B2 (en) 2017-12-12
EP3051492A1 (en) 2016-08-03
KR102298652B1 (ko) 2021-09-06
EP3051492B1 (en) 2017-12-13
US20160217584A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
EP2571257B1 (en) Projector device and operation detecting method
KR102298652B1 (ko) 시차 결정 방법 및 장치
KR102248404B1 (ko) 움직임 분석 방법 및 움직임 분석 장치
US8477198B2 (en) Interaction control system, method for detecting motion of object, host apparatus and control method thereof
US9978147B2 (en) System and method for calibration of a depth camera system
US10269127B2 (en) Object detecting method and object detecting device
EP3159126A1 (en) Device and method for recognizing location of mobile robot by means of edge-based readjustment
US9817488B2 (en) Optical navigation device and related automatic magnification adjusting method
JP4963964B2 (ja) 物体検出装置
US12025719B2 (en) Determining imperfections in an imaging camera for determining the orientation of objects in space
KR101238748B1 (ko) 주사구동 적외선센서장치를 이용한 표적거리 측정시스템
KR20130070340A (ko) 모션인식에서 광흐름 처리 가속기 및 방법
WO2014108976A1 (ja) 物体検出装置
JP2017103688A5 (ko)
JP2019213082A (ja) センサ制御装置、物体探索システム、物体探索方法及びプログラム
JP2021131864A (ja) オブジェクトの特徴を予測するためにレンジデータを使用するための方法及び装置
KR101494395B1 (ko) 스테레오 비전을 이용한 탐색장치를 포함하는 유도 비행체 및 이의 표적 추적 방법
KR102081778B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
CN102401901A (zh) 测距系统及测距方法
US9766753B2 (en) Optical touch system and method having image sensors to detect objects over a touch surface
KR20100041170A (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
Kuronen et al. 3d hand movement measurement framework for studying human-computer interaction
KR102613536B1 (ko) 레이다 3d 맵과 스테레오 깊이 맵에 의한 근접 객체 거리/자세 정밀 계산 장치 및 그 방법
JP2021174089A (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5