KR102187192B1 - 영상시차 획득방법 및 장치 - Google Patents

영상시차 획득방법 및 장치 Download PDF

Info

Publication number
KR102187192B1
KR102187192B1 KR1020160085660A KR20160085660A KR102187192B1 KR 102187192 B1 KR102187192 B1 KR 102187192B1 KR 1020160085660 A KR1020160085660 A KR 1020160085660A KR 20160085660 A KR20160085660 A KR 20160085660A KR 102187192 B1 KR102187192 B1 KR 102187192B1
Authority
KR
South Korea
Prior art keywords
image
event
parallax
pixel
cost
Prior art date
Application number
KR1020160085660A
Other languages
English (en)
Other versions
KR20170090976A (ko
Inventor
동칭 조우
치앙 왕
조백환
박근주
핑 구오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/277,572 priority Critical patent/US10341634B2/en
Publication of KR20170090976A publication Critical patent/KR20170090976A/ko
Application granted granted Critical
Publication of KR102187192B1 publication Critical patent/KR102187192B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

영상시차 획득방법 및 이를 수행하는 장치가 개시된다. 일 실시예에 따른 영상시차 획득방법은 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 단계와, 상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계와, 제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정 하는 단계와, 상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 단계를 포함할 수 있다. 이때, 상기 좌측 영상과 상기 우측 영상은 동적 시각 센서(dynamic vision sensor)에 기초하여 획득한 영상이고, 상기 제1 영상이 상기 좌측 영상일 때, 상기 제2 영상은 상기 우측 영상이고, 상기 제1 영상이 상기 우측 영상일 때, 상기 제 2영상은 상기 좌측 영상일 수 있다.

Description

영상시차 획득방법 및 장치{METHOD FOR ACQUIRING IMAGE DISPARITY AND APPARATUS FOR THE SAME}
본 발명은 컴퓨터 시각기술영역에 관한 것이고, 특히 영상시차를 획득하는 방법 및 장치에 관한 것이다.
현재 영상 시차 계산기술은 이미 많은 영상 응용, 예를 들면 대상식별, 영상 3D모델링과 운전보조 등의 분야에서 중요한 역할을 담당하였다. 최근 몇 년간 영상 시차 계산기술의 성과는 컸는데, 좌측 영상 및 우측 영상(두개의 센서가 동일한 시각에 동일한 광경을 촬영하여 획득한 두개의 영상)을 매칭하는 방법에 따라 아래의 세가지 유형으로 분류할 수 있다.
1) 국부특징의 유사성에 기초한 기술
이 유형의 기술은 두 영상의 각 픽셀 및 그 인근 영역 범위 내에 분포된 픽셀의 매칭을 통하여 좌측 영상의 각 픽셀포인트를 우측 영상 중에서 최적의 픽셀에 매칭한다.
2) 비 국부특징의 유사성에 기초한 기술
이 유형의 기술은 전체의 영상 공간에서, 각 픽셀과 특징이 비슷한 복수의 픽셀을 찾고, 픽셀간의 유사성 관계에 기초하여 코스트매칭 행렬을 계산하고, 그리디 알고리즘(greedy algorithm)을 통하여 각 픽셀의 시차를 획득한다.
3) 전체적 특징의 유사성에 기초한 기술
이 유형의 기술은 우선적으로 각 픽셀과 영상이 위치한 모든 픽셀의 유사성에 기초하여 영상의 조건 랜덤 필드를 구축한다. 국부특징의 유사성 기술을 이용하여 두 영상의 각 픽셀의 시차를 각각 계산하고, 좌우 교차검증을 통하여 매치 이상점(outlier)을 제거하며, 조건 랜덤 필드를 이용하여 매칭되는 시차를 기타 픽셀에 전파한다.
상술한 세가지 유형의 기술은 모두 픽셀에 대한 처리이고, 즉 각 픽셀에 대하여 처리하므로 계산량이 많아 계산에 필요한 시간이 비교적 길다.
기존 기술은 각 픽셀에 대한 처리를 수행하기 때문에 필요 계산량이 비교적 크고, 계산 소요시간이 긴 문제가 있었다. 이를 해결하기 위하여, 본 발명의 실시예에서 영상의 시차를 획득하는 방법 및 이 방법을 응용할 수 있는 영상의 시차를 획득하는 장치를 제공할 수 있다.
일 실시예에 따른 영상시차 획득방법은 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 단계와, 상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계와, 제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정 하는 단계와, 상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 단계를 포함할 수 있다. 이때, 상기 좌측 영상과 상기 우측 영상은 동적 시각 센서(dynamic vision sensor)에 기초하여 획득한 영상이고, 상기 제1 영상이 상기 좌측 영상일 때, 상기 제2 영상은 상기 우측 영상이고, 상기 제1 영상이 상기 우측 영상일 때, 상기 제 2영상은 상기 좌측 영상일 수 있다.
상기 방법은 상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 단계를 더 포함할 수 있다.
상기 코스트를 계산하는 단계는 상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 단계와, 상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 단계와, 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같으면, 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하는 단계와, 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같지 않으면, 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상시차 획득장치는 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 코스트계산모듈과, 상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 시차계산모듈과, 제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정하는 확정모듈과, 상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 시차예측모듈을 포함할 수 있다.
상기 코스트계산모듈은 상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 노이즈 제거모듈을 포함할 수 있다.
상기 코스트계산모듈은 상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 특징계산부와, 상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 코스트계산부를 포함할 수 있다.
상기 확정모듈은 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 판단부와, 상기 판단부가 같다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하고, 상기 판단부가 같지 않다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 이벤트 확정부를 포함할 수 있다.
도 1은 본 발명의 영상시차를 획득하는 방법의 플로우 차트의 일 예를 나타낸다.
도 2는 도 1에 도시된 영상의 노이즈를 제거하는 동작에 대한 플로우 차트의 일 예를 나타낸다.
도 3은 도 1에 도시된 이벤트의 미리 설정된 시차범위 내에서의 코스트와 중간 시차를 계산하는 동작에 대한 플로우 차트의 일 예이다.
도 4는 픽셀의 n개의 방향에서 인근 이벤트를 검색하는 예들을 나타낸다.
도 5는 도 1에 도시된, 이벤트가 매칭되는 이벤트인지 여부를 결정하는 동작에 대한 플로우 차트의 일 예이다.
도 6은 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
도 7은 다른 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
동적 시각 센서(Dynamic Vision Sensor)는 촬영 중 조명강도의 변화에 기초하여 이벤트를 생성하고, 일정한 시간 내에 출력한 모든 이벤트를 하나의 영상으로 조합하여 생성할 수 있다. 이때, 영상의 일부 픽셀은 하나의 이벤트에 대응하며, 일부 픽셀은 이벤트에 대응하지 않을 수도 있다. 동적 시각 센서가 생성한 영상은 아래와 같은 특징을 가질 수 있다.
(1) 동적 시각 센서는 움직임 감지 센서(motion sensitive sensor)이고, 상대운동과 조명강도변화가 미리 설정된(predetermined) 역치에 도달한 물체 바운더리(object boundary) 또는 프레임 이벤트(frame event)를 감지할 수 있다. 따라서, 소량의 이벤트로도 촬영 중의 내용을 묘사할 수 있다.
(2) 동적 시각 센서가 생성한 이벤트는 촬영 중의 조명강도변화에 연관되고, 촬영 중의 조명강도변화가 미리 설정된 역치보다 클 때, 동적 시각 센서는 이에 대응하는 이벤트를 생성하여 촬영 중의 내용변화를 묘사할 수 있다. 즉, 동적 시각 센서는 조명강도의 변화 에 민감한 센서(robust sensor)이고, 조명요소가 영상에 대해 영향을 미칠 수 있다.
이하에서는 동일한 시간에 두 대의 동적 시각 센서를 사용하여 영상을 촬영하고 출력한 이벤트를 각각 좌측 영상과 우측 영상으로 하는 영상시차 획득방법에 대해 설명한다.
도 1은 본 발명의 영상의 시차를 획득하는 방법의 플로우 차트의 일 예를 나타낸다.
도 1을 참조하면, 본 발명의 영상의 시차를 획득하는 방법은 아래 단계를 포함할 수 있다.
동적 시각 센서를 통하여 좌측 영상 및 우측 영상을 획득할 수 있다. 좌측 영상과 우측 영상의 노이즈를 제거할 수 있다(S101).
동적 시각 센서가 생성한 영상의 이벤트는 일반적으로 조명강도변화에 기초하여 생성된 것이고, 따라서 이벤트는 보통 촬영 중인 대상의 프레임 또는 바운더리 주위에 집중적으로 분포되어 있으며, 분포가 비교적 분산된 이벤트는 노이즈로 고려될 수 있다. 이러한 노이즈를 포함하는 영상에 대한 특징분해(feature decomposition)를 할 수 있다. 이때, 고유값(eigenvalue)이 작을수록 이벤트 분포가 더 분산되었다는 것을 의미하고, 반대로 고유값이 클수록 이벤트 분포가 더 집중된다는 것을 의미할 수 있다. 따라서 미리 설정된 값보다 작지 않은 앞 몇 개의 고유값의 고유벡터(eigenvector)를 추출하고 다시 조합하여 노이즈 제거후의 영상을 획득할 수 있다. 노이즈를 제거하는 단계는 코스트를 계산하는 단계보다 선행되어 수행될 수 있다.
좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하고, 코스트에 기초하여 이벤트의 중간 시차를 계산할 수 있다(S102).
제1 영상(예를 들어, 참고영상) 중의 각 이벤트의 중간 시차 및 제2 영상의 대응 이벤트의 중간 시차에 기초하여 제1 영상의 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정할 수 있다(S103). 예를 들어, 제1 영상의 각 이벤트가 제2 영상의 각 대응 이벤트에 매칭이 되는지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때, 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때, 제2 영상은 좌측 영상일 수 있다.
제1 영상의 각 이벤트에 대하여 좌우측 영상 시차 교차검증을 통하여 이벤트가 매칭되는 이벤트인지, 또는 매칭되지 않는 이벤트인지를 결정할 수 있다.
또한, 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측할 수 있다(S104).
이때, 수학식 1을 이용하여 제1 영상의 전체 최적 시차에 대한 랜덤필드를 생성할 수 있다.
Figure 112016065507015-pat00001
Figure 112016065507015-pat00002
는 제1 영상의 모든 이벤트의 전체 최적시차의 집합이고,
Figure 112016065507015-pat00003
는 선형합병가중치(linear combination weight)이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
Figure 112016065507015-pat00004
는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
Figure 112016065507015-pat00005
는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
Figure 112016065507015-pat00006
는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
Figure 112016065507015-pat00007
은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
Figure 112016065507015-pat00008
은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
Figure 112016065507015-pat00009
는
Figure 112016065507015-pat00010
이 최소값을 갖게 하는
Figure 112016065507015-pat00011
일 수 있다.
이벤트 간 특징의 유사도(feature similarity)에 기초하여 제1 영상의 매칭되지 않는 이벤트의 전체 최적 시차를 예측할 수 있다. 매칭되지 않는 이벤트의 주변에서 매칭되는 이벤트의 중간 시차를 사용함으로써 전체 최적 시차를 예측함으로써 매끄러운(smooth) 제1 영상의 이벤트 시차를 계산할 수 있는 효과가 있을 수 있다. 일반적으로, 공간적으로 인접한 이벤트들은 유사한 시차를 가질 수 있다.
이하에서는, 도 1에 도시된 각 동작을 구체적으로 설명하도록 한다.
도 2는 도 1에 도시된 영상의 노이즈를 제거하는 동작에 대한 플로우 차트의 일 예를 나타낸다.
도 2를 참조하면, 구체적으로 영상의 노이즈를 제거하는 방법은 아래 단계를 포함할 수 있다.
영상 I에 대하여 특징분해를 하여
Figure 112016065507015-pat00012
를 획득할 수 있다(S1011). 이때, 영상 I에 포함된 e를 노이즈로,
Figure 112016065507015-pat00013
는 노이즈 제거후의 영상으로 정의 한다면 아래 수학식 2와 같은 관계를 정의할 수 있다.
Figure 112016065507015-pat00014
Figure 112016065507015-pat00015
는 제 i번째 고유값(eigenvalue)이고,
Figure 112016065507015-pat00016
는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
Figure 112016065507015-pat00017
와
Figure 112016065507015-pat00018
는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수를 의미할 수 있다.
k<r 이고,
Figure 112016065507015-pat00019
중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
Figure 112016065507015-pat00020
를 획득할 수 있다(S1012).
Figure 112016065507015-pat00021
은 내림차순으로 배열되어 있기 때문에, 미리 설정한 값보다 작지 않은 고유값은 처음부터 임의의 k번째까지의 고유값
Figure 112016065507015-pat00022
일 수 있다.
수학식 3에 따라 노이즈 제거후의 영상
Figure 112016065507015-pat00023
을 계산하여 획득할 수 있다(S1013).
Figure 112016065507015-pat00024
도 3은 도 1에 도시된 이벤트의 미리 설정된 시차범위 내에서의 코스트와 중간 시차를 계산하는 동작에 대한 플로우 차트의 일 예이다.
도 3을 참조하면, 좌측 영상 및 우측 영상의 각 픽셀의 특징(feature)을 계산할 수 있다(S1021).
각 픽셀과 특정 방향에서의 최근 이벤트 사이의 거리의 계산을 통하여 픽셀의 특징을 계산할 수 있다. 구체적으로, 각 픽셀에 대하여 N개 방향에서 각각 픽셀과 가장 가까운 거리의 이벤트를 찾아 픽셀에서 각각의 최근 이벤트 사이의 거리를 계산하여 최종적으로 N개의 거리를 획득하며, 픽셀의 특징의 묘사에 사용할 수 있다. 도 4는 N이 1인 경우와 8인 경우의 일 예를 나타낸다.
예를 들어, 수학식 4를 이용하여 픽셀(x, y)의 특징을 계산할 수 있다.
Figure 112016065507015-pat00025
Figure 112016065507015-pat00026
는 픽셀의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
Figure 112016065507015-pat00027
이고,
Figure 112016065507015-pat00028
는 픽셀의 n쪽 방향에서의 인근 픽셀
Figure 112016065507015-pat00029
의 극성 값(polarity)이고, i는 인근 픽셀
Figure 112016065507015-pat00030
의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수일 수 있다.
좌측 영상 및 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 코스트를 계산할 수 있다(S1022).
이때, 코스트는 코스트에 대응하는 최종 코스트 행렬(final cost matrix)일 수 있다.
최종 코스트 행렬은 특징 매칭 코스트(feature matching cost)와 극성값 매칭 코스트(polarity matching cost)를 포함할 수 있다.
이하에서는 특징 매칭 코스트 및 극성값 매칭 코스트를 계산하는 방법에 대해 각각 설명하고, 이를 이용하여 최종 코스트 행렬을 계산하는 방법을 설명한다.
(1) 특징 매칭 코스트(feature matching cost)
미리 설정된 시차범위 내의 시차 값(disparity value)이 d인 조건에서, 수학식 5를 사용하여 이벤트의 특징 매칭 코스트인
Figure 112016065507015-pat00031
를 계산할 수 있다.
Figure 112016065507015-pat00032
x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고,
Figure 112016065507015-pat00033
는 중심 포인트의 국부 범위일 수 있다. 이때, 국부 범위는 하나의 정사각형 범위일 수 있다.
Figure 112016065507015-pat00034
는
Figure 112016065507015-pat00035
내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
Figure 112016065507015-pat00036
는 임의의 픽셀
Figure 112016065507015-pat00037
의 n쪽 방향에서의 특징이고,
Figure 112016065507015-pat00038
는 픽셀
Figure 112016065507015-pat00039
의 n쪽 방향에서의 특징일 수 있다. d는 미리 설정된 시차범위 내의 시차 값(disparity value)일 수 있다. 예를 들어, 미리 설정된 시차범위는 1에서 100까지의 값을 가질 수 있고, 즉 d=1, 2, ..., 100일 수 있다. 또한, 미리 설정된 시차범위는 보통 실제경험에 기초할 수 있다.
(2) 극성값 매칭 코스트(polarity matching cost)
미리 설정된 시차범위 내의 시차 값이 d인 조건에서, 수학식 6을 사용하여 이벤트의 극성값 매칭 코스트
Figure 112016065507015-pat00040
를 계산할 수 있다.
Figure 112016065507015-pat00041
x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고,
Figure 112016065507015-pat00042
는 이벤트의 픽셀
Figure 112016065507015-pat00043
의 극성 값이고,
Figure 112016065507015-pat00044
는 픽셀
Figure 112016065507015-pat00045
의 극성 값이고, d는 미리 설정된 시차범위 내의 시차 값일 수 있다. 예를 들어, 미리 설정된 시차범위는 1에서 100까지의 값을 가질 수 있고, 즉 d=1, 2, ..., 100일 수 있다.
(3) 최종 코스트 행렬(final cost matrix)
미리 설정된 시차범위 내의 시차 값이 d인 조건에서, 수학식 7을 사용하여 이벤트의 최종 코스트 행렬(final cost matrix)인
Figure 112016065507015-pat00046
를 계산할 수 있다.
Figure 112016065507015-pat00047
Figure 112016065507015-pat00048
는 선형 결합 가중치일 수 있다. 좌측 영상의 이벤트와 우측 영상의 이벤트를 각각 계산하여 수학식 7에 따라 좌측 영상의 코스트 행렬
Figure 112016065507015-pat00049
를 계산하여 획득하고, 수학식 7에 따라 우측 영상의 코스트 행렬
Figure 112016065507015-pat00050
를 계산하여 획득할 수 있다.
이벤트의 미리 설정된 시차범위 내에서의 최종 코스트 행렬
Figure 112016065507015-pat00051
에 기초하여 이벤트의 중간 시차인
Figure 112016065507015-pat00052
를 계산할 수 있다(S1023).
구체적으로, 이벤트가 미리 설정된 시차범위 내에서의 최종 코스트 행렬
Figure 112016065507015-pat00053
에 기초하여 승자 독점제(winner takes all) 알고리즘을 이용하여 수학식 8에 따라 이벤트의 중간 시차
Figure 112016065507015-pat00054
를 계산할 수 있다.
Figure 112016065507015-pat00055
Figure 112016065507015-pat00056
는 이벤트의 중간 시차고, x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고,
Figure 112016065507015-pat00057
는 시차 값이 d인 조건에서 이벤트의 최종 코스트 행렬이고, d는 미리 설정된 시차범위 내의 임의의 시차 값이고,
Figure 112016065507015-pat00058
는
Figure 112016065507015-pat00059
가 최소값을 갖게 하는 d일 수 있다. 이때, 좌측 영상의 이벤트와 우측 영상의 이벤트를 각각 계산하여 수학식 8에 따라 좌측 영상의 이벤트의 중간 시차
Figure 112016065507015-pat00060
를 계산하여 획득하고, 수학식 8에 따라 우측 영상의 이벤트의 중간 시차
Figure 112016065507015-pat00061
를 계산하여 획득할 수 있다.
도 5는 도 1에 도시된, 이벤트가 매칭되는 이벤트인지 여부를 결정하는 동작에 대한 플로우 차트의 일 예이다.
구체적으로, 도 5를 참조하면, 제1 영상의 이벤트의 중간 시차
Figure 112016065507015-pat00062
와 제2 영상의 대응 이벤트의 중간 시차
Figure 112016065507015-pat00063
가 같은지 여부를 판단할 수 있다(S1031).
이때, 두 시차가 같으면 제1 영상의 이벤트가 매칭되는 이벤트임을 결정하고(S1032), 같지 않으면 제1 영상의 이벤트가 매칭되지 않는 이벤트임을 결정한다(S1033).
Figure 112016065507015-pat00064
의 x와 y는 각각 제1 영상의 이벤트의 픽셀의 엑스축 및 와이축 좌표이고,
Figure 112016065507015-pat00065
의
Figure 112016065507015-pat00066
과
Figure 112016065507015-pat00067
는 각각 제2 영상의 대응 이벤트의 픽셀의 엑스축 및 와이축 좌표일 수 있다.
이를 통해 제1 영상의 어떤 이벤트가 매칭되는 이벤트이고, 어떤 이벤트가 매칭되지 않는 이벤트인지를 결정할 수 있다. 이벤트가 매칭되는 이벤트라면, 이벤트의 중간 시차 계산이 정확했다는 것을 의미하고, 반대로 매칭되지 않는 이벤트라면, 이벤트의 중간 시차 계산에 오류가 있음을 의미해 이벤트의 시차를 다시 예측할 것을 요구할 수 있다. 예를 들어 이 때, 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 이벤트의 시차를 다시 예측할 수 있다.
본 발명의 일 실시예에 따른 방법에서, 동적 시각 센서에 기초하여 획득한 좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하고, 코스트에 기초하여 이벤트의 중간 시차를 계산하고, 제1 영상의 각 이벤트의 중간 시차 및 제2 영상의 대응 이벤트의 중간 시차에 기초하여 제1 영상의 이벤트가 매칭되는 이벤트인지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때 제2 영상은 좌측 영상일 수 있다. 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하여 동적 시각 센서영상에 대한 시차의 계산을 완료할 수 있다. 이때, 처리 대상은 픽셀이 아니라 영상의 이벤트인데, 이벤트는 픽셀보다 개수가 적기 때문에 기존기술이 각 픽셀을 처리함으로써 계산량이 비교적 크고 계산에 소요되는 시간이 비교적 긴 문제를 해결할 수 있다.
본 발명의 일 측에 따른 다른 실시예의 방법에서, 우선 좌측 영상과 우측 영상의 노이즈를 제거하고, 다음으로 영상의 각 이벤트에 대하여 처리하여 최종적으로 제1 영상에서 모든 이벤트의 전체 최적 시차를 획득할 수 있다. 우선 영상 중에 포함한 무효이벤트, 즉 노이즈를 효과적으로 제거함으로써, 유효 이벤트에 대하여 계산하므로 뚜렷하게 계산량을 감소 시켜 계산에 소요되는 시간을 축소하여 작업효율을 향상시킬 수 있다.
그 외에, 본 발명의 실시예의 방법에서, 영상의 픽셀의 특징 묘사부(feature descriptor)를 통하여 픽셀의 특징을 효과적으로 묘사하고, 좌우측 영상의 이벤트의 대응관계를 효과적으로 계산할 수 있다. 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차의 방법을 예측함으로써 제1 영상의 이벤트의 매끄러운(smooth) 시차를 획득할 수 있고 시차 예측정밀도를 향상시킬 수 있다.
표 1은 기존기술 1, 기존기술 2와 본 발명의 실시예의 방법을 각각 사용하여 영상 시차를 계산할 때, 획득한 제1 영상의 모든 이벤트의 시차 오차의 평균값의 실험데이터를 보여준다.
Figure 112016065507015-pat00068
Avgerr는 제1 영상의 모든 이벤트의 시차오차의 평균 값(단위는 픽셀)을 의미한다. 표 1에서 볼 수 있듯이, 기존기술 1과 기존기술 2와 비교하면, 본 발명의 실시예의 방법을 사용하여 획득한 시차오차의 평균 값이 가장 작고 시차 예측 정밀도도 가장 높다.
이하에서는 본 발명의 실시예에 따른, 상술한 방법을 사용할 수 있는 영상의 시차를 획득하는 장치를 설명한다.
도 6은 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
도 6을 참조하면, 영상의 시차를 획득하는 장치는 코스트계산모듈(201), 시차계산모듈(202), 확정모듈(203), 및 시차예측모듈(204)을 포함할 수 있다.
코스트계산모듈(201)은 좌측 영상과 우측 영상의 각 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산할 수 있다. 여기서 좌측 영상과 우측 영상은 동적 시각 센서에 기초하여 획득한 영상일 수 있다.
시차계산모듈(202)은 코스트계산모듈(201)이 계산하여 획득한 이벤트의 중간 시차를 계산할 수 있다.
확정모듈(203)은 시차계산모듈(202)이 계산한 제1 영상의 각 이벤트의 중간 시차 및 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 제1 영상의 각 이벤트가 매칭되는 이벤트인지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때 제2 영상은 좌측 영상일 수 있다.
시차예측모듈(204)은 확정모듈(203)이 제1 영상의 매칭되는 이벤트를 결정한 후, 시차계산모듈(202)이 계산한 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측할 수 있다.
도 7은 다른 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
도 7을 참조하면, 영상의 시차를 획득하는 장치는 노이즈 제거모듈(205)을 더 포함할 수 있다.
노이즈제거모듈(205)은 코스트계산모듈(201)이 좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하는 동작에 선행하여, 좌측 영상과 우측 영상의 노이즈를 제거할 수 있다.
노이즈제거모듈(205)은 분해부, 획득부, 및 영상계산부를 포함할 수 있다.
분해부는 영상에 대하여 특징분해를 하여
Figure 112016065507015-pat00069
을 획득하고,
Figure 112016065507015-pat00070
는 제 i번째 고유값(eigenvalue)이고,
Figure 112016065507015-pat00071
는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
Figure 112016065507015-pat00072
와
Figure 112016065507015-pat00073
는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수를 의미할 수 있다.
획득부는 k<r을 만족하는 k에 대하여,
Figure 112016065507015-pat00074
중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
Figure 112016065507015-pat00075
를 획득할 수 있다.
영상계산부는 수학식
Figure 112016065507015-pat00076
에 따라 노이즈 제거 후의 영상
Figure 112016065507015-pat00077
Figure 112016065507015-pat00078
를 계산하여 획득할 수 있다.
코스트계산모듈(201)은 특징계산부와 코스트계산부를 포함할 수 있다.
특징계산부는 영상의 각 픽셀의 특징을 계산할 수 있고, 코스트계산부는 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 미리 설정된 시차범위(predetermined disparity range)에서 코스트를 계산할 수 있다.
특징계산부는 수학식 9를 통해 영상의 각 픽셀(x, y)의 특징을 구할 수 있다.
Figure 112016065507015-pat00079
이때,
Figure 112016065507015-pat00080
는 픽셀의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
Figure 112016065507015-pat00081
이고,
Figure 112016065507015-pat00082
는 픽셀의 n쪽 방향에서의 인근 픽셀
Figure 112016065507015-pat00083
의 극성 값(polarity)이고, i는 인근 픽셀
Figure 112016065507015-pat00084
의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수일 수 있다.
코스트계산부는 미리 설정된 시차범위 내의 시차 값(disparity value)이 d인 조건에서, 수학식 10에 따라 이벤트의 코스트를 계산할 수 있다. 이벤트의 코스트는 코스트에 대응하는 최종 코스트 행렬
Figure 112016065507015-pat00085
일 수 있다.
Figure 112016065507015-pat00086
d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
Figure 112016065507015-pat00087
은 최종 코스트 행렬(final cost matrix)이고,
Figure 112016065507015-pat00088
은 특징 매칭 코스트(feature matching cost)이고,
Figure 112016065507015-pat00089
는 극성값 매칭 코스트(polarity matching cost)이고,
Figure 112016065507015-pat00090
는 선형 결합 가중치(linear combination weight)이고, x와 y는 각각 픽셀
Figure 112016065507015-pat00091
의 엑스축 및 와이축 좌표이고,
Figure 112016065507015-pat00092
는 중심 포인트의 국부 범위이고,
Figure 112016065507015-pat00093
는
Figure 112016065507015-pat00094
내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
Figure 112016065507015-pat00095
는 임의의 픽셀
Figure 112016065507015-pat00096
의 n쪽 방향에서의 특징이고,
Figure 112016065507015-pat00097
는 픽셀
Figure 112016065507015-pat00098
의 n쪽 방향에서의 특징이고,
Figure 112016065507015-pat00099
는 이벤트의 픽셀
Figure 112016065507015-pat00100
의 극성 값이고,
Figure 112016065507015-pat00101
는 픽셀
Figure 112016065507015-pat00102
의 극성 값일 수 있다.
시차계산모듈(202)은 수학식 11에 따라 이벤트의 중간 시차
Figure 112016065507015-pat00103
를 계산할 수 있다.
Figure 112016065507015-pat00104
x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고, d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
Figure 112016065507015-pat00105
는 최종 코스트 행렬이고,
Figure 112016065507015-pat00106
는
Figure 112016065507015-pat00107
가 최소값을 갖게 하는 d일 수 있다.
확정모듈(203)은 판단부와 이벤트 확정부를 포함할 수 있다.
판단부는 제1 영상의 이벤트의 중간 시차 시차
Figure 112016065507015-pat00108
와 제2 영상의 대응 이벤트의 중간 시차
Figure 112016065507015-pat00109
가 같은지 여부를 판단할 수 있다.
Figure 112016065507015-pat00110
의 x와 y는 각각 제1 영상의 이벤트의 픽셀의 엑스축 및 와이축 좌표이고,
Figure 112016065507015-pat00111
의
Figure 112016065507015-pat00112
과
Figure 112016065507015-pat00113
는 각각 제2 영상의 대응 이벤트의 픽셀의 엑스축 및 와이축 좌표일 수 있다.
이벤트 확정부는 판단부의 판단결과가 같으면 제1 영상의 이벤트가 매칭되는 이벤트임을 결정하고, 반대로 판단부의 판단결과가 같지 않으면, 제1 영상의 이벤트가 매칭되지 않는 이벤트임을 결정할 수 있다.
시차예측모듈(204)는 수학식 12에 따라 제1 영상의 모든 이벤트의 전체적 최적 시차조성의 집합
Figure 112016065507015-pat00114
를 예측할 수 있다.
Figure 112016065507015-pat00115
Figure 112016065507015-pat00116
는 선형합병가중치(linear combination weight)이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
Figure 112016065507015-pat00117
는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
Figure 112016065507015-pat00118
는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
Figure 112016065507015-pat00119
는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
Figure 112016065507015-pat00120
은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
Figure 112016065507015-pat00121
은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
Figure 112016065507015-pat00122
는
Figure 112016065507015-pat00123
이 최소값을 갖게 하는
Figure 112016065507015-pat00124
일 수 있다.
상술한 내용을 종합하여 보면, 본 발명의 실시예들은 아래의 효과를 가질 수 있다.
(1) 동적 시각 센서에 기초하여 획득한 좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하고, 코스트에 기초하여 이벤트의 중간 시차를 계산할 수 있다. 제1 영상의 각 이벤트의 중간 시차 및 제2 영상의 대응 이벤트의 중간 시차에 기초하여 제1 영상의 이벤트가 매칭되는 이벤트인지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때 제2 영상은 좌측 영상일 수 있다. 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하여 동적 시각 센서 영상에 대한 시차를 계산하여 획득할 수 있다. 본 실시예에 따른 방법은 영상의 이벤트에 대하여 처리하는 것이지 픽셀에 대한 처리가 아니고, 이벤트의 수는 픽셀의 수보다 적으므로, 기존기술에서 각 픽셀에 대한 처리로 인한 계산량이 크고 계산에 소요되는 시간이 긴 문제를 해결할 수 있다.
(2) 좌측 영상과 우측 영상의 노이즈를 제거하고, 영상의 각 이벤트에 대하여 처리하여 최종적으로 제1 영상에서 모든 이벤트의 전체 최적 시차를 획득할 수 있다. 이때, 우선적으로 영상 중에 포함된 무효이벤트, 즉 노이즈를 효과적으로 제거하여, 유효 이벤트에 대하여 계산함으로써 계산량을 감소 시켰고 계산에 소요되는 시간을 축소하여 작업효율을 향상시킬 수 있다.
(3) 영상의 픽셀의 특징 묘사부(feature descriptor)를 부가하여 픽셀의 특징을 효과적으로 묘사하고, 좌우측 영상의 이벤트의 대응관계를 효과적으로 세울 수 있다.
(4) 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차의 방법을 예측하여 제1 영상의 이벤트의 매끄러운(smooth) 시차를 획득할 수 있고, 시차 예측정밀도를 향상시킬 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 단계;
    상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계;
    제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정하는 단계; 및
    상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 단계
    를 포함하고,
    상기 좌측 영상과 상기 우측 영상은 동적 시각 센서(dynamic vision sensor)에 기초하여 획득한 영상이고,
    상기 제1 영상이 상기 좌측 영상일 때, 상기 제2 영상은 상기 우측 영상이고, 상기 제1 영상이 상기 우측 영상일 때, 상기 제 2영상은 상기 좌측 영상이고,
    상기 제1 영상의 각 이벤트 및 상기 제2 영상의 각 대응 이벤트는 조명강도의 변화가 미리 설정된 역치보다 클 때 생성되는
    영상시차 획득방법.
  2. 제1항에 있어서,
    상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 단계
    를 더 포함하는 영상시차 획득방법.
  3. 제2항에 있어서,
    상기 노이즈를 제거하는 단계는,
    영상에 대하여 특징분해(feature decomposition)를 하여
    Figure 112016065507015-pat00125
    를 획득 하는 단계 -
    Figure 112016065507015-pat00126
    는 제 i번째 고유값(eigenvalue)이고,
    Figure 112016065507015-pat00127
    는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
    Figure 112016065507015-pat00128
    와
    Figure 112016065507015-pat00129
    는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수임- ;
    k<r 이고,
    Figure 112016065507015-pat00130
    중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
    Figure 112016065507015-pat00131
    를 획득하는 단계; 및
    아래의 수학식에 기초하여 노이즈 제거 후의 영상을 획득하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure 112016065507015-pat00132

    여기서,
    Figure 112016065507015-pat00133
    는 노이즈 제거 후의 영상임.
  4. 제1항 내지 제3항의 어느 한 항에 있어서,
    상기 코스트를 계산하는 단계는,
    상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 단계; 및
    상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 단계
    를 포함하는 영상시차 획득방법.
  5. 제4항에 있어서,
    상기 픽셀의 특징을 계산하는 단계는,
    아래의 수학식에 기초하여 상기 각 픽셀의 특징을 계산하는 단계
    를 포함하는 영상시차 획득 방법.
    [수학식]
    Figure 112016065507015-pat00134

    여기서,
    Figure 112016065507015-pat00135
    는 픽셀의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀
    Figure 112016065507015-pat00136
    의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
    Figure 112016065507015-pat00137
    이고,
    Figure 112016065507015-pat00138
    는 픽셀의 n쪽 방향에서의 인근 픽셀
    Figure 112016065507015-pat00139
    의 극성 값(polarity)이고, i는 인근 픽셀
    Figure 112016065507015-pat00140
    의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수임.
  6. 제4항에 있어서,
    상기 중심 포인트의 국부 범위 내의 픽셀의 특징에 기초하여 상기 코스트를 계산하는 단계는,
    아래의 수학식에 기초하여 상기 코스트에 대응하는 최종 코스트 행렬을 계산하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure 112016065507015-pat00141

    여기서, d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
    Figure 112016065507015-pat00142
    은 최종 코스트 행렬(final cost matrix)이고,
    Figure 112016065507015-pat00143
    은 특징 매칭 코스트(feature matching cost)이고,
    Figure 112016065507015-pat00144
    는 극성값 매칭 코스트(polarity matching cost)이고,
    Figure 112016065507015-pat00145
    는 선형 결합 가중치(linear combination weight)이고, x와 y는 각각 픽셀
    Figure 112016065507015-pat00146
    의 엑스축 및 와이축 좌표이고,
    Figure 112016065507015-pat00147
    는 중심 포인트의 국부 범위이고,
    Figure 112016065507015-pat00148
    는
    Figure 112016065507015-pat00149
    내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
    Figure 112016065507015-pat00150
    는 임의의 픽셀
    Figure 112016065507015-pat00151
    의 n쪽 방향에서의 특징이고,
    Figure 112016065507015-pat00152
    는 픽셀
    Figure 112016065507015-pat00153
    의 n쪽 방향에서의 특징이고,
    Figure 112016065507015-pat00154
    는 픽셀
    Figure 112016065507015-pat00155
    의 극성 값이고,
    Figure 112016065507015-pat00156
    는 픽셀
    Figure 112016065507015-pat00157
    의 극성 값임.
  7. 제6항에 있어서,
    상기 중간 시차를 계산하는 단계는,
    아래의 수학식에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure 112016065507015-pat00158

    여기서,
    Figure 112016065507015-pat00159
    는 이벤트의 중간 시차고,
    Figure 112016065507015-pat00160
    는
    Figure 112016065507015-pat00161
    가 최소값을 갖게 하는 d임.
  8. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 단계;
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같으면, 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하는 단계; 및
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같지 않으면, 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 단계
    를 포함하는 영상시차 획득방법.
  9. 제1항에 있어서,
    상기 전체 최적 시차를 예측하는 단계는,
    아래의 수학식에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차의 집합을 계산하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure 112016065507015-pat00162

    여기서,
    Figure 112016065507015-pat00163
    는 제1 영상의 모든 이벤트의 전체 최적시차의 집합이고,
    Figure 112016065507015-pat00164
    는 선형합병가중치이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
    Figure 112016065507015-pat00165
    는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
    Figure 112016065507015-pat00166
    는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
    Figure 112016065507015-pat00167
    는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
    Figure 112016065507015-pat00168
    은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
    Figure 112016065507015-pat00169
    은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
    Figure 112016065507015-pat00170
    는
    Figure 112016065507015-pat00171
    이 최소값을 갖게 하는
    Figure 112016065507015-pat00172
    임.
  10. 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 코스트계산모듈;
    상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 시차계산모듈;
    제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정하는 확정모듈; 및
    상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 시차예측모듈
    을 포함하고,
    상기 제1 영상의 각 이벤트 및 상기 제2 영상의 각 대응 이벤트는 조명강도의 변화가 미리 설정된 역치보다 클 때 생성되는
    영상시차 획득장치.
  11. 제10항에 있어서,
    상기 코스트계산모듈은,
    상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 노이즈 제거모듈
    을 포함하는 영상시차 획득장치.
  12. 제11항에 있어서,
    상기 노이즈 제거모듈은,
    영상에 대하여 특징분해(feature decomposition)를 하여
    Figure 112016065507015-pat00173
    를 획득하는 분해부 -
    Figure 112016065507015-pat00174
    는 제 i번째 고유값(eigenvalue)이고,
    Figure 112016065507015-pat00175
    는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
    Figure 112016065507015-pat00176
    와
    Figure 112016065507015-pat00177
    는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수임-;
    k<r 이고,
    Figure 112016065507015-pat00178
    중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
    Figure 112016065507015-pat00179
    를 획득하는 획득부; 및
    아래의 수학식에 기초하여 노이즈 제거 후의 영상을 획득하는 영상계산부
    를 포함하는 영상시차 획득장치.
    [수학식]
    Figure 112016065507015-pat00180

    여기서,
    Figure 112016065507015-pat00181
    는 노이즈 제거 후의 영상임.
  13. 제10항 내지 제12항의 어느 한 항에 있어서,
    상기 코스트계산모듈은,
    상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 특징계산부; 및
    상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 코스트계산부
    를 포함하는 영상시차 획득장치.
  14. 제13항에 있어서,
    상기 특징계산부는 아래의 수학식에 기초하여 상기 각 픽셀의 특징을 계산하는 영상시차 획득장치.
    [수학식]
    Figure 112016065507015-pat00182

    여기서,
    Figure 112016065507015-pat00183
    는 픽셀
    Figure 112016065507015-pat00184
    의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀
    Figure 112016065507015-pat00185
    의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
    Figure 112016065507015-pat00186
    이고,
    Figure 112016065507015-pat00187
    는 픽셀
    Figure 112016065507015-pat00188
    의 n쪽 방향에서의 인근 픽셀
    Figure 112016065507015-pat00189
    의 극성 값(polarity)이고, i는 인근 픽셀
    Figure 112016065507015-pat00190
    의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수임.
  15. 제13항에 있어서,
    상기 코스트계산부는 아래의 수학식에 기초하여 상기 코스트에 대응하는 최종 코스트 행렬을 계산하는 영상시차 획득장치.
    [수학식]
    Figure 112016065507015-pat00191

    여기서, d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
    Figure 112016065507015-pat00192
    은 최종 코스트 행렬(final cost matrix)이고,
    Figure 112016065507015-pat00193
    은 특징 매칭 코스트(feature matching cost)이고,
    Figure 112016065507015-pat00194
    는 극성값 매칭 코스트(polarity matching cost)이고,
    Figure 112016065507015-pat00195
    는 선형 결합 가중치(linear combination weight)이고, x와 y는 각각 픽셀
    Figure 112016065507015-pat00196
    의 엑스축 및 와이축 좌표이고,
    Figure 112016065507015-pat00197
    는 중심 포인트의 국부 범위이고,
    Figure 112016065507015-pat00198
    는
    Figure 112016065507015-pat00199
    내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
    Figure 112016065507015-pat00200
    는 임의의 픽셀
    Figure 112016065507015-pat00201
    의 n쪽 방향에서의 특징이고,
    Figure 112016065507015-pat00202
    는 픽셀
    Figure 112016065507015-pat00203
    의 n쪽 방향에서의 특징이고,
    Figure 112016065507015-pat00204
    는 픽셀
    Figure 112016065507015-pat00205
    의 극성 값이고,
    Figure 112016065507015-pat00206
    는 픽셀
    Figure 112016065507015-pat00207
    의 극성 값임.
  16. 제15항에 있어서,
    상기 시차계산모듈은 아래의 수학식에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 영상시차 획득장치.
    [수학식]
    Figure 112016065507015-pat00208

    여기서,
    Figure 112016065507015-pat00209
    는 이벤트의 중간 시차고,
    Figure 112016065507015-pat00210
    는
    Figure 112016065507015-pat00211
    가 최소값을 갖게 하는 d임.
  17. 제10항에 있어서,
    상기 확정모듈은,
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 판단부; 및
    상기 판단부가 같다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하고, 상기 판단부가 같지 않다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 이벤트 확정부
    를 포함하는 영상시차 획득장치.
  18. 제10항에 있어서,
    상기 시차예측모듈은 아래의 수학식에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차의 집합을 계산하는 영상시차 획득장치.
    [수학식]
    Figure 112020038055085-pat00212

    여기서,
    Figure 112020038055085-pat00213
    는 제1 영상의 모든 이벤트의 전체 최적시차의 집합이고,
    Figure 112020038055085-pat00214
    는 선형합병가중치이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
    Figure 112020038055085-pat00215
    는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
    Figure 112020038055085-pat00216
    는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
    Figure 112020038055085-pat00217
    는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
    Figure 112020038055085-pat00218
    은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
    Figure 112020038055085-pat00219
    은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
    Figure 112020038055085-pat00220
    는
    Figure 112020038055085-pat00221
    이 최소값을 갖게 하는
    Figure 112020038055085-pat00222
    임.
KR1020160085660A 2016-01-29 2016-07-06 영상시차 획득방법 및 장치 KR102187192B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/277,572 US10341634B2 (en) 2016-01-29 2016-09-27 Method and apparatus for acquiring image disparity

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610064279.9A CN107027019B (zh) 2016-01-29 2016-01-29 图像视差获取方法及装置
CN201610064279.9 2016-01-29

Publications (2)

Publication Number Publication Date
KR20170090976A KR20170090976A (ko) 2017-08-08
KR102187192B1 true KR102187192B1 (ko) 2020-12-04

Family

ID=59525194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160085660A KR102187192B1 (ko) 2016-01-29 2016-07-06 영상시차 획득방법 및 장치

Country Status (2)

Country Link
KR (1) KR102187192B1 (ko)
CN (1) CN107027019B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225778A (ja) 2007-03-12 2008-09-25 Toshiba Corp 画像処理装置
CN101720047A (zh) 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
US20140003704A1 (en) * 2012-06-27 2014-01-02 Imec Taiwan Co. Imaging system and method
US20140293003A1 (en) * 2011-11-07 2014-10-02 Thomson Licensing A Corporation Method for processing a stereoscopic image comprising an embedded object and corresponding device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9204127B1 (en) * 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
CN104200453B (zh) * 2014-09-15 2017-01-25 西安电子科技大学 基于图像分割和可信度的视差图像校正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225778A (ja) 2007-03-12 2008-09-25 Toshiba Corp 画像処理装置
CN101720047A (zh) 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
US20140293003A1 (en) * 2011-11-07 2014-10-02 Thomson Licensing A Corporation Method for processing a stereoscopic image comprising an embedded object and corresponding device
US20140003704A1 (en) * 2012-06-27 2014-01-02 Imec Taiwan Co. Imaging system and method

Also Published As

Publication number Publication date
KR20170090976A (ko) 2017-08-08
CN107027019A (zh) 2017-08-08
CN107027019B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
JP6471448B2 (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
JP6245330B2 (ja) 対象分割方法、対象分割装置及び対象分割プログラム
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
KR20140064908A (ko) 국부화된 세그먼트화 이미지들의 네트워크 캡처 및 ３ｄ 디스플레이
US20190080464A1 (en) Stereo matching method and apparatus
KR102578209B1 (ko) 영상 처리 방법과 장치
US20170084048A1 (en) Measurement device and measurement method
US20170223333A1 (en) Method and apparatus for processing binocular disparity image
KR20180015570A (ko) 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법
US10341634B2 (en) Method and apparatus for acquiring image disparity
JP2014170368A (ja) 画像処理装置、方法及びプログラム並びに移動体
KR102187192B1 (ko) 영상시차 획득방법 및 장치
CN108876812B (zh) 用于视频中物体检测的图像处理方法、装置及设备
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111089579B (zh) 异构双目slam方法、装置及电子设备
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
JP6668740B2 (ja) 道路面推定装置
US10713808B2 (en) Stereo matching method and system using rectangular window
KR102366520B1 (ko) 영상의 노이즈 레벨 결정 방법
WO2014192061A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009302723A (ja) 画像処理装置、方法およびプログラム
KR101802061B1 (ko) 얼굴 시공간 특징에 기반한 자동 생체 인증 방법 및 시스템
JP6516609B2 (ja) 動物体検出装置及びその背景モデル構築方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant