KR20170090976A - 영상시차 획득방법 및 장치 - Google Patents

영상시차 획득방법 및 장치 Download PDF

Info

Publication number
KR20170090976A
KR20170090976A KR1020160085660A KR20160085660A KR20170090976A KR 20170090976 A KR20170090976 A KR 20170090976A KR 1020160085660 A KR1020160085660 A KR 1020160085660A KR 20160085660 A KR20160085660 A KR 20160085660A KR 20170090976 A KR20170090976 A KR 20170090976A
Authority
KR
South Korea
Prior art keywords
image
event
cost
parallax
calculating
Prior art date
Application number
KR1020160085660A
Other languages
English (en)
Other versions
KR102187192B1 (ko
Inventor
동칭 조우
치앙 왕
조백환
박근주
핑 구오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/277,572 priority Critical patent/US10341634B2/en
Publication of KR20170090976A publication Critical patent/KR20170090976A/ko
Application granted granted Critical
Publication of KR102187192B1 publication Critical patent/KR102187192B1/ko

Links

Images

Classifications

    • H04N13/0239—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

영상시차 획득방법 및 이를 수행하는 장치가 개시된다. 일 실시예에 따른 영상시차 획득방법은 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 단계와, 상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계와, 제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정 하는 단계와, 상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 단계를 포함할 수 있다. 이때, 상기 좌측 영상과 상기 우측 영상은 동적 시각 센서(dynamic vision sensor)에 기초하여 획득한 영상이고, 상기 제1 영상이 상기 좌측 영상일 때, 상기 제2 영상은 상기 우측 영상이고, 상기 제1 영상이 상기 우측 영상일 때, 상기 제 2영상은 상기 좌측 영상일 수 있다.

Description

영상시차 획득방법 및 장치{METHOD FOR ACQUIRING IMAGE DISPARITY AND APPARATUS FOR THE SAME}
본 발명은 컴퓨터 시각기술영역에 관한 것이고, 특히 영상시차를 획득하는 방법 및 장치에 관한 것이다.
현재 영상 시차 계산기술은 이미 많은 영상 응용, 예를 들면 대상식별, 영상 3D모델링과 운전보조 등의 분야에서 중요한 역할을 담당하였다. 최근 몇 년간 영상 시차 계산기술의 성과는 컸는데, 좌측 영상 및 우측 영상(두개의 센서가 동일한 시각에 동일한 광경을 촬영하여 획득한 두개의 영상)을 매칭하는 방법에 따라 아래의 세가지 유형으로 분류할 수 있다.
1) 국부특징의 유사성에 기초한 기술
이 유형의 기술은 두 영상의 각 픽셀 및 그 인근 영역 범위 내에 분포된 픽셀의 매칭을 통하여 좌측 영상의 각 픽셀포인트를 우측 영상 중에서 최적의 픽셀에 매칭한다.
2) 비 국부특징의 유사성에 기초한 기술
이 유형의 기술은 전체의 영상 공간에서, 각 픽셀과 특징이 비슷한 복수의 픽셀을 찾고, 픽셀간의 유사성 관계에 기초하여 코스트매칭 행렬을 계산하고, 그리디 알고리즘(greedy algorithm)을 통하여 각 픽셀의 시차를 획득한다.
3) 전체적 특징의 유사성에 기초한 기술
이 유형의 기술은 우선적으로 각 픽셀과 영상이 위치한 모든 픽셀의 유사성에 기초하여 영상의 조건 랜덤 필드를 구축한다. 국부특징의 유사성 기술을 이용하여 두 영상의 각 픽셀의 시차를 각각 계산하고, 좌우 교차검증을 통하여 매치 이상점(outlier)을 제거하며, 조건 랜덤 필드를 이용하여 매칭되는 시차를 기타 픽셀에 전파한다.
상술한 세가지 유형의 기술은 모두 픽셀에 대한 처리이고, 즉 각 픽셀에 대하여 처리하므로 계산량이 많아 계산에 필요한 시간이 비교적 길다.
기존 기술은 각 픽셀에 대한 처리를 수행하기 때문에 필요 계산량이 비교적 크고, 계산 소요시간이 긴 문제가 있었다. 이를 해결하기 위하여, 본 발명의 실시예에서 영상의 시차를 획득하는 방법 및 이 방법을 응용할 수 있는 영상의 시차를 획득하는 장치를 제공할 수 있다.
일 실시예에 따른 영상시차 획득방법은 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 단계와, 상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계와, 제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정 하는 단계와, 상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 단계를 포함할 수 있다. 이때, 상기 좌측 영상과 상기 우측 영상은 동적 시각 센서(dynamic vision sensor)에 기초하여 획득한 영상이고, 상기 제1 영상이 상기 좌측 영상일 때, 상기 제2 영상은 상기 우측 영상이고, 상기 제1 영상이 상기 우측 영상일 때, 상기 제 2영상은 상기 좌측 영상일 수 있다.
상기 방법은 상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 단계를 더 포함할 수 있다.
상기 코스트를 계산하는 단계는 상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 단계와, 상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 단계와, 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같으면, 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하는 단계와, 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같지 않으면, 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상시차 획득장치는 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 코스트계산모듈과, 상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 시차계산모듈과, 제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정하는 확정모듈과, 상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 시차예측모듈을 포함할 수 있다.
상기 코스트계산모듈은 상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 노이즈 제거모듈을 포함할 수 있다.
상기 코스트계산모듈은 상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 특징계산부와, 상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 코스트계산부를 포함할 수 있다.
상기 확정모듈은 상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 판단부와, 상기 판단부가 같다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하고, 상기 판단부가 같지 않다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 이벤트 확정부를 포함할 수 있다.
도 1은 본 발명의 영상시차를 획득하는 방법의 플로우 차트의 일 예를 나타낸다.
도 2는 도 1에 도시된 영상의 노이즈를 제거하는 동작에 대한 플로우 차트의 일 예를 나타낸다.
도 3은 도 1에 도시된 이벤트의 미리 설정된 시차범위 내에서의 코스트와 중간 시차를 계산하는 동작에 대한 플로우 차트의 일 예이다.
도 4는 픽셀의 n개의 방향에서 인근 이벤트를 검색하는 예들을 나타낸다.
도 5는 도 1에 도시된, 이벤트가 매칭되는 이벤트인지 여부를 결정하는 동작에 대한 플로우 차트의 일 예이다.
도 6은 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
도 7은 다른 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
동적 시각 센서(Dynamic Vision Sensor)는 촬영 중 조명강도의 변화에 기초하여 이벤트를 생성하고, 일정한 시간 내에 출력한 모든 이벤트를 하나의 영상으로 조합하여 생성할 수 있다. 이때, 영상의 일부 픽셀은 하나의 이벤트에 대응하며, 일부 픽셀은 이벤트에 대응하지 않을 수도 있다. 동적 시각 센서가 생성한 영상은 아래와 같은 특징을 가질 수 있다.
(1) 동적 시각 센서는 움직임 감지 센서(motion sensitive sensor)이고, 상대운동과 조명강도변화가 미리 설정된(predetermined) 역치에 도달한 물체 바운더리(object boundary) 또는 프레임 이벤트(frame event)를 감지할 수 있다. 따라서, 소량의 이벤트로도 촬영 중의 내용을 묘사할 수 있다.
(2) 동적 시각 센서가 생성한 이벤트는 촬영 중의 조명강도변화에 연관되고, 촬영 중의 조명강도변화가 미리 설정된 역치보다 클 때, 동적 시각 센서는 이에 대응하는 이벤트를 생성하여 촬영 중의 내용변화를 묘사할 수 있다. 즉, 동적 시각 센서는 조명강도의 변화 에 민감한 센서(robust sensor)이고, 조명요소가 영상에 대해 영향을 미칠 수 있다.
이하에서는 동일한 시간에 두 대의 동적 시각 센서를 사용하여 영상을 촬영하고 출력한 이벤트를 각각 좌측 영상과 우측 영상으로 하는 영상시차 획득방법에 대해 설명한다.
도 1은 본 발명의 영상의 시차를 획득하는 방법의 플로우 차트의 일 예를 나타낸다.
도 1을 참조하면, 본 발명의 영상의 시차를 획득하는 방법은 아래 단계를 포함할 수 있다.
동적 시각 센서를 통하여 좌측 영상 및 우측 영상을 획득할 수 있다. 좌측 영상과 우측 영상의 노이즈를 제거할 수 있다(S101).
동적 시각 센서가 생성한 영상의 이벤트는 일반적으로 조명강도변화에 기초하여 생성된 것이고, 따라서 이벤트는 보통 촬영 중인 대상의 프레임 또는 바운더리 주위에 집중적으로 분포되어 있으며, 분포가 비교적 분산된 이벤트는 노이즈로 고려될 수 있다. 이러한 노이즈를 포함하는 영상에 대한 특징분해(feature decomposition)를 할 수 있다. 이때, 고유값(eigenvalue)이 작을수록 이벤트 분포가 더 분산되었다는 것을 의미하고, 반대로 고유값이 클수록 이벤트 분포가 더 집중된다는 것을 의미할 수 있다. 따라서 미리 설정된 값보다 작지 않은 앞 몇 개의 고유값의 고유벡터(eigenvector)를 추출하고 다시 조합하여 노이즈 제거후의 영상을 획득할 수 있다. 노이즈를 제거하는 단계는 코스트를 계산하는 단계보다 선행되어 수행될 수 있다.
좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하고, 코스트에 기초하여 이벤트의 중간 시차를 계산할 수 있다(S102).
제1 영상(예를 들어, 참고영상) 중의 각 이벤트의 중간 시차 및 제2 영상의 대응 이벤트의 중간 시차에 기초하여 제1 영상의 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정할 수 있다(S103). 예를 들어, 제1 영상의 각 이벤트가 제2 영상의 각 대응 이벤트에 매칭이 되는지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때, 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때, 제2 영상은 좌측 영상일 수 있다.
제1 영상의 각 이벤트에 대하여 좌우측 영상 시차 교차검증을 통하여 이벤트가 매칭되는 이벤트인지, 또는 매칭되지 않는 이벤트인지를 결정할 수 있다.
또한, 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측할 수 있다(S104).
이때, 수학식 1을 이용하여 제1 영상의 전체 최적 시차에 대한 랜덤필드를 생성할 수 있다.
Figure pat00001
Figure pat00002
는 제1 영상의 모든 이벤트의 전체 최적시차의 집합이고,
Figure pat00003
는 선형합병가중치(linear combination weight)이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
Figure pat00004
는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
Figure pat00005
는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
Figure pat00006
는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
Figure pat00007
은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
Figure pat00008
은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
Figure pat00009
는
Figure pat00010
이 최소값을 갖게 하는
Figure pat00011
일 수 있다.
이벤트 간 특징의 유사도(feature similarity)에 기초하여 제1 영상의 매칭되지 않는 이벤트의 전체 최적 시차를 예측할 수 있다. 매칭되지 않는 이벤트의 주변에서 매칭되는 이벤트의 중간 시차를 사용함으로써 전체 최적 시차를 예측함으로써 매끄러운(smooth) 제1 영상의 이벤트 시차를 계산할 수 있는 효과가 있을 수 있다. 일반적으로, 공간적으로 인접한 이벤트들은 유사한 시차를 가질 수 있다.
이하에서는, 도 1에 도시된 각 동작을 구체적으로 설명하도록 한다.
도 2는 도 1에 도시된 영상의 노이즈를 제거하는 동작에 대한 플로우 차트의 일 예를 나타낸다.
도 2를 참조하면, 구체적으로 영상의 노이즈를 제거하는 방법은 아래 단계를 포함할 수 있다.
영상 I에 대하여 특징분해를 하여
Figure pat00012
를 획득할 수 있다(S1011). 이때, 영상 I에 포함된 e를 노이즈로,
Figure pat00013
는 노이즈 제거후의 영상으로 정의 한다면 아래 수학식 2와 같은 관계를 정의할 수 있다.
Figure pat00014
Figure pat00015
는 제 i번째 고유값(eigenvalue)이고,
Figure pat00016
는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
Figure pat00017
와
Figure pat00018
는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수를 의미할 수 있다.
k<r 이고,
Figure pat00019
중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
Figure pat00020
를 획득할 수 있다(S1012).
Figure pat00021
은 내림차순으로 배열되어 있기 때문에, 미리 설정한 값보다 작지 않은 고유값은 처음부터 임의의 k번째까지의 고유값
Figure pat00022
일 수 있다.
수학식 3에 따라 노이즈 제거후의 영상
Figure pat00023
을 계산하여 획득할 수 있다(S1013).
Figure pat00024
도 3은 도 1에 도시된 이벤트의 미리 설정된 시차범위 내에서의 코스트와 중간 시차를 계산하는 동작에 대한 플로우 차트의 일 예이다.
도 3을 참조하면, 좌측 영상 및 우측 영상의 각 픽셀의 특징(feature)을 계산할 수 있다(S1021).
각 픽셀과 특정 방향에서의 최근 이벤트 사이의 거리의 계산을 통하여 픽셀의 특징을 계산할 수 있다. 구체적으로, 각 픽셀에 대하여 N개 방향에서 각각 픽셀과 가장 가까운 거리의 이벤트를 찾아 픽셀에서 각각의 최근 이벤트 사이의 거리를 계산하여 최종적으로 N개의 거리를 획득하며, 픽셀의 특징의 묘사에 사용할 수 있다. 도 4는 N이 1인 경우와 8인 경우의 일 예를 나타낸다.
예를 들어, 수학식 4를 이용하여 픽셀(x, y)의 특징을 계산할 수 있다.
Figure pat00025
Figure pat00026
는 픽셀의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
Figure pat00027
이고,
Figure pat00028
는 픽셀의 n쪽 방향에서의 인근 픽셀
Figure pat00029
의 극성 값(polarity)이고, i는 인근 픽셀
Figure pat00030
의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수일 수 있다.
좌측 영상 및 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 코스트를 계산할 수 있다(S1022).
이때, 코스트는 코스트에 대응하는 최종 코스트 행렬(final cost matrix)일 수 있다.
최종 코스트 행렬은 특징 매칭 코스트(feature matching cost)와 극성값 매칭 코스트(polarity matching cost)를 포함할 수 있다.
이하에서는 특징 매칭 코스트 및 극성값 매칭 코스트를 계산하는 방법에 대해 각각 설명하고, 이를 이용하여 최종 코스트 행렬을 계산하는 방법을 설명한다.
(1) 특징 매칭 코스트(feature matching cost)
미리 설정된 시차범위 내의 시차 값(disparity value)이 d인 조건에서, 수학식 5를 사용하여 이벤트의 특징 매칭 코스트인
Figure pat00031
를 계산할 수 있다.
Figure pat00032
x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고,
Figure pat00033
는 중심 포인트의 국부 범위일 수 있다. 이때, 국부 범위는 하나의 정사각형 범위일 수 있다.
Figure pat00034
는
Figure pat00035
내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
Figure pat00036
는 임의의 픽셀
Figure pat00037
의 n쪽 방향에서의 특징이고,
Figure pat00038
는 픽셀
Figure pat00039
의 n쪽 방향에서의 특징일 수 있다. d는 미리 설정된 시차범위 내의 시차 값(disparity value)일 수 있다. 예를 들어, 미리 설정된 시차범위는 1에서 100까지의 값을 가질 수 있고, 즉 d=1, 2, ..., 100일 수 있다. 또한, 미리 설정된 시차범위는 보통 실제경험에 기초할 수 있다.
(2) 극성값 매칭 코스트(polarity matching cost)
미리 설정된 시차범위 내의 시차 값이 d인 조건에서, 수학식 6을 사용하여 이벤트의 극성값 매칭 코스트
Figure pat00040
를 계산할 수 있다.
Figure pat00041
x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고,
Figure pat00042
는 이벤트의 픽셀
Figure pat00043
의 극성 값이고,
Figure pat00044
는 픽셀
Figure pat00045
의 극성 값이고, d는 미리 설정된 시차범위 내의 시차 값일 수 있다. 예를 들어, 미리 설정된 시차범위는 1에서 100까지의 값을 가질 수 있고, 즉 d=1, 2, ..., 100일 수 있다.
(3) 최종 코스트 행렬(final cost matrix)
미리 설정된 시차범위 내의 시차 값이 d인 조건에서, 수학식 7을 사용하여 이벤트의 최종 코스트 행렬(final cost matrix)인
Figure pat00046
를 계산할 수 있다.
Figure pat00047
Figure pat00048
는 선형 결합 가중치일 수 있다. 좌측 영상의 이벤트와 우측 영상의 이벤트를 각각 계산하여 수학식 7에 따라 좌측 영상의 코스트 행렬
Figure pat00049
를 계산하여 획득하고, 수학식 7에 따라 우측 영상의 코스트 행렬
Figure pat00050
를 계산하여 획득할 수 있다.
이벤트의 미리 설정된 시차범위 내에서의 최종 코스트 행렬
Figure pat00051
에 기초하여 이벤트의 중간 시차인
Figure pat00052
를 계산할 수 있다(S1023).
구체적으로, 이벤트가 미리 설정된 시차범위 내에서의 최종 코스트 행렬
Figure pat00053
에 기초하여 승자 독점제(winner takes all) 알고리즘을 이용하여 수학식 8에 따라 이벤트의 중간 시차
Figure pat00054
를 계산할 수 있다.
Figure pat00055
Figure pat00056
는 이벤트의 중간 시차고, x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고,
Figure pat00057
는 시차 값이 d인 조건에서 이벤트의 최종 코스트 행렬이고, d는 미리 설정된 시차범위 내의 임의의 시차 값이고,
Figure pat00058
는
Figure pat00059
가 최소값을 갖게 하는 d일 수 있다. 이때, 좌측 영상의 이벤트와 우측 영상의 이벤트를 각각 계산하여 수학식 8에 따라 좌측 영상의 이벤트의 중간 시차
Figure pat00060
를 계산하여 획득하고, 수학식 8에 따라 우측 영상의 이벤트의 중간 시차
Figure pat00061
를 계산하여 획득할 수 있다.
도 5는 도 1에 도시된, 이벤트가 매칭되는 이벤트인지 여부를 결정하는 동작에 대한 플로우 차트의 일 예이다.
구체적으로, 도 5를 참조하면, 제1 영상의 이벤트의 중간 시차
Figure pat00062
와 제2 영상의 대응 이벤트의 중간 시차
Figure pat00063
가 같은지 여부를 판단할 수 있다(S1031).
이때, 두 시차가 같으면 제1 영상의 이벤트가 매칭되는 이벤트임을 결정하고(S1032), 같지 않으면 제1 영상의 이벤트가 매칭되지 않는 이벤트임을 결정한다(S1033).
Figure pat00064
의 x와 y는 각각 제1 영상의 이벤트의 픽셀의 엑스축 및 와이축 좌표이고,
Figure pat00065
의
Figure pat00066
과
Figure pat00067
는 각각 제2 영상의 대응 이벤트의 픽셀의 엑스축 및 와이축 좌표일 수 있다.
이를 통해 제1 영상의 어떤 이벤트가 매칭되는 이벤트이고, 어떤 이벤트가 매칭되지 않는 이벤트인지를 결정할 수 있다. 이벤트가 매칭되는 이벤트라면, 이벤트의 중간 시차 계산이 정확했다는 것을 의미하고, 반대로 매칭되지 않는 이벤트라면, 이벤트의 중간 시차 계산에 오류가 있음을 의미해 이벤트의 시차를 다시 예측할 것을 요구할 수 있다. 예를 들어 이 때, 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 이벤트의 시차를 다시 예측할 수 있다.
본 발명의 일 실시예에 따른 방법에서, 동적 시각 센서에 기초하여 획득한 좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하고, 코스트에 기초하여 이벤트의 중간 시차를 계산하고, 제1 영상의 각 이벤트의 중간 시차 및 제2 영상의 대응 이벤트의 중간 시차에 기초하여 제1 영상의 이벤트가 매칭되는 이벤트인지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때 제2 영상은 좌측 영상일 수 있다. 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하여 동적 시각 센서영상에 대한 시차의 계산을 완료할 수 있다. 이때, 처리 대상은 픽셀이 아니라 영상의 이벤트인데, 이벤트는 픽셀보다 개수가 적기 때문에 기존기술이 각 픽셀을 처리함으로써 계산량이 비교적 크고 계산에 소요되는 시간이 비교적 긴 문제를 해결할 수 있다.
본 발명의 일 측에 따른 다른 실시예의 방법에서, 우선 좌측 영상과 우측 영상의 노이즈를 제거하고, 다음으로 영상의 각 이벤트에 대하여 처리하여 최종적으로 제1 영상에서 모든 이벤트의 전체 최적 시차를 획득할 수 있다. 우선 영상 중에 포함한 무효이벤트, 즉 노이즈를 효과적으로 제거함으로써, 유효 이벤트에 대하여 계산하므로 뚜렷하게 계산량을 감소 시켜 계산에 소요되는 시간을 축소하여 작업효율을 향상시킬 수 있다.
그 외에, 본 발명의 실시예의 방법에서, 영상의 픽셀의 특징 묘사부(feature descriptor)를 통하여 픽셀의 특징을 효과적으로 묘사하고, 좌우측 영상의 이벤트의 대응관계를 효과적으로 계산할 수 있다. 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차의 방법을 예측함으로써 제1 영상의 이벤트의 매끄러운(smooth) 시차를 획득할 수 있고 시차 예측정밀도를 향상시킬 수 있다.
표 1은 기존기술 1, 기존기술 2와 본 발명의 실시예의 방법을 각각 사용하여 영상 시차를 계산할 때, 획득한 제1 영상의 모든 이벤트의 시차 오차의 평균값의 실험데이터를 보여준다.
Figure pat00068
Avgerr는 제1 영상의 모든 이벤트의 시차오차의 평균 값(단위는 픽셀)을 의미한다. 표 1에서 볼 수 있듯이, 기존기술 1과 기존기술 2와 비교하면, 본 발명의 실시예의 방법을 사용하여 획득한 시차오차의 평균 값이 가장 작고 시차 예측 정밀도도 가장 높다.
이하에서는 본 발명의 실시예에 따른, 상술한 방법을 사용할 수 있는 영상의 시차를 획득하는 장치를 설명한다.
도 6은 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
도 6을 참조하면, 영상의 시차를 획득하는 장치는 코스트계산모듈(201), 시차계산모듈(202), 확정모듈(203), 및 시차예측모듈(204)을 포함할 수 있다.
코스트계산모듈(201)은 좌측 영상과 우측 영상의 각 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산할 수 있다. 여기서 좌측 영상과 우측 영상은 동적 시각 센서에 기초하여 획득한 영상일 수 있다.
시차계산모듈(202)은 코스트계산모듈(201)이 계산하여 획득한 이벤트의 중간 시차를 계산할 수 있다.
확정모듈(203)은 시차계산모듈(202)이 계산한 제1 영상의 각 이벤트의 중간 시차 및 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 제1 영상의 각 이벤트가 매칭되는 이벤트인지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때 제2 영상은 좌측 영상일 수 있다.
시차예측모듈(204)은 확정모듈(203)이 제1 영상의 매칭되는 이벤트를 결정한 후, 시차계산모듈(202)이 계산한 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측할 수 있다.
도 7은 다른 일 실시예에 따른 영상 시차 획득장치의 블록도이다.
도 7을 참조하면, 영상의 시차를 획득하는 장치는 노이즈 제거모듈(205)을 더 포함할 수 있다.
노이즈제거모듈(205)은 코스트계산모듈(201)이 좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하는 동작에 선행하여, 좌측 영상과 우측 영상의 노이즈를 제거할 수 있다.
노이즈제거모듈(205)은 분해부, 획득부, 및 영상계산부를 포함할 수 있다.
분해부는 영상에 대하여 특징분해를 하여
Figure pat00069
을 획득하고,
Figure pat00070
는 제 i번째 고유값(eigenvalue)이고,
Figure pat00071
는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
Figure pat00072
와
Figure pat00073
는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수를 의미할 수 있다.
획득부는 k<r을 만족하는 k에 대하여,
Figure pat00074
중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
Figure pat00075
를 획득할 수 있다.
영상계산부는 수학식
Figure pat00076
에 따라 노이즈 제거 후의 영상
Figure pat00077
Figure pat00078
를 계산하여 획득할 수 있다.
코스트계산모듈(201)은 특징계산부와 코스트계산부를 포함할 수 있다.
특징계산부는 영상의 각 픽셀의 특징을 계산할 수 있고, 코스트계산부는 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 미리 설정된 시차범위(predetermined disparity range)에서 코스트를 계산할 수 있다.
특징계산부는 수학식 9를 통해 영상의 각 픽셀(x, y)의 특징을 구할 수 있다.
Figure pat00079
이때,
Figure pat00080
는 픽셀의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
Figure pat00081
이고,
Figure pat00082
는 픽셀의 n쪽 방향에서의 인근 픽셀
Figure pat00083
의 극성 값(polarity)이고, i는 인근 픽셀
Figure pat00084
의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수일 수 있다.
코스트계산부는 미리 설정된 시차범위 내의 시차 값(disparity value)이 d인 조건에서, 수학식 10에 따라 이벤트의 코스트를 계산할 수 있다. 이벤트의 코스트는 코스트에 대응하는 최종 코스트 행렬
Figure pat00085
일 수 있다.
Figure pat00086
d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
Figure pat00087
은 최종 코스트 행렬(final cost matrix)이고,
Figure pat00088
은 특징 매칭 코스트(feature matching cost)이고,
Figure pat00089
는 극성값 매칭 코스트(polarity matching cost)이고,
Figure pat00090
는 선형 결합 가중치(linear combination weight)이고, x와 y는 각각 픽셀
Figure pat00091
의 엑스축 및 와이축 좌표이고,
Figure pat00092
는 중심 포인트의 국부 범위이고,
Figure pat00093
는
Figure pat00094
내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
Figure pat00095
는 임의의 픽셀
Figure pat00096
의 n쪽 방향에서의 특징이고,
Figure pat00097
는 픽셀
Figure pat00098
의 n쪽 방향에서의 특징이고,
Figure pat00099
는 이벤트의 픽셀
Figure pat00100
의 극성 값이고,
Figure pat00101
는 픽셀
Figure pat00102
의 극성 값일 수 있다.
시차계산모듈(202)은 수학식 11에 따라 이벤트의 중간 시차
Figure pat00103
를 계산할 수 있다.
Figure pat00104
x와 y는 각각 픽셀의 엑스축 및 와이축 좌표이고, d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
Figure pat00105
는 최종 코스트 행렬이고,
Figure pat00106
는
Figure pat00107
가 최소값을 갖게 하는 d일 수 있다.
확정모듈(203)은 판단부와 이벤트 확정부를 포함할 수 있다.
판단부는 제1 영상의 이벤트의 중간 시차 시차
Figure pat00108
와 제2 영상의 대응 이벤트의 중간 시차
Figure pat00109
가 같은지 여부를 판단할 수 있다.
Figure pat00110
의 x와 y는 각각 제1 영상의 이벤트의 픽셀의 엑스축 및 와이축 좌표이고,
Figure pat00111
의
Figure pat00112
과
Figure pat00113
는 각각 제2 영상의 대응 이벤트의 픽셀의 엑스축 및 와이축 좌표일 수 있다.
이벤트 확정부는 판단부의 판단결과가 같으면 제1 영상의 이벤트가 매칭되는 이벤트임을 결정하고, 반대로 판단부의 판단결과가 같지 않으면, 제1 영상의 이벤트가 매칭되지 않는 이벤트임을 결정할 수 있다.
시차예측모듈(204)는 수학식 12에 따라 제1 영상의 모든 이벤트의 전체적 최적 시차조성의 집합
Figure pat00114
를 예측할 수 있다.
Figure pat00115
Figure pat00116
는 선형합병가중치(linear combination weight)이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
Figure pat00117
는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
Figure pat00118
는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
Figure pat00119
는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
Figure pat00120
은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
Figure pat00121
은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
Figure pat00122
는
Figure pat00123
이 최소값을 갖게 하는
Figure pat00124
일 수 있다.
상술한 내용을 종합하여 보면, 본 발명의 실시예들은 아래의 효과를 가질 수 있다.
(1) 동적 시각 센서에 기초하여 획득한 좌측 영상과 우측 영상의 각 이벤트에 대하여 이벤트의 미리 설정된 시차범위 내에서의 코스트를 계산하고, 코스트에 기초하여 이벤트의 중간 시차를 계산할 수 있다. 제1 영상의 각 이벤트의 중간 시차 및 제2 영상의 대응 이벤트의 중간 시차에 기초하여 제1 영상의 이벤트가 매칭되는 이벤트인지 여부를 결정할 수 있다. 이때, 제1 영상이 좌측 영상일 때 제2 영상은 우측 영상이고, 제1 영상이 우측 영상일 때 제2 영상은 좌측 영상일 수 있다. 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하여 동적 시각 센서 영상에 대한 시차를 계산하여 획득할 수 있다. 본 실시예에 따른 방법은 영상의 이벤트에 대하여 처리하는 것이지 픽셀에 대한 처리가 아니고, 이벤트의 수는 픽셀의 수보다 적으므로, 기존기술에서 각 픽셀에 대한 처리로 인한 계산량이 크고 계산에 소요되는 시간이 긴 문제를 해결할 수 있다.
(2) 좌측 영상과 우측 영상의 노이즈를 제거하고, 영상의 각 이벤트에 대하여 처리하여 최종적으로 제1 영상에서 모든 이벤트의 전체 최적 시차를 획득할 수 있다. 이때, 우선적으로 영상 중에 포함된 무효이벤트, 즉 노이즈를 효과적으로 제거하여, 유효 이벤트에 대하여 계산함으로써 계산량을 감소 시켰고 계산에 소요되는 시간을 축소하여 작업효율을 향상시킬 수 있다.
(3) 영상의 픽셀의 특징 묘사부(feature descriptor)를 부가하여 픽셀의 특징을 효과적으로 묘사하고, 좌우측 영상의 이벤트의 대응관계를 효과적으로 세울 수 있다.
(4) 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 제1 영상의 모든 이벤트의 전체 최적 시차의 방법을 예측하여 제1 영상의 이벤트의 매끄러운(smooth) 시차를 획득할 수 있고, 시차 예측정밀도를 향상시킬 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 단계;
    상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계;
    제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정하는 단계; 및
    상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 단계
    를 포함하고,
    상기 좌측 영상과 상기 우측 영상은 동적 시각 센서(dynamic vision sensor)에 기초하여 획득한 영상이고,
    상기 제1 영상이 상기 좌측 영상일 때, 상기 제2 영상은 상기 우측 영상이고, 상기 제1 영상이 상기 우측 영상일 때, 상기 제 2영상은 상기 좌측 영상인 영상시차 획득방법.
  2. 제1항에 있어서,
    상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 단계
    를 더 포함하는 영상시차 획득방법.
  3. 제2항에 있어서,
    상기 노이즈를 제거하는 단계는,
    영상에 대하여 특징분해(feature decomposition)를 하여
    Figure pat00125
    를 획득 하는 단계 -
    Figure pat00126
    는 제 i번째 고유값(eigenvalue)이고,
    Figure pat00127
    는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
    Figure pat00128
    와
    Figure pat00129
    는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수임- ;
    k<r 이고,
    Figure pat00130
    중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
    Figure pat00131
    를 획득하는 단계; 및
    아래의 수학식에 기초하여 노이즈 제거 후의 영상을 획득하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure pat00132

    여기서,
    Figure pat00133
    는 노이즈 제거 후의 영상임.
  4. 제1항 내지 제3항의 어느 한 항에 있어서,
    상기 코스트를 계산하는 단계는,
    상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 단계; 및
    상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 단계
    를 포함하는 영상시차 획득방법.
  5. 제4항에 있어서,
    상기 픽셀의 특징을 계산하는 단계는,
    아래의 수학식에 기초하여 상기 각 픽셀의 특징을 계산하는 단계
    를 포함하는 영상시차 획득 방법.
    [수학식]
    Figure pat00134

    여기서,
    Figure pat00135
    는 픽셀의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀
    Figure pat00136
    의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
    Figure pat00137
    이고,
    Figure pat00138
    는 픽셀의 n쪽 방향에서의 인근 픽셀
    Figure pat00139
    의 극성 값(polarity)이고, i는 인근 픽셀
    Figure pat00140
    의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수임.
  6. 제4항에 있어서,
    상기 중심 포인트의 국부 범위 내의 픽셀의 특징에 기초하여 상기 코스트를 계산하는 단계는,
    아래의 수학식에 기초하여 상기 코스트에 대응하는 최종 코스트 행렬을 계산하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure pat00141

    여기서, d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
    Figure pat00142
    은 최종 코스트 행렬(final cost matrix)이고,
    Figure pat00143
    은 특징 매칭 코스트(feature matching cost)이고,
    Figure pat00144
    는 극성값 매칭 코스트(polarity matching cost)이고,
    Figure pat00145
    는 선형 결합 가중치(linear combination weight)이고, x와 y는 각각 픽셀
    Figure pat00146
    의 엑스축 및 와이축 좌표이고,
    Figure pat00147
    는 중심 포인트의 국부 범위이고,
    Figure pat00148
    는
    Figure pat00149
    내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
    Figure pat00150
    는 임의의 픽셀
    Figure pat00151
    의 n쪽 방향에서의 특징이고,
    Figure pat00152
    는 픽셀
    Figure pat00153
    의 n쪽 방향에서의 특징이고,
    Figure pat00154
    는 픽셀
    Figure pat00155
    의 극성 값이고,
    Figure pat00156
    는 픽셀
    Figure pat00157
    의 극성 값임.
  7. 제6항에 있어서,
    상기 중간 시차를 계산하는 단계는,
    아래의 수학식에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure pat00158

    여기서,
    Figure pat00159
    는 이벤트의 중간 시차고,
    Figure pat00160
    는
    Figure pat00161
    가 최소값을 갖게 하는 d임.
  8. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 단계;
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같으면, 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하는 단계; 및
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같지 않으면, 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 단계
    를 포함하는 영상시차 획득방법.
  9. 제1항에 있어서,
    상기 전체 최적 시차를 예측하는 단계는,
    아래의 수학식에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차의 집합을 계산하는 단계
    를 포함하는 영상시차 획득방법.
    [수학식]
    Figure pat00162

    여기서,
    Figure pat00163
    는 제1 영상의 모든 이벤트의 전체 최적시차의 집합이고,
    Figure pat00164
    는 선형합병가중치이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
    Figure pat00165
    는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
    Figure pat00166
    는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
    Figure pat00167
    는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
    Figure pat00168
    은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
    Figure pat00169
    은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
    Figure pat00170
    는
    Figure pat00171
    이 최소값을 갖게 하는
    Figure pat00172
    임.
  10. 좌측 영상과 우측 영상의 각 이벤트(event)에 대하여 미리 설정된 시차범위(predetermined disparity range) 내에서의 코스트(cost)를 계산하는 코스트계산모듈;
    상기 코스트에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 시차계산모듈;
    제1 영상의 각 이벤트의 중간 시차 및 상기 제1 영상의 각 이벤트에 대응하는 제2 영상의 각 대응 이벤트의 중간 시차에 기초하여 상기 제1 영상의 각 이벤트가 매칭되는 이벤트(matched event)인지 여부를 결정하는 확정모듈; 및
    상기 제1 영상의 매칭되는 이벤트의 중간 시차에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차를 예측하는 시차예측모듈
    을 포함하는 영상시차 획득장치.
  11. 제10항에 있어서,
    상기 코스트계산모듈은,
    상기 좌측 영상과 상기 우측 영상의 노이즈를 제거하는 노이즈 제거모듈
    을 포함하는 영상시차 획득장치.
  12. 제11항에 있어서,
    상기 노이즈 제거모듈은,
    영상에 대하여 특징분해(feature decomposition)를 하여
    Figure pat00173
    를 획득하는 분해부 -
    Figure pat00174
    는 제 i번째 고유값(eigenvalue)이고,
    Figure pat00175
    는 큰 값에서 작은 값의 순서로 내림차순으로 배열된 것이고,
    Figure pat00176
    와
    Figure pat00177
    는 서로 직교하는(orthogonal) 고유벡터(eigenvector)이고, r은 고유값의 총 개수임-;
    k<r 이고,
    Figure pat00178
    중에서, 미리 설정한 값보다 작지 않은, 처음부터 k번째까지의 고유값
    Figure pat00179
    를 획득하는 획득부; 및
    아래의 수학식에 기초하여 노이즈 제거 후의 영상을 획득하는 영상계산부
    를 포함하는 영상시차 획득장치.
    [수학식]
    Figure pat00180

    여기서,
    Figure pat00181
    는 노이즈 제거 후의 영상임.
  13. 제10항 내지 제12항의 어느 한 항에 있어서,
    상기 코스트계산모듈은,
    상기 좌측 영상 및 상기 우측 영상을 구성하는 각 픽셀의 특징(feature)을 계산하는 특징계산부; 및
    상기 좌측 영상 및 상기 우측 영상의 각 이벤트의 픽셀을 중심 포인트로 하고, 상기 중심 포인트의 국부 범위(local range) 내의 픽셀의 특징에 기초하여, 상기 코스트를 계산하는 코스트계산부
    를 포함하는 영상시차 획득장치.
  14. 제13항에 있어서,
    상기 특징계산부는 아래의 수학식에 기초하여 상기 각 픽셀의 특징을 계산하는 영상시차 획득장치.
    [수학식]
    Figure pat00182

    여기서,
    Figure pat00183
    는 픽셀
    Figure pat00184
    의 n쪽 방향에서의 특징이고, x와 y는 각각 픽셀
    Figure pat00185
    의 엑스축 및 와이축 좌표이고, n은 1 부터 N 중 적어도 하나의 값이고, N은 총 방향(total direction)의 개수이고,
    Figure pat00186
    이고,
    Figure pat00187
    는 픽셀
    Figure pat00188
    의 n쪽 방향에서의 인근 픽셀
    Figure pat00189
    의 극성 값(polarity)이고, i는 인근 픽셀
    Figure pat00190
    의 엑스축 좌표이고, rot는 회전시키는 함수이고, abs는 절대값을 구하는 함수이고, min은 최소값을 구하는 함수임.
  15. 제13항에 있어서,
    상기 코스트계산부는 아래의 수학식에 기초하여 상기 코스트에 대응하는 최종 코스트 행렬을 계산하는 영상시차 획득장치.
    [수학식]
    Figure pat00191

    여기서, d는 미리 설정된 시차범위 내의 시차 값(disparity value)이고,
    Figure pat00192
    은 최종 코스트 행렬(final cost matrix)이고,
    Figure pat00193
    은 특징 매칭 코스트(feature matching cost)이고,
    Figure pat00194
    는 극성값 매칭 코스트(polarity matching cost)이고,
    Figure pat00195
    는 선형 결합 가중치(linear combination weight)이고, x와 y는 각각 픽셀
    Figure pat00196
    의 엑스축 및 와이축 좌표이고,
    Figure pat00197
    는 중심 포인트의 국부 범위이고,
    Figure pat00198
    는
    Figure pat00199
    내의 임의의 픽셀이고, N은 총 방향의 개수이고, n은 1 부터 N 중 적어도 하나의 값이고,
    Figure pat00200
    는 임의의 픽셀
    Figure pat00201
    의 n쪽 방향에서의 특징이고,
    Figure pat00202
    는 픽셀
    Figure pat00203
    의 n쪽 방향에서의 특징이고,
    Figure pat00204
    는 픽셀
    Figure pat00205
    의 극성 값이고,
    Figure pat00206
    는 픽셀
    Figure pat00207
    의 극성 값임.
  16. 제15항에 있어서,
    상기 시차계산모듈은 아래의 수학식에 기초하여 상기 각 이벤트의 중간 시차를 계산하는 영상시차 획득장치.
    [수학식]
    Figure pat00208

    여기서,
    Figure pat00209
    는 이벤트의 중간 시차고,
    Figure pat00210
    는
    Figure pat00211
    가 최소값을 갖게 하는 d임.
  17. 제10항에 있어서,
    상기 확정모듈은,
    상기 제1 영상의 각 이벤트의 중간 시차와 상기 제2 영상의 대응 이벤트의 중간 시차가 같은지 여부를 판단하는 판단부; 및
    상기 판단부가 같다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되는 이벤트임을 결정하고, 상기 판단부가 같지 않다고 판단하면 상기 제1 영상의 상기 이벤트가 매칭되지 않는 이벤트임을 결정하는 이벤트 확정부
    를 포함하는 영상시차 획득방법.
  18. 제10에 있어서,
    상기 시차예측모듈은 아래의 수학식에 기초하여 상기 제1 영상의 모든 이벤트의 전체 최적 시차의 집합을 계산하는 영상시차 획득장치.
    [수학식]
    Figure pat00212

    여기서,
    Figure pat00213
    는 제1 영상의 모든 이벤트의 전체 최적시차의 집합이고,
    Figure pat00214
    는 선형합병가중치이고, M은 제1 영상의 매칭되는 이벤트의 총 수이고,
    Figure pat00215
    는 제1 영상의 매칭되는 이벤트인 i가 미리 설정한 시차범위 내의 코스트에 기초하여 계산하여 획득한 매칭되는 이벤트인 i의 중간 시차고,
    Figure pat00216
    는 제1 영상의 매칭되는 이벤트인 i의 전체 최적 시차고, S는 제1 영상의 이벤트의 총 수이고,
    Figure pat00217
    는 제1 영상의 이벤트인 j의 전체 최적 시차고, K는 이벤트 j의 주변에서 선택한 매칭되는 이벤트의 총 수이고,
    Figure pat00218
    은 선택한 매칭되는 이벤트 중 m이 미리 설정된 시차범위 내의 코스트에 기초하여 계산하여 획득한 m의 중간 시차고,
    Figure pat00219
    은 이벤트 j와 매칭되는 이벤트 m의 특징 유사도(feature similarity)이고,
    Figure pat00220
    는
    Figure pat00221
    이 최소값을 갖게 하는
    Figure pat00222
    임.
KR1020160085660A 2016-01-29 2016-07-06 영상시차 획득방법 및 장치 KR102187192B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/277,572 US10341634B2 (en) 2016-01-29 2016-09-27 Method and apparatus for acquiring image disparity

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610064279.9 2016-01-29
CN201610064279.9A CN107027019B (zh) 2016-01-29 2016-01-29 图像视差获取方法及装置

Publications (2)

Publication Number Publication Date
KR20170090976A true KR20170090976A (ko) 2017-08-08
KR102187192B1 KR102187192B1 (ko) 2020-12-04

Family

ID=59525194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160085660A KR102187192B1 (ko) 2016-01-29 2016-07-06 영상시차 획득방법 및 장치

Country Status (2)

Country Link
KR (1) KR102187192B1 (ko)
CN (1) CN107027019B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225778A (ja) * 2007-03-12 2008-09-25 Toshiba Corp 画像処理装置
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
US20140003704A1 (en) * 2012-06-27 2014-01-02 Imec Taiwan Co. Imaging system and method
US20140293003A1 (en) * 2011-11-07 2014-10-02 Thomson Licensing A Corporation Method for processing a stereoscopic image comprising an embedded object and corresponding device
US9204127B1 (en) * 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
CN104200453B (zh) * 2014-09-15 2017-01-25 西安电子科技大学 基于图像分割和可信度的视差图像校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225778A (ja) * 2007-03-12 2008-09-25 Toshiba Corp 画像処理装置
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
US20140293003A1 (en) * 2011-11-07 2014-10-02 Thomson Licensing A Corporation Method for processing a stereoscopic image comprising an embedded object and corresponding device
US9204127B1 (en) * 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
US20140003704A1 (en) * 2012-06-27 2014-01-02 Imec Taiwan Co. Imaging system and method

Also Published As

Publication number Publication date
KR102187192B1 (ko) 2020-12-04
CN107027019A (zh) 2017-08-08
CN107027019B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
US9652861B2 (en) Estimating device and estimation method
JP6489551B2 (ja) 画像のシーケンスにおいて前景を背景から分離する方法およびシステム
JP6471448B2 (ja) 視差深度画像のノイズ識別方法及びノイズ識別装置
US20100142828A1 (en) Image matching apparatus and method
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
KR20180087994A (ko) 스테레오 매칭 방법 및 영상 처리 장치
US10853960B2 (en) Stereo matching method and apparatus
JP6245330B2 (ja) 対象分割方法、対象分割装置及び対象分割プログラム
KR102458242B1 (ko) 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
KR102578209B1 (ko) 영상 처리 방법과 장치
EP3440628A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN107392898B (zh) 应用于双目立体视觉中的像素点视差值计算方法及装置
US10341634B2 (en) Method and apparatus for acquiring image disparity
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
CN108876812B (zh) 用于视频中物体检测的图像处理方法、装置及设备
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102187192B1 (ko) 영상시차 획득방법 및 장치
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
JPWO2017209213A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US11475233B2 (en) Image processing device and image processing method
KR102366520B1 (ko) 영상의 노이즈 레벨 결정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant