KR101856257B1 - 양안 시차 영상의 보정 장치 및 그 방법 - Google Patents

양안 시차 영상의 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR101856257B1
KR101856257B1 KR1020120144917A KR20120144917A KR101856257B1 KR 101856257 B1 KR101856257 B1 KR 101856257B1 KR 1020120144917 A KR1020120144917 A KR 1020120144917A KR 20120144917 A KR20120144917 A KR 20120144917A KR 101856257 B1 KR101856257 B1 KR 101856257B1
Authority
KR
South Korea
Prior art keywords
pixel
calculating
unit
binocular disparity
invalid
Prior art date
Application number
KR1020120144917A
Other languages
English (en)
Other versions
KR20140076430A (ko
Inventor
김대환
최진하
전재욱
이상준
진정동
전병무
뉴엔덕융
Original Assignee
현대자동차주식회사
기아자동차주식회사
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사, 성균관대학교산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020120144917A priority Critical patent/KR101856257B1/ko
Publication of KR20140076430A publication Critical patent/KR20140076430A/ko
Application granted granted Critical
Publication of KR101856257B1 publication Critical patent/KR101856257B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 양안 시차 영상의 보정 장치 및 그 방법에 관한 것으로, 로컬 방식의 스테레오 매칭을 통해 생성된 양안 시차 영상에서 발생하는 무효 픽셀을 유효 픽셀로 변환함으로써, 양안 시차 영상을 보정할 수 있는 양안 시차 영상의 보정 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 양안 시차 영상의 보정 장치 및 그 방법에 있어서, 양안 시차 영상을 입력받는 입력부; 상기 입력부가 입력받은 양안 시차 영상 내 각 픽셀이 가지는 양안 시차 값의 유효성을 판별하여 무효한 양안 시차 값을 가지는 픽셀(이하, 무효 픽셀)을 검출하는 유효성 판별부; 상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 밝기 차를 산출하는 밝기 차 산출부; 상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 거리를 산출하는 거리 산출부; 상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 양안 시차 값의 차를 산출하는 깊이 유사도 산출부; 상기 밝기 차 산출부가 산출한 밝기 차, 상기 거리 산출부가 산출한 픽셀 간 거리, 및 상기 깊이 유사도 산출부가 산출한 양안 시차 값의 차를 곱해서 가중치를 산출하는 가중치 산출부; 및 상기 가중치 산출부가 산출한 가중치 중에서 가장 큰 가중치를 갖는 픽셀의 양안 시차 값을 중심 픽셀의 양안 시차 값으로 보정하는 보정부를 포함한다.

Description

양안 시차 영상의 보정 장치 및 그 방법{APPARATUS FOR COMPENSATING DISPARITY IMAGE AND METHOD THEREOF}
본 발명은 양안 시차 영상의 보정 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 로컬 방식의 스테레오 매칭을 통해 생성된 양안 시차 영상에서 발생하는 무효 픽셀을 유효 픽셀로 변환하는 기술에 관한 것이다.
일반적으로, 스테레오 매칭(Stereo Matching)은 인간의 시각 체계의 거리 인지능력을 이용하여 서로 다른 관점에서 얻어진 두 영상 사이에서의 대응점 간의 거리인 변이를 추정하여, 정확하고 신뢰성 있는 시차맵(disparity map)을 얻는 것을 말한다.
나아가서, 시차맵을 깊이맵(Depth Map)으로 구현함으로써, 깊이감을 갖는 3차원의 영상을 복원할 수 있다.
이러한, 상기 스테레오 매칭은 정보통신, 방송, 의료, 게임, 디스플레이 등의 산업 전반에 걸쳐 다양하게 이용될 수 있는데, 3차원 입체 멀티미디어의 핵심 기반기술이라고 할 수 있다.
상기 스테레오 매칭의 방법으로는 일반적으로 로컬 방법이 사용되는데, 상기 로컬방법은 입력된 좌측 영상과 우측 영상 중에서 기준 영상이 되는 좌측 영상의 기준픽셀 주위로 일정 영역의 블록을 설정한다.
이어서, 우측 영상에서 상기 일정 영역의 블록과 대응되는 가장 유사한 영역을 찾아 시차를 추정하고 시차맵을 구하는 스테레오 매칭 방법이다.
이때, 로컬 방법으로는 명암정보를 이용하여 상기 좌/우 영상의 일정영역의 블록 사이의 상관성을 구한 후 차이의 제곱을 합하는 SSD(Sum of Squared difference), 블록 사이의 상관성을 구한 후 차이의 절대값을 합하는 SAD(Sum of Absolute Difference)가 있으며, 픽셀 간의 상관관계를 이용하는 NCC(Normalized Cross Coefficient) 등이 있다.
이러한, 로컬 방법은 명암의 차이가 뚜렷할 때 양호한 스테레오 매칭이 가능한 방법이다.
그러나, 이러한 로컬방법은 명암 정보만을 이용함으로써, 비텍스쳐 영역(non-texture region)서는 유사한 영상을 정확하게 찾기 어려워 잘못된 매칭(false matching)을 야기하는 문제점이 있다.
이에 로컬 방식의 스테레오 매칭을 통해 생성한 양안 시차 영상을 보정할 수 있는 방안이 요구된다.
상기와 같은 요구에 부응하기 위하여, 본 발명은 로컬 방식의 스테레오 매칭을 통해 생성된 양안 시차 영상에서 발생하는 무효 픽셀을 유효 픽셀로 변환함으로써, 양안 시차 영상을 보정할 수 있는 양안 시차 영상의 보정 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 양안 시차 영상의 보정 장치에 있어서, 양안 시차 영상을 입력받는 입력부; 상기 입력부가 입력받은 양안 시차 영상 내 각 픽셀이 가지는 양안 시차 값의 유효성을 판별하여 무효한 양안 시차 값을 가지는 픽셀(이하, 무효 픽셀)을 검출하는 유효성 판별부; 상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 밝기 차를 산출하는 밝기 차 산출부; 상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 거리를 산출하는 거리 산출부; 상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 양안 시차 값의 차를 산출하는 깊이 유사도 산출부; 상기 밝기 차 산출부가 산출한 밝기 차, 상기 거리 산출부가 산출한 픽셀 간 거리, 및 상기 깊이 유사도 산출부가 산출한 양안 시차 값의 차를 곱해서 가중치를 산출하는 가중치 산출부; 및 상기 가중치 산출부가 산출한 가중치 중에서 가장 큰 가중치를 갖는 픽셀의 양안 시차 값을 중심 픽셀의 양안 시차 값으로 보정하는 보정부를 포함한다.
또한 상기 목적을 달성하기 위한 본 발명의 방법은, 양안 시차 영상의 보정 방법에 있어서, 입력부가 양안 시차 영상을 입력받는 단계; 유효성 판별부가 상기 입력받은 양안 시차 영상 내 각 픽셀이 가지는 양안 시차 값의 유효성을 판별하여 무효한 양안 시차 값을 가지는 픽셀(이하, 무효 픽셀)을 검출하는 단계; 밝기차 산출부가 상기 검출된 무효 픽셀과 주변 픽셀 간의 밝기 차를 산출하는 단계; 거리 산출부가 상기 검출된 무효 픽셀과 주변 픽셀 간의 거리를 산출하는 단계; 깊이 유사도 산출부가 상기 검출된 무효 픽셀과 주변 픽셀 간의 양안 시차 값의 차를 산출하는 단계; 가중치 산출부가 상기 산출된 밝기 차와 픽셀 간 거리 및 양안 시차 값의 차를 곱해서 가중치를 산출하는 단계; 및 보정부가 상기 산출된 가중치 중에서 가장 큰 가중치를 갖는 픽셀의 양안 시차 값을 중심 픽셀의 양안 시차 값으로 보정하는 단계를 포함한다.
상기와 같은 본 발명은, 로컬 방식의 스테레오 매칭을 통해 생성된 양안 시차 영상에서 발생하는 무효 픽셀을 유효 픽셀로 변환함으로써, 양안 시차 영상을 보정할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 양안 시차 영상의 보정 장치에 대한 일실시예 구성도,
도 2 는 본 발명에 이용되는 양안 시차 영상에 대한 일예시도,
도 3 은 본 발명에 따른 밝기 차 산출 과정에 대한 일실시예 설명도,
도 4 는 본 발명에 따른 깊이 유사도 산출 과정에 대한 일실시예 설명도,
도 5 는 본 발명에 따른 양안 시차 영상의 보정 결과에 대한 일예시도,
도 6 은 본 발명에 따른 양안 시차 영상의 보정 방법에 대한 일실시예 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 양안 시차 영상의 보정 장치에 대한 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 양안 시차 영상의 보정 장치는, 입력부(10), 유효성 판별부(20), 밝기(Intensity) 차 산출부(30), 거리 산출부(40), 깊이(Depth) 유사도 산출부(50), 가중치(Weight) 산출부(60), 보정부(70) 및 동기 제어부(80)를 포함한다.
상기 각 구성요소들에 대해 살펴보면, 먼저 입력부(10)는 로컬 방식의 스테레오 매칭을 통해 생성된 양안 시차(disparity) 영상을 입력받는다. 즉, 입력부(10)는 도 2에 도시된 바와 같은 양안 시차 영상(210)을 입력받는다.
다음으로, 유효성 판별부(20)는 입력부(10)가 입력받은 양안 시차 영상 내 각 픽셀이 가지는 양안 시차 값의 유효성을 판별하여 무효한 양안 시차 값을 가지는 픽셀(이하, 무효 픽셀)을 검출한다. 여기서, 양안 시차 영상의 픽셀은 0 ∼ 127 값의 범위를 갖는 그레이 레벨로 표현된다. 이때, 양안 시차 값이 0을 갖는 픽셀이 무효 픽셀이 된다.
다음으로, 밝기 차 산출부(30)는 유효성 판별부(20)가 검출한 무효 픽셀과 주변 픽셀 간의 밝기 차를 산출한다. 도 3에 도시된 바와 같이, 밝기 차 산출부(30)는 유효성 판별부(20)가 검출한 무효 픽셀을 중심으로 n×n 로컬 윈도우(310)를 생성하고, 중심 픽셀(320)과 로컬 윈도우 내부 픽셀(로컬 윈도우 내부에서 중심 픽셀을 제외한 모든 픽셀) 간의 밝기 차를 산출한다.
다음으로, 거리 산출부(40)는 유효성 판별부(20)가 검출한 무효 픽셀과 주변 픽셀 간의 거리를 산출한다. 즉, 거리 산출부(40)는 유효성 판별부(20)가 검출한 무효 픽셀을 중심으로 n×n 로컬 윈도우(310)를 생성하고, 중심 픽셀(320)과 로컬 윈도우 내부 픽셀(로컬 윈도우 내부에서 중심 픽셀을 제외한 모든 픽셀) 간의 거리를 산출한다. 이때, 거리 산출부(40)는 하기의 [수학식 1]을 이용하여 무효 픽셀과 주변 픽셀 간의 거리(d)를 산출한다.
[수학식 1]
Figure 112012103547276-pat00001
여기서, x는 픽셀 간 x 좌표 차, y는 픽셀 간 y 좌표 차를 각각 의미한다.
다음으로, 깊이 유사도 산출부(50)는 유효성 판별부(20)가 검출한 무효 픽셀과 주변 픽셀 간의 양안 시차 값의 차(깊이 유사도)를 산출한다. 도 4에 도시된 바와 같이, 깊이 유사도 산출부(50)는 유효성 판별부(20)가 검출한 무효 픽셀을 중심으로 n×n 로컬 윈도우(440)를 생성하고, n×n 로컬 윈도우(440)의 중심 픽셀(430)과 주변 픽셀에 각각 m×m 윈도우(410, 420)를 생성한다.
그런 후, m×m 윈도우(410)와 m×m 윈도우(420)의 서로 매칭되는 픽셀이 유효한 양안 시차 값을 갖는지 확인하여, 모두 유효한 양안 시차 값을 갖으면 양안 시차 값의 차를 산출하고, 어느 한쪽이라도 유효한 양안 시차 값을 갖지 않으면 양안 시차 값의 차는 산출하지 않는다.
이러한, 깊이 유사도 산출부(50)는 하기의 [수학식 B]를 통해 깊이 유사도(D)를 산출한다.
[수학식 B]
Figure 112012103547276-pat00002
여기서, N은 유효한 양안 시차 값을 갖는 픽셀 쌍의 개수, dc는 중심 픽셀을 중심으로 생성한 윈도우(410) 내부 픽셀의 양안 시차 값, dn은 주변 픽셀을 중심으로 생성한 윈도우(420) 내부 픽셀의 양안 시차 값을 각각 의미한다.
다음으로, 가중치(Weight) 산출부(60)는 밝기 차 산출부(30)에서 산출된 밝기 차, 거리 산출부(40)에서 산출된 픽셀 간 거리, 및 깊이 유사도 산출부(50)에서 산출된 양안 시차 값의 차를 기반으로 가중치를 산출한다.
즉, 가중치 산출부(60)는 밝기 차 산출부(30)에서 산출된 밝기 차, 거리 산출부(40)에서 산출된 픽셀 간 거리, 및 깊이 유사도 산출부(50)에서 산출된 양안 시차 값의 차를 곱해서 가중치를 산출한다.
다음으로, 보정부(70)는 가중치 산출부(60)가 산출한 가중치 중에서 가장 큰 가중치를 갖는 픽셀의 양안 시차 값을 중심 픽셀(무효 픽셀)의 양안 시차 값으로 보정한다. 이렇게 보정된 결과 영상은 일예로 도 5에 도시된 바와 같다.
다음으로, 동기 제어부(80)는 밝기 차 산출부(30), 거리 산출부(40), 깊이 유사도 산출부(50), 및 가중치 산출부(60)의 동기를 맞춘다.
즉, 동기 제어부(80)는 가중치 산출부(60)의 가중치 산출 시점을 기준으로 밝기 차 산출부(30), 거리 산출부(40), 및 깊이 유사도 산출부(50)가 동시에 동작하도록 제어한다.
이로 인해, 가중치 산출 시간만큼의 지연(Latency)은 발생하지만, 프레임(Frame) 단위의 지연은 발생하지 않는다.
본 발명은 소프트웨어는 물론 하드웨어적으로 구현이 가능하며, 하드웨어적으로 구현될 경우 실시간성을 보장받을 수 있다.
아울러, 본 발명은 다양한 로컬 스테레오 매칭에서 발생하는 무효 픽셀을 유효 픽셀로 변환함으로써, 스테레오 매칭 결과의 인식성과 정확성을 보장하고 보정 결과의 출력지연을 최소화하여 사물 인식, 거리 추정을 효과적으로 할 수 있다.
또한, 본 발명의 양안 시차 영상 보정 방법을 반복 적용하여 그 효과를 배가시킬 수도 있다.
도 6 은 본 발명에 따른 양안 시차 영상의 보정 방법에 대한 일실시예 흐름도이다.
먼저, 입력부(10)가 양안 시차 영상을 입력받는다(601).
이후, 유효성 판별부(20)가 상기 입력받은 양안 시차 영상 내 각 픽셀이 가지는 양안 시차 값의 유효성을 판별하여 무효한 양안 시차 값을 가지는 픽셀(이하, 무효 픽셀)을 검출한다(602).
이후, 밝기차 산출부(30)가 상기 검출된 무효 픽셀과 주변 픽셀 간의 밝기 차를 산출한다(603).
이후, 거리 산출부(40)가 상기 검출된 무효 픽셀과 주변 픽셀 간의 거리를 산출한다(604).
이후, 깊이 유사도 산출부(50)가 상기 검출된 무효 픽셀과 주변 픽셀 간의 양안 시차 값의 차를 산출한다(605).
이후, 가중치 산출부(60)가 상기 산출된 밝기 차와 픽셀 간 거리 및 양안 시차 값의 차를 곱해서 가중치를 산출한다(606).
이후, 보정부(70)가 상기 산출된 가중치 중에서 가장 큰 가중치를 갖는 픽셀의 양안 시차 값을 중심 픽셀의 양안 시차 값으로 보정한다(607).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
10 : 입력부 20 : 유효성 판별부
30 : 밝기 차 산출부 40 : 거리 산출부
50 : 깊이 유사도 산출부 60 : 가중치 산출부
70 : 보정부

Claims (12)

  1. 양안 시차 영상을 입력받는 입력부;
    상기 입력부가 입력받은 양안 시차 영상 내 각 픽셀이 가지는 양안 시차 값의 유효성을 판별하여 무효한 양안 시차 값을 가지는 픽셀(이하, 무효 픽셀)을 검출하는 유효성 판별부;
    상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 밝기 차를 산출하는 밝기 차 산출부;
    상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 거리를 산출하는 거리 산출부;
    상기 유효성 판별부가 검출한 무효 픽셀과 주변 픽셀 간의 양안 시차 값의 차를 산출하는 깊이 유사도 산출부;
    상기 밝기 차 산출부가 산출한 밝기 차, 상기 거리 산출부가 산출한 픽셀 간 거리, 및 상기 깊이 유사도 산출부가 산출한 양안 시차 값의 차를 곱해서 가중치를 산출하는 가중치 산출부; 및
    상기 가중치 산출부가 산출한 가중치 중에서 가장 큰 가중치를 갖는 픽셀의 양안 시차 값을 중심 픽셀의 양안 시차 값으로 보정하는 보정부
    를 포함하는 양안 시차 영상의 보정 장치.
  2. 제 1 항에 있어서,
    상기 가중치 산출부의 가중치 산출 시점을 기준으로 상기 밝기 차 산출부, 상기 거리 산출부, 및 상기 깊이 유사도 산출부의 동작을 제어하는 동기 제어부
    를 더 포함하는 양안 시차 영상의 보정 장치.
  3. 제 1 항에 있어서,
    상기 유효성 판별부는,
    양안 시차 값이 0인 픽셀을 무효 픽셀로 검출하는 것을 특징으로 하는 양안 시차 영상의 보정 장치.
  4. 제 1 항에 있어서,
    상기 밝기 차 산출부는,
    상기 유효성 판별부가 검출한 무효 픽셀을 중심으로 로컬 윈도우를 생성한 후 중심 픽셀과 상기 로컬 윈도우 내부 픽셀 간의 밝기 차를 산출하는 것을 특징으로 하는 양안 시차 영상의 보정 장치.
  5. 제 1 항에 있어서,
    상기 거리 산출부는,
    상기 유효성 판별부가 검출한 무효 픽셀을 중심으로 로컬 윈도우를 생성한 후 중심 픽셀과 로컬 윈도우 내부 픽셀 간의 거리를 산출하는 것을 특징으로 하는 양안 시차 영상의 보정 장치.
  6. 제 1 항에 있어서,
    상기 깊이 유사도 산출부는,
    상기 유효성 판별부가 검출한 무효 픽셀을 중심으로 제 1 로컬 윈도우를 생성하고, 상기 제 1 로컬 윈도우의 중심 픽셀에 제 2 윈도우를 생성하며, 상기 제 1 로컬 윈도우의 주변 픽셀에 제 3 윈도우를 생성한 후, 상기 제 2 윈도우와 상기 제 3 윈도우의 서로 매칭되는 픽셀이 유효한 양안 시차 값을 갖는 경우에 양안 시차 값의 차를 산출하는 것을 특징으로 하는 양안 시차 영상의 보정 장치.
  7. 입력부가 양안 시차 영상을 입력받는 단계;
    유효성 판별부가 상기 입력받은 양안 시차 영상 내 각 픽셀이 가지는 양안 시차 값의 유효성을 판별하여 무효한 양안 시차 값을 가지는 픽셀(이하, 무효 픽셀)을 검출하는 단계;
    밝기차 산출부가 상기 검출된 무효 픽셀과 주변 픽셀 간의 밝기 차를 산출하는 단계;
    거리 산출부가 상기 검출된 무효 픽셀과 주변 픽셀 간의 거리를 산출하는 단계;
    깊이 유사도 산출부가 상기 검출된 무효 픽셀과 주변 픽셀 간의 양안 시차 값의 차를 산출하는 단계;
    가중치 산출부가 상기 산출된 밝기 차와 픽셀 간 거리 및 양안 시차 값의 차를 곱해서 가중치를 산출하는 단계; 및
    보정부가 상기 산출된 가중치 중에서 가장 큰 가중치를 갖는 픽셀의 양안 시차 값을 중심 픽셀의 양안 시차 값으로 보정하는 단계
    를 포함하는 양안 시차 영상의 보정 방법.
  8. 제 7 항에 있어서,
    동기 제어부가 상기 가중치 산출부의 가중치 산출 시점을 기준으로 상기 밝기 차 산출부, 상기 거리 산출부, 및 상기 깊이 유사도 산출부의 동작을 제어하는 단계
    를 더 포함하는 양안 시차 영상의 보정 방법.
  9. 제 7 항에 있어서,
    상기 유효성 판별 단계는,
    양안 시차 값이 0인 픽셀을 무효 픽셀로 검출하는 것을 특징으로 하는 양안 시차 영상의 보정 방법.
  10. 제 7 항에 있어서,
    상기 밝기 차 산출 단계는,
    상기 검출된 무효 픽셀을 중심으로 로컬 윈도우를 생성한 후 중심 픽셀과 상기 로컬 윈도우 내부 픽셀 간의 밝기 차를 산출하는 것을 특징으로 하는 양안 시차 영상의 보정 방법.
  11. 제 7 항에 있어서,
    상기 거리 산출 단계는,
    상기 검출된 무효 픽셀을 중심으로 로컬 윈도우를 생성한 후 중심 픽셀과 로컬 윈도우 내부 픽셀 간의 거리를 산출하는 것을 특징으로 하는 양안 시차 영상의 보정 방법.
  12. 제 7 항에 있어서,
    상기 깊이 유사도 산출 단계는,
    상기 검출된 무효 픽셀을 중심으로 제 1 로컬 윈도우를 생성하고, 상기 제 1 로컬 윈도우의 중심 픽셀에 제 2 윈도우를 생성하며, 상기 제 1 로컬 윈도우의 주변 픽셀에 제 3 윈도우를 생성한 후, 상기 제 2 윈도우와 상기 제 3 윈도우의 서로 매칭되는 픽셀이 유효한 양안 시차 값을 갖는 경우에 양안 시차 값의 차를 산출하는 것을 특징으로 하는 양안 시차 영상의 보정 방법.
KR1020120144917A 2012-12-12 2012-12-12 양안 시차 영상의 보정 장치 및 그 방법 KR101856257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120144917A KR101856257B1 (ko) 2012-12-12 2012-12-12 양안 시차 영상의 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144917A KR101856257B1 (ko) 2012-12-12 2012-12-12 양안 시차 영상의 보정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140076430A KR20140076430A (ko) 2014-06-20
KR101856257B1 true KR101856257B1 (ko) 2018-05-09

Family

ID=51128763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144917A KR101856257B1 (ko) 2012-12-12 2012-12-12 양안 시차 영상의 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101856257B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146372A1 (en) * 2022-01-28 2023-08-03 Samsung Electronics Co., Ltd. Reconstructing a three-dimensional scene

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028018B (zh) * 2016-05-31 2019-01-11 上海易维视科技股份有限公司 面向裸眼3d显示的实拍双视点3d视频优化方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146372A1 (en) * 2022-01-28 2023-08-03 Samsung Electronics Co., Ltd. Reconstructing a three-dimensional scene

Also Published As

Publication number Publication date
KR20140076430A (ko) 2014-06-20

Similar Documents

Publication Publication Date Title
US10430944B2 (en) Image processing apparatus, image processing method, and program
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US8340397B2 (en) Extensible system and method for stereo matching in real-time
US20120127275A1 (en) Image processing method for determining depth information from at least two input images recorded with the aid of a stereo camera system
US20100195898A1 (en) Method and apparatus for improving quality of depth image
US20110063420A1 (en) Image processing apparatus
KR20160010120A (ko) 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
JP2013038602A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9769460B1 (en) Conversion of monoscopic visual content to stereoscopic 3D
US9747690B2 (en) Image processing device, image processing method, and program
EP2897101A1 (en) Visual perception matching cost on binocular stereo images
CN102136136A (zh) 基于自适应Census变换的光度不敏感立体匹配方法
JP5669599B2 (ja) 画像処理装置及びその制御方法
CN102447917A (zh) 立体图像匹配方法及其设备
CN104144334A (zh) 用于立体视频内容的字幕检测
CN113850859A (zh) 用于增强图像深度置信度图的方法、系统、制品和装置
JP2007053621A (ja) 画像生成装置
EP2747428A2 (en) Method and apparatus for rendering multi-view image
KR101856257B1 (ko) 양안 시차 영상의 보정 장치 및 그 방법
EP3616399B1 (en) Apparatus and method for processing a depth map
KR20140120527A (ko) 스테레오 영상 매칭 장치 및 스테레오 영상 매칭 방법
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera
CN107204013B (zh) 应用于双目立体视觉中的像素点视差值计算方法及装置
KR101481797B1 (ko) 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant