KR101889952B1 - 신뢰도 기반의 스테레오 매칭 방법 및 장치 - Google Patents

신뢰도 기반의 스테레오 매칭 방법 및 장치 Download PDF

Info

Publication number
KR101889952B1
KR101889952B1 KR1020120065217A KR20120065217A KR101889952B1 KR 101889952 B1 KR101889952 B1 KR 101889952B1 KR 1020120065217 A KR1020120065217 A KR 1020120065217A KR 20120065217 A KR20120065217 A KR 20120065217A KR 101889952 B1 KR101889952 B1 KR 101889952B1
Authority
KR
South Korea
Prior art keywords
disparity
eye image
initial
post
weight
Prior art date
Application number
KR1020120065217A
Other languages
English (en)
Other versions
KR20130142008A (ko
Inventor
이원희
김성균
이승용
강석주
나종범
Original Assignee
엘지디스플레이 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사, 한국과학기술원 filed Critical 엘지디스플레이 주식회사
Priority to KR1020120065217A priority Critical patent/KR101889952B1/ko
Publication of KR20130142008A publication Critical patent/KR20130142008A/ko
Application granted granted Critical
Publication of KR101889952B1 publication Critical patent/KR101889952B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 신뢰도 기반의 스테레오 매칭 방법은 입력되는 좌안 영상과 우안 영상을 소정 단위로 각각 저장하는 단계; 상기 좌안 영상과 우안 영상 간의 색의 차이를 기반으로 각 픽셀별로 이니셜 디스패리티를 추정하는 단계; 상기 이니셜 디스패리티를 추정하는 단계에서 코스트 합산을 통해 계산된 코스트 커브를 기반으로 신뢰도를 측정하는 단계; 상기 이니셜 디스패리티와 상기 신뢰도를 기반으로 웨이티드 미디언 필터(weight median filter)를 실행하여 상기 이니셜 디스패리티를 수정하는 제1 후처리 단계; 및 현재 처리되고 있는 픽셀에 앞서 처리된 픽셀에서의 처리 결과 정보를 현재 웨이티드 미디언 필터의 실행 결과와 비교하여 선택하는 제2 후처리 단계를 포함한다.

Description

신뢰도 기반의 스테레오 매칭 방법 및 장치{STEREO MATICHING METHOD AND DEVICE BASED ON CONFIDENCE METRIC}
본 발명은 신뢰도 기반의 스테레오 매칭 방법 및 장치에 관한 것이다.
최근, 3차원 입체영상에 대한 관심이 높아지면서 다양한 입체영상 표시장치가 개발되고 있다. 일반적으로 사람이 지각하는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다. 그 중에서도 사람의 두 눈이 가로 방향으로 약 6~7㎝가량 떨어져 위치함으로써 나타나게 되는 양안 시차(binocular disparity)는 입체감의 가장 중요한 요인이라고 할 수 있다. 즉, 양안 시차로 인해 두 눈에 들어오는 이미지가 서로 다른 상을 갖게 되면 사람의 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있게 되는 것이다.
양안시차를 이용한 입체영상 구현방법에는 안경방식과 무안경방식이 있다. 안경 방식은 표시패널에 편광 방향이 서로 다른 좌우 시차 영상을 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 3D 영상을 구현한다. 이에 비해, 무안경 방식은 별도의 안경이 필요없는 방식으로 패럴랙스 베리어 타입(Parallax Barrier type)과 렌티큘라 타입(Lenticular type)이 있으며, 최근 이들에 대한 연구가 활발히 진행되고 있다.
무안경 방식의 입체영상 구현시, 다양한 각도에서 입체 효과가 나타나도록 멀티 뷰 기술이 사용될 수 있다. 이러한 멀티 뷰 영상들은 2개의 좌우 영상들로부터 도출되는 디스패리티 맵(disparity map)을 이용하여 생성될 수 있다. 디스패리티 맵은 픽셀의 시차(또는 좌표차)를 나타낸다. 디스패리티 맵을 획득하기 위해서는, 좌우 영상들 간의 스테레오 매칭을 통해 디스패리티를 구해야 한다. 스테레오 매칭 알고리즘은 도 1과 같이 입력되는 좌우 영상의 대응점의 좌표차를 추정하기 위해 사용된다. 통상 TV의 경우, 스테레오 매칭 알고리즘은 실시간으로 구현되어야 한다. 따라서, 이 알고리즘은 저 연산 비용(low computational cost)을 고려하여 VLSI(very large scale integration)로 구현될 수 있다.
기존의 스테레오 매칭은 이니셜 매칭 코스트(initial matching cost) 계산 과정과 코스트 합산(cost aggregation) 과정을 통해 도 2와 같이 좌측 영상을 기준으로 우측 영상의 디스패리티(또는 우측 영상을 기준으로 좌측 영상의 디스패리티)를 추정한다. 스테레오 매칭은 우선, 각 픽셀의 모든 디스패리티에 대하여 좌, 우측 영상의 색의 차이를 계산하는데, 이때 색의 차이를 이니셜 매칭 코스트라 하며 그 값이 0이거나 0에 가까울때 매칭이 되었다고 볼 수 있다. 그런데, 일반적으로 영상은 비슷한 색이 연속적으로 존재하기 때문에 두 픽셀의 색 차이만을 이용하는 이니셜 매칭 코스트만으로는 대응점을 찾기 어려우며, 현재 픽셀과 주변 픽셀을 함께 이용하여 매칭을 하는 것이 효과적이다. 이를 위하여 주변 픽셀의 이니셜 매칭 코스트의 합이 적은 디스패리티를 선택하는 것으로 대응점을 찾을 수 있다. 주변 픽셀의 이니셜 매칭 코스틀 합하는 과정을 코스트 합산이라 한다. 한편, 뎁스(depth)가 다른 두 사물이 인접하게 존재할 경우, 이니셜 매칭 코스트의 합을 구하는 과정에서 두 사물의 이니셜 매칭 코스트가 모두 합산에 영향을 주게 되며, 그 결과 각 사물에 대해 정확한 디스패리티 도출이 불가능해진다. 이를 해결하기 위해 합산 커널(aggregation kernel)이 제안되었다. 합산 커널은 이웃한 픽셀들간의 색차이가 일정 수준을 넘지 않는 픽셀들의 집합영역으로서, 코스트 합산 과정에서 같은 사물에 대한 이니셜 매칭 코스트만을 합하게 해 주는 기능을 한다.
그런데, 전술한 기존의 스테레오 매칭 방법은 다음과 같은 문제점이 있다.
첫째, 코스트 합산을 VLSI 기반의 하드웨어에서 구현하기 위해서는, 합산 커널에 해당하는 영상 정보가 버퍼 메모리에 저장되어 있어야 한다. 합산 커널의 크기가 크면 그에 해당하는 영상정보의 양도 증가하게 되므로, 이를 저장하는 메모리 또한 증가하게 된다. 기존의 스테레오 매칭 알고리즘의 경우 합산 커널이 크기 때문에(예컨대, 33 픽셀×33 픽셀), 한 라인에 대한 스테레오 매칭 알고리즘을 위해서 많은 수(예컨대, 33개)의 라인 메모리가 필요하게 된다. 라인 메모리가 많아지면 제조비용이 증가되고 장치가 커지는 등 여러 단점이 있다. 라인 메모리의 개수를 줄이기 위해서는 합산 커널의 크기를 줄이면 된다. 하지만, 합산 커널의 크기를 줄이면 그만큼 커널 내부에 텍스쳐(texture) 정보가 포함될 확률이 낮아지게 되므로, 스테레오 매칭 성능이 현저히 떨어진다. 다시 말해, 합산 커널의 크기를 줄이면 정보 변화가 없는 평평한 영상 영역의 경우 해당 픽셀의 합산 커널 내부에 매칭에 도움을 줄 수 있는 영상 정보(텍스쳐 정보)가 들어오지 않기 때문에, 합산된 코스트만으로 대응점을 판단하기 어렵다.
둘째, 각 픽셀에 대하여 추정된 디스패리티가 얼마나 신뢰할 만한 지를 측정하기 위한 컨피던스 매트릭(confidence metric)은 후처리(post processing)에서 유용하게 쓰일 수 있다. 종래 제안된 다수의 컨피던스 매트릭들은 주로 합산된 코스트에 기반하며, 코스트 그래프의 최소 코스트 값, 굴곡 정도, 2개의 최소 코스트값 들간의 차이 등을 이용하여 신뢰도를 측정한다. 하지만, 종래의 컨피던스 매트릭들은 각 매트릭마다 단점이 존재한다. 일부 컨피던스 매트릭은 반복 패턴에서 신뢰도가 떨어지고, 일부 컨피던스 매트릭은 텍스쳐 성능이 약한 영역(즉, 영상 변화가 적은 영역)에서 신뢰도가 떨어지며, 또한 일부 컨피던스 매트릭은 오클루션(occlusion) 영역에서 신뢰도가 나쁘다.
셋째, 각 픽셀에 대하여 추정된 디스패리티의 신뢰성 제고를 위해 일반적으로 후처리 단계가 적용된다. 종래의 후처리는 주로 필터링 기법에 의존한다. 필터링 기법은 주변 픽셀들에 할당된 디스패리티 중 적절한 값으로 신뢰도가 떨어지는 해당 픽셀의 디스패리티를 대체하는 방법이다. 하지만, 하드웨어 사이즈 축소를 위해 라인 메모리에 대한 제한이 있는 경우, 종래 필터링 기법은 수직 방향에 위치한 이웃 픽셀에 대한 접근이 불가능하여 후처리 성능에 한계가 있다.
따라서, 본 발명의 목적은 합산 커널의 크기를 줄이면서도 디스패리티 추출의 신뢰도를 제고할 수 있는 신뢰도 기반의 스테레오 매칭 방법 및 장치를 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 방법은 입력되는 좌안 영상과 우안 영상을 소정 단위로 각각 저장하는 단계; 상기 좌안 영상과 우안 영상 간의 색의 차이를 기반으로 각 픽셀별로 이니셜 디스패리티를 추정하는 단계; 상기 이니셜 디스패리티를 추정하는 단계에서 코스트 합산을 통해 계산된 코스트 커브를 기반으로 신뢰도를 측정하는 단계; 상기 이니셜 디스패리티와 상기 신뢰도를 기반으로 웨이티드 미디언 필터(weight median filter)를 실행하여 상기 이니셜 디스패리티를 수정하는 제1 후처리 단계; 및 현재 처리되고 있는 픽셀에 앞서 처리된 픽셀에서의 처리 결과 정보를 현재 웨이티드 미디언 필터의 실행 결과와 비교하여 선택하는 제2 후처리 단계를 포함한다.
또한, 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 장치는 입력되는 좌안 영상과 우안 영상을 소정 단위로 각각 저장하는 라인 메모리; 상기 좌안 영상과 우안 영상 간의 색의 차이를 기반으로 각 픽셀별로 이니셜 디스패리티를 추정하는 초기 디스패리티 추정부; 상기 이니셜 디스패리티의 추정시에 계산된 코스트 합산에 따른 코스트 커브를 기반으로 신뢰도를 측정하는 신뢰도 계산부; 상기 이니셜 디스패리티와 상기 신뢰도를 기반으로 웨이티드 미디언 필터(weight median filter)를 실행하여 상기 이니셜 디스패리티를 수정하는 제1 후처리부; 및 현재 처리되고 있는 픽셀에 앞서 처리된 픽셀에서의 처리 결과 정보를 현재 웨이티드 미디언 필터의 실행 결과와 비교하여 선택하는 제2 후처리부를 구비한다.
본 발명에 따른 신뢰도 기반의 스테레오 매칭 방법 및 장치는 라인 메모리 제한이 있는 스테레오 매칭 알고리즘에서 합산 커널의 크기 제한으로 인한 디스패리티의 오차율 증가를 효과적인 컨피던스 매트릭을 이용한 웨이티드 미디언 필터로 주위에 존재하는 신뢰도가 높은 디스패리티를 선택적으로 택함으로써 보정할 수 있다.
도 1은 스테레오 매칭 알고리즘에 의해 추정되는 좌우 영상의 디스패리티를 보여주는 도면.
도 2는 좌측 영상 및 우측 영상으로부터 디스패리티를 추정하는 것을 개략적으로 보여주는 도면.
도 3 및 도 4는 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 방법을 보여주는 도면들.
도 5 내지 도 9는 도 3의 이니셜 디스패리티 추정단계를 상세히 보여주는 도면들.
도 10 내지 도 12는 도 3에 도시된 신뢰도와 반복 패턴을 측정하는 단계를 상세히 보여주는 도면들.
도 13 및 도 14는 도 3에 도시된 CWMF에 의한 필터링 단계를 부연 설명하기 위한 도면들.
도 15 및 도 16은 도 4에 도시된 제3 후처리 단계 중 오클루션을 체크하기 위한 단계를 보여주는 도면들.
도 17은 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 장치를 보여주는 도면.
도 18은 도 17의 신뢰도 기반의 스테레오 매칭 장치가 포함된 입체영상 표시장치를 보여주는 도면.
이하, 도 3 내지 도 18을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.
도 3 및 도 4는 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 방법을 보여준다. 신뢰도 기반의 스테레오 매칭 방법은 편의상 좌안 영상과 우안 영상의 구분없이 설명되고 있지만, S10 내지 S130 각각이 좌안 영상과 우안 영상에 대해 개별적으로 행해진다는 점에 유의하여야 한다.
도 3 및 도 4을 참조하면, 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 방법은 라인 메모리 제한으로 인한 스테레오 매칭 알고리즘의 오차를 해결하기 위해 제안된다. 본 발명에서 제안되는 신뢰도는 이니셜 디스패리티를 추정하는 과정에서 계산된 코스트 커브(cost curve)의 특징에 기반한 것이다. 코스트 커브 그래프에서 가장 작은 제1 최소 코스트를 포함한 제1 커브 굴곡과 두번째로 작은 제2 최소 코스트를 포함한 제2 커브 굴곡 간의 차와 합산 커널의 크기를 이니셜 디스패리티(Dinit)의 신뢰도로 이용한다. 본 발명은 소정의 방법으로 이니셜 디스패리티(Dinit)를 추정하고(S10), 또한 이니셜 디스패리티에 대한 추정시 계산된 코스트 커브를 이용하여 신뢰도(CC)와 반복 패턴(RP)을 측정한다.(S20) 본 발명은 후처리 과정들에서 같은 물체(object)임을 알려 줄 수 있는 컬러 세그먼트 인덱스(color segment index,CS)를 소정의 방법으로 계산한다.(S30)
본 발명은 도 3과 같은 제1 및 제2 후처리 단계를 통해 라인 메모리 크기의 제한으로 나타나는 오차 증가를 효과적으로 방지할 수 있다.
제1 후처리 단계에서는 추정된 이니셜 디스패리티(Dinit), 측정된 신뢰도(CC), 계산된 컬러 세그먼트 인덱스(CS)를 기반으로, 컨피던스 웨이티드 미디언 필터(confidence weight median filter)(이하, "CWMF"라 함)를 실행하여 이니셜 디스패리티(Dinit)를 수정하는 것으로, CWMF에 의한 필터링 단계(S40)를 의미한다. 제1 후처리 단계에서 라인 메모리의 제한으로 인해 CWMF가 적용되는 범위 내부에 신뢰도가 높은 디스패리티가 없을 수도 있다. 이를 보완하기 위하여 제2 후처리 단계에서는 이미 처리된 픽셀(현재 처리 중인 픽셀에 수직으로 이웃한 픽셀)에 대한 것으로 데이터 베이스(DB)에 저장된 디스패리티(Ddb), CWMF의 웨이트(Wdb), 컬러 세그먼트 인덱스(CSdb)를 수직한 방향으로 전파(propagation)한다.(S50~S80)
본 발명은 도 4와 같은 제3 후처리 단계를 포함하여, 현재의 픽셀이 오클루션 영역과 반복 영상 영역에 해당되는 경우 디스패리티 선택의 신뢰성을 한층 더 높인다.
제3 후처리 단계에서는, 오클루션 픽셀에 대해 상기 포스트 디스패리티(Dpost)를 파이널 디스패리티(Dfin)로 선택하고 오클루션 이외의 픽셀에 대해 상기 이니셜 디스패리티(Dinit)를 파이널 디스패리티(Dfin)로 선택한다.(S90~S110) 여기서, 오클루션이란 좌우측 영상의 이니셜 디스패리티 차이가 소정값보다 큰 경우를 지시한다. 또한, 본 발명은 반복 패턴인지 여부를 판단하고, 반복 패턴의 경우 데이터 베이스(DB)를 참조하여 상기 제1 및 제2 최소 코스트 중 데이터 베이스(DB)에 저장된 웨이트 값이 더 큰 디스패리티(Drep)를 파이널 디스패리티(Dfin)로 선택한다.(S120,S130)
이하, S10 내지 S130을 구체적으로 부가 설명한다.
도 5 내지 도 9는 도 3의 이니셜 디스패리티 추정단계(S10)를 상세히 보여준다.
이니셜 디스패리티 추정단계(S10)는 도 5와 같이, 이니셜 매칭 코스트를 계산하는 단계(S10-1)와, 합산 커널을 구성하는 단계(S10-2)와, 코스트를 합산하는 단계(S10-3)와, 디스패리티를 최적화(optimization)하는 단계(S10-4)를 포함한다.
이니셜 매칭 코스트를 계산하는 단계(S10-1)에서는 도 6과 같이 각 픽셀의 모든 디스패리티에 대하여 좌안 영상(IL)과 우안 영상(IR) 간의 색의 차이를 계산한다. 여기서, 색의 차이를 이니셜 매칭 코스트(initial matching cost)라고 하며, 좌안 영상(IL)과 우안 영상(IR)의 대응점이 매칭되었을 때는 좌우측 영상(IL,IR)의 두 대응점의 색의 차이가 0이거나 0에 가까울 것이다. 픽셀 좌표(p)에서 디스패리티(d)에 대한 이니셜 매칭 코스트를 C(p,d)라 하면, C(p,d)는 수학식 1과 같다.
Figure 112012048393329-pat00001
수학식 1에서, "IL" 및 "IR"은 각각 좌측 영상 및 우측 영상의 색을, "p=(x,y)"는 픽셀의 좌표를, "Cmax"는 최대 코스트 값을, "dmax"는 최대 디스패리티를 각각 나타낸다. 여기서, 이니셜 매칭 코스트를 최대 코스트 값(Cmax)으로 한정 지어주는 이유는, 비정상적으로 큰 코스트가 합산 과정에서 주변 합산 코스트(aggregation cost)에 과도한 영향을 주는 것을 막기 위함이다.
합산 커널을 구성하는 단계(S10-2)에서는 어댑티브 쉐이프 커널(adaptive shape kernel)을 구성한다. 어댑티브 쉐이프 커널은 해당 픽셀과 이웃 픽셀 간 색차이가 일정 수준을 넘지 않는 픽셀로 구성되어, 코스트 합산 과정에서 같은 사물에 대한 이니셜 매칭 코스트만 합하게 해 준다. 예컨대, 어댑티브 쉐이프 커널은 도 7과 같이 구성될 수 있다. 어댑티브 쉐이프 커널을 구성하는 방법은 첫째, 서로 다른 픽셀들에 대해 Vx-와 Vx+을 따라 수직 방향으로 서치하고, 둘째, Vx-와 Vx+사이의 모든 픽셀들로부터 출발하여 서로 다른 픽셀들에 대해 hq-와 hq+을 따라 수평 방향으로 서치하며, 셋째, 서치 과정에서 이웃하게 배치된 유사 픽셀들을 통합함으로써 "Np"를 구성한다. 여기서, "Np"는 합산을 위한 픽셀의 주변 영역을 지시한다.
코스트를 합산하는 단계(S10-3)는 도 8에 도시되어 있다. 일반적으로 영상은 비슷한 색이 연속적으로 존재하기 때문에 두 픽셀의 색 차이만을 이용하는 이니셜 매칭 코스트만으로는 대응점을 찾기 힘들다. 따라서, 현재 픽셀과 주변 픽셀을 함께 이용하여 매칭을 수행하는 것이 효과적이다. 이를 위하여 주변 픽셀의 이니셜 매칭 코스트의 합이 적은 디스패리티를 선택하는 것으로 대응점을 찾을 수 있다. 주변 픽셀의 이니셜 매칭 코스트를 합하는 과정을 코스트 합산이라고 하고, 합산된 코스트는 아래의 수학식 2와 같이 E(p,d)로 나타낸다.
Figure 112012048393329-pat00002
수학식 2에서, "Np"는 합산을 위한 픽셀의 주변 영역을 지시한다.
디스패리티를 최적화하는 단계(S10-4)는 도 9에 도시되어 있다. 도 9와 같이, 디스패리티를 최적화하는 단계(S10-4)에서는 계산된 합산 코스트 중 가장 작은 합산 코스트를 보여주는 디스패리티를 두 영상간의 대응점을 나타내는 이니셜 디스패리티(Dinit)로 선택한다. 이러한 디스패리티 최적화 과정을 통해 이니셜 디스패리티(Dinit)가 도출되며, 그 값은 아래의 수학식 3과 같다.
Figure 112012048393329-pat00003
도 10 내지 도 12는 도 3에 도시된 신뢰도(CC)와 반복 패턴(RP)을 측정하는 단계(S20)를 상세히 보여준다. 신뢰도(CC)와 반복 패턴(RP)는 후처리 단계들에서 이용하기 위해 측정한다.
본 발명은 신뢰도(CC)를 측정하기 위하여, 도 10에 도시된 LoG를 이용하여 컨피던스 매트릭(C(p))을 아래의 수학식 4와 같이 계산한다.
Figure 112012048393329-pat00004
수학식 4에서, "LoG"는 라플라시안 오브 가우시안 필터(Laplacian of Gaussian filter)를 나타내고,"
Figure 112012048393329-pat00005
"는 이니셜 디스패리티를 추정할 때 사용하는 합산 커널의 크기를 나타낸다.
LoG 오프레이션은 코스트 그래프의 굴곡을 측정하는 역할을 한다. 즉, 도 10과 같이 LoG 필터와 비슷한 굴곡을 가진 그래프에서 높은 값을 나타낸다. 이 컨피던스 매트릭(C(p))은 2δ+1개의 디스패리티에 해당하는 코스트를 사용하여 급격한 변화가 있는 영역에서 높은 신뢰도 값을 가진다. 한편, 본 발명은 합산 커널의 크기를 제안된 신뢰도에 포함하였다. 합산 커널의 크기가 크면 코스트 합산에 이용된 픽셀의 개수가 많아짐으로 인하여 코스트 합산 자체에 대한 신뢰도가 증가하는 것을 이용하기 위함이다. 또한, 본 발명은 수학식 4와 도 11에서와 같이 d2에서의 굴곡을 d1에서의 굴곡에서 감해줌으로써 반복 패턴에서의 신뢰성을 감소시킨다. 즉, 본 발명은 디스패리티 추출의 정확성을 제고하기 위하여, 반복 패턴에서 신뢰도를 낮춘다. 본 발명은 반복 패턴에서 신뢰성을 먼저 낮춘 후 후처리 단계에서 주위의 신뢰성 높은 것으로 대체시킨다. 이를 통해 본 발명은 d1과 d2에 해당하는 합산된 코스트의 단순 비교가 아닌 d1과 d2 주변에서 코스트 그래프의 굴곡을 비교함으로써 컨피던스 매트릭(C(p))의 성능을 향상시킬 수 있게 된다.
다음으로, 본 발명은 반복 패턴(RP)을 측정한다. 도 12에 도시된 바와 같이 현재 픽셀이 반복 패턴(RP)에 위치할 경우 본 발명에서 제안한 신뢰도는 "0"에 가까운 값을 가진다. 위에서 언급했듯이, 후술할 후처리 과정에서 신뢰도가 낮은 픽셀의 경우 주변의 신뢰도가 높은 픽셀의 디스패리티로 대체된다. 다만, 반복 패턴(RP)의 경우 주변 픽셀들 또한 동일하게 반복되는 경우가 많다. 이러한 반복 패턴(RP)은 후처리를 위해 별도로 디텍션(detection)을 해 두어야 한다. 통상 반복 패턴(RP)은 d1 주변에서 코스트 그래프가 높은 굴곡을 가지고, d1 및 d2 주변에서 양자의 코스트 그래프의 굴곡차가 적게 나타난다. 이러한 특징을 이용하여 수학식 5와 같이 반복 패턴(RP)을 디텍션한다.
Figure 112012048393329-pat00006
본 발명은 후처리 과정들에서 같은 물체(object)임을 알려 줄 수 있는 컬러 세그먼트 인덱스(color segment index,CS)를 소정의 방법으로 계산한다.(S30) 컬러 세그먼트 인덱스는 다양한 방법으로 구해질 수 있다. 예컨대, 본 발명은 한 프레임 전체의 영상을 분석하여 컬러에 따라 히스토그램 방식으로 영상을 분류한 후, 현재 픽셀이 어느 세그먼트에 속하는지를 계산할 수 있다.
도 13 및 도 14는 도 3에 도시된 CWMF에 의한 필터링 단계(S40) 즉, 제1 후처리 단계를 부연 설명하기 위한 도면이다. 제1 후처리 단계에서는 CWMF 디스패리티(Dcwmf), CWMF 웨이트(Wcwmf), CWMF 컬러 세그먼트 인덱스(CScwmf)가 생성된다.
도 13을 참조하면, 디스패리티를 추정하기 위하여 라인 메모리가 제한되어 있는 경우, 합산 커널의 크기는 라인 메모리에 맞춰 작아질 수 밖에 없다. CWMF에 의한 필터링 단계(S40)에서는 신뢰성 제고를 위해 주변 픽셀의 이니셜 디스패리티 중 같은 사물이라고 판단된 영역에서, 신뢰도가 높은 디스패리티로 신뢰도가 낮은 디스패리티를 대체한다. 같은 사물에 속하는 주변 픽셀이란 도 13의 (A)와 같이 제1 영역(AR1)에 속하는 픽셀들로서, 이는 해당 pixel이 같은 컬러 범주(color bin)에 속하는지 여부로 판단할 수 있다. CWMF에 의한 필터링 단계(S40)는 도 13의 (B)와 같이 같은 컬러에 속하는 디스패리티 중 신뢰도가 높은 제2 영역(AR2) 부분의 디스패리티(Dcwmf)로 제3 영역(AR3)에 속하는 중심 픽셀의 디스패리티(Dinit)를 대체한다. 이를 수식으로 나타내면 아래의 수학식 6 및 7과 같다.
Figure 112012048393329-pat00007
수학식 6에서, "MED" 중간 연산자(median operator)를 나타내고, "di 0"는 중심 픽셀과 동일색을 갖는 주변 픽셀의 이니셜 디스패리티를 나타내며, "◇"는 복사 연산자(duplication operator)를 나타낸다.
CWMF 웨이트(Wcwmf)는 아래의 수학식 7에 따른 컨피던스 매트릭을 사용함으로써 계산된다.
Figure 112012048393329-pat00008
수학식 7에서, "wi"는 CWMF 웨이트(Wcwmf)를, "τ,σ"는 사용자에 의해 정의되는 파라메타를 나타낸다. "wi"는 "C"에 비례하는 값을 가지며, 소프트 쓰레스홀드(soft threshold) 기능을 수행한다. 위의 CWMF는 같은 컬러 세그먼트 인덱스를 가지는 픽셀의 디스패리티에 적용되어, 신뢰도가 낮은 이니셜 디스패리티를 주변의 같은 물체(즉, 동일 컬러)에 해당하는 픽셀 중 신뢰도가 높은 디스패리티로 대체하는 역할을 한다. 통상의 미디언 필터(median filter)가 디스패리티 샘플들의 중간값을 결과값으로 가지는 반면, 본 발명의 CWMF는 도 14와 같이 웨이트가 높은 디스패리티 샘플값을 결과값(Dcwmf)으로 가질 확률이 높아진다.
하지만, CWMF의 적용에 있어서도 라인 메모리의 제한이 있기 때문에, 디스패리티의 오차율을 줄이는데는 한계가 있다. 이를 해결하기 위하여, 본 발명은 제2 후처리 단계(S50~S80)를 갖는다. 제2 후처리 단계(S50~S80)에서는 이미 처리된 픽셀(현재 처리 중인 픽셀에 수직으로 이웃한 픽셀)에 대한 것으로 데이터 베이스(DB)에 저장된 디스패리티(Ddb), 웨이트(Wdb), 컬러 세그먼트 인덱스(CSdb)를 수직한 방향으로 전파(propagation)한다. 전파된 정보는 현재 처리중인 픽셀에 대한 정보 즉, 제1 후처리 단계에서 생성된 CWMF 디스패리티(Dcwmf), CWMF 웨이트(Wcwmf), CWMF 컬러 세그먼트 인덱스(CScwmf)와 비교된 후 이들 각각을 대체할지 여부가 결정된다. 제2 후처리 단계는 전파된 웨이트(Wdb)가 CWMF 웨이트(Wcwmf)보다 크면(S50의 Yes) 전파된 디스패리티(Ddb)를 포스트 디스패리티(Dpost)로 선택하는 반면(S80), 전파된 웨이트(Wdb)가 CWMF 웨이트(Wcwmf)보다 작거나 같으면(S50의 No) CWMF 디스패리티(Dcwmf)를 포스트 디스패리티(Dpost)로 선택(S70)함과 아울러 CWMF 디스패리티(Dcwmf), CWMF 웨이트(Wcwmf), CWMF 컬러 세그먼트 인덱스(CScwmf)로 데이터 베이스(DB)를 업데이트한다.(S60)
도 15 및 도 16은 도 4에 도시된 제3 후처리 단계 중 오클루션을 체크하기 위한 단계(S90)를 보여준다.
도 15 및 도 16을 참조하면, 본 발명은 좌측 영상을 기준으로 추정된 우측 영상의 이니셜 디스패리티(d1)와, 우측 영상을 기준으로 추정된 좌측 영상의 이니셜 디스패리티(d1r)의 차가 소정값(예컨대, "1")보다 크면 해당 픽셀이 영상의 오클루션 영역에 위치하고 있다고 판단하고, 반대로 소정값 이하이면 해당 픽셀은 오클루션 영역에 위치하고 있지 않다고 판단한다.
본 발명은 오클루션 픽셀에 대해(S90의 Yes) 상기 제2 후처리 단계에서 얻어진 포스트 디스패리티(Dpost)를 파이널 디스패리티(Dfin)로 선택하고(S110), 오클루션 이외의 픽셀(S90의 No)에 대해 상기 처음에 얻어진 이니셜 디스패리티(Dinit)를 파이널 디스패리티(Dfin)로 선택한다.(S110)
한편, 반복 패턴(RP)의 경우 주변에 신뢰도가 높은 디스패리티가 존재할 확률이 작기 때문에 CWMF로 수정되지 않는 픽셀이 존재할 수 있다. 하지만, 반복 패턴(RP)의 경우 대부분 가장 작은 코스트 및 두번째로 작은 코스트 중의 어느 하나가 정확한 디스패리티에 해당한다.
본 발명은 반복 패턴인지를 판단하고(S120), 반복 패턴의 경우 아래의 수학식 8과 같이 데이터 베이스(DB)를 참조하여 상기 제1 및 제2 최소 코스트 중 웨이트 값이 더 큰 디스패리티(Drep)를 파이널 디스패리티(Dfin)로 선택한다.(S130)
Figure 112012048393329-pat00009
도 17은 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 장치를 보여준다.
도 17을 참조하면, 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 장치는, 입력되는 좌안 영상(R/G/B_L, 도 3의 IL)과 우안 영상(R/G/B_R, 도 3의 IR)으로부터 좌안 디스패리티(L Disparity)와 우안 디스패리티(R Disparity)를 생성한다. 좌안 디스패리티(L Disparity)와 우안 디스패리티(R Disparity)는 멀티 뷰 영상 등을 구현하기 위한 디스패리티 맵(disparity map) 형성에 사용된다.
이를 위한, 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 장치는, 제1 및 제2 라인 메모리(11, 12), 초기 디스패리티 추정부(13), 신뢰도 계산부(14), 컬러 히스토그램 분류부(15), 제1 후처리부(16), 제2 후처리부(17) 및 제3 후처리부(18)를 구비한다.
제1 라인 메모리(11)는 입력되는 좌안 영상(R/G/B_L)을 소정의 크기만큼 저장하고 필터링에 필요한 여러 라인을 동시에 출력한다. 제2 라인 메모리(12)는 입력되는 우안 영상(R/G/B_R)을 소정의 크기만큼 저장하고 필터링에 필요한 여러 라인을 동시에 출력한다.
초기 디스패리티 추정부(13)는 제1 및 제2 라인 메모리(11, 12)로부터 좌안 영상(R/G/B_L) 및 우안 영상(R/G/B_R)을 각각 입력받아, 도 5를 통해 전술했듯이 이니셜 매칭 코스트를 계산하고, 합산 커널을 구성하며, 코스트를 합산한 후, 디스패리티를 최적화하여 좌안 및 우안 이니셜 디스패리티(Dinit_L,Dinit_R)를 추정하고, 좌안 및 우안 코스트(Cost_L,Cost_R)를 출력한다.
신뢰도 계산부(14)는 초기 디스패리티 추정부(13)로부터 입력되는 좌안 및 우안 이니셜 디스패리티(Dinit_L,Dinit_R)와, 좌안 및 우안 코스트(Cost_L,Cost_R)를 수학식 4에 적용하여, 좌안 및 우안 신뢰도(CC_L,CC_R)를 계산한다. 그리고, 신뢰도 계산부(14)는 초기 디스패리티 추정부(13)로부터 입력되는 좌안 및 우안 이니셜 디스패리티(Dinit_L,Dinit_R)와, 좌안 및 우안 코스트(Cost_L,Cost_R)를 수학식 5 적용하여, 좌안 및 우안 반복 패턴(RP_L,RP_R)을 디텍션한다.
컬러 히스토그램 분류부(15)는 입력되는 좌안 영상(R/G/B_L) 및 우안 영상(R/G/B_R)을 각각 분류하여 좌안 및 우안 컬러 세그먼트 인덱스(CS_L,CS_R)를 계산한다.
제1 후처리부(16)는 좌안 이니셜 디스패리티(Dinit_L)를 수정하기 위한 제1 필터링부(16A)와 우안 이니셜 디스패리티(Dinit_R)를 수정하기 위한 제2 필터링부(16B)를 포함한다.
제1 필터링부(16A)는 제1 라인 메모리(11)로부터 현재 라인의 좌안 영상(R/G/B_L)을, 초기 디스패리티 추정부(13)로부터 좌안 이니셜 디스패리티(Dinit_L)를, 신뢰도 계산부(14)로부터 좌안 신뢰도(CC_L)를, 컬러 히스토그램 분류부(15)로부터 좌안 컬러 세그먼트 인덱스(CS_L)를 입력받는다. 제1 필터링부(16A)는 입력받은 정보들을 수학식 6 및 7에 적용하여 CWMF에 의한 필터링 과정을 수행함으로써 좌안 CWMF 디스패리티(Dcwmf_L), 좌안 CWMF 웨이트(Wcwmf_L), 좌안 컬러 세그먼트 인덱스(CScwmf_L)를 출력한다.
제2 필터링부(16B)는 제2 라인 메모리(12)로부터 현재 라인의 우안 영상(R/G/B_R)을, 초기 디스패리티 추정부(13)로부터 우안 이니셜 디스패리티(Dinit_R)를, 신뢰도 계산부(14)로부터 우안 신뢰도(CC_R)를, 컬러 히스토그램 분류부(15)로부터 우안 컬러 세그먼트 인덱스(CS_R)를 입력받는다. 제2 필터링부(16B)는 입력받은 정보들을 수학식 6 및 7에 적용하여 CWMF에 의한 필터링 과정을 수행함으로써 우안 CWMF 디스패리티(Dcwmf_R), 우안 CWMF 웨이트(Wcwmf_R), 우안 컬러 세그먼트 인덱스(CScwmf_R)를 출력한다.
제2 후처리부(17)는 좌안 영상과 관련한 제1 프로파게이션부(17A)와 우안 영상과 관련한 제2 필터링부(16B)를 포함한다.
제1 프로파게이션부(17A)는 상술한 S50~S80과 실질적으로 동일한 기능을 수행한다. 제1 프로파게이션부(17A)는 제1 필터링부(16A)로부터 좌안 CWMF 디스패리티(Dcwmf_L), 좌안 CWMF 웨이트(Wcwmf_L), 좌안 컬러 세그먼트 인덱스(CScwmf_L)를입력받고, 이미 처리된 픽셀(현재 처리 중인 픽셀에 수직으로 이웃한 픽셀)에 대한 것으로 좌안용 데이터 베이스(DB)에 저장된 좌안 디스패리티(Ddb), 좌안 웨이트(Wdb), 좌안 컬러 세그먼트 인덱스(CSdb)를 수직한 방향으로 전파(propagation)한다. 제1 프로파게이션부(17A)는 전파된 좌안 웨이트(Wdb)가 좌안 CWMF 웨이트(Wcwmf_L)보다 크면 전파된 좌안 디스패리티(Ddb)를 좌안 포스트 디스패리티(Dpost_L)로 선택하는 반면, 전파된 좌안 웨이트(Wdb)가 좌안 CWMF 웨이트(Wcwmf_L)보다 작거나 같으면 좌안 CWMF 디스패리티(Dcwmf_L)를 좌안 포스트 디스패리티(Dpost_L)로 선택함과 아울러 좌안 CWMF 디스패리티(Dcwmf_L), 좌안 CWMF 웨이트(Wcwmf_L), 좌안 컬러 세그먼트 인덱스(CScwmf_L)로 좌안용 데이터 베이스(DB)를 업데이트한다.
제2 프로파게이션부(17B)는 상술한 S50~S80과 실질적으로 동일한 기능을 수행한다. 제2 프로파게이션부(17BA)는 제2 필터링부(16B)로부터 우안 CWMF 디스패리티(Dcwmf_R), 우안 CWMF 웨이트(Wcwmf_R), 우안 컬러 세그먼트 인덱스(CScwmf_R)를입력받고, 이미 처리된 픽셀(현재 처리 중인 픽셀에 수직으로 이웃한 픽셀)에 대한 것으로 우안용 데이터 베이스(DB)에 저장된 우안 디스패리티(Ddb), 우안 웨이트(Wdb), 우안 컬러 세그먼트 인덱스(CSdb)를 수직한 방향으로 전파(propagation)한다. 제2 프로파게이션부(17B)는 전파된 우안 웨이트(Wdb)가 우안 CWMF 웨이트(Wcwmf_R)보다 크면 전파된 우안 디스패리티(Ddb)를 우안 포스트 디스패리티(Dpost_R)로 선택하는 반면, 전파된 우안 웨이트(Wdb)가 우안 CWMF 웨이트(Wcwmf_R)보다 작거나 같으면 우안 CWMF 디스패리티(Dcwmf_R)를 우안 포스트 디스패리티(Dpost_R)로 선택함과 아울러 우안 CWMF 디스패리티(Dcwmf_R), 우안 CWMF 웨이트(Wcwmf_R), 우안 컬러 세그먼트 인덱스(CScwmf_R)로 우안용 데이터 베이스(DB)를 업데이트한다.
제3 후처리부(18)는 콘시스턴스 체크부(18A), 좌안 영상과 관련한 제1 반복패턴체크부(18B)와 우안 영상과 관련한 제2 반복패턴체크부(18C)를 포함한다.
콘시스턴스 체크부(18A)는 초기 디스패리티 추정부(13)로부터 좌안 및 우안 이니셜 디스패리티(Dinit_L,Dinit_R)를 입력받고, 양자의 차가 미리 정해진 소정값보다 크면 해당 픽셀이 오클루션 영역에 위치한다고 판단하고, 양자의 차가 소정값 이하이면 해당 픽셀이 오클루션 영역밖에 위치한다고 판단한다.
제1 반복패턴체크부(18B)는 제1 프로파게이션부(17A)로부터 좌안 포스트 디스패리티(Dpost_L)를 입력받고, 콘시스턴스 체크부(18A)로부터 오클루션 체크 결과를 입력받는다. 제1 반복패턴체크부(18B)는 오클루션 픽셀에 대해서는 좌안 포스트 디스패리티(Dpost_L)를 좌안 파이널 디스패리티(Dfin_L)로 선택하고, 오클루션 이외의 픽셀에 대해서는 좌안 이니셜 디스패리티(Dinit_L)를 좌안 파이널 디스패리티(Dfin_L)로 선택한다. 그리고, 제1 반복패턴체크부(18B)는 반복 패턴인지를 판단하고, 반복 패턴의 경우 수학식 8처럼 좌안 데이터 베이스(DB)를 참조하여 상기 제1 및 제2 최소 코스트 중 웨이트 값이 더 큰 디스패리티(Drep)를 좌안 파이널 디스패리티(Dfin_L)로 선택한다.
제2 반복패턴체크부(18C)는 제2 프로파게이션부(17B)로부터 우안 포스트 디스패리티(Dpost_R)를 입력받고, 콘시스턴스 체크부(18A)로부터 오클루션 체크 결과를 입력받는다. 제2 반복패턴체크부(18C)는 오클루션 픽셀에 대해서는 우안 포스트 디스패리티(Dpost_R)를 우안 파이널 디스패리티(Dfin_R)로 선택하고, 오클루션 이외의 픽셀에 대해서는 우안 이니셜 디스패리티(Dinit_R)를 우안 파이널 디스패리티(Dfin_R)로 선택한다. 그리고, 제2 반복패턴체크부(18C)는 반복 패턴인지를 판단하고, 반복 패턴의 경우 수학식 8처럼 우안 데이터 베이스(DB)를 참조하여 상기 제1 및 제2 최소 코스트 중 웨이트 값이 더 큰 디스패리티(Drep)를 우안 파이널 디스패리티(Dfin_R)로 선택한다.
도 18은 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 장치를 포함한 입체영상 표시장치를 보여준다.
도 18을 참조하면, 입체영상 표시장치는 입체영상을 표시하는 표시모듈(200)과, 입체 영상 구현에 필요한 각종 신호들을 표시모듈(200)에 공급하는 시스템(100)을 포함한다. 본 발명의 실시예에 따른 신뢰도 기반의 스테레오 매칭 장치는 입체영상 표시장치의 시스템(100)에 실장될 수 있고, 또한 입체영상 표시장치의 표시모듈(200)에 실장될 수도 있다.
상술한 바와 같이, 본 발명에 따른 신뢰도 기반의 스테레오 매칭 방법 및 장치는 라인 메모리 제한이 있는 스테레오 매칭 알고리즘에서 합산 커널의 크기 제한으로 인한 디스패리티의 오차율 증가를 효과적인 컨피던스 매트릭을 이용한 웨이티드 미디언 필터로 주위에 존재하는 신뢰도가 높은 디스패리티를 선택적으로 택함으로써 보정할 수 있다.
본 발명에 따른 컨피던스 매트릭은 최대 7개의 디스패리티에 접근함으로써 변화가 적은 영상 영역(텍스쳐가 적게 포함된 영상 영역)에서도 디스패리티를 정확하게 추출할 수 있다.
본 발명은 후처리 단계에서 라인 메모리 제한으로 생기는 필터링 영역의 제한을, 현재 픽셀이 처리되기 이전에 처리된 상부 픽셀의 필터링 결과를 전파함으로써, 이전에 처리된 영역에 해당하는 픽셀의 디스패리티에 직접 접근하지 않으면서 그 영역에서의 신뢰도가 높은 디스패리티를 현재의 픽셀의 디스패리티로 대체할 수 있다.
본 발명은 오클루션 체크 및 반복 패턴 체크를 통해 추가적으로 디스패리티의 신뢰성을 제고함으로써 디스패리티를 보다 정확하게 추출할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
11, 12 : 라인 메모리 13 : 초기 디스패리티 추정부
14: 신뢰도 계산부 15 : 컬러 히스토그램 분류부
16 : 제1 후처리부 17 : 제2 후처리부
18 : 제3 후처리부

Claims (16)

  1. 입력되는 좌안 영상과 우안 영상을 소정 단위로 각각 저장하는 단계;
    상기 좌안 영상과 우안 영상 간의 색의 차이를 기반으로 각 픽셀별로 이니셜 디스패리티를 추정하는 단계;
    상기 이니셜 디스패리티를 추정하는 단계에서 코스트 합산을 통해 계산된 코스트 커브를 기반으로 신뢰도를 측정하는 단계;
    히스토그램 컬러 세그멘테이션 과정을 통해 컬러 세그먼트 인덱스를 계산하는 단계;
    상기 이니셜 디스패리티와 상기 신뢰도와 상기 컬러 세그먼트 인덱스를 기반으로 웨이티드 미디언 필터(weight median filter)를 실행하여 상기 이니셜 디스패리티를 수정하는 제1 후처리 단계; 및
    현재 처리되고 있는 픽셀에 앞서 처리된 픽셀에서의 처리 결과 정보를 현재 웨이티드 미디언 필터의 실행 결과와 비교하여 선택하는 제2 후처리 단계를 포함하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 신뢰도는 상기 코스트 커브에서 제1 및 제2 최소 코스트를 나타내는 디스패리티 근처에서의 코스트 커브 굴곡 정보와 상기 코스트 합산을 위한 합산 커널(aggergation kernel)의 크기 정보를 포함하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 방법.
  4. 제 1 항에 있어서,
    상기 제2 후처리 단계는,
    상기 처리 결과 정보에 해당되는 제1 디스패리티, 제1 웨이트, 및 제1 컬러 세그먼트 인덱스를 데이터 베이스로부터 추출하여 소정 방향으로 전파하고, 현재 웨이티드 미디언 필터의 실행 결과에 해당되는 제2 디스패리티, 제2 웨이트, 및 제2 컬러 세그먼트 인덱스와 비교하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 방법.
  5. 제 4 항에 있어서,
    상기 제2 후처리 단계는,
    상기 제1 웨이트가 상기 제2 웨이트보다 크면, 상기 제1 디스패리티를 포스트 디스패리티로 선택하고;
    상기 제1 웨이트가 상기 제2 웨이트보다 작거나 같으면, 상기 제2 디스패리티를 상기 포스트 디스패리티로 선택함과 아울러 상기 제2 디스패리티, 상기 제2 웨이트, 및 상기 제2 컬러 세그먼트 인덱스로 상기 데이터 베이스를 업데이트하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 방법.
  6. 제 5 항에 있어서,
    상기 좌안 영상과 우안 영상의 이니셜 디스패리티가 일치하는지 여부를 체크하는 단계; 및
    현재 처리되고 있는 픽셀이 반복 패턴 영상에 포함되는지 여부를 체크하는 단계를 갖는 제3 후처리 단계를 더 포함하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 방법.
  7. 제 6 항에 있어서,
    상기 좌안 영상과 우안 영상의 이니셜 디스패리티가 일치하는지 여부를 체크하는 단계는,
    상기 좌안 영상과 우안 영상의 이니셜 디스패리티가 일치하지 않으면 상기 포스트 디스패리티를 파이널 디스패리티로 선택하고, 상기 좌안 영상과 우안 영상의 이니셜 디스패리티가 일치하면 상기 이니셜 디스패리티를 상기 파이널 디스패리티로 선택하는 단계인 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 방법.
  8. 제 7 항에 있어서,
    상기 현재 처리되고 있는 픽셀이 반복 패턴 영상에 포함되는지 여부를 체크하는 단계는,
    현재 처리되고 있는 픽셀이 반복 패턴 영상에 포함되면 상기 데이터 베이스를 참조하여 상기 제1 및 제2 최소 코스트 중 웨이트 값이 더 큰 디스패리티를 상기 파이널 디스패리티로 선택하는 단계인 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 방법.
  9. 입력되는 좌안 영상과 우안 영상을 소정 단위로 각각 저장하는 라인 메모리;
    상기 좌안 영상과 우안 영상 간의 색의 차이를 기반으로 각 픽셀별로 이니셜 디스패리티를 추정하는 초기 디스패리티 추정부;
    상기 이니셜 디스패리티의 추정시에 계산된 코스트 합산에 따른 코스트 커브를 기반으로 신뢰도를 측정하는 신뢰도 계산부;
    히스토그램 컬러 세그멘테이션 과정을 통해 컬러 세그먼트 인덱스를 계산하는 컬러 히스토그램 분류부;
    상기 이니셜 디스패리티와 상기 신뢰도와 상기 컬러 세그먼트 인덱스를 기반으로 웨이티드 미디언 필터(weight median filter)를 실행하여 상기 이니셜 디스패리티를 수정하는 제1 후처리부; 및
    현재 처리되고 있는 픽셀에 앞서 처리된 픽셀에서의 처리 결과 정보를 현재 웨이티드 미디언 필터의 실행 결과와 비교하여 선택하는 제2 후처리부를 구비하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 장치.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 신뢰도는 상기 코스트 커브에서 제1 및 제2 최소 코스트를 나타내는 디스패리티 근처에서의 코스트 커브 굴곡 정보와 상기 코스트 합산을 위한 합산 커널(aggergation kernel)의 크기 정보를 포함하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 장치.
  12. 제 9 항에 있어서,
    상기 제2 후처리부는,
    상기 처리 결과 정보에 해당되는 제1 디스패리티, 제1 웨이트, 및 제1 컬러 세그먼트 인덱스를 데이터 베이스로부터 추출하여 소정 방향으로 전파하고, 현재 웨이티드 미디언 필터의 실행 결과에 해당되는 제2 디스패리티, 제2 웨이트, 및 제2 컬러 세그먼트 인덱스와 비교하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 장치.
  13. 제 12 항에 있어서,
    상기 제2 후처리부는,
    상기 제1 웨이트가 상기 제2 웨이트보다 크면, 상기 제1 디스패리티를 포스트 디스패리티로 선택하고;
    상기 제1 웨이트가 상기 제2 웨이트보다 작거나 같으면, 상기 제2 디스패리티를 상기 포스트 디스패리티로 선택함과 아울러 상기 제2 디스패리티, 상기 제2 웨이트, 및 상기 제2 컬러 세그먼트 인덱스로 상기 데이터 베이스를 업데이트하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 장치.
  14. 제 13 항에 있어서,
    상기 좌안 영상과 우안 영상의 이니셜 디스패리티가 일치하는지 여부를 체크하는 콘시스턴스 체크부; 및
    현재 처리되고 있는 픽셀이 반복 패턴 영상에 포함되는지 여부를 체크하는 반복패턴 체크부를 더 구비하는 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 장치.
  15. 제 14 항에 있어서,
    상기 콘시스턴스 체크부는,
    상기 좌안 영상과 우안 영상의 이니셜 디스패리티가 일치하지 않으면 상기 포스트 디스패리티를 파이널 디스패리티로 선택하고, 상기 좌안 영상과 우안 영상의 이니셜 디스패리티가 일치하면 상기 이니셜 디스패리티를 상기 파이널 디스패리티로 선택하는 단계인 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 장치.
  16. 제 15 항에 있어서,
    상기 반복패턴 체크부는,
    현재 처리되고 있는 픽셀이 반복 패턴 영상에 포함되면 상기 데이터 베이스를 참조하여 상기 제1 및 제2 최소 코스트 중 웨이트 값이 더 큰 디스패리티를 상기 파이널 디스패리티로 선택하는 단계인 것을 특징으로 하는 신뢰도 기반의 스테레오 매칭 장치.
KR1020120065217A 2012-06-18 2012-06-18 신뢰도 기반의 스테레오 매칭 방법 및 장치 KR101889952B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120065217A KR101889952B1 (ko) 2012-06-18 2012-06-18 신뢰도 기반의 스테레오 매칭 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120065217A KR101889952B1 (ko) 2012-06-18 2012-06-18 신뢰도 기반의 스테레오 매칭 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130142008A KR20130142008A (ko) 2013-12-27
KR101889952B1 true KR101889952B1 (ko) 2018-08-20

Family

ID=49985776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120065217A KR101889952B1 (ko) 2012-06-18 2012-06-18 신뢰도 기반의 스테레오 매칭 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101889952B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882931B1 (ko) 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
KR102756357B1 (ko) 2016-10-19 2025-01-17 삼성전자주식회사 영상 처리 장치 및 방법
KR102675523B1 (ko) 2018-09-28 2024-06-14 삼성전자주식회사 차로를 결정하는 방법 및 장치
KR20220146133A (ko) 2021-04-23 2022-11-01 한국전자통신연구원 신뢰도 기반의 스테레오 정합 개선 장치 및 이를 이용한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069009A1 (en) * 2009-09-18 2012-03-22 Kabushiki Kaisha Toshiba Image processing apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069009A1 (en) * 2009-09-18 2012-03-22 Kabushiki Kaisha Toshiba Image processing apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jia, Leslie. "Segment-based Multistage Stereoscopic Depth Estimation." Masters Abstracts International. Vol. 45. No. 03. 2006.(2006.12.31.)*

Also Published As

Publication number Publication date
KR20130142008A (ko) 2013-12-27

Similar Documents

Publication Publication Date Title
US8326025B2 (en) Method for determining a depth map from images, device for determining a depth map
US9530192B2 (en) Method for determining stereo quality score and automatically improving the quality of stereo images
RU2721175C2 (ru) Способ и устройство для определения карты глубины для изображения
CN105517677A (zh) 深度图/视差图的后处理方法和装置
KR102695517B1 (ko) 동공 거리 결정 방법 및 장치
CN101247530A (zh) 增强图像的立体效果的三维图像显示设备和方法
CN113034568A (zh) 一种机器视觉深度估计方法、装置、系统
CN107155105B (zh) 一种立体视频舒适度评价方法及装置
CN107980138A (zh) 一种虚警障碍物检测方法及装置
US9519956B2 (en) Processing stereo images
CN103731651A (zh) 图像处理装置、图像处理方法和程序
CN111223059B (zh) 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法
WO2020125637A1 (zh) 一种立体匹配方法、装置和电子设备
KR101889952B1 (ko) 신뢰도 기반의 스테레오 매칭 방법 및 장치
CN104200453A (zh) 基于图像分割和可信度的视差图像校正方法
Sharma et al. A novel hybrid kinect-variety-based high-quality multiview rendering scheme for glass-free 3D displays
US20130308826A1 (en) Image processing apparatus, non-transitory computer readable recording medium, and image processing method
JP2013073598A (ja) 画像処理装置、画像処理方法、及びプログラム
US9105130B2 (en) View synthesis method capable of depth mismatching checking and depth error compensation
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
KR102324605B1 (ko) 변이 영상 생성 방법 및 장치
CN103632365B (zh) 一种立体图像视差估计方法
Shen Depth-map merging for multi-view stereo with high resolution images
Akimov et al. Automatic left-right channel swap detection
CN109698950B (zh) 立体视觉系统的增强方法及立体视觉系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120618

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170613

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120618

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180208

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180802

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180813

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180814

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210802

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220715

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230801

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240715

Start annual number: 7

End annual number: 7