KR20150037319A - 입체영상 표시장치 및 그의 디스패러티 산출방법 - Google Patents

입체영상 표시장치 및 그의 디스패러티 산출방법 Download PDF

Info

Publication number
KR20150037319A
KR20150037319A KR20130116836A KR20130116836A KR20150037319A KR 20150037319 A KR20150037319 A KR 20150037319A KR 20130116836 A KR20130116836 A KR 20130116836A KR 20130116836 A KR20130116836 A KR 20130116836A KR 20150037319 A KR20150037319 A KR 20150037319A
Authority
KR
South Korea
Prior art keywords
value
initial
disparity
current pixel
calculating
Prior art date
Application number
KR20130116836A
Other languages
English (en)
Other versions
KR102022527B1 (ko
Inventor
이승용
권경준
허천
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020130116836A priority Critical patent/KR102022527B1/ko
Publication of KR20150037319A publication Critical patent/KR20150037319A/ko
Application granted granted Critical
Publication of KR102022527B1 publication Critical patent/KR102022527B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

본 발명에 따른 입체영상 표시장치는 제N(N은 양의 정수) 라인에 표시될 제1 단안 영상 데이터와 상기 제1 단안 영상 데이터로부터 제1 범위 내에 위치한 제2 단안 영상 데이터의 차이를 지시하는 AD값을 산출하는 제1 코스트 산출부; 상기 제1 단안 데이터와 그의 주변 데이터 및 상기 제2 단안 영상 데이터와 그의 주변 데이터를 이용하여 센서스 값을 산출하는 제2 코스트 산출부; 상기 제N 라인에 이웃한 제N-1 라인에서 구해진 초기 디스패러티를 기반으로 평활도 값을 산출하는 제3 코스트 산출부; 상기 AD 값, 상기 센서스 값, 상기 평활도 값을 더하여 초기 매칭값을 산출하는 초기매칭값 산출부; 현재 픽셀의 초기 매칭값을 그 주변 영역의 초기 매칭값들과 합산하여 초기 매칭 합산값을 산출하는 초기매칭합산값 산출부; 및 상기 초기 매칭 합산값들 중에서 최소 변위를 현재 픽셀의 초기 디스패러티로 산출하는 초기 디스패러티 산출부를 구비한다.

Description

입체영상 표시장치 및 그의 디스패러티 산출방법{STEREOSCOPIC IMAGE DISPLAY DEVICE AND DISPARITY CALCULATION METHOD THEREOF}
본 발명은 입체 영상을 구현하는 3D 영상 데이터로부터 멀티뷰 영상 데이터를 생성하기 위한 입체영상 표시장치와 그의 디스패러티 산출방법에 관한 것이다.
최근, 3차원 입체영상에 대한 관심이 높아지면서 다양한 입체영상 표시장치가 개발되고 있다. 일반적으로 사람이 지각하는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다. 그 중에서도 사람의 두 눈이 가로 방향으로 약 6~7㎝가량 떨어져 위치함으로써 나타나게 되는 양안 시차(binocular disparity)는 입체감의 가장 중요한 요인이라고 할 수 있다. 즉, 양안 시차로 인해 두 눈에 들어오는 이미지가 서로 다른 상을 갖게 되면 사람의 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있게 되는 것이다.
양안시차를 이용한 입체영상 구현방법에는 안경방식과 무안경방식이 있다. 이 중 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘러 렌즈 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다. 사용자가 셔터안경이나 편광안경을 착용하지 않고 입체영상을 시청할 수 있는 편의성으로 인해, 무안경 방식은 최근에 스마트폰(smart phone), 태블릿(tablet), 및 노트북(notebook) 등의 중소형 디스플레이에 많이 적용되고 있다. 무안경 방식은 3D 크로스토크(crosstalk)를 줄이기 위해 광학판을 이용하여 n(n은 2 이상의 자연수) 개의 뷰 영상들을 포함하는 멀티뷰 영상을 n 개의 뷰 영역들에 표시함으로써 입체영상을 구현한다. 3D 크로스토크는 복수 개의 뷰 영상들이 사용자의 단안(좌안 또는 우안)에서 겹쳐보이는 것을 의미하며, 3D 크로스토크가 커지면 입체영상의 품질이 낮아지게 된다.
멀티뷰 영상은 일반인의 양안 간격만큼 n 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 멀티뷰 영상은 좌안 영상과 우안 영상(또는 2 개의 뷰 영상들)을 포함하는 3D 영상에 비해 비디오 컨텐츠로 제작하기 쉽지 않을 뿐만 아니라 비디오 컨텐츠로 제작하기 위한 단가가 높기 때문에, 멀티뷰 영상으로 구현된 비디오 컨텐츠는 많이 부족한 실정이다. 따라서, 3D 영상의 좌안 영상과 우안 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 많이 이용되고 있다. 3D 영상을 이용하여 멀티뷰 영상을 생성하기 위해서는 먼저 3D 영상의 좌안 영상과 우안 영상을 분석하여 디스패러티 맵(diparity map)을 산출하여야 한다. 디스패러티는 입체감을 형성하기 위해 좌안 영상과 우안 영상을 쉬프트시키기 위한 픽셀의 시차(또는 좌표차)를 의미한다. 디스패러티 맵을 획득하기 위해서는, 좌안 영상과 우안 영상 간의 스테레오 매칭을 통해 디스패러티를 구해야 한다.
도 1a는 제1 기준 영상이고 도 1b는 제1 기준 영상으로부터 획득된 디스패러티 맵의 일 예시도면이다. 그리고, 도 2a는 제2 기준 영상이고 도 2b는 제2 기준 영상으로부터 획득된 디스패러티 맵의 일 예시도면이다. 도 1b 및 도 2b의 디스패러티 맵에는 계조값(gray level value)으로 표현된 초기 디스패러티들이 포함되어 있다.
도 1b에서, 동그라미 쳐진 부분들은 도 1a의 기준 영상에서 입체감(depth)이 적은 평평한 영역들을 지시한다. 기존의 디스패러티 산출 방법에 의하는 경우, 이러한 부분들에서 디스패러티는 일정한 값으로 산출되지 못하고, 도 1b에 도시된 것처럼 해당 영역들 일부에서 디스패러티가 오 산출되게 된다.
도 2b에서, 동그라미 쳐진 부분들은 도 2a의 기준 영상에서 영상 정합(matching)이 잘 되지 않는 평평한 영역 등을 지시한다. 기존의 디스패러티 산출 방법에 의하는 경우, 이러한 부분들에서 디스패러티는 일정한 값으로 산출되지 못하고, 도 2b에 도시된 것처럼 해당 영역들 일부에서 오 산출되게 된다.
이와 같이, 종래의 디스패러티 산출 과정에서는 평평한 영역들에 노이즈가 많이 포함되게 된다. 이러한 평평한 영역들의 노이즈 성분은 후처리 과정을 거치더라도 정확히 보정되지 않아 스테레오 매칭의 정확도를 떨어뜨린다.
따라서, 본 발명의 목적은 평평한 영역들에서 스테레오 매칭의 정확도를 높이도록 한 입체영상 표시장치 및 그의 디스패러티 산출방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 입체영상 표시장치는 제N(N은 양의 정수) 라인에 표시될 제1 단안 영상 데이터와 상기 제1 단안 영상 데이터로부터 제1 범위 내에 위치한 제2 단안 영상 데이터의 차이를 지시하는 AD값을 산출하는 제1 코스트 산출부; 상기 제1 단안 데이터와 그의 주변 데이터 및 상기 제2 단안 영상 데이터와 그의 주변 데이터를 이용하여 센서스 값을 산출하는 제2 코스트 산출부; 상기 제N 라인에 이웃한 제N-1 라인에서 구해진 초기 디스패러티를 기반으로 평활도 값을 산출하는 제3 코스트 산출부; 상기 AD 값, 상기 센서스 값, 상기 평활도 값을 더하여 초기 매칭값을 산출하는 초기매칭값 산출부; 현재 픽셀의 초기 매칭값을 그 주변 영역의 초기 매칭값들과 합산하여 초기 매칭 합산값을 산출하는 초기매칭합산값 산출부; 및 상기 초기 매칭 합산값들 중에서 최소 변위를 현재 픽셀의 초기 디스패러티로 산출하는 초기 디스패러티 산출부를 구비한다.
그리고, 본 발명의 실시예에 따른 입체영상 표시장치의 디스패러티 산출방법은 제N(N은 양의 정수) 라인에 표시될 제1 단안 영상 데이터와 상기 제1 단안 영상 데이터로부터 제1 범위 내에 위치한 제2 단안 영상 데이터의 차이를 지시하는 AD값을 산출하는 단계; 상기 제1 단안 데이터와 그의 주변 데이터 및 상기 제2 단안 영상 데이터와 그의 주변 데이터를 이용하여 센서스 값을 산출하는 단계; 상기 제N 라인에 이웃한 제N-1 라인에서 구해진 초기 디스패러티를 기반으로 평활도 값을 산출하는 단계; 상기 AD 값, 상기 센서스 값, 상기 평활도 값을 더하여 초기 매칭값을 산출하는 단계; 현재 픽셀의 초기 매칭값을 그 주변 영역의 초기 매칭값들과 합산하여 초기 매칭 합산값을 산출하는 단계; 및 상기 초기 매칭 합산값들 중에서 최소 변위를 현재 픽셀의 초기 디스패러티로 산출하는 단계를 포함한다.
본 발명은 AD 값, 센서스 값 이외에 평활도 값을 더 고려하여 초기 매칭값을 산출하고, 이 초기 매칭값을 기반으로 하여 초기 디스패러티들을 산출함으로써, 평평한 영역들에 포함되는 노이즈의 양을 줄여 평평한 영역들에서 스테레오 매칭의 정확도를 높일 수 있다. 나아가, 본 발명은 신뢰도를 기반으로 초기 디스패러티를 더 보정함으로써 평평한 영역들에 포함되는 노이즈의 양을 더욱 줄여 평평한 영역들에서 스테레오 매칭의 정확도를 더욱 높일 수 있다.
도 1a 및 도 1b는 각각 제1 기준 영상 및 제1 기준 영상으로부터 획득된 디스패러티 맵의 일 예를 보여주는 도면.
도 2a 및 도 2b는 각각 제2 기준 영상 및 제2 기준 영상으로부터 획득된 디스패러티 맵의 일 예를 보여주는 도면.
도 3은 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도.
도 4는 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면.
도 5는 도 3의 영상 처리회로를 상세히 보여주는 블록도.
도 6은 본 발명의 실시 예에 따른 좌안 영상 데이터, 우안 영상 데이터 및 뷰 영상 데이터를 보여주는 일 예시도면.
도 7은 도 5의 디스패러티 산출기를 상세히 보여주는 블록도.
도 8은 디스패러티 산출기의 디스패러티 산출방법을 상세히 보여주는 흐름도.
도 9는 초기 디스패러티 생성부를 상세히 보여주는 블록도.
도 10은 초기 디스패러티 생성부의 초기 디스패러티 생성방법을 상세히 보여주는 흐름도.
도 11은 제1 코스트 산출부의 동작을 보여주는 도면.
도 12는 제2 코스트 산출부의 동작을 보여주는 도면.
도 13a 내지 도 14는 제3 코스트 산출부의 동작을 보여주는 도면들.
도 15는 합산커널 구성부의 동작을 보여주는 도면.
도 16은 초기매칭합산값 산출부의 동작을 보여주는 도면.
도 17은 초기 디스패러티 산출부의 동작을 보여주는 도면.
도 18a 내지 도 18c는 초기 디스패러티 보정부의 동작을 보여주는 도면들.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
도 3은 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다. 도 3을 참조하면, 본 발명의 실시 예에 따른 입체영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상 처리회로(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 입체영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.
표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 액정셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 화소들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 표시패널(10)의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.
표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.
멀티뷰 영상은 제1 내지 제k(k는 3 이상의 자연수) 뷰 영상들을 포함한다. 멀티뷰 영상은 일반인의 양안 간격만큼 k 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 광학판(30)은 표시패널(10) 상에 배치되어 표시패널(10)의 화소들에 표시되는 제1 내지 제k 뷰 영상들을 제1 내지 제k 뷰 영역들로 진행시킨다. 제1 내지 제k 뷰 영상들은 제1 내지 제k 뷰 영역들과 일대일로 매칭된다. 즉, 광학판(30)은 화소들에 표시되는 제t(t는 1≤t≤k을 만족하는 자연수) 뷰 영상을 제t 뷰 영역으로 진행시킨다. 본 발명의 실시 예에 따른 입체영상 표시장치의 광학판(30)은 패럴렉스 배리어(parallax barrier), 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등 어떠한 형태로도 구현될 수 있다. 한편, 광학판(30)이 스위쳐블 배리어 또는 스위쳐블 렌즈로 구현되는 경우, 광학판(30)을 구동하기 위한 광학판 구동회로가 필요하다. 광학판 구동회로는 광학판(30)에 구동전압을 공급함으로써 스위쳐블 배리어 또는 스위쳐블 렌즈의 광분리 동작을 온-오프시킬 수 있다. 이하에서, 도 4를 참조하여 광학판(30)을 이용한 입체영상 구현방법을 상세히 살펴본다.
도 4는 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면이다. 도 4에서는 설명의 편의를 위해 표시패널(10)이 4 개의 뷰 영상들(V1, V2, V3, V4)을 표시하고, 광학판(30)이 표시패널(10)에 표시된 4 개의 뷰 영상들(V1, V2, V3, V4)을 4 개의 뷰 영역들(VP1, VP2, VP3, VP4)로 진행시키는 것을 중심으로 설명하였다. 도 4에서 광학판(30)은 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 본 발명의 실시 예에 따른 광학판(30)은 패럴렉스 배리어, 스위쳐블 배리어, 스위쳐블 렌즈 등 어떠한 형태로도 구현될 수 있음에 유의하여야 한다.
도 4를 참조하면, 광학판(30)은 화소들에 표시되는 제1 뷰 영상(V1)을 제1 뷰 영역(VP1)으로 진행시키고, 화소들에 표시되는 제2 뷰 영상(V2)을 제2 뷰 영역(VP2)으로 진행시키며, 화소들에 표시되는 제3 뷰 영상(V3)을 제3 뷰 영역(VP3)으로 진행시키고, 화소들에 표시되는 제4 뷰 영상(V4)을 제4 뷰 영역(VP4)으로 진행시킨다. 사용자의 좌안이 제t 뷰 영역(VPt)에 위치하고, 우안이 제t-1 뷰 영역(VPt-1)에 위치하는 경우, 사용자는 좌안으로 제t 뷰 영상(Vt)을 시청하고, 우안으로 제t-1 뷰 영상(Vt-1)을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다. 예를 들어, 도 3과 같이 사용자의 좌안이 제2 뷰 영역(VP2)에 위치하고 우안이 제1 뷰 영역(VP1)에 위치하는 경우, 사용자는 좌안으로 제2 뷰 영상(V2)을 시청하고 우안으로 제1 뷰 영상(V1)을 시청할 수 있으므로, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다.
데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 멀티뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.
게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다. 게이트 드라이브 집적회로는 GIP(Gate driver In Panel) 방식에 따라 표시패널(10)의 하부기판에 직접 형성될 수 있다.
타이밍 콘트롤러(130)는 영상 처리회로(140)로부터 멀티뷰 영상 데이터(MVD)와 타이밍 신호들 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다.
타이밍 콘트롤러(130)는 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 멀티뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.
호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 3D 영상 데이터(RGB3D)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스 회로를 통해 3D 영상 데이터(RGB3D)와 타이밍 신호들을 영상 처리회로(140)에 공급한다.
영상 처리회로(140)는 호스트 시스템(150)으로부터 입력받은 3D 영상 데이터(RGB3D)로부터 멀티뷰 영상 데이터(MVD)를 생성하여 타이밍 콘트롤러(130)로 출력한다. 3D 영상 데이터(RGB3D)는 제1 단안(單眼) 영상 데이터와 제2 단안 영상 데이터(또는 2 개의 뷰 영상 데이터)를 포함한다. 이하에서는 설명의 편의를 위해 제1 단안 영상 데이터가 좌안 영상 데이터이고, 제2 단안 영상 데이터가 우안 영상 데이터인 것을 예로 하여 설명한다.
결국, 본 발명의 실시 예에 따른 입체영상 표시장치는 3D 영상 데이터(RGB3D)가 입력되더라도, 영상 처리회로(140)를 이용하여 멀티뷰 영상 데이터(MVD)를 생성함으로써, 표시패널(10)에 멀티뷰 영상을 표시할 수 있다. 그 결과, 본 발명의 실시 예에 따른 입체영상 표시장치는 입체영상의 품질을 높일 수 있다. 이하에서, 도 5 및 도 6을 참조하여 영상 처리회로(140)의 멀티뷰 영상 데이터(MVD) 생성방법에 대하여 상세히 설명한다.
도 5는 도 3의 영상 처리회로(140)를 상세히 보여주는 블록도이다. 도 6은 본 발명의 실시 예에 따른 좌안 영상 데이터, 우안 영상 데이터 및 뷰 영상 데이터를 보여주는 일 예시도면이다.
도 5를 참조하면, 영상 처리회로(140)는 디스패러티 산출기(200)와 멀티뷰 영상 생성기(300)를 포함한다.
도 5 및 도 6을 참조하면, 디스패러티 산출기(200)는 3D 영상 데이터(RGB3D)의 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 이용하여 디스패러티(disparity)들(DIS)을 산출하여 출력한다. 디스패러티(DIS)는 입체감을 형성하기 위해 좌안 영상 데이터(RGBL) 또는 우안 영상 데이터(RGBR)을 쉬프트시키기 위한 값을 의미한다. 디스패러티 산출기(200)의 구체적 구성과 그의 디스패러티 산출방법에 대한 자세한 설명은 도 7 및 도 8을 결부하여 후술한다.
멀티뷰 영상 생성기(300)는 디스패러티 산출기(200)에 의해 산출된 디스패러티들(DIS)에 따라 좌안 영상 데이터(RGBL) 또는 우안 영상 데이터(RGBR)를 쉬프트시켜 멀티뷰 영상 데이터(MVD)를 생성한다. 구체적으로, 멀티뷰 영상 생성기(300)는 도 6과 같이 좌안 영상 데이터(RGBL)를 제1 뷰 영상 데이터(V1)로 설정하고, 우안 영상 데이터(RGBR)를 제k 뷰 영상 데이터(Vk)로 설정하며, 디스패러티들(DIS)을 이용하여 좌안 영상 데이터(RGBL) 또는 우안 영상 데이터(RGBR)를 쉬프트시키며 제2 내지 제k-1 뷰 영상 데이터(V2~Vk-1)를 생성함으로써, k 개의 뷰 영상 데이터를 포함하는 멀티뷰 영상 데이터(MVD)를 생성할 수 있다. 예를 들어, 제t 뷰 영상 데이터(Vt)는 좌안 영상 데이터(RGBL)를 디스패러티들(DIS)에 (t/k-1)를 곱한 값만큼 제1 수평 방향으로 쉬프트시킴으로써 생성될 수 있다.
멀티뷰 영상 생성기(300)의 멀티뷰 영상 생성방법은 공지의 어떠한 방법도 적용될 수 있다. 또한, 멀티뷰 영상 생성기(300)는 3D 포맷터를 이용하여 멀티뷰 영상 데이터(MVD)를 표시패널(10)의 3D 표시 배열에 맞게 배열한 후 타이밍 콘트롤러(130)로 출력할 수 있다.
도 7은 도 5의 디스패러티 산출기(200)를 상세히 보여주는 블록도이다. 도 8은 디스패러티 산출기(200)의 디스패러티 산출방법을 상세히 보여주는 흐름도이다.
도 7을 참조하면, 디스패러티 산출기(200)는 게인 값 생성부(210), 초기 디스패러티 생성부(220) 및 후처리부(230)를 포함한다. 이하에서, 도 7 및 도 8을 결부하여 본 발명의 실시 예에 따른 디스패러티 산출부의 디스패러티 산출방법을 상세히 설명한다.
게인 값 생성부(210)는 제N 프레임의 디스패러티들, 좌안 영상 데이터 및 우안 영상 데이터를 분석하여 제N 프레임의 게인 값(G)을 산출한다. 게인 값 생성부(210)는 게인 값(G)을 저장하기 위한 메모리를 포함할 수 있다. 메모리에는 제N-1 프레임에 산출된 게인 값(G)이 저장되어 있다. 게인 값 생성부(210)는 제N 프레임 동안 제N-1 프레임에 산출된 게인 값을 초기 디스패러티 생성부(220)로 출력하고, 제N 프레임에 산출된 게인 값(G)을 메모리에 저장할 수 있다.(S201)
초기 디스패러티 생성부(220)는 게인 값 생성부(210)으로부터 게인 값(G)을 입력받고, 호스트 시스템(150)으로부터 제N 프레임의 좌안 영상 데이터(RGBL)과 우안 영상 데이터(RGBR)를 포함하는 3D 영상 데이터(RGB3D)를 입력받는다. 초기 디스패러티 생성부(220)는 게인 값(G)과 제N 프레임의 좌안 영상 데이터(RGBL)과 우안 영상 데이터(RGBR)를 이용하여 초기 디스패러티들(IDIS)을 산출한다.(S202)
초기 디스패러티 생성부(220)는 도 9 및 도 10과 같이 새로운 방식에 따라 초기 매칭값을 산출하고, 이 초기 매칭값을 기반으로 하여 초기 디스패러티들(IDIS)을 산출함으로써, 평평한 영역들에 포함되는 노이즈의 양을 줄여 평평한 영역들에서 스테레오 매칭의 정확도를 높일 수 있다. 나아가, 초기 디스패러티 생성부(220)는 도 9 및 도 10과 같이 산출된 초기 디스패러티(IDIS)에 대한 보정 과정을 더 수행함으로써, 평평한 영역들에 포함되는 노이즈의 양을 더욱 줄여 평평한 영역들에서 스테레오 매칭의 정확도를 더욱 높일 수 있다. 초기 디스패러티 생성부(220)의 초기 디스패러티들(IDIS) 생성방법에 대한 자세한 설명은 도 9 내지 도 18c를 결부하여 후술한다.
후처리부(230)는 초기 디스패러티들(IDIS)을 후처리하여 디스패러티들(DIS)을 산출한다. 후처리부(230)는 메디안 필터(median filter), 가중치 메디안 필터(weighted median filter), 가중치 최빈값 필터(weighted voting filter) 등 여러가지 필터들 중 어느 하나를 사용하여 초기 디스패러티들(IDIS)을 후처리할 수 있다. 메디안 필터는 마스크의 중심 좌표에서의 데이터를 마스크 내 데이터들의 중앙값으로 변환하는 필터이다. 가중치 메디안 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 배열한 후 중앙값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 중앙값으로 변환하는 필터이다. 가중치 최빈값 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 히스토그램 작성 후 최빈값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 최빈값으로 변환하는 필터이다. 후처리부(230)는 후처리된 디스패러티들(DIS)을 멀티뷰 영상 생성기(300)로 출력한다.(S203)
도 9는 초기 디스패러티 생성부(220)를 상세히 보여주는 블록도이다. 도 10은 초기 디스패러티 생성부(220)의 초기 디스패러티 생성방법을 상세히 보여주는 흐름도이다. 도 11 내지 도 18c는 초기 디스패러티 생성방법을 구체적으로 설명하기 위한 도면들이다.
도 9를 참조하면, 초기 디스패러티 생성부(220)는 제1 코스트 산출부(221), 제2 코스트 산출부(222), 제3 코스트 산출부(223), 라인 메모리(224), 초기매칭값 산출부(225), 합산커널 구성부(226), 초기매칭합산값 산출부(227), 초기디스패러티 산출부(228), 초기디스패러티 보정부(229)를 포함한다. 이하에서, 도 10 및 도 11을 결부하여 초기 디스패러티 생성부(220)의 초기 디스패러티 생성방법을 상세히 살펴본다.
한편, 초기 디스패러티 생성부(220)는 좌안 영상 데이터와 우안 영상 데이터 중 어느 하나를 기준 영상 데이터로 설정하고, 나머지 하나를 비교 영상 데이터로 설정하여 초기 디스패러티(IDIS)를 생성할 수 있다. 본 발명의 실시 예에서는 좌안 영상 데이터가 기준 영상 데이터이고, 우안 영상 데이터가 비교 영상 데이터인 것을 중심으로 설명하였음에 주의하여야 한다.
제1 코스트 산출부(221)는 호스트 시스템(150)으로부터 제N 프레임의 3D 영상 데이터(RGB3D)를 입력받는다. 제N 프레임의 3D 영상 데이터(RGB3D)는 좌측 영상(IL) 구현을 위한 좌안 영상 데이터(RGBL)와 우측 영상(IR) 구현을 위한 우안 영상 데이터(RGBR)를 포함한다. 제1 코스트 산출부(221)는 제N 프레임의 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 분석하여 AD 값을 산출한다. AD 값은 좌안 영상 데이터(RGBL)와 그 좌안 영상 데이터(RGBL)로부터 제1 범위 내에 위치한 우안 영상 데이터(RGBR)의 차이를 의미한다.
제1 코스트 산출부(221)는 기준 영상 데이터인 좌안 영상 데이터에 중심 좌표를 설정한다. 예를 들어, 제1 코스트 산출부(221)는 도 11과 같이 (x,y) 좌표를 중심 좌표로 설정할 수 있다. 이 경우, AD 값 산출부(221)는 수학식 1과 같이 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))와 (x-d,y) 좌표에서의 우안 영상 데이터(RGBR(x-d,y))의 차이의 절대값을 (x,y,d)에 해당하는 AD 값(Cad(x,y,d))으로 산출한다. d은 0 내지 dmax 값을 가진다.
Figure pat00001
예를 들어, 제1 코스트 산출부(221)는 dmax가 60이라면, (x,y) 좌표에서의 좌안 영상 데이터와 (x,y) 좌표 내지 (x-60,y) 좌표에서의 우안 영상 데이터 각각의 차이를 (x,y,0) 내지 (x,y,60)에 해당하는 AD 값(Cad(x,y,0)~Cad(x,y,60))으로 산출한다. (S221)
한편, 제2 코스트 산출부(222)는 호스트 시스템(150)으로부터 제N 프레임의 3D 영상 데이터(RGB3D)를 입력받는다. 제2 코스트 산출부(222)는 제N 프레임의 좌안 영상 데이터와 그의 주변 데이터 및 우안 영상 데이터와 그의 주변 데이터를 이용하여 센서스 값(Ccen)을 산출한다.
구체적으로, 제2 코스트 산출부(222)는 도 12와 같이 (x,y) 좌표에서의 좌안 영상 데이터를 중심 좌표(CC)로 제1 센서스 윈도우(CW1)를 설정한다. 도 12에서는 제1 센서스 윈도우(CW1)가 3×3 크기로 구현된 것을 중심으로 설명하였으나, 이에 한정되지 않으며, p×q(p, q는 자연수) 크기로 구현될 수 있다. 제2 코스트 산출부(222)는 제1 센서스 윈도우(CW1) 내에서 어느 한 좌표에서의 좌안 영상 데이터가 중심 좌표(CC)에서의 좌안 영상 데이터보다 크거나 같은 경우 제1 값을 그 좌표의 값으로 할당하고, 그보다 작은 경우 제2 값을 그 좌표의 값으로 할당하는 센서스 변환을 수행한다. 제1 값은 "1"이고, 제2 값은 "0"일 수 있다. 예를 들어, 도 12와 같이 제1 센서스 윈도우(CW1) 내에서 어느 한 좌표의 좌안 영상 데이터가 중심 좌표(CC)에서의 좌안 영상 데이터인 "85"보다 크거나 같은 경우 그 좌표의 값으로 "1"을 할당하고, "85"보다 작은 경우 그 좌표의 값으로 "0"을 할당할 수 있다.
제2 코스트 산출부(222)는 (x-d,y) 좌표에서의 우안 영상 데이터를 중심 좌표(CC)로 제2 센서스 윈도우(CW2)를 설정한다. 도 12에서는 제2 센서스 윈도우(CW1)가 3×3 크기로 구현된 것을 중심으로 설명하였으나, 이에 한정되지 않으며, p×q 크기로 구현될 수 있다. 제2 코스트 산출부(222)는 제2 센서스 윈도우(CW2) 내에서 어느 한 좌표에서의 우안 영상 데이터가 중심 좌표에서의 우안 영상 데이터보다 크거나 같은 경우 제1 값을 그 좌표의 값으로 할당하고, 그보다 작은 경우 제2 값을 그 좌표의 값으로 할당하는 센서스 변환을 수행한다. 제1 값은 "1"이고, 제2 값은 "0"일 수 있다. 예를 들어, 도 12와 같이 제2 센서스 윈도우(CW2) 내에서 어느 한 좌표의 우안 영상 데이터가 중심 좌표에서의 우안 영상 데이터인 "30"보다 크거나 같은 경우 그 좌표의 값으로 "1"을 할당하고, "30"보다 작은 경우 그 좌표의 값으로 "0"을 할당할 수 있다.
제2 코스트 산출부(222)는 도 12와 같이 제1 센서스 윈도우(CW1) 내 센서스 변환된 값들을 제1 비트 열(bit string)(BS1)로 만들고 제2 센서스 윈도우(CW2) 내 센서스 변환된 값들을 제2 비트 열(BS2)로 만든 후, 배타적 논리합(Exclusive OR, XOR) 연산하여 제3 비트 열(BS3)을 만든다. 제2 코스트 산출부(222)는 제3 비트 열(BS3)의 비트 값들을 합산하여 (x,y,d)에 해당하는 센서스 값(Ccen(x,y,d))을 산출한다. 도 12에서는 (x,y,d)에 해당하는 센서스 값(Ccen(x,y,r))은 "2"로 산출될 수 있다. 한편, (x,y,d)에 해당하는 센서스 값(Ccen(x,y,d))은 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))를 중심 좌표로 설정하고, (x-d,y) 좌표에서의 우안 영상 데이터(RGBR(x-d,y))를 중심 좌표로 설정하여 산출된 센서스 값을 의미한다. (S221)
이어서, 제3 코스트 산출부(223)는 평평한 영역들에서 스테레오 매칭의 정확도를 높이기 위해 이전단 라인에서 구해진 초기 디스패러티(IDIS) 값을 이용하여 평활도 값(smoothness value, Cs)을 산출한다. 도 13a와 같이 물체의 에지 영역에서는 위에서 산출된 AD 값(Cad)과 센서스 값(Ccen)을 기반으로 그 값이 최저가 되는 초기 디스패러티(IDIS)를 산출하는 것이 용이하다. 하지만, 도 13b와 같이 물체의 내부 등의 평평한 영역에서는 위에서 산출된 AD 값(Cad)과 센서스 값(Ccen)을 기반으로 초기 디스패러티(IDIS)를 산출하면, 종래와 같은 오 산출 문제로 노이즈가 심해진다. 도 13c에 도시된 바와 같이 에지 영역에서는 AD 값(Cad)과 센서스 값(Ccen) 만으로도 초기 디스패러티(IDIS)를 비교적 정확히 산출할 수 있지만, 평평한 영역에서는 AD 값(Cad)과 센서스 값(Ccen) 만으로는 초기 디스패러티(IDIS)를 정확히 산출하기 불가능하다.
제3 코스트 산출부(223)는 라인 메모리(224)에 저장된 이전단 라인(즉, 윗 라인, 제N-1 라인)의 초기 디스패러티(IDIS)를 입력받고, 아래의 수학식 2에서와 같이 이전단 라인의 초기 디스패러티(IDIS)와 현재단 라인(제N 라인, N은 양의 정수)의 초기 디스패러티(IDIS) 간의 차이로 평활도 값(Cs)을 산출한다.
Figure pat00002
수학식 2에서, Cs(x,y,d)는 현재단의 (x,y,d)에 해당하는 평활도 값(Cs)을 나타내고, Dini(x,y-1)은 (x,y) 좌표에 위로 이웃한 이전단 라인의 (x,y-1) 좌표에서의 초기 디스패러티(IDIS)를 나타내며, d는 현재단 라인의 초기 디스패러티(IDIS)를 나타낸다. Csmax는 미리 설정된 최대 평활도 값(Cs)을 나타낸다.
본 발명은 제3 코스트 산출부(223)에 의해 산출되는 평활도 값(Cs)을 이용하여 평평한 영역에 대한 초기 디스패러티(IDIS)-코스트 곡선을 도 14와 같이 만들어 줌으로써, 평평한 영역에서 초기 디스패러티(IDIS)를 정확히 산출한다.(S222)
이어서, 초기매칭값 산출부(225)는 제1 코스트 산출부(221)로부터 AD 값(Cad)을 입력받고, 제2 코스트 산출부(222)로부터 센서스 값(Ccen)을 입력받으며, 제3 코스트 산출부(223)로부터 평활도 값(Cs)을 입력 받는다. 초기매칭값 산출부(225)는 게인 값 생성부(210)로부터 입력되는 게인 값(G)을 AD 값(Cad)과 센서스 값(Ccen)과 평활도 값(Cs)에 적용하여 초기 매칭 값(Cx)을 산출한다. 구체적으로 초기매칭값 산출부(225)는 아래의 수학식 3과 같이 게인 값(G)이 적용된 AD 값(Cad)과 센서스 값(Ccen)과 평활도 값(Cs)을 서로 더하여 초기 매칭 값(Cx(x,y,d))을 산출한다.
Figure pat00003
초기 매칭 값(Cx) 산출시 게인 값(G)은 영상의 에지 정도에 따라 조절될 수 있다. 이를 위해, 게인 값 생성부(210)는 초기 매칭 값(Cx) 산출을 위해 3개의 코스트들(Cad,Ccen,Cs)을 서로 합 할때, 영상의 특성에 따라 게인값들(λad,λcen,λs)을 조절하여 정합 영상의 성능을 향상시킬 수 있다. 게인 값 생성부(210)는 영상이 에지 또는 복잡한 부분을 많이 포함할수록 λcen을 상대적으로 높여 초기 매칭 값(Cx(x,y,d))에서 차지하는 센서스 값(Ccen)의 비중을 높이고, 그 반대의 경우(즉, 영상이 평평한 부분을 많이 포함할수록) λs를 상대적으로 높여 초기 매칭 값(Cx(x,y,d))에서 차지하는 평활도 값(Cs)의 비중을 높일 수 있다. 이를 수식으로 나타내면 아래의 수학식 4와 같다. λad는 0과 1 사이에서 사용자에 의해 미리 선택될 수 있다.
Figure pat00004
게인값들(λad,λcen,λs)의 합은 1이며, 영상의 변화가 클수록 센서스 값(Ccen)의 비중이 커지고, 영상의 변화가 작을수록 평활도 값(Cs)의 비중이 커진다.(S223)
합산커널 구성부(226)는 어댑티브 쉐이프 커널(adaptive shape kernel)을 구성한다. 어댑티브 쉐이프 커널은 해당 픽셀과 이웃 픽셀 간 색차이가 일정 수준을 넘지 않는 픽셀로 구성되어, 초기 매칭값 합산 과정에서 같은 사물에 대한 초기 매칭값들만을 합하게 해 준다. 예컨대, 어댑티브 쉐이프 커널은 도 15와 같이 구성될 수 있다. 어댑티브 쉐이프 커널을 구성하는 방법은 첫째, 서로 다른 픽셀들에 대해 Vx-와 Vx+을 따라 수직 방향으로 서치하고, 둘째, Vx-와 Vx+사이의 모든 픽셀들로부터 출발하여 서로 다른 픽셀들에 대해 hq-와 hq+을 따라 수평 방향으로 서치하며, 셋째, 서치 과정에서 이웃하게 배치된 유사 픽셀들을 통합함으로써 "Np"를 구성한다. 여기서, "Np"는 합산을 위한 픽셀의 주변 영역을 지시한다.
초기매칭합산값 산출부(227)는 초기매칭값 산출부(223)로부터 초기 매칭값(Cx)을 입력받고, 합산커널 구성부(226)로부터 합산을 위한 주변 영역(Np)을 입력받는다. 초기매칭합산값 산출부(227)는 현재 픽셀의 초기 매칭 값(Cx)을 그 주변 영역(Np)의 초기 매칭 값들과 합산하여 초기 매칭 합산값(Ex)을 산출한다. 일반적으로 영상은 비슷한 색이 연속적으로 존재하기 때문에 두 픽셀의 색 차이만을 이용하는 초기 매칭 값만으로는 대응점을 찾기 힘들다. 따라서, 현재 픽셀과 주변 픽셀을 함께 이용하여 매칭을 수행하는 것이 효과적이다. 이를 위하여 주변 픽셀의 초기 매칭 값들의 합이 적은 디스패리티를 선택하는 것으로 대응점을 찾을 수 있다.
구체적으로, 초기매칭합산값 산출부(227)는 도 16과 같이 (p(x,y),d)에 해당하는 초기 매칭 값(Cx(x,y))을 중심 좌표로 마스크를 설정하고, 마스크 내 좌표들 각각의 초기 매칭 값들을 합산하여 (p(x,y),d)에서의 초기 매칭 합산 값(Ex(x,y,d))를 산출한다. 마스크는 i×j(i,j는 2 이상의 자연수) 개의 초기 매칭 값들을 포함하도록 구현될 수 있다.(S224)
이어서, 초기디스패러티 산출부(228)는 초기매칭합산값 산출부(227)로부터 초기 매칭 합산 값들(Ex)을 입력받는다. 초기디스패러티 산출부(228)는 초기 매칭 합산 값들(Ex)을 분석하여 초기 디스패러티(IDIS)를 산출한다.
구체적으로, 초기 디스패러티 산출부(228)는 도 17과 같이 (x,y,d) 내지 (x,y,dmax)에 해당하는 초기 매칭 합산 값들(Ex(x,y,0)~Ex(x,y,dmax)) 중에서 최소값을 갖는 초기 매칭 합산 값의 변위 d를 p(x,y) 좌표에서의 초기 디스패러티(IDIS(x,y))로 산출한다. 예를 들어, 초기 디스패러티 산출부(228)는 (x,y,d) 내지 (x,y,dmax)에 해당하는 초기 매칭 합산 값들(Ex(x,y,0)~Ex(x,y,dmax)) 중에서 (x,y,10)에 해당하는 초기 매칭 합산 값이 최소값을 갖는 경우, "10"을 (x,y) 좌표에서의 초기 디스패러티(IDIS(x,y))로 산출할 수 있다. (S225)
본 발명은 평평한 영역들에 포함되는 노이즈의 양을 더욱 줄여 평평한 영역들에서 스테레오 매칭의 정확도를 더욱 높이기 위해 초기 디스패러티(IDIS)를 보정하는 초기디스패러티 보정부(229)를 더 포함할 수 있다.
이러한, 초기디스패러티 보정부(229)는 영상을 다수의 블록들로 분할하고, 현재 픽셀에 대한 초기 디스패러티(IDIS)의 신뢰도 레벨을 계산한 후, 상기 계산된 현재 픽셀의 신뢰도 레벨이 제1 기준치보다 낮은 경우, 현재 픽셀이 포함된 블록에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들(IDIS)의 제1 평균값을 구한다. 그리고, 초기디스패러티 보정부(229)는 상기 제1 평균값을 지시하는 제1 평균 초기 디스패러티로 현재 픽셀의 초기 디스패러티를 치환할 수 있다. 한편, 현재 픽셀이 포함된 블록에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들(IDIS)의 개수가 제2 기준치보다 작은 경우, 전체 영상에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들(IDIS)의 제2 평균값을 구한다. 그리고, 초기디스패러티 보정부(229)는 상기 제2 평균값을 지시하는 제2 평균 초기 디스패러티로 현재 픽셀의 초기 디스패러티를 치환할 수도 있다.
이를 위해, 초기디스패러티 보정부(229)는 초기디스패러티 산출부(228)로부터 입력되는 초기 디스패러티들(IDIS)의 신뢰도를 계산한다. 구체적으로, 초기디스패러티 보정부(229)는 좌안 영상 데이터에 대한 초기 디스패러티와 우안 영상 데이터에 대한 초기 디스패러티 간의 차이를 이용하여 각 픽셀의 신뢰도 레벨을 산출한다. 상기 좌안 및 우안의 초기 디스패러티들 간의 차이가 작을수록 디스패러티의 신뢰도 레벨은 높다. 초기디스패러티 보정부(229)는 모든 위치에서 초기 디스패러티들의 신뢰도를 산출하여 신뢰도 맵을 작성할 수 있다. 이러한 신뢰도 맵은 18a에 도시되어 있다. 도 18a를 참조하면, 신뢰도 맵에는 계조값으로 표현된 디스패러티들의 신뢰도들이 나타나 있다. 계조값이 높을수록 신뢰도가 높은 것을 의미하고, 계조값이 낮을수록 신뢰도가 낮은 것을 의미한다. 초기디스패러티 보정부(229)는 영상을 도 18b에서와 같이 n×m 개의 블록들로 분할(도 18c에는 4×4 개의 블록들이 예시되어 있음)하고, 현재 픽셀의 신뢰도 레벨을 미리 설정된 제1 기준치와 비교한다.
초기디스패러티 보정부(229)는 현재 픽셀에 대한 초기 디스패러티의 신뢰도 레벨이 제1 기준치보다 낮은 경우에는, 그 대신에 상기와 같이 제1 평균 초기 디스패러티 또는 제2 평균 초기 디스패러티를 현재 픽셀에 대한 초기 디스패러티로 출력할 수 있다.
한편, 초기디스패러티 보정부(229)는 현재 픽셀에 대한 초기 디스패러티의 신뢰도 레벨이 제1 기준치 이상인 경우에는, 이 현재 픽셀에 대한 초기 디스패러티를 그대로 출력한다.(S226)
이상에서 살펴본 바와 같이, 본 발명은 AD 값, 센서스 값 이외에 평활도 값을 더 고려하여 초기 매칭값을 산출하고, 이 초기 매칭값을 기반으로 하여 초기 디스패러티들을 산출함으로써, 평평한 영역들에 포함되는 노이즈의 양을 줄여 평평한 영역들에서 스테레오 매칭의 정확도를 높일 수 있다. 나아가, 본 발명은 신뢰도를 기반으로 초기 디스패러티를 더 보정함으로써 평평한 영역들에 포함되는 노이즈의 양을 더욱 줄여 평평한 영역들에서 스테레오 매칭의 정확도를 더욱 높일 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리회로
150: 호스트 시스템 200: 디스패러티 산출기
210: 게인값 생성부 220: 초기 디스패러티 생성부
221: 제1 코스트 산출부 222: 제2 코스트 산출부
223: 제3 코스트 산출부 224: 라인 메모리
225: 초기매칭값 산출부 226: 합산커널 구성부
227: 초기매칭합산값 산출부 228: 초기디스패러티 산출부
229: 초기디스패러티 보정부 230: 후처리부
300: 멀티뷰 영상 생성기

Claims (14)

  1. 제N(N은 양의 정수) 라인에 표시될 제1 단안 영상 데이터와 상기 제1 단안 영상 데이터로부터 제1 범위 내에 위치한 제2 단안 영상 데이터의 차이를 지시하는 AD값을 산출하는 제1 코스트 산출부;
    상기 제1 단안 데이터와 그의 주변 데이터 및 상기 제2 단안 영상 데이터와 그의 주변 데이터를 이용하여 센서스 값을 산출하는 제2 코스트 산출부;
    상기 제N 라인에 이웃한 제N-1 라인에서 구해진 초기 디스패러티를 기반으로 평활도 값을 산출하는 제3 코스트 산출부;
    상기 AD 값, 상기 센서스 값, 상기 평활도 값을 더하여 초기 매칭값을 산출하는 초기매칭값 산출부;
    현재 픽셀의 초기 매칭값을 그 주변 영역의 초기 매칭값들과 합산하여 초기 매칭 합산값을 산출하는 초기매칭합산값 산출부; 및
    상기 초기 매칭 합산값들 중에서 최소 변위를 현재 픽셀의 초기 디스패러티로 산출하는 초기 디스패러티 산출부를 구비하는 것을 특징으로 하는 입체영상 표시장치.
  2. 제 1 항에 있어서,
    상기 평활도 값은, 상기 제N-1 라인에서 구해진 상기 현재 픽셀에 이웃한 이웃 픽셀의 초기 디스패러티와 상기 현재 픽셀의 초기 디스패러티 간의 차이를 의미하는 것을 특징으로 하는 입체영상 표시장치.
  3. 제 1 항에 있어서,
    상기 제3 코스트 산출부는 제1 게인 값이 적용된 상기 AD 값, 제2 게인 값이 적용된 상기 센서스 값, 및 제3 게인 값이 적용된 상기 평활도 값을 서로 더하여 상기 초기 매칭 값을 산출하며;
    상기 제1 내지 제3 게인 값은 입력 영상의 에지 정도에 따라 다르게 조절되는 것을 특징으로 하는 입체영상 표시장치.
  4. 제 3 항에 있어서,
    상기 입력 영상이 에지 또는 복잡한 부분을 많이 포함할수록 상기 제2 게인 값이 높아지는 데 반해, 상기 제3 게인 값은 낮아지고;
    상기 입력 영상이 평평한 부분을 많이 포함할수록 상기 제2 게인 값이 낮아지는 데 반해, 상기 제3 게인 값은 높아지는 것을 특징으로 하는 입체영상 표시장치.
  5. 제 1 항에 있어서,
    신뢰도 레벨을 기반으로 상기 현재 픽셀의 초기 디스패러티를 보정하는 초기디스패러티 보정부를 더 구비하는 것을 특징으로 하는 입체영상 표시장치.
  6. 제 5 항에 있어서,
    상기 초기디스패러티 보정부는,
    상기 입력영상을 다수의 블록들로 분할하고, 상기 현재 픽셀에 대한 상기 초기 디스패러티의 신뢰도 레벨을 계산한 후, 상기 계산된 현재 픽셀의 신뢰도 레벨이 제1 기준치보다 낮은 경우, 상기 현재 픽셀이 포함된 블록에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들의 제1 평균값을 구하고, 상기 제1 평균값을 지시하는 제1 평균 초기 디스패러티로 상기 현재 픽셀의 초기 디스패러티를 치환하는 것을 특징으로 하는 입체영상 표시장치.
  7. 제 5 항에 있어서,
    상기 초기디스패러티 보정부는,
    상기 입력영상을 다수의 블록들로 분할하고, 상기 현재 픽셀에 대한 상기 초기 디스패러티의 신뢰도 레벨을 계산한 후, 상기 현재 픽셀이 포함된 블록에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들의 개수가 제2 기준치보다 작은 경우, 전체 영상에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들의 제2 평균값을 구하고, 상기 제2 평균값을 지시하는 제2 평균 초기 디스패러티로 상기 현재 픽셀의 초기 디스패러티를 치환하는 것을 특징으로 하는 입체영상 표시장치.
  8. 제N(N은 양의 정수) 라인에 표시될 제1 단안 영상 데이터와 상기 제1 단안 영상 데이터로부터 제1 범위 내에 위치한 제2 단안 영상 데이터의 차이를 지시하는 AD값을 산출하는 단계;
    상기 제1 단안 데이터와 그의 주변 데이터 및 상기 제2 단안 영상 데이터와 그의 주변 데이터를 이용하여 센서스 값을 산출하는 단계;
    상기 제N 라인에 이웃한 제N-1 라인에서 구해진 초기 디스패러티를 기반으로 평활도 값을 산출하는 단계;
    상기 AD 값, 상기 센서스 값, 상기 평활도 값을 더하여 초기 매칭값을 산출하는 단계;
    현재 픽셀의 초기 매칭값을 그 주변 영역의 초기 매칭값들과 합산하여 초기 매칭 합산값을 산출하는 단계; 및
    상기 초기 매칭 합산값들 중에서 최소 변위를 현재 픽셀의 초기 디스패러티로 산출하는 단계를 포함하는 것을 특징으로 하는 입체영상 표시장치의 디스패러티 산출방법.
  9. 제 8 항에 있어서,
    상기 평활도 값은, 상기 제N-1 라인에서 구해진 상기 현재 픽셀에 이웃한 이웃 픽셀의 초기 디스패러티와 상기 현재 픽셀의 초기 디스패러티 간의 차이를 의미하는 것을 특징으로 하는 입체영상 표시장치의 디스패러티 산출방법.
  10. 제 8 항에 있어서,
    상기 평활도 값을 산출하는 단계는 제1 게인 값이 적용된 상기 AD 값, 제2 게인 값이 적용된 상기 센서스 값, 및 제3 게인 값이 적용된 상기 평활도 값을 서로 더하여 상기 초기 매칭 값을 산출하는 단계이며;
    상기 제1 내지 제3 게인 값은 입력 영상의 에지 정도에 따라 다르게 조절되는 것을 특징으로 하는 입체영상 표시장치의 디스패러티 산출방법.
  11. 제 10 항에 있어서,
    상기 입력 영상이 에지 또는 복잡한 부분을 많이 포함할수록 상기 제2 게인 값이 높아지는 데 반해, 상기 제3 게인 값은 낮아지고;
    상기 입력 영상이 평평한 부분을 많이 포함할수록 상기 제2 게인 값이 낮아지는 데 반해, 상기 제3 게인 값은 높아지는 것을 특징으로 하는 입체영상 표시장치의 디스패러티 산출방법.
  12. 제 8 항에 있어서,
    신뢰도 레벨을 기반으로 상기 현재 픽셀의 초기 디스패러티를 보정하는 단계를 더 포함하는 것을 특징으로 하는 입체영상 표시장치의 디스패러티 산출방법.
  13. 제 12 항에 있어서,
    상기 현재 픽셀의 초기 디스패러티를 보정하는 단계는,
    상기 입력영상을 다수의 블록들로 분할하고, 상기 현재 픽셀에 대한 상기 초기 디스패러티의 신뢰도 레벨을 계산한 후, 상기 계산된 현재 픽셀의 신뢰도 레벨이 제1 기준치보다 낮은 경우, 상기 현재 픽셀이 포함된 블록에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들의 제1 평균값을 구하고, 상기 제1 평균값을 지시하는 제1 평균 초기 디스패러티로 상기 현재 픽셀의 초기 디스패러티를 치환하는 것을 특징으로 하는 입체영상 표시장치의 디스패러티 산출방법.
  14. 제 12 항에 있어서,
    상기 현재 픽셀의 초기 디스패러티를 보정하는 단계는,
    상기 입력영상을 다수의 블록들로 분할하고, 상기 현재 픽셀에 대한 상기 초기 디스패러티의 신뢰도 레벨을 계산한 후, 상기 현재 픽셀이 포함된 블록에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들의 개수가 제2 기준치보다 작은 경우, 전체 영상에서 신뢰도 레벨이 일정 수준 이상인 초기 디스패러티들의 제2 평균값을 구하고, 상기 제2 평균값을 지시하는 제2 평균 초기 디스패러티로 상기 현재 픽셀의 초기 디스패러티를 치환하는 것을 특징으로 하는 입체영상 표시장치의 디스패러티 산출방법.
KR1020130116836A 2013-09-30 2013-09-30 입체영상 표시장치 및 그의 디스패러티 산출방법 KR102022527B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130116836A KR102022527B1 (ko) 2013-09-30 2013-09-30 입체영상 표시장치 및 그의 디스패러티 산출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130116836A KR102022527B1 (ko) 2013-09-30 2013-09-30 입체영상 표시장치 및 그의 디스패러티 산출방법

Publications (2)

Publication Number Publication Date
KR20150037319A true KR20150037319A (ko) 2015-04-08
KR102022527B1 KR102022527B1 (ko) 2019-11-04

Family

ID=53033309

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130116836A KR102022527B1 (ko) 2013-09-30 2013-09-30 입체영상 표시장치 및 그의 디스패러티 산출방법

Country Status (1)

Country Link
KR (1) KR102022527B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410156A (zh) * 2018-11-12 2019-03-01 贵州电网有限责任公司 一种无人机巡检输电线路图像提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100517876B1 (ko) * 2003-09-05 2005-09-28 학교법인 포항공과대학교 복수 영상 라인을 이용한 영상 정합 방법 및 그 시스템
KR20060023714A (ko) * 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법
KR20080001093A (ko) * 2006-06-29 2008-01-03 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
KR20100066914A (ko) * 2008-12-10 2010-06-18 한국전자통신연구원 영상 정합 장치 및 방법
KR20120072245A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 스테레오 영상 정합 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100517876B1 (ko) * 2003-09-05 2005-09-28 학교법인 포항공과대학교 복수 영상 라인을 이용한 영상 정합 방법 및 그 시스템
KR20060023714A (ko) * 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법
KR20080001093A (ko) * 2006-06-29 2008-01-03 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
KR20100066914A (ko) * 2008-12-10 2010-06-18 한국전자통신연구원 영상 정합 장치 및 방법
KR20120072245A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 스테레오 영상 정합 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Efficient ASIC implementation of a real-time depth mapping stereo vision system (M.Kuhn et al, 2003 46th Midwest Symposium on Circuits and Systems, 4pages, 2003.12.30.) *
고밀도 3D 형상 계측 시스템에서의 고속 시차 추정을 위한 NCC 알고리즘 기반 하드웨어 구조 (배경렬 외 4명, 한국센서학회 센서학회지 19권2호, 99-111(13pages), 2010.03.) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410156A (zh) * 2018-11-12 2019-03-01 贵州电网有限责任公司 一种无人机巡检输电线路图像提取方法

Also Published As

Publication number Publication date
KR102022527B1 (ko) 2019-11-04

Similar Documents

Publication Publication Date Title
US8743111B2 (en) Stereoscopic image display and method for driving the same
US9253479B2 (en) Method and apparatus for displaying partial 3D image in 2D image display area
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
CN105374325A (zh) 可弯曲立体3d显示装置
KR101992163B1 (ko) 입체영상 표시장치와 그 구동방법
KR101963385B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR102126532B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR101929042B1 (ko) 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
KR101990334B1 (ko) 입체영상 표시장치와 그 구동방법
KR102022527B1 (ko) 입체영상 표시장치 및 그의 디스패러티 산출방법
KR20140092055A (ko) 입체영상 표시장치 및 그 구동방법
KR102045563B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101798236B1 (ko) 입체 영상 표시장치와 그 휘도 조절 방법
US9137520B2 (en) Stereoscopic image display device and method of displaying stereoscopic image
KR20160024283A (ko) 렌티큘러 렌즈 방식의 입체영상표시장치
KR101983369B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101957975B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR101863140B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
KR20140073814A (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR101961943B1 (ko) 3ｄ 영상 데이터 생성방법과 이를 이용한 입체영상 표시장치
KR102135914B1 (ko) 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치
KR101996657B1 (ko) 글로벌 뎁스 맵 생성방법과 이를 이용한 입체영상 표시장치
KR102126530B1 (ko) 3d 변환방법과 이를 이용한 입체영상 표시장치
KR20160030770A (ko) 무안경 입체영상표시장치
KR101980352B1 (ko) 입체영상 표시장치와 그 구동방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant