KR102275491B1 - 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치 - Google Patents

멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치 Download PDF

Info

Publication number
KR102275491B1
KR102275491B1 KR1020140153843A KR20140153843A KR102275491B1 KR 102275491 B1 KR102275491 B1 KR 102275491B1 KR 1020140153843 A KR1020140153843 A KR 1020140153843A KR 20140153843 A KR20140153843 A KR 20140153843A KR 102275491 B1 KR102275491 B1 KR 102275491B1
Authority
KR
South Korea
Prior art keywords
crosstalk
view
image
area
data
Prior art date
Application number
KR1020140153843A
Other languages
English (en)
Other versions
KR20160054713A (ko
Inventor
조성호
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020140153843A priority Critical patent/KR102275491B1/ko
Publication of KR20160054713A publication Critical patent/KR20160054713A/ko
Application granted granted Critical
Publication of KR102275491B1 publication Critical patent/KR102275491B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치에 관한 것이다. 이 크로스토크 저감 방법은 뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 원본 멀티 뷰 영상 데이터를 분석하여 크로스토크 영역을 판정한다. 상기 크로스토크 저감 방법은 제n 뷰의 픽셀들에 기입될 데이터 중 상기 크로스토크 영역의 픽셀 데이터에서 상기 제n 뷰 주변의 다른 뷰들의 픽셀 데이터 값을 빼주고, 빼준 만큼의 비율로 상기 크로스토크 영역의 픽셀에 기입될 데이터 값을 높여 상기 크로스토크 영역의 픽셀 데이터를 변조하고 상기 크로스토크 영역 이외의 픽셀 데이터를 변조하지 않는다.

Description

멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치{CROSSTALK REDUCTION METHOD AND DEVICE, AND MULTI-VIEW AUTOSTEREOSCOPIC IMAGE DISPLAY USING THE SAME}
본 발명은 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치에 관한 것이다.
텔레비젼이나 모니터와 같은 표시장치에 입체 영상 재현 기술이 적용되고 있다. 입체 영상 표시장치는 안경 방식과 무안경 방식으로 나뉘어질 수 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 좌우 시차 영상의 광축을 분리하기 위한 패럴랙스 베리어(parallax barrier, 이하 "베리어"라 함), 렌티큘라 렌즈(lenticular lens, 이하 "렌즈"라 함) 등의 광학 부품을 표시 화면의 앞이나 뒤에 설치하여 입체 영상을 구현한다.
무안경 입체 영상 표시장치는 시청자가 정상적으로 입체 영상을 시청할 수 있는 최적 시청 거리(Optimal Viewing Distance, OVD)에서 좌우로 이동할 때에 입체 영상을 시청할 수 있도록 멀티 뷰 이미지를 표시한다. 멀티 뷰 무안경 입체 영상 표시장치는 베리어 또는 렌즈를 통해 픽셀별로 출력되는 광의 경로를 분산시켜 시청자의 위치에 따라 시청자에게 다른 뷰를 보여 주어 시청자가 양안 시차로 인하여 입체감을 느끼게 한다.
멀티뷰 무안경 입체 영상 표시장치는 안경 방식에 비하여 시청자가 이동할 때 느끼는 크로스토크(crosstalk)가 크다. 시청자는 좌안으로 좌안 영상만을 보고, 우안으로 우안 영상만을 볼 때 크로스토크 없는 입체 영상을 감상할 수 있다. 그런데, 크로스토크는 베리어나 렌즈로 광 경로가 분리될 때 시청자의 위치에 따라 단안(좌안 또는 우안)으로 두 개의 뷰가 함께 보일 때 서로 다른 뷰 영상들이 겹친 영상으로 보이거나 화질이 열화되어 아티팩트(artifact)가 보이는 현상이다.
멀티 뷰 영상의 크로스토크 저감 방법은 뷰들 간에 샤프니스(sharpness)를 조정하는 방법이 이용될 수 있다. 일 예로, Xiaofang Li, Qionghua Wang, Yuhong Tao, Dahai Li, Aihong Wang 공저의 논문 "Crosstalk reduction in multi-view autostereoscopic three-dimensional display based on lenticular sheet, February 10, 2011 / Vol. 9, No. 2 / CHINESE OPTICS LETTERS" 에 멀티뷰 영상의 크로스토크 저감 방법이 개시되어 있다. 멀티뷰 영상의 크로스토크 저감 방법은 아래의 수학식 1과 같이, n(n은 양의 정수) 번째 뷰의 픽셀 값에서 그 주변의 다른 뷰들의 픽셀 값을 빼주고, 빼준 만큼의 비율로 n 번째 뷰의 픽셀 값을 높인다.
Figure 112014107144219-pat00001
여기서, Vn은 n 번째 뷰 영상의 픽셀 데이터이다. K, a는 임의의 상수 값이다.
그런데, 멀티 뷰 영상의 크로스토크 저감 방법은 아래와 같은 문제를 초래한다.
첫째, 운동 시차(motion parallax)가 감소하여 시청자가 움직일 때 영상이 불연속적으로 보이게 된다. 주변 뷰 영상들 간의 샤프니스 개선 방식을 적용하면 현재 뷰 영상가 보여야 할 위치에서 주변 뷰의 영향을 줄이고 현재 뷰의 영향도를 높이기 때문에 크로스토크를 줄일 수 있으나 주변 부들 각각에서 현재 뷰에 대한 영향도가 커지면 고개를 움직이거나 위치를 이동할 때 시청자가 느끼는 운동 시차가 감소한다. 운동 시차(motion parallax)는 입체감을 나타내는 지표 중 하나로서, 시청자가 움직이면서 입체 영상을 시청 할 때 영상 내 물체의 여러 단면을 부드럽게 이어지듯이 보이는 현상을 나타낸다.
둘째, 주변 뷰들 간의 픽셀 데이터를 이용하여 더하고 빼는 방법으로 크로스토크를 개선하면 뷰 영상 내에서 물체 가장자리(edge) 부분에 잔상 현상이 발생한다.
본 발명은 크로스토크 저감 방법을 적용할 때 초래되는 운동 시차 감소를 개선하고 물체의 경계부에서 나타내는 잔상을 개선할 수 있는 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치를 제공한다.
본 발명의 크로스토크 저감 방법은 뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 원본 멀티 뷰 영상 데이터를 분석하여 크로스토크 영역을 판정하는 단계를 포함한다. 그리고 상기 크로스토크 저감 방법은 제n(n은 양의 정수) 뷰의 픽셀들에 기입될 데이터 중 상기 크로스토크 영역의 픽셀 데이터에서 상기 제n 뷰 주변의 다른 뷰들의 픽셀 데이터 값을 빼주고, 빼준 만큼의 비율로 상기 크로스토크 영역의 픽셀에 기입될 데이터 값을 높여 상기 크로스토크 영역의 픽셀 데이터를 변조하고 상기 크로스토크 영역 이외의 픽셀 데이터를 변조하지 않는 단계와, 상기 변조된 픽셀 데이터를 상기 크로스토크 영역 내의 픽셀들에 기입하고, 변조되지 않은 픽셀 데이터를 상기 크로스토크 영역 이외의 픽셀들에 기입하는 단계를 포함한다.
본 발명의 크로스토크 저감 장치는 뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 원본 멀티 뷰 영상 데이터를 분석하여 크로스토크 영역을 판정하는 판정부, 상기 크로스토크 영역의 픽셀들에 기입될 상기 원본 멀티 뷰 영상의 데이터를 변조하는 변조부, 및 상기 크로스토크 영역 내의 픽셀들에서만 변조된 멀티 뷰 영상 데이터를 기입하고, 상기 크로스토크 영역 이외의 픽셀들에 상기 원본 멀티 뷰 영상 데이터를 기입하는 표시패널 구동부를 포함한다.
본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 멀티 뷰 영상 데이터를 표시하는 표시패널, 상기 멀티 뷰 영상 데이터를 기입하는 표시패널 구동부, 상기 멀티 뷰 영상 데이터의 광축을 분리하기 위한 3D 광학 소자, 뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 상기 멀티 뷰 영상 데이터를 분석하여 크로스토크 영역을 판정하는 판정부, 및 상기 크로스토크 영역의 픽셀들에 기입될 상기 멀티 뷰 영상의 데이터를 변조하는 변조부를 포함한다.
본 발명은 멀티 뷰 영상에서 크로스토크가 발생할 확률이 높은 크로스토크 영역을 예측하여 그 크로스토크 영역에서만 크로스토크 저감 알고리즘으로 데이터를 변조함으로써 크로스토크 저감 방법을 적용할 때 초래되는 운동 시차 감소를 개선하고 물체의 경계부에서 나타내는 잔상을 개선할 수 있다.
도 1은 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 보여 주는 블록도이다.
도 2는 멀티 뷰 무안경 입체 영상 표시장치의 렌즈를 보여 주는 단면도이다.
도 3은 멀티 뷰 무안경 입체 영상 표시장치의 베리어를 보여 주는 단면도이다.
도 4는 픽셀 어레이에 기입된 멀티 뷰 영상 데이터의 일 예를 보여 주는 도면이다.
도 5는 멀티 뷰 무안경 입체 영상 표시장치에서 멀티 뷰 영상의 시청 영역이 분할된 뷰잉 존들(Viewing zone)을 보여 주는 도면이다.
도 6은 배경과 물체의 뎁쓰 차이가 큰 영상의 일 예를 보여 주는 이미지이다.
도 7은 윈도우 영역 내의 뎁쓰 히스토그램의 일 예를 보여 주는 도면이다.
도 8은 윈도우 영역 내의 평균 밝기(APL)와 평균 뎁쓰 값을 바탕으로 크로스토크 저감 기술이 선택적으로 적용된 예를 보여 주는 이미지이다.
도 9는 소벨 필터의 입출력 영상을 보여 주는 이미지이다.
도 10은 본 발명의 실시예에 따른 멀티뷰 영상의 크로스토크 저감 방법을 보여 주는 흐름도이다.
도 11은 크로스토크 저감 모듈을 상세히 보여 주는 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
본원 발명자들은 3D 영상의 화질 평가 실험을 통해 멀티 뷰 영상을 표시할 때 크로스토크가 보이는 부분을 분석하였다. 그 결과, 멀티 뷰 영상에서 뎁쓰(depth) 차이가 큰 부분에서 크로스토크가 잘 보이고, 현재 뷰에 영향을 주는 주변 뷰들이 밝을 수록 크로스토크가 잘 보이며 또한, 영상의 복잡도가 높은 부분일수록 크로스토크가 잘 보이는 것을 확인하였다. 본 발명은 크로스토크 평가 결과를 바탕으로 크로스토크가 보일 수 있는 부분을 예측하여 그 부분에만 크로스토크 저감 방법을 적용하여 해당 부분에서만 멀티 뷰 영상의 픽셀 데이터를 변조한다. 반면에, 본 발명은 크로스토크가 인지되지 않는 영상 부분에 대하여 크로스토크 저감 방법을 적용하지 않아 크로스토크 저감 기술 적용으로 인한 운동 시차와 잔상 문제를 개선할 수 있다.
실시예 설명에 앞서 실시예에서 이용되는 일부 용어들에 대하여 정의하면 다음과 같다.
본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계방출 표시소자(Field Emission Display : FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광 다이오드 표시장치(Organic Light Emitting Display, OLED), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다. 이 입체 영상 표시장치는 2D 모드에서 2D 영상 데이터를 표시하고 3D 모드에서 3D 영상 데이터를 표시한다. 입체 영상 표시장치의 표시패널 앞에 또는 뒤에 3D 광학 소자가 배치될 수 있다.
3D 광학 소자는 시청자의 좌안을 통해 보이는 서브 픽셀들과 우안을 통해 보이는 서브 픽셀들을 분리하는 광학 부품이다. 3D 광학 소자는 베리어나 렌즈와 같은 광학 부품일 수 있다. 베리어와 렌즈는 액정패널을 이용하여 전기적으로 제어되는 스위쳐블 베리어(switchable barrier)나 스위쳐블 렌즈(switchable lens)로 구현될 수 있다. 본원 출원인은 미국출원 13/077565, 미국출원 13/325272, 대한민국 출원 10-2010-0030531, 대한민국 출원 10-2010-0130547 등을 통해 스위쳐블 베리어와 스위쳐블 렌즈를 제안한 바 있다.
도 1 내지 도 3을 참조하면, 본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 표시패널(100), 표시패널 구동부, 3D 광학 소자(200), 3D 광학 소자 구동부(210), 크로스토크 저감 모듈(120), 3D 포맷터(formatter)(130), 타이밍 콘트롤러(101) 등을 포함한다.
표시패널(100)은 2D 영상 또는 멀티 뷰 포맷의 3D 영상이 표시되는 픽셀 어레이를 포함한다. 픽셀 어레이에는 데이터라인들(105)과 게이트라인들(또는 스캔라인들)(106)이 교차된다. 픽셀 어레이에서 픽셀들(PIX)은 매트릭스 형태로 배치된다.
표시패널 구동부는 표시패널(100)의 데이터라인들(105)에 2D/3D 영상의 데이터 전압을 공급하기 위한 데이터 구동회로(102)와, 표시패널(100)의 게이트라인들(106)에 데이터 전압과 동기되는 게이트펄스(또는 스캔펄스)를 순차적으로 공급하기 위한 게이트 구동회로(103)를 포함한다. 표시패널 구동부(102, 103)는 3D 모드에서 멀티 뷰 영상의 데이터를 미리 설정된 픽셀들(PIX)에 분산하여 기입한다.
데이터 구동회로(102)는 타이밍 콘트롤러(101)로부터 입력되는 디지털 비디오 데이터를 아날로그 감마전압으로 변환하여 데이터전압을 발생하고 그 데이터전압을 표시패널(100)의 데이터라인들(105)에 공급한다. 게이트 구동회로(103)는 타이밍 콘트롤러(101)의 제어 하에 데이터라인들(105)에 공급되는 데이터전압과 동기되는 게이트펄스를 게이트라인들(106)에 공급하고, 그 게이트펄스를 순차적으로 시프트시킨다.
3D 광학 소자(200)는 도 2 및 도 3과 같은 렌즈(LENS)나 베리어(BAR)로 구현될 수 있다. 3D 광학 소자(200)는 표시패널(100)의 앞이나 뒤에 접합되거나 혹은 표시패널(100)에 내장되어 3D 영상 데이터의 좌안 영상 데이터와 우안 영상 데이터의 광축을 분리한다. 스위쳐블 베리어(BAR)나 스위쳐블 렌즈(LENS)는 액정과 같은 복굴절 매질, 전극 등을 포함하고 3D 광학 소자 구동부(210)에 의해 전기적으로 구동되어 좌안 영상과 우안 영상의 빛의 광축을 분리시킨다.
3D 광학 소자 구동부(210)는 타이밍 콘트롤러(101)의 제어 하에 3D 모드에서 표시패널(100)의 픽셀 어레이에 기입되는 픽셀 데이터와 동기되어 스위쳐블 베리어(BAR) 또는 스위쳐블 렌즈(LENTI)를 구동한다. 3D 광학 소자(200)가 전기적으로 제어되지 않는 광학 소자로 구현되면 3D 광학 소자 구동부(210)는 필요 없다.
크로스토크 저감 모듈(120)은 멀티 뷰 영상이 재현될 때 시청자에게 인지될 수 있는 크로스토크를 예측하여 크로스토크가 발생될 수 있는 부분(crosstalk region)에서만 크로스토크 저감 방법을 적용하여 멀티 뷰 영상의 픽셀 데이터를 변조한다. 크로스토크 저감 모듈(120)의 동작은 수학식2로 표현될 수 있다.
Figure 112014107144219-pat00002
여기서, V(x,y)는 (x,y) 위치의 픽셀에 기입될 n 번째 뷰 영상의 데이터이다. Vn _ new는 크로스토크 영역(crosstalk region)에서만 변조되는 n 번째 뷰 영상 데이터이다.
크로스토크 저감 모듈(120)은 크로스토크 영역(crosstalk region) 내의 픽셀에 기입될 멀티 뷰 영상의 픽셀 데이터만 크로스토크 저감 방법으로 변조하고, 크로스토크 영역(crosstalk region) 이외의 다른 부분의 픽셀에 기입될 픽셀 데이터를 변조하지 않는다.
3D 포맷터(130)는 크로스토크 저감 모듈(120)로부터의 멀티 뷰 영상 데이터(V1~V9)를 수신하고, 미리 설정된 멀티 뷰 맵을 바탕으로 도 4와 같이 멀티 뷰 영상 데이터(V1~V9)를 표시패널(100)의 픽셀 배치에 맞게 재배열하여 타이밍 콘트롤러(101)로 전송한다.
타이밍 콘트롤러(101)는 호스트 시스템(110)으로부터 입력되는 2D/3D 입력 영상의 디지털 비디오 데이터(RGB)를 데이터 구동회로(102)로 전송한다. 타이밍 콘트롤러(101)는 2D/3D 입력 영상의 디지털 비디오 데이터(RGB)와 동기되는 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호, 메인 클럭 등의 타이밍신호를 수신한다. 타이밍 콘트롤러(101)는 수신된 타이밍 신호를 바탕으로 표시패널 구동부(102, 103)와 3D 광학 소자 구동부(210)의 동작 타이밍을 제어하기 위한 타이밍 제어신호들을 발생한다. 타이밍 제어신호들은 데이터 구동회로(102)의 동작 타이밍을 제어하기 위한 소스 타이밍 제어신호(DDC), 게이트 구동회로(103)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어신호(GDC) 및 스위쳐블 3D 광학 소자 제어신호(3DC) 등을 포함한다.
타이밍 콘트롤러(101)는 입력 영상의 프레임 레이트×N(N은 2 이상의 양의 정수) Hz의 주파수로 프레임 레이트를 높여 표시패널 구동부(102, 103)와 3D 광학 소자 구동부(210)의 동작 주파수를 N 배 체배된 프레임 레이트로 제어할 수 있다. 입력 영상의 프레임 레이트(frame rate)는 NTSC(National Television Standards Committee) 방식에서 60Hz이며, PAL(Phase-Alternating Line) 방식에서 50Hz이다.
호스트 시스템(110)은 TV(Television) 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 폰 시스템(Phone system) 중 어느 하나로 구현될 수 있다. 호스트 시스템(110)은 스케일러(scaler)를 이용하여 2D/3D 입력 영상의 디지털 비디오 데이터를 표시패널(PNL, 100)의 해상도에 맞는 포맷으로 변환하고 그 데이터와 함께 타이밍 신호를 타이밍 콘트롤러(101)로 전송한다.
호스트 시스템(110)은 2D 모드에서 2D 영상을 타이밍 콘트롤러(101)에 공급하는 반면, 3D 모드에서 멀티 뷰 3D 영상을 크로스토크 저감 모듈(120)에 공급한다.
도 5는 픽셀 어레이에 멀티 뷰 영상 데이터가 표시될 때 시청자가 입체 영상을 정상적으로 감상할 수 있는 최적 시청 거리에서의 뷰잉 존들(Viewing zone)의 일 예를 보여 준다. 도 5에서, 마름모꼴 영역은 뷰잉 존(Viewing zone)을 의미한다. 도 5의 예는 4 뷰 영상 데이터를 표시한 멀티 뷰 영상 시스템을 예시한 것이나 이에 한정되지 않는다. 예컨대, 본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 N(N은 3 이상의 양의 정수) 뷰 영상 데이터를 표시할 수 있다.
크로스토크 저감 모듈(120)에서 적용되는 크로스토크 예측 방법은 뎁쓰(depth) 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 멀티 뷰 영상에서 크로스토크가 발생되는 부분을 예측한다.
이하, 크로스토크 예측 방법 각각에 대하여 상세히 설명하기로 한다.
(1) 뎁쓰(depth) 분포 특성을 바탕으로 크로스토크를 예측하는 방법
크로스토크는 뎁쓰 차이가 큰 영상에서 더 잘 보인다. 다시 말하여, 시청자가 보는 뷰 영상들 간에 뎁쓰 차이가 없는 영상 보다 뎁쓰 차이가 커 뷰 영상들 간의 시차(disparity) 차이가 큰 영상에서 크로스토크가 더 잘 보인다. 일 예로. 도 6의 적색 박스와 같이 배경에서 뷰들 간의 뎁쓰 차이가 적고 배경 앞에 있는 큰 뎁쓰 값의 물체가 있는 경우에 크로스토크가 잘 보인다.
영상에서 뎁쓰 분포를 측정하는 방법은 먼저, 공지된 뎁쓰 맵 생성 방법을 이용하여 뎁쓰 맵(Depth map)을 생성한다. 뎁쓰 맵은 물체 혹은 객체(Object)의 3차원 공간 정보를 화면으로부터의 거리에 따라 계조로 표현한 이미지 데이터이다. 뎁쓰(depth, 심도) 값은 픽셀 데이터의 시프트(shift) 정도 즉, 시차(disparity)를 정의한다. 뎁쓰 맵에서, 화면의 앞으로 돌출되는 객체는 높은 계조(또는 화이트 계조)의 데이터로 표현되고, 화면 뒤로 멀어지는 객체는 낮은 계조(또는 블랙 계조)로 표현된다.
영상에서 뎁쓰 분포를 측정하는 방법은 소정 크기의 윈도우(window) 영역 내에서 뎁쓰 히스토그램(depth histogram)을 계산하고, 뎁쓰 히스토그램에서 큰 누적 픽셀 개수를 갖는 뎁쓰 값들을 추출 하여 그 값들의 차이를 계산한다. 윈도우 영역의 크기는 60 × 60 pixel 크기로 설정될 수 있으나 이에 한정되지 않는다.
크로스토크 저감 모듈(120)은 윈도우 영역 내에서 누적 픽셀 개수가 가장 큰 뎁쓰값들을 비교하여 그 차이가 소정의 문턱값 이상 큰 윈도우 영역을 크로스토크 영역으로 판정한다. 한편, 윈도우 영역 내에서 누적 픽셀 개수가 가장 큰 2 개의 뎁쓰값들을 비교할 수 있으나 배경과 물체의 뎁쓰 차이를 더 정확하게 예측하기 위하여 본 발명은 윈도우 영역의 누적 픽셀 개수가 가장 큰 3 개의 뎁쓰값들을 비교할 수 있다. 도 7은 윈도우 영역의 뎁쓰 히스토그램의 일 예를 보여 주는 도면이다.
도 7에서, x축은 뎁쓰 맵의 뎁쓰 값이고, y축은 픽셀 개수이다. D1은 누적 픽셀 개수가 가장 큰 Depth 값이다. D2는 누적 픽셀 개수가 두 번째로 큰 뎁쓰 값이다. D3는 누적 픽셀 개수가 세 번째로 큰 뎁쓰 값이다.
크로스토크 저감 모듈(120)은 Diff12 = D1 - D2 , Diff23 = D2 - D3 일 때, 아래와 같이 Diff12 와 Diff23 중 더 큰 값(max(Diff12, Diff23))을 최종 뎁쓰차(Difffinal)로서 선택하고, 최종 뎁쓰차 값(Difffinal)이 소정의 문턱값(threshold) 보다 큰 윈도우 영역을 크로스토크 영역으로 판정한다. 크로스토크 저감 모듈(120)은 크로스토크 영역에서만 크로스토크 저감 기술을 적용한다.
If Difffinal > threshold
크로스 토크 저감 기술 적용
Else
크로스 토크 저감 기술하지 않음
(2) 밝기 분포 특성을 바탕으로 크로스토크를 예측하는 방법
크로스토크는 시청자가 보는 현재 뷰 영상에 영향을 주는 주변 뷰 영상이 밝을 수록 더 커진다. 따라서, 윈도우 영역의 밝기 분포를 바탕으로 크로스토크 영역을 예상할 수 있으나 이와 함께 뎁쓰 크기를 함께 고려하면 크로스토크 영역을 더 정확하게 예측할 수 있다.
윈도우 영역의 밝기 분포 특성은 평균 밝기 예컨대, 평균 화상 레벨(Average Picture level, 이라 "APL"이라 함)로 알 수 있다. APL은 수학식 3과 같이 윈도우 영역 내의 모든 픽셀 데이터들의 휘도값(Y)의 총합을 윈도우 영역 내의 픽셀 개수(n)로 나눈 값이다. 윈도우 영역 내의 뎁쓰 크기는 윈도우 영역 내의 평균 뎁쓰값(수학식 4, Depth APL)로 계산될 수 있다.
Figure 112020126375640-pat00016
여기서, Yn은 n 번째 픽셀 데이터의 휘도값이다.
Figure 112020126375640-pat00017
여기서, Dn은 n 번째 픽셀 데이터의 뎁쓰값이다.
크로스토크 저감 모듈(120)은 아래와 같이 APL이 소정의 제1 문턱값(Y_TH) 보다 크고, 평균 뎁쓰값(Depth APL)이 소정의 제2 문턱값(D_TH) 보다 큰 윈도우 영역을 크로스토크 영역으로 판정한다. 크로스토크 저감 모듈(120)은 크로스토크 영역에서만 크로스토크 저감 기술을 적용한다. 도 8은 윈도우 영역 내의 평균 밝기(APL)와 평균 뎁쓰 값을 바탕으로 크로스토크 저감 기술이 선택적으로 적용된 예를 보여 주는 이미지이다. 도 8에서, 사람의 발 부분은 평균 휘도와 평균 뎁쓰 값이 높아 크로스토크 영역으로 판정된다.
If (APL > Y_TH) && (Depth APL > D_TH)
크로스 토크 저감 기술 적용
Else
크로스 토크 저감 기술하지 않음
(3) 영상의 복잡도를 바탕으로 크로스토크를 예측하는 방법
영상의 복잡도가 클수록 크로스토크가 발생할 확률이 높다. 이는 정성적 실험을 통해 확인할 수 있었다. 영상의 복잡도는 영상에 에지(edge)를 추출하고 윈도우 영역 내의 에지 빈도 수를 카운트하는 방법으로 측정될 수 있다. 영상의 복잡도가 커지면 이중상으로 보이는 크로스토크와, 블러(blur) 현상으로 보이는 크로스토크가 더 잘 보인다.
영상의 복잡도는 입력 영상에서 에지 성분만 추출하는 에지 필터, 예를 들어, 소벨 필터(sobel filter)를 사용하여 윈도우 영역 내의 에지 빈도수를 계산하는 방법으로 알 수 있다. 도 9는 소벨 필터의 입출력 영상을 보여 주는 이미지이다. 도 9에서, 좌측 이미지는 원본 이미지이고, 우측 이미지는 소벨 필터를 통과하여 에지 성분이 검출된 이미지이다.
크로스토크 저감 모듈(120)은 아래와 같이 에지 개수(E)가 소정의 문턱값(E_TH) 보다 많은 윈도우 영역을 크로스토크 영역으로 판정한다. 크로스토크 저감 모듈(120)은 크로스토크 영역에서만 크로스토크 저감 기술을 적용한다.
If E > E_TH
크로스 토크 저감 기술 적용
Else
크로스 토크 저감 기술하지 않음
도 10은 본 발명의 실시예에 따른 멀티뷰 영상의 크로스토크 저감 방법을 보여 주는 흐름도이다. 이 크로스토크 저감 방법은 크로스토크 저감 모듈(120)에 의해 실행된다. 도 11은 크로스토크 저감 모듈을 상세히 보여 주는 도면이다.
도 10 및 도 11을 참조하면, 크로스토크 저감 모듈(120)은 원본 멀티 뷰 영상 데이터(V1~Vn)를 분석하여 크로스토크 영역을 판정하는 크로스토크 판정부(122)와, 크로스토크 영역에서만 크로스토크 저감 알고리즘으로 멀티 뷰 영상 데이터를 변조하는 데이터 변조부(124)를 포함한다.
크로스토크 판정부(122)은 원본 멀티 뷰 영상 데이터(V1~Vn)를 수신받아, 뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 멀티 뷰 영상에서 크로스토크 영역을 예측한다(S1~S3).
데이터 변조부(124)는 크로스토크 판정부(122)로부터 멀티 뷰 영상 데이터(V1~Vn)와 크로스토크 영역의 위치 정보를 수신한다. 데이터 변조부(124)는 크로스토크 영역의 픽셀들에 기입될 멀티 뷰 영상의 데이터를 미리 설정된 크로스토크 저감 알고리즘으로 변조한다(S4~S6). 표시패널 구동부(102, 103)는 크로스토크 영역 내의 픽셀들에서만 변조된 멀티 뷰 영상 데이터(V1'~Vn')를 표시하고, 크로스토크 영역 이외의 픽셀들에 변조되지 않은 원본 멀티 뷰 영상 데이터(V1~Vn)를 표시한다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
100 : 표시패널 101 : 타이밍 콘트롤러
102 : 데이터 구동회로 103 : 게이트 구동회로
110 : 호스트 시스템 120 : 크로스토크 저감 모듈
122 : 크로스토크 판정부 124 : 데이터 변조부
130 : 3D 데이터 포맷터 200 : 3D 광학 소자
210 : 3D 광학 소자 구동부

Claims (6)

  1. 뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 원본 멀티 뷰 영상 데이터를 분석하여 크로스토크 영역을 판정하는 단계;
    제n(n은 양의 정수) 뷰의 픽셀들에 기입될 데이터 중 상기 크로스토크 영역의 픽셀 데이터에서 상기 제n 뷰 주변의 다른 뷰들의 픽셀 데이터 값을 빼주고, 빼준 만큼의 비율로 상기 크로스토크 영역의 픽셀에 기입될 데이터 값을 높여 상기 크로스토크 영역의 픽셀 데이터를 변조하고 상기 크로스토크 영역 이외의 픽셀 데이터를 변조하지 않는 단계; 및
    상기 변조된 픽셀 데이터를 상기 크로스토크 영역 내의 픽셀들에 기입하고, 변조되지 않은 픽셀 데이터를 상기 크로스토크 영역 이외의 픽셀들에 기입하는 단계를 포함하는 멀티뷰 영상의 크로스토크 저감 방법.
  2. 뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 원본 멀티 뷰 영상 데이터를 분석하여 크로스토크 영역을 판정하는 판정부;
    제n(n은 양의 정수) 뷰의 픽셀들에 기입될 데이터 중 상기 크로스토크 영역의 픽셀 데이터에서 상기 제n 뷰 주변의 다른 뷰들의 픽셀 데이터 값을 빼주고, 빼준 만큼의 비율로 상기 크로스토크 영역의 픽셀 데이터 값을 높여 상기 크로스토크 영역의 픽셀에 기입될 데이터를 변조하고 상기 크로스토크 영역 이외의 픽셀 데이터를 변조하지 않는 변조부; 및
    상기 크로스토크 영역 내의 픽셀들에 변조된 픽셀 데이터를 기입하고, 상기 크로스토크 영역 이외의 픽셀들에 변조되지 않은 픽셀 데이터를 기입하는 표시패널 구동부를 포함하는 멀티뷰 영상의 크로스토크 저감 장치.
  3. 멀티 뷰 영상 데이터를 표시하는 표시패널;
    상기 멀티 뷰 영상 데이터를 기입하는 표시패널 구동부;
    상기 멀티 뷰 영상 데이터의 광축을 분리하기 위한 3D 광학 소자;
    뎁쓰 분포 특성, 밝기 분포 특성, 영상의 복잡도 중 하나 이상을 바탕으로 상기 멀티 뷰 영상 데이터를 분석하여 크로스토크 영역을 판정하는 판정부; 및
    제n(n은 양의 정수) 뷰의 픽셀들에 기입될 데이터 중 상기 크로스토크 영역의 픽셀 데이터에서 상기 제n 뷰 주변의 다른 뷰들의 픽셀 데이터 값을 빼주고, 빼준 만큼의 비율로 상기 크로스토크 영역의 픽셀 데이터 값을 높여 상기 크로스토크 영역의 픽셀에 기입될 데이터를 변조하고 상기 크로스토크 영역 이외의 픽셀 데이터를 변조하지 않는 변조부를 포함하고,
    상기 표시패널 구동부가 상기 크로스토크 영역 내의 픽셀들에 변조된 픽셀 데이터를 기입하고, 상기 크로스토크 영역 이외의 픽셀들에 변조되지 않은 픽셀 데이터를 기입하는 멀티 뷰 무안경 입체 영상 표시장치.
  4. 제 3 항에 있어서,
    상기 판정부는,
    소정의 윈도우 영역 내에서 누적 픽셀 개수가 가장 큰 3 개의 뎁쓰값들을 비교하여 그 차이가 소정의 문턱값 이상 큰 윈도우 영역을 상기 크로스토크 영역으로 판정하는 멀티 뷰 무안경 입체 영상 표시장치.
  5. 제 3 항에 있어서,
    상기 판정부는,
    소정의 윈도우 영역 내에서 영상의 평균 밝기가 제1 문턱값 보다 크고, 상기 영상의 평균 뎁쓰 값이 제2 문턱값 보다 큰 윈도우 영역을 상기 크로스토크 영역으로 판정하는 멀티 뷰 무안경 입체 영상 표시장치.
  6. 제 3 항에 있어서,
    상기 판정부는,
    소정의 윈도우 영역 내에서 영상의 에지를 검출하고, 상기 윈도우 영역의 에지 개수가 소정의 문턱값 보다 많은 윈도우 영역을 크로스토크 영역으로 판정하는 멀티 뷰 무안경 입체 영상 표시장치.
KR1020140153843A 2014-11-06 2014-11-06 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치 KR102275491B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140153843A KR102275491B1 (ko) 2014-11-06 2014-11-06 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140153843A KR102275491B1 (ko) 2014-11-06 2014-11-06 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치

Publications (2)

Publication Number Publication Date
KR20160054713A KR20160054713A (ko) 2016-05-17
KR102275491B1 true KR102275491B1 (ko) 2021-07-12

Family

ID=56109361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140153843A KR102275491B1 (ko) 2014-11-06 2014-11-06 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치

Country Status (1)

Country Link
KR (1) KR102275491B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110041753A (ko) * 2009-10-16 2011-04-22 삼성전자주식회사 시점간 크로스톡 저감 장치 및 방법
KR101679080B1 (ko) * 2010-09-09 2016-11-23 엘지디스플레이 주식회사 3ｄ 영상 생성방법 및 이를 이용한 입체영상 표시장치
KR101921165B1 (ko) * 2011-08-30 2018-11-22 엘지디스플레이 주식회사 3차원 크로스토크 측정 장치 및 측정 방법
KR101870233B1 (ko) * 2011-10-06 2018-07-24 엘지디스플레이 주식회사 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치

Also Published As

Publication number Publication date
KR20160054713A (ko) 2016-05-17

Similar Documents

Publication Publication Date Title
KR101470693B1 (ko) 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치
KR101380517B1 (ko) 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
US10694173B2 (en) Multiview image display apparatus and control method thereof
US20130003177A1 (en) Stereoscopic image display apparatus and method thereof
KR102175813B1 (ko) 입체 영상 표시 장치 및 영상 처리 방법
EP2541948A1 (en) Stereoscopic image display method and display timing controller
US9253476B2 (en) Display apparatus and control method thereof
US9886911B2 (en) Display apparatus and method for driving light source thereof
US9756321B2 (en) Three-dimensional image display device and method of displaying three dimensional image
KR102275491B1 (ko) 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치
KR20160079555A (ko) 무안경 입체영상표시장치
KR102142480B1 (ko) 3차원영상 표시장치 및 그 구동방법
KR101826357B1 (ko) 입체영상 표시장치의 크로스토크 평가방법 및 그 시스템
KR20160051404A (ko) 무안경 입체영상표시장치 및 그 구동방법
KR102080611B1 (ko) 이미지 생성 장치 및 방법
KR20150038954A (ko) 입체 영상 표시장치의 이미지 처리 장치 및 방법
KR101992161B1 (ko) 입체 영상 표시장치와 그 극성 제어 방법
KR102076840B1 (ko) 무안경 입체 영상 표시장치와 그 구동 방법
KR20130079044A (ko) 디스플레이 장치 및 그 제어 방법
KR102586226B1 (ko) 뷰 맵 데이터 생성방법 및 장치
KR101890929B1 (ko) 영상 데이터 생성 방법과 이를 이용한 입체 영상 표시장치
KR102143944B1 (ko) 입체감 조절 방법과 이를 이용한 입체 영상 표시장치
KR101778729B1 (ko) 3ｄ 동화상 표시방법 및 이를 이용한 입체 영상 표시장치
JP2012181455A (ja) 画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム
KR20140026146A (ko) 입체 영상 표시장치와 그 ｆｒｃ 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant