KR101773616B1 - 영상처리방법과 이를 이용한 입체영상 표시장치 - Google Patents

영상처리방법과 이를 이용한 입체영상 표시장치 Download PDF

Info

Publication number
KR101773616B1
KR101773616B1 KR1020110045668A KR20110045668A KR101773616B1 KR 101773616 B1 KR101773616 B1 KR 101773616B1 KR 1020110045668 A KR1020110045668 A KR 1020110045668A KR 20110045668 A KR20110045668 A KR 20110045668A KR 101773616 B1 KR101773616 B1 KR 101773616B1
Authority
KR
South Korea
Prior art keywords
image data
data
line
odd
pixel data
Prior art date
Application number
KR1020110045668A
Other languages
English (en)
Other versions
KR20120127893A (ko
Inventor
박명수
이재우
김혜진
이정기
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110045668A priority Critical patent/KR101773616B1/ko
Priority to US13/472,361 priority patent/US9092871B2/en
Priority to CN201210160917.9A priority patent/CN102790891B/zh
Publication of KR20120127893A publication Critical patent/KR20120127893A/ko
Application granted granted Critical
Publication of KR101773616B1 publication Critical patent/KR101773616B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Abstract

본 발명의 영상처리방법은 입력되는 영상 데이터가 3D 영상 데이터인지를 판단하는 단계; 1 프레임의 3D 영상 데이터로부터 1 프레임의 좌안 영상 데이터와 1 프레임의 우안 영상 데이터를 생성하는 단계; 상기 좌안 영상 데이터와 우안 영상 데이터 각각을 그레이 스케일 영상 데이터로 변환하는 단계; 상기 그레이 스케일 영상 데이터로부터 대화창 영역의 유무를 판단하여, 상기 대화창 영역이 존재하는 경우 상기 대화창 영역의 문자 가독성을 높이는 단계; 상기 그레이 스케일 영상 데이터의 에지를 검출하는 단계; 상기 에지로 검출된 영상 데이터의 복잡도를 판단하여, 상기 복잡도가 높은 영상의 경우 시분할 알고리즘을 적용하는 단계; 및 상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계를 포함한다.

Description

영상처리방법과 이를 이용한 입체영상 표시장치{IMAGE PROCESSING METHOD AND STEREOSCOPIC IMAGE DISPLAY DEVICE USING THE SAME}
본 발명은 영상처리방법과 이를 이용한 패턴 리타더 방식의 입체영상 표시장치에 관한 것이다.
입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 표시하고 편광 안경을 사용하여 입체영상을 구현하는 패턴 리타더 방식이 있다. 또한, 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상을 시분할하여 표시하고 액정셔터안경을 사용하여 입체영상을 구현하는 셔터안경 방식이 있다. 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘러 렌즈 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.
도 1은 패턴 리타더 방식의 입체영상 표시장치를 보여주는 도면이다. 도 1을 참조하면, 패턴 리타더 방식으로 입체영상을 구현하는 액정표시장치는 표시패널(DIS) 상에 배치된 패턴 리타더(Patterned Retarder)(PR)의 편광특성과, 사용자가 착용한 편광 안경(PG)의 편광특성을 이용하여 입체영상을 구현한다. 패턴 리타더 방식의 입체영상 표시장치는 표시패널(DIS)의 기수(홀수) 라인들에는 좌안 영상을 표시하고, 우수(짝수) 라인들에는 우안 영상을 표시한다. 표시패널(DIS)의 좌안 영상은 패턴 리타더(PR)를 통과하면 좌안 편광으로 변환되고, 우안 영상은 패턴 리타더(PR)를 통과하면 우안 편광으로 변환된다. 편광 안경(PG)의 좌안 편광필터는 좌안 편광만을 통과시키고, 우안 편광필터는 우안 편광만을 통과시킨다. 따라서, 사용자는 좌안을 통하여 좌안 영상만을 보게 되고, 우안을 통하여 우안 영상만을 보게 된다.
도 2는 재깅이 나타난 영상을 보여주는 이미지이다. 재깅은 영상의 경계부가 매끄럽지 않고 계단처럼 보이는 현상을 의미한다. 도 2의 A 부분을 참조하면, 재깅이 나타난 영상은 선이 연속적으로 이어지지 않고, 선의 중간이 끊겨서 표시되는 현상이 발생한다. 즉, 패턴 리타더 방식의 입체영상 표시장치는 기수 라인들에는 좌안 영상을 표시하고 우수 라인들에는 우안 영상을 표시하므로, 도 2와 같이 재깅이 나타나는 문제가 발생할 수 있다.
본 발명은 패턴 리타더 방식으로 입체영상 구현시 재깅을 개선할 수 있는 영상처리방법과 이를 이용한 입체영상 표시장치를 제공한다.
본 발명의 영상처리방법은 입력되는 영상 데이터가 3D 영상 데이터인지를 판단하는 단계; 1 프레임의 3D 영상 데이터로부터 1 프레임의 좌안 영상 데이터와 1 프레임의 우안 영상 데이터를 생성하는 단계; 상기 좌안 영상 데이터와 우안 영상 데이터 각각을 그레이 스케일 영상 데이터로 변환하는 단계; 상기 그레이 스케일 영상 데이터로부터 대화창 영역의 유무를 판단하여, 상기 대화창 영역이 존재하는 경우 상기 대화창 영역의 문자 가독성을 높이는 단계; 상기 그레이 스케일 영상 데이터의 에지를 검출하는 단계; 상기 에지로 검출된 영상 데이터의 복잡도를 판단하여, 상기 복잡도가 높은 영상의 경우 시분할 알고리즘을 적용하는 단계; 및 상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계를 포함한다.
본 발명의 입체영상 표시장치는 데이터 라인들과 게이트 라인들이 교차되는 표시패널; 입력되는 3D 영상 데이터의 재깅을 개선하고, 3D 포맷으로 변환하여 출력하는 3D 포맷터를 포함하는 영상처리부; 상기 영상처리부로부터 출력된 3D 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하고, 상기 영상처리부는, 1 프레임의 3D 영상 데이터로부터 1 프레임의 좌안 영상 데이터와 1 프레임의 우안 영상 데이터를 생성하는 데이터 분리부; 상기 좌안 영상 데이터와 우안 영상 데이터 각각을 그레이 스케일 영상 데이터로 변환하는 그레이 스케일 변환부; 상기 그레이 스케일 영상 데이터로부터 대화창 영역의 유무를 판단하는 변위 값 산출부; 상기 대화창 영역이 존재하는 경우 상기 대화창 영역의 문자 가독성을 높이는 제1 데이터 변환부; 상기 그레이 스케일 영상 데이터의 에지를 검출하는 에지 검출부; 및 상기 에지로 검출된 영상 데이터의 복잡도를 판단하는 복잡도 판단부를 포함하고, 상기 복잡도가 높은 영상의 경우 시분할 알고리즘을 적용하며, 상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 것을 특징으로 한다.
본 발명은 입력 영상에 대화창이 있는지를 판단하고, 대화창 영역은 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터(들)을 산술평균한 값으로 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터(들)을 치환한다. 그 결과, 본 발명은 패턴 리타더 방식으로 입체영상 구현시 대화창의 문자 가독성을 높일 수 있다.
또한, 본 발명은 입력 영상이 복잡한 영상인지를 판단한 후, 복잡한 영상이면 좌안 영상 데이터와 우안 영상 데이터에 시분할 알고리즘을 적용하고, 단순한 영상이면 재깅 개선 알고리즘을 적용한 좌안 영상 데이터와 우안 영상 데이터에 시분할 알고리즘을 적용한다. 또한, 본 발명은 패턴 리타더 방식으로 입체영상 구현시 재깅을 개선할 수 있다.
도 1은 패턴 리타더 방식의 입체영상 표시장치를 보여주는 도면이다.
도 2는 재깅이 나타난 영상을 보여주는 이미지이다.
도 3은 본 발명의 실시예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다.
도 4는 표시패널, 패턴 리타더, 및 편광 안경을 보여주는 분해 사시도이다.
도 5는 도 3의 영상처리부를 상세히 나타내는 블록도이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 영상처리방법을 보여주는 흐름도이다.
도 7은 데이터 분리부에 입력된 3D 영상과 데이터 분리부에 의해 생성된 좌안 영상과 우안 영상의 일 예를 보여주는 도면이다.
도 8a 내지 도 8e는 입력 영상, 그레이 스케일 영상, 노이즈 제거 영상, 에지 검출 영상, 및 양자화된 영상을 보여주는 예시도면들이다.
도 9는 중심 픽셀 데이터, 변위 값 산출영역, 변위 값 산출 기준 픽셀 데이터, 및 마스크를 보여주는 예시도면이다.
도 10a 및 도 10b는 그레이 스케일 영상과 변위 값이 산출된 영상을 보여주는 예시도면들이다.
도 11a 및 도 11b는 단순한 영상과 복잡한 영상을 보여주는 예시도면들이다.
도 12는 3D 포맷터의 3D 포맷 방법의 일 예를 보여주는 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
도 3은 본 발명의 실시예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다. 도 4는 표시패널, 패턴 리타더, 및 편광 안경을 보여주는 분해 사시도이다. 도 3 및 도 4를 참조하면, 본 발명의 입체영상 표시장치는 표시패널(10), 편광 안경(20), 게이트 구동부(110), 데이터 구동부(120), 타이밍 콘트롤러(130), 영상처리부(140), 및 호스트 시스템(150) 등을 포함한다. 본 발명의 입체영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시예에서 액정표시소자를 중심으로 예시하였지만, 액정표시소자에 한정되지 않는 것에 주의하여야 한다.
표시패널(10)은 타이밍 콘트롤러(130)의 제어 하에 영상을 표시한다. 표시패널(10)은 두 장의 유리기판 사이에 액정층이 형성된다. 표시패널(10)의 하부 유리기판상에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)이 상호 교차되도록 형성되고, 데이터 라인(D)들과 게이트 라인(G)들에 의해 정의된 셀영역들에 픽셀들이 매트릭스 형태로 배치된 TFT 어레이가 형성된다. 표시패널(10)의 픽셀들 각각은 박막 트랜지스터에 접속되어 화소전극과 공통전극 사이의 전계에 의해 구동된다.
표시패널(10)의 상부 유리기판상에는 블랙매트릭스, 컬러필터, 공통전극 등을 포함하는 컬러필터 어레이가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 유리기판 상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 유리기판 상에 형성된다. 표시패널(10)의 액정모드는 전술한 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다.
표시패널(10)은 대표적으로 백라이트 유닛으로부터의 빛을 변조하는 투과형 액정표시패널이 선택될 수 있다. 백라이트 유닛은 백라이트 유닛 구동부로부터 공급되는 구동전류에 따라 점등하는 광원, 도광판(또는 확산판), 다수의 광학시트 등을 포함한다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛, 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다. 백라이트 유닛의 광원들은 HCFL(Hot Cathode Fluorescent Lamp), CCFL(Cold Cathode Fluorescent Lamp), EEFL(External Electrode Fluorescent Lamp), LED(Light Emitting Diode) 중 어느 하나의 광원 또는 두 종류 이상의 광원들을 포함할 수 있다.
백라이트 유닛 구동부는 백라이트 유닛의 광원들을 점등시키기 위한 구동전류를 발생한다. 백라이트 유닛 구동부는 백라이트 제어부의 제어 하에 광원들에 공급되는 구동전류를 온/오프(ON/OFF)한다. 백라이트 제어부는 호스트 시스템으로부터 입력되는 글로벌/로컬 디밍신호(DIM)에 따라 백라이트 휘도와 점등 타이밍을 조정한 백라이트 제어 데이터를 SPI(Serial Pheripheral Interface) 데이터 포맷으로 백라이트 유닛 구동부에 출력한다.
도 4를 참조하면, 표시패널(10)의 상부 유리기판에는 상부 편광판(11a)가 부착되고, 하부 유리기판에는 하부 편광판(11b)이 부착된다. 상부 편광판(11a)의 광투과축(r1)과 하부 편광판(11b)의 광투과축(r2)은 직교된다. 또한, 상부 유리기판과 하부 유리기판에는 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부 유리기판과 하부 유리기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서가 형성된다.
2D 모드에서, 표시패널(10)의 기수 라인들의 픽셀들과 우수 라인들의 픽셀들은 2D 영상을 표시한다. 3D 모드에서, 표시패널(10)의 기수 라인들의 픽셀들은 좌안 영상(또는 우안 영상)을 표시하고 우수 라인들의 픽셀들은 우안 영상(또는 좌안 영상)을 표시한다. 표시패널(10)의 픽셀들에 표시된 영상의 빛은 상부 편광필름을 통해 표시패널(10) 상에 배치된 패턴 리타더(Patterned Retarder)(30)에 입사된다.
패턴 리타더(30)의 기수 라인들에는 제1 리타더(31)가 형성되고, 우수 라인들에는 제2 리타더(32)가 형성된다. 따라서, 표시패널(10)의 기수 라인들의 픽셀들은 패턴 리타더(30)의 기수 라인들에 형성되는 제1 리타더(31)와 대향되고, 표시패널(10)의 우수 라인들의 픽셀들은 패턴 리타더(30)의 우수 라인들에 형성되는 제2 리타더(32)와 대향된다.
제1 리타더(31)는 표시패널(10)로부터의 빛의 위상값을 +λ/4(λ는 빛의 파장) 만큼 지연시킨다. 제2 리타더(32)는 표시패널(10)로부터의 빛의 위상값을 -λ/4 만큼 지연시킨다. 제1 리타더(31)의 광축(optic axis)(r3)과 제2 리타더(32)의 광축(r4)은 서로 직교된다. 패턴 리타더(30)의 제1 리타더(31)는 제1 원편광(좌원편광)만을 통과시키도록 구현될 수 있다. 제2 리타더(32)는 제2 원편광(우원편광)만을 통과시키도록 구현될 수 있다.
편광 안경(20)의 좌안 편광필터는 패턴 리타더(30)의 제1 리타더(31)와 동일한 광축을 가진다. 편광 안경(20)의 우안 편광필터는 패턴 리타더(30)의 제2 리타더(32)와 동일한 광축을 가진다. 예를 들어, 편광 안경(20)의 좌안 편광필터는 좌원편광 필터로 선택될 수 있고, 편광 안경(20)의 우안 편광필터는 우원편광 필터로 선택될 수 있다. 사용자는 3D 영상을 감상할 때 편광 안경을 쓰고, 2D 영상을 감상할 때 편광 안경을 벗어야 한다.
결국, 패턴 리타더 방식의 입체영상 표시장치에서, 표시패널(10)의 기수 라인들의 픽셀들에 표시되는 좌안 영상은 제1 리타더(31)를 통과하여 좌원편광으로 변환되고, 우수 라인들의 픽셀들에 표시되는 우안 영상은 제2 리타더(32)를 통과하여 우원편광으로 변환된다. 좌원편광은 편광 안경(20)의 좌안 편광필터를 통과하여 사용자의 좌안에 도달하게 되고, 우원편광은 편광 안경(20)의 우안 편광필터를 통과하여 사용자의 우안에 도달하게 된다. 따라서, 사용자는 좌안을 통하여 좌안 영상만을 보게 되고, 우안을 통하여 우안 영상만을 보게 된다.
데이터 구동부(120)는 다수의 소스 드라이브 IC를 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)로부터 입력되는 2D/3D 영상 데이터(RGB2D/RGB3D')를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.
게이트 구동부(110)는 타이밍 콘트롤러(130)의 제어 하에 데이터전압에 동기되는 게이트 펄스를 표시패널(10)의 게이트 라인(G)들에 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다. 또는, 게이트 구동부(110)는 GIP(Gate Drive IC in Panel) 방식으로 표시패널(10)의 하부 기판상에 직접 형성될 수도 있다. GIP 방식의 경우, 레벨 쉬프터는 PCB(Printed Circuit Board)상에 실장되고, 쉬프트 레지스터는 표시패널(10)의 하부 기판상에 형성될 수 있다.
타이밍 콘트롤러(130)는 영상처리부(140)로부터 출력된 2D/3D 영상 데이터(RGB2D/RGB3D')와 타이밍 신호들(Vsync, Hsync, DE, CLK)과 모드신호(MODE)에 기초하여 게이트 구동부 제어신호를 게이트 구동부(110)로 출력하고, 데이터 구동부 제어신호를 데이터 구동부(120)로 출력한다. 게이트 구동부 제어신호는 게이트 스타트 펄스(Gate Start Pulse, GSP), 게이트 쉬프트 클럭(Gate Shift Clock, GSC), 및 게이트 출력 인에이블신호(Gate Output Enable, GOE) 등을 포함한다. 게이트 스타트 펄스(GSP)는 첫 번째 게이트 펄스의 타이밍을 제어한다. 게이트 쉬프트 클럭(GSC)은 게이트 스타트 펄스(GSP)를 쉬프트시키기 위한 클럭신호이다. 게이트 출력 인에이블신호(GOE)는 게이트 구동부(110)의 출력 타이밍을 제어한다.
데이터 구동부 제어신호는 소스 스타트 펄스(Source Start Pulse, SSP), 소스 샘플링 클럭(Source Sampling Clock, SSC), 소스 출력 인에이블신호(Source Output Enable, SOE), 극성제어신호(POL) 등을 포함한다. 소스 스타트 펄스(SSP)는 데이터 구동부(120)의 데이터 샘플링 시작 시점을 제어한다. 소스 샘플링 클럭은 라이징 또는 폴링 에지에 기준하여 데이터 구동부(120)의 샘플링 동작을 제어하는 클럭신호이다. 데이터 구동부(120)에 입력될 디지털 비디오 데이터가 mini LVDS(Low Voltage Differential Signaling) 인터페이스 규격으로 전송된다면, 소스 스타트 펄스(SSP)와 소스 샘플링 클럭(SSC)은 생략될 수 있다. 극성제어신호(POL)는 데이터 구동부(120)로부터 출력되는 데이터전압의 극성을 L(L은 자연수) 수평기간 주기로 반전시킨다. 소스 출력 인에이블신호(SOE)는 데이터 구동부(120)의 출력 타이밍을 제어한다.
호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 2D/3D 영상 데이터(RGB2D/RGB3D)를 영상처리부(140)에 공급한다. 또한, 호스트 시스템(150)은 타이밍신호들(Vsync, Hsync, DE, CLK)과 모드신호(MODE) 등을 영상처리부(140)에 공급한다.
영상처리부(140)는 2D 모드와 3D 모드에 따라 구분되는 모드 신호(MODE)를 입력받는다. 영상처리부(140)는 모드 신호(MODE)에 따라 2D 모드에서 호스트 시스템(150)으로부터 입력된 2D 영상 데이터(RGB2D)를 그대로 타이밍 콘트롤러(130)로 출력한다. 또한, 영상처리부(140)는 모드 신호(MODE)에 따라 3D 모드에서 호스트 시스템(150)으로부터 입력된 3D 영상 데이터(RGB3D)를 본 발명의 영상처리방법에 따라 영상 처리한 후 3D 포맷으로 변환하여 출력한다. 호스트 시스템(150)으로부터 입력된 타이밍신호들(Vsync, Hsync, DE, CLK)은 영상처리부(140)에서 영상 처리된 3D 영상 데이터(RGB3D')의 타이밍에 맞게 변환된다. 영상처리부(140)에서 영상 처리된 3D 영상 데이터(RGB3D')와 타이밍 신호들(Vsync, Hsync, DE, CLK)은 타이밍 콘트롤러(130)에 입력된다. 본 발명의 영상처리부(140)와 영상처리방법에 대한 자세한 설명은 도 5 및 도 6을 결부하여 후술한다.
도 5는 도 3의 영상처리부를 상세히 나타내는 블록도이다. 도 6a 및 도 6b는 본 발명의 실시예에 따른 영상처리방법을 보여주는 흐름도이다. 도 5를 참조하면, 영상처리부(140)는 데이터 분리부(201), 그레이 스케일(Gray Scale) 변환부(202), 변위 값 산출부(203), 제1 데이터 변환부(204), 에지 검출부(205), 복잡도 판단부(206), 재깅 검출부(207), 제2 데이터 변환부(208), 데이터 비교부(209), 제3 데이터 변환부(210), 및 3D 포맷터(211)를 포함한다. 영상처리부(140)는 도 6a 및 도 6b에 도시된 흐름도의 순서에 맞게 S101 내지 S129 단계를 수행한다. 이하에서, 도 6a 내지 도 12를 결부하여 영상처리부(140)의 영상처리방법에 대하여 상세히 설명한다.
첫 번째로, 데이터 분리부(201)는 호스트 시스템(150)으로부터 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)가 입력된다. 데이터 분리부(201)는 모드 신호(MODE)를 통해 입력되는 영상 데이터가 2D 영상 데이터(RGB2D)인지 3D 영상 데이터(RGB3D)인지를 판단할 수 있다. 데이터 분리부(201)는 2D 영상 데이터(RGB2D)가 입력되는 경우, 2D 영상 데이터(RGB2D)를 그대로 3D 포맷터(211)로 출력한다. 3D 포맷터(211)는 2D 영상 데이터(RGB2D)가 입력되는 경우, 2D 영상 데이터(RGB2D)를 그대로 타이밍 콘트롤러(130)로 출력한다. (S101, S102)
데이터 분리부(201)에 입력되는 3D 영상 데이터(RGB3D)는 도 7 및 도 8a와 같이 좌반부에는 제1 내지 제n 라인의 좌안 영상 데이터(1L, 2L, 3L, 4L, …, n-1L, nL)가 배열되고, 우반부에는 제1 내지 제n 라인의 우안 영상 데이터(1R, 2R, 3R, 4R, …, n-1R, nR)가 배열된다. 따라서, 데이터 분리부(201)는 3D 영상 데이터(RGB3D)가 입력되는 경우, 도 7과 같이 1 프레임의 3D 영상 데이터(RGB3D)로부터 1 프레임의 좌안 영상 데이터(RGBL)와 1 프레임의 우안 영상 데이터(RGBR)를 생성한다. (S103)
두 번째로, 그레이 스케일 변환부(202)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 각각을 도 8b와 같이 그레이 스케일 영상 데이터로 변환한다. 그레이 스케일 변환부(202)는 수학식 1과 같이 좌안 영상 데이터(RGBL) 또는 우안 영상 데이터(RGBR)로부터 산출된다.
Figure 112011035973520-pat00001
수학식 1에서, G(RGB)는 그레이 스케일 영상 데이터, R은 R 데이터, G는 G 데이터, B는 B 데이터를 의미한다. 3D 영상 데이터(RGB3D)가 8비트(bits)로 입력되는 경우, R 데이터(R), G 데이터(G), B 데이터(B), 및 그레이 스케일 영상 데이터(G(RGB))는 0 내지 255 계조로 표현될 수 있다.
또한, 그레이 스케일 변환부(202)는 도 8c와 같이 메디안 필터(median filter) 등의 이미 알려진 공지의 필터를 사용하여 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))와 우안 영상 데이터(RGBR)의 그레이 스케일 영상 데이터(G(RGBR))의 노이즈를 제거할 수 있다. (S104)
세 번째로, 변위 값 산출부(203)는 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))와 우안 영상 데이터(RGBR)의 그레이 스케일 영상 데이터(G(RGBR))의 픽셀 데이터들 각각의 변위 값을 산출한다. 더욱 상세히 설명하면, 변위 값 산출부(203)는 중심 픽셀 데이터(P)로부터 변위 값 산출영역(A)을 설정하고, 변위 값 산출영역(A) 내에 위치하는 변위 값 산출 기준 픽셀 데이터(R)와 중심 픽셀 데이터(P) 간의 변위 값을 산출한다.
도 9에서, 변위 값 산출영역(A)은 중심 픽셀 데이터(P)로부터 8×8 영역으로 제1 내지 제4 사분면을 설정한 것을 중심으로 설명하였으나, 이에 한정되지 않음에 주의하여야 한다. 이때, 중심 픽셀 데이터(P)의 좌표는 (1, 1)이다. 도 9를 참조하면, 변위 값 산출부(203)는 중심 픽셀 데이터(P)를 기준으로 변위 값 산출영역(A) 내에서 스파이럴(Sprial) 형태로 마스크(Mask, M)를 이동시키면서 마스크(M) 내 픽셀들의 계조값 차이가 가장 작은 마스크(M)의 중심에 위치한 픽셀 데이터를 변위 값 산출 기준 픽셀 데이터(R)로 산출한다. 변위 값 산출부(203)는 중심 픽셀 데이터(P)와 변위 값 산출 기준 픽셀 데이터(R) 간의 변위를 수학식 2와 같이 산출한다.
Figure 112011035973520-pat00002
수학식 2에서, D는 변위, x1는 중심 픽셀 데이터(P)의 x 좌표, x2는 산출 기준 픽셀 데이터(R)의 x 좌표, y1는 중심 픽셀 데이터(P)의 y 좌표, y2는 산출 기준 픽셀 데이터(R)의 y 좌표를 의미한다. 변위 값 산출부(203)는 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))로부터 산출된 좌안 영상 변위 값 산출 데이터와 우안 영상 데이터(RGBR)의 그레이 스케일 영상 데이터(G(RGBR))로부터 산출된 우안 영상 변위 값 산출 데이터를 제1 데이터 변환부(204)로 출력한다. 도 10a에는 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))가 나타나 있고, 도 10b에는 그로부터 산출된 좌안 영상 변위 값 산출 데이터가 나타나 있다. (S105)
네 번째로, 제1 데이터 변환부(204)는 그레이 스케일 변환부(202)로부터 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))와 우안 영상 데이터(RGBR)의 그레이 스케일 영상 데이터(G(RGBR))를 입력받는다. 또한, 제1 데이터 변환부(204)는 변위 값 산출부(203)로부터 좌안 영상 변위 값 산출 데이터와 우안 영상 변위 값 산출 데이터를 입력받는다.
제1 데이터 변환부(204)는 좌안 영상 변위 값 산출 데이터와 우안 영상 변위 값 산출 데이터에서 변위(D)가 '0'인 중심 픽셀 데이터(P)와 그 인접 라인의 픽셀 데이터(들)의 산술평균값을 산출한다. 제1 데이터 변환부(204)는 중심 픽셀 데이터(P)와 그 인접 라인의 픽셀 데이터(들)을 산술평균값으로 치환한다. 예를 들어, 제k(k는 1<k<n을 만족하는 자연수, n은 표시패널(10)의 컬럼 방향 픽셀의 개수) 라인의 제j(j는 1<j<m을 만족하는 자연수, m은 표시패널(10)의 로우 방향 픽셀의 개수) 픽셀 데이터와 제k+1 라인의 제j 픽셀 데이터를 제k 라인의 제j 픽셀 데이터와 제k+1 라인의 제j+1 픽셀 데이터의 산술평균으로 치환할 수 있다. 또는 제1 데이터 변환부(204)는 좌안 영상 변위 값 산출 데이터와 우안 영상 변위 값 산출 데이터에서 변위(D)가 '0'인 제k-1 라인의 제j 픽셀 데이터, 제k 라인의 제j 픽셀 데이터, 및 제k+1 라인의 제j 픽셀 데이터를 제k-1 라인의 제j 픽셀 데이터, 제k 라인의 제j 픽셀 데이터, 및 제k+1 라인의 제j+1 픽셀 데이터의 산술평균으로 치환할 수도 있다.
이때, 제1 데이터 변환부(204)는 변위(D)가 '0'인 중심 픽셀 데이터(P)와 그 인접 라인의 픽셀 데이터(들)을 좌안 영상 변위 값 산출 데이터와 우안 영상 변위 값 산출 데이터로부터 판단한다. 또한, 제1 데이터 변환부(204)는 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))와 우안 영상 데이터(RGBR)의 그레이 스케일 영상 데이터(G(RGBR))를 이용하여 중심 픽셀 데이터(P)와 그 인접 라인의 픽셀 데이터(들)의 산술평균값을 구한다.
한편, 대화창 영역을 패턴 리타더 방식의 입체영상으로 표시하는 경우, 재깅으로 인해 문자 가독성이 떨어질 수 있다. 중심 픽셀 데이터(P)와 변위 값 산출 기준 픽셀 데이터(R) 간의 변위가 0이라는 것은 대화창 영역 등의 존재로 인해 중심 픽셀 데이터(P)와 변위 값 산출 기준 픽셀 데이터(R) 사이의 데이터 값에 차이가 없다는 것을 의미한다. 따라서, 본 발명은 중심 픽셀 데이터(P)와 변위 값 산출 기준 픽셀 데이터(R) 간의 변위가 0인 경우 중심 픽셀 데이터(P)와 그 인접 라인의 픽셀 데이터(들)을 산술평균하고, 중심 픽셀 데이터(P)와 그 인접 라인의 픽셀 데이터(들)을 산술평균값으로 치환한다. 그 결과, 본 발명은 대화창 영역의 재깅을 개선할 수 있고, 이로 인해 대화창 영역의 문자 가독성을 높일 수 있는 효과가 있다.
다만, 대화창 영역의 유무를 판단하기 위하여, 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)의 동일 위치에 대화창 영역을 배치하는 것이 선행되어야 한다. 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)의 동일 위치에 대화창 영역을 배치함으로써, 좌안 영상 데이터(RGBL)의 대화창 영역과 우안 영상 데이터(RGBR)의 대화창 영역이 일치하게 되기 때문이다. (S106, S107)
다섯 번째로, 에지 검출부(205)는 대화창 영역의 재깅을 개선하여 문자 가독성을 높인 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))와 우안 영상 데이터(RGBR)의 그레이 스케일 영상 데이터(G(RGBR)) 각각의 에지(edge)를 검출한다. 재깅은 주로 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)의 에지(edge) 영역에서 발생하기 때문이다. 에지 검출부(205)는 도 8d와 같이 소벨 마스크(sobel mask) 등의 이미 알려진 공지의 마스크를 이용하여 좌안 영상 데이터(RGBL)의 그레이 스케일 영상 데이터(G(RGBL))와 우안 영상 데이터(RGBR)의 그레이 스케일 영상 데이터(G(RGBR)) 각각의 에지(edge)를 검출한다. 이때, 소벨 마스크는 p×q(p, q는 2 이상의 자연수) 마스크로 설정될 수 있고, 마스크 계수는 사전 실험에 의해 결정될 수 있다.
하지만, 복잡한 영상일수록 에지(edge) 이외의 영역이 에지(edge)로 검출될 수 있으므로, 더욱 신뢰성 있게 에지(edge)를 검출할 필요가 있다. 따라서, 에지 검출부(205)는 에지(edge)가 검출된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 각각을 양자화(Quantization)한다. 양자화(Quantization)는 에지(edge)로 검출된 영역에 최고 계조값을 부여하고, 에지(edge)로 검출되지 않은 영역에 최저 계조값을 부여함으로써, 에지(edge)로 검출된 영역을 강조하는 과정이다. 그 결과, 도 8e와 같이 양자화된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)는 도 8d에 비해 에지(edge) 영역이 더욱 선명하게 나타난다. (S108)
여섯 번째로, 복잡도 판단부(206)는 양자화된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 각각의 복잡도를 판단한다. 도 11b와 같이 복잡도가 높은 영상일수록 재깅의 발생 비율이 높게 나타나는 문제가 발생한다. 따라서, 본 발명은 복잡도가 높은 영상에 본 발명의 3D 포맷 방법인 시분할 알고리즘을 이용하여 재깅의 발생 비율을 줄인다. 하지만, 도 11a와 같이 복잡도가 낮은 영상은 본 발명의 3D 포맷 방법인 시분할 알고리즘을 이용할 경우 오히려 재깅의 발생 비율이 높아지므로, 복잡도가 낮은 영상에 대하여 재깅 개선 알고리즘을 적용할 필요가 있다. 본 발명의 3D 포맷 방법인 시분할 알고리즘은 S131 단계에서 상세히 설명한다. 이를 위해, 복잡도 판단부(206)는 양자화된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 각각의 복잡도를 판단한 후, 복잡도가 높은 영상은 바로 시분할 알고리즘을 적용하고, 복잡도가 낮은 영상은 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용한다.
복잡도 판단부(206)는 양자화된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 각각의 라인별로 에지의 개수가 제1 문턱값 이상인 경우를 카운트한다. 복잡도 판단부(206)는 상기 카운트한 값이 제2 문턱값 이상인 경우, 복잡도가 높은 영상으로 판단하고, 상기 카운트한 값이 제2 문턱값보다 작은 경우, 복잡도가 낮은 영상으로 판단한다. 제1 문턱값은 라인별 픽셀 데이터의 10%로 설정될 수 있으며, 제1 및 제2 문턱값은 사전 실험을 통해 결정될 수 있다.
복잡도 판단부(206)가 양자화된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 각각을 복잡도가 높은 영상으로 판단한 경우, 3D 포맷 방법인 시분할 알고리즘이 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)에 적용된다. 복잡도 판단부(206)가 양자화된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 각각을 복잡도가 낮은 영상으로 판단한 경우, 재깅 개선 알고리즘이 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)에 적용된다. (S109, S110)
일곱 번째로, 재깅 검출부(207)는 양자화된 좌안 영상 데이터(RGBL)의 제k-1 라인에서 검출된 에지의 수(ELK -1)와 제k 라인에서 검출된 에지의 수(ELK)를 비교한다. 재깅 검출부(207)는 수학식 3과 같이 좌안 영상 데이터(RGBL)의 제k-1 라인의 에지의 수(ELK -1)와 제k 라인의 에지의 수(ELK)의 차이가 제3 문턱값(TH3) 이상인지를 판단한다. 제3 문턱값(TH3)은 표시패널(10)의 해상도 등에 따라 달라질 수 있으며, 사전 실험을 통해 결정될 수 있다.
Figure 112011035973520-pat00003
재깅 검출부(207)는 S112 단계를 수행하기 이전에 S111 단계에서 k=2, j=1로 세팅한다. k=2로 세팅하는 것은 재깅 검출부(207)가 좌안 영상 데이터(RGBL)의 제2 내지 제n 라인까지 재깅 영역을 검출하게 하기 위함이다. 또한, j=1로 세팅하는 것은 데이터 비교부(209)와 제3 데이터 변환부(210)가 좌안 영상 데이터(RGBL)의 제k-1 라인과 제k 라인의 제1 내지 제m 픽셀 데이터들 모두에 대하여 S114, 및 S115 단계를 수행하게 하기 위함이다. (S111, S112)
여덟 번째로, 제2 데이터 변환부(208)는 좌안 영상 데이터(RGBL)의 제k-1 라인에서 검출된 에지의 수(ELK -1)와 제k 라인에서 검출된 에지의 수(ELK)의 차이가 제3 문턱값(TH3) 이상인 경우, 좌안 영상 데이터(RGBL)의 제k 라인의 픽셀 데이터들을 제k-1 라인의 픽셀 데이터들로 치환한다.
좌안 영상 데이터(RGBL)의 제k-1 라인에서 검출된 에지의 수(ELK -1)와 제k 라인에서 검출된 에지의 수(ELK)의 차이가 제3 문턱값(TH3) 이상이라는 것은 좌안 영상 데이터(RGBL)의 제k-1 라인의 에지 영역과 제k 라인의 에지 영역이 다르다는 것을 의미한다. 이 경우, 좌안 영상 데이터(RGBL)의 제k-1 라인과 제k 라인 사이에서 재깅이 발생할 수 있다. 따라서, 제2 데이터 변환부(208)는 좌안 영상 데이터(RGBL)의 제k 라인의 픽셀 데이터들을 제k-1 라인의 픽셀 데이터들로 치환함으로써, 재깅을 개선할 수 있다. (S113)
아홉 번째로, 데이터 비교부(209)는 수학식 4와 같이 좌안 영상 데이터(RGBL)의 제k-1 라인의 제j 픽셀 데이터의 계조값(GJK-1)과 제k 라인의 제j 픽셀 데이터의 계조값(GJK)의 차이가 제4 문턱값 이상인지를 판단한다. 제4 문턱값(TH4)은 사전 실험을 통해 결정될 수 있다.
Figure 112011035973520-pat00004
제3 데이터 변환부(210)는 좌안 영상 데이터(RGBL)의 제k-1 라인의 제j 픽셀 데이터의 계조값(GJK-1)과 제k 라인의 제j 픽셀 데이터의 계조값(GJK)의 차이가 제4 문턱값(TH4) 이상인 경우, 좌안 영상 데이터(RGBL)의 제k 라인의 제j 픽셀 데이터를 제k-1 라인의 제j 픽셀 데이터로 치환한다. 또는, 제3 데이터 변환부(210)는 좌안 영상 데이터(RGBL)의 제k 라인의 제j 픽셀 데이터를 다른 데이터로 보간(Interpolation)할 수도 있다. 예를 들어, 제3 데이터 변환부(210)는 좌안 영상 데이터(RGBL)의 제k 라인의 제j 픽셀 데이터를 제k-1 라인의 제j 픽셀 데이터와 제k 라인의 제j 픽셀 데이터를 산술평균값으로 치환할 수 있다.
좌안 영상 데이터(RGBL)의 제k-1 라인의 제j 픽셀 데이터의 계조값(GJK-1)과 제k 라인의 제j 픽셀 데이터의 계조값(GJK)의 차이가 제4 문턱값(TH4) 이상이라는 것은 좌안 영상 데이터(RGBL)의 제k-1 라인의 제j 픽셀 데이터와 제k 라인의 제j 픽셀 데이터가 다르다는 것을 의미한다. 이 경우, 좌안 영상 데이터(RGBL)의 제k-1 라인과 제k 라인 사이에서 재깅이 발생할 수 있다. 따라서, 제3 데이터 변환부(210)는 좌안 영상 데이터(RGBL)의 제k 라인의 제j 픽셀 데이터를 제k-1 라인의 제j 픽셀 데이터로 치환하거나, 제k 라인의 제j 픽셀 데이터를 산술평균 등의 보간법(Interpolation)을 이용하여 다른 데이터로 치환함으로써, 재깅을 개선할 수 있다. (S115)
데이터 비교부(209)와 제3 데이터 변환부(210)는 좌안 영상 데이터(RGBL)의 제k-1 라인과 제k 라인의 제1 내지 제m 픽셀 데이터들 모두에 대하여 S114, 및 S115 단계를 수행한다. (S116, S117)
재깅 검출부(207), 제2 데이터 변환부(208), 데이터 비교부(209), 제3 데이터 변환부(210)는 좌안 영상 데이터(RGBL)의 제2 내지 제n 라인들 모두에 대하여 S112 내지 S117 단계를 반복해서 수행한다. (S118 내지 S120)
또한, 재깅 검출부(207), 제2 데이터 변환부(208), 데이터 비교부(209), 제3 데이터 변환부(210)는 우안 영상 데이터(RGBR)의 제2 내지 제n 라인들 모두에 대하여 S121 내지 S130 단계를 수행한다. 우안 영상 데이터(RGBR)의 재깅 개선 알고리즘인 S121 내지 S130 단계는 S111 내지 S120 단계에서 설명한 바와 같다. (S121 내지 S130)
3D 포맷터(211)는 입력된 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)에 3D 포맷 방법인 시분할 알고리즘을 적용한다. 3D 포맷터(211)는 도 12와 같이 기수 프레임에는 기수 라인들에 좌안 영상 데이터(RGBL)를 배열하고, 우수 라인들에 우안 영상 데이터(RGBR)를 배열한 3D 영상 데이터(RGB3D')를 출력한다. 또한, 3D 포맷터(211)는 도 12와 같이 우수 프레임에는 기수 프레임에 배열되지 않은 좌안 영상 데이터(RGBL)를 기수 라인들에 배열하고, 기수 프레임에 배열되지 않은 우안 영상 데이터(RGBR)를 우수 라인에 배열한 3D 영상 데이터(RGB3D')를 출력한다. 예를 들어, 3D 포맷터(211)는 기수 프레임의 기수 라인들에는 좌안 영상 데이터(RGBL)의 기수 라인들(1L, 3L, …, 1079L)을 배열하고, 기수 프레임의 우수 라인들에는 우안 영상 데이터(RGBR)의 우수 라인들(2R, 4R, …, 1080R)을 배열한다. 3D 포맷터(211)는 우수 프레임의 기수 라인들에는 좌안 영상 데이터(RGBL)의 우수 라인들(2L, 4L, …, 1080L)을 배열하고, 우수 프레임의 우수 라인들에는 우안 영상 데이터(RGBR)의 기수 라인들(1R, 3R, …, 1079R)을 배열한다.
하지만, 3D 포맷터(211)의 3D 포맷 방법은 이에 한정되지 않음에 주의하여야 한다. 즉, 3D 포맷터(211)는 기수 프레임의 기수 라인들에 좌안 영상 데이터(RGBL)의 우수 라인들(2L, 4L, …, 1080L)을 배열하고, 기수 프레임의 우수 라인들에는 우안 영상 데이터(RGBR)의 기수 라인들(1R, 3R, …, 1079R)을 배열할 수 있다. 또한, 3D 포맷터(211)는 우수 프레임의 기수 라인들에는 좌안 영상 데이터(RGBL)의 기수 라인들(1L, 3L, …, 1079L)을 배열하고, 우수 프레임의 우수 라인들에는 우안 영상 데이터(RGBR)의 우수 라인들(2R, 4R, …, 1080R)을 배열할 수도 있다. 나아가, 3D 포맷터(211)의 3D 포맷 방법은 패턴 리타더(30)의 제1 리타더(31)와 제2 리타더(32)의 배치에 따라 달라질 수 있다.
3D 포맷터(211)는 3D 포맷으로 변환된 3D 영상 데이터(RGB3D')를 타이밍 콘트롤러(130)로 출력한다. 표시패널(10)은 타이밍 콘트롤러(130)의 제어하에 3D 영상 데이터(RGB3D')를 공급받는다. 표시패널(10)의 기수 라인들에는 좌안 영상이 표시되고, 우수 라인들에는 우안 영상이 표시된다. (S125)
이상에서 살펴본 바와 같이, 본 발명의 영상처리부(140)는 입력 영상에 대화창이 있는지를 판단하고, 대화창 영역의 경우 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터(들)을 산술평균한 값으로 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터(들)을 치환한다. 그 결과, 본 발명은 패턴 리타더 방식으로 입체영상 구현시 대화창의 문자 가독성을 높일 수 있다.
또한, 본 발명의 영상처리부(140)는 3D 영상 데이터(RGB3D)의 복잡도에 따라 재깅을 개선한다. 구체적으로, 본 발명의 영상처리부(140)는 3D 영상 데이터(RGB3D)의 복잡도가 높은 경우 3D 포맷 방법인 시분할 알고리즘을 적용하여 재깅을 개선한다. 본 발명의 영상처리부(140)는 3D 영상 데이터(RGB3D)의 복잡도가 낮은 경우 재깅 개선 알고리즘을 적용한 후 3D 포맷 방법인 시분할 알고리즘을 적용하여 재깅을 개선한다. 그 결과, 본 발명은 패턴 리타더 방식으로 입체영상 구현시 재깅을 개선할 수 있다.
이상, 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시패널 11a: 상부 편광판
11b: 하부 편광판 20: 편광안경
30: 패턴 리타더 31: 제1 리타더
32: 제2 리타더 110: 게이트 구동부
120: 데이터 구동부 130: 타이밍 콘트롤러
140: 영상처리부 150: 호스트 시스템
201: 데이터 분리부 202: 그레이 스케일 변환부
203: 변위 값 산출부 204: 제1 데이터 변환부
205: 에지 검출부 206: 복잡도 판단부
207: 재깅 검출부 208: 제2 데이터 변환부
209: 데이터 비교부 210: 제3 데이터 변환부
211: 3D 포맷터

Claims (20)

  1. 입력되는 영상 데이터가 3D 영상 데이터인지를 판단하는 단계;
    1 프레임의 3D 영상 데이터로부터 1 프레임의 좌안 영상 데이터와 1 프레임의 우안 영상 데이터를 생성하는 단계;
    상기 좌안 영상 데이터와 우안 영상 데이터 각각을 그레이 스케일 영상 데이터로 변환하는 단계;
    상기 그레이 스케일 영상 데이터로부터 대화창 영역의 유무를 판단하여, 상기 대화창 영역이 존재하는 경우 상기 대화창 영역의 문자 가독성을 높이는 단계;
    상기 그레이 스케일 영상 데이터의 에지를 검출하는 단계;
    상기 에지로 검출된 영상 데이터의 라인별로 에지의 개수가 제1 문턱값 이상인 경우를 카운트하고, 상기 카운트한 값이 제2 문턱값 이상인 경우 복잡도가 높은 영상으로 판단하고, 상기 카운트한 값이 상기 제2 문턱값보다 작은 경우 상기 복잡도가 낮은 영상으로 판단하는 단계;
    상기 복잡도가 높은 영상의 경우 시분할 알고리즘을 적용하는 단계; 및
    상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계를 포함하고,
    상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계는,
    상기 좌안 또는 우안 영상 데이터의 제k-1(k는 1<k=n 을 만족하는 자연수, n은 표시패널의 컬럼 방향 픽셀의 개수) 라인에서 검출된 에지의 개수와 제k 라인에서 검출된 에지의 개수의 차이가 제3 문턱값 이상인지를 판단하는 단계; 및
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인에서 검출된 에지의 개수와 제k 라인에서 검출된 에지의 개수의 차이가 상기 제3 문턱값 이상인 경우, 상기 좌안 또는 우안 영상 데이터의 제k 라인의 픽셀 데이터들을 상기 제k-1 라인의 픽셀 데이터들로 치환하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
  2. 제 1 항에 있어서,
    상기 그레이 스케일 영상 데이터로부터 대화창 영역의 유무를 판단하여, 상기 대화창 영역이 존재하는 경우 상기 대화창 영역의 문자 가독성을 높이는 단계는,
    상기 그레이 스케일 영상 데이터에서 상기 대화창 영역인지를 판단하고자 하는 중심 픽셀 데이터로부터 변위 값 산출영역을 설정하고, 상기 변위 값 산출영역 내에 위치하는 변위 값 산출 기준 픽셀 데이터와 상기 중심 픽셀 데이터 간의 변위 값을 산출하며, 상기 변위 값이 '0'인 경우 상기 대화창 영역으로 판단하고, 상기 변위 값이 '0'이 아닌 경우 상기 대화창 영역으로 판단하지 않는 단계인 것을 특징으로 하는 영상처리방법.
  3. 제 2 항에 있어서,
    상기 그레이 스케일 영상 데이터로부터 대화창 영역의 유무를 판단하여, 상기 대화창 영역이 존재하는 경우 상기 대화창 영역의 문자 가독성을 높이는 단계는,
    상기 대화창 영역의 경우 상기 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터의 산술평균값을 산출하고, 상기 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터를 상기 산술평균값으로 치환하는 단계인 것을 특징으로 하는 영상처리방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 복잡도가 높은 영상의 경우 시분할 알고리즘을 적용하는 단계는,
    상기 복잡도가 높은 영상의 경우, 기수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 기수 라인들을 배열하고, 상기 기수 프레임의 우수 라인들에 상기 우안 영상 데이터의 우수 라인들을 배열하며, 우수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 우수 라인들을 배열하고, 상기 우수 프레임의 우수 라인들에 상기 우안 영상 데이터의 기수 라인들을 배열하여 3D 영상 데이터를 출력하는 단계인 것을 특징으로 하는 영상처리방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계는,
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인에서 검출된 에지의 개수와 제k 라인에서 검출된 에지의 개수의 차이가 상기 제3 문턱값 보다 작은 경우, 상기 좌안 또는 우안 영상 데이터의 제k-1 라인의 제j(j는 1≤j≤m 을 만족하는 자연수, m은 상기 표시패널의 로우 방향 픽셀의 개수) 픽셀 데이터의 계조값과 제k 라인의 제j 픽셀 데이터의 계조값의 차이가 제4 문턱값 이상인지를 판단하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
  8. 제 7 항에 있어서,
    상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계는,
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인의 제j 픽셀 데이터의 계조값과 제k 라인의 제j 픽셀 데이터의 계조값의 차이가 상기 제4 문턱값 이상인 경우, 상기 좌안 또는 우안 영상 데이터의 제k 라인의 제j 픽셀 데이터를 상기 제k-1 라인의 제j 픽셀 데이터로 치환하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
  9. 제 7 항에 있어서,
    상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계는,
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인의 제j 픽셀 데이터의 계조값과 제k 라인의 제j 픽셀 데이터의 계조값의 차이가 상기 제4 문턱값 이상인 경우, 상기 좌안 또는 우안 영상 데이터의 제k 라인의 제j 픽셀 데이터를 상기 제k-1 라인의 제j 픽셀 데이터와 제k 라인의 제j 픽셀 데이터의 산술평균값으로 치환하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
  10. 제 7 항에 있어서,
    상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하는 단계는,
    기수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 기수 라인들을 배열하고, 상기 기수 프레임의 우수 라인들에 상기 우안 영상 데이터의 우수 라인들을 배열하며, 우수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 우수 라인들을 배열하고, 상기 우수 프레임의 우수 라인들에 상기 우안 영상 데이터의 기수 라인들을 배열하여 3D 영상 데이터를 출력하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
  11. 데이터 라인들과 게이트 라인들이 교차되는 표시패널;
    입력되는 3D 영상 데이터의 재깅을 개선하고, 3D 포맷으로 변환하여 출력하는 3D 포맷터를 포함하는 영상처리부;
    상기 영상처리부로부터 출력된 3D 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
    상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하고,
    상기 영상처리부는,
    1 프레임의 3D 영상 데이터로부터 1 프레임의 좌안 영상 데이터와 1 프레임의 우안 영상 데이터를 생성하는 데이터 분리부;
    상기 좌안 영상 데이터와 우안 영상 데이터 각각을 그레이 스케일 영상 데이터로 변환하는 그레이 스케일 변환부;
    상기 그레이 스케일 영상 데이터로부터 대화창 영역의 유무를 판단하는 변위 값 산출부;
    상기 대화창 영역이 존재하는 경우 상기 대화창 영역의 문자 가독성을 높이는 제1 데이터 변환부;
    상기 그레이 스케일 영상 데이터의 에지를 검출하는 에지 검출부; 및
    상기 에지로 검출된 영상 데이터의 라인별로 에지의 개수가 제1 문턱값 이상인 경우를 카운트하고, 상기 카운트한 값이 제2 문턱값 이상인 경우 복잡도가 높은 영상으로 판단하고, 상기 카운트한 값이 상기 제2 문턱값보다 작은 경우 상기 복잡도가 낮은 영상으로 판단하는 복잡도 판단부를 포함하고,
    상기 영상처리부는, 상기 복잡도가 높은 영상의 경우 시분할 알고리즘을 적용하며, 상기 복잡도가 낮은 영상의 경우 재깅 개선 알고리즘을 적용한 후 시분할 알고리즘을 적용하고,
    상기 영상처리부는,
    상기 좌안 또는 우안 영상 데이터의 제k-1(k는 1<k=n 을 만족하는 자연수, n은 표시패널의 컬럼 방향 픽셀의 개수) 라인에서 검출된 에지의 개수와 제k 라인에서 검출된 에지의 개수의 차이가 제3 문턱값 이상인지를 판단하는 재깅 검출부; 및
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인에서 검출된 에지의 개수와 제k 라인에서 검출된 에지의 개수의 차이가 상기 제3 문턱값 이상인 경우, 상기 좌안 또는 우안 영상 데이터의 제k 라인의 픽셀 데이터들을 상기 제k-1 라인의 픽셀 데이터들로 치환하는 제2 데이터 변환부를 더 포함하는 것을 특징으로 하는 입체영상 표시장치.
  12. 제 11 항에 있어서,
    상기 변위 값 산출부는,
    상기 그레이 스케일 영상 데이터에서 상기 대화창 영역인지를 판단하고자 하는 중심 픽셀 데이터로부터 변위 값 산출영역을 설정하고, 상기 변위 값 산출영역 내에 위치하는 변위 값 산출 기준 픽셀 데이터와 상기 중심 픽셀 데이터 간의 변위 값을 산출하며, 상기 변위 값이 '0'인 경우 상기 대화창 영역으로 판단하고, 상기 변위 값이 '0'이 아닌 경우 상기 대화창 영역으로 판단하지 않는 것을 특징으로 하는 입체영상 표시장치.
  13. 제 12 항에 있어서,
    상기 제1 데이터 변환부는,
    상기 대화창 영역의 경우 상기 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터의 산술평균값을 산출하고, 상기 중심 픽셀 데이터와 그 인접 라인의 픽셀 데이터를 상기 산술평균값으로 치환하는 것을 특징으로 하는 입체영상 표시장치.
  14. 삭제
  15. 제 11 항에 있어서,
    상기 영상 처리부는,
    상기 복잡도가 높은 영상의 경우, 기수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 기수 라인들을 배열하고, 상기 기수 프레임의 우수 라인들에 상기 우안 영상 데이터의 우수 라인들을 배열하며, 우수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 우수 라인들을 배열하고, 상기 우수 프레임의 우수 라인들에 상기 우안 영상 데이터의 기수 라인들을 배열하여 3D 영상 데이터를 출력하는 3D 포맷터를 더 포함하는 것을 특징으로 하는 입체영상 표시장치.
  16. 삭제
  17. 제 11 항에 있어서,
    상기 영상처리부는,
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인에서 검출된 에지의 개수와 제k 라인에서 검출된 에지의 개수의 차이가 상기 제3 문턱값 보다 작은 경우, 상기 좌안 또는 우안 영상 데이터의 제k-1 라인의 제j(j는 1≤j≤m 을 만족하는 자연수, m은 상기 표시패널의 로우 방향 픽셀의 개수) 픽셀 데이터의 계조값과 제k 라인의 제j 픽셀 데이터의 계조값의 차이가 제4 문턱값 이상인지를 판단하는 데이터 비교부를 더 포함하는 것을 특징으로 하는 입체영상 표시장치.
  18. 제 17 항에 있어서,
    상기 영상처리부는,
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인의 제j 픽셀 데이터의 계조값과 제k 라인의 제j 픽셀 데이터의 계조값의 차이가 상기 제4 문턱값 이상인 경우, 상기 좌안 또는 우안 영상 데이터의 제k 라인의 제j 픽셀 데이터를 상기 제k-1 라인의 제j 픽셀 데이터로 치환하는 제3 데이터 변환부를 더 포함하는 것을 특징으로 하는 입체영상 표시장치.
  19. 제 17 항에 있어서,
    상기 영상처리부는,
    상기 좌안 또는 우안 영상 데이터의 제k-1 라인의 제j 픽셀 데이터의 계조값과 제k 라인의 제j 픽셀 데이터의 계조값의 차이가 상기 제4 문턱값 이상인 경우, 상기 좌안 또는 우안 영상 데이터의 제k 라인의 제j 픽셀 데이터를 상기 제k-1 라인의 제j 픽셀 데이터와 제k 라인의 제j 픽셀 데이터의 산술평균값으로 치환하는 제3 데이터 변환부를 더 포함하는 것을 특징으로 하는 입체영상 표시장치.
  20. 제 17 항에 있어서,
    상기 영상처리부는,
    기수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 기수 라인들을 배열하고, 상기 기수 프레임의 우수 라인들에 상기 우안 영상 데이터의 우수 라인들을 배열하며, 우수 프레임의 기수 라인들에 상기 좌안 영상 데이터의 우수 라인들을 배열하고, 상기 우수 프레임의 우수 라인들에 상기 우안 영상 데이터의 기수 라인들을 배열하여 3D 영상 데이터를 출력하는 3D 포맷터를 더 포함하는 것을 특징으로 하는 입체영상 표시장치.
KR1020110045668A 2011-05-16 2011-05-16 영상처리방법과 이를 이용한 입체영상 표시장치 KR101773616B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110045668A KR101773616B1 (ko) 2011-05-16 2011-05-16 영상처리방법과 이를 이용한 입체영상 표시장치
US13/472,361 US9092871B2 (en) 2011-05-16 2012-05-15 Image processing method and stereoscopic image display device using the same
CN201210160917.9A CN102790891B (zh) 2011-05-16 2012-05-16 图像处理方法及采用该图像处理方法的立体图像显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110045668A KR101773616B1 (ko) 2011-05-16 2011-05-16 영상처리방법과 이를 이용한 입체영상 표시장치

Publications (2)

Publication Number Publication Date
KR20120127893A KR20120127893A (ko) 2012-11-26
KR101773616B1 true KR101773616B1 (ko) 2017-09-13

Family

ID=47156179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110045668A KR101773616B1 (ko) 2011-05-16 2011-05-16 영상처리방법과 이를 이용한 입체영상 표시장치

Country Status (3)

Country Link
US (1) US9092871B2 (ko)
KR (1) KR101773616B1 (ko)
CN (1) CN102790891B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937103B (zh) * 2015-12-31 2018-11-30 深圳超多维科技有限公司 一种图像处理方法及装置
CN106937104B (zh) * 2015-12-31 2019-03-26 深圳超多维科技有限公司 一种图像处理方法及装置
CN105681778B (zh) * 2016-01-05 2018-07-10 京东方科技集团股份有限公司 一种三维显示装置及其驱动方法
CN110619614B (zh) * 2019-10-24 2023-05-16 广州酷狗计算机科技有限公司 图像处理的方法、装置、计算机设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080226181A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100648308B1 (ko) * 2004-08-12 2006-11-23 삼성전자주식회사 해상도 변환방법 및 장치
CN1333574C (zh) * 2004-09-29 2007-08-22 致伸科技股份有限公司 一种数字图像中提取文本区域的方法
KR100772906B1 (ko) * 2005-08-12 2007-11-05 삼성전자주식회사 영상신호 표시 방법 및 장치
US7477777B2 (en) * 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
KR100818988B1 (ko) * 2006-09-05 2008-04-04 삼성전자주식회사 영상신호 처리 방법 및 장치
EP1931150A1 (en) * 2006-12-04 2008-06-11 Koninklijke Philips Electronics N.V. Image processing system for processing combined image data and depth data
WO2010035486A1 (ja) * 2008-09-29 2010-04-01 パナソニック株式会社 映像信号処理装置
WO2010048632A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
CN101777176B (zh) * 2009-01-13 2012-10-31 北京大学 一种去除挂网图像锯齿的方法及装置
KR101002660B1 (ko) * 2009-04-23 2010-12-20 삼성모바일디스플레이주식회사 전자 영상 기기 및 그 구동 방법
KR20100138806A (ko) * 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
GB2478157A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
GB2478156A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for generating a disparity map for stereoscopic images
GB2478776B (en) * 2010-03-18 2015-08-19 Snell Ltd Analysis of stereoscopic images
US8571314B2 (en) * 2010-09-02 2013-10-29 Samsung Electronics Co., Ltd. Three-dimensional display system with depth map mechanism and method of operation thereof
CN102045530B (zh) * 2010-12-30 2012-05-23 北京中科大洋科技发展股份有限公司 一种基于边缘检测的运动自适应的去交织方法
US8619094B2 (en) * 2011-01-07 2013-12-31 Sony Computer Entertainment America Llc Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image
KR101793283B1 (ko) * 2011-04-20 2017-11-02 엘지디스플레이 주식회사 재깅 개선방법과 이를 이용한 입체영상 표시장치
KR101829459B1 (ko) * 2011-07-14 2018-02-14 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치
US9191649B2 (en) * 2011-08-12 2015-11-17 Qualcomm Incorporated Systems and methods to capture a stereoscopic image pair

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080226181A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images

Also Published As

Publication number Publication date
CN102790891B (zh) 2014-12-17
US9092871B2 (en) 2015-07-28
US20120293502A1 (en) 2012-11-22
CN102790891A (zh) 2012-11-21
KR20120127893A (ko) 2012-11-26

Similar Documents

Publication Publication Date Title
KR101888672B1 (ko) 입체영상 표시장치와 그 구동방법
KR101831652B1 (ko) 입체영상 표시장치와 그 구동방법
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
US8743111B2 (en) Stereoscopic image display and method for driving the same
KR101829459B1 (ko) 영상처리방법과 이를 이용한 입체영상 표시장치
KR101793283B1 (ko) 재깅 개선방법과 이를 이용한 입체영상 표시장치
KR101840876B1 (ko) 입체영상 표시장치와 그 구동방법
KR101296902B1 (ko) 영상처리부와 이를 이용한 입체영상 표시장치, 및 영상처리방법
KR101773616B1 (ko) 영상처리방법과 이를 이용한 입체영상 표시장치
US9420269B2 (en) Stereoscopic image display device and method for driving the same
KR102126532B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR101894090B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101929042B1 (ko) 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
KR101843197B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101838752B1 (ko) 입체영상 표시장치와 그 구동방법
KR101870233B1 (ko) 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치
KR101843198B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101763941B1 (ko) 입체영상 표시장치
KR20130012672A (ko) 입체영상 표시장치와 그 구동방법
KR20130028345A (ko) 재깅 검출방법과 이를 이용한 입체영상 표시장치
KR20140070856A (ko) 글로벌 뎁스 맵 생성방법과 이를 이용한 입체영상 표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant