KR20170037781A - 텍스트 검출 방법 및 이를 이용한 표시장치 - Google Patents

텍스트 검출 방법 및 이를 이용한 표시장치 Download PDF

Info

Publication number
KR20170037781A
KR20170037781A KR1020150136806A KR20150136806A KR20170037781A KR 20170037781 A KR20170037781 A KR 20170037781A KR 1020150136806 A KR1020150136806 A KR 1020150136806A KR 20150136806 A KR20150136806 A KR 20150136806A KR 20170037781 A KR20170037781 A KR 20170037781A
Authority
KR
South Korea
Prior art keywords
text
value
area
region
detecting
Prior art date
Application number
KR1020150136806A
Other languages
English (en)
Other versions
KR102324867B1 (ko
Inventor
강민성
조성호
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020150136806A priority Critical patent/KR102324867B1/ko
Publication of KR20170037781A publication Critical patent/KR20170037781A/ko
Application granted granted Critical
Publication of KR102324867B1 publication Critical patent/KR102324867B1/ko

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 텍스트 특성 추출부, 텍스트 영역 확장 및 판단부 및 텍스트 영역 검출 및 보상부를 포함하는 표시장치를 제공한다. 텍스트 특성 추출부는 RGB 채널별 주요 색상과 주요 방향성 정보를 기반으로 텍스트 후보영역에 해당하는 에지를 검출한다. 텍스트 영역 확장 및 판단부는 텍스트 후보영역을 확장하고 확장된 텍스트 후보영역 내에서 텍스트 영역으로 볼 수 있는 영역을 텍스트 영역으로 판단한다. 텍스트 영역 검출 및 보상부는 텍스트 영역을 검출하고 검출된 텍스트 영역을 보상한다.

Description

텍스트 검출 방법 및 이를 이용한 표시장치{METHOD FOR TEXT DETECTION AND DISPLAY DEVICE USING THEREOF}
본 발명은 텍스트 검출 방법 및 이를 이용한 표시장치에 관한 것이다.
정보화 기술이 발달함에 따라 사용자와 정보 간의 연결 매체인 표시장치의 시장이 커지고 있다. 이에 따라, 유기전계발광표시장치(Organic Light Emitting Display: OLED), 양자점표시장치(Quantum Dot Display; QDD), 액정표시장치(Liquid Crystal Display: LCD) 및 플라즈마표시장치(Plasma Display Panel: PDP) 등과 같은 표시장치의 사용이 증가하고 있다.
앞서 설명한 표시장치에는 매트릭스 형태로 배치된 복수의 서브 픽셀을 포함하는 표시패널, 표시패널을 구동하는 구동 신호를 출력하는 구동부 및 표시패널 또는 구동부에 공급할 전원을 생성하는 전원 공급부 등이 포함된다.
표시장치는 이미지, 사진, 자연 영상 등 다양한 경로를 획득한 영상 정보를 표시패널에 표시한다. 표시패널에 표시되는 영상 속에는 텍스트 또한 포함된다. 텍스트는 표시패널을 시청하는 사용자 등에게 다양한 정보를 전달하기 때문에 시인성, 가독성, 판독성 등을 높이기 위한 영상처리(또는 영상 처리 알고리즘)가 필요하다.
영상처리 알고리즘은 일반적으로 자연 영상을 처리하기 위한 방법을 의미한다. 텍스트 영상은 자연 영상과 다른 특성이 있기 때문에 동일한 영상처리 알고리즘 적용 시, 화질 열화 또는 텍스트의 가독성이 떨어지는 현상이 발생한다. 따라서 자연 영상과 텍스트 영역에 서로 다른 알고리즘을 적용해야 하는 경우 텍스트 영역 검출을 통해 텍스트와 자연 영상에 적합한 알고리즘을 각각 적용하여 영상 전체의 화질을 개선해야 한다. 하지만, 종래에 제안된 텍스트 검출 방식은 여전히 텍스트 영역의 화질 열화 및 텍스트의 가독성 저하를 유발하는바 이의 개선이 요구된다.
상술한 배경기술의 문제점을 해결하기 위한 본 발명은 텍스트 영역 검출을 통해 텍스트와 자연 영상에 적합한 알고리즘을 각각 적용하여 영상 전체의 화질을 개선하고, 텍스트의 시인성, 가독성, 판독성을 높이는 것이다.
상술한 과제 해결 수단으로 본 발명은 텍스트 특성 추출부, 텍스트 영역 확장 및 판단부 및 텍스트 영역 검출 및 보상부를 포함하는 표시장치를 제공한다. 텍스트 특성 추출부는 RGB 채널별 주요 색상과 주요 방향성 정보를 기반으로 텍스트 후보영역에 해당하는 에지를 검출한다. 텍스트 영역 확장 및 판단부는 텍스트 후보영역을 확장하고 확장된 텍스트 후보영역 내에서 텍스트 영역으로 볼 수 있는 영역을 텍스트 영역으로 판단한다. 텍스트 영역 검출 및 보상부는 텍스트 영역을 검출하고 검출된 텍스트 영역을 보상한다.
텍스트 특성 추출부는 RGB 채널별 주요 색상을 각각 검출하는 주 색상 경계 검출부와, RGB 채널별 주요 가로, 세로, 대각 성분의 차이를 각각 검출하는 주 방향 경계 검출부를 포함할 수 있다.
텍스트 특성 추출부는 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 가장 높은 에지 값을 가지는 성분 및 채널의 값을 그 픽셀의 대표 에지 값으로 설정할 수 있다.
텍스트 특성 추출부는 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 임계값보다 작은 값을 가지는 성분 및 채널의 값을 0으로 설정할 수 있다.
텍스트 특성 추출부는 M(M은 2 이상 정수)*N(N은 2 이상 정수) 크기의 윈도우 내에서 텍스트 후보영역에 해당하는 에지를 검출할 수 있다.
텍스트 영역 확장 및 판단부는 텍스트 후보영역을 확장하는 텍스트 후보 영역 확장부와, 텍스트 후보영역 중 1/K(K는 2 이상 정수) 이상이 강 방향성 에지(strong directional edge)를 갖는 영역을 텍스트 영역으로 판단하는 텍스트 영역 판단부를 포함할 수 있다.
다른 측면에서 본 발명은 텍스트 검출 방법을 제공한다. 텍스트 검출 방법은 RGB 채널별 주요 색상과 주요 방향성 정보를 기반으로 텍스트 후보영역에 해당하는 에지를 검출하는 단계; 텍스트 후보영역을 확장하고 확장된 텍스트 후보영역 내에서 텍스트 영역으로 볼 수 있는 영역을 텍스트 영역으로 판단하는 단계; 및 텍스트 영역을 검출하고 검출된 텍스트 영역을 보상하는 단계를 포함한다.
텍스트 후보영역에 해당하는 에지를 검출하는 단계는 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 가장 높은 에지 값을 가지는 성분 및 채널의 값을 그 픽셀의 대표 에지 값으로 설정할 수 있다.
텍스트 후보영역에 해당하는 에지를 검출하는 단계는 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 임계값보다 작은 값을 가지는 성분 및 채널의 값을 0으로 설정할 수 있다.
텍스트 영역으로 판단하는 단계는 텍스트 후보영역 중 1/K(K는 2 이상 정수) 이상이 강 방향성 에지(strong directional edge)를 갖는 영역을 텍스트 영역으로 판단할 수 있다.
본 발명은 텍스트 영역 검출을 통해 텍스트와 자연 영상에 적합한 알고리즘을 각각 적용하여 영상 전체의 화질을 개선할 수 있는 효과가 있다. 또한, 본 발명은 자연 영상과 텍스트 영역에 서로 다른 알고리즘을 적용할 수 있는 효과가 있다. 또한, 본 발명은 경계선 특성을 이용하여 텍스트 영역을 검출하므로 텍스트 영역 보상 시 텍스트의 시인성, 가독성, 판독성을 높일 수 있는 효과가 있다.
도 1은 표시장치를 개략적으로 나타낸 블록도.
도 2는 도 1에 도시된 서브 픽셀을 개략적으로 나타낸 구성도.
도 3은 본 발명의 일 실시예에 따른 텍스트 영상처리부를 나타낸 블록도.
도 4는 텍스트 영상처리부를 갖는 타이밍 제어부를 나타낸 블록도.
도 5는 본 발명의 일 실시예에 따른 텍스트 검출 방법을 나타낸 흐름도.
도 6 및 도 7은 텍스트 특성 추출을 위한 강 방향성 에지 검출의 예시를 설명하기 위한 도면들.
도 8 내지 도 11은 강 방향성 에지 검출 시 임계값 설정의 예시를 설명하기 위한 도면들.
도 12 및 도 13은 강 방향성 에지 검출을 통한 텍스트 특성 추출 결과를 보여주기 위한 도면들.
도 14는 텍스트 영역 후보군 설정의 예시를 설명하기 위한 도면.
도 15는 텍스트 영역 검출 결과를 보여주기 위한 도면.
도 16은 텍스트 검출 방법을 이용한 실험 결과를 보여주기 위한 도면.
도 17 내지 도 28은 제1 내지 제4실험예를 보여주는 도면들.
이하, 본 발명의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 설명한다.
본 발명에 따른 텍스트 검출 방법을 이용한 표시장치는 텔레비젼, 셋톱박스, 네비게이션, 영상 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈시어터 및 모바일폰 등으로 구현된다. 표시장치의 표시패널은 액정표시패널, 유기발광표시패널, 전기영동표시패널, 플라즈마표시패널 등이 선택될 수 있으나 이에 한정되지 않는다.
도 1은 표시장치를 개략적으로 나타낸 블록도이고, 도 2는 도 1에 도시된 서브 픽셀을 개략적으로 나타낸 구성도이다.
도 1에 도시된 바와 같이, 표시장치에는 영상 공급부(110), 타이밍 제어부(120), 게이트 구동부(130), 데이터 구동부(140), 표시패널(150) 및 텍스트 영상처리부(160)가 포함된다.
영상 공급부(110)는 데이터신호를 영상처리하고 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호 및 클럭신호 등과 함께 출력한다. 영상 공급부(110)는 LVDS(Low Voltage Differential Signaling) 인터페이스나 TMDS(Transition Minimized Differential Signaling) 인터페이스 등을 통해 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호, 클럭신호 및 데이터신호 등을 타이밍 제어부(120)에 공급한다. 예컨대, 영상 공급부(110)는 R, G 및 B 데이터신호를 출력한다.
타이밍 제어부(120)는 영상 공급부(110)로부터 데이터신호(DATA) 등을 공급받고, 게이트 구동부(130)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어신호(GDC)와 데이터 구동부(140)의 동작 타이밍을 제어하기 위한 데이터 타이밍 제어신호(DDC)를 출력한다. 타이밍 제어부(120)는 통신 인터페이스를 통해 게이트 타이밍 제어신호(GDC)와 데이터 타이밍 제어신호(DDC) 등과 함께 데이터신호(DATA)를 출력하며, 게이트 구동부(130)와 데이터 구동부(140)의 동작 타이밍을 제어한다.
게이트 구동부(130)는 타이밍 제어부(120)로부터 공급된 게이트 타이밍 제어신호(GDC)에 응답하여 게이트전압의 레벨을 시프트시키면서 게이트신호(또는 스캔신호)를 출력한다. 게이트 구동부(130)는 게이트라인들(GL1 ~ GLm)을 통해 표시패널(150)에 포함된 서브 픽셀들(SP)에 게이트신호를 공급한다. 게이트 구동부(130)는 집적회로(Integrated Circuit; IC) 형태로 형성되거나 표시패널(150)에 게이트인패널(Gate In Panel; GIP) 방식으로 형성된다.
데이터 구동부(140)는 타이밍 제어부(120)로부터 공급된 데이터 타이밍 제어신호(DDC)에 응답하여 데이터신호(DATA)를 샘플링하고 래치하며 감마 기준전압에 대응하여 디지털신호를 아날로그신호로 변환하여 출력한다. 데이터 구동부(140)는 데이터라인들(DL1 ~ DLn)을 통해 표시패널(150)에 포함된 서브 픽셀들(SP)에 데이터신호(DATA)를 공급한다. 데이터 구동부(140)는 집적회로(Integrated Circuit; IC) 형태로 형성된다.
표시패널(150)은 게이트 구동부(130)로부터 공급된 게이트신호와 데이터 구동부(140)로부터 공급된 데이터신호(DATA)에 대응하여 영상을 표시한다. 표시패널(150)은 하부기판, 상부기판 그리고 하부기판과 상부기판 사이 형성된 서브 픽셀들(SP)을 포함한다.
도 2에 도시된 바와 같이, 하나의 서브 픽셀에는 게이트라인(GL1)과 데이터라인(DL1)에 연결(또는 교차부에 형성된)된 스위칭 박막 트랜지스터(SW)와 스위칭 박막 트랜지스터(SW)를 통해 공급된 데이터신호(DATA)에 대응하여 동작하는 픽셀회로(PC)가 포함된다. 서브 픽셀들(SP)은 픽셀회로(PC)의 구성에 따라 액정소자나 유기발광소자 등을 포함하게 된다.
표시패널(150)이 액정표시패널로 구성된 경우, 이는 TN(Twisted Nematic) 모드, VA(Vertical Alignment) 모드, IPS(In Plane Switching) 모드, FFS(Fringe Field Switching) 모드 또는 ECB(Electrically Controlled Birefringence) 모드로 구현된다. 표시패널(150)이 유기발광표시패널로 구성된 경우, 이는 전면발광(Top-Emission) 방식, 배면발광(Bottom-Emission) 방식 또는 양면발광(Dual-Emission) 방식으로 구현된다.
위와 같은 표시장치는 게이트 구동부(130) 및 데이터 구동부(140)로부터 출력된 게이트신호 및 데이터신호(DATA)를 기반으로 표시패널(150)이 빛을 발광 또는 투과시키게 됨에 따라 특정 영상을 표시하게 된다.
텍스트 영상처리부(160)는 영상 공급부(110)로부터 공급된 데이터신호(DATA)를 분석하여 텍스트 영역을 검출한다. 텍스트 영상처리부(160)는 텍스트의 시인성, 가독성, 판독성 등을 높이기 위해 검출된 텍스트 영역에 대해 보상을 수행할 수 있다.
영상처리 알고리즘은 일반적으로 자연 영상을 처리하기 위한 방법을 의미한다. 텍스트 영상은 자연 영상과 다른 특성이 있기 때문에 동일한 영상처리 알고리즘 적용 시, 화질 열화 또는 텍스트의 가독성이 떨어지는 현상이 발생한다. 따라서, 자연 영상과 텍스트 영역에 서로 다른 알고리즘을 적용해야 하는 경우 텍스트 영역 검출 및 보상을 수행하는 방식으로 텍스트에 적합한 영상처리를 해야 한다.
하지만, 종래에 제안된 텍스트 검출 방식은 여전히 텍스트 영역의 화질 열화 및 텍스트의 가독성 저하를 유발하고 있다. 예컨대, 종래에 제안된 영상 확대 알고리즘은 텍스트 영역에 별다른 영상처리를 하지 않는 더블링(doubling) 방식을 적용하므로 가장 좋은 화질 향상 효과를 나타낸다. 그러나 텍스트 영역의 구분 없이 자연 영상에 적용하는 바이큐빅(bi-cubic; 곡선 형태의 변화를 가하는 비선형보간 알고리즘) 방식을 적용할 경우 텍스트가 흐려져 가독성이 떨어지는 문제 등이 나타난다.
종래에 제안된 방식과 달리, 이하에서 설명되는 본 발명은 경계선 특성을 이용하여 텍스트 영역을 검출하므로 텍스트 영역 보상 시 텍스트의 가독성을 높이고 영상의 전체적인 화질을 개선할 수 있다.
도 3은 본 발명의 일 실시예에 따른 텍스트 영상처리부를 나타낸 블록도이고, 도 4는 텍스트 영상처리부를 갖는 타이밍 제어부를 나타낸 블록도이다. 이하, 텍스트 영상처리부에 대해 간략히 설명한다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 텍스트 영상처리부(160)는 텍스트가 가지는 자연 영상과 구분되는 경계선 특성을 이용하여 자연 영상으로부터 텍스트 영역을 검출한다. 텍스트 영상처리부(160)는 텍스트 특성 추출부(161), 텍스트 영역 확장 및 판단부(165) 및 텍스트 영역 검출 및 보상부(169)를 포함한다.
텍스트 특성 추출부(161)는 영상 공급부로부터 출력된 데이터신호를 기반으로 텍스트의 특성을 검출한다. 텍스트 특성 추출부(161)는 주 색상 경계 검출부(161a)와 주 방향 경계 검출부(161b)를 포함한다. 주 색상 경계 검출부(161a)는 정해진 크기의 윈도우 내에서 적색, 녹색 및 청색(이하 RGB) 채널별 주요 색상을 각각 검출한다. 주 방향 경계 검출부(161b)는 정해진 크기의 윈도우 내에서 RGB 채널별 주요 가로, 세로, 대각 성분의 차이를 각각 검출한다.
텍스트 특성 추출부(161)는 정해진 크기의 윈도우 내에서 RGB 채널별로 가로, 세로, 대각 성분의 차이를 이용하여 에지를 각각 검출하고 텍스트로 예상(최소한의 텍스트 영역)되는 텍스트 후보군을 각각 추출한다. 텍스트 특성 추출부(161)는 특히 RGB 데이터신호 내의 주요 색상과 주요 방향성 정보를 기반으로 에지를 검출하므로 배경 등의 이미지와 대비하여 텍스트(텍스트 후보군)를 더욱 정확하게 구분할 수 있게 된다.
텍스트 영역 확장 및 판단부(165)는 텍스트 후보영역을 확장하고 확장된 텍스트 후보영역 내에서 텍스트 영역으로 볼 수 있는 영역을 텍스트 영역으로 판단한다. 텍스트 영역 확장 및 판단부(165)는 텍스트 후보 영역 확장부(165a)와 텍스트 영역 판단부(165b)를 포함한다.
텍스트 후보 영역 확장부(165a)는 텍스트 검출의 정밀도를 높이기 위해 텍스트 후보영역을 확장한다. 텍스트 영역 판단부(165b)는 텍스트 후보영역 중 1/K(K는 2 이상 정수) 이상이 강 방향성 에지(strong directional edge)를 갖는 영역에 해당하면, 이 후보군을 텍스트 영역으로 판단한다. K는 2 이상이면 가능하나 3 또는 그 이상과 같이 높을 수록 텍스트 영역을 넓힐 수 있다.
텍스트 특성 추출부(161)에 의해 얻어진 텍스트 후보군은 최소한의 텍스트 영역을 의미하므로 텍스트가 아닌 부분은 제외하면서 텍스트에 해당하는 영역만 텍스트 영역으로 판단하기 위해 텍스트 영역 판단부(165b)를 사용한다.
텍스트 영역 검출 및 보상부(169)는 텍스트의 시인성, 가독성, 판독성 등을 높이기 위해 텍스트 영역을 검출하고 검출된 텍스트 영역을 보상하거나 미보상한다. 텍스트 영역 검출 및 보상부(169)는 텍스트 영역 검출부(169a)와 텍스트 영역 보상부(169b)를 포함한다.
텍스트 영역 검출부(169a)는 텍스트에 해당하는 영역만 검출하여 텍스트 영역 보상부(169b)에 전달한다. 텍스트 영역 보상부(169b)는 텍스트 영역의 보상이 필요한 경우 보상값을 적용한 보상 데이터신호(CDATA)를 출력한다. 반면, 텍스트 영역 보상부(169b)는 텍스트 영역의 보상이 필요하지 않는 경우 입력된 신호와 동일한 데이터신호(DATA)를 출력한다. 텍스트 영역 검출 및 보상부(169)는 텍스트 영상처리부(160)와 연동하는 장치 예컨대 타이밍 제어부에 마련될 수도 있다.
도 4에 도시된 바와 같이, 텍스트 영상처리부(160)는 타이밍 제어부(120) 내에 포함될 수 있다. 텍스트 영상처리부(160)가 보상 데이터신호(CDATA)를 출력하면 화질 개선부(125)는 텍스트 영역에 적합한 영상 처리를 하게 된다.
이하, 본 발명의 일 실시예에 따른 텍스트 영상처리부를 이용한 텍스트 검출 방법에 대해 자세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 텍스트 검출 방법을 나타낸 흐름도이고, 도 6 및 도 7은 텍스트 특성 추출을 위한 강 방향성 에지 검출의 예시를 설명하기 위한 도면들이고, 도 8 내지 도 11은 강 방향성 에지 검출 시 임계값 설정의 예시를 설명하기 위한 도면들이며, 도 12 및 도 13은 강 방향성 에지 검출을 통한 텍스트 특성 추출 결과를 보여주기 위한 도면들이고, 도 14는 텍스트 영역 후보군 설정의 예시를 설명하기 위한 도면이고, 도 15는 텍스트 영역 검출 결과를 보여주기 위한 도면이며, 도 16은 텍스트 검출 방법을 이용한 실험 결과를 보여주기 위한 도면이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 텍스트 검출 방법은 주 색상 경계 검출단계(S110), 주 방향 경계 검출단계(S120), 텍스트 후보 영역 확장단계(S130), 텍스트 영역 판단단계(S140), 텍스트 영역 검출단계(S150) 및 텍스트 영역 보상단계(S160)를 포함한다.
주 색상 경계 검출단계(S110)는 정해진 크기의 윈도우 내에서 RGB 채널별 주요 색상을 각각 검출한다. 주 색상 경계를 추출하면 영상 내에서 배경과 대비되는 텍스트(텍스트 후보군)를 더욱 정확히 구분해 낼 수 있다. 특히, 주 색상 경계를 추출하면 색상 간의 경계를 기반으로 텍스트(텍스트 후보군)를 추출할 수 있으므로 다양한 색상의 텍스트를 검출해 낼 수 있게 된다.
도 5에 도시된 바와 같이, 주 방향 경계 검출단계(S120)는 에지를 검출하고 텍스트로 예상(최소한의 텍스트 영역)되는 텍스트 후보군을 추출한다. 일반적인 영상과 구별되는 성질을 지닌 텍스트의 경우 가로, 세로, 대각 성분이 강하게 나타나는 특징을 보인다. 텍스트 검출을 위해 가로, 세로, 대각 성분에 대해 각각 에지 검출(edge detection)을 수행할 수 있다.
도 5 내지 도 7에 도시된 바와 같이, 주 색상 경계 및 주 방향 경계 검출을 통해 텍스트 특성을 추출하는 방식은 강 방향성 에지 검출(Strong directional edge detection)을 이용한다.
강 방향성 에지 검출은 정해진 크기의 윈도우 내에서 RGB 채널별 주요 가로(Gx), 세로(Gy), 대각(Gd) 성분의 차이(difference)를 각각 검출한다. 윈도우는 M(M은 2 이상 정수)*N(N은 2 이상 정수)로 설정될 수 있으나 설명의 편의를 위해, 도 6 및 7에서는 2X2 윈도우를 예로 설명한다. 윈도우에 포함된 한 영역의 최소단위는 픽셀이다.
도 6을 일례로, RGB 채널별 주요 가로(Gx), 세로(Gy), 대각(Gd) 성분의 차이(difference)를 각각 검출하는 방법을 수식으로 표현하면 다음과 같다.
Gx(r,c) = max [│img (r,c,R) - img (r+1,c,R)│, │img (r,c,G) - img (r+1,c,G)│, │img (r,c,B) - img (r+1,c,B)│]
Gy(r,c) = max [│img (r,c,R) - img (r,c+1,R)│, │img (r,c,G) - img (r,c+1,G)│, │img (r,c,B) - img (r,c+1,B)│]
Gd(r,c) = max [│img (r+1,c+1,R) - img (r+1,c,R)│, │img (r+1,c,+1G) - img (r,c,G)│, │img (r,c,B) - img (r+1,c+1,B)│],
if max (Gx,Gy,Gd) ≥ TH,
Gfinal(r,c) = max (Gx,Gy,Gd), else 0.
위의 수식에서, Gx는 가로, Gy는 세로, Gd는 대각, r은 로우라인, c는 컬럼라인, R은 적색 채널의 데이터신호, G는 녹색 채널의 데이터신호, B는 청색 채널의 데이터신호, max는 최대값, img는 한 영역의 이미지, TH는 임계값(threshold), Gfinal은 대표 에지값을 의미한다.
위의 수식에 따르면, RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 임계값(TH)보다 높은지 유무를 판단한다. 그리고 RGB 채널별 가로, 세로, 대각선 방향의 값 중에서 가장 높은 에지 값을 가지는 성분 및 채널의 값(최대값)은 그 픽셀의 대표 에지 값(Gfinal)으로 설정된다. 반면, 일정 임계값(TH)보다 작은 에지는 약 에지(weak edge)로 간주하고 그 픽셀의 대표 값은 0으로 설정된다. RGB 채널별 에지의 최대값을 선택하는 과정은 영상의 그레이 스케일 변환을 포함한다.
임계값(TH)은 텍스트와 배경의 최소 밝기 차이를 의미하는 것으로, 소벨 에지 검출(Sobel edge detection) 결과를 기준으로 설정하고, ± 10 ~ 20계조의 마진(8 bit 기준)을 가질 수 있다. 일반적으로 가독성이 높은 텍스트는 배경과의 밝기 차이가 크고, 텍스트가 아닌 영상은 이보다 차이가 작게 나타나므로 임계값(TH)은 텍스트와 영상을 구분할 수 있도록 설정하는 것이 이상적이다.
도 7의 2*2 윈도우를 예로 들면, 제11영역(11), 제12영역(12), 제22영역(22)은 일정 임계값(TH)보다 높은 에지 값을 가지는 성분 및 채널의 값을 가지는 영역이고, 제21영역(21)은 일정 임계값(TH)보다 낮은 에지 값을 가지는 성분 및 채널의 값을 가지는 영역이다. 도 7의 2*2 윈도우에서 제12영역(12)은 임계값(TH)보다 높은 값을 가지므로 임계값(TH) 이상의 값으로 대표 에지값(Gfinal)이 설정되지만, 제21영역(21)은 임계값(TH)보다 낮은 값을 가지므로 대표값이 0으로 설정된다.
임계값(TH)은 0계조 ~ 255계조 사이의 계조값 중 하나로 선택될 수 있다. 본 발명의 일 실시예에서는 임계값(TH)을 달리할 경우 어떠한 형태로 에지가 검출되는지를 실험해 보았다. 도 9는 임계값(TH)을 60계조로 한 예시이고, 도 10은 임계값(TH)을 120계조로 한 예시이며, 도 11은 임계값(TH)을 180계조로 한 예시이다.
실험 결과, 임계값(TH)이 작을수록 더 많은 양의 에지를 검출할 수 있었고, 임계값(TH)이 클수록 더 적은 양의 에지를 검출할 수 있었다. 실험에 따르면, 해당 웹페이지에서는 임계값(TH)을 120계조로 하였을 때 그림과 텍스트를 더 정확히 구분해낼 수 있는 것으로 나타났다(도 12 및 도 13 참조). 그러므로 임계값(TH)은 일반적인 텍스트의 색과 배경의 차이를 고려하여 실험적인 값을 기반으로 설정하는 것이 바람직할 것이다.
위의 수식을 기반으로 주요 성분의 차이를 이용하여 에지를 검출하고 나면 영상 내에서 텍스트로 예상(최소한의 텍스트 영역)되는 텍스트 후보군을 차례차례 추출해 낼 수 있다.
주 색상 경계 검출단계(S110) 및 주 방향 경계 검출단계(S120)를 통해 얻어진 텍스트 후보군은 최소한의 텍스트 영역을 의미하므로 텍스트 후보영역에 대해 확장이 필요하다.
텍스트 후보 영역 확장단계(S130)에서는 텍스트 검출의 정밀도를 높이기 위해 텍스트 후보영역을 확장한다. 텍스트 후보 영역의 확장은 텍스트 후보 픽셀을 기준으로 좌우(가로) 및 상하(세로) 확장을 한다. 텍스트 후보 영역의 확장은 텍스트 후보 픽셀을 기준으로 좌우 I(I는 4이상 정수)픽셀과 상하 J(J는 1이상 정수)픽셀 영역으로 확장할 수 있다.
도 14는 텍스트 후보 픽셀을 기준으로 좌우 7 픽셀과 상하 1 픽셀 영역을 더 확장한 예시이다. 이에 따라, 텍스트 후보 영역(TR 후보군)은 총 30 픽셀의 2*15 윈도우로 늘어난다. 도 14에서, text는 텍스트 영역을 의미하고, non-text는 텍스트 영역이 아닌 영역을 의미한다.
텍스트 영역 판단단계(S140)에서는 확장된 텍스트 후보 영역(TR 후보군) 내에서 텍스트 영역으로 볼 수 있는 영역을 텍스트 영역(TR 군)으로 판단한다. 예컨대, 텍스트 후보 영역(TR 후보군)에서 1/K(K는 2 이상 정수) 이상의 비율이 텍스트 후보 픽셀을 포함하고 있으면 그 영역을 텍스트 영역으로 설정한다. K는 2 이상이면 가능하나 3 또는 그 이상과 같이 높을 수록 텍스트 영역을 넓힐 수 있다.
예컨대, 텍스트 영역 판단단계(S140)에서는 텍스트 후보 영역(TR 후보군)에서 1/3 이상의 비율이 강 방향성 에지(strong directional edge)를 갖는 영역에 해당하면, 이 후보군을 텍스트 영역으로 판단한다. 즉, 강한 에지(strong edge)의 비율로 텍스트 영역의 유무가 판단된다.
텍스트 영역 검출단계(S150)는 텍스트 영역이 배경과 차별화된 보상이 수행되도록 텍스트 영역을 검출한다. 도 15는 텍스트 특성 추출 시 임계값(TH)을 120계조로 설정하였을 때의 예시이다. 도 15와 같이, 최종적인 텍스트 영역 검출 결과는 텍스트가 포함된 텍스트 영역(TR 군)으로 표현되며 배경이나 이미지 등에 대한 영상 처리 알고리즘 적용 시 제외되어야 하는 최소한의 범위라 할 수 있다.
텍스트 영역 보상단계(S160)는 검출된 텍스트 영역을 보상하거나 미보상한다. 텍스트는 배경과 달리 시인성, 가독성, 판독성 등을 높이기 위해 텍스트 영역에 대해서만 별도의 보상 또는 보간법을 수행해야 한다.
예컨대, 검출된 텍스트 영역(TR 군)은 가독성을 향상하기 위해 영상 보상 또는 보간시(interpolation), DI(Direction Interpolation)를 적용하지 않고 니어리스트 네이버 보간법(Nearest Neighbor interpolation; NN)을 이용할 수 있다.
그 결과, 16과 같이 웹페이지 내에 존재하는 텍스트는 다른 이미지, 배경, 그림 등과 달리 텍스트에 적합합 보상을 실시하게 되어 시인성, 가독성, 판독성 등을 높일 수 있게 된다. 도 16의 (a)는 실험을 위해 캡쳐한 웹페이지이고 (b)는 본 발명의 일 실시예에 따른 텍스트 검출 및 보상 결과를 보여주는 실험결과이다.
이하, 본 발명의 일 실시예에 따른 텍스트 검출 방법 및 이를 이용한 표시장치의 정확한 평가를 위해, 3개국(한국 2번, 미국 1번, 중국 1번)의 웹페이지를 캡쳐하고 실험한 결과를 하기와 같이 첨부한다.
도 17은 제1실험예에 따라 한국어로 이루어진 웹페이지이고, 도 18은 도 17에 도시된 웹페이지의 텍스트 특성 추출 시 임계값(TH)을 120계조로 설정하였을 때의 결과이며, 도 19는 검출된 텍스트 영역을 보여주는 결과이다.
도 20은 제2실험예에 따라 한국어로 이루어진 웹페이지이고, 도 21은 도 20에 도시된 웹페이지의 텍스트 특성 추출 시 임계값(TH)을 120계조로 설정하였을 때의 결과이며, 도 22는 검출된 텍스트 영역을 보여주는 결과이다.
도 23은 제3실험예에 따라 영어로 이루어진 웹페이지이고, 도 24는 도 23에 도시된 웹페이지의 텍스트 특성 추출 시 임계값(TH)을 120계조로 설정하였을 때의 결과이며, 도 25는 검출된 텍스트 영역을 보여주는 결과이다.
도 26은 제4실험예에 따라 중국어로 이루어진 웹페이지이고, 도 27은 도 26에 도시된 웹페이지의 텍스트 특성 추출 시 임계값(TH)을 120계조로 설정하였을 때의 결과이며, 도 28은 검출된 텍스트 영역을 보여주는 결과이다.
이상의 실험을 통해 알 수 있듯이, 본 발명의 일 실시예에 따른 텍스트 검출 방법 및 이를 이용한 표시장치는 색상과 방향의 경계 검출 등을 이용하여 텍스트를 검출한다. 따라서, 한국어 대비 상대적으로 어려운 중국어도 무리 없이 검출해 낼 수 있었다.
현재는 스마트TV의 보급이 빠르게 이루어져서 대형TV로도 인터넷을 할 수 있으며 스마트TV가 아니더라도 방송 컨텐츠 내에 자막 형식의 텍스트가 많이 존재한다. 즉, TV화면 내에서 텍스트는 큰 부분을 차지하고 있다.
TV에 동작되는 영상처리 알고리즘은 일반 영상을 대상으로 한 경우가 대부분이며 텍스트 처리는 그에 비해 중요하게 여겨지지 않는다. 하지만, 영상 내에 점점 텍스트의 비중이 커지는 현 추세에서는 가독성을 높이는 방향으로 텍스트를 처리하는 것이 중요하다.
본 발명은 종래의 일반적인 텍스트 검출 방법같이 영상의 일부로 존재하는 텍스트(예컨대, 교통 표지판 안의 글자)를 인식할 수 있는 방법은 아니지만 문서 형식의 텍스트를 강인하게 찾아낼 수 있다. 또한, 문서 형식의 텍스트는 웹페이지 상에서 흔히 볼 수 있는 줄이 맞춰진 텍스트(예컨대, Smart TV)를 의미한다.
문서 형식의 텍스트는 가로, 세로, 대각선 에지 성분이 강하게 나타난다는 특징이 있다. 그러므로 본 발명에서는 텍스트의 가로, 세로, 대각선 에지 성분을 이용하여 텍스트 성분을 추출하고, 미검출 방지를 위해 2차적으로 텍스트 영역에 대해 통계적인 확장을 수행한다.
현재의 방송 환경은 FHD의 영상을 송출하는 반면, TV를 구성하는 표시패널은 그 이상인 4K나 8K 영상을 출력할 수 있기 때문에 입력된 영상을 TV에 맞게 업스케일링(Upscaling) 하는 기술이 TV 내에 구현되어 있다.
업스케일링 기술은 일반적으로 텍스트가 아닌 일반 영상을 대상으로 하고 있으며 이는 일반 영상과 텍스트가 가지는 성질이 다른데 이는 일반 영상의 디스플레이 비중이 훨씬 높기 때문이다.
본 발명을 이용하여 텍스트 영역을 검출하면 업스케일링 시 일반 영상에 사용되는 Directional Interpolation(DI) 방법이 아닌 니어리스트 네이버 보간법(Nearest Neighbor interpolation)을 텍스트 영역의 업스케일링에 적용하여 샤프(sharp)한 텍스트를 구현할 수 있다.
일반 영상은 업스케일링 시 경계선을 살리면서 주변의 경향을 잘 반영할 수 있는 DI 알고리즘을 사용한다. 하지만, 주변의 경향과 관계없이 작은 에지들이 급하게 바뀌는 텍스트의 경우 주변의 경향을 반영하지 않고 바로 옆의 정보를 단순히 복사하는 NN 알고리즘이 효과적인 것으로 나타났다.
이상 본 발명은 텍스트 영역 검출을 통해 텍스트와 자연 영상에 적합한 알고리즘을 각각 적용하여 영상 전체의 화질을 개선할 수 있는 효과가 있다. 또한, 본 발명은 자연 영상과 텍스트 영역에 서로 다른 알고리즘을 적용할 수 있는 효과가 있다. 또한, 본 발명은 경계선 특성을 이용하여 텍스트 영역을 검출하므로 텍스트 영역 보상 시 텍스트의 시인성, 가독성, 판독성을 높일 수 있는 효과가 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 한다. 아울러, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어진다. 또한, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 영상 공급부 120: 타이밍 제어부
130: 게이트 구동부 140: 데이터 구동부
150: 표시패널 160: 텍스트 영상처리부
161: 텍스트 특성 추출부 165: 텍스트 영역 확장 및 판단부
169: 텍스트 영역 검출 및 보상부

Claims (10)

  1. RGB 채널별 주요 색상과 주요 방향성 정보를 기반으로 텍스트 후보영역에 해당하는 에지를 검출하는 텍스트 특성 추출부;
    상기 텍스트 후보영역을 확장하고 확장된 텍스트 후보영역 내에서 텍스트 영역으로 볼 수 있는 영역을 텍스트 영역으로 판단하는 텍스트 영역 확장 및 판단부; 및
    상기 텍스트 영역을 검출하고 검출된 텍스트 영역을 보상하는 텍스트 영역 검출 및 보상부를 포함하는 표시장치.
  2. 제1항에 있어서,
    상기 텍스트 특성 추출부는
    상기 RGB 채널별 주요 색상을 각각 검출하는 주 색상 경계 검출부와,
    상기 RGB 채널별 주요 가로, 세로, 대각 성분의 차이를 각각 검출하는 주 방향 경계 검출부를 포함하는 표시장치.
  3. 제1항에 있어서,
    상기 텍스트 특성 추출부는
    상기 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 가장 높은 에지 값을 가지는 성분 및 채널의 값을 그 픽셀의 대표 에지 값으로 설정하는 표시장치.
  4. 제3항에 있어서,
    상기 텍스트 특성 추출부는
    상기 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 임계값보다 작은 값을 가지는 성분 및 채널의 값을 0으로 설정하는 표시장치.
  5. 제1항에 있어서,
    상기 텍스트 특성 추출부는
    M(M은 2 이상 정수)*N(N은 2 이상 정수) 크기의 윈도우 내에서 상기 텍스트 후보영역에 해당하는 에지를 검출하는 표시장치.
  6. 제1항에 있어서,
    상기 텍스트 영역 확장 및 판단부는
    상기 텍스트 후보영역을 확장하는 텍스트 후보 영역 확장부와,
    상기 텍스트 후보영역 중 1/K(K는 2 이상 정수) 이상이 강 방향성 에지(strong directional edge)를 갖는 영역을 텍스트 영역으로 판단하는 텍스트 영역 판단부를 포함하는 표시장치.
  7. RGB 채널별 주요 색상과 주요 방향성 정보를 기반으로 텍스트 후보영역에 해당하는 에지를 검출하는 단계;
    상기 텍스트 후보영역을 확장하고 확장된 텍스트 후보영역 내에서 텍스트 영역으로 볼 수 있는 영역을 텍스트 영역으로 판단하는 단계; 및
    상기 텍스트 영역을 검출하고 검출된 텍스트 영역을 보상하는 단계를 포함하는 텍스트 검출 방법.
  8. 제7항에 있어서,
    상기 텍스트 후보영역에 해당하는 에지를 검출하는 단계는
    상기 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 가장 높은 에지 값을 가지는 성분 및 채널의 값을 그 픽셀의 대표 에지 값으로 설정하는 텍스트 검출 방법.
  9. 제8항에 있어서,
    상기 텍스트 후보영역에 해당하는 에지를 검출하는 단계는
    상기 RGB 채널별 가로, 세로, 대각선 방향으로 차이값을 계산하여 임계값보다 작은 값을 가지는 성분 및 채널의 값을 0으로 설정하는 텍스트 검출 방법.
  10. 제7항에 있어서,
    상기 텍스트 영역으로 판단하는 단계는
    상기 텍스트 후보영역 중 1/K(K는 2 이상 정수) 이상이 강 방향성 에지(strong directional edge)를 갖는 영역을 텍스트 영역으로 판단하는 텍스트 검출 방법.
KR1020150136806A 2015-09-25 2015-09-25 텍스트 검출 방법 및 이를 이용한 표시장치 KR102324867B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150136806A KR102324867B1 (ko) 2015-09-25 2015-09-25 텍스트 검출 방법 및 이를 이용한 표시장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150136806A KR102324867B1 (ko) 2015-09-25 2015-09-25 텍스트 검출 방법 및 이를 이용한 표시장치

Publications (2)

Publication Number Publication Date
KR20170037781A true KR20170037781A (ko) 2017-04-05
KR102324867B1 KR102324867B1 (ko) 2021-11-12

Family

ID=58587234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150136806A KR102324867B1 (ko) 2015-09-25 2015-09-25 텍스트 검출 방법 및 이를 이용한 표시장치

Country Status (1)

Country Link
KR (1) KR102324867B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007775A (ko) * 2019-07-12 2021-01-20 주식회사 테크온힐 건강 기능식품 정보를 제공하는 웹 페이지에서 영상 정보 추출 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344330A (ja) * 1992-06-11 1993-12-24 Konica Corp 画像領域識別装置
JPH07264399A (ja) * 1994-03-24 1995-10-13 Canon Inc 画像処理装置及び方法
KR20130009173A (ko) * 2011-07-14 2013-01-23 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344330A (ja) * 1992-06-11 1993-12-24 Konica Corp 画像領域識別装置
JPH07264399A (ja) * 1994-03-24 1995-10-13 Canon Inc 画像処理装置及び方法
KR20130009173A (ko) * 2011-07-14 2013-01-23 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007775A (ko) * 2019-07-12 2021-01-20 주식회사 테크온힐 건강 기능식품 정보를 제공하는 웹 페이지에서 영상 정보 추출 방법

Also Published As

Publication number Publication date
KR102324867B1 (ko) 2021-11-12

Similar Documents

Publication Publication Date Title
KR101947125B1 (ko) 타이밍 컨트롤러 및 그 구동 방법과 이를 이용한 표시장치
KR102194571B1 (ko) 데이터 변환부와 데이터 변환부의 데이터 변환 방법
JP6347958B2 (ja) データ処理装置及びこれを有するディスプレイシステム
US7106350B2 (en) Display method for liquid crystal display device
KR20190071285A (ko) 표시장치 및 이의 구동방법
US8736532B2 (en) Liquid crystal display device having a 1-dot inversion or 2-dot inversion scheme and method thereof
US9984634B2 (en) Display systems and methods
TW201013632A (en) Display apparatus, method of driving display apparatus, drive-use integrated circuit, driving method employed by drive-use integrated circuit, and signal processing method
CN102169677A (zh) 影像处理电路、其处理方法、液晶显示装置及电子设备
KR20150015681A (ko) 표시 장치 및 그것의 구동 방법
CN106560880B (zh) 显示装置和该显示装置的图像渲染方法
KR102022699B1 (ko) 영상 제어 표시 장치 및 영상 제어 방법
US20090295768A1 (en) Display device and method of driving the same
KR102337829B1 (ko) 로고 검출 방법 및 이를 이용한 표시장치
KR102148207B1 (ko) 열화보상장치 및 이를 포함하는 표시장치
KR20110005513A (ko) 선호색 보정방법과 이를 이용한 표시장치
CN108932934B (zh) 显示装置及显示装置的驱动方法
US10109254B2 (en) Video processing circuit, video processing method, electro-optical device, and electronic apparatus
JP2009104132A (ja) 液晶表示装置の駆動方法および液晶表示装置
KR102324867B1 (ko) 텍스트 검출 방법 및 이를 이용한 표시장치
KR102582156B1 (ko) 표시장치 및 이의 구동방법
KR20130028596A (ko) 액정표시장치의 도트 인버전 제어방법
KR20160046983A (ko) 소비 전력 제어 방법 및 장치와 이를 이용한 표시장치
KR102410629B1 (ko) 데이터 처리장치 및 그를 갖는 표시장치
KR20120056361A (ko) 평판표시장치 및 그의 화질 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right