KR100791387B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR100791387B1
KR100791387B1 KR1020060104181A KR20060104181A KR100791387B1 KR 100791387 B1 KR100791387 B1 KR 100791387B1 KR 1020060104181 A KR1020060104181 A KR 1020060104181A KR 20060104181 A KR20060104181 A KR 20060104181A KR 100791387 B1 KR100791387 B1 KR 100791387B1
Authority
KR
South Korea
Prior art keywords
luminance
luminance value
image
input image
pixel
Prior art date
Application number
KR1020060104181A
Other languages
English (en)
Inventor
조양호
이승신
홍지영
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060104181A priority Critical patent/KR100791387B1/ko
Priority to US11/907,710 priority patent/US8155465B2/en
Priority to JP2007276624A priority patent/JP2008116941A/ja
Priority to EP07119128.2A priority patent/EP1918873B1/en
Priority to CN200710167482XA priority patent/CN101169930B/zh
Application granted granted Critical
Publication of KR100791387B1 publication Critical patent/KR100791387B1/ko
Priority to JP2013026023A priority patent/JP5654065B2/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Liquid Crystal (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Television Receiver Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은 영상 처리 방법 및 장치에 관한 것이다.
본 발명의 실시예에 따른 영상 처리 방법은 입력 영상의 휘도 히스토그램의 특징에 따라서 상기 입력 영상을 소정의 영상 범주로 분류하는 단계, 및 상기 영상 범주에 대응하는 계조 사상 함수와 상기 입력 영상을 구성하는 픽셀의 위치에 따라서 상기 입력 영상의 휘도를 조절하는 단계를 포함한다.
영상, 휘도, 저 전력

Description

영상 처리 방법 및 장치{Method and apparatus for image processing}
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 나타낸 블록도이다.
도 2는 도 1의 분류부를 보다 구체적으로 나타낸 블록도이다.
도 3은 임의의 입력 영상에 대해서 작성된 휘도 히스토그램의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 범주의 특징을 대표할 수 있는 휘도 히스토그램을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 범주를 선택하기 위한 선택부의 동작 과정을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 TMF를 이용한 휘도 변화율을 그래프로 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 휘도 조절부를 나타낸 블록도이다.
도 8은 본 발명의 입력 영상을 구성하는 각 픽셀에 할당되는 가변 이득값의 일 실시예를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 대비 조절부의 구성을 나타낸 블록도이다.
도 10은 대상 픽셀과 대상 픽셀을 포함하는 마스크의 평균 휘도값을 설명하 기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 채도 조절부를 나타낸 블록도이다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 과정을 나타낸 흐름도이다.
<도면의 주요 부분에 관한 부호의 설명>
110 : 분류부 120 : 휘도 조절부
130 : 대비 조절부 140 : 채도 조절부
본 발명은 영상 처리 방법 및 장치에 관한 것으로서, 더욱 상세하게는 저 전력 환경 하에서 영상의 밝기를 정상 전력 하에서와 유사한 정도로 유지시킬 수 있는 영상 처리 방법 및 장치에 관한 것이다.
최근 휴대폰, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player)와 같은 휴대용 단말기의 보급이 증가하고 있다. 휴대용 단말기는 휴대와 사용의 편리함을 장점으로 하는 반면, 구조적으로 전력 공급량에 한계가 있다는 단점도 갖는다. 일반적으로 사용자는 충전이나 배터리 교환 없이 휴대용 단말기를 장 시간 동안 사용하기를 원하기 때문에, 휴대용 단말기의 전력 소모를 줄이는 기술은 매우 중요한 이슈이다.
휴대용 단말기에서 상당량의 전력 소모는 디스플레이 장치의 구동부에서 발생한다. 따라서 휴대용 단말기의 전력 소모를 줄이기 위해서, 저 전력 모드에서는 디스플레이 장치의 광원(예를 들어 LCD(Liquid Crystal Display)의 백라이트)의 밝기를 감소시킬 수 있다. 이 경우, 인지되는 밝기의 변화 없이 사용자에게 영상을 디스플레이 할 수 있는 영상 처리 기법이 요구되고 있다.
본 발명은 저 전력 환경에서 영상의 밝기를 향상시키는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 처리 방법은 입력 영상의 휘도 히스토그램의 특징에 따라서 상기 입력 영상을 소정의 영상 범주로 분류하는 단계, 및 상기 영상 범주에 대응하는 계조 사상 함수와 상기 입력 영상을 구성하는 픽셀의 위치에 따라서 상기 입력 영상의 휘도를 조절하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 처리 장치는 입력 영상의 휘도 히스토그램의 특징에 따라서 상기 입력 영상을 소정의 영상 범주로 분류하는 분류부, 및 상기 영상 범주에 대응하는 계조 사상 함수와 상기 입력 영상을 구성하는 픽셀의 위치에 따라서 상기 입력 영상의 휘도를 조절하는 휘도 조절부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있 다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 나타낸 블록도이다. 영상 처리 장치(100)는 분류부(110), 휘도 조절부(120), 대비 조절부(130), 및 채도 조절부(140)를 포함한다. 영상 처리 장치(100)는 소정의 디스플레이 장치(도시하지 않음)에 포함되거나, 디스플레이 장치를 구비한 단말기에 포함될 수 있으며, 디스플레이 장치의 전력 모드와 입력 영상의 휘도 분포 특성에 따라서 입력 영상의 휘도를 조절할 수 있다. 여기서 디스플레이 장치의 바람직한 예로써 LCD(Liquid Crystal Display)를 들 수 있다.
분류부(110)는 입력 영상의 휘도 분포에 따라서 입력 영상을 소정의 영상 범주로 분류한다. 보다 구체적으로, 분류부(110)는 서로 다른 특징을 갖는 복수의 영상 범주 중에서 입력 영상의 휘도 히스토그램이 갖는 특징과 가장 유사한 특징을 갖는 영상 범주로 입력 영상을 분류할 수 있다. 여기서, 영상 범주는 다양한 영상들의 휘도 분포 특성을 대표할 수 있는 모델을 의미하며, 영상 범주의 종류 및 개수는 사전에 설정되어 있을 수 있다. 이하, 도 2 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 분류부(110)에 대해서 보다 구체적으로 설명하도록 한다.
도 2는 도 1의 분류부(110)를 보다 구체적으로 나타낸 블록도이다. 분류부(110)는 히스토그램 생성부(210), 특징 추출부(220), 및 선택부(230)를 포함한다.
히스토그램 생성부(210)는 입력 영상의 휘도 분포를 나타내는 휘도 히스토그램을 생성한다. 휘도 히스토그램을 생성하기 위해서는 입력 영상의 각 픽셀들이 갖는 휘도값을 산출하여야 한다. 휘도값을 산출하기 위한 일 실시예로서, 히스토그램 생성부(210)는 수학식1에 나타낸 바와 같은 NTSC(National Television Systems Committee) 표준의 계산식을 사용할 수 있다.
[수학식1]
Y=0.288R+0.587G+0.114B
수학식1에서 R, G, B는 각각 휘도값을 산출하고자 하는 대상 픽셀의 빨강, 초록, 및 파랑의 성분값을 나타내며, Y는 대상 픽셀의 휘도값을 나타낸다. 수학식1은 입력 영상을 표현하는 색상이 RGB 색공간에 기반하는 경우에 사용될 수 있다. 물론, 입력 영상을 표현하는 색상이 다른 유형의 색공간에 기반하고 있다면, 휘도값을 산출하기 위해서 다른 방식이 사용될 수 있을 것이다. 또한, 본 발명은 휘도값 산출 방식에 한정되지 않으므로, 입력 영상이 RGB 색공간을 사용하고 있다 하더 라도 NTSC 표준의 계산식 이외에 다른 휘도값 산출 방식이 사용되어도 무방하다. 만약 입력 영상이 휘도값을 포함하는 색공간에 기반하고 있다면, 휘도값을 산출하는 작업은 생략될 수 있다.
도 3은 임의의 입력 영상에 대해서 작성된 휘도 히스토그램의 일 예를 나타낸 도면이다. 도시된 휘도 히스토그램의 가로축은 휘도값을 나타낸다. 예를 들어 입력 영상이 8비트 영상이라면, 휘도값은 0 ~ 255 사이의 값을 가질 수 있다. 한편, 휘도 히스토그램의 세로축은 각 휘도값에 대응하는 픽셀 빈도를 나타낸다. 여기서 픽셀 빈도는 입력 영상에서 각 휘도값을 갖는 픽셀의 개수에 대응한다.
다시 도 2를 참조하면, 특징 추출부(220)는 히스토그램 생성부(210)가 제공하는 휘도 히스토그램의 특징을 추출한다. 휘도 히스토그램의 특징은 입력 영상이 속하는 영상 범주를 결정하기 위해서 사용될 수 있는 파라미터이며, 하나의 휘도 히스토그램으로부터 복수의 특징이 추출될 수 있다. 어떠한 파라미터를 휘도 히스토그램의 특징으로 사용할 것인지는 영상 처리 장치(100)의 설계시에 결정되어 있을 수 있다. 본 발명의 일 실시예에 따른, 휘도 히스토그램의 특징을 나타내는 파라미터에 대해서 도 3을 참조하여 설명하도록 한다.
도 3에 도시한 바와 같이, 휘도 범위는 하위 대역(low band), 중간 대역(middle band), 및 상위 대역(high band)으로 나뉠 수 있다. 여기서 휘도 범위는 하나의 픽셀이 나타낼 수 있는 계조의 수를 의미한다. 예를 들어 8비트 영상을 구성하는 각 픽셀은 0 ~ 255 사이의 휘도값을 가질 수 있으므로, 8비트 영상에서의 휘도 범위는 0 ~ 255이 될 것이다.
각 대역 간의 경계는 사전 실험을 통해서 휘도 히스토그램의 특징을 가장 잘 나타낼 수 있는 위치로 설정되어 있을 수 있다. 예를 들어, 하위 대역과 중간 대역의 경계(L)는 휘도 범위 중 하위 25%(8비트 영상의 경우 휘도값 63)이고, 중간 대역과 상위 대역의 경계(H)는 휘도 범위 중 상위 25%(8비트 영상의 경우 휘도값 191)일 수 있다.
휘도 히스토그램의 특징을 나타내는 파라미터의 예로서, HighSUM, LowSUM, MiddleSUM, Mean, ZeroBin, Dynamic Range(이하 "DR"이라고 함)를 들 수 있다.
HighSUM은 상위 대역에 포함되는 픽셀수를 의미하고, LowSUM은 하위 대역에 포함되는 픽셀수를 의미하며, MiddleSUM은 중간 대역에 포함되는 픽셀수를 의미한다. Mean은 입력 영상을 구성하는 모든 픽셀들의 휘도값의 평균(이하 평균 휘도값이라 한다)을 의미한다.
DR은 휘도 히스토그램에서 휘도값의 유효 범위를 나타내는데, Max-Min으로 정의될 수 있다. 여기서 Max는 휘도 히스토그램에서 휘도값이 낮은 순서대로 각 휘도값의 빈도를 합산할 경우, 그 합이 휘도 히스토그램의 면적의 1%가 될 때의 휘도값을 의미한다. 또한, Min은 휘도값이 높은 순서대로 각 휘도값의 빈도를 합산할 경우, 그 합이 휘도 히스토그램의 면적의 1%가 될 때의 휘도값을 의미한다. 예를 들어 도 3의 휘도 히스토그램에서, 제1 영역(310)의 넓이가 휘도 히스토그램 전체 면적의 1%라면 Max는 Y1이 되고, 제2 영역(320)의 넓이가 휘도 히스토그램 전체 면적의 1%라면 Min은 Y2가 된다. 이 경우, 휘도 히스토그램의 DR은 Y1-Y2로 나타낼 수 있다.
ZeroBin은 중간 대역에 속하는 각 휘도값의 빈도의 평균의 10%를 기준값으로 할때, 휘도 범위 중에서 빈도가 기준값보다 작은 휘도값을 갖는 픽셀수를 의미한다.
다시 도 2를 참조하면, 선택부(230)는 특징 추출부(220)로부터 제공되는 휘도 히스토그램의 특징을 분석하여 입력 영상과 가장 가까운 특징을 갖는 영상 범주를 선택한다. 본 발명의 일 실시예에 따른 영상 범주의 특징을 대표할 수 있는 휘도 히스토그램(이하 대표 히스토그램이라 한다)을 도 4에 도시하였다.
도 4에 도시된 대표 히스토그램을 통하여 각 영상 범주가 갖는 휘도 특성을 살펴보면, 영상 범주A는 중간 대역에 속하는 픽셀이 많고 상위 대역 및 하위 대역에 속하는 픽셀이 적은 영상을 대표한다. 영상 범주B는 상위 대역에 속하는 픽셀이 많은 영상을 대표하고, 영상 범주C는 하위 대역에 속하는 픽셀이 많은 영상을 대표한다. 영상 범주D는 높은 대비(contrast)를 나타내는 영상으로서, 상위 대역과 하위 대역에 대부분의 픽셀이 분포하는 영상을 대표한다. 영상 범주E는 전 대역에 걸쳐서 고른 픽셀 분포를 갖는 영상을 대표한다. 끝으로, 영상 범주F는 그래픽 작업을 통하여 생성된 영상과 같이 휘도값이 이산적으로 분포하는 영상을 대표한다. 도 4에 도시된 각 영상 범주의 대표 히스토그램은 일 실시예일뿐이므로, 다른 휘도 특성을 갖는 영상 범주가 사용될 수도 있다.
입력 영상을 분류하기 위해서 사용되는 휘도 히스토그램의 특징이 앞서 설명한 바와 같은 HighSUM, LowSUM, MiddleSUM, Mean, ZeroBin, 및 DR이고, 영상 범주들이 도 4에 도시한 바와 같은 휘도 특성을 갖는 경우, 영상 범주를 선택하기 위한 선택부(230)의 동작 과정에 대한 일 실시예를 도 5에 도시하였다.
먼저, 선택부(230)는 입력 영상의 HighSUM 및 LowSUM이 각각 입력 영상의 전체 픽셀수의 25%보다 작거나 같은지 판단한다(S510). 과정 S510의 판단 결과 그러하다면, 선택부(230)는 MiddleSUM이 HighSUM 및 LowSUM을 합한 값의 125%보다 큰지 판단한다(S515). 과정 S515의 판단 결과 그러하다면 선택부(230)는 영상 범주A를 선택한다(S520).
그러나, 과정 S515의 판단 결과 그러하지 아니하다면, 선택부(230)는 ZeroBin이 MiddleSUM에 0.5를 곱한 값보다 큰지 판단한다(S525). 과정 S525의 판단 결과 그러하다면 선택부(230)는 영상 범주F을 선택하고(S530), 과정 S525의 판단 결과 그러하지 아니하다면, 선택부(230)는 영상 범주E를 선택한다(S535).
한편, 과정 S510의 판단 결과 그러하지 아니하다면, 선택부(230)는 HighSUM 및 LowSUM이 각각 입력 영상의 전체 픽셀수의 25%보다 크고, DR에 포함되는 픽셀수가 전체 픽셀수의 90%보다 큰지 판단한다(S540). 과정 S540의 판단 결과 그러하다면, 선택부(230)는 영상 범주D를 선택한다(S545).
그러나 과정 S540의 판단결과 그러하지 아니하다면, 선택부(230)는 Mean이 휘도 범위에 0.45를 곱한 값보다 크고 휘도 범위에 0.55를 곱한 값보다 작은지를 판단한다(S550). 과정 S550의 판단 결과 그러하다면, 선택부(230)는 영상 범주E를 선택한다(S535).
그러나 과정 S550의 판단결과 그러하지 않다면, 선택부(230)는 ZeroBin이 MiddleSUM의 0.5배보다 큰지 판단한다(S555). 과정 S555의 판단 결과 그러하다면, 선택부(230)는 영상 범주F를 선택한다(S530).
한편, 과정 S555의 판단 결과 그러하지 않다면, 선택부(230)는 HighSUM이 전체 픽셀수의 25%보다 크고, LowSUM이 전체 픽셀수의 25%보다 작거나 같은지 판단한다(S560). 과정 S560의 판단 결과, 그러하다면 선택부(230)는 영상 범주B를 선택한다(S565).
그러나 과정 S560의 판단 결과 그러하지 않다면, 선택부(230)는 HighSUM이 전체 픽셀수의 25%보다 작고, LowSUM이 전체 픽셀수의 25%보다 크거나 같은지 판단한다(S570). 과정 S570의 판단 결과 그러하다면, 선택부(230)는 영상 범주C를 선택한다(S575).
그러나, 과정 S570의 판단 결과 그러하지 않다면, 선택부(230)는 Mean이 화소 범위에 0.5를 곱한 값 보다 작은지를 판단한다(S580). 과정 S500의 판단 결과 그러하다면, 선택부(230)는 영상 범주A를 선택하고(S520), 그러하지 않다면 선택부(230)는 영상 범주E를 선택한다(S535).
이상 도 5의 영상 범주 선택 과정은 일 실시예일뿐이므로, 본 발명이 이에 한정되는 것은 아니다.
다시 도 1을 참조하면, 휘도 조절부(120)는 전력 모드 및 입력 영상이 속하는 영상 범주에 따라서 입력 영상의 휘도를 조절한다. 여기서 전력 모드는 영상 처리 장치(100)가 적용되는 디스플레이 장치의 전력 소모 정도를 낸다. 예를 들어 정상 전력 모드는 디스플레이 장치가 최대 전력을 사용하고 있음을 나타내고, 저 전력 모드는 디스플레이 장치가 일정 수준으로 소비 전력을 감소하였음을 나타낼 수 있다. 물론 전력 감소율에 따라서 저 전력 모드도 다단계의 전력 모드로 구분될 수 있다. 예를 들어, 전력 감소율이 30%인 경우를 제1 저 전력 모드로 하고, 전력 감소율이 60%인 경우를 제2 저 전력 모드로 할 수 있다.
휘도 조절부(120)는 저 전력 모드에서의 효과적인 영상 재현을 위해서, 입력 영상이 속하는 영상 범주에 대응하는 계조 사상 함수(Tone Mapping Function; TMF)를 사용할 수 있다. TMF는 저 전력 모드에서 각 영상 범주에 속하는 영상의 휘도를 조절하기 위한 최적화된 패턴을 나타내는 함수로서, 입력 휘도값에 대응하는 출력 휘도값을 제공한다. TMF는 사전 실험을 통해서 휘도 조절부(120)에 설정되어 있을 수 있다.
도 6은 본 발명의 일 실시예에 따른 TMF를 이용한 휘도 변화율을 그래프로 나타낸 도면이다. 도시된 휘도 변화율 그래프들은 각각 도 4에 도시된 6개의 영상 범주에 대응한다. 도 6의 그래프에서 가로축은 입력 휘도값을 나타내는데, 본 실시예에서는 6비트 영상을 가정하여 0 ~ 63의 휘도 범위로 표현되고 있다. 또한 도 6의 그래프에서 세로축은 각 입력 휘도값에 대응하는 휘도 변화율을 나타낸다. 도 6의 그래프를 이용하여 입력 영상의 휘도를 변화시키는 일 예를 설명하면, 입력 영상이 영상 범주E에 속하는 경우 입력 영상 중 휘도값이 43인 픽셀들에 대한 휘도 증가율을 0.14이므로, 해당 픽셀들의 휘도값은 43+(43*0.14)으로 계산되어 약 49가 된다.
이하 도 7 및 도 8을 참조하여 휘도 조절부(120)에 대해서 보다 구체적으로 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 휘도 조절부(120)를 나타낸 블록도이다. 휘도 조절부(120)는 고정 이득 처리부(710), 가변 이득 처리부(720), 및 스위칭부(730)를 포함한다.
고정 이득 처리부(710)는 전력 감소율에 따라서 결정되는 고정 이득값과 입력 영상이 속하는 영상 범주에 대응하는 TMF를 이용하여 입력 영상의 휘도값을 조절한다. 고정 이득 처리부(710)에 의해 조절되는 휘도값은 수학식2와 같이 나타낼 수 있다.
[수학식2]
Figure 112006077439314-pat00001
수학식2에서
Figure 112006077439314-pat00002
은 저 전력 영상 구현을 위한 출력 휘도값이고,
Figure 112006077439314-pat00003
은 입력 휘도값이다. 또한,
Figure 112006077439314-pat00004
는 입력 영상이 속하는 영상 범주에 대응하는 TMF에 의한 휘도 증가율로서, 도 6의 그래프의 세로축에 대응하는 값이다. 또한,
Figure 112006077439314-pat00005
는 전력 감소율에 대응하는 이득값으로서, 하나의 입력 영상을 구성하는 모든 픽셀들에 대해서 동일한 값으로 적용된다. 물론, 전력 감소율에 따라서
Figure 112006077439314-pat00006
가 변할 수는 있다. 예를 들어 전력 감소율이 높아질수록 디스플레이 장치의 광원(예를 들어 LCD(Liquid Crystal Display)의 백라이트)의 밝기가 낮아질 것이므로,
Figure 112006077439314-pat00007
는 전력 감소율이 높아질수록 점점 큰 값으로 설정되어 영상의 휘 도를 증가시키도록 할 수 있다. 전력 감소율에 대응하는 적절한 고정 이득값은 사전 실험을 통하여 설정되어 있을 수 있다.
가변 이득 처리부(720)는 각 픽셀의 영상 내의 위치에 따라서 결정되는 가변 이득값과 입력 영상이 속하는 영상 범주에 대응하는 TMF를 이용하여 입력 영상의 휘도값을 조절한다. 가변 이득 처리부(720)에 의해 조절되는 휘도값은 수학식3과 같이 나타낼 수 있다.
[수학식3]
Figure 112006077439314-pat00008
수학식3에서
Figure 112006077439314-pat00009
,
Figure 112006077439314-pat00010
, 및
Figure 112006077439314-pat00011
는 수학식2에서 설명한 바와 같은 의미를 갖는다. 수학식3에서 x와 y는 영상 내에서 현재 처리 중인 픽셀(이하 대상 픽셀이라 한다)의 좌표를 나타내며,
Figure 112006077439314-pat00012
는 가변 이득값으로서 영상 내에서 대상 픽셀이 갖는 공간적 위치에 따라 가변된다.
바람직하게는 영상의 중심에서의 가변 이득값은 0으로 하여 출력 휘도값을 입력 휘도값과 동일하게 유지하고, 영상의 외곽 영역에서는 가변 이득값을 최대로 하여 휘도 증가율을 높일 수 있다. 그 외, 영상의 중심부에서 외곽부에 이르는 사이 영역에서는 외곽부로 갈수록 가변 이득값을 서서히 증가시킴으로써, 영상 내에서 급격한 밝기값 차이로 인한 영상 왜곡을 방지 할 수 있다.
이러한 특성을 만족하는 가변 이득값을 계산하기 위해서, 본 발명의 일 실시 예에 따르면 역 가우시안 함수를 사용할 수 있다. 우선 본 발명의 일 실시예에 따른 가우시안 함수를 수학식4에 나타내었다.
[수학식4]
Figure 112006077439314-pat00013
수학식4에서 'width'와 'height'는 입력 영상의 가로 및 세로의 크기이고, A와 B는 입력 영상의 종횡비에 따라서 가우시안 함수를 타원형으로 변형하기 위한 상수값이다. 수학식4의 가우시안 함수로부터 정규화된 역 가우시안 함수는 수학식5에 나타낸 바와 같다.
[수학식5]
Figure 112006077439314-pat00014
수학식5의 역 가우시안 함수를 사용한다면, 가변 이득값은 수학식6과 같이 나타낼 수 있다.
[수학식6]
Figure 112006077439314-pat00015
수학식6에서
Figure 112006077439314-pat00016
은 입력 영상이 속하는 영상 범주에 대응하는 최대 이득값으로서, 사전 실험을 통하여 입력 영상의 휘도 조절에 적합한 값으로 설정되어 있을 수 있다. 최대 이득값
Figure 112006077439314-pat00017
가 4이고, 입력 영상의 크기가 15*20일 경우, 입력 영상을 구성하는 각 픽셀에 할당되는 가변 이득값의 일 실시예를 도 8에 도시하였다. 도 8에서 각 블록들은 입력 영상(800)을 구성하는 픽셀을 나타내고, 각 블록 내의 숫자는 해당 픽셀에 할당되는 가변 이득값을 나타낸다. 도시된 바와 같이, 입력 영상(800)의 중심 영역에서는 가변 이득값이 0으로 할당되며, 입력 영상(800)의 외곽 영역에서는 가변 이득값이 최대 이득값인 4로 할당된다. 또한, 중심 영역에서부터 외곽 영역으로 갈수록 각 픽셀에 할당되는 가변 이득값은 0에서 4로 점차 증가하게 된다.
스위칭부(730)는 전력 모드와 입력 영상이 속하는 영상 범주에 따라서 고정 이득 처리부(710)와 가변 이득 처리부(720)의 동작을 제어한다. 전력 모드에 대한 정보는 도시되지 않은 외부 모듈로부터 획득할 수 있다. 예를 들어 영상 처리 장치(100)가 적용되는 디스플레이 장치의 전력을 제어하는 제어부(도시하지 않음)로부터 전력 모드에 대한 정보를 획득하는 것이 가능하다.
본 발명의 일 실시예에 따르면, 영상 처리 장치(100)는 영상 처리 장치(100)가 적용되는 디스플레이 장치가 저 전력 모드로 동작 하는 경우, 즉 디스플레이 장치의 소비 전력이 감소된 경우에 동작하는 것이 바람직하다. 따라서 전력 감소가 없는 정상 전력 모드라면, 스위칭부(730)는 고정 이득 처리부(710)와 가변 이득 처리부(720)를 모두 비활성화시킬 수 있다. 정상 전력 모드에서 입력 영상의 휘도를 향상시키게 되면 오히려 출력 영상에 왜곡이 발생할 것이기 때문이다.
저 전력 모드인 경우 스위칭부(730)는 고정 이득 처리부(710)와 가변 이득 처리부(720) 중 어느 하나를 활성화시키게 된다. 먼저, 전력 감소율이 임계치보다 크지 않다면, 스위칭부(730)는 고정 이득 처리부(710)를 활성화시킬 수 있다. 고정 이득 처리부(710)가 입력 영상의 휘도를 증가시킬 경우(즉, 수학식 2를 사용할 경우), 저 전력 환경에서도 정상 전력이 사용되는 환경과 유사한 밝기로 영상을 감상할 수 있다.
그러나, 고정 이득 처리부(710)가 사용하는 고정 이득값은 전력 감소율이 높아질수록 점점 큰 값을 가지므로, 전력 감소율이 임계치를 넘어서게 되면 입력 영상에 대한 휘도 증가량이 과도하게 커지게 된다. 이 경우, 휘도값이 포화되어 영상의 세밀함이 감소될 수 있다. 특히, 입력 영상의 중심부의 픽셀들이 전반적으로 높은 휘도값을 갖는다면, 임계치보다 큰 전력 감소율 하에서의 고정 이득 처리부(710)의 처리 결과는 영상의 화질을 쉽게 열화시킬 수 있다.
따라서 스위칭부(730)는, 전력 감소율이 임계치보다 큰 경우에는 가변 이득 처리부(720)를 활성화시킬 수 있다. 앞서 설명한 바와 같이, 가변 이득 처리부(720)는 영상 내의 위치에 따라서 대상 픽셀에 할당할 이득값을 가변한다. 따라서, 가변 이득 처리부(720)에 의해 처리된 출력 영상의 중심부는 입력 영상의 중심부와 동일한 휘도값을 갖게 되어, 영상의 세밀함이 감소되지 않는다. 또한, 영상의 외곽 영역은 인간의 시각적 특성상 상대적으로 중요도가 낮기 때문에, 가변 이득 처리부(720)는 영상의 외곽 영역에서는 이득값을 높게 설정하여 영상의 세밀함 보다는 휘도 향상에 중점을 둔다. 이 경우, 사용자가 인지하는 영상의 밝기가 정상 전력 환경 하에서의 영상의 밝기와 유사해질 수 있다. 그 외, 영상의 중심부에서 외곽부까지는 이득값이 서서히 증가하게 되기 때문에, 영상 내에서 급격한 밝기값 차이로 인한 영상 왜곡이 방지될 수 있다.
한편, 전력 감소율이 임계치보다 크더라도, 스위칭부(730)는 특수한 영상 범주에 속하는 입력 영상에 대해서는 고정 이득 처리부(710)가 활성화시킬 수 있다. 예를 들어, 도 4에서 영상 범주D는 휘도 범위의 양 극단에 대부분의 픽셀이 집중되어 있는 영상을 대표하며, 영상 범주F는 몇 개의 휘도값에 대부분의 픽셀이 이산적으로 분포하고 있는 영상을 대표하는데, 이러한 영상 범주에 속하는 입력 영상은 가변 이득 처리부(720)에 의해 처리될 경우 출력 영상의 왜곡이 오히려 증가할 수 있다. 영상 범주D나 영상 범주F에 속하는 영상은 특수한 효과로 처리된 영상이거나 그래픽 영상일 가능성이 높기 때문이다. 따라서 스위칭부(730)는 이러한 영상 범주에 속하는 입력 영상에 대해서는 고정 이득 처리부(710)를 활성화시킬 수 있다.
다시 도 1을 참조하면, 대비 조절부(130)는 휘도 조절부(120)에 의해 처리된 영상의 대비(contrast)를 조절한다. 이를 위해서 대비 조절부(130)는 입력 영상을 구성하는 각 픽셀의 휘도 특성에 따라서 각 필셀의 최종 휘도값을 결정하게 된다. 이하, 도 9 및 도 10을 참조하여 대비 조절부(130)에 대해서 구체적으로 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 대비 조절부(130)의 구성을 나타낸 블록 도이다. 대비 조절부(130)는 픽셀 분류부(910) 및 대비 향상부(920)를 포함한다.
픽셀 분류부(910)는 휘도 특성에 따라서 입력 영상의 각 픽셀들을 분류한다. 본 발명의 일 실시예에 따르면, 픽셀들은 세 개의 그룹으로 분류될 수 있는데, 구체적인 분류 기준으로서 대상 픽셀의 글로벌 대비율과 로컬 대비율이 사용될 수 있다.
글로벌 대비율은 대상 픽셀의 휘도값과 입력 영상의 평균 휘도값 간의 비율로서 수학식7에 나타낸 바와 같다.
[수학식7]
Figure 112006077439314-pat00018
수학식7에서 Cont는 글로벌 대비율을 나타낸다. 또한,
Figure 112006077439314-pat00019
는 입력 영상의 평균 휘도값이고,
Figure 112006077439314-pat00020
는 대상 픽셀의 휘도값이다. 여기서,
Figure 112006077439314-pat00021
Figure 112006077439314-pat00022
는 휘도 조절부(120)에 의해 처리되기 전의 입력 영상을 기준으로 한 값이다.
대상 픽셀의 글로벌 대비율이 1보다 크다면, 대상 픽셀은 입력 영상에서 어두운 픽셀에 속한다는 것을 의미한다. 이 경우, 픽셀 분류부(910)는 대상 픽셀을 전반적으로 어두운 픽셀(globally dark pixel; GDP)로 분류한다. 그러나 대상 픽셀의 글로벌 대비율이 1보다 크지 않다면, 대상 픽셀은 입력 영상에서 밝은 픽셀이 속한다는 것을 의미한다. 이 경우, 픽셀 분류부(910)는 대상 픽셀을 전반적으로 밝은 픽셀(globally light pixel; GLP)로 분류한다.
픽셀 분류부(910)는 GLP로 분류된 픽셀을 로컬 대비율에 기반하여 재분류한다. 로컬 대비율은 휘도 조절부(120)에 의해 처리된 결과를 기준으로 할 때, 대상 픽셀의 휘도값과 대상 픽셀을 포함하는 소정 크기의 마스크에 포함되는 픽셀들의 평균 휘도값 간의 비율이다. 예를 들어 도 10에 도시한 바와 같이 3*3 크기의 마스크가 사용될 경우, 마스크 내에는 9개의 픽셀이 존재하고, 이 중 대상 픽셀은 마스크의 중심에 존재한다. 본 발명의 일 실시예에 따른 로컬 대비율은 수학식8과 같이 나타낼 수 있다.
[수학식8]
Figure 112006077439314-pat00023
수학식8에서
Figure 112006077439314-pat00024
는 로컬 대비율을 나타낸다. 또한,
Figure 112006077439314-pat00025
는 대상 픽셀을 포함하는 마스크에 포함되는 픽셀들의 평균 휘도값이고,
Figure 112006077439314-pat00026
는 대상 픽셀의 휘도값이다.
Figure 112006077439314-pat00027
Figure 112006077439314-pat00028
는 휘도 조절부(120)에 의해 처리된 후의 입력 영상을 기준으로 한 값이다.
픽셀 분류부(910)는 로컬 대비율이 1보다 큰 대상 픽셀을 영역별 어두운 픽셀(locally dark pixel; LDP)로 분류하고, 로컬 대비율이 1보다 크지 않은 대상 픽셀을 영역별 밝은 픽셀(locally light pixel; LLP)로 분류한다.
대비 향상부(920)는 픽셀 분류부(910)에 의해 분류된 픽셀들의 휘도값을 변화시킴으로서 영상의 대비를 향상시킨다. 대비 향상부(920)는 GDP로 분류된 픽셀에 대한 휘도 조절부(120)의 처리 결과에서 소정의 크기만큼 휘도값을 감소시킨다. 바람직하게는, GDP로 분류된 픽셀에 대한 휘도값의 감소량은 글로벌 대비율에 비례하며, 그 일 예를 수학식9에 나타내었다.
[수학식9]
Figure 112006077439314-pat00029
수학식9에서
Figure 112006077439314-pat00030
은 대비 향상부(920)에 의해 출력되는 최종 휘도값이다. 또한,
Figure 112006077439314-pat00031
는 휘도 조절부(120)에 의해 처리된 결과 대상 픽셀이 갖는 휘도값이고,
Figure 112006077439314-pat00032
는 가중치로서 사전 실험을 통하여 미리 설정되어 있을 수 있다. 또한, Cont는 수학식7을 이용하여 계산한 글로벌 대비율을 나타낸다.
한편, 대비 향상부(920)는 GDP로 분류된 픽셀 중에서 LDP로 재분류된 픽셀에 대해서는 휘도값을 감소시키고, LLP로 재분류된 픽셀에 대해서는 휘도값을 증가시킨다. GDP로 분류된 픽셀에 대한 대비 향상부(920)의 휘도값 조절은 수학식10과 같이 나타낼 수 있다.
[수학식10]
Figure 112006077439314-pat00033
수학식10에서
Figure 112006077439314-pat00034
은 대비 향상부(920)에 의해 출력되는 최종 휘도값이다. 또한,
Figure 112006077439314-pat00035
는 휘도 조절부(120)에 의해 처리된 결과 대상 픽셀이 갖는 휘도값이고,
Figure 112006077439314-pat00036
는 휘도값의 증감량으로서 소정의 실수값(바람직하게는 정수값)을 가질 수 있다. 만약 대상 픽셀이 LDP로 분류된 픽셀이라면,
Figure 112006077439314-pat00037
는 음수일 수 있으며, 대상 픽셀이 LLP로 분류된 픽셀이라면,
Figure 112006077439314-pat00038
는 양수일 수 있다.
Figure 112006077439314-pat00039
의 값은 대비 향상부(920)에 의해 최종 처리된 휘도값을 기반으로 할 때의 로컬 대비율(이하, 최종 로컬 대비율이라 한다)과 최초 입력 영상의 휘도값을 기반으로 할때의 로컬 대비율(이하 초기 로컬 대비율이라 한다)이 동일해지도록 설정될 수 있다. 수학식11과 수학식12에 초기 로컬 대비율과 최종 로컬 대비율을 각각 나타내었다.
[수학식11]
Figure 112006077439314-pat00040
수학식11에서
Figure 112006077439314-pat00041
는 초기 로컬 대비율이다.
Figure 112006077439314-pat00042
는 마스크에 포함되는 픽셀들의 휘도값의 평균이고,
Figure 112006077439314-pat00043
는 대상 픽셀의 휘도값으로서,
Figure 112006077439314-pat00044
Figure 112006077439314-pat00045
는 모두 초기의 입력 영상을 기반으로 한다.
[수학식12]
Figure 112006077439314-pat00046
수학식12에서
Figure 112006077439314-pat00047
는 최종 로컬 대비율이다.
Figure 112006077439314-pat00048
Figure 112006077439314-pat00049
는 각각 수학식8을 통해 설명한 바와 같으며,
Figure 112006077439314-pat00050
는 수학식10을 통해 설명한 바와 같이, GLP로 분류된 픽셀에 대한 휘도값 증감량을 나타낸다. 또한
Figure 112006077439314-pat00051
는 마스크의 크기를 나타낸다.
앞서 설명한 바와 같이, GLP로 분류된 픽셀에 대한 휘도값 증감량
Figure 112006077439314-pat00052
는 초기 로컬 대비율과 최종 로컬 대비율을 동일하게 하는 값으로 설정되므로 수학식11과 수학식12를 이용하여
Figure 112006077439314-pat00053
=
Figure 112006077439314-pat00054
의 방정식을 계산하면
Figure 112006077439314-pat00055
를 얻을 수 있다.
Figure 112006077439314-pat00056
는 수학식13에 나타낸 바와 같다.
[수학식13]
Figure 112006077439314-pat00057
다시 도 1을 참조하면, 채도 조절부(140)는 대비 조절부(130)에 의해 처리된 영상의 채도를 조절한다. 저 전력 모드를 위해서 입력 영상의 휘도가 전반적으로 상승한 경우, 상대적으로 채도는 감소되기 때문이다. 채도 조절부(140)는 도 11에 도시한 바와 같이 변환부(1110), 피부색 추출부(1120), 및 채도 향상부(1130)를 포함한다.
변환부(1110)는 입력 영상이 기반으로 하고 있는 색공간을 채도 성분을 표현할 수 있는 색공간으로 변환한다. 예를 들어 변환부(1110)는 입력 영상을 HVS 색공간에 기반하도록 변환할 수 있다.
피부색 추출부(1120)는 입력 영상에서 피부색 영역을 검출한다. HSV 색공간의 경우 색상(Hue)와 채도(Saturation)를 사용하여 피부색 영역을 검출할 수 있는데, 피부색의 범위는 임계 범위 내의 색상값과 채도값으로 사전에 설정되어 있을 수 있다. 피부색의 정의는 영상 처리 장치(100)가 적용된 디스플레이 장치를 사용하게 될 사용자에 따라서 달리 설정될 수 있다.
채도 향상부(1130)는 입력 영상의 채도를 향상시킨다. 이를 통해서, 휘도 조절부(120)와 대비 조절부(130)에 의해 처리된 입력 영상에 발생할 수 있는 채도 감소를 보상해줄 수 있다. 채도 향상부(1130)는 입력 영상 중 피부색 영역에서는 채도 향상 정도를 작게 하여 피부색의 왜곡을 방지하고, 그 이외의 색 영역에서는 채도 향상 정도를 보다 크게 할 수 있다. 채도 향상부(1130)는 입력 영상의 채도를 향상시키기 위해서 수학식14와 수학식15를 사용할 수 있는데, 수학식14는 피부색의 픽셀을 대상으로 하며 수학식15는 피부색 이외의 색의 픽셀을 대상으로 한다.
[수학식14]
Figure 112006077439314-pat00058
[수학식15]
Figure 112006077439314-pat00059
수학식14와 수학식15에서
Figure 112006077439314-pat00060
는 출력될 최종 채도값이고,
Figure 112006077439314-pat00061
는 입력 채도값이다. 또한,
Figure 112006077439314-pat00062
Figure 112006077439314-pat00063
는 각각 채도 증가율로서 사전 실험을 통하여 적절한 값으로 설정될 수 있는데,
Figure 112006077439314-pat00064
Figure 112006077439314-pat00065
보다 큰 값을 갖는 것이 바람직하다.
이상의 설명에서 영상 처리 장치(100)를 구성하는 구성요소들은 '모듈'로 구현될 수 있다. 모듈은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에 서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
이하, 도 12를 참조하여 영상 처리 장치(100)의 동작 과정을 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 과정을 나타낸 흐름도이다.
입력 영상이 제공되면, 분류부(110)는 입력 영상의 휘도 특성에 기반하여 입력 영상을 영상 범주로 분류한다(S1210).
그 후, 휘도 조절부(120)는 입력 영상이 속하는 영상 범주가 특정 영상 범주에 해당하는지 판단한다(S1220). 여기서 특정 영상 범주는 도 4를 참조하여 설명한 영상 범주D나 영상 범주F와 같이 비정상적인 휘도 정보를 포함하는 영상 범주로서, 사전에 결정되어 있을 수 있다.
과정 S1220에서의 판단 결과, 입력 영상이 속하는 영상 범주가 특정 영상 범주에 해당한다면, 휘도 조절부(120)는 고정 이득값을 사용하여 입력 영상의 휘도를 조절한다(S1230). 그러나 과정 S1220에서의 판단 결과, 입력 영상이 속하는 영상 범주가 특정 영상 범주에 해당하지 않는다면, 휘도 조절부(120)는 가변 이득값을 사용하여 입력 영상의 휘도를 조절한다(S1240). 보다 구체적으로는, 과정 S1230은 도 7을 참조하여 설명한 휘도 조절부(120)의 고정 이득 처리부(710)가 수행하며, 과정 S1240은 도 7을 참조하여 설명한 휘도 조절부(120)의 가변 이득 처리부(710)가 수행할 수 있다.
그 후, 대비 조절부(130)는 휘도 조절부(120)에 의해 처리된 입력 영상의 대 비를 조절하고(S1250), 채도 조절부(140)는 대비 조절부(130)의 작업 후 입력 영상의 채도를 조절한다(S1260). 대비 조절부(130)와 채도 조절부(140)의 입력 영상 처리 작업은 앞서 설명한 바를 통해서 이해될 수 있을 것이므로, 본 흐름도에서 구체적인 설명은 생략하도록 한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
상기한 바와 같은 본 발명의 영상 처리 방법 및 장치에 따르면 저 전력 환경에서도 정상 전력 환경에서의 밝기와 유사한 밝기로 사용자가 영상을 감상할 수 있는 효과가 있다.

Claims (24)

  1. 입력 영상의 휘도 히스토그램의 특징에 따라서 상기 입력 영상을 소정의 영상 범주로 분류하는 단계; 및
    디스플레이 장치의 전력 감소율에 따라서 결정되는 고정 이득값과 상기 영상 범주에 대응하는 계조 사상 함수를 이용하는 제1 휘도 조절 작업과, 상기 입력 영상의 각 픽셀의 위치에 따라서 결정되는 가변 이득값과 상기 계조 사상 함수를 이용하는 제2 휘도 조절 작업 중 적어도 하나를 사용하여 상기 입력 영상의 휘도를 조절하는 단계를 포함하는, 영상 처리 방법.
  2. 제 1항에 있어서, 상기 제2 휘도 조절 작업은,
    상기 계조 사상 함수에 기반한 휘도 증가율과 상기 픽셀의 위치에 대응하는 이득률에 비례하도록 상기 픽셀의 휘도를 증가시키는 작업인, 영상 처리 방법.
  3. 제 2항에 있어서,
    상기 이득률은 상기 픽셀의 위치가 상기 입력 영상의 중심에 가까울수록 작아지고, 상기 입력 영상의 외곽에 가까울수록 커지는, 영상 처리 방법.
  4. 제 2항에 있어서,
    상기 이득률은 상기 픽셀의 위치를 나타내는 좌표를 입력 변수로 하는 역 가우시안 함수에 비례하는, 영상 처리 방법.
  5. 제 1항에 있어서, 상기 휘도를 조절하는 단계는,
    상기 디스플레이 장치의 전력 감소율이 임계치보다 큰 경우 상기 제2 휘도 조절 작업을 수행하는 단계; 및
    상기 전력 감소율이 상기 임계치보다 크지 않은 경우 상기 제1 휘도 조절 작업을 수행하는 단계를 포함하는, 영상 처리 방법.
  6. 제 1항에 있어서, 상기 휘도를 조절하는 단계는,
    상기 영상 범주가 제1 기준 휘도값보다 큰 휘도값을 갖는 픽셀의 수와 제2 기준 휘도값보다 작은 휘도값을 갖는 픽셀의 수가 각각 임계비율 이상인 영상을 대표하는 제1 영상 범주이거나, 소정의 휘도값에 픽셀들이 이산적으로 분포하는 영상을 대표하는 제2 영상 범주인 경우, 상기 제1 휘도 조절 작업을 수행하는 단계; 및
    상기 영상 범주가 상기 제1 영상 범주와 상기 제2 영상 범주가 아닌 경우, 상기 제2 휘도 조절 작업을 수행하는 단계를 포함하는, 영상 처리 방법.
  7. 제 1항에 있어서,
    상기 휘도가 조절된 입력 영상의 대비를 조절하는 단계를 더 포함하는, 영상 처리 방법.
  8. 제 7항에 있어서, 상기 대비를 조절하는 단계는,
    상기 입력 영상의 제1 평균 휘도값이 상기 픽셀의 제1 휘도값보다 큰 경우, 상기 픽셀의 제2 휘도값을 감소시키는 단계를 포함하고,
    상기 제1 평균 휘도값과 상기 제1 휘도값은 상기 휘도가 조절되기 전의 입력 영상을 기준으로 하며, 상기 제2 휘도값은 상기 휘도가 조절된 후의 입력 영상을 기준으로 하는, 영상 처리 방법.
  9. 제 8항에 있어서,
    상기 제2 휘도값의 감소량은 상기 제1 평균 휘도값과 상기 제1 휘도값 간의 대비율에 비례하는, 영상 처리 방법.
  10. 제 8항에 있어서, 상기 대비를 조절하는 단계는,
    상기 제1 평균 휘도값이 상기 제2 휘도값보다 크지 않은 경우, 상기 픽셀을 포함하는 소정 크기의 마스크에 포함되는 픽셀들의 제2 평균 휘도값과 상기 제2 휘도값 간의 대비율이 상기 마스크에 포함되는 픽셀들의 제3 평균 휘도값과 상기 제1 휘도값 간의 대비율과 일치하도록 상기 픽셀의 휘도를 증감시키는 단계를 포함하고,
    상기 제3 평균 휘도값은 상기 휘도가 조절되기 전의 입력 영상을 기준으로 하는, 영상 처리 방법.
  11. 제 7항에 있어서,
    상기 대비가 조절된 입력 영상의 채도를 조절하는 단계를 더 포함하는, 영상 처리 방법.
  12. 제 11항에 있어서, 상기 채도를 조절하는 단계는,
    상기 대비가 조절된 입력 영상에서 사전에 설정된 색상 및 채도 범위에 해당하는 피부색 영역과 상기 피부색 이외의 색 영역의 채도를 증가시키는 단계를 포함하고,
    상기 피부색 이외의 색 영역의 채도 증가율은 상기 피부색 영역의 채도 증가율보다 높은, 영상 처리 방법.
  13. 입력 영상의 휘도 히스토그램의 특징에 따라서 상기 입력 영상을 소정의 영상 범주로 분류하는 분류부;
    디스플레이 장치의 전력 감소율에 따라서 결정되는 고정 이득값과 상기 영상 범주에 대응하는 계조 사상 함수를 이용하여 상기 입력 영상의 휘도를 조절하는 고정 이득 처리부;
    상기 입력 영상의 각 픽셀의 위치에 따라서 결정되는 가변 이득값과 상기 계조 사상 함수를 이용하여 상기 입력 영상의 휘도를 조절하는 가변 이득 처리부; 및
    상기 고정 이득 처리부와 상기 가변 이득 처리부의 동작을 제어하는 스위칭부를 포함하는, 영상 처리 장치.
  14. 제 13항에 있어서,
    상기 가변 이득 처리부는 상기 계조 사상 함수에 기반한 휘도 증가율과 상기 픽셀의 위치에 대응하는 이득률에 비례하도록 상기 픽셀의 휘도를 증가시키는, 영상 처리 장치.
  15. 제 14항에 있어서,
    상기 이득률은 상기 픽셀의 위치가 상기 입력 영상의 중심에 가까울수록 작아지고, 상기 입력 영상의 외곽에 가까울수록 커지는, 영상 처리 장치.
  16. 제 14항에 있어서,
    상기 이득률은 상기 픽셀의 위치를 나타내는 좌표를 입력 변수로 하는 역 가우시안 함수에 비례하는, 영상 처리 장치.
  17. 제 13항에 있어서,
    상기 스위칭부는 상기 디스플레이 장치의 전력 감소율이 임계치보다 큰 경우 상기 가변 이득 처리부를 활성화시키고, 상기 전력 감소율이 상기 임계치보다 크지 않은 경우 상기 고정 이득 처리부를 활성화시키는, 영상 처리 장치.
  18. 제 13항에 있어서, 상기 스위칭부는,
    상기 영상 범주가 제1 기준 휘도값보다 큰 휘도값을 갖는 픽셀의 수와 제2 기준 휘도값보다 작은 휘도값을 갖는 픽셀의 수가 각각 임계비율 이상인 영상을 대표하는 제1 영상 범주이거나, 소정의 휘도값에 픽셀들이 이산적으로 분포하는 영상을 대표하는 제2 영상 범주인 경우, 상기 고정 이득 처리부를 활성화시키고,
    상기 영상 범주가 상기 제1 영상 범주와 상기 제2 영상 범주가 아닌 경우, 상기 가변 이득 처리부를 활성화시키는, 영상 처리 장치.
  19. 제 13항에 있어서,
    상기 휘도가 조절된 입력 영상의 대비를 조절하는 대비 조절부를 더 포함하는, 영상 처리 장치.
  20. 제 19항에 있어서,
    상기 대비 조절부는 상기 입력 영상의 제1 평균 휘도값이 상기 픽셀의 제1 휘도값보다 큰 경우, 상기 픽셀의 제2 휘도값을 감소시키고,
    상기 제1 평균 휘도값과 상기 제1 휘도값은 상기 휘도가 조절되기 전의 입력 영상을 기준으로 하며, 상기 제2 휘도값은 상기 휘도가 조절된 후의 입력 영상을 기준으로 하는, 영상 처리 장치.
  21. 제 20항에 있어서,
    상기 제2 휘도값의 감소량은 상기 제1 평균 휘도값과 상기 제1 휘도값 간의 대비율에 비례하는, 영상 처리 장치.
  22. 제 20항에 있어서,
    상기 대비 조절부는 상기 제1 평균 휘도값이 상기 제2 휘도값보다 크지 않은 경우, 상기 픽셀을 포함하는 소정 크기의 마스크에 포함되는 픽셀들의 제2 평균 휘도값과 상기 제2 휘도값 간의 대비율이 상기 마스크에 포함되는 픽셀들의 제3 평균 휘도값과 상기 제1 휘도값 간의 대비율과 일치하도록 상기 픽셀의 휘도를 증감시키고,
    상기 제3 평균 휘도값은 상기 휘도가 조절되기 전의 입력 영상을 기준으로 하는, 영상 처리 장치.
  23. 제 19항에 있어서,
    상기 대비가 조절된 입력 영상의 채도를 조절하는 채도 조절부를 더 포함하는, 영상 처리 장치.
  24. 제 23항에 있어서,
    상기 채도를 조절부는 상기 대비가 조절된 입력 영상에서 사전에 설정된 색상 및 채도 범위에 해당하는 피부색 영역과 상기 피부색 이외의 색 영역의 채도를 증가시키고,
    상기 피부색 이외의 색 영역의 채도 증가율은 상기 피부색 영역의 채도 증가 율보다 높은, 영상 처리 장치.
KR1020060104181A 2006-10-25 2006-10-25 영상 처리 방법 및 장치 KR100791387B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020060104181A KR100791387B1 (ko) 2006-10-25 2006-10-25 영상 처리 방법 및 장치
US11/907,710 US8155465B2 (en) 2006-10-25 2007-10-16 Image processing method, medium, and system
JP2007276624A JP2008116941A (ja) 2006-10-25 2007-10-24 映像処理方法および装置
EP07119128.2A EP1918873B1 (en) 2006-10-25 2007-10-24 Image processing method, medium and system
CN200710167482XA CN101169930B (zh) 2006-10-25 2007-10-25 图像处理方法和系统
JP2013026023A JP5654065B2 (ja) 2006-10-25 2013-02-13 映像処理方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060104181A KR100791387B1 (ko) 2006-10-25 2006-10-25 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR100791387B1 true KR100791387B1 (ko) 2008-01-07

Family

ID=39052761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060104181A KR100791387B1 (ko) 2006-10-25 2006-10-25 영상 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US8155465B2 (ko)
EP (1) EP1918873B1 (ko)
JP (2) JP2008116941A (ko)
KR (1) KR100791387B1 (ko)
CN (1) CN101169930B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101182637B1 (ko) 2010-12-24 2012-09-14 고려대학교 산학협력단 영상 제공 장치 및 그 방법
KR20160017387A (ko) * 2014-08-05 2016-02-16 삼성디스플레이 주식회사 디스플레이 제어 장치, 디스플레이 제어 방법, 및 디스플레이 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4304678B2 (ja) * 2007-01-16 2009-07-29 セイコーエプソン株式会社 画像処理装置
US8638338B2 (en) * 2008-02-11 2014-01-28 Apple Inc. Adjusting color attribute of an image in a non-uniform way
JP5384623B2 (ja) * 2008-05-28 2014-01-08 ポイボス ビジョン オプト−エレクトロニクス テクノロジー リミテッド 色域拡張システムとその方法
US20100080459A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Content adaptive histogram enhancement
US8498480B2 (en) 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
FR2947082B1 (fr) * 2009-06-22 2014-12-12 St Ericsson France Sas Procede et dispositif de traitement d'une image numerique pour eclaircir ladite image.
KR101351126B1 (ko) * 2009-07-21 2014-01-14 퀄컴 인코포레이티드 비디오 이미지들의 검출 및 개선을 위한 방법 및 시스템
CN101710955B (zh) * 2009-11-24 2014-06-25 北京中星微电子有限公司 亮度和对比度调整的方法及设备
US8666148B2 (en) 2010-06-03 2014-03-04 Adobe Systems Incorporated Image adjustment
CN102737610B (zh) * 2011-03-31 2015-02-11 青岛海信电器股份有限公司 一种光源亮度调整方法、装置及显示设备
US8903169B1 (en) 2011-09-02 2014-12-02 Adobe Systems Incorporated Automatic adaptation to image processing pipeline
US9008415B2 (en) * 2011-09-02 2015-04-14 Adobe Systems Incorporated Automatic image adjustment parameter correction
US20130238747A1 (en) 2012-03-06 2013-09-12 Apple Inc. Image beaming for a media editing application
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US9569078B2 (en) 2012-03-06 2017-02-14 Apple Inc. User interface tools for cropping and straightening image
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
CN103942755B (zh) * 2013-01-23 2017-11-17 深圳市腾讯计算机系统有限公司 图像亮度调节方法和装置
US9728052B2 (en) * 2013-04-22 2017-08-08 Electronics And Telecommunications Research Institute Digital signage system and emergency alerting method using same
KR101497933B1 (ko) * 2013-08-19 2015-03-03 현대모비스(주) 클러스터링 기법을 이용한 다수 영상의 합성 시스템 및 방법
JP6234117B2 (ja) * 2013-08-30 2017-11-22 キヤノン株式会社 印刷装置、その制御方法、および制御プログラム
KR102051538B1 (ko) * 2013-09-13 2020-01-08 에스케이하이닉스 주식회사 신호 처리 장치 및 그의 동작 방법
CN104036474B (zh) * 2014-06-12 2017-12-19 厦门美图之家科技有限公司 一种图像亮度和对比度的自动调节方法
KR102234795B1 (ko) * 2014-09-30 2021-04-02 삼성디스플레이 주식회사 디스플레이 전력의 감소를 위한 이미지 데이터의 프로세싱 방법 및 디스플레이 시스템
US10530995B2 (en) * 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
JP2017139678A (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
CN105931614B (zh) * 2016-06-28 2019-02-05 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106169290B (zh) * 2016-06-28 2019-04-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN107644606A (zh) * 2016-07-21 2018-01-30 中兴通讯股份有限公司 终端显示屏控制方法及装置
CN107194363B (zh) * 2017-05-31 2020-02-04 Oppo广东移动通信有限公司 图像饱和度处理方法、装置、存储介质及计算机设备
CN107680056B (zh) * 2017-09-27 2020-03-10 深圳市华星光电半导体显示技术有限公司 一种图像处理方法及装置
US10652434B2 (en) * 2018-01-09 2020-05-12 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Image optimization method and related device
CN108090884B (zh) * 2018-01-09 2020-11-06 深圳市华星光电半导体显示技术有限公司 图像优化方法及相关装置
CN108510965B (zh) * 2018-05-03 2019-10-11 武汉天马微电子有限公司 一种显示器亮度补偿方法、装置及系统
CN109215595A (zh) * 2018-10-11 2019-01-15 京东方科技集团股份有限公司 显示驱动方法、显示驱动装置、数据驱动电路及显示装置
CN111105756B (zh) * 2018-10-26 2021-05-11 展讯通信(上海)有限公司 液晶显示图像的背光补偿方法及装置、存储介质、终端
CN109584175B (zh) * 2018-11-21 2020-08-14 浙江大华技术股份有限公司 一种图像处理方法及装置
CN109949377B (zh) * 2019-03-08 2021-10-01 北京旷视科技有限公司 图像处理方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020080574A (ko) * 2001-04-16 2002-10-26 디엑스오 텔레콤(주) 자동 영상 분류를 통한 디지털 컬러 영상 화질 개선 방법

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63268380A (ja) * 1987-04-25 1988-11-07 Sony Corp 投射型映像表示装置
EP0531904A3 (en) * 1991-09-10 1993-10-06 Eastman Kodak Company Method and apparatus for spatially variant filtering
KR0148053B1 (ko) * 1995-05-12 1998-09-15 김광호 액정 표시 소자의 후면 광원 구동 제어 장치 및 그 방법
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP2002014660A (ja) 2000-06-29 2002-01-18 Victor Co Of Japan Ltd 液晶表示装置
US6965684B2 (en) * 2000-09-15 2005-11-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image
US7003153B1 (en) * 2000-09-29 2006-02-21 Sharp Laboratories Of America, Inc. Video contrast enhancement through partial histogram equalization
FR2827060B1 (fr) * 2001-07-05 2003-09-19 Eastman Kodak Co Procede d'identification du ciel dans une image et image obtenue grace a ce procede
US6845181B2 (en) * 2001-07-12 2005-01-18 Eastman Kodak Company Method for processing a digital image to adjust brightness
JP3850241B2 (ja) * 2001-07-19 2006-11-29 シャープ株式会社 照明装置およびそれを用いた液晶表示装置
WO2003091791A1 (en) 2002-04-26 2003-11-06 Electronics And Telecommunications Research Institute Apparatus and method for reducing power consumption by adjusting backlight and adapting visual signal
JP2003345315A (ja) * 2002-05-30 2003-12-03 Fujitsu Ltd 信号処理部及び液晶表示装置
WO2004049293A1 (en) * 2002-11-27 2004-06-10 Koninklijke Philips Electronics N.V. Method of improving the perceptual contrast of displayed images
JP2005134866A (ja) * 2003-04-18 2005-05-26 Sharp Corp カラー表示装置、色補正方法および色補正プログラム
JP2004102244A (ja) 2003-07-07 2004-04-02 Hitachi Ltd 液晶表示装置
TWI271692B (en) * 2003-07-26 2007-01-21 Lg Electronics Inc Apparatus and method for controlling brightness level of display
JP4776875B2 (ja) * 2003-08-29 2011-09-21 セイコーエプソン株式会社 映像表示装置、投射型表示装置
US7466868B2 (en) * 2003-10-03 2008-12-16 Adobe Systems Incorporated Determining parameters for adjusting images
US7412105B2 (en) * 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
KR100680058B1 (ko) 2003-11-13 2007-02-07 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
JP4628770B2 (ja) * 2004-02-09 2011-02-09 株式会社日立製作所 照明装置を備えた画像表示装置及び画像表示方法
JP4855648B2 (ja) * 2004-03-30 2012-01-18 グローバル・オーエルイーディー・テクノロジー・リミテッド・ライアビリティ・カンパニー 有機el表示装置
KR100612494B1 (ko) * 2004-06-07 2006-08-14 삼성전자주식회사 칼러 영상의 채도 조절 장치 및 방법
JP2006101421A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 映像信号処理回路
US7573533B2 (en) * 2004-10-15 2009-08-11 Genesis Microchip Inc. Method of generating transfer curves for adaptive contrast enhancement
KR101103889B1 (ko) * 2004-12-29 2012-01-12 엘지디스플레이 주식회사 액정표시장치와 그 구동방법
KR100757474B1 (ko) * 2005-02-15 2007-09-11 삼성전자주식회사 영상표시장치 및 그의 화소 조절 방법
CN100474388C (zh) * 2005-03-24 2009-04-01 索尼株式会社 显示装置和显示方法
JP2006284972A (ja) * 2005-04-01 2006-10-19 Sony Corp 焼き付き現象補正方法、自発光装置、焼き付き現象補正装置及びプログラム
US7352410B2 (en) * 2005-05-31 2008-04-01 Kolorific, Inc. Method and system for automatic brightness and contrast adjustment of a video source
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020080574A (ko) * 2001-04-16 2002-10-26 디엑스오 텔레콤(주) 자동 영상 분류를 통한 디지털 컬러 영상 화질 개선 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101182637B1 (ko) 2010-12-24 2012-09-14 고려대학교 산학협력단 영상 제공 장치 및 그 방법
KR20160017387A (ko) * 2014-08-05 2016-02-16 삼성디스플레이 주식회사 디스플레이 제어 장치, 디스플레이 제어 방법, 및 디스플레이 장치
KR102227478B1 (ko) * 2014-08-05 2021-03-15 삼성디스플레이 주식회사 디스플레이 제어 장치, 디스플레이 제어 방법, 및 디스플레이 장치

Also Published As

Publication number Publication date
US8155465B2 (en) 2012-04-10
CN101169930A (zh) 2008-04-30
JP5654065B2 (ja) 2015-01-14
EP1918873A2 (en) 2008-05-07
US20080101697A1 (en) 2008-05-01
EP1918873B1 (en) 2020-04-08
CN101169930B (zh) 2013-06-19
JP2013140381A (ja) 2013-07-18
EP1918873A3 (en) 2017-12-20
JP2008116941A (ja) 2008-05-22

Similar Documents

Publication Publication Date Title
KR100791387B1 (ko) 영상 처리 방법 및 장치
JP5508679B2 (ja) 低電力駆動装置および方法
WO2017143635A1 (zh) 一种降低显示面板功耗的方法及系统
JP5334402B2 (ja) 映像のチラつきを改善するディスプレイ装置および方法
KR100827237B1 (ko) 다색 광원의 전력 제어를 지원하는 영상 표시 장치 및 방법
US8625894B2 (en) Image display device capable of supporting brightness enhancement and power control and method thereof
JP4277773B2 (ja) 映像表示装置
CN1957603A (zh) 视频信号变换装置、视频显示装置
JP2010250331A (ja) カラー表示装置、色補正方法および色補正プログラム
JP2018026794A (ja) 画像処理装置、画像投影装置、及び画像処理方法
JP2005134866A (ja) カラー表示装置、色補正方法および色補正プログラム
US20090060360A1 (en) Method and apparatus for processing image and electronic device using the same
KR102303666B1 (ko) 영상 처리 방법, 영상 처리 방법을 수행하는 영상 처리 장치, 및 영상 처리 장치를 포함하는 표시 장치
JP4831173B2 (ja) 映像表示装置
KR100755682B1 (ko) 밝기 향상 및 전력 제어를 지원하는 영상 표시 장치 및방법
CN117198220B (zh) 显示面板的驱动方法、装置、显示模组及电子设备
TWI819411B (zh) 用以對比提升的影像處理裝置及影像處理方法
CN117198219B (zh) 显示屏显示方法、设备、存储介质及装置
CN114495824B (zh) 一种针对oled显示器图像及文字边缘偏色的校正方法、系统、存储介质和处理器
CN116205794A (zh) 用以对比提升的图像处理装置及图像处理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171121

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 12