KR100809346B1 - 엣지 보정 장치 및 방법 - Google Patents

엣지 보정 장치 및 방법 Download PDF

Info

Publication number
KR100809346B1
KR100809346B1 KR1020060062082A KR20060062082A KR100809346B1 KR 100809346 B1 KR100809346 B1 KR 100809346B1 KR 1020060062082 A KR1020060062082 A KR 1020060062082A KR 20060062082 A KR20060062082 A KR 20060062082A KR 100809346 B1 KR100809346 B1 KR 100809346B1
Authority
KR
South Korea
Prior art keywords
window
pixel
luminance
value
edge
Prior art date
Application number
KR1020060062082A
Other languages
English (en)
Other versions
KR20080003626A (ko
Inventor
임재균
최원희
이성덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060062082A priority Critical patent/KR100809346B1/ko
Priority to EP07111354A priority patent/EP1876566A2/en
Priority to US11/822,157 priority patent/US7956910B2/en
Priority to JP2007175307A priority patent/JP2008016029A/ja
Priority to CN2007101269142A priority patent/CN101102515B/zh
Publication of KR20080003626A publication Critical patent/KR20080003626A/ko
Application granted granted Critical
Publication of KR100809346B1 publication Critical patent/KR100809346B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

엣지 보정 장치 및 방법을 제공한다. 엣지 보정 장치는 입력 이미지의 엣지(edge)에 위치한 소정 크기의 제1 윈도우의 중심 픽셀과 제1 윈도우의 복수개의 인접 픽셀간의 휘도 차 또는 휘도의 균일한 정도를 나타내는 소정 수치의 차에 따라 할당된 가중치를 이용하여 엣지의 휘도 값을 보정하는 휘도 보정부 및 보정된 엣지의 휘도 값을 바탕으로 소정 크기의 제2 윈도우의 중심 픽셀과 제2 윈도우의 복수개의 인접 픽셀간의 휘도 차에 따라 할당된 가중치를 이용하여 엣지의 색차 값을 보정하는 색차 보정부를 포함한다.
엣지(edge), 휘도신호, 색차신호

Description

엣지 보정 장치 및 방법{Apparatus and method for correcting edge}
도 1은 종래의 엣지 보정을 도시한다.
도 2는 본 발명의 일 실시예에 따른 엣지 보정 장치의 블록도이다.
도 3 및 도 4는 상기 도 2를 이용하여 엣지를 보정하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 엣지 검출 과정을 도시한다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 윈도우의 중심 픽셀과 인접 픽셀간의 휘도 차에 따라 제1 마스크에 가중치를 부여하는 과정을 도시한다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 윈도우의 중심 픽셀과 인접 픽셀간의 DoV 차에 따라 제2 마스크에 가중치를 부여하는 과정을 도시한다.
도 10은 본 발명의 일 실시예에 따른 제1 마스크와 제2 마스크의 연산 값을 이용한 엣지의 휘도 보정을 도시한다.
도 11 및 도 12는 보정된 엣지의 휘도 값을 바탕으로 엣지의 색차 (Chrominance)를 보정하는 과정을 도시한다.
도 13은 본 발명의 일 실시예에 따른 휘도 기울기의 변화를 도시한다.
<도면의 주요 부분에 관한 부호의 설명>
200: 엣지 검출부 203: 엣지 연산부
205: 엣지 판단부 210: 휘도 보정부
220: 휘도 연산부 223: 제1 휘도 연산부
226: 제2 휘도 연산부 229: 제3 휘도 연산부
230: 휘도 가중치 할당부 233: 제1 가중치 할당부
236: 제2 가중치 할당부 240: 색차 보정부
243: 색차 연산부 246: 색차 가중치 할당부
250: 합산부
본 발명은 엣지 보정 장치 및 방법에 관한 것으로서, 더욱 상세하게는 이미지의 엣지를 검출하고 엣지의 휘도 및 색차 값을 보정하여 선명한 이미지를 출력하는 엣지 보정 장치 및 방법에 관한 것이다.
최근 디지털 스틸 카메라나 디지털 캠코더와 같은 디지털 촬영 장치의 보급이 확산되고 있다. 이러한 디지털 촬영 장치가 촬영한 이미지를 보다 선명하게 하기 위해 다양한 엣지 검출 수단, 및 색차신호(Cr, Cb)를 보정하여 엣지를 강조하는 수단과 같은 다양한 기술이 등장하고 있다.
도 1은 종래의 엣지 보정을 도시한다.
화질이 열화된 이미지에 대해서, 종래의 기술들을 이용하여 엣지 영역(edge region)(이하 엣지라고도 함)을 선명하게 강조한 경우(10, 12), 이미지의 엣지에서 나타난 불연속(non-continuous) 특성을 강화시키므로 노이지(noisy)한 이미지를 생 성하고, 고주파 영역(high frequency region)에 존재할 수 있는 칼러 프린지 결함(color fringe defects)도 함께 선명하게 강조하는 문제점이 있다.
따라서 이미지의 엣지를 선명하게 강조할 때 발생할 수 있는 결함들을 감소시키고, 보다 효율적으로 이미지의 엣지 정보를 보정하여 이미지의 선명도를 향상시킬 필요성이 제기된다.
본 발명은 엣지 보정 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 엣지 보정 장치는 입력 이미지의 엣지(edge)에 위치한 소정 크기의 제1 윈도우의 중심 픽셀과 제1 윈도우의 복수개의 인접 픽셀간의 휘도 차 또는 휘도의 균일한 정도를 나타내는 소정 수치의 차에 따라 할당된 가중치를 이용하여 엣지의 휘도 값을 보정하는 휘도 보정부 및 보정된 엣지의 휘도 값을 바탕으로 소정 크기의 제2 윈도우의 중심 픽셀과 제2 윈도우의 복수개의 인접 픽셀간의 휘도 차에 따라 할당된 가중치를 이용하여 엣지의 색차 값을 보정하는 색차 보정부를 포함한다.
본 발명의 실시예에 따른 엣지 보정 방법은 입력 이미지의 엣지(edge)에 위치한 소정 크기의 제1 윈도우의 중심 픽셀과 제1 윈도우의 복수개의 인접 픽셀간의 휘도 차 또는 휘도의 균일한 정도를 나타내는 소정 수치의 차에 따라 할당된 가중치를 이용하여 엣지의 휘도 값을 보정하는 (a)단계 및 보정된 엣지의 휘도 값을 바탕으로 소정 크기의 제2 윈도우의 중심 픽셀과 제2 윈도우의 복수개의 인접 픽셀간의 휘도 차에 따라 할당된 가중치를 이용하여 엣지의 색차 값을 보정하는 (b)단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 2는 본 발명의 일 실시예에 따른 엣지 보정 장치의 블록도이다.
엣지 보정 장치(100)는 엣지 검출부(200), 휘도 보정부(210), 색차 보정부(240), 및 합산부(250)를 포함한다. 엣지 보정 장치는 디지털 스틸 카메라나 디지털 캠코더와 같은 촬영 장치에 적용될 수 있다.
엣지 검출부(200)는 입력 이미지의 엣지를 검출(detection)하며, 엣지 연산부(203) 및 엣지 판단부(205)를 포함한다. 상기 엣지의 검출을 위해 유사 연산 자(homogeneity operator), 차 연산자(difference operator), 컴퍼스 기울기 연산자(compass gradient operators)와 같은 종래의 다양한 이미지 처리(image processing) 방법이 사용될 경우 다른 실시예에서는 엣지 검출부(200)가 생략될 수 있으며, 본 실시예에서는 이하 엣지 연산부(203)와 엣지 판단부(205)를 이용하여 엣지를 검출할 수 있다.
엣지 연산부(203)는 입력 이미지상에 위치한 소정 크기의 윈도우(window)의 휘도(luminance) 신호(Y)(이하 휘도라고도 함) 값과 상기 윈도우와 동일한 크기를 가진 마스크(mask)의 각 픽셀(pixel)의 계수(coefficient) 값과의 연산을 수행한다. 예를 들어 엣지 연산부(203)는, 소정의 마스크의 각 픽셀에 할당된 계수 값과 상기 마스크의 각 픽셀에 대응되는 윈도우의 각 픽셀의 휘도(Y)값을 곱하고, 계산된 값을 모두 합산한다. 그리고 엣지 연산부(203)는, 상기 마스크가 복수개일 경우 복수개의 산출된 결과 값 중 최대 값(MAX)과 최소 값(MIN)과의 차를 구하고, 상기 차의 절대값을 구한다.
엣지 판단부(205)는 상기 엣지 연산부(203)에서 산출된 결과 값과 소정의 임계값을 비교하여 엣지인지 여부를 판단한다. 예를 들어 엣지 판단부(205)는, 상기 차의 절대값이 임계값보다 큰 경우에는 엣지로 판단하고, 작은 경우에는 평탄 영역으로 판단한다. 상기 평탄 영역은 휘도 값이 균일한 영역을 의미한다.
따라서 엣지 검출부(200)는 엣지 판단부(205)의 판단에 따라 입력 이미지의 엣지를 검출한다. 엣지 검출부(200)에 대한 보다 구체적인 내용은 이하 도 5를 참조하기 바란다.
휘도 보정부(210)는 엣지(edge)에 위치한 소정 크기의 윈도우의 중심 픽셀과 상기 윈도우의 복수개의 인접 픽셀간의 휘도(luminance) 차 또는 휘도의 균일한 정도를 나타내는 소정 수치의 차에 따라 할당된 가중치를 이용하여 상기 엣지의 휘도 값을 보정하고, 소정의 연산을 수행하는 휘도 연산부(220)와 상기 연산 과정에서 산출된 결과 값에 따라 소정의 마스크에 소정의 가중치를 할당하는 휘도 가중치 할당부(230)를 포함한다. 상기 휘도 연산부(220)는 제1 휘도 연산부(223), 제2 휘도 연산부(226), 및 제3 휘도 연산부(229)를 포함하며, 상기 휘도 가중치 할당부(230)는 제1 가중치 할당부(233), 및 제2 가중치 할당부(236)를 포함한다. 이하, 각 구성요소들을 엣지 보정 단계에 따라 순차적으로 설명하기로 한다.
제1 휘도 연산부(223)는 상기 엣지에 위치한 윈도우의 중심 픽셀의 휘도 값과 인접 픽셀의 휘도 값과 연산을 수행한다. 예를 들어 제1 휘도 연산부(223)는, 윈도우의 중심 픽셀의 휘도 값과 인접 픽셀의 휘도 값의 차를 각 픽셀마다 구한다. 상기 윈도우의 중심 픽셀은 엣지 보정 작업의 대상이 되는 픽셀로서, 윈도우의 중심에 위치하는 픽셀이고, 인접 픽셀은 윈도우 내에서 중심 픽셀을 제외한 나머지 픽셀이다.
제1 가중치 할당부(233)는 상기 제1 휘도 연산부(223)를 통해 연산된 윈도우의 중심 픽셀의 휘도 값과 인접 픽셀의 휘도 값의 차에 따라 제1 마스크에 소정의 가중치를 할당한다. 이때 제1 가중치 할당부(233)는, 중심 픽셀과 휘도 차가 소정 임계치보다 큰 인접 픽셀에 대해서는 가중치를 상대적으로 낮게 할당하고, 중심 픽셀과 휘도 차가 소정 임계치보다 작은 인접 픽셀에 대해서는 가중치를 상대적으로 높게 할당할 수 있다. 이를 통해 중심 픽셀과 근접한 휘도 값을 갖는 인접 픽셀이 중심 픽셀의 휘도값 보정시 많은 영향을 미치도록 할 수 있다.
제2 휘도 연산부(226)는 상기 엣지에 위치한 윈도우의 소정 픽셀에 소정 크기의 서브 윈도우의 중심 픽셀이 대응되도록 위치시키고, 서브 윈도우의 중심 픽셀의 휘도 값과 서브 윈도우의 인접 픽셀의 휘도 값을 연산한다. 예를 들어 제2 휘도 연산부(226)는, 상기 엣지에 위치한 윈도우의 첫번째 픽셀에 3 x 3 크기의 서브 윈도우의 중심 픽셀이 대응되도록 위치시키고, 서브 윈도우의 중심 픽셀의 휘도 값과 서브 윈도우의 인접 픽셀의 휘도 값과의 차를 각 픽셀마다 구하고, 상기 차 값을 모두 합산하여, 윈도우의 첫번째 픽셀의 산출된 결과 값을 구한다. 이와 같은 방법으로 제2 휘도 연산부(226)는 나머지 윈도우의 픽셀들에 대해서도 연산 작업을 수행한다. 상기 산출된 결과 값들은 윈도우의 각 픽셀의 휘도 값의 균일한 정도를 나타내는 DoV(Difference of Variation) 값을 의미하며, 상기 DoV 수치가 낮을수록 윈도우의 소정 픽셀의 휘도 값이 균일하여 평탄한 영역임을 나타내고, DoV 수치가 높을수록 윈도우의 소정 픽셀의 휘도 값이 불균일하여 비평탄한 영역임을 나타낸다. 그리고, 제2 휘도 연산부(226)는 윈도우의 중심 픽셀의 DoV 값과 윈도우의 인접 픽셀의 DoV 값과의 차를 각 픽셀마다 구한다.
제2 가중치 할당부(236)는 상기 제2 휘도 연산부(226)를 통해 산출된 윈도우의 중심 픽셀의 DoV 값과 윈도우의 인접 픽셀의 DoV 값과의 차에 따라 제2 마스크에 소정의 가중치를 할당한다. 이때, 제2 가중치 할당부(236)는 윈도우의 중심 픽셀과 DoV 차가 소정 임계치보다 큰 인접 픽셀에 대해서는 가중치를 상대적으로 높게 할당하고, 윈도우의 중심 픽셀과 DoV 차가 소정 임계치보다 작은 인접 픽셀에 대해서는 가중치를 상대적으로 낮게 할당할 수 있다. 이를 통해, 윈도우의 중심 픽셀과 DoV 차가 큰 인접 픽셀은 윈도우의 중심 픽셀과 비교할 때 상대적으로 휘도 값이 균일한 평탄 영역임을 나타낼 수 있고, 윈도우의 중심 픽셀과 DoV 차가 작은 인접 픽셀은 윈도우의 중심 픽셀과 비교할 때 상대적으로 휘도 값이 불균일한 비평탄 영역임을 나타낼 수 있다. 따라서, 제2 가중치 할당부(236)는 윈도우의 중심 픽셀과 비교할 때 상대적으로 휘도 값이 균일한 평탄 영역인 인접 픽셀에 대해서는 가중치를 높게 할당하여 윈도우의 중심 픽셀의 휘도값 보정시 많은 영향을 미치게 하고, 윈도우의 중심 픽셀과 비교할 때 상대적으로 휘도 값이 불균일한 비평탄 영역인 인접 픽셀에 대해서는 가중치를 낮게 할당하여 윈도우의 중심 픽셀의 휘도값 보정시 적은 영향을 미치게 하여, 윈도우의 중심 픽셀의 휘도 값이 엣지의 기울기 자체를 상승시키는 방향으로 이끌 수 있다.
제3 휘도 연산부(229)는 상기 소정의 가중치가 할당된 제1 마스크와 상기 소정의 가중치가 할당된 제2 마스크의 각각의 대응되는 픽셀에 대해서 서로 다른 가중치를 연산한다. 예를 들어 제3 휘도 연산부(229)는, 제1 마스크의 첫번째 픽셀의 가중치 W0’와 제2 마스크의 첫번째 픽셀의 가중치 W0’’를 곱하여 후술될 제3 마스크의 첫번째 픽셀의 계수 값을 구할 수 있다.
따라서 휘도 보정부(210)는, 상기 제3 휘도 연산부(229)의 연산 결과 값을 계수(coefficient) 값으로 하는 제3 마스크의 각 픽셀의 계수 값과 제3 마스크의 각 픽셀에 대응되는 윈도우의 각 픽셀의 휘도 값을 이용하여 소정의 연산을 수행하 고, 이를 통해 윈도우의 중심 픽셀의 보정된 휘도 값을 산출한다. 휘도 보정부(210)에 대한 보다 구체적인 내용은 이하 도 6 내지 도 10에서 후술하기로 한다.
색차 보정부(240)는 상기 보정된 엣지의 휘도 값을 바탕으로 소정 크기의 윈도우의 중심 픽셀과 상기 윈도우의 복수개의 인접 픽셀간의 휘도 차에 따라 할당된 가중치를 이용하여 상기 엣지의 색차(chrominance) 값을 보정하고, 색차 연산부(243), 및 색차 가중치 할당부(246)를 포함한다.
색차 연산부(243)는 상기 보정된 휘도 값을 가진 엣지에 위치한 윈도우의 중심 픽셀의 휘도 값과 인접 픽셀의 휘도 값과의 연산을 수행한다.
색차 가중치 할당부(246)는 색차 연산부(243)를 통해 산출된 윈도우의 중심 픽셀의 휘도 값과 인접 픽셀의 휘도 값과의 차에 따라 제4 마스크에 소정의 가중치를 할당한다. 이때, 윈도우의 중심 픽셀과 거의 같은 위치의 인접 픽셀에 대해서는 가중치를 부여하지 않거나(즉 가중치가 0(zero)) 적게 부여하여, 윈도우의 중심 픽셀의 색차 값 보정시 적은 영향을 미치게 함으로써, 자체적으로 가질 수 있는 컬러 프린지 결함(color fringe error)을 최소화 시킬 수 있다. 즉, 색차 가중치 할당부(246)는 중심 픽셀과 유사도가 높은 인접 픽셀과의 차를 이용하여 중심 픽셀이 인접 픽셀과 가지는 상관성에 따라 적절하게 가중치를 할당할 수 있다.
색차 보정부(240)는 상기 소정의 가중치가 할당된 제4 마스크와 상기 윈도우의 색차 값을 각각 대응되는 픽셀에 대해서 소정의 연산 과정을 통해 계산하여 윈도우의 중심 픽셀의 보정된 색차 값을 산출한다. 이를 통해 휘도 기반의 주변 상관성과 색차 기반의 주변 상관성이 유사해져 컬러 프린지 결함을 줄일 수 있다.
합산부(250)는 상기 엣지의 보정된 휘도 값 및 보정된 색차 값을 연산하여 상기 엣지의 전체 보정된 YCrCb 도메인을 산출한다. 또한 합산부(250)는, 기존의 공개된 기술을 이용하여 저휘도 레벨측에 언더슈트하고, 고휘도 레벨측에 오버슈트의 강도를 조절하여, 한층더 엣지를 강조시킬 수 있으며, 상기 YCrCB 도메인을 RGB 도메인으로 변환하여 이미지를 출력시킬 수 있다.
도 2에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
도 3 및 도 4는 상기 도 2를 이용하여 엣지를 보정하는 순서도이다.
상기 도 2에서 상술된 중복된 내용은 되도록 생략하며, 엣지를 보정하는 과정을 각 단계별로 설명하기로 한다.
엣지 연산부(203)는 입력 이미지상에 위치한 소정 크기의 윈도우의 휘도 값과 복수개의 마스크의 계수 값을 연산한다(S301).
엣지 판단부(205)는 상기 연산된 결과 값과 소정의 임계치를 비교하여 상기 윈도우가 위치한 영역이 엣지에 해당하는 지 여부를 판단한다(S311).
엣지 검출부(200)는 상기 판단에 따라 엣지를 검출한다(S321). 상기 단계(S301, S311, S321)에 대한 보다 구체적인 내용은 이하 도 5를 참조하기 바란다.
다음 단계에서, 제1 휘도 연산부(223)는 상기 엣지(edge)에 위치한 소정 크기의 제1 윈도우의 중심 픽셀과 상기 제1 윈도우의 복수개의 인접 픽셀간의 휘도(luminance) 차를 계산한다(S331).
제1 가중치 할당부(233)는 상기 계산된 휘도 차에 따라 소정의 가중치를 제1 마스크에 할당한다(S341). 이때, 제1 가중치 할당부(233)는 상기 제1 윈도우의 중심 픽셀과의 휘도 차가 소정 임계치보다 큰 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하고, 상기 제1 윈도우의 중심 픽셀과 휘도 차가 소정 임계치보다 작은 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 높게 할당하여, 상기 제1 윈도우의 중심 픽셀의 휘도 값 보정시 미치는 영향을 달리 부여한다.
상기 단계(S331, S341)에 대한 보다 구체적인 내용은 이하 도 6 및 도7를 참조하기 바란다.
다음 단계에서, 제2 휘도 연산부(226)는 상기 제1 윈도우의 소정 픽셀의 상기 휘도의 균일한 정도를 나타내는 소정 수치인 DoV(Difference of Variation)를 산출한다(S351).
제2 가중치 할당부(236)는 상기 제1 윈도우의 중심 픽셀과 상기 제1 윈도우의 복수개의 인접 픽셀간의 상기 DoV 차에 따라 소정의 가중치를 제2 마스크에 할 당한다(S361). 이때, 제2 가중치 할당부(236)는 상기 제1 윈도우의 중심 픽셀과의 DoV 차가 소정 임계치보다 큰 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 높게 할당하고, 상기 제1 윈도우의 중심 픽셀과 DoV 차가 소정 임계치보다 작은 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하여, 상기 제1 윈도우의 중심 픽셀의 휘도 값의 방향성을 휘도 값이 균일한 평탄한 영역으로 향하게 한다.
제3 휘도 연산부(229)는 상기 제1 마스크와 상기 제2 마스크에 할당된 가중치를 각각의 픽셀에 대응되도록 곱하여 계산한다(S371).
휘도 보정부(210)는 상기 계산된 결과 값을 각 픽셀의 계수(coefficient) 값으로 하는 제3 마스크와 상기 제1 윈도우의 휘도 값을 연산하여 상기 엣지의 휘도 값을 보정한다(S381).
상기 단계(S351, S361, S371, S381)에 대한 보다 구체적인 내용은 이하 도 8 내지 도10을 참조하기 바란다.
다음 단계에서, 색차 연산부(243)는 상기 보정된 엣지의 휘도 값을 바탕으로 소정 크기의 제2 윈도우의 중심 픽셀과 상기 제2 윈도우의 복수개의 인접 픽셀간의 휘도 차를 계산한다(S401).
색차 가중치 할당부(246)는 상기 계산된 휘도 차에 따라 소정의 가중치를 제4 마스크에 할당한다(S411). 색차 가중치 할당부(246)는 상기 제2 윈도우와 임계 범위안에 위치한 상기 제2 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하여 상기 제2 윈도우의 중심 픽셀의 색차 보정시 적은 영향을 미치게 한다.
색차 보정부(240)는 상기 제4 마스크에 할당된 가중치와 상기 제1 윈도우의 색차 값을 각각의 픽셀에 대응되도록 곱한 후 모두 합산하고, 상기 합산된 값을 상기 제4 마스크의 가중치를 합산한 값으로 나누어 상기 제2 윈도우의 중심 픽셀의 보정된 색차 값을 산출한다(S421).
다음 단계에서, 합산부(250)는 상기 엣지의 상기 보정된 휘도 값과 상기 보정된 색차 값을 연산하여 상기 엣지의 보정된 YCrCb 도메인을 산출한다(S431).
상기 단계(S401, S411, S421, S431)에 대한 보다 구체적인 내용은 이하 도 11 내지 도12을 참조하기 바란다.
도 5는 본 발명의 일 실시예에 따른 엣지 검출 과정을 도시한다.
입력 이미지의 엣지 검출(edge detection)을 위해서 종래의 다양한 이미지 처리 방법이 사용될 수 있겠으나, 본 실시예에서는 입력 이미지의 엣지(crucial edge)를 검출하기 위해, 소정 크기(n x n)의 윈도우를 입력 이미지에 위치시키고, 상기 윈도우와 동일한 크기를 가진 마스크의 각 픽셀의 계수(coefficient) 값과 마스크의 각 픽셀에 대응되는 윈도우의 각 픽셀의 휘도(Y) 값을 연산한다. 이때, 윈도우는 엣지 검출을 위해 입력 이미지상에서 순차적으로 상하 또는 좌우로 이동하며 소정 마스크의 계수 값과 연산을 수행할 수 있다.
예를 들어 도 5(a) 에 도시된 바와 같이, 3 x 3 크기를 가진 윈도우(500)가 입력 이미지상의 소정 부위에 위치한 경우, 입력 이미지의 엣지를 검출하기 위해, 엣지 연산부(203)는 도 5(b) 에 도시된 3 x 3 크기를 가진 마스크의 각 픽셀에 할당된 소정의 계수 값과 상기 마스크의 각 픽셀에 대응되는 윈도우(500)의 각 픽셀 의 휘도(Y) 값을 곱한다.
즉, 도 5(c) 에 도시된 바와 같이, 엣지 연산부(203)는 제1 마스크(504)의 각 픽셀에 할당된 계수 값과 제1 마스크(504)의 각 픽셀에 대응되는 윈도우(500)의 각 픽셀의 휘도(Y)값을 곱하고, 계산된 값을 모두 합산(S1)한다. 이와 동일한 원리로, 엣지 연산부(203)는 제2 내지 제4 마스크(506, 508, 510)를 이용한 연산 결과 값을 구할 수 있으며, 따라서 4개의 마스크(504, 506, 508, 510)에 대해서 4개의 값이 산출된다. 이때 상기 휘도(Y)값은 일반적으로 0 ~ 255 범위의 값을 가질 수 있다.
제1 내지 제4 마스크(504, 506, 508, 510)를 이용한 연산 결과 값을 S1, S2, S3, S4라고 하면, 엣지 연산부(203)는 연산 결과 값 중 최대 값(MAX)과 최소 값(MIN)을 추출하여 차를 구한다. 예를 들어 최대 값이 S4이고, 최소 값이 S1이라고 할 경우, 엣지 연산부(203)는 S4에서 S1의 차를 구하고, 엣지 판단부(205)는 차의 절대값을 소정 임계값과 비교한다. 이때, 엣지 판단부(205)는 차의 절대값이 임계값보다 큰 경우에는, 윈도우(500)의 중심 픽셀(502)의 이미지를 입력 이미지의 엣지라고 판단하고, 작은 경우에는 입력 이미지의 평탄한 영역으로 판단할 수 있다. 따라서, 엣지 검출부(200)는 상기한 방법을 이용하여 입력 이미지의 엣지를 검출할 수 있다. 이하 도 6 내지 도 10에서, 상기 검출된 엣지의 휘도를 클리어링하는 과정을 후술하기로 한다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 윈도우의 중심 픽셀과 인접 픽셀간의 휘도 차에 따라 제1 마스크에 가중치를 부여하는 과정을 도시한다.
휘도 보정부(210)는 상기 도 5에서 검출된 입력 이미지의 엣지를 보정된 휘도 값으로 출력하는 작업을 수행한다. 참고로, 본 실시예에서는 5 x 5 크기의 윈도우(600) 및 3 x 3 크기의 서브 윈도우(800) 위주로 설명할 것이지만 본 발명이 이에 한정되는 것은 아니다.
제1 휘도 연산부(223)는 도 6(a)에 도시된 바와 같이, 5 x 5 크기의 윈도우(600)(제1 윈도우)의 중심 픽셀(602)를 엣지에 위치시키고, 도 6(b)에 도시된 바와 같이, 윈도우(600)의 중심 픽셀(602)의 휘도 값과 인접 픽셀의 휘도 값과 연산을 수행한다. 예를 들어 제1 휘도 연산부(223)는, 윈도우(600)의 중심 픽셀(602)의 휘도 값과 인접 픽셀의 휘도 값의 차(I)를 각 픽셀마다 구한다. 즉, 제1 휘도 연산부(223)는 중심 픽셀(602)의 휘도 값이 Y12라고 하고, 윈도우(600)의 첫번째 픽셀의 휘도 값이 Y0라고 하면, Y12에서 Y0를 뺀 값을 계산한다. 이와 같은 방법으로 제1 휘도 연산부(223)는, 나머지 인접 픽셀들에 대해서도 연산 작업을 수행한다.
도 7(a)은, 상기 중심 픽셀(602)의 휘도 값과 복수개의 인접 픽셀의 휘도 값과의 차(Ⅰ)(X축)에 따라 할당되는 가중치(Y축)을 그래프로 나타내고 있으며, 도 7(b)은 상기 할당된 가중치를 계수 값으로 하는 제1 마스크(700)을 나타내고 있다. 이때, 제1 가중치 할당부(233)는 중심 픽셀(602)과 휘도 차가 큰 인접 픽셀에 대해서는 가중치를 상대적으로 낮게 할당하고(예를 들어 702, 703), 중심 픽셀(602)과 휘도 차가 작은 인접 픽셀에 대해서는 가중치를 상대적으로 높게 할당한다(예를 들어 704, 705). 이를 통해서, 중심 픽셀(602)과 근접한 휘도 값을 갖는 인접 픽셀일수록, 중심 픽셀(602)의 휘도값 보정시 많은 영향을 미치게 된다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 윈도우의 중심 픽셀과 인접 픽셀간의 DoV 차에 따라 제2 마스크에 가중치를 부여하는 과정을 도시한다.
휘도 연산부는 윈도우의 픽셀들의 휘도 값의 균일한 정도를 나타내는 DoV(Difference of Variation) 값을 구하고, 휘도 가중치 할당부는 중심 픽셀(602)의 DoV와 인접 픽셀의 DoV의 값의 차에 따라 윈도우(600)의 각 픽셀의 휘도 값에 가중치를 할당하고, 중심 픽셀(602)의 휘도 값의 방향성을 평탄한 영역으로 향하게 하는 과정들에 대해서 구체적으로 설명하기로 한다.
먼저, 제2 휘도 연산부(226)는 상기 입력 이미지의 엣지에 위치한 윈도우(600)의 소정 픽셀에 소정 크기의 서브 윈도우(800)의 중심 픽셀(802)이 대응되도록 위치시키고, 서브 윈도우(800)의 중심 픽셀(802)의 휘도 값과 서브 윈도우(800)의 인접 픽셀의 휘도 값을 연산한다.
예를 들어 도 8(a)에 도시된 바와 같이, 제2 휘도 연산부(226)는 상기 입력 이미지의 엣지에 위치한 윈도우(600)의 첫번째 픽셀에 3 x 3 크기의 서브 윈도우(800)의 중심 픽셀(802)이 대응되도록 위치시키고, 서브 윈도우(800)의 중심 픽셀(802)의 휘도 값(Y0) 값과 서브 윈도우(800)의 인접 픽셀의 휘도 값과의 차를 각 픽셀마다 구하고, 상기 차 값을 모두 합산하여(804), 윈도우(600)의 첫번째 픽셀의 산출된 결과 값을 구한다(806). 이와 같은 방법으로 제2 휘도 연산부(226)는, 나머지 윈도우(600)의 픽셀들에 대해서도 연산 작업을 수행한다. 상기 산출된 결과 값들은 윈도우(600)의 각 픽셀의 휘도 값의 균일한 정도를 나타내는 DoV(Difference of Variation) 값을 의미하며, 상기 DoV 수치가 낮을수록 윈도우(600)의 소정 픽셀 의 휘도 값이 균일하여 평탄한 영역임을 나타내고, DoV 수치가 높을수록 윈도우(600)의 소정 픽셀의 휘도 값이 불균일하여 비평탄한 영역임을 나타낸다.
그리고 도 8(b)에 도시된 바와 같이, 제2 휘도 연산부(226)는 윈도우(600)의 중심 픽셀(602)의 DoV 값과 윈도우(600)의 인접 픽셀의 DoV 값과의 차(II)를 각 픽셀마다 구한다. 제2 휘도 연산부(226)는, 예를 들어 중심 픽셀(602)의 DoV 값이 Y12‘라고 하고, 윈도우(600)의 첫번째 픽셀의 DoV 값이 Y0‘라고 하면, Y12‘에서 Y0‘를 뺀 값을 산출한다. 이와 같은 방법으로 제2 휘도 연산부(226)는, 나머지 인접 픽셀들에 대해서도 연산 작업을 수행한다.
다음 단계에서 도 9(a)에 도시된 바와 같이, 제2 가중치 할당부(236)는 중심 픽셀(602)의 DoV 값과 인접 픽셀의 DoV 값과의 차(II)(X축)에 따라 가중치(Y축)를 상기 윈도우(600)의 각 픽셀에 대응되는 제2 마스크(900)의 각 픽셀에 할당한다. 이때, 제2 가중치 할당부(236)는 중심 픽셀(602)과 DoV 차가 큰 인접 픽셀에 대해서는 가중치를 상대적으로 높게 할당하고(904), 중심 픽셀(602)과 DoV 차가 작은 인접 픽셀에 대해서는 가중치가 상대적으로 낮게 할당한다(902). 이때, 중심 픽셀(602)과 DoV 차가 큰 인접 픽셀은 중심 픽셀(602)과 비교할 때 상대적으로 휘도 값이 균일한 평탄 영역임을 나타내고, 중심 픽셀(602)과 DoV 차가 작은 인접 픽셀은 중심 픽셀(602)과 비교할 때 상대적으로 휘도 값이 불균일한 비평탄 영역임을 나타낸다.
따라서, 제2 가중치 할당부(236)는 중심 픽셀(602)과 비교할 때 상대적으로 휘도 값이 균일한 평탄 영역인 인접 픽셀에 대해서는 가중치를 높게 할당하여 중심 픽셀(602)의 휘도값 보정시 많은 영향을 미치게 하고, 중심 픽셀(602)과 비교할 때 상대적으로 휘도 값이 불균일한 비평탄 영역인 인접 픽셀에 대해서는 가중치를 낮게 할당하여 중심 픽셀(602)의 휘도값 보정시 적은 영향을 미치게 하여, 중심 픽셀(602)의 휘도 값의 방향성을 평탄한 영역으로 향하게 한다.
도 10은 본 발명의 일 실시예에 따른 제1 마스크와 제2 마스크의 연산 값을 이용한 엣지의 휘도 보정을 도시한다.
도 10(a)에 도시된 바와 같이, 제3 휘도 연산부(229)는 상기 휘도 차(Ⅰ)에 따라 소정의 가중치가 할당된 제1 마스크(700)와 상기 DoV 값과의 차(II)에 따라 소정의 가중치가 할당된 제2 마스크(900)의 각각의 대응되는 픽셀에 대해서 서로 가중치를 연산하여, 제3 마스크(1000)의 계수 값을 구할 수 있다. 예를 들어 제1 마스크(700)의 첫번째 픽셀의 가중치를 W0’라고 하고, 제2 마스크(900)의 첫번째 픽셀의 가중치를 W0’’라고 하면, 제3 휘도 연산부(229)는 두 가중치를 곱(W0’ x W0’’)하고, 이를 통해 산출된 가중치(W0)는 제3 마스크(1000)의 첫번째 픽셀의 계수 값이 된다. 이와 같은 방법으로 제3 휘도 연산부(229)는, 나머지 픽셀들에 대해서도 연산 작업을 수행한다.
다음 단계에서, 도 10(b)에 도시된 바와 같이, 휘도 보정부(210)는 제3 마스크(1000)의 각 픽셀의 계수 값 즉, 가중치(
Figure 112006047699779-pat00001
)를 제3 마스크(1000)의 각 픽셀에 대응되는 윈도우(600)의 각 픽셀의 휘도 값(
Figure 112006047699779-pat00002
)에 각각 곱하고, 계산 값을 모두 합산(
Figure 112006047699779-pat00003
) 한다. 휘도 보정부(210)는 상기 합산된 값을 제3 마스크(1000) 의 각 픽셀의 가중치를 모두 합산한 값(
Figure 112006047699779-pat00004
)으로 나누어, 윈도우(600)의 중심 픽셀(602)의 보정된 휘도 값(Y‘)을 산출하게 되며, 아래 수학식1과 같이 표현될 수 있다.
(수학식1)
Figure 112006047699779-pat00005
이와 같은 방법으로 휘도 보정부(210)는 엣지의 휘도 값을 보정하여 이미지의 선명도를 높일 수 있게 된다.
도 11 및 도 12는 보정된 엣지의 휘도 값을 바탕으로 엣지의 색차 (Chrominance)를 보정하는 과정을 도시한다.
이하 Cr를 중심으로 설명할 것이지만, Cr 및 Cb를 보정하는 과정은 이하의 과정을 통해 동시에 이루어 질 수 있다.
도 11(a)에 도시된 바와 같이, 상기 도 6 내지 도 10의 과정을 통해 보정된 휘도(Y‘) 값을 가진 엣지에 3 x 3 크기의 윈도우(1100)(제2 윈도우)의 중심 픽셀(1102)를 위치시킨다. 참고로, 본 실시예에서는 3 x 3 크기의 윈도우(1100) 위주로 설명할 것이지만 본 발명이 이에 한정되는 것은 아니다.
먼저, 색차 연산부(243)는 윈도우(1100)의 중심 픽셀(1102)의 휘도 값과 인접 픽셀의 휘도 값과의 차(Ⅲ)를 연산한다. 색차 연산부(243)는 예를 들어 도 11(b)에 도시된 바와 같이, 윈도우(1100)의 중심 픽셀(1102)의 휘도 값과 인접 픽셀의 휘도 값과의 차(Ⅲ)를 각 픽셀마다 구한다.
다음 단계에서 도 12(a)에 도시된 바와 같이, 색차 가중치 할당부(246)는 중심 픽셀(1102)의 휘도 값과 인접 픽셀의 휘도 값과의 차(Ⅲ)(X축)에 따라 가중치(Y축)를 상기 윈도우(1100)의 각 픽셀에 대응되는 제4 마스크(1200)의 각 픽셀에 할당한다. 이때, 색차 가중치 할당부(246)는 중심 픽셀(1102)과 거의 같은 위치의 인접 픽셀에 대해서는 가중치를 부여하지 않거나(즉 가중치가 0(zero)) 적게 부여하여(1202), 중심 픽셀(1102)의 색차 값 보정시 적은 영향을 미치게 함으로써, 자체적으로 가질 수 있는 컬러 프린지 결함(color fringe error)을 최소화 시킨다. 또한, 색차 가중치 할당부(246)는 중심 픽셀(1102)로부터 임계 범위에 있는 인접 픽셀에 대해서 가중치를 높게 부여하여(1204), 중심 픽셀(1102)의 색차 값 보정시 많은 영향을 미치게 하여 엣지의 선명도를 높일 수 있다.
다음 단계에서 색차 보정부(240)는 제4 마스크(1200)의 가중치와 윈도우(1100)의 색차 값을 각각 대응되는 픽셀에 대해서 연산한다. 이를 통해 휘도 기반의 주변 상관성과 색차 기반의 주변 상관성이 유사해져 컬러 프린지 결함을 줄일 수 있다.
예를 들어 도 12(b)에 도시된 바와 같이, 색차 보정부(240)는 제4 마스크(1200)의 각 픽셀의 가중치(
Figure 112006047699779-pat00006
)을 제4 마스크(1200)의 각 픽셀에 대응되는 윈도우(1100)의 각 픽셀의 색차 값(
Figure 112006047699779-pat00007
)에 각각 곱하고, 계산된 값을 모두 합산(
Figure 112006047699779-pat00008
) 한다. 상기 합산된 값을 제4 마스크(1200)의 각 픽셀의 가중치의 합(
Figure 112006047699779-pat00009
)으로 나누어, 윈도우(1100)의 중심 픽셀(1102)의 보정된 색차 값(Cr‘)을 산출하게 되며, 아래 수학식2와 같이 표현될 수 있다.
(수학식2)
Figure 112006047699779-pat00010
이와 같은 방법으로 색차 보정부(240)는 엣지의 색차를 보정할 수 있게 되고, 기존에 고주파 영역에 존재할 수 있는 칼러 프린지 결함(color fringe defects)을 감소시켜 선명한 이미지를 얻을 수 있다.
상술한 바와 같이 이후, 합산부(250)는 상기 엣지의 보정된 휘도 값 및 보정된 색차 값을 연산하여 상기 엣지의 전체 보정된 YCrCb 도메인을 산출한다. 또한 합산부(250)는 기존의 공개된 기술을 이용하여 YCrCB 도메인을 RGB 도메인으로 변환하여 이미지를 출력할 수 있다.
도 13은 본 발명의 일 실시예에 따른 휘도 기울기의 변화를 도시한다.
도시된 바와 같이, 입력 이미지를 가로질러 수평 라인(horizontal line)선상의 픽셀들을 가로축으로 하고, 각 픽셀에 대응되는 휘도 값을 세로축으로 하여 휘도 기울기를 나타내었다.
도 13(a)에 도시된 바와 같이, 평탄 영역은 휘도 값의 변화가 균일한 영역을 의미하며, 기존에는 엣지(1301)를 기준으로 블러링(blurring)의 정도에 따라 휘도 기울기 변화가 점차적으로 변화하였다.
그러나, 도 13(b)에 도시된 바와 같이, 엣지 보정 장치(100)는 본 발명의 실시예를 통해 엣지(1301)에 휘도 및 색차 보정을 적용시켜, 휘도 기울기 변화를 급격하게 변화시켜, 엣지를 선명하게 향상시키고, 엣지를 선명하게 강조할 때 발생할 수 있는 노이즈 영상을 최소화 시킬 수 있다.
또한, 도 13(c)에 도시된 바와 같이, 엣지 보정 장치(100)는 본 실시예에 기존의 공개 기술을 부가적으로 적용시켜 저휘도 레벨측(1302)에 언더슈트하고, 고휘도 레벨측(1304)에 오버슈트하여, 한층더 엣지를 강조시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
상기한 바와 같은 본 발명의 엣지 보정 장치 및 방법에 따르면 이미지의 엣지를 선명하게 강조할 때 발생할 수 있는 결함들을 감소시키고, 보다 효율적으로 이미지의 엣지를 보정하여 이미지의 선명도를 향상시킬 수 있는 장점이 있다.

Claims (22)

  1. 다수의 픽셀을 포함하는 제 1윈도우의 중심 픽셀을 입력 이미지의 엣지(edge)에 위치시키고, 상기 제 1윈도우의 중심 픽셀과 상기 중심 픽셀에 인접한 픽셀 간의 휘도(luminance) 차 또는 휘도의 균일한 정도를 나타내는 소정 수치의 차에 따라 할당된 가중치를 이용하여 상기 제1 윈도우의 중심 픽셀의 보정된 휘도 값을 산출하는 휘도 보정부; 및
    상기 보정된 엣지의 휘도 값을 바탕으로, 다수의 픽셀을 포함하는 제 2윈도우의 중심 픽셀을 상기 입력 이미지의 엣지에 위치시키고, 상기 제 2윈도우의 중심 픽셀과 상기 중심 픽셀에 인접한 픽셀 간의 휘도 차에 따라 할당된 가중치를 이용하여 상기 엣지의 색차(chrominance) 값을 보정하는 색차 보정부를 포함하는, 엣지 보정 장치.
  2. 제1항에 있어서,
    상기 휘도 보정부는,
    상기 제1 윈도우의 중심 픽셀과 상기 제1 윈도우의 복수개의 인접 픽셀간의 휘도 차를 계산하는 제1 휘도 연산부; 및
    상기 계산된 휘도 차에 따라 소정의 가중치를 제1 마스크에 할당하는 제1 가중치 할당부를 포함하며,
    상기 제1 가중치 할당부는,
    상기 제1 윈도우의 중심 픽셀과의 휘도 차가 소정 임계치보다 큰 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하고, 상기 제1 윈도우의 중심 픽셀과 휘도 차가 소정 임계치보다 작은 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 높게 할당하여, 상기 제1 윈도우의 중심 픽셀의 휘도 값 보정시 미치는 영향을 달리 부여하는, 엣지 보정 장치.
  3. 제 2항에 있어서,
    상기 휘도 보정부는,
    상기 제1 윈도우의 소정 픽셀의 상기 휘도의 균일한 정도를 나타내는 소정 수치인 DoV(Difference of Variation)를 산출하는 제2 휘도 연산부; 및
    상기 제1 윈도우의 중심 픽셀과 상기 제1 윈도우의 복수개의 인접 픽셀간의 상기 DoV 차에 따라 소정의 가중치를 제2 마스크에 할당하는 제2 가중치 할당부를 더 포함하며,
    상기 제2 가중치 할당부는,
    상기 제1 윈도우의 중심 픽셀과의 DoV 차가 소정 임계치보다 큰 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 높게 할당하고, 상기 제1 윈도우의 중심 픽셀과 DoV 차가 소정 임계치보다 작은 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하여, 상기 제1 윈도우의 중심 픽셀의 휘도 값의 방향성을 휘도 값이 균일한 평탄한 영역으로 향하게 하는, 엣지 보정 장치.
  4. 제 3항에 있어서,
    상기 제2 휘도 연산부는,
    상기 제1 윈도우의 소정 픽셀에 서브 윈도우의 중심 픽셀이 대응되도록 위치시키고 상기 서브 윈도우의 중심 픽셀과 상기 중심 픽셀에 인접한 픽셀 간 휘도 차를 상기 제 1윈도우의 각 픽셀마다 구하고, 상기 차 값을 모두 합산하여 상기 제1 윈도우의 소정 픽셀의 DoV 값을 산출하는, 엣지 보정 장치.
  5. 제 3항에 있어서,
    상기 휘도 보정부는,
    상기 제1 마스크와 상기 제2 마스크에 할당된 가중치를 각각의 픽셀에 대응되도록 곱하여 계산하는 제3 휘도 연산부를 더 포함하고, 상기 계산된 결과 값을 각 픽셀의 계수(coefficient) 값으로 하는 제3 마스크와 상기 제1 윈도우의 휘도 값을 연산하여 상기 제1 윈도우의 중심 픽셀의 보정된 휘도 값을 산출하는, 엣지 보정 장치.
  6. 제 5항에 있어서,
    상기 휘도 보정부는,
    상기 제3 마스크의 계수 값과 상기 제1 윈도우의 휘도 값을 각각의 픽셀에 대응되도록 곱한 후 모두 합산하고, 상기 합산된 값을 상기 제3 마스크의 계수 값을 합산한 값으로 나누어 상기 제1 윈도우의 중심 픽셀의 보정된 휘도 값을 산출하는, 엣지 보정 장치.
  7. 제 1항에 있어서,
    상기 색차 보정부는,
    상기 제2 윈도우의 중심 픽셀과 상기 제2 윈도우의 복수개의 인접 픽셀간 휘도 차를 계산하는 색차 연산부; 및
    상기 계산된 휘도 차에 따라 소정의 가중치를 제4 마스크에 할당하는 색차 가중치 할당부를 포함하며,
    상기 색차 가중치 할당부는,
    상기 제2 윈도우와 임계 범위안에 위치한 상기 제2 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하여 상기 제2 윈도우의 중심 픽셀의 색차 보정시 적은 영향을 미치게 하는, 엣지 보정 장치.
  8. 제 7항에 있어서,
    상기 색차 보정부는,
    상기 제4 마스크에 할당된 가중치와 상기 제1 윈도우의 색차 값을 각각의 픽셀에 대응되도록 곱한 후 모두 합산하고, 상기 합산된 값을 상기 제4 마스크의 가중치를 합산한 값으로 나누어 상기 제2 윈도우의 중심 픽셀의 보정된 색차 값을 산출하는, 엣지 보정 장치.
  9. 제 1항에 있어서,
    상기 엣지를 검출하는 엣지 검출부를 더 포함하고,
    상기 엣지 검출부는,
    상기 입력 이미지상에 위치한 소정 크기의 윈도우의 휘도 값과 복수개의 마스크의 계수 값을 연산하는 엣지 연산부; 및
    상기 연산된 결과 값과 소정의 임계치를 비교하여 상기 윈도우가 위치한 영역이 엣지에 해당하는 지 여부를 판단하는 엣지 판단부를 포함하며, 상기 판단 결과에 따라 상기 엣지를 검출하는, 엣지 보정 장치.
  10. 제 9항에 있어서,
    상기 엣지 연산부는 상기 윈도우의 휘도 값과 상기 복수개의 마스크의 계수 값을 각각의 대응되는 픽셀마다 곱한 후 합산하고, 상기 복수개의 마스크에 따라 산출된 상기 합산 된 값 중 최대 값과 최소 값과의 차를 구하고, 상기 차의 절대값을 계산하여 상기 연산된 결과 값을 산출하는, 엣지 보정 장치.
  11. 제 1항에 있어서,
    상기 엣지의 상기 보정된 휘도 값과 상기 보정된 색차 값을 연산하여 상기 엣지의 보정된 YCrCb 도메인을 산출하는 합산부를 더 포함하는, 엣지 보정 장치.
  12. 다수의 픽셀을 포함하는 제 1윈도우의 중심 픽셀을 입력 이미지의 엣지(edge)에 위치시키고, 상기 제 1윈도우의 중심 픽셀과 상기 중심 픽셀에 인접한 픽셀 간의 휘도 차 또는 휘도의 균일한 정도를 나타내는 소정 수치의 차에 따라 할당된 가중치를 이용하여 상기 제1 윈도우의 중심 픽셀의 보정된 휘도 값을 산출하는 (a)단계; 및
    상기 보정된 엣지의 휘도 값을 바탕으로, 다수의 픽셀을 포함하는 제 2윈도우의 중심 픽셀을 상기 입력 이미지의 엣지에 위치시키고, 상기 제 2윈도우의 중심 픽셀과 상기 중심 픽셀에 인접한 픽셀 간의 휘도 차에 따라 할당된 가중치를 이용하여 상기 엣지의 색차 값을 보정하는 (b)단계를 포함하는, 엣지 보정 방법.
  13. 제12항에 있어서,
    상기 (a)단계는,
    상기 제1 윈도우의 중심 픽셀과 상기 제1 윈도우의 복수개의 인접 픽셀간의 휘도 차를 계산하는 (c)단계; 및
    상기 계산된 휘도 차에 따라 소정의 가중치를 제1 마스크에 할당하는 (d)단계를 포함하며,
    상기 (d)단계는,
    상기 제1 윈도우의 중심 픽셀과의 휘도 차가 소정 임계치보다 큰 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하고, 상기 제1 윈도우의 중심 픽셀과 휘도 차가 소정 임계치보다 작은 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 높게 할당하여, 상기 제1 윈도우의 중심 픽셀의 휘도 값 보정시 미치는 영향을 달리 부여하는, 엣지 보정 방법.
  14. 제 13항에 있어서,
    상기 (a)단계는,
    상기 제1 윈도우의 소정 픽셀의 상기 휘도의 균일한 정도를 나타내는 소정 수치인 DoV(Difference of Variation)를 산출하는 (e)단계; 및
    상기 제1 윈도우의 중심 픽셀과 상기 제1 윈도우의 복수개의 인접 픽셀간의 상기 DoV 차에 따라 소정의 가중치를 제2 마스크에 할당하는 (f)단계를 더 포함하며,
    상기 (f)단계는,
    상기 제1 윈도우의 중심 픽셀과의 DoV 차가 소정 임계치보다 큰 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 높게 할당하고, 상기 제1 윈도우의 중심 픽셀과 DoV 차가 소정 임계치보다 작은 상기 제1 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하여, 상기 제1 윈도우의 중심 픽셀의 휘도 값의 방향성을 휘도 값이 균일한 평탄한 영역으로 향하게 하는, 엣지 보정 방법.
  15. 제 14항에 있어서,
    상기 (e)단계는,
    상기 제1 윈도우의 소정 픽셀에 서브 윈도우의 중심 픽셀이 대응되도록 위치시키고 상기 서브 윈도우의 중심 픽셀과 상기 중심 픽셀에 인접한 픽셀 간 휘도 차를 상기 제 1윈도우의 각 픽셀마다 구하고, 상기 차 값을 모두 합산하여 상기 제1 윈도우의 소정 픽셀의 DoV 값을 산출하는, 엣지 보정 방법.
  16. 제 14항에 있어서,
    상기 (a)단계는,
    상기 제1 마스크와 상기 제2 마스크에 할당된 가중치를 각각의 픽셀에 대응되도록 곱하여 계산하는 단계를 더 포함하고, 상기 계산된 결과 값을 각 픽셀의 계수(coefficient) 값으로 하는 제3 마스크와 상기 제1 윈도우의 휘도 값을 연산하여 상기 제1 윈도우의 중심 픽셀의 보정된 휘도 값을 산출하는, 엣지 보정 방법.
  17. 제 16항에 있어서,
    상기 (a)단계는,
    상기 제3 마스크의 계수 값과 상기 제1 윈도우의 휘도 값을 각각의 픽셀에 대응되도록 곱한 후 모두 합산하고, 상기 합산된 값을 상기 제3 마스크의 계수 값을 합산한 값으로 나누어 상기 제1 윈도우의 중심 픽셀의 보정된 휘도 값을 산출하는 단계를 더 포함하는, 엣지 보정 방법.
  18. 제 12항에 있어서,
    상기 (b)단계는,
    상기 제2 윈도우의 중심 픽셀과 상기 제2 윈도우의 복수개의 인접 픽셀간 휘도 차를 계산하는 (g)단계; 및
    상기 계산된 휘도 차에 따라 소정의 가중치를 제4 마스크에 할당하는 (h)단계를 포함하며,
    상기 (h)단계는,
    상기 제2 윈도우와 임계 범위안에 위치한 상기 제2 윈도우의 인접 픽셀에 대해서는 가중치를 낮게 할당하여 상기 제2 윈도우의 중심 픽셀의 색차 보정시 적은 영향을 미치게 하는, 엣지 보정 방법.
  19. 제 18항에 있어서,
    상기 (b)단계는,
    상기 제4 마스크에 할당된 가중치와 상기 제1 윈도우의 색차 값을 각각의 픽셀에 대응되도록 곱한 후 모두 합산하고, 상기 합산된 값을 상기 제4 마스크의 가중치를 합산한 값으로 나누어 상기 제2 윈도우의 중심 픽셀의 보정된 색차 값을 산출하는 단계를 더 포함하는, 엣지 보정 방법.
  20. 제 12항에 있어서,
    상기 엣지를 검출하는 단계를 더 포함하고,
    상기 엣지를 검출하는 단계는,
    상기 입력 이미지상에 위치한 소정 크기의 윈도우의 휘도 값과 복수개의 마스크의 계수 값을 연산하는 (i)단계와; 및
    상기 연산된 결과 값과 소정의 임계치를 비교하여 상기 윈도우가 위치한 영역이 엣지에 해당하는 지 여부를 판단하는 (j)단계를 포함하며, 상기 판단 결과에 따라 상기 엣지를 검출하는, 엣지 보정 방법.
  21. 제 20항에 있어서,
    상기 (i)단계는 상기 윈도우의 휘도 값과 상기 복수개의 마스크의 계수 값을 각각의 대응되는 픽셀마다 곱한 후 합산하고, 상기 복수개의 마스크에 따라 산출된 상기 합산 된 값 중 최대 값과 최소 값과의 차를 구하고, 상기 차의 절대값을 계산하여 상기 연산된 결과 값을 산출하는, 엣지 보정 방법.
  22. 제 12항에 있어서,
    상기 엣지의 상기 보정된 휘도 값과 상기 보정된 색차 값을 연산하여 상기 엣지의 보정된 YCrCb 도메인을 산출하는 단계를 더 포함하는, 엣지 보정 방법.
KR1020060062082A 2006-07-03 2006-07-03 엣지 보정 장치 및 방법 KR100809346B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060062082A KR100809346B1 (ko) 2006-07-03 2006-07-03 엣지 보정 장치 및 방법
EP07111354A EP1876566A2 (en) 2006-07-03 2007-06-29 Apparatus and Method for Correcting Edge in an Image
US11/822,157 US7956910B2 (en) 2006-07-03 2007-07-02 Apparatus and method for correcting image edge
JP2007175307A JP2008016029A (ja) 2006-07-03 2007-07-03 エッジ補正装置及び方法
CN2007101269142A CN101102515B (zh) 2006-07-03 2007-07-03 校正图像边缘的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060062082A KR100809346B1 (ko) 2006-07-03 2006-07-03 엣지 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20080003626A KR20080003626A (ko) 2008-01-08
KR100809346B1 true KR100809346B1 (ko) 2008-03-05

Family

ID=38521848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060062082A KR100809346B1 (ko) 2006-07-03 2006-07-03 엣지 보정 장치 및 방법

Country Status (5)

Country Link
US (1) US7956910B2 (ko)
EP (1) EP1876566A2 (ko)
JP (1) JP2008016029A (ko)
KR (1) KR100809346B1 (ko)
CN (1) CN101102515B (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100901353B1 (ko) * 2007-05-25 2009-06-05 주식회사 코아로직 영상 처리 장치 및 그 방법
EP2098989A1 (en) * 2008-03-07 2009-09-09 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for processing a coloured image.
US20100002147A1 (en) * 2008-07-02 2010-01-07 Horizon Semiconductors Ltd. Method for improving the deringing filter
KR100975221B1 (ko) * 2008-11-05 2010-08-10 매그나칩 반도체 유한회사 샤프니스 보정장치 및 그 방법
EP2384006B1 (en) * 2008-12-26 2017-06-28 NEC Corporation Image processing device, image processing method, and storage medium
KR101557100B1 (ko) * 2009-02-13 2015-10-02 삼성전자주식회사 선명도 향상부를 포함하는 영상 처리 장치
TWI387319B (zh) * 2009-06-02 2013-02-21 Novatek Microelectronics Corp 影像處理電路及方法
TWI389576B (zh) * 2009-07-02 2013-03-11 Mstar Semiconductor Inc 影像處理裝置以及影像處理方法
TW201110057A (en) * 2009-09-01 2011-03-16 Novatek Microelectronics Corp Image color processing device and method
CN102045488B (zh) * 2009-10-12 2012-10-17 晨星软件研发(深圳)有限公司 影像处理方法以及影像处理装置
US8345130B2 (en) * 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
US8542919B2 (en) * 2010-06-22 2013-09-24 SK Hynix Inc. Method and system for correcting lens shading
WO2012037685A1 (en) * 2010-09-22 2012-03-29 Berfort Management Inc. Generating 3d stereoscopic content from monoscopic video content
CN102855642B (zh) * 2011-06-28 2018-06-15 富泰华工业(深圳)有限公司 图像处理装置及其物体轮廓的提取方法
JP2013165476A (ja) * 2011-11-11 2013-08-22 Mitsubishi Electric Corp 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体
CN102752604B (zh) * 2012-06-18 2015-04-29 深圳创维-Rgb电子有限公司 一种图像显示方法及智能设备
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR102056686B1 (ko) 2013-02-18 2019-12-18 삼성디스플레이 주식회사 영상 처리부, 이를 포함하는 표시 장치 및 이를 이용한 영상 처리 방법
US10466876B2 (en) * 2014-04-17 2019-11-05 Facebook, Inc. Assisting a user of a software application
CN104394336B (zh) * 2014-12-01 2017-10-27 北京思比科微电子技术股份有限公司 基于cmos图像传感器的图像轮廓锐化方法及系统
CN106469533A (zh) * 2015-08-18 2017-03-01 上海和辉光电有限公司 显示装置、图像数据处理装置及方法
JP2018091807A (ja) * 2016-12-07 2018-06-14 オルボテック リミテッド 欠陥良否判定方法及び装置
CN108550348B (zh) 2018-04-02 2020-04-03 深圳市华星光电技术有限公司 显示装置的图像处理方法
CN109710208B (zh) * 2018-12-17 2022-05-24 福建华佳彩有限公司 一种边缘补偿方法及存储设备
US20200211163A1 (en) * 2018-12-28 2020-07-02 Novatek Microelectronics Corp. Image compensation method and image processing circuit
CN113674144A (zh) * 2020-05-14 2021-11-19 Tcl科技集团股份有限公司 一种图像处理方法、终端设备及可读存储介质
CN114723613A (zh) * 2021-01-05 2022-07-08 北京小米移动软件有限公司 图像处理方法及装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170117A (ja) * 2000-11-13 2002-06-14 Samsung Electronics Co Ltd 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置
JP2004318827A (ja) * 2003-03-31 2004-11-11 Seiko Epson Corp 画像処理装置、画像処理方法およびプログラム
KR20050106919A (ko) 2004-05-06 2005-11-11 매그나칩 반도체 유한회사 영상 신호의 에지 검출 방법
KR20050111261A (ko) 2004-05-21 2005-11-24 삼성전자주식회사 노이즈처리가 가능한 감마보정장치 및 감마보정방법
JP2006114006A (ja) * 2004-09-17 2006-04-27 Nikon Corp 階調変換装置、プログラム、電子カメラ、およびその方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3399486B2 (ja) * 1993-06-30 2003-04-21 富士ゼロックス株式会社 カラー画像処理装置及び方法
KR100446721B1 (ko) 1997-07-30 2004-11-03 엘지전자 주식회사 디지털스틸카메라의보간및윤곽보정회로
JP2000013642A (ja) * 1998-06-18 2000-01-14 Sony Corp ビデオ信号処理装置
US6774943B1 (en) 1998-09-01 2004-08-10 Ess Technology, Inc. Method and apparatus for edge enhancement in digital images
KR20030090143A (ko) 2002-05-21 2003-11-28 한국방송공사 휘도 및 색차 신호를 이용한 윤곽 보정장치 및 그 방법
EP1370091A1 (en) 2002-06-06 2003-12-10 Koninklijke Philips Electronics N.V. Image processing
EP1434425A3 (en) 2002-12-25 2006-04-26 Hitachi Ltd. Video signal processing apparatus
JP4325388B2 (ja) 2003-12-12 2009-09-02 ソニー株式会社 信号処理装置、画像表示装置および信号処理方法
CN100362850C (zh) 2005-01-17 2008-01-16 深圳创维-Rgb电子有限公司 电视图像边缘增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170117A (ja) * 2000-11-13 2002-06-14 Samsung Electronics Co Ltd 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置
JP2004318827A (ja) * 2003-03-31 2004-11-11 Seiko Epson Corp 画像処理装置、画像処理方法およびプログラム
KR20050106919A (ko) 2004-05-06 2005-11-11 매그나칩 반도체 유한회사 영상 신호의 에지 검출 방법
KR20050111261A (ko) 2004-05-21 2005-11-24 삼성전자주식회사 노이즈처리가 가능한 감마보정장치 및 감마보정방법
JP2006114006A (ja) * 2004-09-17 2006-04-27 Nikon Corp 階調変換装置、プログラム、電子カメラ、およびその方法

Also Published As

Publication number Publication date
KR20080003626A (ko) 2008-01-08
EP1876566A2 (en) 2008-01-09
JP2008016029A (ja) 2008-01-24
CN101102515A (zh) 2008-01-09
US7956910B2 (en) 2011-06-07
CN101102515B (zh) 2010-06-16
US20080012968A1 (en) 2008-01-17

Similar Documents

Publication Publication Date Title
KR100809346B1 (ko) 엣지 보정 장치 및 방법
US8467003B2 (en) Noise reduction method, medium, and system
US6094508A (en) Perceptual thresholding for gradient-based local edge detection
KR100791391B1 (ko) 노이즈 저감 방법 및 장치
KR100381530B1 (ko) 신규한 에지-검출 기초 노이즈 제거 알고리듬
JP4571670B2 (ja) 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品
US7999867B2 (en) Image edge detection apparatus and method, image sharpness emphasizing apparatus and method, recorded meduim recorded the program performing it
US10044952B2 (en) Adaptive shading correction
JP6052902B2 (ja) ディジタル画像中のハイライト領域および飽和領域を処理するための方法
US8237823B2 (en) Method and apparatus for canceling chromatic aberration
US9830690B2 (en) Wide dynamic range imaging method
TWI629904B (zh) 影像之亮度不均勻性的更正方法及相關影像亮度更正裝置
JPWO2005101854A1 (ja) 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
US9007495B1 (en) Image processing
CN112583999B (zh) 相机模块的镜头脏污检测方法
CN114820334A (zh) 图像修复方法、装置、终端设备和可读存储介质
JP2004239733A (ja) 画面の欠陥検出方法及び装置
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
CN111770321B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2019144294A (ja) 画像処理装置、顕微鏡システム、画像処理方法および画像処理プログラム
KR101089902B1 (ko) 디지털 이미지의 에지 영역 판단 장치 및 방법
JP4337356B2 (ja) 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法
JP5860298B2 (ja) 画像処理装置及びプログラム
CN114820418A (zh) 图像异常处理方法、装置、终端设备和可读存储介质
US11488286B2 (en) Method for determining Moire pattern, method for suppressing Moire pattern and circuit system thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160118

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170117

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 13