KR100968377B1 - 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치 - Google Patents

플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치 Download PDF

Info

Publication number
KR100968377B1
KR100968377B1 KR1020090006611A KR20090006611A KR100968377B1 KR 100968377 B1 KR100968377 B1 KR 100968377B1 KR 1020090006611 A KR1020090006611 A KR 1020090006611A KR 20090006611 A KR20090006611 A KR 20090006611A KR 100968377 B1 KR100968377 B1 KR 100968377B1
Authority
KR
South Korea
Prior art keywords
exposure time
flicker noise
light source
flicker
frequency
Prior art date
Application number
KR1020090006611A
Other languages
English (en)
Inventor
김광일
Original Assignee
주식회사 코아로직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코아로직 filed Critical 주식회사 코아로직
Priority to KR1020090006611A priority Critical patent/KR100968377B1/ko
Application granted granted Critical
Publication of KR100968377B1 publication Critical patent/KR100968377B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 대상 영상에서 플리커 노이즈가 존재하는지 여부를 간단하고 신속하게 검출하고, 또한 플리커 노이즈가 검출된 경우에 효과적으로 플리커 노이즈를 제거할 수 있는 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치를 제공한다. 그 플리커 노이즈 제거장치는 이미지 센서를 통해 입력된 대상영상의 플리커(flicker) 노이즈를 검출하는 플리커 검출부; 및 광원의 전원 주파수에 따라 상기 이미지 센서의 노출시간을 조절하는 노출시간 조절부;를 포함하고, 상기 노출시간 조절을 통해서 상기 플리커 노이즈를 제거할 수 있다.

Description

플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치{Device and method for removing flicker noise, and image processing apparatus comprising the same device}
본 발명은 영상처리장치 및 방법에 관한 것으로, 특히 플리커 노이즈를 검출하여 제거하는 플리커 노이즈 제거장치와 제거방법에 관한 것이다.
플리커(flicker) 노이즈는 상용 교류 전원에 의해 점등되는 형광등의 조명상태에서 카메라 등의 광학 영상장치를 통해 피사체가 촬영되는 경우 발생하는 일종의 주파수 불일치에 의한 노이즈로서, 형광등의 휘도 변화의 주파수와 카메라의 수직 동기 주파수의 차이에 의해 출력된 영상신호에 시간적인 명암의 변화가 발생하게 되는 노이즈를 의미한다.
예를 들면, 상용 교류 전원 주파수가 50Hz인 지역에서, 넌인버터 방식의 형광등의 광원에서 NTSC 방식(수직 동기 주파수는 60Hz)의 CCD 카메라에 의해 피사체를 촬영하는 경우, 1주기가 1/60초인데 반하여, 형광등의 휘도 변화의 주기가 1/100초로 되기 때문에, 형광등의 휘도 변화에 대하여 각 필드의 노광 타이밍이 어긋나게 되며, 이러한 현상에 의하여 각 화소의 노광량이 달라지게 된다.
즉, 광학장치에 이용되는 센서인 CMOS 이미지센서는 구조가 간단하여 저비용화가 가능하고 저소비 전력으로 고화질을 구현할 수 있지만, 화소 또는 라인마다 광전을 변환시키는 타이밍이 다르기 때문에, 형광등 조명 아래에서와 같이 밝기가 주기적으로 변하는 환경에서 촬영하면, 촬상 화상에 명암의 가로 줄무늬가 발생한다. 이 촬영된 화상에 포함되는 가로 줄무늬를 플리커 또는 플리커 노이즈라고 칭한다.
이러한 플리커 노이즈를 검출하는 방법은 많이 제시되고 있는데, 주로 공간적인 영역에서 처리하는 방법과 주파수 영역에서 처리하는 방법들이 이용된다. 공간적인 영역에서 처리하는 방법은 이웃 화소, 줄 간격 또는 프레임과의 상관관계를 이용하여 검출하는 방법들이 제시되고 있고, 주파수 영역에서 검출하는 방법은 FFT(Fast Fourier Transform), 켑스트럼(Cepstrum)과 같은 변환을 이용하여 플리커 노이즈 성분을 검출하는 방법들이 제시되고 있다.
그러나, 주파수 영역에서 플리커 노이즈를 검출하는 방법은 임베디드 장치나 칩 등으로 구현하기에는 너무나 많은 하드웨어 리소스와 메모리가 필요하다는 단점을 가지며, 공간 영역에서 검출하는 방법은 영상정보에 포함되어 있는 일반 노이즈에 노출되게 되어 노이즈 성분에 따라 플리커 노이즈의 검출이 잘못될 확률이 높아지며, 라인들 간의 비교를 위해 라인별 또는 프레임별 메모리가 필요하다는 문제점이 있다.
한편, 플리커 노이즈를 검출한 경우에도, 검출한 플리커 노이즈를 효과적으로 제거하는 방법이 요구되고 있다.
본 발명이 해결하고자 하는 과제는 대상 영상에서 플리커 노이즈가 존재하는지 여부를 간단하게 신속하게 검출하고, 또한 플리커 노이즈가 검출된 경우에 효과적으로 플리커 노이즈를 제거할 수 있는 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치를 제공하는 데에 있다.
상기 과제를 달성하기 위하여, 본 발명은 이미지 센서를 통해 입력된 대상영상의 플리커(flicker) 노이즈를 검출하는 플리커 검출부; 및 광원의 전원 주파수에 따라 상기 이미지 센서의 노출시간을 조절하는 노출시간 조절부;를 포함하고, 상기 노출시간 조절을 통해서 상기 플리커 노이즈를 제거하는 플리커 노이즈 제거장치를 제공한다.
본 발명에 있어서, 상기 광원의 종류를 판단하는 광원 판단부를 더 포함하고, 상기 광원 판단부에 의해 상기 광원이 상기 플리커 노이즈를 유발하지 않은 광원으로 판단된 경우에, 상기 플리커 검출부 및 상기 노출시간 조절부가 동작하지 않을 수 있다. 또한, 상기 노출시간 조절부는, 상기 전원 주파수를 초기 주파수 f0로 가정하여, n/(f0*2)초(n은 자연수)로 노출시간을 설정하고, 상기 플리커 검출부에서 상기 플리커 노이즈가 검출되는 경우에 상기 전원 주파수를 다른 주파수 f1으로 가정하여 n/(f1*2)초로 노출시간을 설정하여 다시 플리커 노이즈 검출되는지를 판단하는 식으로 진행하여, 상기 플리커 노이즈가 검출되지 않은 전원 주파수 ff가 찾아진 경우에, 상기 노출시간을 n/(ff*2)초로 설정함으로써 상기 노출시간을 조절할 수 있다.
본 발명에 있어서, 상기 플리커 노이즈 제거장치는 상기 플리커 노이즈 제거장치는 상기 광원의 전원 주파수를 판단하는 전원 주파수 판단부를 더 포함하고, 상기 전원 주파수 판단부에서 상기 전원 주파수를 ff로 판단한 경우에, 상기 노출시간 조절부는 상기 노출시간을 n/(ff*2)초로 설정할 수 있다. 또한, 플리커 노이즈 제거장치는 상기 노출시간 조절에 따른 ISO 감도를 조절하는 ISO 조절부를 더 포함할 수도 있는데, 이러한 상기 ISO 감도 조절은, 비율 아날로그 게인(N)을 비율 셔터 타임(M)으로 나눈 가중치 값(H)을 최소 아날로그 게인(analog gain_100)에 곱하여 새로운 아날로그 게인(New analog gain)으로 재설정함으로써 이루어질 수 있다. 여기서, 상기 비율 셔터 타임은 플리커 노이즈를 없애기 위해 조절된 노출시간(셔터 타임)을 플리커 노이즈가 없을 때 노출시간으로 나눈 값이며, 상기 비율 아날로그 게인은 현재 아날로그 게인(current analog gain)을 상기 최소 아날로그 게인으로 나눈 값이다.
본 발명은 또한, 상기 과제를 달성하기 위하여, 피사체에 대한 아날로그 이미지 신호를 출력하는 이미지 센서; 상기 아날로그 이미지 신호를 보정 및 디지털화하여 출력을 위한 대상 영상으로 변환시키는 이미지 신호 처리장치; 상기 대상영상의 플리커(flicker) 노이즈를 검출하는 플리커 검출부, 및 광원의 전원 주파수에 따라 상기 이미지 센서의 노출시간을 조절하는 노출시간 조절부를 포함하고, 상기 노출시간 조절을 통해서 상기 플리커 노이즈를 제거하는 플리커 노이즈 제거장치; 및 상기 이미지 신호 처리장치에 연결되어 상기 플리커 노이즈가 제거된 영상을 출력하는 출력부;를 포함하는 영상처리장치를 제공한다.
더 나아가, 본 발명은 상기 과제를 달성하기 위하여, 이미지 센서를 통해 대상 영상을 입력받는 단계; 상기 대상 영상에 대한 플리커 노이즈를 검출하는 단계; 및 상기 플리커 노이즈가 검출된 경우에 광원의 전원 주파수에 따라 상기 이미지 센서의 노출 시간을 조절하는 단계;를 포함하고, 상기 노출 시간의 조절을 통해서 상기 플리커 노이즈를 제거하는 플리커 노이즈 제거방법을 제공한다.
본 발명에 있어서, 상기 검출단계 전에 광원의 종류를 판단하는 광원종류 판단단계를 더 포함하고, 상기 광원종류 판단단계에서, 상기 광원이 상기 플리커 노이즈를 유발하지 않은 광원으로 판단된 경우에, 상기 검출 단계 및 노이즈 제거단계를 수행하지 않을 수 있다. 또한, 상기 검출 단계에서 상기 플리커 노이즈가 검출되지 않은 경우에는 상기 노이즈 제거단계를 수행하지 않을 수 있고, 상기 검출 단계에서 상기 플리커 노이즈가 검출된 경우에는, 상기 노출시간 조절단계에서 상기 전원 주파수가 ff인 경우에, 상기 노출시간을 n/(ff*2) 초로 설정할 수 있다.
본 발명에 있어서, 상기 노출시간 조절단계 전에 상기 광원의 전원 주파수를 판단하는 전원 주파수 판단단계를 더 포함하고, 상기 전원 주파수 판단단계에서 상기 전원 주파수 ff를 검출하고 상기 노출시간 조절단계에서 상기 노출시간을 n/(ff*2)초로 설정할 수 있다.
본 발명에 따른 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치는 여러 가지 전원 주파수를 혼용해서 사용하는 지역에서 플리커 노이즈를 간단하고 신속하게 검출하고, 검출된 플리커 노이즈를 효과적으로 제거할 수 있다. 또한, 광원 판단부를 포함하여, 플리커 노이즈를 유발하지 않은 광원의 경우에 플리커 검출 및 제거 기능을 동작시키지 않음으로써, 대상 영상의 밝기 조절을 세밀하게 할 수 있는 장점도 제공한다.
더 나아가 본 발명의 플리커 노이즈 제거장치와 제거방법은 이미지 센서 노출시간 변경으로 인해 발생하는 대상 영상의 타겟 밝기 값과의 차이를 보충할 수 있는 ISO 조절부를 포함함으로써, 아날로그 게인 값을 높여서 대상 영상이 적정 타겟 밝기 값을 유지하도록 할 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 이하의 설명에서 어떤 구성 요소가 다른 구성 요소에 연결된다고 기술될 때, 이는 다른 구성 요소와 바로 연결될 수도 있지만, 그 사이에 제3의 구성 요소가 개재될 수도 있다. 또한, 도면에서 각 구성 요소의 구조나 크기는 설명의 편의 및 명확성을 위하여 과장되었고, 설명과 관계없는 부분은 생략되었다. 도면상에서 동일 부호는 동일한 요소를 지칭한다. 한편, 사용되는 용어들은 단지 본 발명을 설 명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치에 대한 블럭 구조도이다.
도 1을 참조하면, 본 실시예의 영상처리장치는 이미지 센서(100), 이미지 신호 처리장치(200), 플리커 노이즈 제거장치(300) 및 출력부(400)를 포함한다.
이미지 센서(100)는 피사체에 반사되는 빛을 받아들여 피사체에 대한 아날로그 이미지 신호를 출력하는 장치로서, CCD 또는 CMOS 이미지 센서 등이 이용되고 있다. 참고로, CCD 이미지 센서는 디지털 카메라, 캠코더 등의 고급 고화질용으로 많이 사용되며, CMOS 이미지 센서는 구조, 비용 및 저전력 효율 등의 장점에 기인하여 휴대폰, PC 웹캠 등의 저가/저전력을 요구하는 분야에 주로 사용되고 있으나, 현재 CMOS 이미지 센서의 기술 발달에 기인하여 CMOS 이미지 센서가 CCD 이미지 센서를 대체해 가고 있는 양상을 띠고 있다.
이미지 신호 처리장치(200)는 이미지 센서(100)로부터의 아날로그 이미지 신호를 사람의 눈에 보기 좋은 영상으로 보정하고, 또한 아날로그 신호를 디지털 신호로 변환시킨다. 예컨대, 이미지 신호 처리장치(200)는 렌즈 보정, 노이즈 제거, 화이트 밸런스, 컬러 보간, 감마 보정, 합성 매트릭스 등의 기능을 수행한다. 이와 같은 이미지 신호 처리장치(200)를 통해 보정 및 디지털화된 이미지 신호, 즉 대상 영상에는 광원의 종류에 따른 플리커 노이즈가 존재할 수 있다. 따라서, 플리커 노이즈가 존재하는지 판단해야 해야하며, 플리커 노이즈가 검출된 경우에는 검출된 플리커 노이즈를 제거해야 한다.
플리커 노이즈 제거장치(300)는 전술한 플리커 노이즈가 존재하는지 검출하며, 또한, 플리커 노이즈가 검출된 경우에는 광원의 전원 주파수에 따라, 이미지 센서의 노출시간, 즉 셔터 타임을 조절함으로써, 자동으로 플리커 노이즈를 제거한다. 또한, ISO 감도를 조절할 필요가 있는 경우에는 아날로그 게인을 조절하여 ISO 감도를 조절함으로써, 대상 영상이 적정 타겟 밝기 값을 유지하도록 한다. 플리커 노이즈 제거장치(300)에 대해서는 도 2a ~ 2c 및 도 3에서 좀더 상세히 기술한다.
출력부(400)는 플리커 노이즈가 제거된 대상 영상을 출력한다. 여기서, 출력부는 디지털 카메라, 핸드폰 등의 LCD 모니터 등이 될 수 있다. 한편, 도시하지는 않았지만, 플리커 노이즈가 제거된 대상 영상은 저장부로 저장될 수도 있음은 물론이다.
본 실시예의 영상처리장치는 플리커 노이즈 제거장치를 포함함으로써, 플리커 노이즈를 간단하고 신속하게 검출하며, 검출된 플리커 노이즈를 효과적으로 제거할 수 있다. 또한, 차후에 설명하겠지만, 플리커 노이즈 제거장치가 광원 판단부를 포함하여, 플리커 노이즈를 유발하지 않은 광원의 경우에 플리커 검출 및 제거 기능을 동작시키지 않음으로써, 대상 영상의 밝기 조절을 세밀하게 할 수 있도록 할 수 있으며, ISO 조절부를 포함함으로써, 아날로그 게인 값을 높여서 대상 영상이 적정 타겟 밝기 값을 유지하도록 할 수도 있다.
도 2a ~ 2c는 도 1의 영상처리장치의 플리커 노이즈 제거장치의 구성을 좀더 상세하게 보여주는 블럭 구조도들이다.
도 2a를 참조하면, 본 실시예의 플리커 노이즈 제거장치(300)는 플리커 노이 즈 검출부(320) 및 노출 시간 조절부(340)를 포함한다. 플리커 노이즈 검출부(320)는 라인별 데이터의 밝기정보를 이용한 평균값 등의 통계적 산출값만을 이용하여 경제적이고 효과적으로 플리커 노이즈를 검출한다. 이러한 플리커 노이즈 검출부(320)에 대해서는 도 3 부분에서 좀더 상세히 기술한다.
노출 시간 조절부(340)는 플리커 노이즈 검출부(320)를 통해 플리커 노이즈가 검출된 경우에 이미지 센서(100)의 노출 시간을 조절함으로써, 플리커 노이즈가 제거되도록 한다. 즉, 광원의 전원 주파수가 ff라고 한다면, 이미지 센서의 노출시간을 n/(ff*2)로 맞춤으로써, 플리커 노이즈를 제거하게 된다. 한편, 광원의 전원 주파수 ff를 판단하는 방법은 여러 가지가 있겠지만, 각 전원 주파수에 따라 이미지 센서의 노출시간을 반복적으로 조절해 보고, 플리커 노이즈가 없는 대상 영상을 검출함으로써, 그에 대응된 이미지 센서의 노출시간을 기반으로 하여 광원의 전원 주파수로 판단할 수 있다. 예컨대, 현재 쓰이는 광원들이 50hz, 60hz, 120hz 등이라 하면, 본 광원에 따라 적절한 노출시간들을 미리 설정하여 반복적으로 조절함으로써, 현재 광원에 맞는 노출시간을 결정할 수 있다.
또한, 전원 주파수를 판단하는 다른 장치를 더 포함하여 전원 주파수를 정확히 결정하고 그에 따라 노출시간을 조절함으로써, 플리커 노이즈를 제거할 수 있다.
도 2b를 참조하면, 본 실시예의 플리커 노이즈 제거장치(300a)는 플리커 노이즈 검출부(320) 전단부로 광원 판단부(360)를 더 포함할 수 있다. 광원 판단 부(360)는 광원이 플리커 노이즈를 유발하는 광원, 예컨대 형광등인지 아니면 자연광이나 백열등과 같은 플리커 노이즈를 유발하지 않는 광원인지를 판단한다. 이러한 플리커 노이즈 유발 광원인지의 판단은 광원으로부터의 빛의 인텐서티를 검출하면 쉽게 판단할 수 있다. 즉, 광원의 빛의 인텐서티가 주기적으로 변화하면 플리커 노이즈 유발 광원으로 판단할 수 있고, 인텐서티의 변화가 없으면 플리커 노이즈를 유발하지 않는 광원으로 판단할 수 있다.
이와 같이 광원 판단부를 두는 이유는 플리커 노이즈를 유발하는 광원인지 아닌지를 미리 판단하여, 플리커 노이즈를 유발하지 않은 광원인 경우에는 플리커 노이즈 검출이나 플리커 노이즈 제거를 위한 노출시간 조절과 같은 기능을 생략함으로써, 영상처리 시간을 절약할 수 있으며, 또한 대상 영상의 밝기 조절에 좀더 세밀한 집중을 할 수 있도록 하기 위함이다.
도 2c를 참조하면, 플리커 노이즈 제거장치(300b)는 플리커 노이즈 검출부(320)와 노출시간 조절부(340) 사이에 전원 주파수 판단부(380)를 더 포함할 수 있다. 전원 주파수 판단부(380)는 광원의 전원 주파수를 판단한다. 그에 따라, 노출시간 조절부(340)가 전원 주파수 판단부(380)에 의해 판단된 전원 주파수에 따라 노출 시간을 조절함으로써, 검출된 플리커 노이즈를 신속하고 정확하게 제거할 수 있다.
전원 주파수 판단부(380)는 광원의 빛의 인텐서티 변화 주기를 검출할 수 있는데, 인텐서티 변화 주기가 Ti인 경우 광원 빛의 주기는 2*Ti가 되고 그에 따라, 광원 빛의 주파수(ff)는 1/(2*Ti)가 될 것이다. 한편, 플리커 노이즈를 제거하기 위하여 이미지 센서의 노출시간을 광원의 빛의 인텐서티 변화 주기(Ti)의 정수배로 맞추면 된다. 즉, nTi = n/(ff*2)초로 노출시간을 조절하면 플리커 노이즈를 제거할 수 있다. 이는 앞서 언급한 이미지 센서의 노출시간 n/(ff*2)와 정확히 일치함을 알 수 있다.
도 3은 도 2a ~ 2c의 플리커 노이즈 제거장치의 플리커 노이즈 검출부를 좀더 상세하게 보여주는 블럭 구조도이다.
도 3을 참조하면, 본 실시예 플리커 노이즈 검출부(320)는 산출부(325), 플리커 라인 검출부(326) 및 판단부(328)를 포함한다.
산출부(325)는 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 상기 플리커 노이즈 판단을 위한 기준 데이터를 산출한다. 이러한 기능을 수행하기 위하여, 산출부(325)는 제1 산출부(321), 필터링부(322) 및 기준 데이터 산출부(323)를 포함한다.
제1 산출부(321)는 대상영상에서 한 라인에 해당하는 픽셀의 밝기 정보에 대한 통계적 산출값인 제1 데이터를 대상영상의 라인마다 추출한다. 여기서, 통계적 산출값은 대상 영상의 한 라인에 해당하는 픽셀의 밝기정보의 합을 1 내지 한 라인에 해당하는 픽셀의 개수 중 선택된 개수로 나눈 값이다.
필터링부(322)는 제1 산출부(321)에서 출력된 제1 데이터를 저대역 필터링한다. 한편, 기준 데이터 산출부(323)는 필터리부(322)를 통해 필터링된 제1 데이터 중 이전 라인의 제1 데이터보다 크고 이후 라인의 제1 데이터보다 큰 제1 데이터를 기준 데이터로 산출한다.
플리커 라인 검출부(326)는 산출부(325)를 통해 기준 데이터가 산출된 라인들의 라인간 간격이 소정 오차범위 내에서 일정한 플리커 라인을 검출한다. 판단부(328)는 플리커 라인 검출부(326)를 통해 검출한 플리커 라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준 개수를 비교하여 대상 영상이 플리커 노이즈가 존재하는 영상인지 여부를 판단한다.
여기서, 기준 개수는 대상 영상의 높이를 플리커 라인의 간격의 크기로 나눈 값의 60% 이상일 수 있다. 또한, 기준 개수와 비교되는 플리커 라인의 개수는 검출된 플리커 라인의 간격이 동일하지 않은 경우, 간격이 동일하지 않은 플리커 라인 각각의 개수의 합이거나, 또는 간격이 동일하지 않은 플리커 라인들 중 가장 많은 개수일 수 있다.
한편, 플리커 라인의 간격의 크기는 검출된 플리커 라인의 간격이 동일하지 않은 경우, 간격이 동일하지 않은 플리커 라인 각각의 간격 크기의 평균값으로 정하거나, 또는 간격이 동일하지 않은 플리커 라인들 중 가장 많은 개수의 플리커 라인에 해당하는 간격을 크기로 정할 수 있다.
전술한 구성을 가지고 플리커 노이즈 검출부(320)는 모든 라인별 데이터를 저장할 필요없이 라인의 통계적 산출값만을 기초로 연산이 이루어지고 그에 기초하여 플리커 노이즈를 검출함으로써, 플리커 노이즈가 존재하는 영상인지를 간단하고 신속하게 검출할 수 있으며, 또한 메모리의 사용을 최소로 할 수 있어, 영상 칩 구 현에 있어서, 비용적, 공간적 활용성을 높일 수 있다.
도 4a ~ 4c는 본 발명의 다른 실시예에 따른 플리커 노이즈 제거방법을 보여주는 흐름도들이다.
도 4a를 참조하면, 본 실시예의 플리커 노이즈 제거방법은 먼저, 대상 영상을 입력받는다(S100). 다음, 대상 영상에 대한 플리커 노이즈를 검출하는 동작을 수행한다(S200). 검출 동작 수행 후, 플리커 노이즈가 존재하는지 판단한다(S300). 이러한 플리커 노이즈 검출 동작 및 판단은 앞서 도 3에서 설명한 플리커 노이즈 검출장치를 통해 수행할 수 있다.
플리커 노이즈가 존재하지 않은 경우는 플리커 노이즈를 제거하는 과정을 종료한다.
한편, 플리커 노이즈가 존재하는 경우에는 이미지 센서의 노출시간을 조절한다(S400). 이미지 센서 노출시간의 조절은 광원의 전원 주파수를 ff라고 한다면, 이미지 센서의 노출시간을 n/(ff*2)로 맞춤으로써 수행된다. 광원의 전원 주파수 ff를 판단하는 방법은 여러 가지가 있겠지만, 본 실시예에서는 광원의 전원 주파수를 알려진 두세 개, 예컨대 50 Hz 또는 60Hz로 한정하여, 먼저 어느 하나의 전원 주파수에 맞춰서 이미지 센서의 노출시간을 조절하고, 다시 대상 영상 입력 단계 및 플리커 노이즈 검출 단계(S100, S200)를 반복함으로써, 플리커 노이즈를 제거하게 된다.
예컨대, 광원의 전원 주파수를 50Hz로 가정하여 이미지 센서의 노출시간을 n/(50*2)로 맞춰서, 플리커 노이즈가 제거되었는지 검사하여 플리커 노이즈가 없는 경우는 플리커 노이즈 제거 과정을 종료하며, 플리커 노이즈가 계속 존재하는 경우에는 전원 주파수를 60Hz로 가정하여 다시 이미지 센서의 노출시간을 n/(60*2)로 맞춰서 조절하여 플리커 노이즈 존재 여부를 검사하는 식으로 진행한다. 결과적으로 소정 개수의 알려진 전원 주파수에 대하여 위와 같은 과정을 반복함으로써, 플리커 노이즈가 제거된 경우에 플리커 노이즈 제거 과정을 종료한다.
도 4b를 참조하면, 본 실시예의 플리커 노이즈 제거방법은 도 4a의 플리커 노이즈 제거 방법과 유사하나, 플리커 노이즈 검출 단계(S200) 전에 플리커 노이즈 유발 광원인가를 판단하는 단계(S150)를 더 포함한다. 즉, 본 실시예는 입력된 모든 대상영상에 대하여 플리커 노이즈를 검출 및 제거하는 과정을 수행하는 것이 아니라 광원의 종류를 판단하여 플리커 노이즈를 유발하는 광원에 대해서만 플리커 노이즈를 검출 및 제거하는 과정을 수행한다는 개념이다.
이에 따라, 플리커 노이즈 유발 광원 판단 단계(S150)에서 플리커 노이즈 유발 광원이 아닌 경우에는 바로 플리커 노이즈 제거 과정을 종료하게 된다. 한편, 전술한 바와 같이 플리커 노이즈 유발 광원인지의 판단은 광원의 빛의 인텐서티가 주기적으로 변화하는지를 검출하여 판단할 수 있다.
도 4c를 참조하면, 본 실시예의 플리커 노이즈 제거방법은 도 4b의 플리커 노이즈 제거 방법에 광원의 전원 주파수를 판단하는 단계(S350)를 더 포함한다. 이러한 광원의 전원 주파수 판단은 이미지 센서 노출시간 조절 단계(S400) 이전으로 배치되며, 광원의 전원 주파수를 판단하여, 검출된 전원 주파수에 따라 바로 이미 지 센서의 노출시간을 조절함으로써, 앞서 도 4a에서 설명한 바와 같은 여러 전원 주파수에 대하여 반복적으로 플리커 노이즈 검출이나 제거하는 과정을 생략할 수 있다. 한편, 점선으로 표시된 바와 같이 검출된 전원 주파수에 따라 이미지 센서의 노출시간을 조절한 경우에도 플리커 노이즈 검출 단계(S200)를 거쳐 대상 영상에 플리커 노이즈가 존재하는지 검사하는 것도 바람직하다.
도 5a 및 5b는 본 발명의 또 다른 실시예에 따른 플리커 노이즈 제거방법을 보여주는 흐름도들이다.
도 5a를 참조하면, 본 실시예의 플리커 노이즈 제거방법은 도 4a에서 설명한 플리커 노이즈 제거방법에 ISO 감도를 조절하는 단계(S500)를 더 포함한다. 즉, 본 실시예는 이미지 센서의 노출시간 조절 후에, 노출 시간 조절에 따른 ISO 감도 저하 문제를 해결하기 위하여, ISO 감도를 조절하는 단계(S500)를 더 포함한다. 한편, 이러한 ISO 감도 조절은 일단 이미지 센서의 노출시간 조절에 따라 플리커 노이즈가 제거된 대상 영상에 대하여 수행되므로, ISO 감도 조절 단계(S500) 전에 노출 시간 조절하는 단계를 거쳤는지를 판단하는 단계(S370)를 더 포함할 수 있다.
한편, ISO 감도 조절은 아래의 식들을 통해 수행될 수 있다.
M = flikerless time/target time .................식(1)
N = current analog gain/analog gain_100 .........식(2)
H = N/M ..........................................식(3)
New analog gain = analog gain_100 * H ............식(4)
여기서, flikerless time은 플리커 노이즈를 없애기 위해 조절된 노출시간(셔터 타임)을, 그리고 target time은 플리커 노이즈가 없을 때 정상적인 노출시간을 의미한다. 그에 따라, M은 flikerless time을 target time으로 나눈 비율 셔터 타임으로 정의된다.
또한, current analog gain은 현재의 ISO에서의 아날로그 게인을, 그리고 analog gain_100은 최소 아날로그 게인을 의미한다. 그에 따라, N은 current analog gain을 analog gain_100으로 나눈 비율 아날로그 게인으로 정의된다.
한편, H는 비율 아날로그 게인(N)을 비율 셔터 타임(M)으로 나눈 가중치 값을 의미하며, 이러한 가중치 값(H)은 비율 아날로그 게인(N)이 1보다 크고 비율 셔터 타임(M)이 1보다 작으므로 항상 1보다 큰 값을 갖는다.
ISO 감도 조절을 위해 설정되는 새로운 아날로그 게인 값은 analog gain_100에 가중치 값을 곱한 값으로 나타난다. 이와 같은 ISO 감도 조절을 통해 이미지 센서 노출 시간 조절에 의해 발생하는 ISO 감도 저하를 보완할 수 있다.
도 5b를 참조하면, 본 실시예의 플리커 노이즈 제거방법은 도 4c의 실시예에 ISO 감도를 조절하는 단계(S500)를 더 포함한다. 즉, 즉, 이미지 센서의 노출시간 조절 후에, ISO 감도 조절하는 단계(S500)를 더 포함한다. 본 실시예의 경우, 광원 전원 주파수 판단 단계(S350)를 통해 이미지 센서가 판단된 전원 주파수에 따라 바로 이미지 센서의 노출시간을 조절하고 그에 따라 바로 ISO 감도 조절을 실시하게 되므로, 도 5a에서와 같은 이미지 센서의 노출시간 조정 여부에 대한 판단 단계가 불필요하다.
여기서, 도 4a 및 4c에 대한 실시예에 대하여 ISO 감도 조절하는 단계를 더 포함시켰으나, 도 4b의 실시예에도 ISO 감도 조절단계를 더 포함시킬 수 있음은 물론이다.
지금까지, 본 발명을 도면에 표시된 실시예를 참고로 설명하였으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상처리장치에 대한 블럭 구조도이다.
도 2a ~ 2c는 도 1의 영상처리장치의 플리커 노이즈 제거장치의 구성을 좀더 상세하게 보여주는 블럭 구조도들이다.
도 3은 도 2a ~ 2c의 플리커 노이즈 제거장치의 플리커 노이즈 검출부를 좀더 상세하게 보여주는 블럭 구조도이다.
도 4a ~ 4c는 본 발명의 다른 실시예에 따른 플리커 노이즈 제거방법을 보여주는 흐름도들이다.
도 5a 및 5b는 본 발명의 또 다른 실시예에 따른 플리커 노이즈 제거방법을 보여주는 흐름도들이다.

Claims (20)

  1. 이미지 센서를 통해 입력된 대상영상의 플리커(flicker) 노이즈를 검출하는 플리커 검출부; 및
    광원의 전원 주파수에 따라 상기 이미지 센서의 노출시간을 조절하는 노출시간 조절부; 및
    상기 노출시간 조절에 따른 ISO 감도를 조절하는 ISO 조절부;를 포함하고,
    상기 노출시간 조절을 통해서 상기 플리커 노이즈를 제거하는 플리커 노이즈 제거장치.
  2. 제1 항에 있어서,
    상기 광원의 종류를 판단하는 광원 판단부를 더 포함하고,
    상기 광원 판단부에 의해 상기 광원이 상기 플리커 노이즈를 유발하지 않은 광원으로 판단된 경우에, 상기 플리커 검출부 및 상기 노출시간 조절부가 동작하지 않는 것을 특징으로 하는 플리커 노이즈 제거장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 노출시간 조절부는,
    상기 전원 주파수를 초기 주파수 f0로 가정하여, n/(f0*2)초(n은 자연수)로 노출시간을 설정하고, 상기 플리커 검출부에서 상기 플리커 노이즈가 검출되는 경우에 상기 전원 주파수를 다른 주파수 f1으로 가정하여 n/(f1*2)초로 노출시간을 설정하여 다시 플리커 노이즈 검출되는지를 판단하는 식으로 진행하여, 상기 플리커 노이즈가 검출되지 않은 전원 주파수 ff가 찾아진 경우에, 상기 노출시간을 n/(ff*2)초로 설정함으로써 상기 노출시간을 조절하는 것을 특징으로 하는 플리커 노이즈 제거장치.
  7. 제1 항에 있어서,
    상기 플리커 노이즈 제거장치는 상기 광원의 전원 주파수를 판단하는 전원 주파수 판단부를 더 포함하고,
    상기 전원 주파수 판단부에서 상기 전원 주파수를 ff로 판단한 경우에, 상기 노출시간 조절부는 상기 노출시간을 n/(ff*2)초로 설정하는 것을 특징으로 하는 플리커 노이즈 제거장치.
  8. 삭제
  9. 제1 항에 있어서,
    상기 ISO 감도 조절은,
    비율 아날로그 게인(N)을 비율 셔터 타임(M)으로 나눈 가중치 값(H)을 최소 아날로그 게인(analog gain_100)에 곱하여 새로운 아날로그 게인(New analog gain)으로 재설정함으로써 이루어지며,
    여기서, 상기 비율 셔터 타임은 플리커 노이즈를 없애기 위해 조절된 노출시간(셔터 타임)을 플리커 노이즈가 없을 때 노출시간으로 나눈 값이며,
    상기 비율 아날로그 게인은 현재 아날로그 게인(current analog gain)을 상기 최소 아날로그 게인으로 나눈 값인 것을 특징으로 하는 플리커 노이즈 제거장치.
  10. 피사체에 대한 아날로그 이미지 신호를 출력하는 이미지 센서;
    상기 아날로그 이미지 신호를 보정 및 디지털화하여 출력을 위한 대상 영상으로 변환시키는 이미지 신호 처리장치;
    상기 대상영상의 플리커(flicker) 노이즈를 검출하는 플리커 검출부, 및 광원의 전원 주파수에 따라 상기 이미지 센서의 노출시간을 조절하는 노출시간 조절부, 및 상기 노출시간 조절에 따른 ISO 감도를 조절하는 ISO 조절부를 포함하고, 상기 노출시간 조절을 통해서 상기 플리커 노이즈를 제거하는 플리커 노이즈 제거장치; 및
    상기 이미지 신호 처리장치에 연결되어 상기 플리커 노이즈가 제거된 영상을 출력하는 출력부;를 포함하는 영상처리장치.
  11. 제10 항에 있어서,
    상기 노출시간 조절부는,
    상기 전원 주파수를 f0로 가정하여, n/(f0*2)초(n은 자연수)로 노출시간을 설정하고, 상기 플리커 검출부에서 상기 플리커 노이즈가 검출되는 경우에 상기 전원 주파수를 다른 주파수 f1으로 가정하여 n/(f1*2)초로 노출시간을 설정하여 다시 플리커 노이즈 검출되는지를 판단하는 식으로 진행하여, 상기 플리커 노이즈가 검출되지 않은 전원 주파수 ff가 찾아진 경우에, 상기 노출시간을 n/(ff*2)초로 설정 함으로써 상기 노출시간을 조절하는 것을 특징으로 하는 영상처리장치.
  12. 제10 항에 있어서,
    상기 플리커 노이즈 제거장치는 상기 광원의 종류를 판단하는 광원 판단부, 및 광원의 전원 주파수를 판단하는 전원 주파수 판단부를 더 포함하고,
    상기 광원 판단부에 의해 상기 광원이 상기 플리커 노이즈를 유발하지 않은 광원으로 판단된 경우에, 상기 플리커 검출부 및 상기 노출시간 조절부가 동작하지 않으며,
    상기 전원 주파수 판단부에서 상기 전원 주파수를 ff로 판단한 경우에, 상기 노출시간 조절부는 상기 노출시간을 n/(ff*2)초로 설정하는 것을 특징으로 하는 영상처리장치.
  13. 제10 항에 있어서,
    상기 ISO 감도 조절은, 비율 아날로그 게인(N)을 비율 셔터 타임(M)으로 나눈 가중치 값(H)을 최소 아날로그 게인(analog gain_100)에 곱하여 새로운 아날로그 게인(New analog gain)으로 재설정함으로써 이루어지는 것을 특징으로 하는 영상처리장치.
  14. 이미지 센서를 통해 대상 영상을 입력받는 단계;
    상기 대상 영상에 대한 플리커 노이즈를 검출하는 단계; 및
    상기 플리커 노이즈가 검출된 경우에 광원의 전원 주파수에 따라 상기 이미지 센서의 노출 시간을 조절하는 단계; 및
    상기 노출시간 조절에 따른 ISO 감도를 조절하는 단계;를 포함하고,
    상기 노출 시간의 조절을 통해서 상기 플리커 노이즈를 제거하는 플리커 노이즈 제거방법.
  15. 제14 항에 있어서,
    상기 검출단계 전에 광원의 종류를 판단하는 광원종류 판단단계를 더 포함하고,
    상기 광원종류 판단단계에서, 상기 광원이 상기 플리커 노이즈를 유발하지 않은 광원으로 판단된 경우에, 상기 검출 단계 및 노이즈 제거단계를 수행하지 않는 것을 특징으로 하는 플리커 노이즈 제거방법.
  16. 제14 항에 있어서,
    상기 검출 단계에서 상기 플리커 노이즈가 검출되지 않은 경우에는, 상기 노이즈 제거단계를 수행하지 않으며,
    상기 검출 단계에서 상기 플리커 노이즈가 검출된 경우에는, 상기 노출시간 조절단계에서 상기 전원 주파수가 ff인 경우에, 상기 노출시간을 n/(ff*2) 초로 설 정하는 것을 특징으로 하는 플리커 노이즈 제거방법.
  17. 제16 항에 있어서,
    상기 노출시간 조절단계에서,
    상기 전원 주파수를 초기 주파수 f0로 가정하여, n/(f0*2)초(n은 자연수)로 상기 노출시간을 설정한 후, 상기 검출 단계로 이행하며,
    상기 검출단계에서 상기 플리커 노이즈가 검출되는 경우에 상기 노출시간 조절단계에서, 상기 전원 주파수를 다른 주파수 f1로 가정하여, n/(f1*2)초로 상기 노출시간을 설정한 후, 상기 검출단계로 이행하며,
    상기 노출시간 조절단계 및 검출 단계의 반복을 통해 상기 플리커 노이즈가 검출되는 않는 상기 전원 주파수 ff가 찾아진 경우에, 상기 노출시간을 n/(ff*2)초로 설정하는 것을 특징으로 하는 플리커 노이즈 제거방법.
  18. 제17 항에 있어서,
    상기 노출시간 조절단계 전에 상기 광원의 전원 주파수를 판단하는 전원 주파수 판단단계를 더 포함하고,
    상기 전원 주파수 판단단계에서 상기 전원 주파수 ff를 검출하고 상기 노출시간 조절단계에서 상기 노출시간을 n/(ff*2)초로 설정하는 것을 특징으로 하는 플 리커 노이즈 제거방법.
  19. 삭제
  20. 제14 항에 있어서,
    상기 ISO 감도 조절 단계에서,
    비율 아날로그 게인(N)을 비율 셔터 타임(M)으로 나눈 가중치 값(H)을 최소 아날로그 게인(analog gain_100)에 곱하여 새로운 아날로그 게인(New analog gain)으로 재설정하여 상기 ISO 감도를 조절하며,
    여기서, 상기 비율 셔터 타임은 플리커 노이즈를 없애기 위해 조절된 노출시간(셔터 타임)을 플리커 노이즈가 없을 때 노출시간으로 나눈 값이며,
    상기 비율 아날로그 게인은 현재 아날로그 게인(current analog gain)을 상기 최소 아날로그 게인으로 나눈 값인 것을 특징으로 하는 플리커 노이즈 제거방법.
KR1020090006611A 2009-01-28 2009-01-28 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치 KR100968377B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090006611A KR100968377B1 (ko) 2009-01-28 2009-01-28 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090006611A KR100968377B1 (ko) 2009-01-28 2009-01-28 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치

Publications (1)

Publication Number Publication Date
KR100968377B1 true KR100968377B1 (ko) 2010-07-09

Family

ID=42645251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090006611A KR100968377B1 (ko) 2009-01-28 2009-01-28 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치

Country Status (1)

Country Link
KR (1) KR100968377B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017018591A1 (ko) * 2015-07-29 2017-02-02 엘지전자 주식회사 카메라를 구비하는 이동 단말기 및 그 제어방법
EP3855723A1 (de) * 2016-05-30 2021-07-28 Dream CHIP Technologies GmbH Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
CN114500860A (zh) * 2020-10-26 2022-05-13 北京小米移动软件有限公司 消除光源闪烁的方法、消除光源闪烁的装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6472667A (en) * 1987-09-14 1989-03-17 Hitachi Ltd Image pick-up device
JPH07298002A (ja) * 1994-04-26 1995-11-10 Canon Inc 撮像装置
KR970072982A (ko) * 1996-04-30 1997-11-07 이대원 플리커 방지 장치
KR20080101161A (ko) * 2007-05-16 2008-11-21 주식회사 코아로직 플리커 노이즈 검출 장치, 방법 및 그 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6472667A (en) * 1987-09-14 1989-03-17 Hitachi Ltd Image pick-up device
JPH07298002A (ja) * 1994-04-26 1995-11-10 Canon Inc 撮像装置
KR970072982A (ko) * 1996-04-30 1997-11-07 이대원 플리커 방지 장치
KR20080101161A (ko) * 2007-05-16 2008-11-21 주식회사 코아로직 플리커 노이즈 검출 장치, 방법 및 그 기록매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017018591A1 (ko) * 2015-07-29 2017-02-02 엘지전자 주식회사 카메라를 구비하는 이동 단말기 및 그 제어방법
US9854217B2 (en) 2015-07-29 2017-12-26 Lg Electronics Inc. Mobile terminal equipped with a camera and controlling method thereof
EP3855723A1 (de) * 2016-05-30 2021-07-28 Dream CHIP Technologies GmbH Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
CN114500860A (zh) * 2020-10-26 2022-05-13 北京小米移动软件有限公司 消除光源闪烁的方法、消除光源闪烁的装置及存储介质

Similar Documents

Publication Publication Date Title
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
US10979654B2 (en) Image signal processing method and system
US9055228B2 (en) Imaging device and signal processing method for flicker reduction
JP5035025B2 (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
US8004578B2 (en) Automatic flicker detection and correction apparatus and method in a video capture device
US8970730B2 (en) Imaging apparatus for controlling and displaying flicker amounts
US20080278603A1 (en) Method and apparatus for reducing flicker of image sensor
US20140063294A1 (en) Image processing device, image processing method, and solid-state imaging device
US10771713B2 (en) Imaging control device, imaging control method, and program
KR20060129954A (ko) 화상 처리 장치 및 촬상 장치
KR20060128649A (ko) 화상 처리 장치 및 촬상 장치
JP2007174537A (ja) 撮像装置
JP2004222228A (ja) フリッカ低減方法、撮像装置およびフリッカ低減回路
CN110766621A (zh) 图像处理方法、装置、存储介质及电子设备
KR20050073423A (ko) 컬러 이미지 처리 방법 및 컬러 이미지 장치
CN105959584B (zh) 一种图像处理方法、图像处理装置及显示装置
JP2016082510A (ja) 画像処理装置及び画像処理方法
KR100968377B1 (ko) 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치
JP5619882B2 (ja) 輝度情報に基づいて修正された値を使用したレンズロールオフ補正操作
JP2015139082A (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
KR20050077116A (ko) 영상 처리 장치 및 그 방법
JP2007158964A (ja) 画像処理装置および撮像装置
US8154618B2 (en) Imaging apparatus and method for setting the same
JP2007329604A (ja) 蛍光灯フリッカ検出回路
JP7237164B2 (ja) 撮像装置、撮像方法、および映像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130503

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160525

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170623

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 10