KR20120015870A - 이미지 처리장치 및 그를 이용한 데이터 처리 방법 - Google Patents

이미지 처리장치 및 그를 이용한 데이터 처리 방법 Download PDF

Info

Publication number
KR20120015870A
KR20120015870A KR1020100078370A KR20100078370A KR20120015870A KR 20120015870 A KR20120015870 A KR 20120015870A KR 1020100078370 A KR1020100078370 A KR 1020100078370A KR 20100078370 A KR20100078370 A KR 20100078370A KR 20120015870 A KR20120015870 A KR 20120015870A
Authority
KR
South Korea
Prior art keywords
data
edge
pixel
window
center pixel
Prior art date
Application number
KR1020100078370A
Other languages
English (en)
Other versions
KR101211102B1 (ko
Inventor
김종박
Original Assignee
주식회사 하이닉스반도체
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이닉스반도체 filed Critical 주식회사 하이닉스반도체
Priority to KR1020100078370A priority Critical patent/KR101211102B1/ko
Publication of KR20120015870A publication Critical patent/KR20120015870A/ko
Application granted granted Critical
Publication of KR101211102B1 publication Critical patent/KR101211102B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 입력된 베이어 데이터로 제1 윈도우 데이터 구성하는 단계; 상기 제1 원도우 데이터에서의 중심픽셀의 에지방향을 검출하여 에지 데이터 생성하는 단계; 중심픽셀의 이미지 데이터와 에지 데이터를 결합하여 베이어 데이터 재생성하는 단계; 상기 재생성된 베이어 데이터를 이용하여 제2 윈도우 데이터를 구성하는 단계; 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터와, 상기 중심픽셀의 주변에 놓인 주변픽셀의 에지 데이터를 비교하여, 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하는 단계; 및 상기 제2 윈도우 데이터를 이용하여 인터폴레이션 수행하는 단계를 포함하는 이미지 처리장치의 데이터 처리방법을 제공한다.

Description

이미지 처리장치 및 그를 이용한 데이터 처리 방법{IMAGE PROCESSING DEVICE AND METHOD FOR PROCESSING IMAGE DATA OF THE SAME}
본 발명은 주변 픽셀의 에지 방향을 고려하여 중심픽셀의 에지 방향을 재결정하는 영상의 에지 방향 처리 방법에 관한 것이다.
이미지 처리장치는 빛의 신호를 전기적 신호로 변환하여 디스플레이 장치에 표시하거나 저장 장치에 저장할 수 있도록 하는 장치이다. 이미지 처리장치의 적용 부문은 디지털 카메라, 휴대폰 카메라, 캠코더, 보안기기, 의료기기 등 굉장히 광범위하며 또한 지속적으로 확대되고 있다. 이미지 처리장치는 신호를 읽어내는 방식에 따라 크게 고체 촬상소자(charge coupled device, 이하 "CCD"라고 함)와 시모스 반도체 이미지 처리장치(CMOS image sensor, 이하 "CIS"라고 함)의 두가지로 나누어진다.
CCD는 포토다이오드에서 발생한 전하를 수직, 수평 CCD 단위소자를 이용하여 어레이 밖으로 전달하고 하나의 증폭기를 이용하여 전압으로 바꾸어 직렬로 외부로 신호를 읽어낸다. 반면에 CIS는 픽셀마다 추가되어 있는 리드아웃(readout) 회로를 통하여 외부로 읽어낸다. CCD와 CIS의 차이는 이와같은 리드아웃 방식의 차이로부터 유래된다.
CCD는 화소의 오버헤드(overhead)가 낮아 화소를 아주 작은 크기로 만들 수 있으며 높은 필 팩터(fill factor)를 가질 수 있는 장점이 있다. 또한 신호를 읽어내는 과정에서 능동회로가 없으므로 열잡음이나 화소 내부의 회로간의 편차가 없어 고정패턴잡음(Fixed Pattern Noise, FPN)이 나타나지 않는다. 또한 CCD는 특수한 공정을 이용하므로 이미지의 품질과 전하 전달을 위하여 공정을 최적화하여 높은 화질의 이미지를 제공할 수 있으며 큰 성능 저하 없이 화소의 크기를 줄일 수 있다. 하지만 CCD는 특수한 공정을 이용하여 가격이 높고 다른 카메라 블록들과 집적하기 어려워 전체 카메라 시스템의 크기가 커지는 단점이 있다. 또한 CCD는 직렬 리드아웃 방식이므로 리드아웃 속도가 제한되는 단점이 있으며 빠르고 완전한 전하 전달을 위하여 빠른 속도, 높은 전압을 가지는 클록이 필요하므로 전력소모가 높은 단점이 있어 모바일 응용에 적합하지 않다.
반면에 CIS는 병렬 리드아웃이 가능하므로 높은 프레임 비율을 얻을 수 있으며 일반화되어 있는 CMOS 공정을 이용하므로 낮은 가격으로 제작할 수 있고 CMOS 회로를 이용하여 리드아웃을 하므로 전력소모가 낮은 장점이 있다. 또한 아날로그블록과 디지털 블록들이 직접 이웃하므로 카메라 온 칩(camera-on-a-chip)을 실현할 수 있으며 초점면 아날로그 이미지 처리가 가능하므로 광역보정, 에지 검출, 동작 검출, 실시간 사물 추적 등의 기능을 하드웨어적으로 구현할 수 있다. 최근에는 화질 측면에서도 CCD에 뒤지지 않는 CIS 제품들이 출시되고 있어, 이미지 처리장치 시장에서 CIS는 CCD를 급속히 대체해 가고 있다.
본 발명은 효율적인 데이터 처리를 수행할 수 있는 이미지 처리장치 및 그를 이용한 데이터 처리방법을 제공한다.
본 발명은 입력된 베이어 데이터로 제1 윈도우 데이터 구성하는 단계; 상기 제1 원도우 데이터에서의 중심픽셀의 에지방향을 검출하여 에지 데이터 생성하는 단계; 중심픽셀의 이미지 데이터와 에지 데이터를 결합하여 베이어 데이터 재생성하는 단계; 상기 재생성된 베이어 데이터를 이용하여 제2 윈도우 데이터를 구성하는 단계; 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터와, 상기 중심픽셀의 주변에 놓인 주변픽셀의 에지 데이터를 비교하여, 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하는 단계; 및 상기 제2 윈도우 데이터를 이용하여 인터폴레이션 수행하는 단계를 포함하는 이미지 처리장치의 데이터 처리방법을 제공한다.
또한, 본 발명은 픽셀 어레이; 상기 픽셀 어레이에서 제공 되는 정보를 제1 윈도우 데이터로 저장하기 위한 메모리; 상기 메모리에 저장된 제1 원도우 데이터중 중심픽셀의 데이터에 대한 에지 방향을 추출하여 상기 이미지 데이터와 상기 에지 데이터를 포함하는 데이터를 재생성하기 위한 데이터 포맷 생성부; 상기 데이터 포멧 생성부에서 제공된 재생성된 데이터로 구현된 제2 원도우 데이터로 구성하고, 상기 제2 윈도우 데이터의 중심픽셀의 에지 데이터와, 상기 중심픽셀의 주변에 배치된 주변픽셀의 에지 데이터를 비교하여, 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하기 위한 에지 데이터 검증부; 및 상기 에지 데이터 검증부에 의해 유지 또는 변경된 중식픽셀의 데이터를 인터폴레이션 하기 위한 인터폴레이션부를 구비하는 이미지 처리장치를 제공한다.
본 발명의 이미지 처리장치는 에지 정보를 여러번 추출할 필요가 없기 때문에, 메모리 사용을 크게 줄일 수 있으며, 불필요한 검출 회로를 구비할 필요도 없다.
도1은 본 발명의 실시예에 따른 이미지 처리장치의 블록도.
도2는 도1의 베이어 데이터 처리부를 나타내는 블럭도.
도3는 도2의 YcbCr 데이터 처리부를 보다 자세히 나타낸 도면.
도4는 도3의 메모리 장치에 저장된 윈도우 패턴을 나타내는 도면.
도5는 도4에 도시된 윈도우 패턴을 픽셀의 특성에 따라 표시한 것을 나타내는 도면.
도6은 도4에 도시된 윈도우 패턴을 픽셀의 위치에 따라 표시한 것을 나타내는 도면.
도7은 도1에 도시된 에지 데이터 생성부를 나타내는 블럭도.
도8에는 5 * 5 윈도우 데이터에서 중심픽셀의 에지 방향을 나타내는 도면.
도9는 본 발명의 실시예에 따른 이미지 처리장치의 데이터 처리방법을 나타내는 플로차트.
도10과 도11은 도9에 도시된 방법을 적용하기 위한 원도우 데이터의 일실시예를 나타내는 도면.
도12는 도9에 도시된 이미지 처리장치의 데이터 처리방법을 구현하기 위한 블럭도.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
도1은 본 발명의 실시예에 따른 이미지 처리장치의 블록도이다.
도1을 참조하여 살펴보면, 본 실시예에 따른 이미지 처리장치는 픽셀어레이(110), A/D 변환부(120), 베이어 데이터 처리부(130), YCbCr 데이터 처리부(140), 에지 데이터 생성부(200)를 포함한다.
픽셀 어레이(110)는 다수의 픽셀이 베이어 패턴으로 배열되어 있으며, 그린픽셀, 레드픽셀, 블루픽셀이 각각 50%, 25%, 25% 씩 배치되어 있다. 베이어 패턴(Bayer Pattern)은 인간의 시각 시스템이 휘도(luminance) 성분, 즉, 녹색(Green)에 가장 민감하다는 특성을 고려하여 녹색 성분에 대한 컬러 필터를 전체 포토셀의 50%가 되도록 배치하고 나머지 적색과 청색 컬러 필터를 교차 반복하여 배치한 가장 일반적으로 많이 사용되는 컬러 필터 어레이(CFA)이다. 따라서 이러한 베이어 패턴을 가지는 데이터를 처리하기 위해서는 컬러 성분을 보간하여 한 화소에 대하여 완전한 적색, 녹색, 청색 성분을 가지도록 하는 것이 요구된다.
A/D 변환부(120)는 픽셀 어레이에서 제공되는 아날로그 형태로 되어 있는 이미지 데이터 값을 디지털 형태로 변환하여 출력한다. 픽셀 어레이(110)에서 제공되는 값이 베이어 패턴으로 되어 있기 때문에, A/D 변환부(120)에 변환되는 데이터도 베이어 패턴으로 되어 있다. 즉, 한 픽셀값에 그린 정보, 레드 정보 또는 블루 정보만 있는 것이다. 또한, 도시하지는 않았지만, 일반적으로 픽셀어레이(110)와, A/D 변환부(120)사이에 픽셀 리드 아웃 회로부(pixel read-out circuit)가 구비된다.
베이어 데이터 처리부(130)는 이미지 데이터를 처리하는데 있어서, 베이터 패턴의 형태가 유지되는 구간을 표현한 것이다. YCbCr 데이터 처리부(140)는 베이어 데이터 처리부(130)에서 제공되는 RGB 데이터를 YCbCr 데이터로 변환하여 처리한다. YCbCr은 영상 시스템에서 사용되는 포멧의 일종이다. Y 는 휘도 성분이며 Cb 와 Cr은 색차 성분이다.
도1에 도시된 블럭도는 이미시 센서의 기능별로 표시된 것으로 경우에 따라 달라질 수 있으며, 도시되지 않은 블럭이 더 포함될 수 있다. 예를 들어, 에지 정보를 참조하여 물체의 윤곽이나 경계선 등의 에지에서 원래의 컬러와는 다른 색으로 보간되어 일부 픽셀들이 주위와 어울리지 않게 튀어 보이는 현상인 색상 오류(false color), 경계에서 선명도가 떨어지는 영상 블러(blur), 영상 에지 부근에서 미세한 스프라이프(stripe) 패턴이 촘촘히 반복적으로 교차하여 발생하는 지퍼 열화(zipper artifact), 고주파 성분이 저주파 성분과 혼동되는 엘리어싱 효과(aliasing effect) 등의 결함을 처리하기 위한 결함 처리부와 같은 블럭을 구비할 수 있다.
도2는 도1의 베이어 데이터 처리부를 나타내는 블럭도이다.
도2를 참조하여 살펴보면, 베이어 데이터 처리부(130)는 DPC부(131), GbGr 옵셋 조정부(132), NR부(133) 및 인터폴레이션부(134)를 포함한다. 또한, 베이어 데이터 처리부(120)는 DPC부(131), GbGr 옵셋 조정부(132) 및 NR부(133)에서 데이터를 처리할 때 사용되는 메모리(135)와, 인터폴레이션부(134)에서 데이터를 처리할 때 사용되는 메모리(136)를 포함한다.
DPC(Dead Pixel Concealment)부(131)는 데드 픽셀을 발견하고, 발견된 데드 픽셀을 주변의 정상 픽셀 데이터로 치환하는 블럭이다. GbGr 옵셋 조정부(132)는 베이어 패턴에서 이웃한 픽셀이 블루인 그린 픽셀(Gb)와, 이웃한 픽셀이 레드인 그린 픽셀(Gr)이 같은 양의 빛을 받더라도 다른 값을 출력하게 됨으로 생기는 옵셋을 조정하기 위한 블럭이다. 베이어 패턴으로 된 픽셀 어레이를 통해 이미지 정보를 생성하는 과정에서는 필연적으로 Gr 픽셀과 Gb 픽셀의 이미지 데이터 값 생성에 대한 차이, 즉 옵셋이 발생한다. GbGr 옵셋 조정부(132)에서 보다 효과적으로 Gr-Gb옵셋을 없애는 블럭이다.
NR(noise reduction)부(133)는 노이즈를 줄이기 위한 픽셀 데이터의 처리를 수행하는 블럭이다. 이미지 처리장치가 촬영한 픽셀 데이터 값에는 이미지 처리장치의 내부적인 요인 또는 외부적인 요인으로 인해 노이즈(Noise)가 포함되어 있고, 이 노이즈를 포함한 픽셀 값을 이용하여 영상으로 재현할 경우 실제 촬영한 영상과는 차이가 생길 수 있다. 또한, NR부(133)는 픽셀 데이터가 에지 영역에 속하는 가를 판단하고, 이를 이용하여 노이즈가 포함된 픽셀 값을 보정하여 노이즈를 제거한다.
인터폴레이션부(134)는 각 픽셀당 레드, 그린, 블루중 하나의 정보만 있는 베이터 데이터에서 각각의 픽셀에 대응하여 레드, 그린, 블루 데이터 값을 생성한 RGB 데이터를 만드는 블럭이다. 이러한 컬러 인터폴레이션 동작을 위하여는 일정 픽셀 영역에서 수평, 수직 및 대각 등의 에지(Edge)의 방향성을 고려하는 것이 필요하다.
도3는 도1의 YcbCr 데이터 처리부를 보다 자세히 나타낸 것이다.
도3은 YcbCr 데이터 처리부는 NR(141)부와, 데이터 경계면 조정부(142), 메모리(143)를 포함한다. NR(141)부는 YcbCr 데이터 도메인에서 노이즈를 줄이기 위한 블럭이고, 데이터 경계면 조정부(142)는 이미지의 경계면에서 양측의 데이터 값을 조정하여 보다 선명하게 이미지를 구현하도록 하는 블럭이다. 예를 들어, 어두운 곳은 더 어둡게하고, 밝은 곳은 더 밝게 데이터를 변환하는 것이다. NR(141)부와, 데이터 경계면 조정부(142)도 메모리 용량을 줄이기 위해 하나의 메모리(143)를 이용하여 데이터를 구현한다.
도4는 도3의 메모리 장치에 의해 생성된 윈도우 패턴을 나타내는 도면이다. 도5는 도4에 도시된 윈도우 패턴을 픽셀의 특성에 따라 표시한 것을 나타내는 도면이다. 계속해서 도4와 도5를 통해 윈도우를 구성하는 과정을 살펴본다.
이미지 처리장치는 픽셀 어레이에서 제공되는 모든 정보를 한번에 처리하지 않고, 각 블럭이 일정한 영역의 데이터만을 수신받아 처리하고 다음단으로 전달하도록 구성되어 있다. 이는 구비되는 메모리의 용량을 최대한 줄이기 위해서이다.
도4에 도시된 바와 같이, 메모리(135)에서 픽셀 어레이중에서 5개 라인(L1 ~ L5)의 데이터를 저장할 수 있다고 가정하면, 첫 5 * 5 개의 데이터는 윈도우 A에 의해 도5(a)와 같이 정렬된다. 이때 가장 중심에 있는 픽셀을 중심픽셀(X)이라고 하고, 이미지 처리장치의 각 블럭에서는 중심픽셀(X)에 대해서 필요한 데이터 처리를 수행한다. 여기서 데이터 처리는 인터폴레이션이나, 중심픽셀 데이터에 대한 에지방향을 검출하는 등의 작업을 말한다. 중심픽셀(X)에 대하여 데이터 처리가 수행되면, 다음으로 윈도우가 B로 이동되어 도5(b)와 같이 정렬된다. 이때는 'Y' 위치의 픽셀이 중심픽셀이 된다. 이렇게 데이터 윈도우가 순차적으로 변경됨으로서 픽셀 어레이에 있는 모든 데이터에 대해 순차적으로 처리가 되는 것이다. 따라서 픽셀 어레이의 최외각에 있는 2라인은 보조 데이터로 활용된다.
또한, 여기서는 이미지 처리장치가 처리하는 데이터 윈도우가 5 * 5인 경우를 설명하였지만, 경우에 따라서는 이미지 처리장치가 처리하는 데이터 윈도우가 3 * 3 또는 7 * 7인 경우도 있다. 이 경우에는 메모리(135)에서 3개의 라인 또는 7개 라인의 픽셀 데이터를 저장하게 된다. 또한, 도5에서 그린픽셀을 Gr 인것은 이웃한 두 픽셀이 레드픽셀인 것이고, Gb인 것은 이웃한 두 픽셀이 블루픽셀을 나타낸 것이다.
도6은 도4에 도시된 윈도우 패턴을 픽셀의 위치에 따라 표시한 것을 나타내는 도면이다. 또한, 데이터 윈도우가 3 * 3, 5 * 5 또는 7 * 7인 경우를 각각 나타낸 것이다. 각각 레드, 블루, 그린픽셀을 나타내는 R, B, G의 측면에 있는 숫자는 픽셀 위치를 나타내는 것이다.
도7은 도1에 도시된 에지 데이터 생성부를 나타내는 블럭도이다.
도7을 참조하여 살펴보면, 에지 데이터 생성부(200)는 이미지 데이터를 입력받는 데이터 입력 제어부(210), N * N 윈도우 전달부(220), 에지 데이터 감지부(230), 데이터 포맷 생성부(240), 메모리 장치(250)를 포함한다. 여기서 메모리 장치(250)는 도2에 도시된 메모리 장치를 이용할 수도 있으며, 별도의 메모리 장치를 에지 데이터 생성부(200)에 별도로 구비시킬 수도 있다.
데이터 입력 제어부(210)는 픽셀 데이터를 A/D 변환부(120)로부터 입력받아 메모리 장치(250)로 전달한다. N * N 윈도우 데이터 전달부(220)는 메모리 장치(250)에 저장된 윈도우 데이터를 에지 데이터 감지부(230)로 제공한다. 에지 데이터 감지부(230)는 N * N 윈도우 데이터 전달부(220)에 의해 전달된 윈도우 데이터에서 중심픽셀의 에지 방향을 감지한다. 에지 방향을 감지하는 방법은 수없이 많이 있으며, 여기서는 다양한 에지 감지 방법을 모두 사용할 수 있다. 예를 들어, 주변 픽셀 값들의 차이값을 구하고, 그 차이값을 비교하여 중심픽셀의 에지 방향을 구할 수 있다. 에지 방향이라는 것은 중심픽셀 값이 포함된 영역의 이미지 경계면이 어떤 방향인지를 나타내는 것이다.
에지 방향을 검출하는 방법은 그래디언트(gradient) 및 라플라시안(Laplacian) 기법을 이용하여 픽셀 주변의 컬러정보들을 분석하여 수직 방향 및 수평 방향, 대각 방향의 경사도 또는 픽셀값 변화량을 연산하고, 연산된 경사도 또는 픽셀값 변화량 등을 참조하여 에지가 형성되어 있는 에지 방향을 결정한다. 이때, 기울기 또는 픽셀값 변화량들이 모두 임계값보다 작을 경우 픽셀군에 에지 성분이 존재하지 않는 플랫영역으로 판단하며, 경사도 또는 픽셀값 변화량이 동일하여 두 개이상의 에지 방향이 존재하는 경우 복잡한 영역으로 판단한다. 이상과 같이 영상의 에지 방향 정보는 수직방향의 에지, 수평방향의 에지, 대각선 방향의 에지, 플랫 영역, 복잡한 영역 등으로 판단할 수 있다. 또한, 에지 방향 정보와 동일하게, 상기 에지 정보에는 에지 연산에 사용되는 에지 코어링(coring), 에지 이득(gain) 및 에지 한계(limit)를 포함할 수 있다.
계속해서 살펴보면, 데이터 포맷 생성부(240)는 에지 데이터를 2비트 또는 3비트로 저장하여 중심픽셀의 데이터와 결합시킨 후 출력한다. 이때 결합된 에지 데이터는 이미지 처리장치의 다음 단계에서 데이터의 에지 정보가 필요할 때에 이용된다. 즉, 에지 데이터 생성부(200)는 메모리를 이용하여 3×3 또는 5×5, 7×7 등의 윈도우 데이터에서 중심픽셀의 데이터가 가지는 에지 방향을 검출, 판단하고, 이를 이용 중심픽셀의 데이터와 결합하여 출력하는 것이다.
도8에는 도8은 중심픽셀의 에지 방향을 나타내는 원도우 데이터이다. 도8에는 중심픽셀(B23)이 각각 ①은 수직방향의 에지, ②와 ④는 대각방향의 에지, ③은 수평방향의 에지가 있을 경우를 화살표로 표기되어 있다.
도9는 본 발명의 실시예에 따른 이미지 처리장치의 데이터 처리방법을 나타내는 플로차트이다.
도9를 참조하여 살펴보면, 본 실시예에 따른 이미지 처리장치의 데이터 처리방법은 베이어 데이터를 입력받는다(S310). 이어서 제1 원도우 데이터를 구성한다(S320). 이때 3×3, 5×5 또는 7×7 로 할 수 있다.
이어서 제1 원도우 데이터에서 중심픽셀의 에지방향을 검출하여 에지 데이터를 생성한다(S330). 이어서, 중심픽셀의 이미지 데이터와 에지 데이터를 결합하여 베이어 데이터를 재생성한다(S340). 이어서, 제2 원도우 데이터를 구성한다(S350). 이때 제2 원도우 데이터는 제1 원도우 데이터로 구성하여도 되고, 다르게 구성하여도 된다. 예를 들어 제1 원도우 데이터를 5 * 5로하고, 제2 원도우 데이터를 3 * 3으로 하면되는 것이다. 이어서, 제2 원도우 데이터에서 주변픽셀의 에지방향과, 중심픽셀의 에지방향 비교, 판단하여 중심픽셀의 에지방향 유지 또는 변경한다(S360) 이어서, 유지 또는 변경된 중심픽셀의 데이터를 이용하여 인터폴레이션 과정을 수행한다(S370)
이를 보다 자세히 살펴보면, 다음과 같다. 먼저, 픽셀 어레이로부터 획득한 광학 신호는 A/D 변환부(120)에 의해 디지털 데이터로 변경되어 출력된다.
에지 데이터는 전술한 바와 같이, 중심픽셀의 에지방향을 수직방향, 수평방향, 45도 대각선 방향, 135도 대각선 방향, 플랫방향, 또는 복잡한 방향 중 하나로 2비트나 또는 3비트의 디지털 값으로 저장된다. 플랫방향은 특별한 방향이 없는 경우이고, 복잡한 영역은 두 개 이상의 에지 방향이 존재하는 경우이다. 에지 데이터 생성부는 중심픽셀들의 에지 방향을 검출한다.
윈도우를 순차적으로 변경해 가면서 모든 중심픽셀들의 값에 대한 에지 데이터가 검출하고, 각각의 중심픽셀의 이미지데이터에 결합하여 데이터를 재생성한다.
이어서 재생성된 데이터를 이용하여 제2 원도우를 구성하고, 구성된 제2 원도우의 중심픽셀의 정확한 에지 방향을 다시 판정한다. 이 경우에는 주변 픽셀들의 에지 방향을 고려하여 중심픽셀의 에지 방향을 유지할 것이지 변경할 것인지 판단하는 것이다.
제2 원도우 데이터가 3 * 3 인경우에 먼저, 중심픽셀과 인접해 있는 8개의 주변픽셀을 에지 방향을 분석한다. 8개의 주변 픽셀의 에지방향이 중심픽셀과 동일한 경우에는 중심픽셀의 에지방향이 정확한 것으로 판단한다.
만약, 주변 픽셀의 에지 방향이 중심픽셀의 에지 방향과 다르다면, 주변픽셀 8개중 몇개나 중심픽셀이 에지방향과 같은지 판단한다. 예를 들어, 중심픽셀이 수직에지를 가지는 경우, 주변 8개의 주변픽셀의 에지방향중 수직 에지방향을 가지는 픽셀이 5개, 수평 에지 방향을 가지는 픽셀이 2개, 대각 에지 방향을 가지는 픽셀이 1개인 경우에는 중심픽셀의 에지 방향은 그대로 유지된다.
만약에 8개의 인접 픽셀들의 에지 방향이 수직 에지방향을 가지는 픽셀이 4개, 수평 에지 방향을 가지는 픽셀이 4개인 경우에는 2개의 주변 픽셀들의 주 에지 방향중 임의로 선택한다. 또한, 중심픽셀의 에지 방향이 8개의 주변 픽셀들중 다수개의 에지 방향과 일치하지 않으면 중심픽셀의 에지 방향을 인접 픽셀들의 에지 방향으로 변경한다. 이렇게 변경된 중심픽셀의 값을 이용하여 인터폴레이션 과정을 수행한다.
도10과 도11은 도9에 도시된 방법을 적용하기 위한 원도우 데이터의 일실시예를 나타내는 도면이다. 도10은 이미지 데이터만 있는 경우를 표시하는 것이고, 도11은 제1 원도우 데이터를 이용하여 중심픽셀의 에지방향을 모두 구하고 난 뒤에, 정렬된 상태를 나타내는 것이다.
도11은 도10의 디지털 데이터를 중심픽셀 및 주변 픽셀의 에지 방향 정보를 검출하여 RGB 데이터에 포함되도록 도시한 도면이다. 이때, Rv, Gv, Bv 등은 수직방향의 에지를 가지는 픽셀이며, Rh, Gh, Bh 등은 수평방향의 에지를 가지는 픽셀이며, Rd, Gd, Bd는 대각선 방향의 에지를 가지는 픽셀이며, Rc, Gc, Bc는 두개 이상의 에지 방향이 검출된 복잡한 영역으로 표시되는 픽셀이며, Rf, Gf, Bf는 에지 검출이 안된 평탄 영역으로 표시되는 픽셀이다.
도11에서 각 타입(type)은 중심픽셀이 어떤 픽셀인지를 말하는 것이다. 도11의 Rtype 윈도우 데이터에서 주변픽셀의 대다수는 에지 방향이 수직 방향이고, 그 다음은 평탄영역이다.중심픽셀의 에지 방향과 주변픽셀의 에지 방향이 수직방향으로 일치하므로, 중심픽셀의 에지 방향은 변경없이 수직방향이라고 판단할 수 있다. 도12의 Btype 윈도우 데이터에서 주변픽셀의 대다수는 에지 방향은 수직 방향이고, 그 다음은 복잡한 영역이다. 중심픽셀의 에지 방향과 인접 픽셀의 에지 방향이 서로 일치하지 않으므로, 중심픽셀의 값은 복잡한 영역에서 수직방향으로 에지 방향이 변경된다.
도12의 Grtype 윈도우 데이터에서 주변픽셀의 대다수 에지 방향은 평탄 영역이고, 그 다음은 부 에지 방향은 복잡한 영역이다. 중심픽셀의 에지 방향과 인접 픽셀의 주 에지 방향이 서로 일치하지 않으므로, 중심픽셀의 값은 수직 방향에서 평탄 영역으로 에지 방향이 변경된다. 도12의 Gbtype 윈도우 데이터에서 인접 픽셀의 대다수 에지 방향은 평탄 영역이고 그 다음은 수직 방향이며, 중심픽셀의 에지 방향과 인접 픽셀의 에지 방향이 서로 일치하지 않으므로, 중심픽셀은 수직 방향에서 평탄 영역으로 에지 방향이 변경된다. 이와 같이 중심픽셀의 에지 방향을 복잡한 영역이 아닌 수직 방향으로 수정하여 보간을 실시하는 것이 컬러 노이즈를 줄이고 선명도를 향상 시킬 수 있다.
도12은 도9에 도시된 본 실시예에 따른 이미지 처리장치의 데이터 처리방법에 따라 필요한 각 블럭을 기능적으로 표시한 것이다.
본 실시예에 따른 이미지 처리장치는 픽셀 어레이(410), 메모리 장치(420), 데이터 포맷 생성부(430), 데이터 검증부(440), 및 인터폴레이션부(450)를 포함한다.
메모리 장치(420)는 픽셀 어레이에서 제공되는 정보를 제1 윈도우 데이터 저장하기 위한 것이다. 데이터 포맷 생성부(430)는 메모리 장치(420)에 저장된 제1 원도우 데이터중 중심픽셀의 데이터에 대한 에지 방향을 추출하여 상기 이미지 데이터와 상기 에지 데이터를 포함하는 데이터를 재생성하기 위한 것이다.
에지 데이터 검증부(440)는 상기 데이터 포멧 생성부에서 제공된 재생성된 데이터로 구현된 제2 원도우 데이터로 구성하고, 상기 제2 윈도우 데이터의 중심픽셀의 에지 데이터와, 상기 중심픽셀의 주변에 배치된 주변픽셀의 에지 데이터를 비교하여, 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하기 위한 것이다. 인터폴레이션부(450)는 상기 에지 데이터 검증부에 의해 유지 또는 변경된 중식픽셀의 데이터를 인터폴레이션 하기 위한 것이다. 여기서 메모리 장치를 제1 원도우 데이터 뿐만 아니라 제2 원도우 데이터를 저장하는데도 이용할 수 있다.
지금까지 살펴본 바와 같이, 본 실시예에 따른 이미지 처리장치는 에지 데이터 생성부를 구비하고, 원도우 데이터에서 중심픽셀의 에지 정보를 검출하여 중심픽셀의 데이터와 결합한다. 추후 데이터의 에지 정보를 이용할 필요하 있는 경우에는 새롭게 에지 정보를 검출할 필요없이 태그 형태로 붙어 있는 에지 정보를 이용하여 이미지 데이터를 처리하게 된다.
이전에는 일반적으로 사용하는 이미지 처리장치는 데이터의 에지정보가 필요한 경우마다 일일히 에지 정보를 검출하여 사용하였기 때문에, 데이터를 처리하는데 많은 시간이 필요하였고, 메모리 또한 많이 사용되었다. 예를 들면, 도2의 DPC부(131)에서 데드 픽셀을 찾아 내서 없애는 경우에도 에지 정보가 필요하며, 인터폴레이션부(134)에서도 인터폴레이션 작업을 수행할 때에 에지 정보를 이용하게 된다. 또한, 도3의 데이터 경계면 조정부(142)도 에지정보가 필요하다. 그러나, 이전의 이미지 처리장치는 에지 정보가 필요한 블럭에서 데이터를 처리하기 전에, 각 블럭에서 데이터의 에지 정보를 원도우 데이터의 값들을 비교하여 추출하였다. 이렇게 각 블럭마다 에지 정보를 검출하다보니, 메모리를 자주 이용해야 하고, 그로 인해 필요한 검출 로직이 이미지 처리장치의 각 블럭에 구비되었다.
그러나, 본 발명에 의해서는 이미지 처리장치는 에지 데이터 생성부(200)에서 에지 정보를 추출하여 픽셀의 데이터에 태그형태로 결합시키고, 추후 데이터의 에지 정보를 이용하고 싶을 경우에는 태그 형태의 데이터를 이용한다. 따라서, 이미지 처리장치에서 에지 정보 여러번 추출할 필요가 없기 때문에, 메모리 사용을 크게 줄일 수 있으며, 불필요한 검출 회로를 구비할 필요도 없다.
이와같이, 에지 데이터 검출부(200)에서 한번에 에지 정보 검출하고 검출된 에지 정보를 영상 데이터에 포함시켜 영상 데이터를 재생성하게 되면, 영상 신호 처리부(370)에서는 이를 입력받아서 영상의 에지 정보를 필요로 하는 모든 회로부에서 에지 정보 검출 로직을 생략하고 바로 에지 정보를 이용한 영상 처리가 가능하므로, 이미지 처리장치는 최소한의 메모리를 사용하면서 영상 데이터를 보다 쉽게 처리할 수 있게 된다. 특별히, 중심픽셀의 데이터를 주변 픽셀의 데이터의 에지 데이터 정보를 참조하여 수정한 다음 인터폴레이션을 수행하기 때문에, 보다 신뢰성있는 인터폴레이션 결과를 얻을 수 있다.
디모자익(Demosaic)과정 또는 컬러 인터폴레이션 과정에서 어떤 방법으로 데이터를 처리하느냐에 따라 최종적으로 구현되는 이미지의 퀄러티(Quality)가 좌우 된다. 인터폴레이션 과정을 수행하는 과정에 있어서 이미지의 에지면을 검출하고, 그 정보를 가지고 처리하게 되면 보다 더 퀄러티가 높은 이미지를 구현할 수 있다.
데이터를 분석하여 에지 정보를 검출하고, 이를 이용하여 인터폴레이션을 수행하기 위해서는 이미지 처리장치에 많은 리소스를 필요로 한다. 이전에는 베이어 데이터를 3x3 또는 5x5 등의 윈도우 데이터를 구성하고, 중심픽셀에 대한 에지 방향의 정보를 구하고, 이를 이용하여 인터폴레이션을 수행하는데 이용하였다.
이 경우, 한정된 정보를 가지고 에지 정보를 구하기 때문에 노이즈 등으로 인한 왜곡으로 인해 에지 정보가 잘못 구해 질 수도 있어 인터폴레이션 결과값에 오류가 발생할 수 있다. 이러한 오류는 이미지 구현할 때에 컬러 노이즈로 나타나게 된다.
중심픽셀의 에지 정보를 가지고 이미지를 구현하기 위한 데이터 처리를 하는 경우에 정확도가 떨어질 수 있다. 본원발명은 인터폴레이션 과정을 수행하기 전에 모든 데이터에 에지 정보를 포함하는 에지 데이터가 결합된 데이터를 재생성한다. 재성된 데이터를 이용하여 원도우를 구성하고 이를 이용하여 인터폴레이선을 수행하게 되면, 원도우 데이터의 모든 픽셀값들마다 에지정보가 있기 때문에 보다 정확하게 인터폴레이션을 수행할 수 있다.
특별히, 본 실시예에 따른 이미지 처리장치에서는 모든 픽셀값에 에지 데이터가 포함된 상태에서 중심픽셀의 값을 주변픽셀들의 값을 참조하여 변경 또는 유지시킨 이후에 인터폴레이션을 수행한다. 원도우 데이터에서 모든 데이터가 에지 방향을 가지고 있고, 중심픽셀의 에지방향이 주변의 픽셀 데이터의 에지 방향과는 다를 때에 주변픽셀의 에지 데이터를 참조하여 데이터를 처리함으로서, 보다 정확한 중심픽셀의 데이터 처리가 가능하다. 따라서, 본 실시예에 따른 이미지 처리장치는 정확한 에지 정보를 가지고 있는 중심픽셀의 값을 인터폴레이션 하도록 할 수 있다. 인터폴에이션된 이후의 RGB 값에 잘못된 에지정보로 인해 노이즈가 포함되는 것을 막을 수 있는 것이다.
또한, 윈도우 데이터의 모든 값을이 에지 정보를 가지고 있기 때문에, 다양한 형태로 인터폴레이션을 이용하는데 이 에지 데이터를 이용할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 입력된 베이어 데이터로 제1 윈도우 데이터 구성하는 단계;
    상기 제1 원도우 데이터에서의 중심픽셀의 에지방향을 검출하여 에지 데이터 생성하는 단계;
    중심픽셀의 이미지 데이터와 에지 데이터를 결합하여 베이어 데이터 재생성하는 단계;
    상기 재생성된 베이어 데이터를 이용하여 제2 윈도우 데이터를 구성하는 단계;
    상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터와, 상기 중심픽셀의 주변에 놓인 주변픽셀의 에지 데이터를 비교하여, 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하는 단계; 및
    상기 제2 윈도우 데이터를 이용하여 인터폴레이션 수행하는 단계
    를 포함하는 이미지 처리장치의 데이터 처리방법.
  2. 제 1 항에 있어서,
    상기 제2 윈도우 데이터에서 상기 중심픽셀의 주변픽셀은 상기 중심픽셀과 접하는 8개의 픽셀인 것을 특징으로 하는 이미지 처리장치의 데이터 처리방법.
  3. 제 1 항에 있어서,
    상기 제1 윈도우 데이터는 3 * 3, 5 * 5, 또는 7 * 7 데이터인 것을 포함하는 것을 특징으로 하는 이미지 처리장치의 데이터 처리방법.
  4. 제 1 항에 있어서,
    상기 제2 윈도우 데이터는 3 * 3, 5 * 5, 또는 7 * 7 데이터인 것을 포함하는 것을 특징으로 하는 이미지 처리장치의 데이터 처리방법.
  5. 제 1 항에 있어서,
    상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하는 단계는
    상기 중심픽셀의 에지 데이터와, 상기 중심픽셀과 접한 8개의 주변픽셀의 에지 데이터를 비교하는 단계; 및
    상기 8개의 주변픽셀의 에지 데이터와 모두 일치하고, 상기 중심픽셀의 에지 데이터와는 다른 값일 때, 상기 중심픽셀의 에지 데이터를 상기 주변픽셀의 에지 데이터로 변경하는 단계를 포함하는 것을 특징으로 하는 이미지 처리장치의 데이터 처리방법.
  6. 제 1 항에 있어서,
    상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하는 단계는
    상기 중심픽셀의 에지 데이터와, 상기 중심픽셀과 접한 8개의 주변픽셀의 에지 데이터를 비교하는 단계; 및
    상기 8개의 주변픽셀의 에지 데이터의 4개이상의 값이 일치하고, 상기 중심픽셀의 에지 데이터와는 다른 값일 때, 상기 중심픽셀의 에지 데이터를 상기 주변픽셀의 일치된 에지 데이터로 변경하는 단계를 포함하는 것을 특징으로 하는 이미지 처리장치의 데이터 처리방법.
  7. 제 1 항에 있어서,
    상기 에지 데이터는
    상기 중심픽셀의 데이터가 가지는 이미지 특성의 방향이 수직방향, 수평방향, 45도 방향의 대각선 방향, 135도 방향의 대각선 방향, 플랫 방향 및 복잡한 방향중 하나의 방향에 대한 정보를 가지고 있는 것을 특징으로 하는 이미지 처리장치의 데이터 처리방법..
  8. 픽셀 어레이;
    상기 픽셀 어레이에서 제공되는 정보를 제1 윈도우 데이터로 저장하기 위한 저장부;
    상기 저장부에 저장된 제1 원도우 데이터중 중심픽셀의 데이터에 대한 에지 방향을 추출하여 상기 이미지 데이터와 상기 에지 데이터를 포함하는 데이터를 재생성하기 위한 데이터 포맷 생성부;
    상기 데이터 포멧 생성부에서 제공된 재생성된 데이터로 구현된 제2 원도우 데이터로 구성하고, 상기 제2 윈도우 데이터의 중심픽셀의 에지 데이터와, 상기 중심픽셀의 주변에 배치된 주변픽셀의 에지 데이터를 비교하여, 상기 제2 윈도우 데이터에서의 중심픽셀의 에지 데이터를 유지 또는 변경하기 위한 에지 데이터 검증부; 및
    상기 에지 데이터 검증부에 의해 유지 또는 변경된 중식픽셀의 데이터를 인터폴레이션 하기 위한 인터폴레이션부
    를 구비하는 이미지 처리장치.
  9. 제 8 항에 있어서,
    상기 제2 윈도우 데이터에서 상기 중심픽셀의 주변픽셀은 상기 중심픽셀과 접하는 8개의 픽셀인 것을 특징으로 하는 이미지 처리장치.
  10. 제 8 항에 있어서,
    상기 제1 윈도우 데이터는 3 * 3, 5 * 5, 또는 7 * 7 데이터인 것을 포함하는 것을 특징으로 하는 이미지 처리장치.
  11. 제 8 항에 있어서,
    상기 제2 윈도우 데이터는 3 * 3, 5 * 5, 또는 7 * 7 데이터인 것을 포함하는 것을 특징으로 하는 이미지 처리장치.
  12. 제 8 항에 있어서,
    상기 에지 데이터 검증부는
    상기 8개의 주변픽셀의 에지 데이터와 모두 일치하고, 상기 중심픽셀의 에지 데이터와는 다른 값일 때, 상기 중심픽셀의 에지 데이터를 상기 주변픽셀의 에지 데이터로 변경하는 것을 특징으로 하는 이미지 처리장치.
  13. 제 8 항에 있어서,
    상기 에지 데이터 검증부는
    상기 8개의 주변픽셀의 에지 데이터의 4개 이상의 값이 일치하고, 상기 중심픽셀의 에지 데이터와는 다른 값일 때, 상기 중심픽셀의 에지 데이터를 상기 주변픽셀의 일치된 에지 데이터로 변경하는 것을 특징으로 하는 이미지 처리장치.
  14. 제 8 항에 있어서,
    상기 에지 데이터는
    상기 중심픽셀의 데이터가 가지는 이미지 특성의 방향이 수직방향, 수평방향, 45도 방향의 대각선 방향, 135도 방향의 대각선 방향, 플랫 방향 및 복잡한 방향중 하나의 방향에 대한 정보를 가지고 있는 것을 특징으로 하는 이미지 처리장치.
KR1020100078370A 2010-08-13 2010-08-13 이미지 처리장치 및 그를 이용한 데이터 처리 방법 KR101211102B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100078370A KR101211102B1 (ko) 2010-08-13 2010-08-13 이미지 처리장치 및 그를 이용한 데이터 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078370A KR101211102B1 (ko) 2010-08-13 2010-08-13 이미지 처리장치 및 그를 이용한 데이터 처리 방법

Publications (2)

Publication Number Publication Date
KR20120015870A true KR20120015870A (ko) 2012-02-22
KR101211102B1 KR101211102B1 (ko) 2012-12-11

Family

ID=45838449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078370A KR101211102B1 (ko) 2010-08-13 2010-08-13 이미지 처리장치 및 그를 이용한 데이터 처리 방법

Country Status (1)

Country Link
KR (1) KR101211102B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040123A (ko) * 2013-10-04 2015-04-14 삼성전자주식회사 이미지 데이터를 처리하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040123A (ko) * 2013-10-04 2015-04-14 삼성전자주식회사 이미지 데이터를 처리하는 방법 및 장치

Also Published As

Publication number Publication date
KR101211102B1 (ko) 2012-12-11

Similar Documents

Publication Publication Date Title
US10091405B2 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US7015961B2 (en) Digital image system and method for combining demosaicing and bad pixel correction
US8823843B2 (en) Image processing device, image capturing device, image processing method, and program for compensating for a defective pixel in an imaging device
JP5664255B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5280448B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路
WO2016031597A1 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
TW200915861A (en) Method and apparatus for improving low-light performance for small pixel image sensors
JP2007037104A (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN101375589A (zh) 用于过滤图像信息的自适应图像过滤器
JP2003259224A (ja) 撮像装置
US7796806B2 (en) Removing singlet and couplet defects from images
US20140125847A1 (en) Image processing apparatus and control method therefor
KR100986203B1 (ko) 촬상 장치 및 이에 이용하는 결함 화소 보정 방법
CN108122201A (zh) 一种拜耳插值拉链效应去除方法
EP2442556A1 (en) Apparatus and method for capturing images with high dynamic range
US20160277721A1 (en) Color filtered area processing method for improving image processing
JP4305071B2 (ja) 信号補正方法
US20150055861A1 (en) Methods and Systems for Image Demosaicing
US20050007470A1 (en) Data processing apparatus, image processing apparatus, camera, and data processing method
KR100565429B1 (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
KR101211102B1 (ko) 이미지 처리장치 및 그를 이용한 데이터 처리 방법
JP2010141661A (ja) 画像処理装置
KR101204921B1 (ko) 이미지 처리장치 및 그를 이용한 데이터 처리 방법
KR101327790B1 (ko) 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161125

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee