KR100696165B1 - 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체 - Google Patents

이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체 Download PDF

Info

Publication number
KR100696165B1
KR100696165B1 KR1020060081687A KR20060081687A KR100696165B1 KR 100696165 B1 KR100696165 B1 KR 100696165B1 KR 1020060081687 A KR1020060081687 A KR 1020060081687A KR 20060081687 A KR20060081687 A KR 20060081687A KR 100696165 B1 KR100696165 B1 KR 100696165B1
Authority
KR
South Korea
Prior art keywords
brightness
image
correction
target pixel
slope
Prior art date
Application number
KR1020060081687A
Other languages
English (en)
Inventor
노요환
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060081687A priority Critical patent/KR100696165B1/ko
Application granted granted Critical
Publication of KR100696165B1 publication Critical patent/KR100696165B1/ko
Priority to US12/307,094 priority patent/US7995120B2/en
Priority to PCT/KR2007/004002 priority patent/WO2008026847A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 센서에서 촬영된 이미지에 있어서 주변부의 노이즈 성분을 증폭시키지 아니하고 밝기를 평활화하는 장치 및 방법에 관한 것이다. 보정 곡선을 이용하여 이미지의 밝기를 보정하는 장치에 있어서, 이미지를 입력받는 이미지 입력부; 상기 이미지의 픽셀 중 밝기를 보정하고자 하는 대상 픽셀에 상응하는 상기 보정 곡선의 기울기를 선택하는 보정 기울기 선택부; 선택된 상기 기울기를 가지는 보정 곡선에 따라 상기 대상 픽셀의 원본 밝기를 보정 밝기로 변환하는 보정 수행부; 및 상기 보정 수행부에 의해 상기 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력하는 이미지 출력부를 포함하되, 상기 보정 곡선은 상기 원본 밝기가 소정 밝기 이하인 경우 상응하는 보정 밝기의 콘트라스트(contrast)를 높이고 상기 원본 밝기가 소정 밝기를 초과하는 경우 상응하는 보정 밝기의 콘트라스트를 낮추도록 하는 것을 특징으로 하는 이미지 밝기 보정 장치가 제공될 수 있다. 이미지의 다이나믹 레인지를 평활화하고, 이미지의 콘트라스트를 확보하는 효과가 있다.
이미지, 밝기, 보정, 보정 곡선

Description

이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이 기록된 기록 매체{Image brightness compensating apparatus and method, recorded medium recorded the program performing it}
도 1은 이미지 센서에서의 이미지 및 서로 다른 특성을 가지는 영역을 나타내는 도면.
도 2는 이미지의 영역별 특성을 나타낸 도면.
도 3은 이미지의 영역별 특성을 보상하는 방법을 설명하기 위한 도면.
도 4는 본 발명의 바람직한 일 실시예에 따른 이미지 밝기 보정 장치의 개략적인 구성블록도.
도 5는 본 발명의 바람직한 일 실시예에 따른 보정 곡선의 일례를 나타낸 도면.
도 6은 본 발명의 바람직한 일 실시예에 따른 대상 픽셀의 위치에 따라 변화하는 보정 곡선의 일례를 나타낸 도면.
도 7은 본 발명의 바람직한 다른 실시예에 따른 대상 픽셀의 위치에 따라 변화하는 보정 곡선의 일례를 나타낸 도면.
도 8은 본 발명의 바람직한 일 실시예에 따른 이미지 밝기 보정 방법의 흐름 도.
<도면의 주요부분에 대한 부호의 설명>
400 : 밝기 보정 장치
410 : 이미지 입력부
420 : 보정 기울기 선택부
430 : 보정 수행부
440 ; 이미지 출력부
본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 이미지 센서에서 촬영된 이미지에 있어서 주변부의 노이즈 성분을 증폭시키지 아니하고 밝기를 평활화하는 장치 및 방법에 관한 것이다.
이미지 센서는 광학 영상(optical image)을 전기 신호로 변환시키는 반도체 소자이다. 이 중에서 전하결합소자(CCD; Charge Coupled Device)는 개개의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. 반면에, 씨모스(CMOS; Complementary MOS; 이하 CMOS) 이미지 센서는 제어회로 및 신호처리회로를 주변회 로로 사용하는 CMOS 기술을 이용하여 화소 수만큼의 MOS 트랜지스터를 만들고 이것을 이용하여 순차적으로 화소의 출력을 검출하는 스위칭 방식을 채용하는 소자이다.
이러한 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 화소(pixel)들 또는 포토사이트(photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 화소들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환할 뿐이다. 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서, 센서는 상이한 화소들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이(CFA; Color Filter Array)로 알려져 있다. 상이한 컬러 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
컬러 이미지의 컬러 필터 어레이는 일반적으로 베이어 패턴(Bayer Pattern)을 따른다. 즉, 화소들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다. 컬러 정보를 얻기 위해, 컬러 이미지 화소들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2 x 2 배열이라 할 수 있다.
베이어 패턴은 사람의 눈이 이미지의 녹색 내용으로부터 휘도(luminance) 정보의 대부분을 도출한다는 전제에 기초한다. 따라서, 전체 화소들 중 보다 많은 화소가 녹색이 되도록 함으로써 적색, 녹색 및 청색 화소들이 동일한 개수인 상태에서 교번하는 RGB 컬러 필터에 비해 높은 콘트라스트 이미지가 생성될 수 있다.
이미지 센서의 화질 성능과 직접적인 관계를 가지는 요소들 중 첫번째가 이미지 센서로 빛을 모아주는 렌즈이다. 렌즈의 특징은 빛의 초점을 이미지 센서로 잘 모아주되 좀더 많은 양의 빛을 투과시켜 주어야 하며, 전체 촬상면에 골고루 빛이 투과되도록 해야 한다.
그러나, 최근 개발되어 판매되는 휴대용 장치는 모든 센서 모듈들이 얇고 작아져야 하는 슬림화, 초소형화 경향을 가지고 있다. 따라서, 휴대용 장치에 구비되는 이미지 센서도 고화소화 요구가 많아지고 있는 실정이다. 이에 따라 렌즈와 촬상면 간의 충분한 거리가 확보되지 않고 렌즈의 밝기가 충분하지 않으며 렌즈의 투과 특성이 균일하지 않은 문제점이 있다. 특히나 외곽으로 갈수록 빛의 양이 줄어들게 된다.
도 1은 이미지 센서에서의 이미지 및 서로 다른 특성을 가지는 영역을 나타내는 도면이고, 도 2는 이미지의 영역별 특성을 나타낸 도면이며, 도 3은 이미지의 영역별 특성을 보상하는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 이미지(100)는 중심부의 중심 픽셀(110)로부터 각 가장자리픽셀(120a, 120b, 120c, 120d, 이하 120으로 통칭)로의 방향(도 1의 화살표 방향)으로 특성이 변화하는 것이 일반적이다. 즉, 특성이 유사한 부분들은 각 동심원들(130a, 130b, 130c, 130d)에 의해 구분될 수 있다.
도 2를 참조하면, 여러 특성들 중에서 이미지(100)에서 픽셀 위치에 따른 밝기 특성을 나타내고 있다. 제1 곡선(210)은 각 픽셀에서의 최대 밝기를, 제2 곡선(220)은 각 픽셀에서의 최소 밝기를 나타내고 있다. 제1 곡선(210) 및 제2 곡 선(220)은 중심 픽셀(110)에서 가장 밝고, 가장자리 픽셀(120)에서 가장 어두우며, 중심 픽셀에서 가장자리 픽셀로 픽셀 위치가 변화함에 따라 픽셀의 밝기가 낮아지고 있다.
중심 픽셀(110)에서의 다이나믹 레인지(D1)과 가장자리 픽셀(120)에서의 다이나믹 레인지(D2, D3)를 비교하면, 중심 픽셀(110)에서의 다이나믹 레인지(D1)가 그 범위가 넓다. 여기서, 다이나믹 레인지(dynamic range)는 해당 픽셀에서 표현가능한 가장 어두운 밝기와 가장 밝은 밝기 간의 차이를 의미한다. 즉, 다이나믹 레인지의 범위가 넓으면 콘트라스트가 높고, 범위가 좁으면 콘트라스트가 낮음을 의미한다.
중심 픽셀(110)에서의 다이나믹 레인지(D1)와 가장자리 픽셀(120)에서의 다이나믹 레인지(D2, D3)를 비교하면, 이미지 센서의 렌즈 특성에 따라서 최대 30 ~ 40 % 정도 범위 차이가 나타난다. 그리고 중심 픽셀(110)을 포함하는 중심부보다 가장자리 픽셀(120)을 포함하는 주변부에서 밝기에 대하여 상대적으로 노이즈에 의한 영향을 받으므로, 이를 보상할 필요가 있다.
보상을 위해 도 3을 참조하면, 중심 픽셀(110)에서의 다이나믹 레인지(D1)를 기준으로 하여 이미지 전체에서의 다이나믹 레인지를 평활화하고자 한다(제1 화살표(310), 제2 화살표(320) 참조). 따라서, 이미지(100)의 주변부(가장자리 픽셀(120)을 포함함)에서의 다이나믹 레인지(D2)는 D2'와 같이 변화하게 된다. 이를 위해서 이미지 전체적으로 다이나믹 레인지를 보상하기 위해 일정한 비율의 이득(gain)을 곱해주거나 렌즈 쉐이딩 보상(lens shading compensation) 기능을 하는 장치를 이용한다. 하지만, 이 경우 가장자리 픽셀(120)을 포함하는 주변부에서의 노이즈 성분이 함께 증폭됨으로 인해 이미지(100)의 주변부에서 콘트라스트가 낮아지고 이미지(100)의 퀄리티(quality)가 저하되는 문제점이 있다.
따라서, 본 발명은 이미지의 주변부의 노이즈 성분은 증폭시키지 않고 이미지 전체의 밝기를 평활화시킬 수 있는 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이 기록된 기록 매체를 제공한다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, 보정 곡선을 이용하여 이미지의 밝기를 보정하는 장치에 있어서, 이미지를 입력받는 이미지 입력부; 상기 이미지의 픽셀 중 밝기를 보정하고자 하는 대상 픽셀에 상응하는 상기 보정 곡선의 기울기를 선택하는 보정 기울기 선택부; 선택된 상기 기울기를 가지는 보정 곡선에 따라 상기 대상 픽셀의 원본 밝기를 보정 밝기로 변환하는 보정 수행부; 및 상기 보정 수행부에 의해 상기 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력하는 이미지 출력부를 포함하되, 상기 보정 곡선은 상기 원본 밝기가 소정 밝기 이하인 경우 상응하는 보정 밝기의 콘트라스트(contrast)를 높이고 상기 원본 밝기가 소정 밝기를 초과하는 경우 상응하는 보정 밝기의 콘트라스트를 낮추도록 하는 것을 특징으로 하는 이미지 밝기 보정 장치가 제공될 수 있다.
바람직하게는, 상기 보정 기울기 선택부는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 위치 관계에 따라 상기 원본 밝기가 상기 소정 밝기 이하인 경우에 상응하는 상기 보정 밝기의 콘트라스트를 높이도록 상기 기울기를 선택할 수 있다.
또한, 상기 보정 곡선은 상기 원본 밝기가 상기 소정 밝기 이하인 경우 기울기가 1보다 크거나 같고, 상기 원본 밝기가 상기 소정 밝기를 초과하는 경우 기울기가 1보다 작을 수 있다.
또한, 상기 보정 곡선은 상기 원본 밝기와 상기 보정 밝기 간의 관계에 대한 참조표(lookup table) 형태일 수 있다.
또한, 상기 보정 곡선은 상기 보정 밝기가 미리 지정된 값 이상일 수 있다.
또한, 상기 보정 기울기 선택부는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 거리가 소정 픽셀수의 정수배일 때마다 상기 보정 곡선이 서로 다른 기울기를 가지도록 할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 다른 측면에 따르면, 보정 곡선을 이용하여 이미지의 밝기를 보정하는 방법에 있어서, (a) 이미지를 입력받는 단계; (b) 상기 이미지의 픽셀 중 밝기를 보정하고자 하는 대상 픽셀을 선택하는 단계; (c) 상기 대상 픽셀에 상응하는 상기 보정 곡선의 기울기를 선택하는 단계; (d) 선택된 상기 기울기를 가지는 보정 곡선에 따라 상기 대상 픽셀의 원본 밝기를 보정 밝기로 변환하는 단계; 및 (e) 상기 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력하는 단계를 포함하되, 상기 보정 곡선은 상기 원본 밝기가 소정 밝기 이하인 경우 상응하는 보정 밝기의 콘트라스트를 높이고 상기 원본 밝기가 소정 밝기를 초과하는 경우 상응하는 보정 밝기의 콘트라스트를 낮추도록 하는 것을 특징으로 하는 이미지 밝기 보정 방법이 제공될 수 있다.
바람직하게는, 상기 단계 (c)는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 위치 관계에 따라 상기 원본 밝기가 상기 소정 밝기 이하인 경우에 상응하는 상기 보정 밝기의 콘트라스트를 높이도록 상기 기울기를 선택할 수 있다.
또한, 상기 보정 곡선은 상기 원본 밝기가 상기 소정 밝기 이하인 경우 기울기가 1보다 크거나 같고, 상기 원본 밝기가 상기 소정 밝기를 초과하는 경우 기울기가 1보다 작을 수 있다.
그리고 상기 단계 (e) 이전에 상기 이미지의 모든 픽셀이 상기 대상 픽셀로 선택될 때까지 상기 단계 (b) 내지 (d)를 반복하는 단계를 더 포함할 수 있다.
또한, 상기 보정 곡선은 상기 원본 밝기와 상기 보정 밝기 간의 관계에 대한 참조표 형태일 수 있다.
그리고 상기 보정 곡선은 상기 보정 밝기가 미리 지정된 값 이상일 수 있다.
또한, 상기 단계 (b)는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 거리가 소정 픽셀수의 정수배일 때마다 상기 보정 곡선이 서로 다른 기울기를 가지도록 할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, 이미지의 밝기를 보정하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록 매체에 있어서, 이미지를 입력받는 단계; 상기 이미지의 픽셀 중 밝기를 보정하고자 하는 대상 픽셀을 선택하는 단계; 상기 대상 픽셀에 상응하는 상기 보정 곡선의 기울기를 선택하는 단계; 선택된 상기 기울기를 가지는 보정 곡선에 따라 상기 대상 픽셀의 원본 밝기를 보정 밝기로 변환하는 단계; 및 상기 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력하는 단계를 수행하되, 상기 보정 곡선은 상기 원본 밝기가 소정 밝기 이하인 경우 상응하는 보정 밝기의 콘트라스트를 높이고 상기 원본 밝기가 소정 밝기를 초과하는 경우 상응하는 보정 밝기의 콘트라스트를 낮추도록 하는 것을 특징으로 하는 프로그램이 기록된 기록 매체가 제공될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이 기록된 기록 매체의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 동일 또는 유사한 개체를 순차적으로 구분하기 위한 식별기호에 불과하다.
도 4는 본 발명의 바람직한 일 실시예에 따른 이미지 밝기 보정 장치의 개략적인 구성블록도이고, 도 5는 본 발명의 바람직한 일 실시예에 따른 보정 곡선의 일례를 나타낸 도면이다.
이미지 밝기 보정 장치(400)는 이미지 입력부(410), 보정 기울기 선택부(420), 보정 수행부(430), 이미지 출력부(440)를 포함한다.
이미지 입력부(410)는 밝기를 보정하고자 하는 이미지를 입력받는다. 상기 이미지는 도 1에 도시된 것과 같은 특징을 가지는 것으로 가정한다. 즉, 이미지 센서의 렌즈의 특성에 의해 이미지의 중심부보다 이미지의 주변부가 어두운 특징을 가지고 있다.
보정 기울기 선택부(420)는 이미지 입력부(410)에 입력된 이미지의 각 픽셀들 중에서 밝기를 보정하고자 하는 대상 픽셀을 선택한다. 그리고 선택된 대상 픽셀에 대하여 밝기 보정을 위한 보정 곡선의 기울기를 선택한다. 보정 곡선은 미리 결정되어 있으며, 대상 픽셀에 따라 보정 곡선의 기울기만을 변화시키게 된다.
또는 선택된 대상 픽셀에 따라 서로 다른 보정 곡선을 선택할 수도 있다. 복수의 보정 곡선이 결정되어 있으며, 대상 픽셀에 따라 복수의 보정 곡선 중 어느 하나가 선택될 수도 있다.
보정 곡선은 대상 픽셀의 원본 밝기에 대응하는 보정 밝기에 대한 정보를 가지고 있다. 예를 들어, 원본 밝기는 n(n은 자연수) 비트의 콘트라스트를 가지는 경우 0 내지 2n-1의 값을 가지고, 보정 밝기도 n 비트의 콘트라스트를 가지며 0 내지 2n-1의 값을 가진다. 이 경우 보정 곡선은 특정 값을 가지는 원본 밝기를 동일한 또는 다른 값을 가지는 보정 밝기에 대응시킨다.
일반적으로 사람의 눈은 어두운 부분에서는 미세한 차이도 쉽게 구별해 내지만, 밝은 부분에서는 어느 정도 차이가 있어도 그 차이를 구별해 내지 못한다. 따라서, 이미지의 콘트라스트를 높이기 위하여 원본 밝기의 어두운 영역보다 보정 밝기의 어두운 영역이 더 넓다. 그리고 원본 밝기의 밝은 영역보다 보정 밝기의 밝은 영역이 더 좁다.
도 5를 참조하면, 이미지는 8 비트의 콘트라스트를 가지는 것으로 가정한다. 원본 밝기가 0 내지 B1의 값을 가지는 경우 보정 곡선(510)에 의한 보정 밝기는 0 내지 B11의 값을 가지고, B11이 B1보다 큰 값이므로 원본 밝기의 어두운 영역보다 보정 밝기의 어두운 영역이 더 넓음을 알 수 있다. 그리고 이 영역에서는 보정 곡선(510)의 기울기가 1보다 크거나 같다. 즉, 이미지의 원본 밝기보다 보정 밝기가 어두운 영역에 대해 좀더 구별이 쉽도록 한다. 원본 밝기가 B1 이하인 경우에는 이에 상응하는 보정 밝기가 B11 이하가 되며, B1이 B11 이하이므로, 보정 밝기의 콘트라스트(contrast)(즉, 보정 밝기 중 최대값과 최소값의 차이 = B11)는 원본 밝기의 콘트라스트(즉, 원본 밝기 중 최대값과 최소값의 차이 = B1)에 비해 높음을 알 수 있다.
원본 밝기가 B1 내지 255의 값을 가지는 경우 보정 곡선(510)에 의한 보정 밝기는 B11 내지 255의 값을 가지고, B11이 B1보다 큰 값이므로 원본 밝기의 밝은 영역보다 보정 밝기의 밝은 영역이 더 좁음을 알 수 있다. 그리고 이 영역에서는 보정 곡선(510)의 기울기가 1보다 작다. 원본 밝기가 B1 이상인 경우에는 이에 상응하는 보정 밝기가 B11 이상이 되며, B1이 B11 이하이므로, 보정 밝기의 콘트라스트(즉, 255-B11)는 원본 밝기의 콘트라스트(즉, 255-B1에 비해 낮음을 알 수 있다.즉, 보정 곡선(510)은 원본 밝기가 소정 밝기(도 5에서는 B1) 이하인 경우 보정 밝기의 콘트라스트를 높이고(보정 곡선(510)의 기울기가 1보다 크거나 같음), 원본 밝기가 소정 밝기(도 5에서는 B1)를 초과하는 경우 보정 밝기의 콘트라스트를 낮춘다(보정 곡선(510)의 기울기가 1보다 작음).
이미지 전체에 대해서 하나의 보정 곡선을 사용하면서, 대상 픽셀이 이미지 내에서 위치하는 영역에 따라 다양한 기울기를 가지도록 한다. 또는 대상 픽셀이 이미지 내에서 위치하는 영역에 따라 다양한 보정 곡선을 사용할 수도 있다. 이미지의 중심부에서보다 이미지의 주변부가 어두운 경향이 강하므로, 대상 픽셀이 이미지의 주변부에 위치하는 경우 이미지의 중심부에 위치하는 경우보다 어두운 영역에서의 콘트라스트를 더 높인다.
보정 수행부(430)는 보정 기울기 선택부(420)에서 선택된 기울기를 가지는 보정 곡선을 이용하여 대상 픽셀의 원본 밝기를 상응하는 보정 밝기로 변환한다.
이미지 출력부(440)는 보정 수행부(430)에 의해 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력한다.
이미지 출력부(440)에서 밝기가 보정된 이미지를 출력하기 이전에, 이미지의 전체 픽셀에 대하여 보정 기울기 선택부(420)에 의해 선택된 보정 곡선에 따라 보 정 수행부(430)에서 보정을 수행하여 원본 밝기 대신에 보정 밝기를 가지도록 하는 것이 바람직하다.
도 6은 본 발명의 바람직한 일 실시예에 따른 대상 픽셀의 위치에 따라 변화하는 보정 곡선의 일례를 나타낸 도면이다.
이미지의 중심부에서 사용되는 제1 보정 곡선(510)과, 이미지의 주변부에서 사용되는 제2 보정 곡선(610)을 나타낸다. 일반적으로 이미지에서 감마(gamma) 보정시 사용하는 감마 곡선과 유사한 형태를 가진다. 제2 보정 곡선(610)은 제1 보정 곡선(510)의 기울기를 더 크게 함으로써 생성할 수 있다. 즉, 제2 보정 곡선(610)은 제1 보정 곡선(510)과 비교할 때, 동일한 원본 밝기(B2)에 대해서 상응하는 보정 밝기가 B22와 B21로 차이가 난다. 즉, 제2 보정 곡선(610)이 제1 보정 곡선(510)보다 더 큰 기울기를 가짐으로써, 제2 보정 곡선(610)의 경우 원본 밝기가 어두운 부분에서의 콘트라스트를 더 높이고, 보다 선명한 이미지를 가지도록 보정하는 것이 가능하다.
즉, 이미지의 중심 픽셀과 대상 픽셀 간의 위치 관계에 따라 보정 곡선의 기울기를 변화시킴으로써, 이미지의 중심부에서와 이미지의 주변부에서의 밝기 보정을 다르게 수행한다. 이미지의 주변부과 중심부보다 어두운 경향이 강하므로, 원본 밝기가 어두운 부분이 보정 후에 높은 콘트라스트를 가지도록 하여 이미지의 식별력을 높일 수 있다.
렌즈 쉐이딩을 보상하기 위한 쉐이딩 곡선은 중심 픽셀을 중심으로 가장자리로 향하게 됨에 따라 점점 큰 값을 가지게 된다. 최근 휴대용 장치는 모든 센서 모 듈들이 얇고 작아져야 하는 슬림화, 초소형화 경향을 가지고 있다. 따라서, 휴대용 장치에 구비되는 이미지 센서도 고화소화 요구가 많아지고 있는 실정이다. 이에 따라 렌즈와 촬상면 간의 충분한 거리가 확보되지 않고 렌즈의 밝기가 충분하지 않으며 렌즈의 투과 특성이 균일하지 않은 문제점이 있다. 특히나 바깥쪽으로 갈수록 빛의 양이 줄어들게 되는 렌즈 쉐이딩(lens shading) 현상이 두드러지게 발생한다. 중심 픽셀을 중심으로 가장자리로 갈수록 빛의 양이 줄어들어 어둡게 나타나기 때문에 이미지 전체의 밝기를 적절히 보상하기 위해서 쉐이딩 곡선은 이미지의 주변부로 향할수록 보상값이 커지는 아래로 볼록한 형태의 곡선이 된다.
따라서, 보정 곡선의 기울기는 상기와 같은 쉐이딩 곡선에 따라 조정될 수 있다. 쉐이딩 곡선의 기능이 이미지의 픽셀들의 밝기를 보상하기 위함이므로, 쉐이딩 곡선에서의 보상값이 클수록 픽셀들의 밝기를 보상하기 위해 큰 이득(gain)이 곱해짐을 알 수 있다. 따라서, 본 발명의 다른 실시예에 따르면 대상 픽셀의 위치에 따른 보정 곡선의 기울기의 선택은 쉐이딩 곡선에 상응하여 이루어진다.
도 7은 본 발명의 바람직한 다른 실시예에 따른 대상 픽셀의 위치에 따라 변화하는 보정 곡선의 일례를 나타낸 도면이다.
도 7의 (a)는 이미지의 중심부에서 사용되는 제1 보정 곡선(510)을 나타낸다. 일반적으로 이미지에서 감마(gamma) 보정시 사용하는 감마 곡선과 유사한 형태를 가진다.
도 7의 (b)는 이미지의 주변부에서 사용되는 제3 보정 곡선(710), 제4 보정 곡선(720)을 나타낸다. 제3 보정 곡선(710)의 경우 대상 픽셀의 보정 밝기를 소정 밝기(여기서는, B3) 이상으로 하고 있으며, 제4 보정 곡선(720)의 경우 대상 픽셀의 원본 밝기가 소정 밝기(여기서는, B4) 이하일 때 보정 밝기를 0으로 설정한다.
다른 실시예로 제3 보정 곡선(710)의 경우는 원본 밝기를 보정한 이후에, 보정 밝기에 존재하는 오프셋(offset)을 제거한 것과 같은 효과를 가진다. 즉, 제1 보정 곡선(510)에 의할 때 보정 후의 보정 밝기에 대해 일괄적으로 또는 일정 비율을 적용하여 B3 이상의 밝기를 가지도록 한다.
또 다른 실시예로 제4 보정 곡선(720)의 경우는 원본 밝기에 존재하는 오프셋을 제거한 후에 보정한 것과 같은 효과를 가진다. 즉, 원본 밝기에 대해 일괄적으로 또는 일정 비율을 적용하여 B4 이상의 밝기를 가지도록 하고, 제1 보정 곡선(510)을 적용하여 보정을 수행한다.
상기와 같은 보정 곡선(710, 720)을 이용하여 이미지의 중심부와 주변부에서 밝기 보정의 정도를 다르게 하며, 이미지의 주변부가 중심부보다 더 어두운 경향이 있는 현상을 노이즈의 증폭 없이 보정하는 것이 가능하다.
본 발명의 또 다른 실시예에서 보정 곡선은 참조표(lookup table) 형태일 수 있다. 즉, 일정 간격의 원본 밝기에 대하여 대응하는 보정 밝기가 참조표로 저장되어 있으며, 그 사이의 원본 밝기에 대해서는 보간법에 의해 보정 밝기를 결정하는 것이 가능하다.
또한, 본 발명에서 보정 곡선은 이미지의 중심 픽셀과 대상 픽셀 간의 거리가 소정 픽셀수(예를 들어, 16 픽셀, 32 픽셀 등)의 정수배일 때마다 서로 다른 기 울기를 가지도록 하거나 또는 서로 다른 보정 곡선을 선택할 수 있다. 이미지의 모든 픽셀에 대하여 서로 다른 기울기를 설정하거나 또는 서로 다른 보정 곡선을 설정하는 것보다 보정시 연산 속도를 빠르게 하고 프로세서의 부하를 줄이는 효과가 있다.
도 8은 본 발명의 바람직한 일 실시예에 따른 이미지 밝기 보정 방법의 흐름도이다.
단계 S810에서, 밝기를 보정하고자 하는 이미지를 입력받는다.
단계 S820에서, 입력받은 이미지의 픽셀들 중에서 밝기를 보정하고자 하는 대상 픽셀을 선택하게 된다. 대상 픽셀의 선택은 이미지의 중심 픽셀과 대상 픽셀 간의 위치 관계에 따라 보정을 위해 동일 또는 다른 보정 곡선의 기울기를 선택하기 위함이다.
단계 S830에서, 보정 곡선이 대상 픽셀에 상응하는 기울기를 가지도록 한다. 보정 곡선에 대해서는 도 5 내지 도 7에서 상세히 설명하였는바 자세한 설명은 생략한다.
단계 S840에서, 선택된 기울기를 가지는 보정 곡선에 따라 대상 픽셀의 원본 밝기를 보정 밝기로 변환한다. 여기서, 보정 곡선은 참조표 형태일 수 있으며, 원본 밝기에 대한 보정 밝기가 미리 결정되어 있다.
이미지의 모든 픽셀에 대해서 상기 단계 S820 내지 단계 S840을 반복하여 수행함으로써, 밝기 보정이 수행된 보정 밝기를 가지도록 할 수 있다.
단계 S850에서, 밝기 보정이 수행된 이미지를 출력한다.
본 발명의 바람직한 또 다른 실시예에 따른 기록 매체는 이미지의 밝기를 보정하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있으며, 상기 단계 S810 내지 단계 S850의 밝기 보정 방법을 수행하는 프로그램이 기록되어 있다.
본 발명에서 기록 매체는 씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등 컴퓨터로 읽을 수 있으며, 프로그램을 저장할 수 있는 매체를 의미한다.
상술한 바와 같이, 본 발명에 따른 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이 기록된 기록 매체는 이미지의 주변부의 노이즈 성분은 증폭시키지 않고 이미지 전체의 밝기를 평활화시킬 수 있다.
또한, 본 발명은 이미지의 다이나믹 레인지를 평활화하고, 이미지의 콘트라스트를 확보하는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변 경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 보정 곡선을 이용하여 이미지의 밝기를 보정하는 장치에 있어서,
    이미지를 입력받는 이미지 입력부;
    상기 이미지의 픽셀 중 밝기를 보정하고자 하는 대상 픽셀에 상응하는 상기 보정 곡선의 기울기를 선택하는 보정 기울기 선택부;
    상기 선택된 기울기를 가지는 보정 곡선에 따라 상기 대상 픽셀의 원본 밝기를 보정 밝기로 변환하는 보정 수행부; 및
    상기 보정 수행부에 의해 상기 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력하는 이미지 출력부를 포함하되,
    상기 보정 곡선은 상기 원본 밝기가 소정 밝기 이하인 경우 상응하는 보정 밝기의 콘트라스트(contrast)를 높이고 상기 원본 밝기가 소정 밝기를 초과하는 경우 상응하는 보정 밝기의 콘트라스트를 낮추도록 하는 것을 특징으로 하는 이미지 밝기 보정 장치.
  2. 제1항에 있어서,
    상기 보정 기울기 선택부는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 위치 관계에 따라 상기 원본 밝기가 상기 소정 밝기 이하인 경우에 상응하는 상기 보정 밝기의 콘트라스트를 높이도록 상기 기울기를 선택하는 것을 특징으로 하는 이미지 밝기 보정 장치.
  3. 제1항에 있어서,
    상기 보정 곡선은 상기 원본 밝기가 상기 소정 밝기 이하인 경우 기울기가 1보다 크거나 같고, 상기 원본 밝기가 상기 소정 밝기를 초과하는 경우 기울기가 1보다 작은 것을 특징으로 하는 이미지 밝기 보정 장치.
  4. 제1항에 있어서,
    상기 보정 곡선은 상기 원본 밝기와 상기 보정 밝기 간의 관계에 대한 참조표(lookup table) 형태인 것을 특징으로 하는 이미지 밝기 보정 장치.
  5. 제1항에 있어서,
    상기 보정 곡선은 상기 보정 밝기가 미리 지정된 값 이상인 것을 특징으로 하는 이미지 밝기 보정 장치.
  6. 제1항에 있어서,
    상기 보정 기울기 선택부는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 거리가 소정 픽셀수의 정수배일 때마다 상기 보정 곡선이 서로 다른 기울기를 가지도록 하는 것을 특징으로 하는 이미지 밝기 보정 장치.
  7. 보정 곡선을 이용하여 이미지의 밝기를 보정하는 방법에 있어서,
    (a) 이미지를 입력받는 단계;
    (b) 상기 이미지의 픽셀 중 밝기를 보정하고자 하는 대상 픽셀을 선택하는 단계;
    (c) 상기 대상 픽셀에 상응하는 상기 보정 곡선의 기울기를 선택하는 단계;
    (d) 상기 선택된 기울기를 가지는 보정 곡선에 따라 상기 대상 픽셀의 원본 밝기를 보정 밝기로 변환하는 단계; 및
    (e) 상기 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력하는 단계를 포함하되,
    상기 보정 곡선은 상기 원본 밝기가 소정 밝기 이하인 경우 상응하는 보정 밝기의 콘트라스트를 높이고 상기 원본 밝기가 소정 밝기를 초과하는 경우 상응하는 보정 밝기의 콘트라스트를 낮추도록 하는 것을 특징으로 하는 이미지 밝기 보정 방법.
  8. 제7항에 있어서,
    상기 단계 (c)는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 위치 관계에 따라 상기 원본 밝기가 상기 소정 밝기 이하인 경우에 상응하는 상기 보정 밝기의 콘트라스트를 높이도록 상기 기울기를 선택하는 것을 특징으로 하는 이미지 밝기 보정 방법.
  9. 제7항에 있어서,
    상기 보정 곡선은 상기 원본 밝기가 상기 소정 밝기 이하인 경우 기울기가 1보다 크거나 같고, 상기 원본 밝기가 상기 소정 밝기를 초과하는 경우 기울기가 1보다 작은 것을 특징으로 하는 이미지 밝기 보정 방법.
  10. 제7항에 있어서, 상기 단계 (e) 이전에
    상기 이미지의 모든 픽셀이 상기 대상 픽셀로 선택될 때까지 상기 단계 (b) 내지 (d)를 반복하는 단계를 더 포함하는 이미지 밝기 보정 방법.
  11. 제7항에 있어서,
    상기 보정 곡선은 상기 원본 밝기와 상기 보정 밝기 간의 관계에 대한 참조 표(lookup table) 형태인 것을 특징으로 하는 이미지 밝기 보정 방법.
  12. 제7항에 있어서,
    상기 보정 곡선은 상기 보정 밝기가 미리 지정된 값 이상인 것을 특징으로 하는 이미지 밝기 보정 방법.
  13. 제7항에 있어서,
    상기 단계 (b)는 상기 이미지의 중심 픽셀과 상기 대상 픽셀 간의 거리가 소정 픽셀수의 정수배일 때마다 상기 보정 곡선이 서로 다른 기울기를 가지도록 하는 것을 특징으로 하는 이미지 밝기 보정 방법.
  14. 이미지의 밝기를 보정하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록 매체에 있어서,
    이미지를 입력받는 단계;
    상기 이미지의 픽셀 중 밝기를 보정하고자 하는 대상 픽셀을 선택하는 단계;
    상기 대상 픽셀에 상응하는 상기 보정 곡선의 기울기를 선택하는 단계;
    상기 선택된 기울기를 가지는 보정 곡선에 따라 상기 대상 픽셀의 원본 밝기를 보정 밝기로 변환하는 단계; 및
    상기 대상 픽셀이 상기 보정 밝기를 가지도록 하는 이미지를 출력하는 단계를 수행하되,
    상기 보정 곡선은 상기 원본 밝기가 소정 밝기 이하인 경우 상응하는 보정 밝기의 콘트라스트를 높이고 상기 원본 밝기가 소정 밝기를 초과하는 경우 상응하는 보정 밝기의 콘트라스트를 낮추도록 하는 것을 특징으로 하는 프로그램이 기록된 기록 매체.
KR1020060081687A 2006-08-28 2006-08-28 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체 KR100696165B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060081687A KR100696165B1 (ko) 2006-08-28 2006-08-28 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체
US12/307,094 US7995120B2 (en) 2006-08-28 2007-08-22 Image brightness compensating apparatus and method, recorded medium recorded the program performing it
PCT/KR2007/004002 WO2008026847A1 (en) 2006-08-28 2007-08-22 Image brightness compensating apparatus and method, recorded medium recorded the program performing it

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060081687A KR100696165B1 (ko) 2006-08-28 2006-08-28 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체

Publications (1)

Publication Number Publication Date
KR100696165B1 true KR100696165B1 (ko) 2007-03-20

Family

ID=39136092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060081687A KR100696165B1 (ko) 2006-08-28 2006-08-28 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체

Country Status (3)

Country Link
US (1) US7995120B2 (ko)
KR (1) KR100696165B1 (ko)
WO (1) WO2008026847A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724365A (zh) * 2018-11-14 2019-05-07 宁波泽锦电器科技有限公司 电冰箱电源控制平台

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8103120B2 (en) 2008-09-22 2012-01-24 Solomon Systech Limited Method and apparatus of local contrast enhancement
EP2166509A1 (en) * 2008-09-22 2010-03-24 Solomon Systech Limited Method and apparatus of local contrast enhancement
US9729796B1 (en) * 2016-02-05 2017-08-08 Motorola Mobility Llc Method and apparatus for automatic stage scene detection
WO2018018405A1 (en) 2016-07-26 2018-02-01 Microsoft Technology Licensing, Llc Real-time adaptive shadow and highlight enhancement
US10399179B2 (en) 2016-12-14 2019-09-03 General Electric Company Additive manufacturing systems and methods
US10489677B2 (en) * 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection
CN109218714A (zh) * 2018-09-30 2019-01-15 天津天地基业科技有限公司 一种针对镜头阴影的自动矫正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292679B2 (ja) * 1999-05-10 2009-07-08 コニカミノルタホールディングス株式会社 固体撮像装置
EP1494462A4 (en) * 2003-01-09 2005-10-26 Sony Corp IMAGE PROCESSING APPARATUS AND METHOD
JP2005210441A (ja) * 2004-01-23 2005-08-04 Sanyo Electric Co Ltd 画像信号処理装置
KR100617781B1 (ko) * 2004-06-29 2006-08-28 삼성전자주식회사 이미지 센서의 화질 개선장치 및 방법
KR100615277B1 (ko) 2004-08-18 2006-08-25 엠텍비젼 주식회사 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724365A (zh) * 2018-11-14 2019-05-07 宁波泽锦电器科技有限公司 电冰箱电源控制平台
CN109724365B (zh) * 2018-11-14 2020-10-30 嘉兴市全顺旅游用品有限公司 电冰箱电源控制平台

Also Published As

Publication number Publication date
WO2008026847A1 (en) 2008-03-06
US7995120B2 (en) 2011-08-09
US20090303353A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
US8013928B2 (en) Image pickup device and camera module using the same
KR100696162B1 (ko) 이미지의 노이즈 감소 장치 및 노이즈 감소 방법, 이를수행하는 프로그램이 기록된 기록 매체
US7236190B2 (en) Digital image processing using white balance and gamma correction
KR100696165B1 (ko) 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체
US7580070B2 (en) System and method for roll-off correction in image processing
US6995791B2 (en) Automatic white balance for digital imaging
US7173663B2 (en) Automatic exposure control system for a digital camera
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US8018516B2 (en) Solid-state image sensor and signal processing method of same
JP3824237B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US8094209B2 (en) Imaging signal processing apparatus
KR100993047B1 (ko) 디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치
US8228407B2 (en) Solid-state image pickup device
US7683948B2 (en) System and method for bad pixel replacement in image processing
US7710470B2 (en) Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise
US20140313375A1 (en) Systems and methods for mitigating image sensor pixel value clipping
US20080068477A1 (en) Solid-state imaging device
US20070127836A1 (en) Method and apparatus providing noise reduction while preserving edges for imagers
KR101356698B1 (ko) 화소 간 크로스토크의 영향을 저감하는 이미지 센서, 컬러필터 어레이, 및 촬상 장치
JP7099446B2 (ja) 固体撮像装置および電子機器
US8305459B2 (en) Image processing apparatus and camera module
US20030184673A1 (en) Automatic exposure control for digital imaging
US20070133893A1 (en) Method and apparatus for image noise reduction
JP4977880B2 (ja) 撮像装置
US20060017824A1 (en) Image processing device, image processing method, electronic camera, and scanner

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060828

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20060829

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20060828

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060912

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20061212

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070312

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070312

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100108

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110111

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120106

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130221

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140303

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150302

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180226

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20190225

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20200225

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20210303

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20220302

Start annual number: 16

End annual number: 16

PR1001 Payment of annual fee

Payment date: 20230307

Start annual number: 17

End annual number: 17

PR1001 Payment of annual fee

Payment date: 20240228

Start annual number: 18

End annual number: 18