KR100999883B1 - 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치 - Google Patents

색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치 Download PDF

Info

Publication number
KR100999883B1
KR100999883B1 KR1020080135245A KR20080135245A KR100999883B1 KR 100999883 B1 KR100999883 B1 KR 100999883B1 KR 1020080135245 A KR1020080135245 A KR 1020080135245A KR 20080135245 A KR20080135245 A KR 20080135245A KR 100999883 B1 KR100999883 B1 KR 100999883B1
Authority
KR
South Korea
Prior art keywords
color temperature
temperature zone
zone
image information
color
Prior art date
Application number
KR1020080135245A
Other languages
English (en)
Other versions
KR20100077329A (ko
Inventor
노요환
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020080135245A priority Critical patent/KR100999883B1/ko
Publication of KR20100077329A publication Critical patent/KR20100077329A/ko
Application granted granted Critical
Publication of KR100999883B1 publication Critical patent/KR100999883B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

정확도를 향상시킨 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치를 제공한다. 색온도구역 설정 방법은 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계; 및 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계를 포함하여 구성될 수 있다. 3차원 공간에 색온도구역을 설정하므로 2차원 공간을 활용하는 것에 비하여 정확한 색온도 검출을 할 수 있으며, 노이즈에 민감하지 않고, 색 간의 간섭을 최소화할 수 있다. 결국, 정확한 색온도 검출에 따른 정확한 화이트 밸런스 조정을 할 수 있다.
흑체, 광원, 색온도, 색온도구역, 화이트 밸런스

Description

색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치{Method of setup Color Zone, Method of Color Temperature Detection using Color Zone, Recording Media of the same and Image Apparatus of performing the same}
본 발명은 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치에 관한 것으로, 더욱 상세하게는 정확도를 향상시킨 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치에 관한 것이다.
흑체(black body)는 자신에게 입사되는 모든 전자기파를 100% 흡수하는, 반사율이 '0'인 가상의 물체이다. 모든 빛을 흡수한다는 가정에서 검은 물체라는 뜻의 이름이 붙었다. 흑체라는 개념은 1862년에 구스타프 키르히호프가 처음 사용했다. 그러나 이상적인 흑체도 전자기파를 복사하며, 흑체가 전자기파를 내보내는 것을 흑체 복사라고 한다.
이상적인 흑체가 방출하는 빛의 색은 플랑크의 복사법칙에 의해 온도에 의해서만 정해진다. 물체가 가시광선을 내며 빛나고 있을 때 그 색이 어떤 온도의 흑체가 복사하는 색과 같이 보일 경우, 그 흑체의 온도와 물체의 온도가 같다고 보고 그 온도를 물체의 색온도라고 한다. 즉, 색온도란 이러한 흑체의 성질을 이용하여 광원의 빛을 수치적으로 표시한 것이다.
물체의 색온도는 같은 색광의 흑체의 온도로 표시된다. 가령, 전구의 빛은 2800K, 형광등의 빛은 4500K ~ 6500K, 정오의 태양빛은 5400K, 흐린 날의 낮 빛은 6500~7000K, 맑은 날의 푸른 하늘빛은 12000~18000K 정도의 색온도이다.
어떤 온도의 광원으로 조명된 백색의 물체를 카메라로 잡았을 경우 카메라의 인코더(encoder) 출력은 부반송파가 '0'인 상태(전기적 무채색)가 되어야 한다. 이처럼 색온도에 맞추어 부반송파가 '0'이 되도록 RGB 각 채널의 게인(gain)을 조정하는 것을 화이트 밸런스(White Balance)를 맞춘다고 한다.
색온도구역이란 색온도 결정을 위한 특성 곡선을 포함하는 구역을 말한다. 즉, 색온도구역은 하나의 광원을 나타내기 위한 것으로써, 특정 색온도를 표현하는 구역을 설정한 것이라고 할 수 있다. 다만, 종래에는 색온도를 측정하기 위한 색온도구역을 표현하는 방법에 있어서 2차원 평면을 이용하였기 때문에 정확도가 떨어지는 문제점이 있었다.
본 발명의 목적은 정확도를 향상시킨 색온도구역 설정 방법을 제공하는 것이다.
본 발명의 다른 목적은 정확도를 향상시킨 색온도구역을 이용한 색온도 검출 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 정확도를 향상시킨 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체를 제공하는 것이다.
본 발명의 또 다른 목적은 정확도를 향상시킨 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 색온도구역 설정 방법은 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계; 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계를 포함하여 구성될 수 있다.
여기에서, 상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 하는 것일 수 있다.
여기에서, 상기 공간도형은 직교 좌표계로 표현되는 직육면체, 원기둥, 사각뿔, 삼각뿔 및 원뿔 중의 어느 하나로 표현되는 것을 특징으로 하는 것일 수 있다.
상술한 본 발명의 다른 목적을 달성하기 위한 색온도구역을 이용한 색온도 검출 방법은 색온도(Color Temperature) 검출 방법에 있어서, 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계; 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계; 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성될 수 있다.
여기에서, 상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 하는 것일 수 있다.
여기에서, 상기 픽셀이 상기 색온도구역에 포함되는지 여부가 판단되는 단계에서 상기 픽셀의 3개의 좌표값이 상기 색온도구역을 표현하는 공간도형의 함수를 만족하는지 비교하여 포함여부가 판단되는 것을 특징으로 하는 것일 수 있다.
여기에서, 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계는 픽셀의 수가 많은 순서로 선택된 다수의 색온도를 이용하여 색온도가 결정되는 것을 특징으로 하는 것일 수 있다.
상술한 본 발명의 또 다른 목적을 달성하기 위한 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체는 색온도 검출 방법이 기록된 기록매체에 있어서, 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계, 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성되는 색온도 검출 방법을 기록한 것일 수 있다.
상술한 본 발명의 또 다른 목적을 달성하기 위한 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치는 색온도 검출 방법을 수행하는 촬상 장치에 있어서, 피사체에 상응하는 영상정보를 제공하기 위한 이미지 센서; 상기 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계, 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성되는 색온도 검출 방법을 실행하기 위한 색온도 검출부; 상기 검출된 색온도를 이용하여 상기 영상정보에 대하여 화이트 밸런스 조정을 실행하는 이미지 처리부; 상기 색온도구역, 상기 색온도구역에 포함되는 픽셀의 수 및 영상정보를 저장하기 위한 저장부; 및 상기 화이트 밸런스 조정된 후의 영상정보를 출력하기 위한 출력부를 포함하여 구성될 수 있다.
여기에서, 상기 색온도 검출부에서 상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 하는 것일 수 있다.
여기에서, 상기 색온도 검출부에서 상기 픽셀의 3개의 좌표값이 상기 색온도구역을 표현하는 공간도형의 함수를 만족하는지 비교하여 포함여부가 판단되는 것을 특징으로 하는 것일 수 있다.
여기에서, 상기 색온도 검출부에서 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도를 결정하는 경우에 픽셀의 수가 많은 순서로 선택된 다수의 색온도를 이용하여 색온도가 결정되는 것을 특징으로 하는 것일 수 있다.
상기와 같은 색온도구역 설정방법을 이용한 색온도 검출 방법에 따르면, 이미지 센서로부터 전달된 영상정보를 변환과정 없이 이용할 수 있으므로 연산을 최소화할 수 있으며, 3차원 공간에 색온도구역을 설정하므로 2차원 공간을 활용하는 것에 비하여 정확한 색온도 검출을 할 수 있다. 따라서 노이즈에 민감하지 않으며, 색 간의 간섭을 최소화할 수 있다. 결국, 정확한 색온도 검출에 따른 정확한 화이트 밸런스 조정을 할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또 는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 색온도구역 설정 방법을 설명하기 위한 흐름도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 색온도구역 설정 방법은 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계(S110); 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계(S120)를 포함하여 구성될 수 있다.
먼저, 3차원 좌표 공간은 2차원 좌표로 색온도구역을 표현하는 경우의 한계를 극복하기 위하여 제안하는 것으로, 상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 할 수 있다. 즉, 이미지 센서로부터 입력 받은 영상정보가 RGB 값으로 표현되어 있으면, 이를 추가적인 연산과정 없이 그대로 RGB 3차원 좌표 공간을 이용하여 색온도구역을 표현할 수 있는 것이다. 또한, YCrCb 값 및 YUV 값으로 표현된 베이어(Bayer) 영상정보가 이미지 센서로부터 입력 받는 경우에는 YCrCb 값 및 YUV 값을 표현하는 3차원 좌표 공간을 이용할 수 있는 것이다.
다음으로, 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계(S110)는 3차원 좌표 공간의 특정 영역에 대하여, 각각의 광원 고유의 특성에 따른 색온도기준선을 작성하는 것이다. 색온도기준선은 이론적인 계산 값에 의하여 3차원 좌표 공간 내에 위치하는 직선 또는 곡선일 수 있다. 또한, 실험적인 데이터에 기반을 둔 3차원 좌표 공간 내에 위치하는 직선 또는 곡선일 수 있을 것이다.
다음으로, 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계(S120)는 상기 색온도기준선을 포함하는 색온도구역을 설정하는 것으로서, 상기 색온도구역은 공간도형으로 표현되는 것을 말한다. 즉, 공간도형으로 3차원 좌표 공간 내에 위치한 색온도기준선을 표현하기 위한 방법이다. 공간도형을 표현하는 공간상의 함수를 이용하여 색온도기준선을 포함하는 색온도구역을 표현하는 것이다. 상기 하나의 공간도형을 이용하여 색온도구역을 표현하 는 경우에 픽셀의 색온도구역 판단 시에 공간도형을 이루는 공간상의 함수를 이용할 수 있으므로 정확한 포함여부의 판단이 가능할 것이다. 또한, 상기 공간도형의 크기는 색온도구역의 정밀도에 따라 달라질 수 있을 것이다.
예를 들면, 색온도구역을 정밀하게 설정하고자 한다면, 색온도기준선으로부터 거리가 가까운 색온도구역의 경계를 설정하여야 하므로 공간도형의 크기는 작아질 것이다. 역으로 색온도구역을 보다 넓게 설정하고자 한다면, 색온도기준선에서 먼 영역까지 색온도구역의 경계를 설정하여야 하므로 공간도형의 크기는 커질 수 있을 것이다.
도 2는 본 발명의 일 실시예에 따른 광원에 따른 색온도구역 설정의 예시도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 광원에 따른 색온도구역을 표현하기 위한 공간도형은 3차원 좌표 공간에 따른 다양한 형태의 공간도형일 수 있다. 즉, 3차원 좌표 공간이 직교 좌표계, 원통 좌표계, 구면 좌표계 및 빗 좌표계 중의 어느 하나인 경우에 각각의 좌표계에 의하여 가장 간단하게 표현될 수 있는 공간도형인 것이다. 예를 들면, 3차원 좌표 공간이 직교 좌표계로 표현된 경우라면 공간도형은 직교 좌표계로 표현되는 직육면체, 원기둥, 사각뿔, 삼각뿔 및 원뿔 중의 어느 하나로 표현되는 것일 수 있다.
또한, 상기 공간도형은 각각 상기 3차원 좌표 공간을 구성하는 3개의 좌표축 상의 변수에 따른 함수로 표현될 수 있을 것이다. 따라서 계산과정을 통하여 정 밀한 색온도구역을 설정할 수 있을 것이다. 즉, 3차원 좌표 공간이 RGB를 각각의 축으로 하는 직교 좌표계인 경우에, 공간도형은 사각뿔의 형태로 색온도기준선을 포함할 수 있으며, 상기 색온도기준선을 포함하는 공간도형의 함수에 이미지 센서로부터 입력 받은 픽셀의 RGB 값을 대입하여 계산하면 상기 픽셀이 공간도형에 포함되는 지 여부를 판단할 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 방법은 색온도(Color Temperature) 검출 방법에 있어서, 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계(S210); 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계(S220); 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계(S230)를 포함하여 구성될 수 있다.
먼저, 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계(S210)는 이미지 센서로부터 영상정보를 구성하는 픽셀에 대하여 각각 3차원 좌표 공간의 좌표값으로 표현하는 것 일 수 있다. 즉, 3차원 좌표 공간이 RGB의 직교 좌표계로 표현되고 있다면, 영상정보를 구성하는 각각의 픽셀에 대하여 RGB 값으로 (3,6,10) 값 등을 가지는 것으로 표현할 수 있다.
여기에서, 이미지 센서로부터 제공받은 영상정보는 픽셀 단위로 베이어(Bayer) 패턴으로 표현되는 것일 수 있다. 이 경우에 각각의 픽셀이 3차원 좌표 공간에 위치하는 하나의 점으로 표현되기 위해서, 보간(Interpolation) 방법을 적용하여, 가우시안(Gaussian) 필터 또는 평균(mean) 필터를 이용할 수 있다. 즉, 이미지 센서로부터 최초로 제공받은 영상정보의 패턴은 RGB 값 중에서 하나의 값만을 가지는 것이므로 가우시안 필터 및 평균 필터를 이용하여 RGB 세 개의 성분을 갖는 픽셀로 표현하게 되는 것이다.
예를 들면, 이미지 센서로부터 입력 받은 영상정보를 5X5 범위의 픽셀 단위로 처리하는 경우에, 중앙에 위치하는 픽셀이 R성분만을 가지고 있다면, R 값에 대해서 5X5 범위에 속하는 픽셀의 R 값들에 대하여 평균 필터값을 취하거나 가중치를 주는 가우시안 필터값을 취하여 R성분 값을 취할 수 있으며, G 값에 대해서는 Gr 과 Gb를 나누어 가중치를 주는 가우시안 필터값을 취할 수 있고, B 값에 대해서도 역시 가중치를 주는 가우시안 필터값을 이용하거나, 평균 필터값을 이용하여 표현할 수 있을 것이다.
도 4는 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 방법에서 보간(Interpolation) 방법을 설명하기 위한 개념도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 방법에서 이미지 센서로부터 입력 받은 영상정보에 대한 보간 방법을 적용하여 픽셀에 RGB 값을 모두 갖도록 가우시안 필터값 및 평균 필터값을 이용하는 것을 알 수 있다.
중심에 위치한 R 픽셀의 경우에 있어서, 해당 픽셀은 R 값만을 가지고 있으나, 보간 방법을 적용하여 RGB 값을 모두 가질 수 있다. R 값은 가우시안 필터를 적용하여 5X5 범위의 중심에 위치한 R5 값에는 가중치 4를 곱하고, 중심에서 가까이 위치한 R2, R4, R6 및 R8 값에는 가중치 2를 곱하여 계산할 수 있을 것이다. G 값의 경우에 Gr(G1~G6)과 Gb(G7~G12)를 구별하여 계산할 수 있으며, 구별하지 아니하고 계산할 수도 있다. 따라서 G 값은 비교적 중심에 위치한 G3, G4, G8 및 G9에는 가중치 2를 곱하여 계산할 수 있을 것이다. 또한, B 값의 경우에는 가우시안 필터가 아닌 평균 필터를 이용하여 B1, B2, B3 및 B4에게 동일한 가중치를 적용하여 계산할 수 있을 것이다.
다시 도 3을 참조하면, 다음으로, 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계(S220)는 영상정보를 구성하는 각각의 픽셀이 상기 색온도구역에 포함되는지 여부를 판단하여 해당 광원의 픽셀 카운터를 증가시키는 것일 수 있다. 더불어 상기 색온도구역에 포함되는 픽셀의 RGB 값을 모두 더하여 평균값을 계산하는 것일 수 있다. 여기에서, 상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 하는 것일 수 있으며, 상기 픽셀이 상기 색온도구역에 포함되는지 여부가 판단되는 단계에서 상기 픽셀의 3개의 좌표값이 상기 색온도구역을 표현하는 공간도형의 함수를 만족하는지 비교하여 포함여부가 판단되는 것을 특징으로 하는 것일 수 있다.
다음으로, 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계(S230)는 상기 광원마다의 색온도구역에 포함된 픽셀 카운터를 비교하여 가장 많은 수의 픽셀 카운터를 가진 광원을 선택하고, 상기 광원에 해당하는 색온도를 결정하는 것일 수 있다. 여기에서, 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계는 픽셀의 수가 많은 순서로 선택된 다수의 색온도를 이용하여 색온도가 결정되는 것을 특징으로 하는 것일 수 있다. 즉, 광원으로 하나를 선택하는 것을 포함하여 상기 색온도구역에 포함되는 픽셀 카운터가 큰 두 개 또는 세 개의 광원을 선택하는 것일 수 있다. 이 경우에는 선택된 광원의 RGB 평균값을 다시 평균값을 취하여 색온도를 결정하는 것일 수 있다.
예를 들면, 하나의 광원만을 선택한 경우에는 해당 RGB 평균값에 해당하는 색온도를 해당 영상정보에 대한 색온도로 정할 수 있으며, 세 개의 광원을 선택한 경우에는 가장 많은 픽셀 카운터를 가진 광원의 RGB 평균값에 가장 많은 가중치를 두고, 두 번째 많은 픽셀 카운터를 가진 광원의 RGB 평균값에는 중간 정도의 가중 치를 두어 선택된 광원 전체의 RGB 평균값을 구한 후, RGB 값에 해당하는 색온도를 해당 영상정보에 대한 색온도로 정할 수 있을 것이다.
도 5는 본 발명의 일 실시예에 따른 색온도구역을 이용한 촬상 장치를 설명하기 위한 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 색온도구역을 이용한 촬상 장치(500)는 색온도 검출 방법을 수행하는 촬상 장치에 있어서, 피사체에 상응하는 영상정보를 제공하기 위한 이미지 센서(510); 상기 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계, 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성되는 색온도 검출 방법을 실행하기 위한 색온도 검출부(520); 상기 검출된 색온도를 이용하여 상기 영상정보에 대하여 화이트 밸런스 조정을 실행하는 이미지 처리부(530); 상기 색온도구역, 상기 색온도구역에 포함되는 픽셀의 수 및 영상정보를 저장하기 위한 저장부(540); 및 상기 화이트 밸런스 조정된 후의 영상정보를 출력하기 위한 출력부(550)를 포함하여 구성될 수 있다.
먼저, 피사체에 상응하는 영상정보를 제공하기 위한 이미지 센서(510)는 피사체에 빛이 반사되어 이미지 센서로 전달되는 영상정보 즉, 가시광선 영역의 반사파로 이루어진 영상정보를 픽셀 단위의 정보로 입력 받는 것일 수 있다. 이미지 센서로부터 입력되는 영상정보는 색온도 검출의 대상이 될 수 있다.
다음으로, 상기 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계, 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성되는 색온도 검출 방법을 실행하기 위한 색온도 검출부(520)는 상술한 바와 같이, 색온도 검출 방법을 통하여 상기 이미지 센서로부터 제공받은 영상정보에 대한 색온도를 검출하는 것이다. 여기에서, 상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 할 수 있으며, 상기 픽셀의 3개의 좌표값이 상기 색온도구역을 표현하는 공간도형의 함수를 만족하는지 비교하여 상기 픽셀이 상기 색온도구역에 포함되는지 여부가 판단되는 것일 수 있으며, 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도를 결정하는 경우에 픽셀의 수가 많은 순서로 선택된 다수의 색온도를 이용하여 색온도가 결정되는 것일 수 있다.
다음으로, 상기 검출된 색온도를 이용하여 상기 영상정보에 대하여 화이트 밸런스 조정을 실행하는 이미지 처리부(530)는 상기 색온도 검출부(520)에서 검출된 색온도를 반영하여 표준위치의 색온도와의 차이 값을 보상하여주는 것이다. 이에 따라, 영상정보에 대한 화이트 밸런스를 맞출 수 있게 되는 것이다.
다음으로, 상기 색온도구역, 상기 색온도구역에 포함되는 픽셀의 수 및 영상정보를 저장하기 위한 저장부(540)는 색온도구역에 대한 정보를 저장하고, 색온도구역에 포함되는 픽셀의 수 즉, 픽셀 카운터를 저장하며, 색온도구역에 포함되는 픽셀의 RGB 평균값을 저장하며, 영상정보를 구성하는 픽셀의 값을 저장하는 것일 수 있다.
다음으로, 상기 화이트 밸런스 조정된 후의 영상정보를 출력하기 위한 출력부(550)는 영상정보에 화이트 밸런스 조정된 후의 영상정보를 화면 및 문서 등으로 출력하기 위한 장치일 수 있다. 예를 들면, 디지털 카메라의 LCD 화면 등이 상기 출력부(550)에 해당할 수 있을 것이다.
도 6은 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 및 화이트 밸런스를 설명하기 위한 개념도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 및 화이트 밸런스는 이미지 센서를 통한 영상정보에 대하여 픽셀 단위의 보간(Interpolation) 방법을 이용하여 3차원 좌표 공간에 표현되는 RGB 값으로 표현할 수 있다. 이어서, 해당 영상정보의 각각의 픽셀마다 미리 설정해 둔 색온도구역의 공간에 포함되는지 여부를 판단하게 된다. 여기에서, 색온도구역은 광원마다 설정될 수 있는 것이므로 미리 설정해 둔 색온도구역 정보는 적어도 하나의 색온도구역을 가질 수 있을 것이다. 영상정보를 구성하는 각각의 픽셀이 특정의 색온도구역에 포함되는지 여부를 판단하여, 포함되는 경우에 해당 광원의 색온도구역에 해당하는 픽셀 카운터를 증가시키며, 해당 픽셀의 RGB 값을 해당 광원의 색온도구역의 RGB 평균값에 반영한다. 이어서, 픽셀 카운터가 가장 많은 하나 또는 픽셀 카운터가 많은 여러 개의 광원을 선택하고, 평균 또는 가중치를 주어 RGB 값을 다시 계산한다. 계산된 RGB 값을 이용하여 해당 광원의 색온도를 검출한다. 이어서, 검출된 색온도를 이용하여 영상정보에 대한 화이트 밸런스 조정을 하여 화면 등을 통하여 영상정보를 표시하게 된다.
이상 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 색온도구역 설정 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 광원에 따른 색온도구역 설정의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 방법에서 보간(Interpolation) 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 색온도구역을 이용한 촬상 장치를 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 색온도구역을 이용한 색온도 검출 및 화이트 밸런스를 설명하기 위한 개념도이다.
< 도면의 주요부분에 대한 부호의 설명 >
510: 이미지 센서 520: 색온도 검출부
530: 이미지 처리부 540: 저장부
550: 출력부

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 색온도(Color Temperature) 검출 방법에 있어서,
    이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계;
    상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도 기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계; 및
    상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성되는 색온도 검출 방법.
  5. 제4항에 있어서,
    상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 하는 색온도 검출 방법.
  6. 제4항에 있어서,
    상기 픽셀이 상기 색온도구역에 포함되는지 여부가 판단되는 단계에서 상기 픽셀의 3개의 좌표값이 상기 색온도구역을 표현하는 공간도형의 함수를 만족하는지 비교하여 포함여부가 판단되는 것을 특징으로 하는 색온도 검출 방법.
  7. 제4항에 있어서,
    상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계는 픽셀의 수가 많은 순서로 선택된 다수의 색온도를 이용하여 색온도가 결정되는 것을 특징으로 하는 색온도 검출 방법.
  8. 색온도 검출 방법이 기록된 기록매체에 있어서,
    이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계, 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성되는 색온도 검출 방법이 기록된 기록매체.
  9. 색온도 검출 방법을 수행하는 촬상 장치에 있어서,
    피사체에 상응하는 영상정보를 제공하기 위한 이미지 센서;
    상기 이미지 센서로부터 제공받은 영상정보를 구성하는 적어도 하나의 픽셀이 3차원 좌표 공간의 좌표값으로 표현되는 단계, 상기 픽셀이 상기 3차원 좌표 공간에서 색온도의 특성을 나타내는 색온도기준선이 설정되는 단계 및 상기 색온도기준선을 포함하며, 하나의 공간도형으로 구성되는 색온도구역이 설정되는 단계에 의하여 형성된 색온도구역에 포함되는지 여부가 판단되는 단계 및 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도가 결정되는 단계를 포함하여 구성되는 색온도 검출 방법을 실행하기 위한 색온도 검출부;
    상기 검출된 색온도를 이용하여 상기 영상정보에 대하여 화이트 밸런스 조 정을 실행하는 이미지 처리부;
    상기 색온도구역, 상기 색온도구역에 포함되는 픽셀의 수 및 영상정보를 저장하기 위한 저장부; 및
    상기 화이트 밸런스 조정된 후의 영상정보를 출력하기 위한 출력부를 포함하여 구성되는 촬상 장치.
  10. 제9항에 있어서,
    상기 색온도 검출부에서 상기 3차원 좌표 공간을 구성하는 3개의 좌표축은 RGB 값, YCrCb 값 및 YUV 값 중의 어느 하나의 값에 의하여 표현되는 것을 특징으로 하는 촬상 장치.
  11. 제9항에 있어서,
    상기 색온도 검출부에서 상기 픽셀이 상기 색온도구역에 포함되는지 여부가 판단되는 단계에서 상기 픽셀의 3개의 좌표값이 상기 색온도구역을 표현하는 공간도형의 함수를 만족하는지 비교하여 포함여부가 판단되는 것을 특징으로 하는 촬상 장치.
  12. 제9항에 있어서, 상기 색온도 검출부에서 상기 색온도구역에 포함되는 픽셀의 수를 이용하여 상기 제공받은 영상정보에 대한 색온도를 결정하는 경우에 픽셀의 수가 많은 순서로 선택된 다수의 색온도를 이용하여 색온도가 결정되는 것을 특징으로 하는 촬상 장치.
KR1020080135245A 2008-12-29 2008-12-29 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치 KR100999883B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080135245A KR100999883B1 (ko) 2008-12-29 2008-12-29 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080135245A KR100999883B1 (ko) 2008-12-29 2008-12-29 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치

Publications (2)

Publication Number Publication Date
KR20100077329A KR20100077329A (ko) 2010-07-08
KR100999883B1 true KR100999883B1 (ko) 2010-12-09

Family

ID=42638701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080135245A KR100999883B1 (ko) 2008-12-29 2008-12-29 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치

Country Status (1)

Country Link
KR (1) KR100999883B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240076111A (ko) 2022-11-23 2024-05-30 이태희 공작기계 인덱스 테이블 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210494A (ja) * 1997-01-23 1998-08-07 Toshiba Corp オートホワイトバランス制御装置
JP2002027491A (ja) 2000-06-30 2002-01-25 Ricoh Co Ltd 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
KR100566564B1 (ko) 2005-04-25 2006-03-31 엠텍비젼 주식회사 색 온도 검출 방법 및 장치
JP2008035069A (ja) 2006-07-27 2008-02-14 Matsushita Electric Ind Co Ltd 映像信号処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210494A (ja) * 1997-01-23 1998-08-07 Toshiba Corp オートホワイトバランス制御装置
JP2002027491A (ja) 2000-06-30 2002-01-25 Ricoh Co Ltd 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
KR100566564B1 (ko) 2005-04-25 2006-03-31 엠텍비젼 주식회사 색 온도 검출 방법 및 장치
JP2008035069A (ja) 2006-07-27 2008-02-14 Matsushita Electric Ind Co Ltd 映像信号処理装置

Also Published As

Publication number Publication date
KR20100077329A (ko) 2010-07-08

Similar Documents

Publication Publication Date Title
JP5918915B2 (ja) カラーフィルタを有するセンサを用いて、改善されたカラー画像を作成するための方法およびデバイス
US11070749B2 (en) Image processing method and apparatus
CN107532999B (zh) 基于波长带的无源红外气体成像
TWI468021B (zh) 影像感測器件及使用照度及色度感測器之影像擷取之方法
JP4378746B2 (ja) 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法
JP5904213B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8564687B2 (en) Efficient determination of an illuminant of a scene
CN102685511B (zh) 图像处理设备和图像处理方法
US9584743B1 (en) Image sensor with auto-focus and pixel cross-talk compensation
US7609305B2 (en) Methods and systems for anti shading correction in image sensors
US10778915B2 (en) Dual-aperture ranging system
JP7179472B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
US20190139189A1 (en) Image remosaicing
KR100999883B1 (ko) 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치
KR100999887B1 (ko) 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치
US11134203B2 (en) Processing circuit analyzing image data and generating final image data
JP5706705B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP6818403B2 (ja) 光学特性の測定装置
JP4985264B2 (ja) 物体識別装置
CN106817543B (zh) 处理装置、处理系统、图像拾取装置和处理方法
JP2005309651A (ja) 撮像素子および撮像装置のシェーディング処理装置、およびシェーディング処理方法
CN106716991B (zh) 红外线摄像装置、图像处理方法及记录介质
KR100793290B1 (ko) 이미지 센서의 렌즈 셰이딩 보정장치 및 보정방법
JP6617537B2 (ja) ２次元測色計、該方法および該プログラムならびに表示システム
US11582436B2 (en) Passive three-dimensional image sensing based on chromatic focal differentiation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 9