KR100843437B1 - 소형 카메라 모듈의 색수차 보정 방법 - Google Patents

소형 카메라 모듈의 색수차 보정 방법 Download PDF

Info

Publication number
KR100843437B1
KR100843437B1 KR1020060115869A KR20060115869A KR100843437B1 KR 100843437 B1 KR100843437 B1 KR 100843437B1 KR 1020060115869 A KR1020060115869 A KR 1020060115869A KR 20060115869 A KR20060115869 A KR 20060115869A KR 100843437 B1 KR100843437 B1 KR 100843437B1
Authority
KR
South Korea
Prior art keywords
image
blurring
green
red
blue
Prior art date
Application number
KR1020060115869A
Other languages
English (en)
Other versions
KR20080046429A (ko
Inventor
김현
정호섭
허훈
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020060115869A priority Critical patent/KR100843437B1/ko
Publication of KR20080046429A publication Critical patent/KR20080046429A/ko
Application granted granted Critical
Publication of KR100843437B1 publication Critical patent/KR100843437B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 소형 카메라 모듈에서 발생하는 색수차를 보정하기 위한 방법에 관한 것이다. 본 발명은, 이미지 센서에서 검출된 베이어 포맷의 영상으로부터 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구하는 단계; 상기 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 미분하여 상기 적색영상, 녹색영상 및 청색영상의 블러링 곡선을 구하고, 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수를 결정하는 단계- 상기 블러링 함수는 가우스 분포 함수이며, 상기 가우스 분포 함수의 폭을 나타내는 파라미터를 블러링 양으로 정의함-; 상기 적색영상 및 청색영상에 대한 블러링 함수를 각각 이용하여 적색영상의 블러링을 보정하는 적색영상에 대한 보정계수 및 상기 청색영상의 블러링을 보정하는 청색영상에 대한 보정계수를 구하는 단계; 및 상기 이미지 센서에서 검출된 베이어 포맷의 적색영상 및 청색영상에 상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수를 각각 적용하는 단계를 포함하는 소형 카메라 모듈의 색수차 보정방법을 제공한다.
카메라 모듈, 렌즈, 광학계, 색수차, 이미지센서, 베이어(Bayer), RGB

Description

소형 카메라 모듈의 색수차 보정 방법{METHOD FOR CORRECTING CHROMATIC ABERRATION OF MICRO CAMERA MODULE}
도 1은 색수차 발생 개념 및 종래의 이미지 처리 프로세스를 설명하기 위한 도면이다.
도 2는 종래의 소형 카메라 모듈으로 측정된 수평 방향 에지 프로파일을 도시한 그래프이다.
도 3은 본 발명의 일실시형태에 따른 소형 카메라 모듈의 색수차 보정 방법을 도시한 플로우 차트이다.
도 4는 본 발명의 일실시형태에 따른 블러링 함수를 구하는 과정을 도시한 블럭도이다.
도 5의 (a)는 이상적인 흑백 라인에지의 촬상 영상 및 에지 프로파일을 도시한 도면이며, (b)는 블러링이 발생한 흑백 라인에지의 촬상 영상 및 에지 프로파일을 도시한 도면이다.
도 6은 이미지센서로부터 직접 취득된 베이어 포맷의 영상을 도시한 도면이다.
도 7의 (a) 내지 (d)는 각각 도 6의 베이어 포맷의 영상으로부터 추출된 제1 녹색영상, 제2 녹색영상, 적색영상 및 청색영상을 도시한 도면이다.
도 8의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수평방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다.
도 9의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수직방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다.
도 10은 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되도록 보정계수를 결정하는 방법을 도시한 플로우 차트이다.
도 11의 (a) 및 (b)는 본 발명의 색수차 보정방법을 적용하기 전후의 수평방향 에지 프로파일을 비교한 그래프이며, (c) 및 (d)는 본 발명의 색수차 보정방법을 적용하기 전후의 수직방향 에지 프로파일을 비교한 그래프이다.
도 12의 (a) 및 (b)는 본 발명의 색수차 보정방법을 적용하기 전후의 수평방향 공간 주파수 응답을 비교한 그래프이며, (c) 및 (d)는 본 발명의 색수차 보정방법을 적용하기 전후의 수직방향 공간 주파수 응답을 비교한 그래프이다.
본 발명은 소형 카메라 모듈에서 발생하는 색수차를 보정하기 위한 방법에 관한 것으로, 더욱 상세하게는 이미지 센서로부터 출력되는 베이어 포멧의 영상으로부터 분리된 적색영상 및 청색영상의 스폿크기를 녹색영상의 스폿크기 수준으로 정정함으로써 색수차를 보정할 수 있는 소형 카메라 모듈의 색수차 보정 방법에 관한 것이다.
최근, 휴대 전화기와 같은 이동식 단말기에 적용되고 있는 카메라 모듈은 화소수의 증가 및 부피의 소형화가 요구되고 있다. 이러한 화소수 증가의 요구를 충족시키기 위해 이미지 센서 픽셀의 크기를 감소시킴으로써 제한된 면적의 이미지 센서 내에서 고화소화를 구현하고 있다. 또한, 소형화 요구를 충족시키기 위해서, 카메라 모듈 광학계에 사용되는 렌즈의 수를 3 매 이하로 제한하고, 대량 생산의 용이성 및 원가 절감을 위해 렌즈의 재료로서 유리 대신 플라스틱을 채택하고 있다.
이러한 추세에 따라 센서의 픽셀 크기가 작아지면서 센서면에서 초점을 맺는 빔의 스폿(spot)이 차지하는 픽셀의 개수가 늘어나게 됨으로써 렌즈의 색 수차량이 점점 증가하며 영상의 해상도 저하를 유발시키며 이로 인해 카메라 모듈에 의해 촬영되는 영상의 화질 열화가 발생한다. 또한, 렌즈의 수가 감소되고 렌즈의 재료로서 플라스틱이 사용됨으로써 렌즈에 의한 색수차는 더욱 증가할 수 밖에 없는 상황이다.
도 1은 색수차 발생 개념 및 종래의 이미지 처리 프로세스를 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 일반적인 소형 카메라 모듈은 3 매 이하의 렌즈로 이루어진 광학계(11)와, 광학계(11)를 통과한 빛에서 적외선(IR) 영역의 빛을 차단하고 가시 광선 영역의 빛을 투과시키는 적외선 차단 필터(12)와, 적외선 차단 필터(12)를 투과한 가시 광선 영역의 빛을 검출하여 베이어(Bayer) 영상을 나타내는 전기적인 신호로 출력하는 이미지 센서(13)와, 상기 이미지 센서(13)에서 생성된 전기 신호를 처리하여 RGB 영상으로 출력하는 이미지 처리(Image Signal Process: ISP)부(14)로 이루어진다. 상기 이미지 처리부(14)는 이미지 센서(13)로부터 입력되는 베이어 영상을 이용하여 각 화소의 컬러보간을 수행하여 각 화소의 RGB값을 결정하는 컬러보간부(141)와, 영상 화질의 개선을 위해 영상의 컬러를 수정하고, 감마(gamma)값을 수정하는컬러 프로세싱부(142)와, 영상에 대한 콘트라스트 스트레칭(contrast stretching), 샤프닝(sharpening) 등을 수행하는 선명도 개선부(143)을 포함할 수 있다.
도 1에 도시된 바와 같이, 일반적인 소형 카메라 모듈에서는 광학계(11)를 투과한 가시광선 중 녹색광의 빔을 기준으로 이미지 센서(13)의 위치가 결정된다. 다시 말하면, 일반적인 소형 카메라 모듈은, 녹색광의 파장을 갖는 빔(G)이 가장 정확하게 초점을 맺는 위치에 이미지 센서(13)가 배치되도록 설계된다. 이로 인해, 녹색광과 다른 파장을 갖는 적색광의 빔(R)과, 청색광의 빔(B)은 녹색광의 파장을 기준으로 배치된 이미지 센서(13)에서는 정확하게 초점을 맺지 못하게 된다. 이미지 센서(13)에서 검출되는 빔 스폿의 크기를 비교할 때, 통상적으로 가장 정확하게 초점이 맺히는 녹색광의 파장을 갖는 빔(G)이 가장 작은 스폿을 형성하며, 청색광의 파장(B)을 갖는 빔이 가장 큰 스폿을 형성한다.
이와 같은 소형 카메라 모듈의 설계상의 한계로 인해, 종래의 소형 카메라 모듈은 적색광 및 청색광 파장의 빔(R, B)은 녹색광 파장의 빔(G)보다 상대적으로 큰 스폿을 형성하게 되며 이에 따라 필연적으로 이미지 센서(13)로부터 검출되는 영상에 블러링(blurring), 즉 색수차가 발생하여 영상의 전체적인 해상도를 저하시키는 문제를 갖는다.
특히, 이러한 색수차의 양은 이미지 센서(13)로부터 출력되는 베이어 포맷의 센서 로(raw) 영상에서는 크게 나타나지 않지만, 이 후 이미지 처리부(14)에서 수행되는 컬러보간, 컬러 수정, 감마 수정, 콘트라스트 스트레칭, 샤프닝 등의 이미지 처리 과정을 거치면서 색수차의 양이 크게 증폭되어, 이미지 처리부(14)에서 최종 출력되는 RGB 영상에서는 현저한 화질의 열화가 나타나는 심각한 문제가 발생할 수 있다.
이러한, 블러링 또는 색수차는 카메라 모듈의 에지 프로파일을 측정함으로써 더욱 명확하게 알 수 있다.
도 2는 E48R로 알려진 플라스틱 재료로 제작된 렌즈 3매를 광학계로 사용한 200만 화소 소형 카메라 모듈으로 측정된 수평 방향 에지 프로파일을 도시한 그래프이다. 도 2에 도시된 에지 프로파일은, x축으로 0으로 표시된 위치에 수평방향 에지가 형성된 흑-백 영상을 촬상하여 얻어진 것이다. 도 2에 나타난 바와 같이, 녹색광이 형성하는 에지 프로파일(G)이 가장 급격한 경사를 나타내었으며, 적색광이 형성하는 에지 프로파일(R)과 청색광이 형성하는 에지 프로파일(B)는 녹색광의 에지 프로파일(G)보다 완만한 경사를 나타내었다. 이러한 에지 프로파일의 경사도 차이는 각 색상의 빔 스폿의 크기로 설명될 수 있다. 즉, 빔 스폿이 클수록 경사도가 완만해진다. 따라서 도 2를 참조하면, 녹색광 파장의 빔 스폿이 가장 작고, 다음으로 적색광 파장의 빔 스폿이 작으며, 청색광 파장의 빔 스폿이 상대적으로 가장 크는 것을 알 수 있다. 이러한 빔 스폿의 크기 차이, 즉 색수차는 동일한 면적을 갖는 이미지 센서에서 그 화소수가 증가할수록 더욱 커지게 되며, 이로 인해 이미지 처리 과정을 거친 출력 RGB 영상의 색번짐 및 해상도 저하 등으로 인해 화질 열화가 커지는 문제점이 발생하게 된다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 제안된 것으로, 그 목적은 이미지 센서로부터 출력되는 베이어 포맷의 영상으로부터 적색, 청색영상의 블러링 크기를 구하고, 이로부터 적색, 청색 영상과 녹색 영상의 블러링 편차를 줄이는 보정계수를 산출함으로써 영상의 색수차를 감소시킬 수 있는 소형 카메라 모듈의 색수차 보정 방법을 제공하는데 있다.
상기 목적을 달성하기 위해 본 발명은,
이미지 센서에서 검출된 베이어 포맷의 영상으로부터 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구하는 단계;
상기 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 미분하 여 상기 적색영상, 녹색영상 및 청색영상의 블러링 곡선을 구하고, 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수를 결정하는 단계- 상기 블러링 함수는 가우스 분포 함수이며, 상기 가우스 분포 함수의 폭을 나타내는 파라미터를 블러링 양으로 정의함-;
상기 적색영상 및 청색영상에 대한 블러링 함수를 각각 이용하여 적색영상의 블러링을 보정하는 적색영상에 대한 보정계수 및 상기 청색영상의 블러링을 보정하는 청색영상에 대한 보정계수를 구하는 단계; 및
상기 이미지 센서에서 검출된 베이어 포맷의 적색영상 및 청색영상에 상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수를 각각 적용하는 단계
를 포함하는 소형 카메라 모듈의 색수차 보정방법을 제공한다.
본 발명의 바람직한 실시형태에서, 상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수는 각각 보정량을 조정하는 매개변수를 가질 수 있다. 이 실시형태는, 상기 녹색영상에 대한 에지 프로파일 곡선으로부터 상기 녹색영상의 스폿 크기를 구하는 단계; 상기 적색영상에 대한 보정계수 및 상기 청색영상에 대한 보정계수를 각각 적용하여 보정된 적색영상 및 청색영상의 에지 프로파일 곡선으로부터 보정된 적색영상의 스폿 크기 및 보정된 청색영상의 스폿 크기를 구하는 단계; 상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿크기와 상기 녹색영상의 스폿크기가 각각 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계; 및 상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿 크기가 상기 녹색영상의 스폿 크기와 동일하게 되는 매개변수를 갖는 적색영상 및 청색영상에 대한 보정계수를 최종 보정계수로 결정하는 단계를 더 포함할 수 있다.
이 실시형태에서, 상기 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상으로 이루어질 수 있다. 이 경우, 상기 녹색영상의 스폿 크기를 구하는 단계는 상기 제1 녹색영상 및 제2 녹색영상 각각의 스폿 크기를 구하는 단계를 포함할 수 있다. 또한 이 실시형태에서, 상기 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계는, 상기 보정된 적색영상의 스폿 크기와 상기 제1 녹색영상에 대한 스폿크기가 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수를 산출하는 단계와, 상기 보정된 청색영상의 스폿 크기와 상기 제2 녹색영상의 스폿 크기가 동일해질 때까지 상기 매개변수의 값을 조정하여 청색영상에 대한 수정된 보정계수를 산출하는 단계를 포함할 수 있다.
본 발명의 다른 실시형태는, 상기 녹색영상에 대한 에지 프로파일 곡선으로부터 상기 녹색영상의 블러링 곡선을 구하고 상기 녹색영상의 블러링 곡선으로부터 상기 녹색영상의 블러링 함수를 결정하는 단계; 상기 적색영상에 대한 보정계수 및 상기 청색영상에 대한 보정계수를 각각 적용하여 보정된 적색영상 및 청색영상의 에지 프로파일 곡선으로부터 보정된 적색영상의 블러링 함수 및 보정된 청색영상의 블러링 함수를 구하는 단계; 상기 보정된 적색영상의 블러링 양 및 상기 보정된 청색영상의 블러링 양과 상기 녹색영상의 블러링 양이 각각 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계; 및 상기 보정된 적색영상의 블러링 양 및 상기 보정된 청색영상의 블러링 양이 상기 녹색영상의 블러링 양과 동일하게 되는 매개변수를 갖는 적색영상 및 청색영상에 대한 보정계수를 최종 보정계수로 결정하는 단계를 더 포함할 수 있다.
이 실시형태에서, 상기 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상으로 이루어질 수 있다. 이 경우, 상기 녹색영상의 블러링 함수를 결정하는 단계는 상기 제1 녹색영상 및 제2 녹색영상 각각의 블러링 함수를 결정하는 단계를 포함하고, 상기 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계는, 상기 보정된 적색영상의 블러링 양과 상기 제1 녹색영상의 블러링 양이 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수를 산출하는 단계와, 상기 보정된 청색영상의 블러링 양과 상기 제2 녹색영상의 블러링 양이 동일해질 때까지 상기 매개변수의 값을 조정하여 청색영상에 대한 수정된 보정계수를 산출하는 단계를 포함할 수 있다.
바람직하게, 상기 적색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수는 하기 식 1에 의해 계산될 수 있으며, 하기 식 1을 이용하여 하 기 식 2와 같이 보정계수가 계산될 수 있다.
[식 1]
Figure 112006085702462-pat00001
(mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)
(△x: 이미지 센서의 수평방향 화소 간격, △y: 이미지 센서의 수직방향 화소 간격, A: 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc: 블러링 함수의 수평방향 중심화소의 좌표, nc: 블러링 함수의 수직방향 중심화소의 좌표 , σx: 수평방향 블러링 양, σy: 수직방향 블러링 양)
[식 2]
Figure 112006085702462-pat00002
(D: 보정계수, B: 상기 식 1의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k: 매개변수)
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 또한, 본 발명을 설명함에 있어서, 정의되는 용어들은 본 발명에서의 기능을 고려하여 정의 내려진 것으로, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 아니 될 것이다.
도 3은 본 발명의 일실시형태에 따른 소형 카메라 모듈의 색수차 보정 방법을 도시한 플로우 차트이다.
도 3을 참조하면 본 발명은, 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구하는 단계(S10)와, 상기 적색영상, 녹색영상 및 청색영상의 블러링 곡선을 구하고(S11), 이를 이용하여 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 함수를 결정하는 단계(S13)와, 상기 적색영상의 블러링을 보정하는 적색영상에 대한 보정계수 및 상기 청색영상의 블러링을 보정하는 청색영상에 대한 보정계수를 구하는 단계(S21, S31)와, 상기 이미지 센서에서 검출된 베이어 포맷의 적색영상 및 청색영상에 상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수를 각각 적용하는 단계(S22, S32)로 이루어질 수 있다.
이에 더하여, 도 3에 도시된 본 발명의 일실시형태는, 상기 녹색영상의 스폿 크기를 구하는 단계(S12)와, 상기 적색영상에 대한 보정계수 및 상기 청색영상에 대한 보정계수를 각각 적용하여 보정된 적색영상 및 청색영상의 에지 프로파일 곡 선으로부터 보정된 적색영상의 스폿 크기 및 보정된 청색영상의 스폿 크기를 구하는 단계(S22)와, 상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿크기와 상기 녹색영상의 스폿크기가 동일한지 판단하고(S23), 각각 동일해질 때까지 상기 보정계수를 조정하는 매개변수의 값을 조정하여(S25) 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계와, 상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿 크기가 상기 녹색영상의 스폿 크기와 동일하게 되는 매개변수를 갖는 적색영상 및 청색영상에 대한 보정계수를 최종 보정계수로 결정하는 단계(S24)를 더 포함할 수 있다.
한편, 도시하지는 않았지만 본 발명의 다른 실시형태에서는, 상기 녹색영상의 스폿 크기를 구하는 단계 대신 적색영상, 청색영상과 마찬가지로 녹색영상에 대한 블러곡선을 작성하고 녹색 영상의 블러함수를 결정하는 단계를 포함할 수 있다. 상기 블러함수는 가우스 분포 함수의 형태를 가지며 이 가우스 분포 함수의 폭의 크기를 나타내는 파라미터를 블러링 양으로 정의 될 수 있다. 즉, 상기 블러함수를 결정하는 단계는 블러링 양을 결정하는 단계로 이해될 수 있다. 이 실시형태는 보정된 적색영상 및 청색영상의 스폿크기와 녹색영상의 스폿크기를 비교하는 대신, 보정된 적색영상 및 청색영상의 블러함수를 구하여 보정된 적색영상 및 청색영상의 블러링 양을 결정하고, 이를 녹색영상의 블러링 양과 비교할 수 있다. 따라서, 이 실시형태는, 보정된 적색영상 및 청색영상의 블러링 양이 녹색영상의 블러링양과 각각 동일해질 때까지 상기 보정계수를 조정하는 매개변수의 값을 조정하여 적색영 상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 반복적으로 산출하게 되며, 보정된 적색영상 및 청색영상의 블러링 양이 녹색영상의 블러링양과 각각 동일하게 되는 매개변수의 값을 최종 매개변수 값으로 결정할 수 있다.
이하, 상기와 같은 복수의 단계를 포함하여 구성되는 본 발명의 각 단계에 대해 첨부도면을 참조하여 더욱 상세하게 설명하기로 한다.
도 3의 S10, S11 및 S13으로 표시된 단계는 이미지 센서로부터 검출된 베이어(bayer) 포멧의 영상에서 각 색상영상에 대한 블러링 함수를 구하는 단계이다. 전술하였듯이, 블러링 함수를 결정함으로써 각 색상영상에 대한 블러링 양을 정의할 수 있으며, 블러링 함수를 이용하여 보정계수를 산출할 수도 있다. 따라서, 블러링 함수를 결정하는 과정은 각 색상영상에 대한 블러링 양을 구하는 과정으로 이해될 수 있다. 도 3의 S10, S11 및 S13으로 표시된 블러링 함수 즉 블러링 양을 구하는 과정에 대해 먼저 설명한다.
도 4는 본 발명의 일실시형태에 따른 블러링 함수, 즉 블러링 양을 구하는 과정을 도시한 블럭도이다. 본 발명은 블러링 함수(블러링 양)를 구하기 위해 먼저 이미지 센서에서 출력되는 베이어 포맷의 영상을 직접 취득하여야 한다(S41). 이를 위해 이미지 센서 후단에 위치한 ISP(도 1의 14)의 전원을 차단하여 그 기능을 중지시키고 별도의 인터페이스 보드 및 캡쳐 프로그램을 이용하여 이미지 센서로부터 출력되는 베이어 포맷의 영상을 직접 취득할 수 있다. 특히, 블러링 함수(블러링 양)을 검출하기 위해서는 도 5에 도시된 것과 같은 흑백 라인에지를 이미지센서로 촬상하고, 이 때 이미지센서로부터 출력되는 베이어 포맷의 영상을 직접 취득하게 된다. 도 5는 수직방향으로 형성된 흑백 라인에지를 도시하고 있으나, 본 발명은 수직방향의 흑백 라인에지 및 수평방향의 흑백 라인에지에 대한 베이어 포맷 영상을 모두 취득하여 각각에 대한 블러링 함수(블러링 양)을 검출할 수 있다. 수직방향의 흑백 라인에지를 이용하는 경우 수평방향의 블러링 함수를 구할 수 있으며, 수평방향의 흑백 라인 에지를 이용하는 경우 수직방향의 블러링 함수를 구할 수 있다.
이어, 이미지센서로부터 출력된 베이어 포맷의 영상으로부터 적색화소로 이루어진 적색영상, 녹색화소로 이루어진 녹색영상 및 청색화소로 이루어진 청색영상을 분리한다(S32). 이러한 각 색상의 영상을 분리하는 과정은 당업계에 잘 알려진 다양한 상용 컴퓨터 툴을 이용하여 이루어질 수 있다. 이미지센서로부터 출력된 베이어 포맷의 영상은 도 6에 도시된 바와 같이, 적색화소, 녹색화소 및 청색화소로 이루어진 영상이다. 이러한 베이어 포맷의 영상에서 도 7의 (a) 내지 (b)에 도시된 것과 같이, 제1 녹색영상, 제2 녹색영상, 적색영상 및 청색영상을 분리한다. 도 7에 도시된 바와 같이, 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상으로 이루어질 수 있다. 이후 색수차 보정단계에서 적색영상의 블러링 양 또는 스폿 크기는 상기 제1 녹색영상의 블러링 양 또는 스폿 크기와 서로 비교 될 수 있으며, 청색영상의 블러링 양 또는 스폿 크기는 상기 제2 녹색영상의 블러링 양 또는 스폿 크기와 서로 비교될 수 있다.
도 6 및 도 7에 도시된 각 영상에서 원으로 표시된 부분은 임의의 스폿크기를 도시한 것이다. 이 스폿크기는 특정 색상의 영상에 대한 스폿크기를 도시하고자 하는 것이 아니라 이미지 센서로부터 출력되는 베이어 포맷의 영상에서 스폿 내에 포함되는 화소수와 각 색상별로 추출된 영상에서 스폿 내에 포함되는 화소수를 비교하기 위한 것이다. 즉, 도 6에 도시된 것과 같이, 이미지센서로부터 출력되는 베이어 포맷의 영상에서 생성된 스폿의 크기가 최대 5×5의 화소를 포함한다고 하면, 분리된 각 색상의 영상에서 해당 스폿의 크기는 3×3의 화소를 포함하게 된다. 이는, 이미지센서로부터 출력되는 베이어 포맷의 영상의 각 화소간의 수평방향 간격을 △x라 하고 수직방향 간격을 △y라 할 때, 각 색상 화소 간의 간격은 2△x, 2△y가 되기 때문이다. 즉, 분리된 각 색상의 영상은, 이미지센서로부터 출력되는 베이어 포맷의 영상의 화소간 간격의 2배 크기를 갖는 간격마다 화소값이 재추출되는 것으로 이해될 수 있다.
이어, 추출된 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구한다(S43). 에지 프로파일 곡선을 구하기 위해 에지를 포함하는 임의의 화소들로 이루어진 측정영역을 선택하고, 이 측정 영역에서 에지 프로파일 곡선을 구한다.
도 5의 (a)에 도시된 바와 같이, 이상적인 흑백 라인에지의 이미지 센서 출력 영상(51a)에 대한 에지 프로파일 곡선(52a)은 흑색 영역과 백색 영역의 에지부 분에서 수직으로 형성될 수 있다. 그러나, 실제 흑백 라인에지의 이미지 센서 출력 영상(51b)는 에지부분에서 블러링이 발생하게 되고, 이에 대한 에지 프로파일 곡선(52b)는 에지부분의 주위에서 경사를 갖는 형태를 갖는다. 이 때, 에지 프로파일 곡선의 최대값의 10%에서 90%까지 상승하는데 소요되는 거리(영상 상에서는 화소수가 됨)(s)를 통상 스폿 크기로 정의한다. 블러링 양이 클수록 에지 프로파일 곡선의 경사는 완만하게 형성될 수 있으며 스폿 크기가 커지게 된다. 이 스폿크기는 각 색상의 영상마다 차이가 있으며 이러한 차이가 색수차를 발생시키게 되는 것이다.
본 발명은, 이러한 흑백 라인에지 영상으로부터 에지 프로파일 곡선을 구하는 과정은 수직방향 흑백 라인에지 및 수평방향 흑백 라인에지에 대해 모두 수행될 수 있으며, 이를 통해 각각 수평방향의 블러링을 나타내는 에지 프로파일 곡선 및 수직방향의 블러링을 나타내는 에지 프로파일 곡선을 구할 수 있다.
이어, 상기 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 미분하여 상기 적색영상, 녹색영상 및 청색영상의 블러링 곡선을 구한다(S44). 상기 에지 프로파일 곡선은 그 기울기가 점차 증가하다가 에지의 중심부에서부터 다시 기울기가 감소하는 곡선의 형태를 가지므로, 이 에지 프로파일 곡선을 미분하게 되면, 도 5의 (b)에 도면부호 '53'으로 도시한 것과 같이 가우스 분포 곡선을 형성하게 된다. 이 가우스 분포 곡선을 블러링 곡선이라 정의한다.
본 발명은, 수직방향 흑백 라인 에지에 대한 영상을 이용하여 수평방향 블러링 곡선을 구하고, 수평방향 흑백 라인 에지에 대한 영상을 이용하여 수직방향 블 러링 곡선을 구할 수 있다.
전술한 에지 프로파일 곡선을 구하는 과정 및 에지 프로파일 곡선을 미분하여 블러링 곡선을 구하는 과정은 당업계에 잘 알려진 다양한 상용 컴퓨터 툴을 이용하여 이루어질 수 있다.
이어, 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수를 결정한다(S45). 이 블러링 함수 결정 과정은 도 5의 (b)에 도면 부호'53'으로 도시된 것과 같은 가우스 분포 곡선이 나타내는 수학적인 식을 구하는 과정으로, 일반적으로 통용되는 함수 피팅(fitting) 과정을 통해 얻을 수 있다. 또한, 이 블러링 함수 결정 과정에서는, 수평방향 블러링 곡선으로부터 수평방향의 블러링 함수를 결정하는 과정 및 수직방향의 블러링 곡선으로부터 수직방향 블러링 함수를 결정하는 과정이 각각 수행될 수 있다. 즉, 이 블러링 함수 결정과정은 수평방향 및 수직방향의 블러링 함수를 각각 결정하는 1차원 블러링 함수 결정 과정으로 이해될 수 있다.
예를 들어, 수평방향 블러링 함수는 하기 식 3과 같이 결정될 수 있다.
[식 3]
Figure 112006085702462-pat00003
(mc-Nx≤m≤mc+Nx)
(△x: 이미지 센서의 수평방향 화소 간격, Ax: 블러링 함수의 수평방향 높이, mc: 블러링 함수의 수평방향 중심 좌표, σx: 수평방향 블러링 양)
상기 식 3에서 블러링 함수의 높이(Ax)와 수평방향 블러링 양(σx), 블러링 함수의 수평방향 중심 좌표(mc)는 블러링 곡선인 가우스 분포 곡선의 피팅(fitting)을 수행함으로써 간단히 구할 수 있다.
상기 식 3에서 △x는 이미지 센서의 수평방향 화소 간격이 되며, Ax는 블러링 곡선의 높이가 되며, mc는 수평방향 블러링 곡선의 중심화소의 좌표이고, Nx는 상기 블러링 함수를 구하기 위한 영역을 나타내는 것으로, 상기 에지 프로파일 곡선에서 최대값의 10%을 나타내는 지점 및 90%를 나타내는 지점으로부터 상기 수평방향 블러링 곡선의 중심화소까지의 거리가 될 수 있다.
상기 식 3에서 σx는 블러링 곡선의 폭에 관련된 파라미터로써 이 값을 블러링 양으로 정의할 수 있다. 또한, 상기 식 3에서 블러링 곡선의 높이(Ax)는 최대값이 1이 되도록 정규화하여 사용할 수 있는 것으로 블러링 양을 구하기 위한 본 발명에서는 큰 의미를 갖지 않는다.
상기 식 3을 통해 수평방향으로 2Nx+1 화소 범위에서 블러링 함수가 결정되며, 이미지센서로부터 출력되는 베이어 포맷 영상이 갖는 화소 간격의 2배 마다 데 이터가 샘플링됨을 알 수 있다.
상기 식 3과 유사하게 수직방향의 블러링 함수도 결정될 수 있다.
이어, 상기 1차원 블러링 함수, 즉 수평방향 블러링 함수와 수직방향 블러링 함수를 이용하여 수평,수직 방향의 블러링 양을 함께 나타낼 수 있는 2차원 블러링 함수를 구한다(S46). 실제 카메라 모듈에서 검출된 영상에 색수차 보정을 수행하기 위해서는 1차원 블러링 함수 하나만 적용되는 것은 의미가 없으며, 이 1차원 블러링 함수를 2차원 블러링 함수로 확장하여야 한다. 수평방향 및 수직방향의 블러링 양을 동시에 나타내는 2차원 블러링 함수는 상기 1차원 블러링 함수인 수평방향 블러링 함수와 수직방향 블러링 함수의 곱으로 구할 수 있다. 이 2차원 블러링 함수는, 하기 식 1과 같이 나타난다.
[식 1]
Figure 112006085702462-pat00004
(mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)
(△x: 이미지 센서의 수평방향 화소 간격, △y: 이미지 센서의 수직방향 화소 간격, A: 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc: 블러링 함수의 수평방향 중심화소의 좌표, nc: 블러링 함수의 수직방향 중심화소의 좌표 , σx: 수평방향 블러링 양, σy: 수직방향 블러링 양)
상기 식 1과 같은 블러링 함수가 적색영상 및 청색영상에 대해 산출되며, 필요에 따라서는 녹색영상(제1 녹색영상, 제2 녹색영상)에 대해서도 산출될 수 있다.
도 8의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수평방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다. 또한, 도 9의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수직방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다. 특히, 도 8 및 도 9는 E48R으로 알려진 플라스틱 재료로 이루어진 3 매의 렌즈를 적용한 광학계와, 이미지센서의 화소 간격이 수평, 수직방향으로 2.25 ㎛인 200만 화소급 이미지 센서로 이루어진 소형 카메라 모듈에서 전술한 본 발명에 따른 방법으로 측정한 블러링 곡선 및 블러링 함수를 도시한 것이다. 도 8 및 도 9에서 에지 프로파일 곡선으로부터 구한 블러링 곡선은 삼각형(▲)으로 표시되며, 이 블러링 곡선을 피팅하여 결정되는 블러링 함수는 사각형(□)으로 표시된다.
도 8 및 도 9에 나타난 바와 같이, 이미지 센서로부터 검출된 베이어 포맷의 영상으로부터 분리된 각 색상의 영상에서 측정된 블러링 곡선과, 이를 피팅하여 구한 블러링 함수는 거의 동일한 형태를 나타낸다.
일반적으로, 빔 스폿의 블러링은 광학계에 입사된 점광원(point source)이 광학계에 의해 센서의 한 픽셀로 정확히 초점이 맺혀지지 않아서 발생되는 현상으로, 이를 나타내는 광학계의 점확산함수(point-spread function)가 널리 알려져 있다. 이 점확산 함수는, 피사체로부터 반사된 백색(white-light) 광원이 센서에 맺혀서 영상을 취득하는 방식으로 산출하게 된다. 따라서 카메라 모듈에서 점확산 함수의 측정을 위해서는 적색 녹색 및 청색의 세 종류의 단색 레이저 광원이 필요한 것이 아니라, 이상적인 백색 점광원을 필요로 한다. 그러나 이러한 이상적인 백색 점광원을 생성하는 것은 현실적으로 매우 어려운 기술이므로, 점확산 함수를 통해 블러링 양을 구하는 것 또한 매우 힘들다. 그러나, 본 발명은 종래의 광학계 점확산 함수 측정에 필요한 백색 레이저 광원 장치를 필요로 하지 않으며, 일반적인 조도 환경에서 카메라 모듈의 베이어 영상을 취득하여 이로부터 에지 프로파일 곡선, 블러링 곡선, 블러링 함수를 간단하게 측정하는 것이 가능하다는 장점을 갖는다.
한편, 도 3에 도시된 녹색 영상의 스폿 크기를 산출하는 단계(S12)는, 이후 적색영상 및 청색영상에 대한 보정계수를 구하고 이를 적용한 보정된 적색영상 및 보정된 청색영상의 스폿 크기와 녹색 영상의 스폿 크기를 비교하기 위해 녹색 영상의 스폿 크기를 구하는 단계이다. 이 단계에서는, 이미지센서로부터 취득된 베이어 포맷의 영상에서 각 색상의 영상을 분리한 후, 녹색 화소로 이루어진 녹색영상의 에지 프로파일 곡선으로부터 스폿 크기를 검출하게 된다. 전술한 바와 같이, 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상을 포함할 수 있 으므로, 녹색 영상의 스폿 크기를 산출하는 단계는 상기 제1 녹색영상 및 제2 녹색영상 각각에 대한 스폿크기를 산출하는 단계로 이루어질 수 있다. 스폿크기는 에지 프로파일 곡선에서 최대값의 10%에서 90%까지의 간격으로 정의될 수 있으며, 이는 ImaTest로 알려진 상용 컴퓨터 툴을 이용하여 쉽게 산출될 수 있다. 또한, 상기 녹색영상(제1 녹색영상 및 제2 녹색영상)의 스폿크기를 구하는 단계는 녹색영상의 수평방향 에지 프로파일로부터 수평방향 스폿크기를 구하는 단계와 녹색영상의 수직방향 에지 프로파일로부터 수직방향 스폿크기를 구하는 단계를 포함할 수 있다.
상술한 바와 같이, 적색영상 및 청색영상에 대한 블러링 함수를 결정한 후, 본 발명은 도 3에 도시한 바와 같이 블러링 함수를 이용하여 적색영상 및 청색영상에 대한 보정계수를 계산한다(S21, S31). 상기 보정계수는 하기 식 2와 같은 당업계에 잘 알려진 주파수 영역의 인버스(inverse) 필터 형태로 정의될 수 있다.
[식 2]
Figure 112006085702462-pat00005
(D: 보정계수, B: 상기 식 1의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k: 매개변수)
상기 식 2에 표현된 'D'라는 함수는 보정계수를 주파수 영역에서 표현한 것이며, 'B'는 블러링 함수, 즉 상기 식 1을 주파수 영역으로 변환하기 위해 푸리에(Fourier) 변환한 것이며, 이러한 주파수 영역으로의 변환에 의해 △u와 △v는 주파수 영역에서 샘플링 간격, 즉 화소 사이의 간격을 주파수 영역에서 표현한 것이 된다. 구체적으로 △u는 1/△x과 같으며, △v는 1/△y와 같다. 또한, 상기 식 2에서 매개변수(k)는 상기 보정계수를 수정하기 위한 것으로 최적의 보정계수를 구하기 위해 그 값을 적절하게 결정할 수 있다. 상기 매개변수(k)의 값을 결정하는 구체적인 방법은 하기에 별도로 설명하기로 한다.
이어, 상기 식 2에 의해 결정된 보정계수를 적색영상 및 청색영상에 적용하여 보정된 적색영상 및 청색영상을 생성한다(S22, S32). 상기 식 2에 표현된 'D'라는 함수는 보정계수를 주파수 영역에서 표현한 것으로, 각 화소에 보정계수를 적용하기 위해서는 함수 'D'를 결정한 후 이를 다시 역 푸리에 변환을 통해 공간 영역의 함수로 변환한다. 이렇게 공간 영역으로 변환된 보정계수는 매트릭스 형태의 필터의 형태를 가지며, 이 공간 영역의 보정계수를 이미지센서로부터 출력된 베이어 포맷 영상의 각 화소마다 콘볼루션(convolution) 연산하여 각 화소에 대한 색수차보정을 수행하게 된다.
한편, 색수차 보정의 효과를 더욱 향상시키기 위해, 상기 보정계수(k)의 값을 적절하게 결정할 필요가 있으며, 이를 위해 단계(S22, S32)는 보정된 적색영상 및 보정된 청색영상에 대한 에지 프로파일을 구하고 각 에지 프로파일을 이용하여 보정된 적색영상의 스폿크기와 보정된 청색영상의 스폿크기를 구하는 과정을 더 포함할 수 있다.
이어, 상기 보정된 적색영상의 스폿크기와 보정된 청색영상의 스폿크기는 녹색 영상의 스폿크기와 비교된다(S23). 본 발명은 블러링에 의한 색수차를 감소시키기 위한 것으로 적색영상의 스폿크기와 녹색영상의 스폿크기를 동일하게 만들고 청색영상의 스폿크기와 녹색영상의 스폿크기를 동일하게 만듦으로써 블러링을 제거하게 된다. 따라서, 보정된 적색영상의 스폿크기와 녹색영상의 스폿크기가 동일하지 않은 경우 상기 식 2에 표현된 보정계수의 매개변수(k)의 값을 조정하고(S25), 이 매개변수(k)값이 조정된 보정계수를 다시 계산하여 적색영상에 적용한다. 이러한 반복과정은 바람직하게 적색영상의 스폿크기와 녹색영상의 스폿크기가 동일하게 될 때까지 수행될 수 있다. 마찬가지로, 보정된 청색영상의 스폿크기와 녹색영상의 스폿크기가 동일하지 않은 경우 상기 식 2에 표현된 보정계수의 매개변수(k)의 값을 조정하고(S35), 이 매개변수(k)값이 조정된 보정계수를 다시 계산하여 청색영상에 적용하는 과정을 반복한다.
이러한 보정계수를 수정하는 과정에서, 상기 적색영상의 스폿크기와 비교되는 녹색영상의 스폿크기는 상기 제1 녹색영상의 스폿크기일 수 있으며, 상기 청색영상의 스폿크기와 비교되는 녹색영상의 스폿크기는 상기 제2 녹색영상의 스폿크기일 수 있다.
또한, 상술한 실시형태는 최적의 보정계수를 구하기 위해 각 색상 영상의 스 폿크기를 비교하고 있으나, 다른 실시형태에서는 스폿크기 대신 각 색상 영상의 블러링 양을 서로 비교할 수도 있다. 즉, 전술한 블러링 함수를 결정하는 과정에서, 녹색영상(제1, 2 녹색영상)의 블러링 함수를 결정하여 녹색영상의 블러링 양을 산출하고, 보정된 적색영상 및 보정된 청색영상으로부터 블러링 함수를 구하여 보정된 적색영상의 블러링 양 및 보정된 청색영상의 블러링 양을 구한 후, 보정된 적색영상의 블러링 양과 녹색영상(제1 녹색영상)의 블러링 양을 서로 비교하여 그 값이 동일해질 때까지 매개변수(k)의 값을 변화시키고, 보정된 청색영상의 블러링 양과 녹색영상(제2 녹색영상)의 블러링 양을 서로 비교하여 그 값이 동일해질 때까지 매개변수(k)의 값을 변화시킬 수 있다.
한편, 이상적으로는 상기 적색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)이 정확하게 일치하고, 상기 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)이 정확하게 일치하도록 매개변수(k)의 값이 결정되는 것이 바람직하지만, 실제 적용에서는 정확하게 일치하는 것이 거의 불가능하므로, 상기 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되는 매개변수(k)의 값을 결정하여야 한다. 한편, 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)가 정확하게 일치하는 것은 실질적으로 불가능한 것이므로, 본 명세서 및 첨부된 특허청구범위에서 "적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)가 동일하다"라 는 기재는 실질적으로 동일한 것으로 판단할 수 있는 균등한 범위를 모두 포함하는 것으로 이해되어야 할 것이다.
이하에서는, 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되도록 보정계수를 결정하는 방법에 대해 상세하게 설명하기로 한다.
도 10은 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되도록 보정계수를 결정하는 방법을 도시한 플로우 차트이다.
도 10을 참조하면, 먼저 상술한 바와 같이 적색영상 및 청색영상에 대한 보정계수를 계산하고(S61), 이 보정계수를 적용하여 적색영상 및 청색영상을 보정한다(S62). 보정계수를 계산하는 단계에서(S61) 보정계수의 매개변수(식 2의 'k')의 초기값은 실험적으로 적절하게 결정될 수 있다. 또한, 이후 매개변수를 변경하여 적절한 보정계수를 결정하는 과정에서 상기 매개변수(k)를 수정하기 위한 수정값 및 그 수정범위가 미리 설정될 수 있다. 상기 보정계수를 적용하여 적색영상 및 청색영상을 보정하는 단계(S62)는 이미 상술하였으므로 상세한 설명은 생략한다.
이어, 보정된 적색영상 및 보정된 청색영상에서 수평방향 에지 프로파일 곡선을 구하고 이 수평방향 에지 프로파일 곡선으로부터 보정된 적색영상의 수평방향 스폿크기 및 보정된 청색영상의 수평방향 스폿크기를 산출한다(S71). 이와 마찬가 지로, 보정된 적색영상 및 보정된 청색영상에서 수직방향 에지 프로파일 곡선을 구하고 이 수직방향 에지 프로파일 곡선으로부터 보정된 적색영상의 수직방향 스폿크기 및 보정된 청색영상의 수직방향 스폿크기를 산출한다(S81). 스폿 크기를 구하는 기술 또한 상술한 바와 같다.
이어, 녹색영상의 수평방향 스폿크기와 보정된 적색영상의 수평방향 스폿크기를 이용하여 보정된 적색영상에 대한 수평방향 스코어를 계산하고, 녹색영상의 수평방향 스폿크기와 보정된 청색영상의 수평방향 스폿크기를 이용하여 보정된 청색영상에 대한 수평방향 스코어를 계산한다(S72). 이 과정에서, 보정된 적색영상에 대한 수평방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제1 녹색영상의 수평방향 스폿크기가 이용될 수 있으며, 보정된 청색영상에 대한 수평방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제2 녹색영상의 수평방향 스폿크기가 이용될 수 있다. 상기 수평방향 스코어는 비교의 대상이되는 녹색영상의 수평방향 스폿크기와 보정된 적색영상 및 보정된 청색영상의 수평방향 스폿크기의 차로 정의될 수 있다.
이와 마찬가지로, 녹색영상의 수직방향 스폿크기와 보정된 적색영상의 수직방향 스폿크기를 이용하여 보정된 적색영상에 대한 수직방향 스코어를 계산하고, 녹색영상의 수직방향 스폿크기와 보정된 청색영상의 수직방향 스폿크기를 이용하여 보정된 청색영상에 대한 수직방향 스코어를 계산한다(S82). 이 과정에서, 보정된 적색영상에 대한 수직방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제1 녹색영상의 수직방향 스폿크기가 이용될 수 있으며, 보정된 청색영상에 대한 수직방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제2 녹색영상의 수직방향 스폿크기가 이용될 수 있다. 상기 수직방향 스코어는 비교의 대상이되는 녹색영상의 수직방향 스폿크기와 보정된 적색영상 및 보정된 청색영상의 수직방향 스폿크기의 차로 정의될 수 있다.
이어, 상기 보정된 적색영상에 대한 수평방향 스코어와 수직방향 스코어를 합산하여 보정된 적색영상에 대한 전체 스코어를 계산한 후 이 값을 저장한다(S91). 마찬가지로, 보정된 청색영상에 대한 수평방향 스코어와 수직방향 스코어를 합산하여 보정된 청색영상에 대한 전체 스코어를 계산한 후 이 값을 저장한다(S91). 즉, 보정계수의 매개변수(k)의 값에 따른 적색영상 및 청색영상에 대한 전체 스코어를 계산하고 저장한다.
이어, 상기 매개변수(k)의 값을 최초 설정된 수정값만큼 수정하고(S92), 이 수정된 매개변수(k)의 값이 최초에 설정된 수정범위 이내인지 판단(S93)하여, 수정범위 이내이면 전술한 스코어 계산 및 저장 과정들을 반복하고, 수정범위를 벗어나면 상기 스코어 계산 과정을 종료한 후, 수정범위 내에서 매개변수(k)의 값을 수정하면서 계산 저장된 전체 스코어 중 최소가 될 때의 매개변수(k)의 값을 보정계수의 매개변수로 결정한다(S94). 이러한 매개변수의 결정은 적색영상 및 청색영상에 대해 각각 수행된다. 이로써 수평방향 및 수직방향으로 녹색영상과의 스폿크기가 가장 작게 보정할 수 있는 보정계수를 결정할 수 있게 된다.
하기 표 1은 전술한 보정계수 결정방법에서 연산된 매개변수(k) 값에 따른 스코어를 저장한 것이다.
Figure 112006085702462-pat00006
상기 표 1은 E48R로 알려진 플라스틱 재료의 렌즈 3 매를 광학계로 적용한 200만 화소 소형 카메라 모듈을 이용해 1m 거리에서 검출한 영상으로부터 보정 계수 산출을 위한 수직 방향 및 수평 방향 그리고 전체 스코어 값을 계산한 결과를 나타낸다. 이 예에서 이미지센서로부터 검출된 베이어 포맷의 영상에서 분리된 적색영상의 수평 및 수직 방향 스폿 크기는 각각 3.96, 4.29 화소이고, 청색영상의 수평 및 수직 방향 스폿 크기는 각각 4.55, 4.71 화소이다. 또한, 녹색영상의 스폿크기는 수평방향, 수직 방향으로 각각 3.16, 3.36 화소이다.
상기 표 1에서 나타난 바와 같이, 보정 계수의 매개변수(k) 값의 변화에 따라 보정 계수가 달라지며 이로 인해 보정된 적색영상 및 보정된 청색영상의 스폿크기가 달라지는 것을 확인할 수 있다. 상기 표 1에 따라, 적색영상에 대한 최종 보정계수의 매개변수(k) 값은, 적색영상에 대한 전체 스코어값이 가장 작은 k = 0.041 또는 k = 0.044에서 결정될 수 있다. 또한, 청색영상에 대한 최종 보정계수의 매개변수(k) 값은, 청색영상에 대한 전체 스코어값이 가장 작은 k = 0.026 또는 k = 0.027에서 결정될 수 있다.
이와 같이 결정되는 최종 보정계수는, ISP(도 1의 14) 블록 내에 저장되어 이미지 센서로부터 출력되는 베이어 포맷의 영상에 대한 보간을 수행하기 이전에 각 화소에 대해 콘볼루션 연산됨으로써 스폿크기 차이에 의해 발생하는 색수차 현상을 제거 또는 감소시킬 수 있게 된다.
한편, 도 10에 도시된 실시형태는 스코어 계산을 위해 각 색상영상의 스폿크기를 이용하였으나, 다른 실시형태에서는 스폿크기 대신 식 1의 블러링 함수에 의해 결정되는 블러링 양을 이용하여 보정계수를 결정하는 과정이 수행될 수도 있다. 즉, 블러링 양을 이용하여 보정계수를 결정하는 실시형태에서는, 상기 보정된 영상의 수평/수직방향 에지 프로파일로부터 수평/수직방향 스폿크기를 산출하는 단계(S71, S81)는 보정된 영상의 수직/수평방향 에지 프로파일로부터 수평/수직방향 블러링 함수를 구함으로써 수직/수평방향 블러링 양을 산출하는 단계로 대체될 수 있다. 또한, 수평/수직방향 스코어 계산 단계(S72, S82)는 녹색영상의 수평/수직방향 블러링 양과 보정된 영상의 수평/수직 방향 블러링 양의 차를 계산하는 단계로 대체될 수 있을 것이다.
도 11의 (a)는 보정을 수행하지 않은 적색, 녹색 및 청색영상의 수평방향 에지 프로파일 곡선을 도시하며, 도 11의 (b)는 본 발명에 의해 결정된 보정계수를 적용하여 색수차를 보정한 적색, 녹색 및 청색영상의 수평방향 에지 프로파일 곡선을 도시한다. 도 11의 (a) 및 (b)를 비교해볼 때, 보정을 수행한 이후 각 색상 영상은 에지 프로파일 곡선에서 에지주위의 기울기 차가 거의 일치하게 정정되었음을 확인할 수 있다. 구체적인 스폿 크기를 비교할 때, 보정 이후 각 영상간의 스폿 크기 차이가 0.5 화소 이내로 실질적으로 동일한 수준까지 정정되었음을 알 수 있다.
도 11의 (c)는 보정을 수행하지 않은 적색, 녹색 및 청색영상의 수직방향 에지 프로파일 곡선을 도시하며, 도 11의 (c)는 본 발명에 의해 결정된 보정계수를 적용하여 색수차를 보정한 적색, 녹색 및 청색영상의 수직방향 에지 프로파일 곡선을 도시한다. 도 11의 (c) 및 (d)를 비교해볼 때, 수평방향 에지 프로파일 곡선과 마찬가지로, 보정을 수행한 이후 각 색상 영상은 에지 프로파일 곡선에서 에지주위의 기울기 차가 거의 일치하게 정정되었음을 확인할 수 있다. 구체적인 스폿 크기를 비교할 때, 보정 이후 각 영상간의 스폿 크기 차이가 0.3 화소 이내로 실질적으로 동일한 수준까지 정정되었음을 알 수 있다.
도 12의 (a) 및 (b)는 본 발명의 색수차 보정방법을 적용하기 전후의 수평방향 공간 주파수 응답(SFR)을 나타내는 곡선을 도시한다. 또한, 도 12의 (c) 및 (d)는 본 발명의 색수차 보정방법을 적용하기 전후의 수직방향 공간 주파수 응답을 나타내는 곡선을 도시한다. 본 발명에 따른 보정이 수행된 영상에서, 수평방향 및 수직방향 공히 공간 주파수 응답값이 특히 500본 주파수에서 10% 이상 증가함을 확인할 수 있다.
이상에서 설명한 바와 같이 본 발명에 따르면, 이미지 센서로부터 출력되는 베이어 포멧 영상에서 적색영상 및 청색영상의 스폿크기를 녹색영상의 스폿크기와 실질적으로 동일하게 보정할 수 있음으로써, ISP 블록에 의한 영상처리 후 발생할 수 있는 렌즈의 색수차 증폭을 최대한으로 억제할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 미리 색수차를 보정하기 위한 보정 계수를 결정한 후 이를 이용해 기존의 ISP 블록에 내장되어 있는 콘볼루션(convolution) 연산 기 능을 통해 색수차를 보정할 수 있으므로 카메라 모듈 내에 별도의 프로그램 메모리 증가가 필요하지 않은 효과가 있다.
또한, 카메라 모듈 내의 렌즈 구성이 달라지거나 센서가 변경되어 색수차 크기가 변경되는 경우에도, 변경된 카메라 모듈에 적합한 색수차 보정 계수를 다시 산출한 후 ISP 내에 색수차 보정 블록에 저장해 사용할 수 있으므로, 서로 다른 카메라 모듈에 대해서도 별도의 이미지 처리를 위한 프로그램을 수정할 필요 없이 색수차 보정 방법을 동일하게 적용할 수 있는 효과가 있다.

Claims (8)

  1. 이미지 센서에서 검출된 베이어 포맷의 영상으로부터 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구하는 단계;
    상기 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 미분하여 상기 적색영상, 녹색영상 및 청색영상의 블러링 곡선을 구하고, 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수를 결정하는 단계- 상기 블러링 함수는 가우스 분포 함수이며, 상기 가우스 분포 함수의 폭을 나타내는 파라미터를 블러링 양으로 정의함-;
    상기 적색영상 및 청색영상에 대한 블러링 함수를 각각 이용하여 적색영상의 블러링을 보정하는 적색영상에 대한 보정계수 및 상기 청색영상의 블러링을 보정하는 청색영상에 대한 보정계수를 구하는 단계; 및
    상기 이미지 센서에서 검출된 베이어 포맷의 적색영상 및 청색영상에 상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수를 각각 적용하는 단계
    를 포함하는 소형 카메라 모듈의 색수차 보정방법.
  2. 제1항에 있어서,
    상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수는 각각 보정량을 조정하는 매개변수를 갖는 것을 특징으로 하는 소형 카메라 모듈의 색수차 보정 방법.
  3. 제2항에 있어서,
    상기 녹색영상에 대한 에지 프로파일 곡선으로부터 상기 녹색영상의 스폿 크기를 구하는 단계;
    상기 적색영상에 대한 보정계수 및 상기 청색영상에 대한 보정계수를 각각 적용하여 보정된 적색영상 및 청색영상의 에지 프로파일 곡선으로부터 보정된 적색영상의 스폿 크기 및 보정된 청색영상의 스폿 크기를 구하는 단계;
    상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿크기와 상기 녹색영상의 스폿크기가 각각 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계; 및
    상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿 크기가 상기 녹색영상의 스폿 크기와 동일하게 되는 매개변수를 갖는 적색영상 및 청색영상에 대한 보정계수를 최종 보정계수로 결정하는 단계를 더 포함하는 소형 카메라 모듈의 색수차 보정방법.
  4. 제3항에 있어서,
    상기 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상으로 이루어지며,
    상기 녹색영상의 스폿 크기를 구하는 단계는 상기 제1 녹색영상 및 제2 녹색영상 각각의 스폿 크기를 구하는 단계를 포함하고,
    상기 적색영상에 대한 수정된 보정계수 및 수정된 청색영상에 대한 보정계수를 산출하는 단계는, 상기 보정된 적색영상의 스폿 크기와 상기 제1 녹색영상에 대한 스폿크기가 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수를 산출하는 단계와, 상기 보정된 청색영상의 스폿 크기와 상기 제2 녹색영상의 스폿 크기가 동일해질 때까지 상기 매개변수의 값을 조정하여 청색영상에 대한 수정된 보정계수를 산출하는 단계를 포함하는 것을 특징으로 하는 소형 카메라 모듈의 색수차 보정방법.
  5. 제2항에 있어서,
    상기 녹색영상에 대한 에지 프로파일 곡선으로부터 상기 녹색영상의 블러링 곡선을 구하고 상기 녹색영상의 블러링 곡선으로부터 상기 녹색영상의 블러링 함수를 결정하는 단계;
    상기 적색영상에 대한 보정계수 및 상기 청색영상에 대한 보정계수를 각각 적용하여 보정된 적색영상 및 청색영상의 에지 프로파일 곡선으로부터 보정된 적색 영상의 블러링 함수 및 보정된 청색영상의 블러링 함수를 구하는 단계;
    상기 보정된 적색영상의 블러링 양 및 상기 보정된 청색영상의 블러링 양과 상기 녹색영상의 블러링 양이 각각 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계; 및
    상기 보정된 적색영상의 블러링 양 및 상기 보정된 청색영상의 블러링 양이 상기 녹색영상의 블러링 양과 동일하게 되는 매개변수를 갖는 적색영상 및 청색영상에 대한 보정계수를 최종 보정계수로 결정하는 단계를 더 포함하는 소형 카메라 모듈의 색수차 보정방법.
  6. 제5항에 있어서,
    상기 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상으로 이루어지며,
    상기 녹색영상의 블러링 함수를 결정하는 단계는 상기 제1 녹색영상 및 제2 녹색영상 각각의 블러링 함수를 결정하는 단계를 포함하고,
    상기 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계는, 상기 보정된 적색영상의 블러링 양과 상기 제1 녹색영상의 블러링 양이 동일해질 때까지 상기 매개변수의 값을 조정하여 적색영상에 대한 수정 된 보정계수를 산출하는 단계와, 상기 보정된 청색영상의 블러링 양과 상기 제2 녹색영상의 블러링 양이 동일해질 때까지 상기 매개변수의 값을 조정하여 청색영상에 대한 수정된 보정계수를 산출하는 단계를 포함하는 것을 특징으로 하는 소형 카메라 모듈의 색수차 보정방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 적색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수는 하기 식 1과 같은 것을 특징으로 하는 소형 카메라 모듈의 색수차 보정 방법.
    [식 1]
    Figure 112008011052157-pat00007
    (mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)
    (△x: 이미지 센서의 수평방향 화소 간격, △y: 이미지 센서의 수직방향 화소 간격, A: 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc: 블러링 함수의 수평방향 중심화소의 좌표, nc: 블러링 함수의 수직방향 중심화소의 좌표 , σx: 수평방향 블러링 양, σy: 수직방향 블러링 양, m: 블러링 함수의 수평방향 좌표를 나타내는 변수, n: 블러링 함수의 수직방향 좌표를 나타내는 변수, Nx: 블러링 함수의 수평방향 최소, 최대 좌표를 결정하는 임의의 파라미터, Ny: 블러링 함수의 수직방향 최소, 최대 좌표를 결정하는 임의의 파라미터)
  8. 제7항에 있어서,
    상기 보정계수는 하기 식 2와 같은 것을 특징으로 하는 소형 카메라 모듈의 색수차 보정 방법.
    [식 2]
    Figure 112008011052157-pat00008
    (D: 보정계수, B: 상기 식 1의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k: 매개변수, B*: B의 수반행렬)
KR1020060115869A 2006-11-22 2006-11-22 소형 카메라 모듈의 색수차 보정 방법 KR100843437B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060115869A KR100843437B1 (ko) 2006-11-22 2006-11-22 소형 카메라 모듈의 색수차 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060115869A KR100843437B1 (ko) 2006-11-22 2006-11-22 소형 카메라 모듈의 색수차 보정 방법

Publications (2)

Publication Number Publication Date
KR20080046429A KR20080046429A (ko) 2008-05-27
KR100843437B1 true KR100843437B1 (ko) 2008-07-03

Family

ID=39663370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060115869A KR100843437B1 (ko) 2006-11-22 2006-11-22 소형 카메라 모듈의 색수차 보정 방법

Country Status (1)

Country Link
KR (1) KR100843437B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970049066A (ko) * 1995-12-29 1997-07-29 김광호 전자빔 노광장치에서의 최적 노광조건 결정방법
JPH1141476A (ja) 1997-07-23 1999-02-12 Matsushita Electric Ind Co Ltd 画像読み取り装置
JP2000040146A (ja) 1998-07-23 2000-02-08 Hitachi Ltd 画像処理方法、画像処理装置および指掌紋画像入力装置
JP2006058677A (ja) 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd 走査露光装置
KR20060089019A (ko) * 2005-02-03 2006-08-08 삼성전자주식회사 컬러 상관 유사도와 다방향 에지 정보를 이용한 컬러 필터보간 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970049066A (ko) * 1995-12-29 1997-07-29 김광호 전자빔 노광장치에서의 최적 노광조건 결정방법
JPH1141476A (ja) 1997-07-23 1999-02-12 Matsushita Electric Ind Co Ltd 画像読み取り装置
JP2000040146A (ja) 1998-07-23 2000-02-08 Hitachi Ltd 画像処理方法、画像処理装置および指掌紋画像入力装置
JP2006058677A (ja) 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd 走査露光装置
KR20060089019A (ko) * 2005-02-03 2006-08-08 삼성전자주식회사 컬러 상관 유사도와 다방향 에지 정보를 이용한 컬러 필터보간 방법

Also Published As

Publication number Publication date
KR20080046429A (ko) 2008-05-27

Similar Documents

Publication Publication Date Title
KR100818479B1 (ko) 선명도 향상을 위한 이미지 처리 방법
US8538726B2 (en) Three dimensional shape measurement apparatus, three dimensional shape measurement method, and computer program
US9581436B2 (en) Image processing device, image capturing apparatus, and image processing method
EP2342893B1 (en) Image processing method, image processing apparatus, and image pickup apparatus
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
US8482659B2 (en) Image processing apparatus and image processing method
KR101417169B1 (ko) 초점 조력 시스템 및 방법
JP6542194B2 (ja) ノイズ認識のエッジ強調
TWI538506B (zh) 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體
US8942477B2 (en) Image processing apparatus, image processing method, and program
KR100843433B1 (ko) 소형 카메라 모듈의 블러링 양 측정 방법
JP2018205037A (ja) 評価装置、評価プログラム及び評価方法
KR100843432B1 (ko) 소형 카메라 모듈의 색수차 보정계수 산출 방법
US9967528B2 (en) Image processing apparatus and image processing method
KR100835058B1 (ko) 피사계 심도 확장을 위한 이미지 처리 방법
KR100843437B1 (ko) 소형 카메라 모듈의 색수차 보정 방법
US10217194B2 (en) Image shooting apparatus that extends depth of field by recovering blurred image and an image shooting method thereof
US8693798B2 (en) Image sharpness processing apparatus and image sharpness processing method
US10225537B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP5256236B2 (ja) 画像処理装置および方法，ならびに画像処理プログラム
JP2011191244A (ja) 光学ユニットの評価方法
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
KR100896572B1 (ko) 피사계 심도 확장을 위한 이미지 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20061122

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20071214

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080530

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080626

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080626

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee