KR100747729B1 - 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법 - Google Patents

이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR100747729B1
KR100747729B1 KR1020050133469A KR20050133469A KR100747729B1 KR 100747729 B1 KR100747729 B1 KR 100747729B1 KR 1020050133469 A KR1020050133469 A KR 1020050133469A KR 20050133469 A KR20050133469 A KR 20050133469A KR 100747729 B1 KR100747729 B1 KR 100747729B1
Authority
KR
South Korea
Prior art keywords
compensation
pixel
correction
block
image
Prior art date
Application number
KR1020050133469A
Other languages
English (en)
Other versions
KR20070070669A (ko
Inventor
전정범
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020050133469A priority Critical patent/KR100747729B1/ko
Priority to PCT/KR2006/005845 priority patent/WO2007075066A1/en
Publication of KR20070070669A publication Critical patent/KR20070070669A/ko
Application granted granted Critical
Publication of KR100747729B1 publication Critical patent/KR100747729B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 이미지 센서에서의 렌즈 셰이딩 보정 방법 및 장치에 관한 것이다. 본 발명의 바람직한 일 실시예에 따르면, 셰이딩 이미지의 중심 픽셀을 검출하고 상기 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하며, 상기 특성 곡선의 임의의 구간과 일치하는 보상 곡선의 보상계수를 산출하고, 상기 구간을 하나의 블록으로 결정하여 상기 블록에 상응하는 보정 대상 픽셀은 상기 블록에 상응하는 보상계수를 이용하여 보상값을 산출하며, 상기 보정 대상 픽셀의 화소값 및 상기 보상값을 이용하여 보정을 수행하는 이미지 프로세서가 제공될 수 있다. 따라서, 본 발명에 의해 렌즈 셰이딩의 블록별 보상값을 저장하는 대신 보상 곡선을 모델링하여 레지스터를 줄여 시스템의 부피를 줄일 수 있다.
렌즈 셰이딩, shading, 보정 장치

Description

이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법{Image processor, device for compensating of lens shading and the same method}
도 1a는 종래의 렌즈의 투과율의 차이를 설명하기 위한 개략도.
도 1b는 거리에 따른 투과율을 나타낸 그래프.
도 2는 종래의 렌즈의 중심부로부터의 거리에 따른 신호 크기의 변화 그래프.
도 3은 본 발명의 바람직한 일 실시예에 따른 촬상 장치의 블록 구성도.
도 4는 본 발명의 바람직한 일 실시예에 따른 보정 처리부의 세부 구성을 나타낸 블록도.
도 5는 본 발명의 바람직한 일 실시예에 따른 셰이딩 이미지의 중심 픽셀 검출 방법을 나타낸 도면.
도 6 내지 도 7은 본 발명의 바람직한 일 실시예에 따른 임의의 구간에 상응하는 보상 곡선을 예시한 도면.
도 8a는 본 발명의 바람직한 일 실시예에 따른 셰이딩 이미지의 특성 곡선의 예시도.
도 8b는 본 발명의 바람직한 일 실시예에 따른 이상적인 게인 곡선의 예시 도.
도 9는 본 발명의 바람직한 일 실시예에 따른 렌즈 셰이딩 보정 방법을 나타낸 순서도.
<도면의 주요 부분에 대한 부호의 설명>
310 : 센서부
320 : 보정 처리부
410 : 픽셀값 분석부
415 : 중심 위치 검출부
420 : 테이블 생성부
425 : 픽셀 위치 계산부
430 : 보상계수 생성부
435 : 보정 수행부
본 발명은 이미지 센서에서의 렌즈 셰이딩 보정 방법 및 장치에 관한 것으로, 픽셀 위치에 따른 신호 크기의 감소를 보정하여 원시 이미지의 품질을 유지할 수 있는 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치에 관한 것이다.
최근 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 픽셀(pixel)들 또는 포토사이트(Photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 픽셀들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환할 뿐이다. 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서, 센서는 상이한 픽셀들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이 또는 CFA(Color Filter Array)로 알려져 있다. 상이한 컬러 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.
그리고, 가장 흔한 패턴은 코닥에서 개발한 베이어(Bayer) 컬러 필터 어레이(CFA)이다. 컬러 이미지의 CFA는 일반적으로 베이어 패턴(Bayer Pattern)을 따른다. 즉, 픽셀들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다. 컬러 정보를 얻기 위해, 컬러 이미지 픽셀들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2 x 2 배열이라 할 수 있다.
베이어 패턴은 사람의 눈이 장면의 녹색 내용으로부터 루미넌스(Luminance) 데이터의 대부분을 도출한다는 전제에 기초한다. 따라서, 픽셀들 중 보다 많은 픽셀이 녹색이 되도록 함으로써 적색, 녹색 및 적색 픽셀들이 동일한 수인 상태에서 교번하는 RGB 컬러 필터에 비해 높은 해상도 이미지가 생성될 수 있다.
그러나, 최근 개발되어 판매되는 휴대용 장치에 구비된 종래의 이미지 센서는 픽셀 어레이 구성의 기하학적 배열에 의한 이미지 왜곡을 가지는 문제점이 있었 다. 이는 작은 외부 렌즈와 큰 f 번호(number)를 가지기 때문이다.
도 1에 투과율의 차이를 나타낸 도면이 도시되어 있고, 도 2에 중심부로부터의 거리에 따른 신호 크기의 변화 그래프가 도시되어 있다.
도 1에 도시된 바와 같이, 이미지 센서의 CFA 중앙부의 픽셀들과 외곽의 픽셀들은 서로 다른 위치에서 광원에 노출된다. 이러한 미세한 위치 차이는 조도(illumination)차를 유발하며, 조도 차이는 빛의 파장 차이와 렌즈들의 굴절률 차이에 의해 색상에도 영향을 준다.
그 결과, 색상 왜곡과 픽셀의 위치에 의존한 신호 크기의 감소(도 2 참조)가 필연적으로 발생하며, 이는 원시 이미지의 품질을 저하시키는 원인이 된다.
따라서, 상술한 문제점을 해결하기 위한 본 발명의 목적은 렌즈 셰이딩의 블록별 보상값을 저장하는 대신 보상 곡선을 모델링하여 레지스터를 줄여 시스템의 부피를 줄일 수 있는 렌즈 셰이딩 보정 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 원시 이미지의 품질 저하를 방지하기 위한 렌즈 셰이딩 보정 장치 및 방법을 제공하는 것이다.
이외의 본 발명의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 중심 픽셀을 기준으로 보상 곡선을 모델링하여 보상 대상 픽셀에 대한 보상계수를 생성할 수 있으며, 이에 따라 향상된 화질의 이미지를 얻을 수 있는 이미지 프로세서 및 렌즈 셰이딩 보정 장치가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 셰이딩 이미지의 중심 픽셀을 검출하고 상기 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하며, 상기 특성 곡선의 임의의 구간과 일치하는 보상 곡선의 보상계수를 산출하고, 상기 구간을 하나의 블록으로 결정하여 상기 블록에 상응하는 보정 대상 픽셀은 상기 블록에 상응하는 보상계수를 이용하여 보상값을 산출하며, 상기 보정 대상 픽셀의 화소값 및 상기 보상값을 이용하여 보정을 수행하는 이미지 프로세서가 제공될 수 있다.
상기 보상 곡선은 하기 수학식을 이용하여 산출할 수 있다.
Figure 112005077823196-pat00001
여기서,
Figure 112005077823196-pat00002
은 중심 픽셀에서 픽셀간의 거리이며,
Figure 112005077823196-pat00003
는 보상계수일 수 있다.
본 발명의 다른 실시예에 따르면, 이미지 센서에서의 렌즈 셰이딩 현상을 보정하는 렌즈 셰이딩 보정 장치에 있어서, 디지털 영상 신호에 상응하는 셰이딩 이미지의 중심 픽셀을 검출하는 중심 위치 검출부; 보정 대상 픽셀의 위치를 판단하여 상기 중심 픽셀과 상기 보정 대상 픽셀간의 거리를 산출하는 픽셀 위치 계산부; 상기 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하며, 상기 특성 곡 선의 임의의 구간과 일치하는 보상 곡선의 보상계수를 산출하고, 상기 구간을 하나의 블록으로 결정하여 상기 블록에 상응하는 보정 대상 픽셀은 상기 보상계수를 보상값을 산출하는 보상계수 생성부; 및 상기 보상 대상 픽셀의 입력 화소값 및 상기 보상값을 이용하여 보정을 수행하는 보정 수행부를 포함하는 렌즈 셰이딩 보정 장치가 제공될 수 있다.
보상 곡선은 하기 수학식을 이용하여 산출할 수 있다.
Figure 112005077823196-pat00004
여기서,
Figure 112005077823196-pat00005
은 중심 픽셀에서 픽셀간의 거리이며,
Figure 112005077823196-pat00006
는 보상계수일 수 있다.
상기 블록이 결정되면 상기 블록까지의 거리 및 보상계수를 저장하는 보정 레지스터를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 이미지 센서에서의 렌즈 셰이딩 현상을 보정하는 렌즈 셰이딩 보정 장치에서 수행되는 렌즈 셰이딩 보정 방법이 제공된다.
이미지 센서에서의 렌즈 셰이딩 현상을 보정하는 렌즈 셰이딩 보정 장치에서 수행되는 렌즈 셰이딩 보정 방법에 있어서, 디지털 영상 신호에 상응하는 셰이딩 이미지의 중심 픽셀을 검출하는 단계; 보정 대상 픽셀의 위치를 상기 중심 픽셀과 상기 보정 대상 픽셀간의 거리를 산출하는 단계; 상기 중심 픽셀을 기준으로 특성 곡선의 임의의 구간에 일치하는 보상 곡선의 보상계수를 산출하고 상기 구간을 하 나의 블록으로 결정하는 단계; 상기 보상 대상 픽셀이 상기 블록에 포함되는지 여부를 판단하는 단계; 상기 블록에 포함되면 상기 보상계수를 이용하여 보상값을 산출하는 단계; 및 상기 보상 대상 픽셀의 입력 화소값 및 상기 보상계수를 이용하여 보정을 수행하는 단계를 포함하는 렌즈 셰이딩 보정 방법이 제공될 수 있다.
하기 수학식에 상기 보상계수를 선택적으로 변경하여 상기 특성 곡선에 일치하는 구간을 하나의 블록으로 결정할 수 있다.
Figure 112005077823196-pat00007
여기서,
Figure 112005077823196-pat00008
은 중심 픽셀에서 픽셀간의 거리이며,
Figure 112005077823196-pat00009
는 보상계수일 수 있다.
상기 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하는 단계; 및
상기 블록의 보상계수 및 중심 픽셀로부터의 거리를 저장하는 단계를 더 포함할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
또한, 이하에서는 첨부 도면을 참조하여 설명함에 있어서 동일하거나 대응하는 구성요소는 도면 부호에 상관없이 동일한 참조번호를 부여하여 설명하기로 한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 촬상 장치의 블록 구성도이다.
도 3에서 보여지는 바와 같이, 본 발명에 따른 이미지 장치(100)는 센서부(310), 이미지 프로세싱부(320) 및 표시부(330)를 포함하여 구성될 수 있다.
센서부(310)는 CFA(Color Filter Array, 115) 및 A/D 변환부(312)를 포함한다. 물론, 센서부(310)는 앞서 설명한 바와 같이, 렌즈를 더 포함할 수 있다.
CFA(311)는 렌즈를 통해 입력되는 광학적 피사체 신호를 전기적인 신호로 변환하여 출력한다. 이때, CFA(311)는 해상도면에서 유리한 베이어(Bayer) 패턴을 사용하며, 각 픽셀마다 하나의 색 정보를 가지는 영상 신호가 출력된다. 예를 들어, R 패턴에 해당하는 픽셀에서는 R 정보만을 가지는 영상 신호가 출력되고, G 패턴에 해당하는 픽셀에서는 G 성분만을 가지는 영상 신호가 출력되며, B 패턴에 해당하는 픽셀에서는 B 정보만을 가지는 영상 신호가 출력될 수 있다. 베이어 패턴의 CFA(311)를 통해 얻어진 각 픽셀의 값은 보간 처리(Interpolation, 예를 들어 좌우의 2 픽셀의 값을 평균하거나, 상하좌우의 4 픽셀을 평균하여 결핍된 색 정보를 유추하는 등)하여 완전한 색 정보를 얻는다. 보간 처리는 보간 처리부(323)에 의해 수행된다.
A/D 변환부(312)는 CFA(311)에 의해 변환된 영상 신호(즉, 아날로그 영상 신호)를 디지털 신호로 변환하여 보정 처리부(321)로 전달하는 기능을 수행한다.
이미지 프로세싱부(320)는 보정 처리부(321), 보정 레지스터(322), 보간 처리부(323), 색 조정부(324), 감마 변환부(325), 감마 테이블(326), 포맷 변환부(327) 및 포맷 변환 테이블(328)을 포함한다. 또한, 이미지 프로세싱부(320)는 CFA(311)의 구동에 이용된 수평 동기 신호(Hsync), 수직 동기 신호(Vsync) 및 화소 클록(PCLK)으로부터 각종 타이밍 신호를 생성하는 타이밍 발생부(도시되지 않음)를 더 포함할 수 있다.
보정 처리부(321)는 각 영상 신호에 대해 보상 계수를 생성하여 보정 대상 픽셀의 위치에 상응하여 셰이딩 보정을 수행하는 기능을 담당하며, 보정된 영상 신호를 보간 처리부(323)로 전달한다. 보정 처리부(321)의 상세한 기능에 대해서는 추후 도 4를 참조하여 설명하기로 한다.
보정 레지스터(322)는 보정 처리부(321)가 보정 대상 이미지의 영역에 따라 생성한 보상계수를 저장한다.
보간 처리부(323)는 각 픽셀마다 RGB의 픽셀 신호를 생성한다. CFA(311)에서 출력되는 영상 신호가 베이어(Bayer) 배열을 가지는 경우, 적색(R)에 대응하는 픽셀에는 녹색(G)이나 청색(B)의 픽셀 신호를 얻을 수 없다. 따라서, 보간 처리부(323)는 주위 픽셀의 신호를 보간 연산함으로써 적색(R)의 컬러 필터 픽셀에도 녹색(G)이나 청색(B)의 픽셀 신호를 생성할 수 있다. 이를 위해, 보간용 메모리(미도시)에는 주위 픽셀의 픽셀 신호가 일시적으로 기록되며, 보간 처리부(323)는 보간용 메모리 내에 일시적으로 기록되어 있는 주위 픽셀의 픽셀 신호를 이용하여 보간 연산을 수행한다.
색 조정부(324)는 색조(예를 들어, 푸르스름한 청색 등)를 조정하는 수단이고, 감마 변환부(155)는 표시부(180, 예를 들어, LCD, CRT 등)에 이미지를 출력하기 위해 디바이스 특성(감마 특성)에 맞추는 수단이다. 감마 테이블(326)에는 표시 부(330) 의 화상 출력 디바이스의 감마 특성으로 변환하기 위한 변환 테이블이 저장된다.
포맷 변환부(327)는 표시부(330)에 적합한 화상 신호의 포맷으로 변환하는 수단으로, 픽셀 신호를 NTSC나 YUV, YCbCr 등 디지털 성분의 포맷으로 변환하여 출력한다. 포맷 변환 테이블(328)은 NTSC나 YUV 등의 표시 신호 포맷으로 변환하기 위한 테이블이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 보정 처리부의 세부 구성을 나타낸 블록도이며, 도 5는 본 발명의 바람직한 일 실시예에 따른 셰이딩 이미지의 중심 픽셀 검출 방법을 나타낸 도면이다.
도 4에 보여지는 바와 같이, 본 발명에 따른 보정 처리부(321)는 픽셀값 분석부(410), 중심 위치 검출부(415), 테이블 생성부(420), 픽셀 위치 계산부(425), 보상계수 생성부(430) 및 보정 수행부(435)를 포함하여 구성된다.
픽셀값 분석부(410)는 센서부(310)로부터 라인 단위로 수신되는 디지털 영상 신호를 이용하여 각각의 픽셀에 상응하는 루미넌스 정보, 게인 정보, 레벨 정보를 분석하는 기능을 수행한다. 픽셀값 분석부(410)는 디지털 영상 신호의 분석을 라인 단위로 수행하거나 전체 프레임에 대한 분석을 수행하거나 중심 라인에 대해서만 샘플링을 통한 분석을 수행할 수도 있다. 본 발명에 따른 픽셀값 분석부(410)는 베이어 패턴을 가지는 영상 신호를 RGB 각 성분에 대해 분석을 수행하므로 출력 이미지의 변형이 전혀 없는 상태에서 분석이 가능하다. 또한 본 발명에 따른 픽셀값 분 석부(410)는 보간 처리 이전에 영상 신호에 대한 분석을 수행하므로 분석되는 데이터의 수도 1/3로 감소시킬 수 있다. 또한, 본 발명에 따른 픽셀값 분석부(410)가 입력되는 영상 신호의 비트 정보(예를 들어, 10 비트 또는 8 비트)에 상응하여 다른 옵션을 적용할 수 있음은 자명하다. 픽셀값 분석부(410)는 입력되는 디지털 영상 신호가 RGB 베이어 패턴(Bayer pattern)로 입력되므로 RGB 각각에 대한 분석을 수행할 수 있다.
중심 위치 검출부(415)는 백색 이미지로부터 셰이딩 이미지의 중심 픽셀을 찾는 기능을 수행한다. 셰이딩 이미지의 중심이 맞지 않는 경우 이미지의 왜곡이 생길 수 있기 때문에 셰이딩 이미지의 중심이 픽셀 어레이의 중심이 아닌 경우 정확한 중심을 맞추기 위함이다. 셰이딩 이미지의 중심 픽셀이 찾아지면 중심 픽셀의 위치를 보정 레지스터(322)에 저장하고, 그 중심 픽셀을 중심으로 셰이딩 보상 이미지가 생성되도록 한다.
우선 이해를 도모하기 위해, 도 5를 참조하여 중심 픽셀을 찾는 방법을 간략히 설명하면, 중심 위치 검출부(415)는 자동 노출 상한을 전체 픽셀 중 가장 밝은 부분의 값보다 작게 하고, 자동 노출 하한을 가장 어두운 부분의 값보다 크도록 자동 노출 상한 및 자동 노출 하한을 조정한다. 픽셀의 루미넌스가 자동 노출 상한 이하이고 자동 노출 하한 이상인 경우에 해당하는 픽셀로 이루어진 원형 띠가 생성되며, 원형 띠의 경계선과 픽셀 어레이의 수직 중심선(550) 및 수평 중심선(560)과 만나는 8개의 교점 픽셀(510 내지 516, 520 내지 526)을 찾는다. 여기서, 픽셀 어레이의 수직 중심선(550) 및 수평 중심선(560)은 미리 정해져 있다. 자동 노출 상 한 경계에 의한 교점 픽셀 중 수직 중심선(550)과 만나는 교점 픽셀들(510, 512)의 수직 이등분선 및 수평 중심선(550)과 만나는 교점 픽셀들(514, 516)의 수직 이등분선의 교점이 셰이딩 이미지의 중심 픽셀이 된다. 이는 원형 띠의 경계선이 원형이며, 교점 픽셀들(510, 512 또는 514, 516)을 잇는 선분이 원의 현이 되는 바 현의 수직 이등분선은 원의 중심을 지나는 원리에 기인한다. 이는 자동 노출 하한 경계에 의한 교점 픽셀(520 내지 526)에서도 마찬가지이다.
상기의 방법을 이용하여 셰이딩 이미지의 중심 픽셀을 찾을 수 있으며, 이 외에도 당업자에 의해 다양한 방법에 의해 셰이딩 이미지의 중심 픽셀을 찾을 수 있음은 물론이다. 중심 픽셀의 보정이 제대로 이루어지지 않는 경우 색수차 현상이 발생하게 되어 전체적으로 이미지의 주변 부위에 다른 색이 나타나는 현상이 일어나고 이후 컬러 보정을 통해서 제대로 된 색을 찾기가 어려운 바 중심 픽셀의 보정은 중요하다.
픽셀 위치 계산부(425)는 중심 위치 검출부(415)에 의해 발견된 셰이딩 이미지의 중심 픽셀과 각 픽셀간의 거리를 계산한다. 예를 들어 보정 처리부(321)는 수평, 수직 방향으로 들어오는 영상 신호를 카운트하며(이는 예를 들어 픽셀값 분석부(410) 또는 별도의 카운팅 수단에 의해 수행될 수 있음), 카운트된 숫자는 상응하는 픽셀의 위치를 나타낸다. 이를 이용하여 픽셀 위치 계산부(425)는 각 픽셀과 중심 픽셀간의 거리를 계산할 수 있으며, 각 픽셀과 중심 픽셀간의 거리는 블록으로서 구분될 수 있다.
보상계수 생성부(430)는 임의의 특정 픽셀에 대한 보상계수를 생성하여 보상 값을 산출한다. 보상계수 생성부(430)는 보상 곡선을 모델링하여 보상 대상 픽셀에 대한 보상계수를 생성할 수 있으며, 이에 따라 향상된 화질의 이미지를 얻을 수 있다.
예를 들어, 보상계수 생성부(430)는 셰이딩 이미지의 게인 곡선에 상응하는 가장 이상적인 특성 곡선을 산출할 수 있다. 그리고, 보상계수 생성부(430)는 예를 들어, 하기 수학식 1을 이용하여 특성 곡선의 임의의 구간에 보상 곡선이 일치하도록 보상계수들을 선택적으로 변경하여 일치하는 구간을 찾는다. 보상계수 생성부(430)가 특성 곡선의 임의의 구간에 일치하는 보상 곡선의 보상계수를 산출하였다면 해당 구간을 하나의 블록으로 결정할 수 있다.
Figure 112005077823196-pat00010
여기서,
Figure 112005077823196-pat00011
은 중심 픽셀에서 픽셀간의 거리이며,
Figure 112005077823196-pat00012
는 보상계수일 수 있다.
도 6 내지지 도 7을 이용하여 보상계수 생성부(430)가 수학식 1과 같이 모델링된 보상 곡선에서 보상 대상 픽셀에 대한 보상계수를 생성하는 방법을 간략히 설명하기로 하자.
우선 셰이딩 이미지에 상응하는 특성 곡선이 도 8a과 같으며, 도 8a의 각각의 블록을 하나의 전체 구간으로 간주하고,
Figure 112005077823196-pat00013
와 같이 3개 의 보상계수를 가진 2차 곡선에 매핑(mapping)한다고 가정하자. 보상 곡선의 보상계수의 값을 선택적으로 변경하여 도 8b의 곡선과 일치하는 결과를 얻었다면,
Figure 112005077823196-pat00014
까지의 구간을 하나의 블록으로 결정할 수 있다. 예를 들어,
Figure 112005077823196-pat00015
를 0.2,
Figure 112005077823196-pat00016
을 0,
Figure 112005077823196-pat00017
를 1이 대입되었을 때 특성 곡선의 일부 구간과 보상 곡선이 일치하였다면,
Figure 112005077823196-pat00018
의 구간을 하나의 블록(이하에서는 "제 1 블록"이라 칭하기로함)으로 결정하고,
Figure 112005077823196-pat00019
의 값과
Figure 112005077823196-pat00020
,
Figure 112005077823196-pat00021
,
Figure 112005077823196-pat00022
의 값을 보정 레지스터(322)에 저장할 수 있다.
Figure 112005077823196-pat00023
까지를 제1 블록으로 결정한 후 이후 일부 구간에 일치하는 보상 곡선을 찾기 위해
Figure 112005077823196-pat00024
,
Figure 112005077823196-pat00025
,
Figure 112005077823196-pat00026
의 값을 선택적으로 변경하여 특성 곡선의 일부 구간과 일치하는 보상 곡선의 보상계수들을 찾는다. 예를 들어,
Figure 112005077823196-pat00027
는 0.3,
Figure 112005077823196-pat00028
은 0,
Figure 112005077823196-pat00029
은 0.8일때
Figure 112005077823196-pat00030
-
Figure 112005077823196-pat00031
의 구간의 보상 곡선이 도 8b의 곡선과 일치하는 결과를 얻었다면,
Figure 112005077823196-pat00032
-
Figure 112005077823196-pat00033
의 구간을 하나의 블록(이하에서는 "제2 블록"이라 칭하기로함)으로 결정할 수 있다. 그리고,
Figure 112005077823196-pat00034
의 값과
Figure 112005077823196-pat00035
,
Figure 112005077823196-pat00036
,
Figure 112005077823196-pat00037
의 값을 보정 레지스터(322)에 저장할 수 있다.
이와 같이, 도 8b의 게인(gain) 곡선에 상응하는 임의의 구간에 일치하는 보상 곡선에 상응하는 다항식을 결정할 수 있다. 예를 들어, 도 8a와 같은 특성 곡선이 획득되었다면, 이에 대한 바람직한 보상 곡선은 도 8b와 같다. 이에 대한 설명은 당업자에게는 자명한 사항이므로 상세한 설명은 생략하기로 한다.
즉, 보상계수 생성부(430)는 도 8b와 같은 이상적인 보상 곡선을 생성하기 위해 수학식 1과 같이 정의된 다항식의 보정계수들의 값을 선택적으로 변경하여 해 당 구간의 보상값을 결정하여 보정 수행부(435)로 전달할 수 있다.
보정 수행부(435)는 보상계수 생성부(430)에 의해 산출된 보상값을 픽셀의 입력 화소값에 합하여 보정된 픽셀 정보를 생성하고 생성된 보정 픽셀 정보를 보간 처리부(323)로 전달한다. 즉, 셰이딩 현상이 제거된 보정 이미지가 보간 처리부(323)로 전달된다.
도 9는 본 발명의 바람직한 일 실시예에 따른 렌즈 셰이딩 보정 방법을 나타낸 순서도이다.
단계 910에서 픽셀값 분석부(410)는 센서부(310)로부터 백색 영역만을 촬영한 백색 이미지에 상응하는 디지털 영상 신호를 입력받는다. 여기서, 센서부(310)로부터 입력된 백색 이미지에 상응하는 디지털 영상 신호는 렌즈의 기하학적 특성에 따라 촬상면의 중심으로부터 가장자리로 멀어질수록 어두워지는 셰이딩 이미지 특성을 가질 수 있다. 또한, 픽셀값 분석부(410)는 각각의 픽셀에 대한 루미넌스 값, 게인 값 및 레벨 값 등을 분석하여 분석 정보를 생성할 수도 있다.
단계 915에서 중심 위치 검출부(415)는 라인 단위로 입력되는 디지털 영상 신호를 이용하여 셰이딩 이미지의 중심 위치에 상응하는 중심 픽셀을 검출한다.
920에서 픽셀 위치 계산부(425)는 보정 대상 픽셀의 위치를 판단하여 중심 픽셀과 보장 대상 픽셀의 거리를 계산한다.
단계 925에서 보상계수 생성부(430)는 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하고, 특성 곡선의 임의의 구간에 일치하는 보상 곡선을 생성 하기 위해 보상계수들을 선택적으로 변경하여 해당 구간에 일치하는 보상계수들을 산출한다. 특성 곡선의 임의의 구간에 일치하는 보상 곡선에 상응하는 보상계수들을 산출하였다면, 해당 구간을 하나의 블록으로 결정하고, 중심 픽셀에서부터 해당 구간의 거리와 해당 블록의 보상계수들을 보정 레지스터(322)에 저장한다. 보상계수 생성부(430)는 단계 925를 반복 수행하여 특성 곡선 전체에 대해 각각 임의의 구간에 일치하는 보상 곡선에 상응하는 보상계수들을 산출하여 일치하는 구간을 각각 블록으로 결정하여 블록에 상응하는 보상계수들과 블록의 거리를 보정 레지스터(322)에 저장할 수 있다.
단계 930에서 보상계수 생성부(430)는 특성 곡선의 모든 임의의 구간에 대해 일치하는 보상 곡선에 상응하는 보상계수들을 생성하였는지 여부를 판단한다.
만일 모든 구간에 대해 일치하는 보상계수들을 생성하지 못하였다면, 단계 925을 반복적으로 수행한다.
단계 935에서 보정 수행부(435)는 보정 대상 픽셀의 어느 블록에 위치하는지 여부를 결정하여 해당 블록에 상응하는 보상계수를 이용하여 보정 대상 픽셀의 보상값을 산출하여 입력 픽셀의 화소값에 대하여 보정을 수행할 수 있다.
상술한 바와 같이, 본 발명에 따른 이미지 센서에서의 렌즈 셰이딩 보정 방법 및 장치를 제공함으로써 렌즈 셰이딩의 블록별 보상값을 저장하는 대신 보상 곡선을 모델링하여 레지스터를 줄여 시스템의 부피를 줄일 수 있는 효과가 있다.
또한, 본 발명은 원시 이미지의 품질 저하를 방지할 수 있는 효과도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 셰이딩 이미지의 중심 픽셀을 검출하고 상기 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하며, 상기 특성 곡선의 임의의 구간과 일치하는 보상 곡선의 보상계수를 산출하고, 상기 구간을 하나의 블록으로 결정하여 상기 블록에 상응하는 보정 대상 픽셀은 상기 블록에 상응하는 보상계수를 이용하여 보상값을 산출하며, 상기 보정 대상 픽셀의 화소값 및 상기 보상값을 이용하여 보정을 수행하는 이미지 프로세서.
  2. 제 1항에 있어서,
    상기 보상 곡선은 하기 수학식을 이용하여 산출하는 이미지 프로세서.
    Figure 112005077823196-pat00038
    여기서,
    Figure 112005077823196-pat00039
    은 중심 픽셀에서 픽셀간의 거리이며,
    Figure 112005077823196-pat00040
    는 보상계수임.
  3. 이미지 센서에서의 렌즈 셰이딩 현상을 보정하는 렌즈 셰이딩 보정 장치에 있어서,
    디지털 영상 신호에 상응하는 셰이딩 이미지의 중심 픽셀을 검출하는 중심 위치 검출부;
    보정 대상 픽셀의 위치를 판단하여 상기 중심 픽셀과 상기 보정 대상 픽셀간의 거리를 산출하는 픽셀 위치 계산부;
    상기 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하며, 상기 특성 곡선의 임의의 구간과 일치하는 보상 곡선의 보상계수를 산출하고, 상기 구간을 하나의 블록으로 결정하여 상기 블록에 상응하는 보정 대상 픽셀은 상기 보상계수를 보상값을 산출하는 보상계수 생성부; 및
    상기 보상 대상 픽셀의 입력 화소값 및 상기 보상값을 이용하여 보정을 수행하는 보정 수행부를 포함하는 렌즈 셰이딩 보정 장치.
  4. 제 3항에 있어서,
    보상 곡선은 하기 수학식을 이용하여 산출하는 렌즈 셰이딩 보정 장치.
    Figure 112005077823196-pat00041
    여기서,
    Figure 112005077823196-pat00042
    은 중심 픽셀에서 픽셀간의 거리이며,
    Figure 112005077823196-pat00043
    는 보상계수임.
  5. 제 3항에 있어서,
    상기 블록이 결정되면 상기 블록까지의 거리 및 보상계수를 저장하는 보정 레지스터를 더 포함하는 렌즈 셰이딩 보정 장치.
  6. 이미지 센서에서의 렌즈 셰이딩 현상을 보정하는 렌즈 셰이딩 보정 장치에서 수행되는 렌즈 셰이딩 보정 방법에 있어서,
    디지털 영상 신호에 상응하는 셰이딩 이미지의 중심 픽셀을 검출하는 단계;
    보정 대상 픽셀의 위치를 상기 중심 픽셀과 상기 보정 대상 픽셀간의 거리를 산출하는 단계;
    상기 중심 픽셀을 기준으로 특성 곡선의 임의의 구간에 일치하는 보상 곡선의 보상계수를 산출하고 상기 구간을 하나의 블록으로 결정하는 단계;
    상기 보상 대상 픽셀이 상기 블록에 포함되는지 여부를 판단하는 단계;
    상기 블록에 포함되면 상기 보상계수를 이용하여 보상값을 산출하는 단계; 및
    상기 보상 대상 픽셀의 입력 화소값 및 상기 보상계수를 이용하여 보정을 수행하는 단계를 포함하는 렌즈 셰이딩 보정 방법.
  7. 제 6항에 있어서,
    하기 수학식에 상기 보상계수를 선택적으로 변경하여 상기 특성 곡선에 일치하는 구간을 하나의 블록으로 결정하는 렌즈 셰이딩 보정 방법.
    Figure 112005077823196-pat00044
    여기서,
    Figure 112005077823196-pat00045
    은 중심 픽셀에서 픽셀간의 거리이며,
    Figure 112005077823196-pat00046
    는 보상계수임.
  8. 제 6항에 있어서,
    상기 셰이딩 이미지의 게인 곡선에 상응하는 특성 곡선을 산출하는 단계; 및
    상기 블록의 보상계수 및 중심 픽셀로부터의 거리를 저장하는 단계를 더 포함하는 렌즈 셰이딩 보정 방법.
KR1020050133469A 2005-12-29 2005-12-29 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법 KR100747729B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050133469A KR100747729B1 (ko) 2005-12-29 2005-12-29 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법
PCT/KR2006/005845 WO2007075066A1 (en) 2005-12-29 2006-12-28 Image processor, apparatus and method for lens shading compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050133469A KR100747729B1 (ko) 2005-12-29 2005-12-29 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20070070669A KR20070070669A (ko) 2007-07-04
KR100747729B1 true KR100747729B1 (ko) 2007-08-08

Family

ID=38505936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050133469A KR100747729B1 (ko) 2005-12-29 2005-12-29 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100747729B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228406B2 (en) * 2010-06-04 2012-07-24 Apple Inc. Adaptive lens shading correction
KR101797080B1 (ko) * 2010-11-16 2017-12-12 엘지이노텍 주식회사 카메라 모듈 및 그의 렌즈 쉐이딩 교정 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030005262A (ko) * 2001-02-07 2003-01-17 소니 가부시끼 가이샤 화면 보정 방법 및 촬상 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030005262A (ko) * 2001-02-07 2003-01-17 소니 가부시끼 가이샤 화면 보정 방법 및 촬상 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP P2004165958 A

Also Published As

Publication number Publication date
KR20070070669A (ko) 2007-07-04

Similar Documents

Publication Publication Date Title
KR100615277B1 (ko) 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치
KR100808493B1 (ko) 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
KR100816301B1 (ko) 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체
US8199229B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
JP4709084B2 (ja) 画像処理装置及び画像処理方法
JP3824237B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4983093B2 (ja) 撮像装置および方法
US7626619B2 (en) Digital camera
US20180330529A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
KR100731812B1 (ko) 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
WO2007075066A1 (en) Image processor, apparatus and method for lens shading compensation
US8264562B2 (en) Image distortion correcting method and device
KR100566564B1 (ko) 색 온도 검출 방법 및 장치
JP4993275B2 (ja) 画像処理装置
KR100747729B1 (ko) 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 그 방법
US7728881B2 (en) Color signal correcting method, apparatus, and program
JP3730063B2 (ja) 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
KR100566571B1 (ko) 이미지 센서에서의 렌즈 셰이딩 현상 자동 보정 방법 및장치
JP2003134523A (ja) 撮像装置及び撮像方法
KR100843624B1 (ko) 이미지 프로세서, 렌즈 셰이딩 보정 장치 및 방법
KR100769553B1 (ko) 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
JP2005064684A (ja) 検出装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20051229

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070502

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070802

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070803

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100625

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110711

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20120710

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130731

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130731

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140728

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140728

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150729

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150729

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160801

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20200727

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20210802

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20230724

Start annual number: 17

End annual number: 17

PR1001 Payment of annual fee

Payment date: 20240801

Start annual number: 18

End annual number: 18