KR101141553B1 - 이미지 센서의 렌즈 쉐이딩 보정 장치 - Google Patents

이미지 센서의 렌즈 쉐이딩 보정 장치 Download PDF

Info

Publication number
KR101141553B1
KR101141553B1 KR1020100059175A KR20100059175A KR101141553B1 KR 101141553 B1 KR101141553 B1 KR 101141553B1 KR 1020100059175 A KR1020100059175 A KR 1020100059175A KR 20100059175 A KR20100059175 A KR 20100059175A KR 101141553 B1 KR101141553 B1 KR 101141553B1
Authority
KR
South Korea
Prior art keywords
luminance
pixel
corner
reference image
weight
Prior art date
Application number
KR1020100059175A
Other languages
English (en)
Other versions
KR20110138970A (ko
Inventor
서강훈
김민석
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020100059175A priority Critical patent/KR101141553B1/ko
Priority to US13/163,859 priority patent/US8542919B2/en
Publication of KR20110138970A publication Critical patent/KR20110138970A/ko
Application granted granted Critical
Publication of KR101141553B1 publication Critical patent/KR101141553B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

기준 영상을 복수의 기준 영상 블록으로 분할하고, 상기 복수의 기준 영상 블록 각각의 모서리에 있는 4개의 모서리 화소의 휘도값을 추출하여 복수의 모서리 화소에 대한 휘도 가중치를 계산하는 기준 영상 휘도 추출부와, 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이인 휘도 가중치 차이값을 저장하는 휘도 가중치 차이 저장부와, 휘도 가중치 차이값을 휘도 가중치로 복원하는 휘도 가중치 복원부와, 휘도 가중치 복원부에서 복원된 휘도 가중치를 이용하여, 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치로부터 해당 기준 영상 블록의 각 화소의 휘도 가중치를 계산하는 휘도 가중치 계산부와, 입력 영상의 각 화소의 휘도값에 대하여, 휘도 가중치 계산부에서 계산된 각 화소별 휘소 가중치를 곱하여 입력 영상의 휘도를 보정하는 휘도 보정부를 포함하는 이미지 센서의 렌즈 쉐이딩 보정 장치를 제공한다.

Description

이미지 센서의 렌즈 쉐이딩 보정 장치{LENS SHADING COMPENSATION APPARATUS OF IMAGE SENSOR}
본 발명은 이미지 센서의 렌즈 쉐이딩 보정 장치에 관한 것으로, 더욱 상세하게는, 이미지 센서로 촬영된 기준 영상을 복수의 블록으로 분할하여 각 블록에서의 모서리 화소에 대한 휘도 가중치를 구하여 입력 영상의 렌즈 쉐이딩을 보정하는 이미지 센서의 렌즈 쉐이딩 보정 장치에 관한 것이다.
이미지 센서란 반도체가 빛에 반응하는 성질을 이용하여 이미지를 촬영하는 장치로서, 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 화소가 감지하여 전기적인 값으로 전환하는 장치이다. 이러한 전기적인 값을 신호 처리가 가능한 레벨로 변환하여 주는 것이 바로 이미지 센서의 역할이다.
즉, 이미지 센서라 함은 광학 이미지를 전기적인 신호로 변환시키는 반도체 소자로서, 이중 전하 결합 소자(Charge Coupled Device: CCD)는 개개의 모스(Metal Oxide Semiconductor: MOS) 커패시터가 서로 매우 근접한 위치에 있으면서 전하가 커패시터에 저장되고 이송되는 소자이며, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서는 제어 신호 및 신호 처리 회로를 주변 회로로 사용하는 CMOS 기술을 이용하고, 화소 수만큼 MOS 트랜지스터를 형성하여 이용함으로써 차례차례 출력을 검출하는 스위칭 방식을 채용하는 소자이다.
이러한 CMOS 이미지 센서는 저전력 소비라는 큰 장점을 가지고 있기 때문에 휴대폰 등과 같은 개인 휴대용 시스템에 매우 유용하다. 따라서, CMOS 이미지 센서는 PC 카메라, 의학용, 완구용 등 다양하게 그 응용이 가능하다.
한편, 이미지 센서는 일반적으로 렌즈를 통하여 피사체의 광학 이미지를 촬영하는데, 렌즈의 볼록한 형상의 영향 등으로 촬영된 영상의 가장자리 영역의 휘도가 중심 영역의 휘도보다 저하되는 렌즈 쉐이딩 현상이 발생하는 문제점이 있다.
따라서, 양호한 영상을 획득하기 위하여는 렌즈 쉐이딩 현상이 보정되어야 한다. 그러나, 종래에는 렌즈 쉐이딩을 보정하기 위하여 이미지 센서의 모든 화소별로 휘도 가중치를 구한 다음, 입력 영상의 각 화소에 휘도 가중치를 곱하는 방식을 사용하는데, 이 경우 휘도 가중치를 모든 화소에 대하여 계산하여 이를 저장하고 있어야 하므로 큰 용량의 메모리를 필요로 하는 문제점이 있었다.
본 발명의 일 실시예는 상술한 문제점을 해결하기 위해 안출된 것으로, 적은 메모리 용량으로 렌즈 쉐이딩 현상을 보정할 수 있는 이미지 센서의 렌즈 쉐이딩 보정 장치를 제공한다.
본 발명의 일 양태는, 기준 영상을 복수의 기준 영상 블록으로 분할하고, 상기 복수의 기준 영상 블록 각각의 모서리에 있는 4개의 모서리 화소의 휘도값을 추출하여 복수의 모서리 화소에 대한 휘도 가중치를 계산하는 기준 영상 휘도 추출부와, 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이인 휘도 가중치 차이값을 저장하는 휘도 가중치 차이 저장부와, 휘도 가중치 차이값을 휘도 가중치로 복원하는 휘도 가중치 복원부와, 휘도 가중치 복원부에서 복원된 휘도 가중치를 이용하여, 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치로부터 해당 기준 영상 블록의 각 화소의 휘도 가중치를 계산하는 휘도 가중치 계산부와, 입력 영상의 각 화소의 휘도값에 대하여, 휘도 가중치 계산부에서 계산된 각 화소별 휘소 가중치를 곱하여 입력 영상의 휘도를 보정하는 휘도 보정부를 포함하는 이미지 센서의 렌즈 쉐이딩 보정 장치를 제공한다.
일 실시예에서, 휘도 가중치 차이값을 나타내는 데이터의 크기는 휘도 가중치를 나타내는 데이터의 크기보다 더 작을 수 있다.
일 실시예에서, 휘도 가중치 차이 저장부는, 복수의 모서리 화소 중 어느 한 화소를 기준 모서리 화소로 하여 기준 모서리 화소로부터 다른 모서리 화소로의 기설정된 순서에 따라 휘도 가중치 차이값을 계산하여 저장할 수 있다. 이 경우, 휘도 가중치 차이 저장부는, 복수의 모서리 화소 각각은 해당 모서리 화소의 휘도 가중치와 기설정된 순서에서 직전의 모서리 화소의 휘도 가중치의 차이를 상기 해당 모서리 화소의 휘도 가중치 차이값으로서 저장할 수 있다.
일 실시예에서, 기준 영상 휘도 추출부에서 계산되는 휘도 가중치는 기준 영상에서 추출된 모든 모서리 화소의 휘도값 중 가장 밝은 휘도값을 기준으로 계산될 수 있다.
일 실시예에서, 휘도 가중치 계산부는, 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치를 각 화소와 4개의 모서리 화소의 거리 비례에 따라 계산할 수 있다.
일 실시예에서, 휘도 보정부는 입력 영상의 화소의 보정된 화소값이 기설정된 최소값보다 작은 경우 최소값으로 클램핑할 수 있으며, 또한, 휘도 보정부는 입력 영상의 화소의 보정된 화소값이 기설정된 최대값보다 큰 경우 최대값으로 클램핑할 수 있다.
본 발명의 다른 양태에 따르면, 기준 영상을 복수의 기준 영상 블록으로 분할하고, 복수의 기준 영상 블록 각각의 모서리에 있는 4개의 모서리 화소의 휘도값을 추출하여 복수의 모서리 화소에 대한 휘도 가중치를 계산하는 기준 영상 휘도 추출 단계와, 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이인 휘도 가중치 차이값을 저장하는 휘도 가중치 차이 저장 단계와, 휘도 가중치 차이값을 휘도 가중치로 복원하는 휘도 가중치 복원 단계와, 휘도 가중치 복원 단계에서 복원된 휘도 가중치를 이용하여, 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치로부터 해당 기준 영상 블록의 각 화소의 휘도 가중치를 계산하는 휘도 가중치 계산 단계와, 입력 영상의 각 화소의 휘도값에 대하여, 휘도 가중치 계산 단계에서 계산된 각 화소별 휘소 가중치를 곱하여 입력 영상의 휘도를 보정하는 휘도 보정 단계를 포함하는 이미지 센서의 렌즈 쉐이딩 보정 방법을 제공한다.
일 실시예에서, 휘도 가중치 차이값을 나타내는 데이터의 크기는 휘도 가중치를 나타내는 데이터의 크기보다 더 작을 수 있다.
일 실시예에서, 휘도 가중치 차이 저장 단계는, 복수의 모서리 화소 중 어느 한 화소를 기준 모서리 화소로 하여 상기 기준 모서리 화소로부터 다른 모서리 화소로의 기설정된 순서에 따라 휘도 가중치 차이값을 계산하여 저장할 수 있다. 이 경우, 휘도 가중치 차이 저장 단계는, 복수의 모서리 화소 각각은 해당 모서리 화소의 휘도 가중치와 기설정된 순서에서 직전의 모서리 화소의 휘도 가중치의 차이를 해당 모서리 화소의 휘도 가중치 차이값으로서 저장할 수 있다.
일 실시예에서, 기준 영상 휘도 추출 단계에서 계산되는 휘도 가중치는 기준 영상에서 추출된 모든 모서리 화소의 휘도값 중 가장 밝은 휘도값을 기준으로 계산될 수 있다.
일 실시예에서, 휘도 가중치 계산 단계는 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치를 각 화소와 4개의 모서리 화소의 거리 비례에 따라 계산할 수 있다.
일 실시예에서, 휘도 보정 단계는, 입력 영상의 화소의 보정된 화소값이 기설정된 최소값보다 작은 경우 최소값으로 클램핑하는 단계를 포함할 수 있으며, 또한, 휘도 보정 단계는, 입력 영상의 화소의 보정된 화소값이 기설정된 최대값보다 큰 경우 최대값으로 클램핑하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 장치에 의하면, 적은 메모리 용량으로 렌즈 쉐이딩 현상을 보정할 수 있는 이미지 센서의 렌즈 쉐이딩 보정 장치를 제공한다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 장치의 개략적인 블록도이다.
도 2는 이미지 센서의 센서부로부터 제공된 렌즈 쉐이딩 현상을 갖는 기준 영상의 예를 도시한다.
도 3은 기준 영상을 분할하는 예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 휘도 가중치 차이값을 계산하기 위한 개략적인 도면이다.
도 5a 및 5b는 기준 영상 블록의 한 화소에 대한 휘도 가중치를 계산하는 일례를 설명하는 도면이다.
도 6는 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 방법에 대한 플로우차트이다.
이하, 도면을 참조하여, 본 발명의 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 장치의 개략적인 블록도이다. 도 1에 도시된 바와 같이, 렌즈 쉐이딩 보정 장치(100)는 기준 영상 휘도 추출부(110), 휘도 가중치 차이 저장부(120), 휘도 가중치 복원부(130), 휘도 가중치 계산부(140) 및 휘도 보정부(150)를 포함한다.
기준 영상 휘도 추출부(110)는 기준 영상을 복수의 기준 영상 블록으로 분할하고, 복수의 기준 영상 블록 각각의 모서리에 있는 4개의 모서리 화소의 휘도값을 추출하여 복수의 모서리 화소에 대한 휘도 가중치를 계산하며, 휘도 가중치 차이 저장부(120)는 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이인 휘도 가중치 차이값을 저장한다. 휘도 가중치 복원부(130)는 휘도 가중치 차이값을 휘도 가중치로 복원하며, 휘도 가중치 계산부(140)는 휘도 가중치 복원부(130)에서 복원된 휘도 가중치를 이용하여, 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치로부터 해당 기준 영상 블록의 각 화소의 휘도 가중치를 계산한다. 휘도 보정부(150)는 입력 영상의 각 화소의 휘도값에 대하여, 휘도 가중치 계산부(140)에서 계산된 각 화소별 휘소 가중치를 곱하여 상기 입력 영상의 휘도를 보정한다.
이와 같이 구성된 렌즈 쉐이딩 보정 장치(100)는 다음과 같이 동작한다.
먼저, 렌즈 쉐이딩 보정 장치(100)는, 기준 영상 휘도 추출부(110)에서 렌즈 쉐이딩 보정을 위한 기준 영상을 도시되지 않은 센서부로부터 입력받는다. 이미지 센서의 센서부는 보통 컬러 필터 어레이, 아날로그 디지털 컨버터, 렌즈부 등을 포함할 수 있다.
컬러 필터 어레이는 렌즈부를 통해 입력되는 광학적 피사체 신호를 전기적인 신호로 변환하여 출력한다. 이 때, 컬러 필터 어레이는 해상도면에서 유리한 베이어 패턴(Bayer pattern)을 사용할 수 있다. 아날로그 디지털 컨버터는 컬러 필터어레이에 의해 변환된 영상 신호를 디지털 신호로 변환하여 본 발명의 렌즈 쉐이딩 보정 장치(100)에 제공한다.
기준 영상은 단색 영상일 수 있으며, 예를 들어, 백색의 차트를 촬영하여 얻어진 백색 영상일 수 있다. 기준 영상이 센서부를 통해 입력되면, 기준 영상은 렌즈 쉐이딩 현상에 의해 휘도가 균일하지 않게 된다. 이러한 예가 도 2에 도시된다. 도 2는 이미지 센서의 센서부로부터 제공된 렌즈 쉐이딩 현상을 갖는 기준 영상의 예를 도시하는 것으로, 도 2의 (a)는 중심에서 가장자리로 갈수록 휘도가 낮아지는 기준 영상을 나타내며, 도 2의 (b)는 복수의 지점에서 휘도가 높고 그 지점으로부터 멀어질수록 휘도가 낮아지는 기준 영상을 나타낸다. 이러한 렌즈 쉐이딩 현상은 렌즈 자체의 특성 또는 렌즈부의 제조 과정에서 발생하는 불균일에 의해 발생할 수 있다.
다음으로, 기준 영상 휘도 추출부(110)는 입력된 기준 영상을 복수의 기준 영상 블록으로 분할한다. 도 3은 기준 영상을 분할하는 예를 도시한다. 도 3에 도시된 바와 같이, 기준 영상은 가로 m개 및 세로 n개의 기준 영상 블록으로 분할된다.
예로써, 기준 영상은 17 × 13의 기준 영상 블록으로 분할될 수 있으며, 일 실시예에서, 각 블록은 160 × 160의 화소 배열을 가질 수 있다. 따라서, 기준 영상 블록의 개수는 기준 영상의 전체 화소 배열 크기 및 각 블록의 화소 배열에 의해 가변될 수 있다.
다음으로, 기준 영상 휘도 추출부(110)는 분할된 기준 영상 블록에서 각 모서리 화소에서의 휘도값을 추출한다. 각 기준 영상 블록은 모두 4개의 모서리를 가지므로 기준 영상이 예를 들어 17 × 13의 기준 영상 블록으로 분할된 경우 모두 18 × 14 = 252개 화소의 휘도값을 추출하면 된다.
각 모서리 화소에 대한 휘도값이 모두 추출되면, 이로부터 각 모서리 화소별 휘도 가중치를 계산한다. 휘도 가중치는 렌즈 쉐이딩 현상을 보정하기 위하여 입력 영상의 화소값에 곱하는 값(이득)으로 렌즈 쉐이딩에 의해 어두운 휘도값을 갖는 화소에 대하여는 큰 값으로, 반대로 밝은 휘도값을 갖는 화소에 대하여는 작은 값으로 설정된다. 예를 들어, 일 실시예에서, 휘도 가중치는 기준 영상에서 추출된 모든 모서리 화소의 휘도값 중 가장 밝은 휘도값을 기준으로 계산될 수 있다. 즉, 가장 밝은 휘도값을 갖는 화소에 대하여 휘도 가중치가 1로 설정되고, 이보다 낮은 휘도값을 갖는 화소에 대하여는 가장 밝은 휘도값에 대한 비에 따라 1보다 더 큰 값으로 설정될 수 있다.
휘도 가중치가 계산되면, 기준 영상 휘도 추출부(110)는 휘도 가중치를 가중치 차이 저장부(120)로 출력한다. 가중치 차이 저장부(120)는 기준 영상 휘도 추출부(110)로부터 입력된 각 모서리 화소의 휘도 가중치에서 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이를 계산하고 그 결과를 휘도 가중치 차이값으로서 저장한다.
예를 들어, 휘도 가중치 차이 저장부(120)는, 복수의 모서리 화소 중 어느 한 화소를 기준 모서리 화소로 하여 기준 모서리 화소로부터 다른 모서리 화소로의 기설정된 순서에 따라 휘도 가중치 차이값을 계산하여 휘도 가중치 차이값으로서 저장할 수 있다. 이 때, 휘도 가중치 차이 저장부(220)는, 복수의 모서리 화소 각각은 해당 모서리 화소의 휘도 가중치와 기설정된 순서에서 직전의 모서리 화소의 휘도 가중치의 차이를 상기 해당 모서리 화소의 휘도 가중치 차이값으로서 저장할 수 있다.
렌즈 쉐이딩 현상의 특징상 인접한 두 화소에서의 기준 영상에서의 휘도 차이는 많이 발생하지 않는다. 예를 들어, 본 발명의 일 실시예에 따른 휘도 가중치 차이값을 계산하기 위한 개략적인 도면인 도 4를 참조하면, 기준 모서리 화소는 E11이며, 기준 모서리 화소(E11)로부터 오른쪽으로 모서리 화소(E12, E13, E14, ...)에 대한 휘도 가중치 차이값이 계산된다. 이 때, 각 모서리 화소(E11, E12, E13, E14)의 괄호에 나타낸 값이 휘도 가중치이다. 다음으로, 모서리 화소(E12, E13, E14, ...)의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이를 계산한다. 즉, 모서리 화소(E12)에 대하여는 기준 모서리 화소(E11)의 화소 가중치와의 차이를, 모서리 화소(E13)에 대하여는 모서리 화소(E12)의 화소 가중치와의 차이, 모서리 화소(E14)에 대하여는 기준 모서리 화소(E13)의 화소 가중치와의 차이를 각각 계산한다. 계산된 값은 모서리 화소의 아래에 도시된 값들(-5, -7, -6)이다. 도 3에서 알 수 있듯이, 휘도 가중치 차이값의 크기는 각 모서리 화소가 갖는 휘도 가중치의 크기보다 더 작은 것을 알 수 있다. 한편 상기 설명에서 휘도 가중치 및 휘도 가중치 차이값의 값의 크기는 설명을 위한 값으로 예시적인 것이며, 다른 크기, 예를 들어, 1, 1.1, 1.2 등의 값들이 사용될 수 있다.
따라서, 휘도 가중치 차이값을 나타내는 데이터의 크기는 휘도 가중치를 나타내는 데이터의 크기보다 더 작아질 수 있어, 휘도 가중치를 저장하기 위한 메모리의 크기를 대폭 줄일 수 있다.
그러므로, 본 발명의 일 실시예에 따르면, 기준 영상의 각 화소에 대한 휘도 가중치를 모두 계산할 필요가 없이 분할된 기준 영상 블록에서의 각 모서리에서만 계산하면 되므로 휘도 가중치의 계산을 매우 신속하게 할 수 있으며, 또한, 휘도 가중치의 개수도 모든 화소에 대한 휘도 가중치를 구하는 경우보다도 훨씬 더 적고, 더하여, 휘도 가중치를 저장하지 않고 더 작은 크기를 갖는 휘도 가중치 차이값으로 가공하여 저장함으로써, 휘도 가중치, 즉 휘도 가중치 차이값을 저장하는 메모리의 용량도 매우 적게 줄일 수 있는 효과가 있다.
한편, 각 모서리 화소에 대한 휘도 가중치는 베이어 패턴을 구성하는 Gr, Gb, R, B별로 계산되는 것이 바람직하다. 이하에서, 화소라 함은 베이어 패턴을 구성하는 Gr, Gb, R, B의 4개의 개별 화소를 포함하는 것을 의미할 수 있다는 점에 유의하여야 한다. 그리고, 위에서 기준 영상 휘도 추출부(110)가 모든 모서리 화소에 대한 휘도 가중치가 계산된 후 휘도 가중치 차이 저장부(120)에서 휘도 가중치 차이값을 계산하여 저장하는 것으로 설명되었으나, 본 발명은 이에 한정되지 않으며, 각 모서리 화소에 대하여 휘도 가중치가 계산되는 동시에 휘도 가중치 차이값이 계산되어 저장되는 것도 가능하다.
이와 같이 저장된 휘도 가중치 차이값은, 영상이 입력될 때 입력 영상에 대한 렌즈 쉐이딩을 보상하기 위한 휘도 가중치로 복원부(130)에서 복원된다. 예를 들어, 기준 모서리 화소의 휘도 가중치에서 다음 모서리 화소에 대한 휘도 가중치 차이값을 더하여 다음 모서리 화소에 대한 휘도 가중치를 계산하고, 이 휘도 가중치로부터 같은 방법으로 그 다음 모서리 화소에 대한 휘도 가중치를 계산한다. 이러한 과정을 완료하면, 모든 모서리 화소에 대한 휘도 가중치가 계산된다.
각 모서리 화소에 대한 휘도 가중치가 계산되면, 휘도 가중치 계산부(140)는 각 기준 영상 블록에서 해당 블록의 4개의 모서리 화소의 화소 가중치로부터 해당 블록의 모든 화소에 대한 휘도 가중치를 계산한다. 일 실시예에서, 휘도 가중치 계산부(140)는 각 기준 영상 블록에 대하여, 해당 기준 영상 블록의 각 화소의 휘도 가중치를 상기 각 화소와 상기 4개의 모서리 화소의 거리 비례에 따라 계산한다.
도 5는 기준 영상 블록의 한 화소에 대한 휘도 가중치를 계산하는 일례를 설명하는 도면이다. 특히, 도 5a는 휘도 가중치 계산의 제1 단계를 설명하며, 도 5b는 휘도 가중치 계산의 제2 단계를 설명하는 도면이다.
휘도 가중치 계산의 제1 단계에서, 도 5a에 도시된 바와 같이, 휘도 가중치가 계산되는 화소(Pij)와 동일한 열에 있는 화소 중에서 모서리 화소(P11, P1n, Pm1, Pmn)와 같은 행에 있는 2개의 화소(Pi1, Pim)를 정하고, 정해진 화소의 휘도 가중치를 같은 행에 있은 모서리 화소, 즉 화소(Pil)에 대하여는 모서리 화소(P11, P1n)의, 그리고 화소(Pim)에 대하여는 모서리 화소(Pm1, Pmn)의 휘도 가중치로부터 거리(x, y)를 이용하여 거리 비례에 따라 계산한다.
다음으로 휘도 가중치 계산의 제2 단계에서, 도 5b에 도시된 바와 같이, 제1 단계에서 구해진 2개의 화소(Pi1, Pim)와 해당 화소(Pij)의 거리(x', y')에 따라 2개의 화소(Pi1, Pim)의 휘도 가중치를 거리 비례에 따라 계산하여 해당 화소(Pij)의 휘도 가중치를 구한다.
기준 영상 블록의 모든 화소에 대하여 이러한 과정을 수행하고, 또한 모든 기준 영상 블록에 대하여도 이러한 과정을 수행함으로써, 모든 화소에 대한 휘도 가중치를 계산할 수 있다. 또한, 이와 같은 가중치 계산 방법은 한가지 예일 뿐이며, 다른 계산 방법도 적용될 수 있다.
한편, 휘도 보정부(150)는 입력 영상을 입력받고, 입력 영상의 각 화소에 대하여 해당 휘도값에 휘도 가중치 계산부(140)에서 계산된 그 화소에 대응하는 휘도 가중치를 곱한다. 이 때, 입력 영상의 각 화소에 대한 휘도값 보정이 이루어질 때 휘도 가중치 계산부(140)는 온-더-플라이(on-the-fly) 방식으로 해당 화소에 대한 휘도 가중치를 계산하여 휘도 보정부(150)에 제공된다. 따라서, 각 화소에 대한 휘도 가중치를 별도로 저장할 필요가 없다.
일 실시예에서, 휘도 보정부(150)는 입력 영상의 화소의 보정된 화소값, 즉, 본래의 화소값에 그 화소의 휘도 가중치가 곱해진 화소값이 기설정된 최소값보다 작은 경우 그 화소값을 최소값으로 클램핑하는 것이 바람직하다. 예를 들어, 최소값은 0이 될 수 있다. 또한, 휘도 보정부(150)는 입력 영상의 화소의 보정된 화소값이 기설정된 최대값보다 큰 경우, 상기 최대값으로 클램핑하는 것이 바람직하다. 예를 들어, 상기 화소값을 나타내는 비트의 수가 n이라 하면, 최대값은 2n이 될 수 있다. 이는 화소값이 디지털 값이기 때문에, 디지털 값의 특성상 가질 수 있는 값의 범위를 벗어난 경우에 실제로 화면 등에 나타나는 영상의 휘도값이 반전되어 나타날 수 있어 그 범위를 벗어나는 화소값을 최대값 또는 최소값으로 클램핑함으로써 출력 영상의 품질을 높일 수 있다.
이러한 과정을 통하여, 입력 영상에서 렌즈 쉐이딩 보정이 완료된 입력 영상이 출력된다.
다음으로, 도 6을 참조하여 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 방법에 대하여 설명한다.
도 6는 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 방법에 대한 플로우차트이다. 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 방법은, 기준 영상 휘도 추출 단계(S110), 휘도 가중치 차이 저장 단계(S120), 휘도 가중치 복원 단계(S130), 휘도 가중치 계산 단계(S140), 휘도 보정 단계(S150), 최소값으로 클램핑하는 단계(S160, S170) 및 최대값으로 클램핑하는 단계(S180, S190)를 포함한다.
기준 영상 휘도 추출 단계(S110)에서, 기준 영상을 복수의 기준 영상 블록으로 분할하고, 복수의 기준 영상 블록 각각의 4개의 모서리 화소의 휘도값을 추출하여 복수의 모서리 화소에 대한 휘도 가중치를 계산한다. 이 때, 계산되는 휘도 가중치는 기준 영상에서 추출된 모든 모서리 화소의 휘도값 중 가장 밝은 휘도값을 기준으로 계산될 수 있다.
휘도 가중치 차이 저장 단계(S120)에서는, 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이인 휘도 가중치 차이값이 저장된다. 이 때, 복수의 모서리 화소 중 어느 한 화소를 기준 모서리 화소로 하여 기준 모서리 화소로부터 다른 모서리 화소로의 기설정된 순서에 따라 상기 휘도 가중치 차이값을 계산하여 저장할 수 있으며, 또한, 복수의 모서리 화소 각각은 해당 모서리 화소의 휘도 가중치와 기설정된 순서에서 직전의 모서리 화소의 휘도 가중치의 차이를 해당 모서리 화소의 휘도 가중치 차이값으로서 저장할 수 있다.
휘도 가중치 복원 단계(S130)에서는, 휘도 가중치 차이값을 상기 휘도 가중치로 복원한다.
휘도 가중치 계산 단계(S140)에서는, 휘도 가중치 복원 단계(S130)에서 복원된 휘도 가중치를 이용하여, 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치로부터 해당 기준 영상 블록의 각 화소의 휘도 가중치가 계산된다. 이 때, 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치를 각 화소와 상기 4개의 모서리 화소의 거리 비례에 따라 계산할 수 있다.
휘도 보정 단계(S150)에서는, 입력 영상의 각 화소의 휘도값에 대하여, 휘도 가중치 계산부에서 계산된 각 화소별 휘소 가중치를 곱하여 입력 영상의 휘도가 보정된다. 그 다음, 입력 영상의 화소의 보정된 화소값이 기설정된 최소값과 비교되어(S160), 입력 영상의 화소의 보정된 화소값이 기설정된 최소값보다 작은 경우(S160-예) 해당 화소값은 최소값으로 클램핑된다(S170). 또한, 입력 영상의 화소의 보정된 화소값이 기설정된 최대값과 비교되어(S180), 입력 영상의 화소의 보정된 화소값이 기설정된 최소값보다 작은 경우(S180-예) 해당 화소값은 최소값으로 클램핑된다(S190).
상기 각 단계에 대한 상세한 설명은 도 1 내지 5를 참조하여 설명된 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 장치의 동작에 대응하므로, 이에 대한 상세한 설명은 생략된다.
이와 같이, 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 장치 및 방법에 의하면, 기준 영상에 대하여 모든 화소에 대한 휘도 가중치를 미리 계산하여 메모리에 저장하는 대신에, 분할된 기준 영상 블록별로 4개의 모서리 화소에 대한 휘도 가중치를 계산하여 두고, 이를 입력 영상의 휘도 보정할 때 계산된 휘도 가중치를 이용하여 모든 화소에 대하여 휘도 가중치를 계산함으로써, 렌즈 쉐이딩 보정을 위한 휘도 가중치의 저장용 메모리의 크기를 크게 줄일 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 센서의 렌즈 쉐이딩 보정 장치 및 방법에 의하면, 기준 영상을 복수의 기준 영상 블록으로 나누어 각 모서리 화소의 휘도 가중치로부터 각 화소의 휘도 가중치를 계산하기 때문에, 도 2의 (a)와 같이 중심에서 가장자리로 갈수록 휘도가 낮아지는 렌즈 쉐이드 현상을 갖는 경우뿐만 아니라 도 2의 (b)와 같이 복수의 지점에서 휘도가 높고 그 지점으로부터 멀어질수록 휘도가 낮아지는 렌즈 쉐이딩 현상을 갖는 경우까지 입력 영상을 보정할 수 있다.
이러한 과정을 통하여, 입력 영상에서 렌즈 쉐이딩 보정이 완료된 입력 영상이 출력된다.
본 발명은 상술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니며, 첨부된 청구범위에 의해서만 한정되는 것으로 의도된다. 따라서, 청구범위에 기재된 범위 및 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
100: 이미지 센서의 렌즈 쉐이딩 보정 장치
110: 기준 영상 휘도 추출부
120: 휘도 가중치 차이 저장부
130: 휘도 가중치 복원부
140: 휘도 가중치 계산부
150: 휘도 보정부

Claims (16)

  1. 기준 영상을 복수의 기준 영상 블록으로 분할하고, 상기 복수의 기준 영상 블록 각각의 모서리에 있는 4개의 모서리 화소의 휘도값을 추출하여 복수의 모서리 화소에 대한 휘도 가중치를 계산하는 기준 영상 휘도 추출부;
    상기 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이인 휘도 가중치 차이값을 저장하는 휘도 가중치 차이 저장부;
    상기 휘도 가중치 차이값을 상기 휘도 가중치로 복원하는 휘도 가중치 복원부;
    상기 휘도 가중치 복원부에서 복원된 상기 휘도 가중치를 이용하여, 상기 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치로부터 해당 기준 영상 블록의 각 화소의 휘도 가중치를 계산하는 휘도 가중치 계산부; 및
    입력 영상의 각 화소의 휘도값에 대하여, 상기 휘도 가중치 계산부에서 계산된 각 화소별 휘소 가중치를 곱하여 상기 입력 영상의 휘도를 보정하는 휘도 보정부
    를 포함하는,
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  2. 제1항에 있어서,
    상기 휘도 가중치 차이값을 나타내는 데이터의 크기는 상기 휘도 가중치를 나타내는 데이터의 크기보다 더 작은,
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  3. 제1항에 있어서,
    상기 휘도 가중치 차이 저장부는, 상기 복수의 모서리 화소 중 어느 한 화소를 기준 모서리 화소로 하여 상기 기준 모서리 화소로부터 다른 모서리 화소로의 기설정된 순서에 따라 상기 휘도 가중치 차이값을 계산하여 저장하는
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  4. 제3항에 있어서,
    상기 휘도 가중치 차이 저장부는, 상기 복수의 모서리 화소 각각은 해당 모서리 화소의 휘도 가중치와 상기 기설정된 순서에서 직전의 모서리 화소의 휘도 가중치의 차이를 상기 해당 모서리 화소의 휘도 가중치 차이값으로서 저장하는,
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  5. 제1항에 있어서,
    상기 기준 영상 휘도 추출부에서 계산되는 상기 휘도 가중치는 상기 기준 영상에서 추출된 모든 모서리 화소의 휘도값 중 가장 밝은 휘도값을 기준으로 계산되는,
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  6. 제1항에 있어서,
    상기 휘도 가중치 계산부는,
    상기 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치를 상기 각 화소와 상기 4개의 모서리 화소의 거리 비례에 따라 계산하는,
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  7. 제1항에 있어서,
    상기 휘도 보정부는 상기 입력 영상의 화소의 보정된 화소값이 기설정된 최소값보다 작은 경우 상기 최소값으로 클램핑하는,
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  8. 제1항에 있어서,
    상기 휘도 보정부는 상기 입력 영상의 화소의 보정된 화소값이 기설정된 최대값보다 큰 경우 상기 최대값으로 클램핑하는,
    이미지 센서의 렌즈 쉐이딩 보정 장치.
  9. 기준 영상을 복수의 기준 영상 블록으로 분할하고, 상기 복수의 기준 영상 블록 각각의 4개의 모서리 화소의 휘도값을 추출하여 복수의 모서리 화소에 대한 휘도 가중치를 계산하는 기준 영상 휘도 추출 단계;
    상기 복수의 모서리 화소 각각에 대하여 해당 모서리 화소의 휘도 가중치와 인접한 모서리 화소의 휘도 가중치의 차이인 휘도 가중치 차이값을 저장하는 휘도 가중치 차이 저장 단계;
    상기 휘도 가중치 차이값을 상기 휘도 가중치로 복원하는 휘도 가중치 복원 단계;
    상기 휘도 가중치 복원 단계에서 복원된 상기 휘도 가중치를 이용하여, 상기 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치로부터 해당 기준 영상 블록의 각 화소의 휘도 가중치를 계산하는 휘도 가중치 계산 단계; 및
    입력 영상의 각 화소의 휘도값에 대하여, 상기 휘도 가중치 계산 단계에서 계산된 각 화소별 휘소 가중치를 곱하여 상기 입력 영상의 휘도를 보정하는 휘도 보정 단계
    를 포함하는,
    이미지 센서의 렌즈 쉐이딩 보정 방법.
  10. 제9항에 있어서,
    상기 휘도 가중치 차이값을 나타내는 데이터의 크기는 상기 휘도 가중치를 나타내는 데이터의 크기보다 더 작은,
    이미지 센서의 렌즈 쉐이딩 보정 방법.
  11. 제9항에 있어서,
    상기 휘도 가중치 차이 저장 단계는, 상기 복수의 모서리 화소 중 어느 한 화소를 기준 모서리 화소로 하여 상기 기준 모서리 화소로부터 다른 모서리 화소로의 기설정된 순서에 따라 상기 휘도 가중치 차이값을 계산하여 저장하는
    이미지 센서의 렌즈 쉐이딩 보정 방법.
  12. 제11항에 있어서,
    상기 휘도 가중치 차이 저장 단계는, 상기 복수의 모서리 화소 각각은 해당 모서리 화소의 휘도 가중치와 상기 기설정된 순서에서 직전의 모서리 화소의 휘도 가중치의 차이를 상기 해당 모서리 화소의 휘도 가중치 차이값으로서 저장하는,
    이미지 센서의 렌즈 쉐이딩 보정 방법.
  13. 제9항에 있어서,
    상기 기준 영상 휘도 추출 단계에서 계산되는 상기 휘도 가중치는 상기 기준 영상에서 추출된 모든 모서리 화소의 휘도값 중 가장 밝은 휘도값을 기준으로 계산되는,
    이미지 센서의 렌즈 쉐이딩 보정 방법.
  14. 제9항에 있어서,
    상기 휘도 가중치 계산 단계는,
    상기 복수의 기준 영상 블록 각각에 대하여, 해당 기준 영상 블록의 4개의 모서리 화소의 휘도 가중치를 상기 각 화소와 상기 4개의 모서리 화소의 거리 비례에 따라 계산하는,
    이미지 센서의 렌즈 쉐이딩 보정 방법.
  15. 제9항에 있어서,
    상기 휘도 보정 단계는,
    상기 입력 영상의 화소의 보정된 화소값이 기설정된 최소값보다 작은 경우 상기 최소값으로 클램핑하는 단계;
    를 포함하는,
    이미지 센서의 렌즈 쉐이딩 보정 방법.
  16. 제9항에 있어서,
    상기 휘도 보정 단계는,
    상기 입력 영상의 화소의 보정된 화소값이 기설정된 최대값보다 큰 경우 상기 최대값으로 클램핑하는 단계;
    를 포함하는,
    이미지 센서의 렌즈 쉐이딩 보정 방법.
KR1020100059175A 2010-06-22 2010-06-22 이미지 센서의 렌즈 쉐이딩 보정 장치 KR101141553B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100059175A KR101141553B1 (ko) 2010-06-22 2010-06-22 이미지 센서의 렌즈 쉐이딩 보정 장치
US13/163,859 US8542919B2 (en) 2010-06-22 2011-06-20 Method and system for correcting lens shading

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100059175A KR101141553B1 (ko) 2010-06-22 2010-06-22 이미지 센서의 렌즈 쉐이딩 보정 장치

Publications (2)

Publication Number Publication Date
KR20110138970A KR20110138970A (ko) 2011-12-28
KR101141553B1 true KR101141553B1 (ko) 2012-07-12

Family

ID=45504696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100059175A KR101141553B1 (ko) 2010-06-22 2010-06-22 이미지 센서의 렌즈 쉐이딩 보정 장치

Country Status (1)

Country Link
KR (1) KR101141553B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100799888B1 (ko) 2006-06-05 2008-01-31 주식회사 코아로직 이미지 센서의 렌즈 셰이딩 보정장치 및 보정방법
KR100808493B1 (ko) 2005-12-28 2008-03-03 엠텍비젼 주식회사 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
KR100938167B1 (ko) 2005-11-09 2010-01-21 샤프 가부시키가이샤 주변 광량 보정 장치, 주변 광량 보정 방법, 전자 정보기기, 제어 프로그램, 및 가독 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100938167B1 (ko) 2005-11-09 2010-01-21 샤프 가부시키가이샤 주변 광량 보정 장치, 주변 광량 보정 방법, 전자 정보기기, 제어 프로그램, 및 가독 기록 매체
KR100808493B1 (ko) 2005-12-28 2008-03-03 엠텍비젼 주식회사 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서
KR100799888B1 (ko) 2006-06-05 2008-01-31 주식회사 코아로직 이미지 센서의 렌즈 셰이딩 보정장치 및 보정방법

Also Published As

Publication number Publication date
KR20110138970A (ko) 2011-12-28

Similar Documents

Publication Publication Date Title
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
CN107071234B (zh) 一种镜头阴影校正方法及装置
US9710895B2 (en) Image processing device, image capture device, image processing method, and program
US8970745B2 (en) Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed
CN102870404B (zh) 摄像设备及其暗电流校正方法
KR20090061927A (ko) 불량 화소 및 잡음 제거 방법
US8922681B2 (en) Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
US8559747B2 (en) Image processing apparatus, image processing method, and camera module
US20140028879A1 (en) Image processing device, image processing method, and solid-state imaging device
US8542919B2 (en) Method and system for correcting lens shading
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
US10491840B2 (en) Image pickup apparatus, signal processing method, and signal processing program
KR20090097796A (ko) 색수차 정정 방법
EP3605450B1 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program
KR20110072213A (ko) 영상보정방법
US9374568B2 (en) Image processing apparatus, imaging apparatus, and image processing method
KR101065223B1 (ko) 이미지 센서 및 렌즈 쉐이딩 보정 방법
KR101141553B1 (ko) 이미지 센서의 렌즈 쉐이딩 보정 장치
JP5256236B2 (ja) 画像処理装置および方法，ならびに画像処理プログラム
EP2632146B1 (en) Image processing apparatus
JP5482427B2 (ja) 撮像装置、手ブレ補正方法、プログラム
CN110913143A (zh) 图像处理方法、装置、存储介质及电子设备
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP2013186560A (ja) 画像処理装置
CN108496355B (zh) 一种通过多次曝光补偿相对照度的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee