KR20150102209A - 이미지 처리 장치 및 이미지 처리 방법 - Google Patents

이미지 처리 장치 및 이미지 처리 방법 Download PDF

Info

Publication number
KR20150102209A
KR20150102209A KR1020140023795A KR20140023795A KR20150102209A KR 20150102209 A KR20150102209 A KR 20150102209A KR 1020140023795 A KR1020140023795 A KR 1020140023795A KR 20140023795 A KR20140023795 A KR 20140023795A KR 20150102209 A KR20150102209 A KR 20150102209A
Authority
KR
South Korea
Prior art keywords
image
pixel
data
pixels
color
Prior art date
Application number
KR1020140023795A
Other languages
English (en)
Inventor
조원호
임동판
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140023795A priority Critical patent/KR20150102209A/ko
Priority to US14/632,296 priority patent/US20150249795A1/en
Publication of KR20150102209A publication Critical patent/KR20150102209A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 처리 장치 및 이미지 처리 방법이 개시된다. 본 발명의 실시 예에 따른 이미지 처리 장치는, 이미지 데이터의 색편차를 보정하는 컬러 쉐이딩 보정부; 상기 색편차 보정된 이미지 데이터의 다이나믹 레인지를 증가시켜 광역 역광 보정된 이미지(WDR 이미지)를 생성하는 이미지 재구성부; 및 상기 광역 역광 보정된 이미지에 대하여, 픽셀 데이터간의 위치에 따른 휘도 차이를 보정하는 렌즈 쉐이딩 보정부를 포함하는 이미지 처리 장치를 포함한다.

Description

이미지 처리 장치 및 이미지 처리 방법{Image processing apparatus and method for image processing}
본 발명의 기술적 사상은 이미지 처리 장치 및 이미지 처리 방법에 관한 것으로서, 더욱 상세하게는, 이미지의 쉐이딩 현상이 보정되고, 광역 역광 보정된 이미지를 생성하는 이미지 처리 장치 및 이미지 처리 방법에 관한 것이다.
카메라 모듈을 이용한 촬영 시 피사체 뒤의 배경이 너무 밝다면 피사체의 밝기가 상대적으로 어두워 보인다. 이러한 현상을 역광이라하며, 보다 좋은 화질의 영상을 획득하기 위하여 역광 보정이 필요하다. 노출 시간이 서로 다른 영상을 조합하거나 또는 노출 시간이 서로 다른 픽셀의 데이터를 조합하여 밝은 부분 및 어두운 부분이 모두 선명하게 보이는 이미지를 생성하는 광역 역광 보정 기술이 이용될 수 있다. 한편, 카메라 모듈에서 렌즈의 광학 특성으로 인해 이미지 센서에서 중앙부에 위치하는 픽셀과 주변부에 위치하는 픽셀이 받아들이는 광량에 차이가 발생한다. 이에 의하여, 영상의 주변부로 갈수록 휘도가 감소하는 렌즈 셰이딩 현상이 발생한다. 향상된 이미지를 얻기 위하여 렌즈 쉐이딩 보정이 수행되어야 한다.
본 발명의 기술적 사상이 이루고자 하는 기술적 과제는 이미지 품질을 개선하는 이미지 처리 장치 및 이미지 처리 방법을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 처리 장치는, 데이터의 색편차를 보정하는 컬러 쉐이딩 보정부; 상기 색편차 보정된 이미지 데이터의 다이나믹 레인지를 증가시키는 이미지 재구성부; 및
상기 다이나믹 레인지가 증가된 이미지 데이터에 대하여, 이미지 내의 픽셀간 위치에 따른 픽셀 데이터의 휘도 차이를 보정하는 렌즈 쉐이딩 보정부를 포함한다.
일 실시예에 따르면, 상기 이미지 데이터는, 이미지 센서의 서로 다른 노출 시간을 갖는 픽셀들로부터 획득될 수 있다.
일 실시예에 따르면, 상기 컬러 쉐이딩 보정부는, 상기 이미지 데이터의 컬러 채널별로 서로 다른 보정 이득을 적용하여, 상기 컬러 채널 간의 휘도 차이를 감소시킬 수 있다.
일 실시예에 따르면, 상기 이미지 재구성부는, 상기 색편차 보정된 이미지 데이터 중 서로 다른 노출 시간을 갖는 픽셀들로부터 획득된 복수의 픽셀 데이터를 조합할 수 있다.
일 실시예에 따르면, 상기 이미지 재구성부는, 상기 이미지 데이터의 각각의 픽셀 데이터의 비트뎁스(bit-depth)를 확장할 수 있다.
일 실시예에 따르면, 상기 픽셀 데이터의 확장된 비트뎁스를 감소시키는 변환을 수행하는 비트뎁스 변환부를 더 포함할 수 있다.
일 실시예에 따르면, 상기 컬러 쉐이딩 보정부에서 적용되는 제1 보정 이득의 값은 상기 렌즈 쉐이딩 보정부에서 이용되는 제2 보정 이득의 값보다 작을 수 있다.
일 실시예에 따르면, 상기 서로 다른 노출 시간을 갖는 복수의 픽셀 그룹을 포함하고, 수신되는 광을 전기 신호로 변환하여 출력하는 픽셀 어레이; 및 상기 픽셀 어레이로부터 출력되는 상기 전기 신호를 디지털 신호로 변환하는 아날로그-디지털 변환부를 더 포함할 수 있다.
일 실시예에 따르면, 상기 픽셀 어레이는, 제1 노출 시간을 갖는 제1 픽셀 그룹 및 제2 노출 시간을 갖는 제2 픽셀 그룹을 포함하며, 제1 픽셀 그룹 및 제2 픽셀 그룹의 픽셀들은 라인 단위로 또는 픽셀 단위로 서로 교번적으로 배열될 수 있다.
일 실시예에 따르면, 픽셀 어레이로부터 획득되는 원시 데이터(raw data)의 고정 노이즈를 제거하는 노이즈 제거부; 및 상기 색편차 보정된 이미지 데이터 중 결함이 있는 픽셀들의 데이터를 보정하는 배드 픽셀 처리부를 더 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 이미지 처리 방법은, 이미지 데이터를 획득하는 단계; 상기 이미지 데이터의 색편차를 보정하는 단계; 상기 색편차 보정된 이미지 데이터의 다이나믹 레인지를 증가시키는 단계; 및 상기 다이나믹 레인지가 증가된 이미지 데이터에 대하여 픽셀 데이터간의 위치에 따른 휘도 차이를 보정함으로써 렌즈 쉐이딩 보정하는 단계를 포함한다.
일 실시예에 따르면, 상기 이미지 데이터 획득 단계는, 이미지 센서의 서로 다른 노출 시간을 갖는 픽셀들로부터 상기 이미지 데이터를 획득할 수 있다.
일 실시예에 따르면, 상기 색편차 보정 단계는, 상기 이미지 데이터의 각각의 픽셀 데이터에 대하여 상기 렌즈 쉐이딩 보정 단계에서 적용되는 보정 이득의 값보다 낮은 보정 이득 값이 적용될 수 있다.
일 실시예에 따르면, 상기 이미지 데이터의 노이즈를 제거하는 단계; 및 상기 이미지 데이터 중 결함이 있는 픽섹들의 데이터를 보정하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 다이나믹 레인지가 증가된 이미지 데이터의 비트뎁스를 변환하는 단계를 더 포함할 수 있다.
본 발명의 기술적 사상에 의한 이미지 처리 장치 및 이미지 처리 방법에 따르면, 이미지의 데이터 손실 및 색편차 발생을 방지하고, 광역 역광 보정을 수행함으로써, 이미지 품질을 개선하는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 2a 내지 도 2d는 본 발명의 실시예들에 따라 픽셀 어레이에서 라인별로 또는 픽셀단위로 노출 시간이 달리하여 이미지 데이터가 생성되는 예시를 나타내는 도면이다.
도 3은 렌즈 쉐이딩 현상을 나타내는 도면이다.
도 4는 렌즈 쉐이딩 보정을 설명하기 위한 도면이다.
도 5a 및 도 5b는 컬러 쉐이딩 보정을 설명하는 도면이다.
도 6a 및 도 6b는 렌즈 쉐이딩 보정을 설명하는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 이미지 처리 장치를 개략적으로 나타내는 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 처리 장치를 개략적으로 나타내는 블록도이다.
도 9는 본 발명의 실시예에 따른 이미지 처리 방법의 일 예를 나타내는 흐름도이다.
도 10은 본 발명의 실시예에 따른 이미지 처리 방법의 다른 예를 나타내는 흐름도이다.
도 11은 본 발명의 실시예에 따른 촬상 장치를 개략적으로 나타낸 블록도이다.
도 12는 본 발명의 다른 실시예에 따른 촬상 장치를 개략적으로 나타낸 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 촬상 장치를 개략적으로 나타낸 블록도이다.
도 14는 도 11 내지 도 13의 촬상 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 15는 도 14의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다. 본 발명의 실시 예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 1을 참조하면, 이미지 처리 장치(10)는 컬러 쉐이딩 보정부(11), 이미지 재구성부(12) 및 렌즈 쉐이딩 보정부(13)를 포함한다. 이미지 처리 장치(10)는 픽셀 어레이(14) 및 아날로그-디지털 변환부(15)를 더 포함할 수 있으며, 이미지 센서로서 구현될 수 있다.
픽셀 어레이(14)는 복수의 픽셀들을 포함하고, 렌즈(Lens)를 통하여 입사된 피사체의 광학적 영상 신호를 전기적 신호로 변환한다. 전기적 신호는 촬상신호(SSIG)로서 출력된다. 픽셀 어레이(14)에서, 픽셀들은 매트릭스 형태로 배열될 수 있다. 픽셀 어레이(14)는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 소자로 구현될 수 있다. 이외에도, 다양한 종류의 광전변환소자가 2차원으로 배치된 것일 수 있다.
일 실시예에 따르면, 상기 픽셀 어레이(14)는 서로 다른 노출 시간을 갖는 복수의 픽셀 그룹을 포함할 수 있다. 예로서, 픽셀 어레이(14)는 제1 노출 시간(exposure_short)을 갖는 제1 픽셀 그룹 및 제2 노출 시간(exposure_long)을 갖는 제2 픽셀 그룹을 포함할 수 있다. 제1 픽셀 그룹 및 제2 픽셀 그룹의 픽셀들은 라인 단위로 또는 픽셀 단위로 서로 교번적으로 배열될 수 있다. 소정의 영역별로 노출 시간을 달리하는 픽셀 데이터가 한 프레임의 이미지로 생성될 수 있다.
아날로그-디지털 변환부(15)는 아날로그 신호 형태의 촬상신호(SSIG)를 디지털 신호로 변환하여 원시 데이터(Raw data)로서 출력한다.
컬러 쉐이딩 보정부(11)는 이미지 데이터의 색편차를 보정한다. 이미지 데이터는 한 프레임의 이미지의 픽셀들 각각에 대한 휘도 데이터이다. 이미지 데이터는 상기 아날로그-디지털 변환부(15)로부터 제공되는 원시 데이터(Raw data)일 수 있다.
인접한 픽셀들간의 픽셀 데이터는 동일하여야 한다. 그러나, 컬러 필터의 채널 특성이 상이하므로, 인접한 픽셀 중 서로 다른 채널의 픽셀간 픽셀 데이터가 상이하고 색편차가 발생할 수 있다. 컬러 쉐이딩 보정부(11)는 각 컬러 채널별로 서로 다른 값의 보정 이득을 적용하여 채널간 색편차를 보정한다. 일 예로서, 컬러 채널별로 서로 다른 계수를 갖는 보정 이득 함수가 미리 설정되고, 컬러 쉐이딩 보정부(11)는 상기 채널별 보정 이득 함수를 채널별 픽셀에 적용하여, 보정된 픽셀 데이터를 산출할 수 있다. 이때, 상기 채널별 보정 이득 함수는 적어도 2차원 이상의 함수일 수 있다. 상기와 같이 보정 이득 함수를 이용하는 방법 이외에도, 채널별 보정 이득값을 저장하는 룩업 테이블을 이용하는 등 다양한 보정 방법이 적용될 수 있다.
이미지 재구성부(12)는 색편차가 보정된 이미지 데이터에 대하여 광역 역광 보정을 수행한다. 앞서 기술한 바와 같이, 픽셀 어레이가 서로 다른 노출 시간을 갖는 복수의 픽셀 그룹을 포함하고, 소정의 영역별로 노출 시간을 달리하는 픽셀 데이터가 한 프레임의 이미지로 생성될 경우, 이미지 재구성부(12)는 서로 다른 노출 시간을 갖는 픽셀들로부터 획득된 복수의 픽셀 데이터를 조합하여 다이나믹 레인지가 확장된 광역 역광 보정된 이미지(WDRD; 이하, WDR 이미지라고 한다)를 생성할 수 있다. WDR이미지(WDRD)의 밝은 부분 및 어두운 부분은 모두 선명하게 보일 수 있다.
이미지 재구성부(12)는 노출이 서로 다른 픽셀들의 픽셀 데이터를 조합하여 이미지 데이터의 비트뎁스(bit-depth)를 증가시킬 수 있다. 예를 들어, 이미지 재구성부(12)에 인가된 이미지 데이터의 픽셀 데이터가 10bit 데이터이고, 픽셀 데이터의 조합에 의하여 10bit의 픽셀 데이터가 12bit 또는 14bit로 증가됨으로써, 다이나믹 레인지가 4배 또는 16배로 증가될 수 있다.
다른실시 예에 따르면, 이미지 재구성부(12)는 노출 시간이 다른 두 프레임의 이미지 데이터를 제공받고, 상기 두 프레임의 이미지 데이터를 조합하여 WDR 이미지(WDRD)를 생성할 수도 있다.
한편, 이미지 처리 장치(10)의 광역 역광 보정기능이 요구되지 않는 경우, 예를 들어, 촬상된 이미지에 휘도가 높은 부분과 낮은 부분이 공존하지 않아 광역 역광 보정이 요구되지 않는 경우에는, 사용자의 선택에 의하여, 이미지 처리 장치(10)에서 컬러 쉐이딩 보정된 이미지 데이터(SCD1)는 이미지 재구성부(12)를 바이패스하여 렌즈 쉐이딩 보정부(13)에 제공될 수 있다.
렌즈 쉐이딩 보정부(13)는 WDR이미지(WDRD)에 대하여 렌즈 쉐이딩 보정을 수행한다. 렌즈 쉐이딩 보정부(13)는 이미지 데이터의 픽셀 데이터간의 픽셀 위치에 따른 휘도 차이를 보정하여 렌즈 쉐이딩으로 인한 비네팅(vignetting)을 제거한다.
렌즈 쉐이딩 보정부(13)는 미리 설정된 보정 이득 함수를 이미지 데이터의 각 픽셀 데이터와 연산하여 보정된 픽셀 데이터를 산출할 수 있다. 이때 상기 보정 이득 함수는 적어도 2차원 이상의 함수일 수 있다. 상기와 같이 보정 이득 함수를 이용하는 방법 이외에도, 픽셀의 위치별 보정 이득값을 저장하는 룩업 테이블을 이용하는 등 다양한 보정 방법이 적용될 수 있다.
한편, 상기 컬러 쉐이딩 보정부의 보정 이득은 렌즈 쉐이딩 보정부의 보정이득보다 작다. 예를 들어, 컬러 쉐이딩 보정을 위한 보정 이득 함수의 계수는 렌즈 쉐이딩 보정을 위한 보정 이득 함수의 계수보다 작을 수 있다.
이하, 도 1의 이미지 처리 장치(10)의 이미지 보정 방법 및 각 구성의 동작에 대하여 좀 더 상세하게 살펴보기로 한다.
도 2a 내지 도 2d는 본 발명의 실시예들에 따라 픽셀 어레이에서 라인별로 또는 픽셀단위로 노출 시간이 달리하여 이미지 데이터가 생성되는 예시를 나타내는 도면이다. 도 2a 내지 도 2c는 픽셀 어레이(도 1의 14)에 적용되는 컬러 필터 어레이가 베이어 패턴(bayer pattern)을 가지는 경우를 나타내고, 도 2d는 컬러 필터 어레이가 베이어 패턴과 다른 일반적인 RGB 패턴을 가지는 경우를 나타낸다.
도 2a 내지 도 2d에서 픽셀들은 노출 시간이 긴 제1 픽셀 그룹 과 상대적으로 노출 시간이 짧은 제2 픽셀 그룹으로 나뉠 수 있다. 도면에서 대문자로 표기된 픽셀(R,G,B)은 제1 픽셀 그룹의 픽셀들을 나타내고, 소문자로 표기된 픽셀(r,g,b)은 제2 픽셀 그룹의 픽셀들을 나타낸다.
우선, 도 2a를 참조하면, 베이어 패턴에서 어느 한 라인은 R 픽셀(R,r) 및 G 픽셀(G,g)이 교대로 배열되고, 다음 라인은 G 픽셀(G,g) 및 B 픽셀(B,b)이 교대로 배열되어 있다. 도시된 바와 같이, 베이어 패턴에서는 두 라인단위로 노출 시간을 달리할 수 있다. 각각의 한 라인이 R픽셀, G 픽셀 및 B 픽셀을 모두 포함하고 있는 것이 아니기 때문에 한 라인 단위로 노출을 달리할 경우 컬러 예측이 어려울 수 있다. 따라서, R픽셀, G 픽셀 및 B 픽셀을 모두 포함하고 있는 두 라인이 동일한 노출 시간을 가지도록 두 라인 단위로 노출 시간을 달리하는 것이 요구된다.
도 2b를 참조하면, 픽셀 단위로 노출 시간을 달리할 수 있다. 이때, 상술한 바와 같은 이유로, R픽셀, G 픽셀 및 B 픽셀을 모두 포함하고 있는 2x2 픽셀 단위로 노출 시간을 달리할 수 있다.
도 2c를 참조하면, G 픽셀(G,g)의 경우, 각 라인의 G 픽셀은 모두 동일한 종류의 노출 시간을 갖는다. 짧은 노출 시간을 갖는 G 픽셀(g) 및 긴 노출 시간을 갖는 G 픽셀(G)은 각 라인마다 번갈아 가며 배치된다. R 픽셀(R,r) 및 B 픽셀(B, b)의 경우, 체스 모자이크 스킴(Chess Mosaic scheme)으로 배치된다. 각 채널에서, 각 컬러 픽셀에 수직 및 수평 방향으로 인접한 픽셀들은 상기 각 컬러 픽셀과 서로 다른 종류의 노출 픽셀이며, 각 컬러 픽셀에 대각선 방향으로 인접한 픽셀들은 상기 각 컬러 픽셀과 같은 종류의 노출 픽셀이다. 이러한 체스 모자이크 스킴으로 배치될 경우, 이미지의 해상도를 높이고 고스트 아티팩트를 줄일 수 있다.
도 2d를 참조하면, 베이어 패턴과는 달리 R 픽셀(R,r), G픽셀(G,g) 및 B 픽셀(B,b)이 한 라인에 위치하므로 한 라인 단위로 노출 시간이 달라질 수 있다. 이외에도, 도 2d의 픽셀 어레이에서, 복수의 라인 단위 또는 R 픽셀(R,r), G픽셀(G,g) 및 B 픽셀(B,b)을 모두 포함하는 1x3 픽셀 단위로 노출 시간을 다르게 할 수 있다.
상술한 바와 같이, 노출 시간이 다른 픽셀 그룹을 포함하는 픽셀 어레이(도 1의 14)를 이용하여 영역별로 노출 시간이 다른 이미지 데이터가 생성될 수 있다. 이미지 재구성부(12)는 노출 시간이 다른 픽셀의 픽셀 데이터를 조합하여 WDR 이미지를 생성할 수 있다. 예를 들어, 도 2b에서 긴 노출 시간을 갖는 G 픽셀(G)의 경우, 인접한 짧은 노출 시간을 갖는 G 픽셀(g)들의 데이터 값을 노말라이즈하고, 상기 노말라이즈된 값과 상기 G픽셀(G)의 값을 보간하는 방법을 통해 G픽셀(G)의 픽셀 데이터를 보정할 수 있다. 그러나, 이는 일 실시예일 뿐이며, 인접한 픽셀들의 픽셀 데이터가 매끄럽게 이어지고, 고스트 아티팩트(ghost artifact)현상과 같은 화질 저하 현상을 방지하기 위하여 다양한 이미지 보정 알고리즘이 적용될 수 있다.
도 3은 렌즈 쉐이딩 현상을 나타내는 도면이고, 도 4는 렌즈 쉐이딩 보정을 설명하기 위한 도면이다.
카메라 모듈의 소형화 추세에 의해 렌즈의 직경이 감소하고, 렌즈의 주광선 입사각(Chief Ray Angle: CRA)이 증가하기 때문에 도 3에 도시된 바와 같이, 이미지의 가장자리 부분의 밝기가 중앙부 밝기보다 감소되는 렌즈 쉐이딩 현상이 발생한다. 이러한 렌즈 쉐이딩 현상은 고해상도 센서일수록 심화되며, 심도를 크게하기 위해 입사되는 부분을 작게 하는 경우 더 심화될 수 있다.
도 4를 참조하면, 도 3의 이미지에서 x-x'선을 따라 픽셀의 위치별 휘도비가 도시되어 있다. 라인 A는 쉐이딩 보정 전의 픽셀의 위치별 휘도비를 나타내고, 라인 B는 쉐이딩 보정 결과를 나타내며, 라인 Gf는 보정 이득 함수를 나타낸다. 휘도비는 이미지의 중앙(x0)에 위치한 픽셀의 픽셀 데이터에 대한 각 위치별 픽셀의 픽셀 데이터의 비로 산출될 수 있다. 이미지의 중앙(x0)에서 멀어질수록 휘도비가 감소된다. 이러한 비네팅(vignetting)을 제거하기 위하여, 보정 이득 함수(Gf)를 산출하고, 촬상된 이미지 데이터의 각 픽셀에 대하여 보정 이득 함수(Gf)를 적용하여 보정값을 산출한다. 보정 이득 함수(Gf)는 적어도 2차원 이상의 함수일 수 있으며, 보정 이득 함수(Gf)에 따른 위치별 보정 이득은 도시된 바와 같이, 이미지의 중앙(x0)에서 멀어질수록 큰 값을 가질수 있다. 보정된 픽셀 데이터들의 휘도비는 라인 B와 같을 수 있다. 보정 이득 함수(Gf)를 컬러 채널별로 산출하고 각 채널의 픽셀에 서로 다른 보정 이득 함수(Gf)를 적용하여 컬러 쉐이딩과 렌즈 쉐이딩 현상을 동시에 개선할 수도 있다.
그러나, 본 발명의 실시예에 따르면, 이미지 처리 장치(도 1의 10)는 렌즈 쉐이딩 보정부(13)와는 별도로 컬러 쉐이딩 보정부(11)를 포함하며, 이미지 재구성부(12)에서의 광역 역광 보정 이전에 컬러 쉐이딩 보정을 수행하며, 광역 역광 보정 이후에 렌즈 쉐이딩 보정을 수행한다. 이를 위해, 컬러 쉐이딩 보정을 위한 제1 보정 함수와 렌즈 쉐이딩 보정을 위한 제2 보정 함수를 각각 산출한다.
광역 역광 보정 이전에 쉐이딩 보정(렌즈 쉐이딩 보정 및 컬러 쉐이딩 보정)을 수행할 경우, 높은 보정 이득에 의하여 픽셀 데이터의 데이터값이 증가된다. 노출 시간이 긴 픽셀에서 획득된 픽셀 데이터의 경우, 쉐이딩 보정 이후, 데이터 클램핑을 하면, 데이터값의 포화(saturation)에 의하여 데이터가 손실된다.
반면에 광역 역광 보정 이후에 쉐이딩 보정을 수행할 경우, 이미지 재구성부에서의 이미지 데이터의 조합에 의하여 픽셀 데이터의 선형성이 깨지게 되어, 색편차가 발생하거나 Gr 채널과 Gb 채널간 차이가 발생할 수 있다.
본 발명의 실시예에 따른 이미지 처리 장치(10)는, 컬러 쉐이딩 보정부(11)에서, 광역 역광 보정 이전에 상기 제1 보정 함수를 적용하여 컬러 쉐이딩 보정을 수행하고, 렌즈 쉐이딩 보정부(13)는 이미지 재구성부(12)에서 광역 역광 보정이 수행되어 생성된 이미지, 즉 WDR이미지(WDRD)에 대하여 제2 보정 함수를 적용하여 렌즈 쉐이딩 보정을 수행한다. 컬러 쉐이딩 보정과 렌즈 쉐이딩 보정의 기능을 분리하여, 각각 광역 역광 보정, 즉 이미지 재구성 이전과 이후에 처리함으로써, 데이터의 손실이나 색편차의 발생없이 이미지의 쉐이딩 현상을 제거할 수 있다.
도 5a 및 도 5b는 컬러 쉐이딩 보정을 설명하는 도면이고, 도 6a 및 도 6b는 렌즈 쉐이딩 보정을 설명하는 도면이다. 설명의 편의를 위하여 R채널(라인 R)과 B채널(라인 B)를 예를 들어 설명하기로 한다.
도 5a를 참조하면, R 채널(라인 R)과 B 채널(라인 B)의 픽셀들의 픽셀 위치별 휘도비가 일치하지 않으며 색편차가 발생한다. 채널별로 보정 이득 함수(Gfr, Gfb)가 각각 산출될 수 있다. 각 채널에 대응하는 보정 이득 함수를 적용하여 픽셀 데이터를 증폭한다. 도 5b에 도시된 바와 같이 R채널(라인 R)과 B 채널(라인 B)의 색편차가 제거될 수 있다. 즉, 픽셀의 위치별 휘도비가 같아질 수 있다. 다른 실시예로서 채널 및 픽셀의 위치를 파라미터로 하는 하나의 이득 함수를 산출하고, 산출된 보정 함수를 이용할 수도 있다.
도 6a를 참조하면, R채널(라인 R)과 B채널(라인 B)에 같은 보정 이득 함수(Gf)를 적용하여 픽셀 데이터를 증폭한다. 그 결과, 도 6b에 도시된 바와 같이, 픽셀 위치별로 휘도비가 같아질 수 있다. R채널(라인 R)과 B채널(라인 B)의 픽셀 위치별 휘도비가 동일하므로, 동일한 보정 이득 함수(Gf)를 적용할 수 있다. 그러나 이에 제한되는 것은 아니고, 채널별로 서로 다른 보정 이득 함수를 적용할 수도 있다.
이때, 도 5a에서의 채널별 보정 이득 함수(Gfr, Gfb)의 계수는 도 6a의 보정 이득 함수(Gf)의 계수보다 작을 수 있다. 컬러 쉐이딩 보정 시의 보정 이득은 렌즈 쉐이딩 보정 시의 보정 이득보다 작다.
도 7은 본 발명의 다른 실시예에 따른 이미지 처리 장치(10a)를 개략적으로 나타내는 블록도이다.
도 7을 참조하면, 이미지 처리 장치(10a)는 노이즈 제거부(16), 컬러 쉐이딩 보정부(11), 배드 픽셀 처리부(17), 이미지 재구성부(12) 및 렌즈 쉐이딩 보정부(13)를 포함할 수 있다. 도 1과 같이, 이미지 처리 장치(10a)는 픽셀 어레이(도 1의 14) 및 아날로그-디지털 변환부(15)를 더 포함할 수 있다.
도 1의 이미지 처리 장치(10)와 비교하면, 도 7의 이미지 처리 장치(10a)는 노이즈 제거부(16) 및 배드 픽셀 처리부(17)를 더 포함한다.
노이즈 제거부(16)는 원시 데이터(Raw data)의 고정된 패턴의 노이즈를 제거하거나 줄이는 역할을 수행한다.
배드 픽셀 처리부(17)는 픽셀 어레이(도 1의 14)에서 결함이 있는 픽셀들의 데이터를 보정한다. 배드 픽셀 처리부(17)는 이미지 데이터에서 배드 픽셀에 대응하는 픽셀 데이터를 다른 픽셀 데이터로 대체한다. 예를 들어, 배드 픽셀 주변의 동일한 채널의 픽셀 데이터들의 값의 보간값으로 픽셀 데이터를 대체할 수 있다.
도 7에서 노이즈 제거부(16)는 컬러 쉐이딩 보정부(11) 이전에 배치되고, 배드 픽셀 처리부(17)는 컬러 쉐이딩 보정부 (11) 이후에 배치된 것으로 도시되었으나, 이에 제한되는 것은 아니다. 또한, 이미지 처리 장치(10a)에는 노이즈 제거부(16) 및 배드 픽셀 처리부(17) 이외에도 이미지의 화질을 개선하기 위한 로직 회로들이 더 추가될 수 있다.
도 8은 본 발명의 실시예에 따른 이미지 처리 장치의 다른 예를 개략적으로 나타내는 블록도이다.
도 8을 참조하면, 이미지 처리 장치(10c)는 컬러 쉐이딩 보정부(11), 이미지 재구성부(12), 비트뎁스 변환부(18) 및 렌즈 쉐이딩 보정부(13)를 포함한다.
도 1의 이미지 처리 장치(10)와 비교하면, 이미지 처리 장치(10c)는 이미지 재구성부(12)와 렌즈 쉐이딩 보정부(13) 사이에 비트뎁스 변환부(18)를 더 포함한다.
비트뎁스 변환부(18)는 이미지 재구성부(12)에서 출력된 WRD 이미지(WDRD)의 데이터 비트를 변환한다. 도 1을 참조하여 상술한 바와 같이, 이미지 재구성부(12)는 입력되는 이미지 데이터의 픽셀 데이터의 비트 뎁스(bit-depth)를 확장하여 다이나믹 레인지를 넓힐 수 있다. 그런데 이미지 데이터를 저장하는 메모리(미도시)의 용량, 데이터 처리 속도 등을 고려하여 픽셀 데이터의 비트 뎁스의 축소가 요구될 수 있다. 비트뎁스 변환부(18)는 픽셀 데이터의 비트 뎁스를 축소시킬 수 있다. 비트뎁스 변환부(18)는 상기 WRD 이미지의 동적 레인지를 감소시키지 않으면서 픽셀 데이터의 비트뎁스를 축소시킬 수 있다. 예를 들어, 14비트의 픽셀 데이터를 선형적으로 10비트로 변환하는 것이 아니라, 픽셀 데이터 값이 큰 영역과 낮은 영역을 고려하여 픽셀 데이터의 비트를 비선형적으로 변환시킴으로써 이미지 데이터의 다이나믹 레인지의 축소 없이 픽셀 데이터의 비트 뎁스롤 감소시킬 수 있다. 이외에도, 다양한 알고리즘이 적용될 수 있다.
도 9는 본 발명의 실시예에 따른 이미지 처리 방법의 일 예를 나타내는 흐름도이다.
도 9를 참조하면, 픽셀 어레이(도 1의 14) 및 아날로그-디지털 변환부(15)를 통하여 이미지 데이터의 원시 데이터(Raw Data)를 획득한다(S110).
이미지 데이터에 대하여 컬러 쉐이딩 보정이 수행된다(S120). 이미지 처리 장치(10, 10a, 10b)의 컬러 쉐이딩 보정부(11)는 이미지 데이터의 채널들에 서로 다른 보정 이득을 적용하여, 채널간 색편차를 보정할 수 있다. 예컨대 서로 다른 계수값을 갖는 보정 이득 함수를 적용할 수 있다. 상기 보정 이득은 화이트 이미지를 기초로 기 설정된 값일 수 있다. 보정 이득은 픽셀 데이터의 위치에 따른 보정 이득 함수로서 채널별로 각각 산출될 수 있다. 또는 채널 및 픽셀 데이터의 위치를 파라미터로 하는 이득 함수일 수 있다.
컬러 쉐이딩 보정된 이미지 데이터에 대하여 광역 역광 보정이 수행된다(S130). 이미지 재구성부(12)는 서로 다른 노출 시간을 갖는 픽셀들로부터 획득된 픽셀 데이터 값을 조합하여 픽셀 데이터를 보정한다. 이에 따라 이미지 데이터가 재구성된다. 이미지 데이터의 다이나믹 레인지가 확장된다. 픽셀 데이터의 비트 뎁스는 증가될 수 있다.
광역 역광 보정된 이미지 데이터에 대하여 렌즈 쉐이딩 보정이 수행되고 (S140) 보정된 이미지 데이터로서 출력될 수 있다. 이미지 데이터의 픽셀 데이터에 미리 설정된 픽셀 데이터의 위치별 보정 이득을 적용하여 픽셀 데이터간의 위치에 따른 휘도 차이를 감소시킨다. 상기 보정 이득은 화이트 이미지를 기초로 설정될 수 있다. 상기 보정 이득은 픽셀의 위치를 파라미터로 하는 이득 함수로서 미리 설정될 수 있다.
도 10은 본 발명의 실시예에 따른 이미지 처리 방법의 다른 예를 나타내는 흐름도이다.
도 10을 참조하면, 원시 데이터(Raw Data)를 획득하고(S210), 획득된 원시 데이터에 대한 노이즈 제거가 수행된다(S220). 원시 데이터(Raw Data)의 고정된 패턴의 노이즈를 제거하거나 줄일 수 있다.
노이즈가 제거된 이미지 데이터에 대하여 컬러 쉐이딩 보정(S230)이 수행되고, 컬러 쉐이딩 보정(S230)된 이미지 데이터의 배드 픽셀을 처리한다(S240). 이미지 데이터에서 픽셀 어레이의 배드 픽셀, 예컨대 결함이 있는 픽셀에 대응하는 픽셀 데이터를 다른 픽셀 데이터로 대체한다. 예를 들어, 상기 배드 픽셀의 주변의 동일한 채널의 픽셀 데이터들의 보간값으로 상기 픽셀 데이터가 대체될 수 있다.
이후, 광역 역광 보정(S250) 및 렌즈 쉐이딩 보정(S260)이 수행된다.
상술한 바와 같이, 원시 데이터 획득 단계(S210)와 광역 역광 보정 단계(S250) 사이에 노이즈 제거 단계 및 배드 픽셀 처리 단계 등 이미지 처리 단계가 더 추가될 수 있다. 또한, 광역 역광 보정이 수행(S250)된 이후, 광역 역광 보정에 의하여 확장된 픽셀 데이터의 비트뎁스의 변환이 수행될 수도 있다. 이때, 확장된 다이나믹 레인지의 감소를 최소화하기 위하여 다양한 알고리즘이 수행될 수있다.
도 11은 본 발명의 실시예에 따른 촬상 장치를 개략적으로 나타낸 블록도이다. 도 11의 촬상 장치(1000a)는 휴대용 장치(portable device), 예컨대 디지털 카메라, 이동 전화기, 스마트폰(smart phone), 또는 태블릿 Pc(tablet personal comuter)로 구현될 수 있다.
도 11을 참조하면, 촬상 장치(1000a)는 이미지 센서(100a), 이미지 프로세서(200a) 및 디스플레이(300)를 포함한다.
이미지 센서(100a)는 광학 렌즈(400)를 통하여 촬영된 또는 캡쳐된 피사체 (Object)에 대한 영상을 수신하고, 수신한 광학 신호를 전기적 신호로 변환하여 출력한다. 이미지 센서(100a)는 상기 전기적 신호를 보정하여 보정된 이미지 데이터(CIDATA)를 출력한다. 이미지 센서(100a)는 CMOS 이미지 센서로 구현될 수 있다.
이미지 센서(100a)는 픽셀 어레이(110), 로우 드라이버(130), 타이밍 생성기(140), 아날로그-디지털 변환부(120, 이하 ADC라고 한다), 제어 레지스터 블록(160), 램프 신호 생성기(150), 버퍼(170) 및 로직회로(180a)를 포함한다.
픽셀 어레이(110)는 매트릭스(matrix) 형태로 배열된 다수의 픽셀들(미도시)을 포함하며, 다수의 픽셀들 각각을 이용하여 광학적 영상 신호를 전기적 픽셀 신호로 변환한다.
픽셀 어레이(110)는 일 실시예에서 RGB(Red, Green, Blue) 픽셀 포맷으로 구현될 수 있다. 즉 각 픽셀은 레드(red) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 레드 픽셀, 그린(green) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 그린 픽셀, 또는 블루(blue) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 블루 픽셀로 구현될 수 있다.
다른 일 실시예에서, 픽셀 어레이(110)는 CMY(Cyan, Magenta, Yellow) 픽셀 포맷으로 구현될 수 있다. 즉 각 픽셀은 사이언(cyan) 픽셀, 마젠타(magenta) 픽셀, 및 엘로우(yellow) 픽셀로 구현될 수 있다.
픽셀 어레이(110)는 서로 다른 노출 시간을 갖는 복수의 픽셀 그룹을 포함할 수 있다. 실시 예에 따라, 각 픽셀은 포토(photo) 다이오드 또는 핀드 포토 다이오드(pinned photo diode)로 구현될 수 있다.
로우 드라이버(130)는 타이밍 생성기(140)의 제어에 따라 다수의 픽셀들 각각의 동작을 제어하기 위한 제어신호들을 픽셀 어레이(110)로 드라이빙한다.
로우 드라이버(130)는 픽셀 어레이(110)를 행(row) 단위로 구동한다. 예컨대, 로우 드라이버(130)는 행 선택 신호를 생성할 수 있다. 즉, 로우 드라이버(130)는 타이밍 생성기(140)에서 생성된 행 제어 신호(예컨대, 어드레스 신호)를 디코딩하고, 디코딩된 행 제어 신호에 응답하여 픽셀 어레이(110)를 구성하는 행 라인들 중에서 적어도 어느 하나의 행 라인을 선택할 수 있다. 픽셀 어레이(110)는 로우 드라이버(130)로부터 제공된 행 선택 신호에 의해 선택되는 행(row)으로부터 픽셀 신호를 아날로그-디지털 변환부(120)로 출력한다. 픽셀 신호는 리셋 신호와 영상 신호를 포함한다.
아날로그-디지털 변환부(120)는 픽셀 신호와 램프 신호 생성기(150)로부터 제공된 램프 신호를 비교하여 그 결과 신호를 생성하고, 상기 결과 신호를 카운팅여 디지털 신호로 변환하고, 변환된 신호를 원시 데이터로서 버퍼(170)로 출력한다. 일례로, 아날로그-디지털 변환부(120)는 컬럼 패러렐(column parallel) 싱글 슬로프(single slope) ADC로 구현될 수 있다.
타이밍 생성기(140)는 제어 레지스터 블록(160)의 제어에 따라 로우 드라이버(130), 아날로그-디지털 변환부(120), 및 램프 신호 생성기(150)의 동작을 제어한다.
제어 레지스터 블록(160)은 타이밍 생성기(140), 램프 신호 생성기(150) 및 버퍼(170) 각각의 동작을 제어할 수 있다. 제어 레지스터 블록(160)은 센서 컨트롤러(210)의 제어에 따라 동작한다. 센서 컨트롤러(210)는 하드웨어 또는 소프트웨어로 구현될 수 있다.
버퍼(170)는 아날로그-디지털 변환 블록(20)으로부터 출력된 다수의 원시 데이터들을 로직회로(180a)로 출력한다.
로직 회로(180a)는 컬러 쉐이딩 보정부(11), 이미지 재구성부(12) 및 렌즈 쉐이딩 보정부(13)를 포함한다. 로직 회로(180a)는 본 발명의 실시예들에 따른 이미지 처리 장치(10, 10a, 10b) 중 하나일 수 있다.
로직 회로(180a)는 원시 데이터에 대하여 순차적으로 컬러 쉐이딩 보정, 광역 역광 보정 및 렌즈 쉐이딩 보정을 수행한다. 보정된 이미지 데이터(CIDATA)는 이미지 프로세서(200a)로 출력된다.
이미지 프로세서(200a)는 이미지 신호 프로세서(220a), 센서 컨트롤러(210), 및 인터페이스(230)를 포함한다.
센서 컨트롤러(210)는 제어 레지스터 블록(160)을 제어한다. 센서 컨트롤러(210)는 I2C(Inter-Integrated Circuit)를 이용하여 이미지 센서(100a), 즉, 제어 레지스터 블록(160)을 제어할 수 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 신호 프로세서(220a)는 제어 레지스터 블록(160)을 제어하는 센서 컨트롤러(210)와 인터페이스(230)를 제어한다. 실시 예에 따라, 이미지 센서(100a)와 디지털 신호 프로세서(200a)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package)로 구현될 수 있다.
이미지 프로세서(Image Signal Processor, 220a)는 이미지 센서(100a)로부터 수신한 보정된 이미지 데이터(CIDATA)를 가공/처리하고 가공/처리된 이미지 데이터를 인터페이스(230)로 전송한다.
인터페이스(230)는 이미지 신호 프로세서(220a)에서 처리된 이미지 데이터를 디스플레이(300)로 전송한다.
디스플레이(300)는 인터페이스(230)로부터 출력된 이미지 데이터를 디스플레이한다. 디스플레이(300)는 FTF-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, 또는 AMOLED(active-matrix OLED) 디스플레이로 구현될 수 있다.
디스플레이(300)는 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이(300)는 컴퓨터, 휴대폰 및 기타 영상 출력 단말을 포함할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 촬상 장치를 개략적으로 나타낸 블록도이다.
도 12를 참조하면, 촬상 장치(1000b)는 이미지 센서(100b), 이미지 프로세서(200b) 및 디스플레이(300)를 포함한다. 도 11의 촬상 장치(1000b)의 구성 및 동작은 도 11의 촬상 장치(1000a)와 유사하다. 따라서, 중복되는 설명은 생략하기로 한다.
이미지 센서(100b)는 이미지 프로세서(200b)의 제어에 의해 외부의 물체(object)에서 반사된 광학 신호를 렌즈(400)를 통해 수신하고, 수신한 광학 신호를 전기 신호로 변환하여 원시 데이터(Raw Data)를 생성할 수 있다. 이미지 프로세서(200b)는 원시 데이터를 가공/처리하고, 가공/처리된 이미지 데이터를 인터페이스(230)를 통해 디스플레이(300)에 전송할 수 있다.
한편, 이미지 신호 프로세서(220b)는 컬러 쉐이딩 보정부(11), 이미지 재구성부(12) 및 렌즈 쉐이딩 보정부(13)를 포함한다. 이미지 신호 프로세서(220b)는 본 발명의 실시예들에 따른 이미지 처리 장치(10, 10a, 10b) 중 하나를 포함할 수 있다. 이미지 센서(100b)로부터 수신된 원시 데이터(Raw data)에 대해 순차적으로 컬러 쉐이딩 보정, 광역 역광 보정 및 렌즈 쉐이딩 보정이 수행될 수 있다.
도 13은 본 발명의 다른 실시예에 따른 촬상 장치를 개략적으로 나타낸 블록도이다.
도 13을 참조하면, 촬상 장치(1000c)는 이미지 센서(100c), 이미지 프로세서(200c) 및 디스플레이(300)를 포함한다. 도 13의 촬상 장치(1000c)의 구성 및 동작은 도 11의 촬상 장치(1000a)와 유사하다. 따라서, 중복되는 설명은 생략하고, 도 11과의 차이에 대하여 설명하기로 한다.
도 13에서, 이미지 센서(100c) 에 포함되는 로직 회로(180c)는 컬러 쉐이딩 보정부(11) 및 이미지 재구성부(12)를 포함한다. 로직 회로(180c)는 버퍼(170)로부터 출력되는 이미지 데이터, 예컨대 원시 데이터(Raw Data)를 수신하고, 상기 이미지 데이터에 대하여 순차적으로 컬러 쉐이딩 보정 및 광역 역광 보정을 수행하여 보정된 이미지 데이터(CIDATA)를 생성한다. 이미지 센서(100c)는 보정된 이미지 데이터(CIDATA)를 이미지 프로세서(200c)로 전송한다.
이미지 프로세서(200c)의 이미지 신호 프로세서(220c)는 렌즈 쉐이딩 보상부(220c)를 포함한다. 이미지 신호 프로세서(220c)는 이미지 센서로부터 전송된 보정된 이미지 데이터(CIDATA)에 대하여 렌즈 쉐이딩 보상 및 다른 이미지 가공/처리를 수행한다. 가공/처리된 이미지 데이터는 인터페이스(230)를 통해 디스플레이(300)에 출력된다.
도 14는 도 11 내지 도 13의 촬상 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 14를 참조하면, 컴퓨팅 시스템(2000)은 프로세서(2010), 메모리 장치(2020), 스토리지 장치(2030), 입출력 장치(2040), 전원 장치(2050) 및 촬상 장치(1000)를 포함할 수 있다. 한편, 도 14에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
프로세서(2010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(2010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 등과 같은 버스(2060)를 통하여 메모리 장치(2020), 스토리지 장치(2030) 및 입출력 장치(2040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(2020)는 컴퓨팅 시스템(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 스토리지 장치(2030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다.
입출력 장치(2040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치(2050)는 컴퓨팅 시스템(2000)의 동작에 필요한 동작 전압을 공급할 수 있다.
촬상 장치(1000)는 버스(2060) 또는 다른 통신 링크를 통해서 프로세서(2010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 촬상 장치(1000)는 픽셀 어레이(110)를 통해 생성된 이미지 데이터, 예컨대 원시 데이터(Row Data)에 대하여 순차적으로 컬러 쉐이딩 보정, 광역 역광 보정 및 렌즈 쉐이딩 보정을 수행한다.
촬상 장치(1000)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 촬상 장치(1000)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.
한편, 컴퓨팅 시스템(2000)은 촬상 장치를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(2000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
도 15는 도 14의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 15를 참조하면, 컴퓨팅 시스템(3000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(3110), 촬상 장치(3140) 및 디스플레이(3150) 등을 포함할 수 있다. 어플리케이션 프로세서(3110)의 CSI 호스트(3112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 촬상 장치(3140)의 CSI 장치(3141)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, CSI 호스트(3112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(3141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(3110)의 DSI 호스트(3111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(3150)의 DSI 장치(3151)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, DSI 호스트(3111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(3151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(3000)은 어플리케이션 프로세서(3110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(3160)을 더 포함할 수 있다. 컴퓨팅 시스템(3000)의 PHY(3113)와 RF 칩(3160)의 PHY(3161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(3110)는 PHY(3161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(3114)를 더 포함할 수 있다.
한편, 컴퓨팅 시스템(3000)은 지피에스(Global Positioning System; GPS)(3120), 스토리지(3170), 마이크(3180), 디램(Dynamic Random Access Memory; DRAM)(3185) 및 스피커(3190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(3100)은 초광대역(Ultra WideBand; UWB)(3210), 무선 랜(Wireless Local Area Network; WLAN)(3220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(3230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(3000)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
이상에서와 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10, 10a, 10b: 이미지 처리 장치
11: 컬러 쉐이딩 보정부
12: 이미지 재구성부
13: 렌즈 쉐이딩 보정부
100a, 100b, 100c: 이미지 센서
200a, 200b, 200c: 이미지 프로세서
220a, 220b, 220c: 이미지 처리 프로세서

Claims (10)

  1. 이미지 데이터의 색편차를 보정하는 컬러 쉐이딩 보정부;
    색편차 보정된 이미지 데이터의 다이나믹 레인지를 증가시키는 이미지 재구성부; 및
    다이나믹 레인지가 증가된 이미지에 대하여, 이미지 내의 픽셀간 위치에 따른 픽셀 데이터의 휘도 차이를 보정하는 렌즈 쉐이딩 보정부를 포함하는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 이미지 데이터는,
    이미지 센서의 서로 다른 노출 시간을 갖는 픽셀들로부터 획득되는 것을 특징으로 하는 이미지 처리 장치.
  3. 제1항에 있어서, 상기 컬러 쉐이딩 보정부는,
    상기 이미지 데이터의 컬러 채널별로 서로 다른 보정 이득을 적용하여, 상기 컬러 채널 간의 휘도 차이를 감소시키는 것을 특징으로 하는 이미지 처리 장치.
  4. 제1항에 있어서, 상기 이미지 재구성부는,
    상기 색편차 보정된 이미지 데이터 중 서로 다른 노출 시간을 갖는 픽셀들로부터 획득된 복수의 픽셀 데이터를 조합하는 것을 특징으로 하는 이미지 처리 장치.
  5. 제4 항에 있어서, 상기 이미지 재구성부는,
    상기 이미지 데이터의 각각의 픽셀 데이터의 비트뎁스(bit-depth)를 확장하는 것을 특징으로 하는 이미지 처리 장치.
  6. 제5 항에 있어서,
    상기 픽셀 데이터의 확장된 비트뎁스를 감소시키는 변환을 수행하는 비트뎁스 변환부를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  7. 제1 항에 있어서,
    상기 컬러 쉐이딩 보정부에서 적용되는 제1 보정 이득의 값은 상기 렌즈 쉐이딩 보정부에서 이용되는 제2 보정 이득의 값보다 작은 것은 것을 특징으로 하는 이미지 처리 장치.
  8. 제1 항에 있어서,
    상기 서로 다른 노출 시간을 갖는 복수의 픽셀 그룹을 포함하고, 수신되는 광을 전기 신호로 변환하여 출력하는 픽셀 어레이; 및
    상기 픽셀 어레이로부터 출력되는 상기 전기 신호를 디지털 신호로 변환하는 아날로그-디지털 변환부를 더 포함하는 이미지 처리 장치.
  9. 제8 항에 있어서, 상기 픽셀 어레이는,
    제1 노출 시간을 갖는 제1 픽셀 그룹 및 제2 노출 시간을 갖는 제2 픽셀 그룹을 포함하며, 제1 픽셀 그룹 및 제2 픽셀 그룹의 픽셀들은 라인 단위로 또는 픽셀 단위로 서로 교번적으로 배열되는 것을 특징으로 하는 이미지 처리 장치.
  10. 제1 항에 있어서,
    픽셀 어레이로부터 획득되는 원시 데이터(raw data)의 고정 노이즈를
    제거하는 노이즈 제거부; 및
    상기 색편차 보정된 이미지 데이터 중 결함이 있는 픽셀들의 데이터를 보정하는 배드 픽셀 처리부를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
KR1020140023795A 2014-02-28 2014-02-28 이미지 처리 장치 및 이미지 처리 방법 KR20150102209A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140023795A KR20150102209A (ko) 2014-02-28 2014-02-28 이미지 처리 장치 및 이미지 처리 방법
US14/632,296 US20150249795A1 (en) 2014-02-28 2015-02-26 Imaging processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140023795A KR20150102209A (ko) 2014-02-28 2014-02-28 이미지 처리 장치 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20150102209A true KR20150102209A (ko) 2015-09-07

Family

ID=54007351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140023795A KR20150102209A (ko) 2014-02-28 2014-02-28 이미지 처리 장치 및 이미지 처리 방법

Country Status (2)

Country Link
US (1) US20150249795A1 (ko)
KR (1) KR20150102209A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149826A1 (ko) * 2021-01-11 2022-07-14 삼성전자 주식회사 영상 처리 방법 및 이를 지원하는 전자 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491442B2 (en) 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9852531B2 (en) * 2014-07-11 2017-12-26 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the same
JP6520035B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
JP6746359B2 (ja) 2015-05-08 2020-08-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR102401582B1 (ko) 2015-09-24 2022-05-24 삼성전자주식회사 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들
CN106921837B (zh) * 2015-12-25 2019-07-12 北京展讯高科通信技术有限公司 相机模组镜头阴影补偿方法及装置、图像信号处理器
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
CN105959511B (zh) * 2016-05-18 2019-02-05 珠海市杰理科技股份有限公司 镜头阴影校正方法和系统
JP6818585B2 (ja) * 2017-02-21 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
DE102018106873B3 (de) * 2018-03-22 2019-07-04 Basler Ag Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten
CN108848320B (zh) * 2018-07-06 2021-01-26 京东方科技集团股份有限公司 深度检测系统及其曝光时间调整方法
US11405564B2 (en) * 2019-09-17 2022-08-02 Gopro, Inc. Methods and systems for parameter alignment for an image capture device with multiple image capture devices
JP2021129144A (ja) * 2020-02-10 2021-09-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
CN111372014B (zh) * 2020-03-17 2022-04-22 展讯通信（上海）有限公司 镜头阴影补偿方法及装置、存储介质、终端
CN114071036A (zh) * 2020-08-10 2022-02-18 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备和动态图像数据处理方法
CN112243116B (zh) * 2020-09-30 2022-05-31 格科微电子（上海）有限公司 多通道镜头阴影补偿lsc增益的调整方法及装置、存储介质、图像处理设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4279562B2 (ja) * 2003-01-17 2009-06-17 富士フイルム株式会社 固体撮像装置の制御方法
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
WO2010123923A1 (en) * 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
US8472712B2 (en) * 2009-10-20 2013-06-25 Apple Inc. System and method for applying lens shading correction during image processing
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
US9699428B2 (en) * 2013-09-09 2017-07-04 Apple Inc. Lens shading modulation
JP2015133633A (ja) * 2014-01-14 2015-07-23 株式会社東芝 固体撮像装置
US9538092B2 (en) * 2014-01-17 2017-01-03 Texas Instruments Incorporated Methods and apparatus to generate wide dynamic range images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149826A1 (ko) * 2021-01-11 2022-07-14 삼성전자 주식회사 영상 처리 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
US20150249795A1 (en) 2015-09-03

Similar Documents

Publication Publication Date Title
KR20150102209A (ko) 이미지 처리 장치 및 이미지 처리 방법
US9380243B2 (en) Image sensor for outputting RGB bayer signal through internal conversion and image processing apparatus including the same
US8077253B2 (en) Solid-state device having digital signal processing circuit
US20110234864A1 (en) Imaging device
US9628725B2 (en) Pixel array including pixel groups of long and short exposure pixels and image sensor including same
US20080278591A1 (en) Method and apparatus for improving low-light performance for small pixel image sensors
US20120013774A1 (en) Cmos image sensor for high speed signal processing
US8368968B2 (en) Imaging apparatus and image correction method
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP4905279B2 (ja) 撮像回路および撮像装置
US11637963B2 (en) Image sensor and image processing system comprising the same
JP6014349B2 (ja) 撮像装置、制御方法、及びプログラム
WO2018092400A1 (ja) 固体撮像素子、信号処理回路、及び、電子機器
US8823825B2 (en) Image processing device, image processing method, and solid-state imaging device
US10630922B1 (en) Local exposure sensor and method for operating the same
US9979919B2 (en) Solid-state imaging device and imaging system
US11606521B2 (en) Image sensors with reduced peak power
KR102474575B1 (ko) 이미지 센서, 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
JP6697087B2 (ja) 撮像装置
US20230023853A1 (en) Image sensor, image processing apparatus, and image processing method
US20230262344A1 (en) Image sensor and image processing system comprising the same
US20120062763A1 (en) Image processing apparatus, image processing method, and camera module
TWI516088B (zh) 影像系統
JP2013042327A (ja) 画像処理装置及び固体撮像装置
JP2005328338A (ja) 撮像装置及び撮像装置付き携帯端末

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid