KR100763656B1 - 이미지 센서 및 이미지 처리 방법 - Google Patents

이미지 센서 및 이미지 처리 방법 Download PDF

Info

Publication number
KR100763656B1
KR100763656B1 KR1020060049806A KR20060049806A KR100763656B1 KR 100763656 B1 KR100763656 B1 KR 100763656B1 KR 1020060049806 A KR1020060049806 A KR 1020060049806A KR 20060049806 A KR20060049806 A KR 20060049806A KR 100763656 B1 KR100763656 B1 KR 100763656B1
Authority
KR
South Korea
Prior art keywords
image data
interpolation
image
pixel
bilinear interpolation
Prior art date
Application number
KR1020060049806A
Other languages
English (en)
Inventor
전정범
남승준
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060049806A priority Critical patent/KR100763656B1/ko
Application granted granted Critical
Publication of KR100763656B1 publication Critical patent/KR100763656B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

외부 피사체로부터 노출 시간을 달리하는 영상 데이터들을 획득하고, 이를 합성하여 베이어 패턴을 형성하는 이미지 센서 및 이미지 처리 방법이 개시된다. 고노출의 제1 영상 데이터 및 저노출의 제2 영상 데이터에 대해 양선형 보간이 수행된다. 보간된 2개의 영상 데이터에 대해 WDR(Wide Dynamic Range) 동작이 수행되고, 합성 영상이 획득된다. 서로 다른 노출 시간을 가지는 영상 데이터들에 대한 양선형 보간 및 영상의 합성에 의해 2개의 영상 데이터들을 참조하여 컬러 이득을 형성하는 확률이 증가된다. 따라서, 빠른 처리 속도와 선명한 영상을 얻을 수 있다.

Description

이미지 센서 및 이미지 처리 방법{Image Sensor and Image Processing Method}
도 1은 본 발명의 일 실시예에 따른 이미지 센서를 도시한 블록도이다.
도 2a 내지 도 2c는 도 1에 도시된 양선형 보간부의 동작을 설명하기 위한 개념도들이다.
도 3은 본 발명의 일 실시예의 영상 합성부의 동작을 설명하기 위한 이득 곡선이다.
도 4는 본 발명의 일 실시예에 따라 이미지 센서에서 영상을 처리하는 방법을 도시한 플로우 차트이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 픽셀부 120 : 양선형 보간부
140 : 영상 합성부 160 : RGB 베이어 변환부
본 발명은 이미지 센서에 관한 것으로, 더욱 상세하게는 픽셀을 통해 획득된 영상 데이터를 보간하고, 보간된 영상을 합성하여 베이어 영상을 획득하는 이미지 센서 및 이에 사용되는 영상 처리 방법에 관한 것이다.
이미지 센서는 외부의 자연 영상을 전기적 신호로 변환한다. 변환된 전기적 신호는 샘플링 및 양자화 과정을 거쳐서 디지털 영상 신호로 변환된다. 자연 영상을 전기적 신호의 형태로 획득하기 위해 이미지 센서는 다수의 픽셀들을 구비한다.
이미지 센서에 구비된 다수의 픽셀들은 로우 방향과 컬럼 방향으로 규칙적으로 배열된 매트릭스 형태를 가진다. 따라서, 특정의 로우 라인의 선택과 하나의 로우 라인으로부터 전송되는 전기적 신호를 특정의 컬럼 라인별로 처리할 수 있다. 즉, 다수의 픽셀들에 대한 랜덤 엑세스가 가능하다는 이점을 가진다. 또한, 이미지 센서는 CCD(Charge Coupled Device)에 비해, 모든 화소를 동시에 구동하여야할 필요가 없으므로 낮은 소비 전력으로 구동되는 장점을 가진다.
상술한 이미지 센서의 픽셀들은 크게 수동형과 능동형으로 구분될 수 있다.
수동형 픽셀은 입사광에 기인한 광전하를 형성하는 포토 다이오드 및 발생된 광전하의 전송을 제어하기 위한 스위칭 트랜지스터로 구성된다. 따라서, 광전하에 기인한 광전류는 능동적 제어 없이 샘플링된다.
능동형 픽셀은 상술한 수동형 픽셀 구조에서 버퍼나 증폭기가 추가된 구성을 가진다. 즉, 능동형 소자가 추가되어 수동형에 비해 보다 빠르고 정확한 영상 신호의 전달이 수행될 수 있다.
또한, 픽셀들은 컬러 영상을 표현하기 위해 각각의 화소마다 레드, 그린 및 블루 컬러 필터들 중의 하나를 구비한다. 특히, 상술한 바와 같이 레드, 그린, 블 루의 3색의 컬러 필터를 사용하는 방식을 프라이머리(Primary) 컬러 필터 방식이라 한다. 이외에도 보색으로 구성된 컬러 필터들을 사용할 수도 있다.
상술한 이미지 센서의 품질은 원래의 영상을 얼마나 가깝게 재현할 수 있느냐에 의해 결정된다. 이를 위해, 이미지 센서에서는 베이어(bayer) 타입으로 구성된 픽셀들에서 획득된 전기적 신호들에 대한 보간(Interpolation)이 수행된다. 베이어 타입으로 구성된 픽셀들은 각각의 로우 라인마다 그린 픽셀이 번갈아가며 배치된 형상을 가진다. 또한, 원래의 영상신호의 원활한 재현을 위해 서로 노출시간을 달리하는 적어도 2개의 영상 신호를 합성하는 방법을 사용한다. 즉, 노출 시간이 서로 달리하여 영상 신호들을 획득하고, 이를 보간한 다음, 적절한 형태로 합성하는 방법이 사용된다.
통상적으로 보간이라 함은 주변 픽셀의 영상 데이터를 이용하여 새로운 영상 데이터를 생성하는 과정을 지칭한다. 예컨대, 그린 픽셀의 경우, 레드 및 블루 영상 데이터는 존재하지 않으나 주변 픽셀의 영상 데이터를 이용하여 해당 픽셀의 가상의 레드 영상 데이터 및 가상의 블루 영상 데이터를 추출하게 된다. 이러한 보간은 영상의 해상도를 높이는데 주로 사용된다. 사용되는 보간법으로는 최근접 이웃 보간법(Nearest Neighbor Interpolation), 선형 보간법(Linear Interplation), 양선형 보간법(Bilinear Interpolation), 고차 보간법 및 실효적 보간법(Effective Interpolation) 등이 있다.
대한민국 공개특허 제2005-96797호는 유실된 컬러영상정보를 보간하는 방법을 개시하고 있다. 즉, 보간시 주변 픽셀값의 분포를 고려하여 이웃하는 주위 픽셀 값을 연산하는 방법을 개시하고 있다. 픽셀값의 연산시에는 기 설정된 문턱치를 이용하며 메디안 기법을 사용하여 영상을 보간한다.
또한, 대한민국 공개특허 제2005-69837호는 에지보정 및 에지강조를 수행하기 위한 디지털 영상 처리장치 및 처리방법을 개시하고 있다. 상기 공개특허는 먼저 저해상도의 영상정보에 대한 제1 보간 동작을 수행하고, 소정의 보간법을 사용하여 제2 보간 동작을 수행한다. 제2 보간 동작에 의해 생성된 영상 정보를 이용하여 제1 보간 동작에 따른 보간 영상 정보를 강조하는 것을 요지로 한다.
상기 공개특허들은 이미지 센서로부터 수신되는 베이어 영상에 대한 보간을 전제로 하고 있다. 또한, 메디안 기법 등의 사용에 따라 영상의 해상도는 상승시킬 수 있겠으나 처리 시간이 증가하는 역효과를 가져온다.
에지 영역에서만의 강조를 위해 소정의 보간 프로세싱을 적용하는 경우, 영상의 주요부인 중앙부위에 대한 보간이 원활치 못하는 문제가 발생된다.
종래의 기술들은 이미지 프로세서에 입력되는 베이어 패턴을 생성하는 이미지 센서에서 보간을 수행하는 방법 및 이를 이용하는 이미지 센서에 관해서는 침묵하고 있다.
이미지 센서의 픽셀에 의해 획득된 영상 데이터에서 보다 선명한 영상을 추출하고, 연산 처리 속도가 향상된 영상 처리 방법 및 이를 이용하는 이미지 센서가 요청된다.
따라서, 본 발명의 제1 목적은 보다 빠른 처리 속도와 선명한 영상을 얻기 위한 이미지 센서를 제공하는 것이다.
또한, 본 발명의 제2 목적은 상기 제1 목적에 사용되는 이미지 처리 방법을 제공하는 것이다.
상술한 제1 목적을 달성하기 위한 본 발명은 외부 피사체로부터 고노출의 제1 영상 데이터 및 저노출의 제2 영상 데이터를 획득하기 위한 픽셀부; 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 대한 양선형 보간을 수행하여 제1 보간 영상 데이터 및 제2 보간 영상 데이터를 생성하기 위한 양선형 보간부; 상기 제1 보간 영상 데이터 및 상기 제2 보간 영상 데이터에 대한 WDR(Wide Dynamic Range) 동작을 수행하여 상기 2개의 보간 영상 데이터들을 합성하고, 합성 영상 데이터를 생성하기 위한 영상 합성부; 및 상기 합성 영상 데이터를 수신하고, 베이어 패턴을 형성하기 위한 RGB 베이어 변환부를 포함하는 이미지 센서를 제공한다.
또한, 상기 제2 목적을 달성하기 위한 본 발명은 고노출의 제1 영상 데이터 및 저노출의 제2 영상 데이터를 획득하는 단계; 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 대한 양선형 보간을 수행하고, 제1 보간 영상 데이터 및 제2 보간 영상 데이터를 생성하는 단계; 상기 제1 보간 영상 데이터 및 상기 제2 보간 영상 데이터에 대한 WDR 동작을 수행하여 영상 데이터들을 합성하는 단계; 및 상기 합성된 영상 데이터를 처리하여 베이어 패턴을 형성하는 단계를 포함하는 이미지 처리 방법을 제공한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하 게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
실시예
도 1은 본 발명의 일 실시예에 따른 이미지 센서를 도시한 블록도이다.
도 1을 참조하면, 이미지 센서는 픽셀부(100), 양선형 보간부(120), 영상 합성부(140) 및 RGB 베이어 변환부(160)를 가진다.
픽셀부(100)는 다수의 CIS(CMOS Image Sensor)들로 구성된다. 또한, 각각의 픽셀은 능동형 또는 수동형으로 구성될 수 있다. 상기 픽셀부(100)는 외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생한다. 발생된 전기적 신호는 디지털화된다. 또한, 발생된 전기적 신호는 해당하는 픽셀에서 증폭되고, 별도의 회로를 통해 디지털화될 수도 있다. 상기 도 1에서 도시되지 아니하였으나, 픽셀부(100)에 의해 획득된 외부 영상에 상응하는 전기적 신호를 디지털화하기 위한 별도의 회로가 더 구비될 수 있다.
또한, 상기 픽셀부(100)를 구성하는 다수의 픽셀들은 베이어 타입으로 구성되며, 상기 픽셀부(100)는 서로 다른 노출 시간을 가진 영상 데이터들을 출력한다. 즉, 픽셀부(100)는 고노출인 제1 영상 데이터 및 저노출인 제2 영상 데이터를 출력한다. 따라서, 각각의 픽셀에 상응하는 제1 영상 데이터 및 제2 영상 데이터는 해당하는 픽셀의 컬러 정보만을 가진다. 상기 픽셀부(100)는 서로 다른 노출 시간을 가지는 제1 영상 데이터 및 제2 영상 데이터를 형성하기 위해 2개의 독립된 CIS블 록들로 구성될 수 있다.
양선형 보간부(120)는 제1 영상 데이터 및 제2 영상 테이터를 수신하고, 제1 영상 데이터 및 제2 영상 데이터에 대한 양선형 보간(Bilinear Interpolation)을 수행한다. 서로 병렬로 입력되는 제1 영상 데이터 및 제2 영상 데이터에 대한 양선형 보간을 수행하기 위해 양선형 보간부(120)는 제1 양선형 보간부(122) 및 제2 양선형 보간부(124)를 가진다. 상기 제1 양선형 보간부(122)는 고노출인 제1 영상 데이터에 대한 양선형 보간을 수행하고, 상기 제2 양선형 보간부(124)는 저노출인 제2 영상 데이터에 대한 양선형 보간을 수행한다.
양선형 보간부(120)에 입력된 제1 영상 데이터는 양선형 보간에 의해 제1 보간 영상 데이터로서 출력된다. 또한, 양선형 보간부(120)에 입력된 제2 영상 데이터는 양선형 보간 동작에 의해 제2 보간 영상 데이터로서 출력된다. 상기 제1 보간 영상 데이터 및 제2 보간 영상 데이터는 양선형 보간에 의해 예를 들어 레드 픽셀에 그린 영상 데이터 및 블루 영상 데이터가 추출된 상태이다. 즉, 해당하는 픽셀에는 원래 존재하지 않았는 그린 및 블루 영상 데이터가 양선형 보간에 의해 형성되므로, 제1 보간 영상 데이터 및 제2 보간 영상 데이터는 각각의 픽셀에 대해 레드, 그린, 블루 컬러에 대한 정보를 가진다.
양선형 보간부(120)에 의해 형성된 제1 보간 영상 데이터 및 제2 보간 영상 데이터는 영상 합성부(140)로 입력된다. 영상 합성부(140)는 제1 보간 영상 데이터 및 제2 보간 영상 데이터를 수신하고, 각각의 픽셀에 부여된 영상 데이터를 분석하고, 합성 영상 데이터를 출력한다. 영상 합성부(140)는 각각의 컬러에 대한 이득 곡선에 따라 픽셀의 최소값을 근거로 해당하는 컬러의 이득 특성을 결정한다. 즉, 각각의 픽셀에 대해 고노출인 제1 보간 영상 데이터의 최소값 및 저노출인 제2 보간 영상 데이터의 최소값의 합을 근거로 특정한 컬러의 이득 특성을 결정한다. 또한, 영상 합성부는 WDR(Wide Dynamic Range) 동작 특성을 획득하기 위해 3개의 동작 영역을 가진다. 3개의 동작 영역은 고노출인 제1 보간 영상 데이터를 중심으로 영상을 합성하는 영역, 저노출인 제2 보간 영상 데이터를 중심으로 영상을 합성하는 영역 및 상기 2개의 보간 영상 데이터들을 모두 참조하여 영상을 합성하는 영역들로 구성된다.
RBG 베이어 변환부(160)는 상기 합성 영상부(140)로부터 출력되는 합성 영상 데이터를 수신한다. 수신된 합성 영상 데이터는 베이어 패턴(Bayer Pattern)으로 변환된다. 즉, 합성 영상 데이터에서 해당하는 컬러의 영상 데이터만이 잔류하고, 나머지 컬러의 영상 데이터는 삭제된다. 예컨대 합성 영상 데이터가 레드 픽셀에 해당하는 경우, 합성 영상 데이터중 레드 영상 데이터는 잔류하고, 나머지 그린 영상 데이터 및 블루 영상 데이터는 삭제된다. 따라서, 다수의 합성 영상 데이터는 각각의 픽셀에 대해 하나의 컬러 정보만이 잔류하게 되고, 나머지 2개의 컬러 정보는 삭제된다. 상술한 바에 따라 형성된 베이어 패턴은 RGB 베이어 변환부(160)로부터 출력된다.
도 2a 내지 도 2c는 도 1에 도시된 양선형 보간부의 동작을 설명하기 위한 개념도들이다.
도 2a를 참조하면, 베이어 타입으로 배열된 픽셀부(100)에 의해 획득된 다수 의 영상 데이터들이 도시된다. 각각의 영상 데이터는 해당하는 픽셀에 의해 획득된 값이며, 상기 도 1에 도시된 제1 영상 데이터 또는 제2 영상 데이터이다. 또한, 본 실시예에서는 픽셀의 영상 데이터는 8비트로 이루어진 것으로 가정한다. 픽셀의 영상 데이터는 표현 방법에 따라 8비트 이외의 다양한 비트들로 구성될 수 있다. 다만, 도 2a 내지 도 2c에 표현된 영상데이터들은 용이한 이해를 위해 이진수를 십진수로 표현한 것에 불과하다.
상기 도 2a에서 제1 그린 픽셀(201)은 200의 영상 데이터를 가지고, 제2 그린 픽셀(203)은 100의 영상 데이터를 가진다. 또한, 블루 픽셀(205)은 80의 영상 데이터를 가지고, 레드 픽셀(207)은 170의 영상 데이터를 가진다.
상기 도 2a에 도시된 영상 데이터들을 가지는 픽셀들은 영상이 스트라이프 타입(Stripe Type)인 경우를 가정한 것이다. 즉, 픽셀들의 세로 방향으로 실질적으로 동일한 계조가 표현되고, 가로 방향으로는 밝은 부분과 어두운 부분이 반복되는 영상을 표현한 것이다. 다만, 이러한 패턴을 가지는 영상은 설명의 편이를 위해 사용되는 것이며, 실제의 피사체로부터 인식되는 영상은 이보다 훨씬 복잡한 양상을 가진다.
상기 도 2a에서 제1열부터 제3열까지는 픽셀들은 상대적으로 높은 값의 영상 데이터를 가진다. 반면, 4열 및 5열에 배치된 픽셀들은 상대적으로 낮은 값의 영상 데이터를 가진다. 따라서, 3열 및 4열에 배치된 픽셀들 사이에는 영상 데이터가 급격히 변하게 된다.
도 2b는 상기 도 2a에 도시된 영상 데이터들에 대한 양선형 보간을 설명하기 위한 개념도들이다.
도 2b를 참조하면, 상기 도 2a에 도시된 제1 그린 픽셀(201) 및 제2 그린 픽셀(203)에는 양선형 보간에 의해 레드 영상 데이터들 및 그린 영상 데이터들이 추출된다. 또한, 상기 도 2a에 도시된 블루 픽셀(205)에는 새로운 레드 영상 데이터 및 그린 영상 데이터가 생성되고, 레드 픽셀(207)에는 새로운 그린 영상 데이터 및 블루 영상 데이터가 생성된다. 이하, 픽셀을 정의할 때, (x,y)좌표를 사용한다. 따라서, 제1 그린 픽셀(201)은 (3,3)그린 픽셀로 표현될 수 있으며, 제2 그린 픽셀(203)은 (4,4)그린 픽셀로, 블루 픽셀(205)은 (3,4)블루 픽셀로, 레드 픽셀(170)은 (4,3)레드 픽셀로 표현될 수 있다.
양선형 보간은 보간 연산의 대상이 되는 픽셀 주변에 배치된 픽셀들의 산술 평균을 이용하는 것이다. 즉, 제1 그린 픽셀(201)의 레드 영상 데이터 및 블루 영상 데이터를 생성하고자 하는 경우, 제1 그린 픽셀(201)을 중심으로 배치된 8개의 픽셀값들 중에서 해당하는 컬러의 영상 데이터를 참조한다. 따라서, 제1 그린 픽셀(201)을 중심으로 상하의 레드 영상 데이터들의 산술 평균을 구하고, 산출된 산술 평균을 제1 그린 픽셀(201)의 레드 영상 데이터로 설정한다. 상술한 방법으로 제1 그린 픽셀(201) 주변의 블루 픽셀들의 산술 평균을 구하여 제1 그린 픽셀(201)의 블루 영상 데이터를 설정할 수 있다.
또한 블루 픽셀(205) 주변에 배치된 8개의 픽셀값들 중에서 해당하는 컬러의 영상 데이터들을 참조하여, 레드 영상 데이터 및 그린 영상 데이터를 추출한다. 마찬가지로, 그린 픽셀(205) 주변에 배치된 8개의 픽셀값들 중에서 인접한 다른 레드 픽셀들의 영상 데이터들의 산술 평균치를 이용하여 레드 영상 데이터를 생성하고, 인접한 다른 블루 픽셀들의 영상 데이터들의 산술 평균치를 이용하여 블루 영상 데이터를 생성한다.
도 2c는 본 실시예의 양선형 보간과 비교되는 실효적 보간(Effective Interpolation)을 설명하기 위한 개념도이다.
도 2c를 참조하면, 실효적 보간은 주변 픽셀들의 영상 데이터들의 변화치를 고려하여 영상 데이터를 생성한다. 따라서, 영상 데이터의 변화의 기복이 픽셀별로 심한 경우, 실효적 보간은 색상 정보가 비교적 고르게 분포하는 특성을 가진다. 그러나, 양선형 보간의 경우, 단순한 산술 평균만을 수행하므로 색상 정보의 변화가 심한 부분에서 정보의 변화폭이 실효적 보간에 비해 크게 나타난다.
이하, 실효적 보간에 대해 설명한다.
먼저, 그린 픽셀에서 레드 영상 데이터 및 블루 영상 데이터를 추출하는 방법에 대해 설명한다. 예컨대, 상기 도 2a에서 제1 그린 픽셀(201) 주변에 배치된 4개의 블루 및 레드 픽셀들을 선택한다. 또한, 선택된 블루 및 레드 픽셀들을 중심으로 주변의 4개의 그린 픽셀들의 산술 평균을 산출한다. (2,3)레드 픽셀을 중심으로 인접한 4개의 그린 영상 데이터들의 산술 평균을 g1이라 정의한다. 또한, (3,2)블루 픽셀을 중심으로 인접한 4개의 그린 영상 데이터들의 산술 평균을 g2라 정의한다. 마찬가지로, (4,3)레드 픽셀을 중심으로 인접한 4개의 그린 영상 데이터들의 산술 평균을 g3이라 정의한다. 또한, (3,4)블루 픽셀을 중심으로 인접한 4개의 그린 영상 데이터들의 산술 평균을 g4라 정의한다.
또한, 상기 g1에서 (2,3)레드 픽셀의 데이터를 감산하여 변수 kr1을 구하며, g2에서 (3,2)블루 픽셀의 데이터를 감산하여 변수 Kr2를 구한다. 상기 g3에서 (4,3)레드 픽셀의 데이터를 감산하여 변수 Kr3을 구하며, g4에서 (3,4)블루 픽셀의 데이터를 감산하여 변수 Kr4를 구한다.
상술한 바에 의해 도출된 g1, g2, g3, g4, Kr1, Kr2, Kr3 및 Kr4를 이용하여 제1 그린 픽셀의 레드 성분 및 블루 성분을 구한다.
제1 그린 픽셀의 레드 성분은 하기의 수학식 1에 따른다.
Figure 112006039199562-pat00001
또한, 제1 그린 픽셀의 블루 성분은 하기의 수학식 2에 따른다.
Figure 112006039199562-pat00002
상술한 수학식들에 의해 제1 그린 픽셀의 레드 성분 및 블루 성분을 구할 수 있다.
또한, 블루 픽셀(205)에서 레드 성분 및 그린 성분은 다음과 같은 방법으로 구해진다.
먼저, 블루 픽셀(205)의 그린 성분은 하기의 수학식 3에 따른다.
Figure 112006039199562-pat00003
여기서, B2는 (3,4)블루 픽셀의 블루 영상 데이터이며, B1, B3는 (3,4)블루 픽셀을 중심으로 가로축으로 인접한 블루 픽셀들의 블루 영상 데이터들이며, B1' B3' 는 (3,4)블루 픽셀을 중심으로 세로축에 인접한 블루 픽셀들의 블루 영상 데이터들이고, G1, G2, G3 및 G4는 (3,4)블루 픽셀을 중심으로 인접한 그린 픽셀들의 그린 영상 데이터들이다.
또한, 블루 픽셀(205)의 레드 성분은 하기의 수학식 4에 따른다.
Figure 112006039199562-pat00004
먼저, g1, g2, g3 및 g4를 정의하기 위해 해당하는 블루 픽셀(205) 주위의 4개의 레드 픽셀들의 레드 영상 데이터들 R1, R2, R3 및 R4를 정의한다. 상기 g1은 R1 주변에 인접한 4개의 그린 성분들의 평균값이며, g2는 R2를 중심으로 인접한 4개의 그린 성분들의 평균값이다. 또한, g3은 R3을 중심으로 인접한 4개의 그린 성분들의 평균값이며, g4는 R4를 중심으로 인접한 4개의 그린 성분들의 평균값이다.
레드 픽셀(207)에서의 블루 성분 및 그린 성분을 산출하는 방법은 상술한 블 루 픽셀(205)에서 레드 성분 및 그린 성분을 산출하는 방법과 동일하다. 따라서, 중복된 설명을 회피하기 위하여 상세한 설명은 생략한다.
상술한 바대로 양선형 보간은 인접 픽셀들의 산술 평균을 이용하여 색상 정보를 얻는다. 따라서 색상 분포가 일정한 부분에서는 실효적 보간에 비해 영상의 품질이 큰 차이가 나지 않는다. 그러나, 색상값이 급격히 변하는 영역에서는 주변 픽셀값들의 변화를 고려하는 실효적 보간이 더 우수한 품질의 영상을 가진다. 실효적 보간의 경우, 일정 영역에서 색상정보의 변화가 많은 부분에서 비교적 고른 분포를 가지는데 반해, 양선형 보간은 색상정보의 변화가 급격히 변하는 양상을 띤다.
또한, 각각의 픽셀에서의 영상 데이터를 구성하는 레드, 그린 및 블루 데이터들 중 최대값과 최소값의 차이는 양선형 보간이 실효적 보간에 비해 상대적으로 큰 값을 가지게 된다. 예컨대, 상기 도 2b 및 도 2c에서, 양선형 보간을 거친 제1 그린 픽셀(201)의 최소값과 최대값의 차이는 70이다. 반면, 실효적 보간을 거친 제1 그린 픽셀(201)의 최소값과 최대값의 차이는 33이므로 양선형 보간에서의 최대값과 최소값의 차이가 실효적 보간에서의 최대값과 최소값의 차이보다 큰 값을 가짐을 알 수 있다. 그러나, 이러한 양선형 보간의 단점은 영상 합성부(140)의 WDR(Wide Dynamic Range) 동작에 의해 크게 개선된다.
영상 합성부(140)는 양선형 보간부(120)로부터 출력되는 2개의 보간 영상 신호들을 수신하고, 이를 합성한다. 특히, 상기 영상 합성부(140)는 WDR 동작을 수행한다. 즉, 상기 영상 합성부(140)의 WDR 동작은 고노출 영상과 저노출 영상을 하나 로 합성하여 영상화시키며, 보다 선명한 영상을 얻기 위하여 수행된다. 서로 다른 노출 시간을 가지는 영상 데이터들을 하나의 영상 데이터로 합성하는 동작은 하기의 수학식 5에 의해 결정된다.
Figure 112006039199562-pat00005
Figure 112006039199562-pat00006
Figure 112006039199562-pat00007
상기 수학식 5에서 R', G', B' 는 제1 보간 영상 데이터 및 제2 보간 영상 데이터의 각각의 색상 정보가 합성되어 생성된 색상 정보를 나타낸다. 또한, 고노출 특성을 가지는 제1 보간 영상 데이터에서 M 은 각각의 픽셀의 레드 성분 R, 그린 성분 G 및 블루 성분 B 중에서 최소값을 나타낸다. 또한, S는 합성 영상의 이득을 나타내며, 0<S<1을 만족하는 임의의 실수이다. 상기 식에서 r, g, b는 저노출 특성을 가지는 제2 보간 영상 데이터의 레드 성분, 그린 성분 및 블루 성분을 나타낸다.
Figure 112006039199562-pat00008
,
Figure 112006039199562-pat00009
,
Figure 112006039199562-pat00010
는 각각 상기 레드, 그린 및 블루 각각의 컬러 이득을 나타낸다.
도 3은 도1의 영상 합성부(140)의 동작을 설명하기 위한 이득 곡선이다.
도 3을 참조하면, 상기 수학식 5에서 CR을 결정하기 위한 곡선이 개시된다. 상기 도 3과 유사한 방식으로 CG 및 CB 성분도 산출해낼 수 있다.
먼저, 픽셀당 각각의 컬러의 이득 gR=R/M, gG=G/M, gB=B/M으로 정의된다. 상기 도 3은 CR을 구하는 경우이므로 gR만이 참조된다. 상기 도 3에서 gR은 2개의 값으로 정의된다. 즉, 제1 보간 영상 데이터의 gR 및 제2 보간 영상 데이터의 gR로 구분된다. 또한, 영상 데이터의 특성에 따라, 상대적으로 낮은 값을 가지는 gR1이 제1 보간 영상 데이터의 R/M일 수 있으며, 제2 보간 영상 데이터의 r/m(r은 레드 데이터, m은 최소값을 지칭한다)일 수 있다.
특정의 픽셀에서의 특정의 컬러의 보간 영상 데이터의 합에 따라 상기 도 3은 3개의 영역으로 나누어진다. 예컨대 각각의 보간 영상 데이터가 8비트로 구성된 경우, 영역을 분할하는 제1 기준치 R1은 250으로 설정되고, 제2 기준치 R2는 350으로 설정될 수 있다. 따라서, 고노출인 제1 보간 영상 데이터 R 및 저노출인 제2 보간 영상 데이터 r의 합에 의해 3가지 영역의 연산중 어느 하나가 결정된다.
즉, R+r이 제1 영역에 위치하는 경우, CR은 gR1로 설정된다. R+r이 제1 영역에 위치하는 것은 상대적으로 높은 픽셀값을 가지는 R의 데이터 신뢰도가 높다는 것을 의미한다. 이러한 경우, 저노출 영상 데이터인 r은 매우 낮은 픽셀값을 가진다. 따라서, 제1 보간 영상 데이터 R을 주요한 색상 성분으로 결정하여 영상을 합성한다.
또한, 제2 영역에서의 CR 곡선은 상기 도 3에서는 일정한 기울기를 가진 직 선으로 표현되었으나, 영상 데이터의 특성, 노출 시간 등에 의해 다양하게 설정될 수 있다. 다만, 상기 제2 영역은 제1 보간 영상 데이터뿐 아니라 제2 보간 영상 데이터도 참조하여 이득 특성을 결정한다. 만일, R+r이 제2 영역에 위치하는 경우, R+r에 상응하는 CR은 이득 곡선에 의해 결정되고, 결정된 상기 CR값은 상기 수학식 5에 사용된다.
만일, R+r이 제3 영역에 위치하는 경우, CR은 gR2로 결정된다. R+r이 제3 영역에 위치한다는 것은 고노출 데이터인 제1 보간 영상 데이터가 포화되었음을 의미한다. 따라서, 제1 보간 영상 데이터는 신뢰성을 가지지 않는 것으로 판단되며, 제2 보간 영상 데이터를 주로 이용하여 영상을 합성할 수 있다.
또한, 상기 도 1 및 상기 도 3에 도시된 영상 합성부(140)의 WDR 동작은 각각의 픽셀에서 획득된 3개의 픽셀값 중에서 최소값에 의해 결정되는 특성을 가진다. 즉, 동일한 픽셀에서 고노출 보간 영상 데이터의 최소값과 저노출 보간 영상 데이터의 최소값의 합에 의해 상기 도 3에 도시된 3가지 연산중의 어느 하나가 결정되는 특성을 가진다.
상기 도 2a 내지 도 2c를 참조하여 양선형 보간과 실효적 보간의 WDR 동작에서의 차이점을 설명한다.
먼저, 상기 도 2b에서 양선형 보간이 수행된 상대적으로 높은 픽셀값을 가지는 제1 그린 픽셀(201)의 최소값은 130이며, 이에 상응하여 상기 도 2c에서 실효적 보간이 수행된 동일 픽셀의 최소값은 167이다. 즉, 상대적으로 높은 픽셀값을 가지 는 경우, 양선형 보간의 픽셀값의 최소치가 실효적 보간의 픽셀값의 최소치보다 낮음을 알 수 있다.
또한, 상기 도 2b에서 양선형 보간이 수행되고, 상대적으로 낮은 픽셀값을 가지는 제2 그린 픽셀(203)의 최소값은 80이며, 이에 상응하는 도 2c에서 실효적 보간이 수행된 동일 픽셀의 최소값은 55이다. 즉, 해당하는 픽셀이 상대적으로 낮은 픽셀값을 가지는 경우, 양선형 보간의 픽셀값의 최소치는 실효적 보간의 픽셀값의 최소치보다 높음을 알 수 있다.
만일, 상대적으로 높은 픽셀값을 가지는 제1 그린 픽셀(201)의 영상 데이터들을 고노출 이미지라 가정한다면, 고노출 이미지의 경우, 양선형 보간의 최소 픽셀값이 실효적 보간의 최소 픽셀값보다 낮음을 알 수 있다. 또한, 상대적으로 낮은 픽셀값을 가지는 제2 그린 픽셀(203)의 영상 데이터들을 저노출 이미지라 가정한다면, 양선형 보간의 최소 피셀값이 실효적 보간의 최소 픽셀값을 상회한다는 것을 알 수 있다. 따라서, 상기 도 2a에서 도시된 바와 같이 영상의 변화가 급격한 부분에서 양선형 보간을 거치는 경우, 고노출 부분의 영상 데이터의 최소값은 실효적 보간보다 낮은 값을 유지하고, 저노출 부분의 영상 데이터의 최소값은 실효적 보간보다 높은 값을 유지한다.
또한, 양선형 보간의 경우, 고노출 영상일 때, 픽셀의 최소값은 실효적 보간에 비해 상대적으로 낮은 것을 알 수 있다. 이는 상기 도 3에서 gR2 가 양선형 보간과 실효적 보간 사이에 차이가 있음을 나타낸다. 즉, 상대적으로 고노출 영역에 대 한 이득을 나타내는 gR2는 양선형 보간일 때의 값이 실효적 보간일 때의 값보다 커진다.
또한, 저노출 영상인 경우, 양선형 보간에 의해 형성된 픽셀의 최소값은 실효적 보간에 의해 형성된 픽셀의 최소값보다 높음을 알 수 있다. 이는 상기 도 3에서 gR1이 양선형 보간과 실효적 보간 사이에 차이가 있음을 나타낸다. 즉, 상대적으로 저노출 영역에 대한 이득을 나타내는 gR1은 양선형 보간일 때의 값이 실효적 보간일 때의 값보다 적어진다.
따라서, 양선형 보간의 경우, 상기 도 3에 도시된 이득 특성 곡선은 실효적 보간에 비해 큰 기울기를 가진다. 즉, 실효적 보간에 비해 gR1은 하강하고, gR2는 상승함을 알 수 있다. 이는 고노출 영역에서의 이득은 상승하고, 저노출 영역에서의 이득은 감소함을 의미한다. 따라서, 인접한 픽셀들 사이에 계조의 변화가 나타나는 경우, 상기 양선형 보간은 보다 선명한 영상을 구현할 수 있다.
도 4는 이미지 센서에서 영상을 처리하는 방법을 도시한 플로우 차트이다.
도 4를 참조하면, 서로 다른 노출 시간을 가진 영상 데이터들은 픽셀부를 통해 획득된다(S100). 상기 영상 데이터들의 획득은 외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호의 발생에 의해 달성된다. 발생된 전기적 신호는 디지털화된다. 또한, 발생된 전기적 신호는 해당하는 픽셀에서 증폭되고, 별도의 회로를 통해 디지털화될 수도 있다.
계속해서, 픽셀부에 의해 획득된 고노출의 제1 영상 데이터 및 저노출의 제2 영상 데이터에 대한 양선형 보간이 수행된다(S200). 상기 양선형 보간은 전술한대로, 주변 픽셀들의 산술 평균을 이용하여 보간을 수행한다. 양선형 보간에 의해 제1 영상 데이터는 제1 보간 영상 데이터로 변환되고, 제2 영상 데이터는 제2 보간 영상 데이터로 변환된다. 또한, 제1 영상 데이터 및 제2 영상 데이터는 서로 병렬 처리된다.
이어서, 제1 보간 영상 데이터 및 제2 보간 영상 데이터에 대한 영상 합성이 수행된다(S300). 상기 영상 합성은 입력된 2개의 보간 영상 데이터에 대한 WDR(Wide Dynamic Range) 동작을 수행함에 의해 달성된다.
보간 영상 데이터에서 특정 픽셀의 최소값들의 합이 상기 도 3에 도시된 제1 기준치 R1 이하인 경우, 상대적으로 고노출 데이터인 제1 영상 데이터가 포화된 상태가 아님을 의미하며, 저노출 데이터인 제2 영상 데이터는 매우 낮은 픽셀값을 가짐을 의미한다. 따라서, 영상의 합성시, 제1 영상 데이터를 주로 참조하여 영상을 합성한다. 또한, 보간 영상 데이터에서 특정 픽셀의 최소값들의 합이 상기 도 3에 도시된 제2 영역에 위치하는 경우, 제1 보간 영상 데이터 및 제2 보간 영상 데이터를 참조하여 새로운 합성 영상 데이터를 형성하기 위한 이득을 설정할 수 있다. 만일, 보간 영상 데이터의 특정 픽셀의 최소값들이 상기 도 3에 도시된 제3 영역에 위치하는 경우, 고노출의 제1 보간 영상 데이터는 포화된 영상으로 판단된다. 따라서, 저노출인 제2 보간 영상 데이터를 중심으로 영상을 합성한다.
합성된 영상 데이터는 베이어 패턴으로 변환된다(S400). 베이어 패턴은 이미지 프로세서에서 처리되기 위한 입력 데이터로 구비된다. 양선형 보간 및 합성된 영상 데이터는 각각의 픽셀마다 레드, 그린 및 블루의 영상 데이터를 가진다. 베이어 패턴은 해당하는 컬러의 영상 데이터만을 가지며, 나머지 컬러의 영상 데이터는 상실된다. 따라서, 레드 픽셀에서는 합성된 레드 영상 데이터만이 잔류하며, 그린 픽셀에서는 합성된 그린 영상 데이터만 잔류하고, 블루 픽셀에서는 합성된 블루 영상 데이터만 잔류하게 된다.
상술한 본 발명의 실시예들에 따를 경우, 픽셀부에 의해 획득된 영상 데이터들에 대해 양선형 보간이 수행되고, WDR 기능을 가지는 영상 합성부에 의한 영상의 합성이 수행된다. 양선형 보간은 실효적 보간에 비해 빠른 처리 시간을 가지며, 영상 합성부에 의해 보다 높은 품질의 영상을 획득할 수 있다. 또한, 양선형 보간은 3*3 픽셀들을 하나의 단위로 하여 연산이 수행된다. 그러나, 실효적 보간의 경우, 5*5 픽셀들을 하나의 단위로 하여 연산이 수행된다. 따라서, 양선형 보간은 실효적 보간에 비해 적은 픽셀수의 데이터들을 참조하여 연산을 수행할 수 있다. 따라서, 실효적 보간에 비해 적은 용량의 메모리를 사용할 수 있다.
상기와 같은 본 발명에 따르면, 외부 피사체로부터 영상 데이터는 고노출 영상 데이터 및 저노출 영상 데이터의 형태로 획득된다. 획득된 영상 데이터들에 대해서는 양선형 보간이 수행되고, WDR 동작에 의해 보간된 영상 데이터들은 합성된다. 합성된 영상은 베이어 패턴으로 변환되어 출력된다. 서로 다른 노출 시간을 가지는 영상 데이터들에 대해 양선형 보간이 수행되는 경우, 실효적 보간에 비해 상대적으로 간단한 연산 과정을 거친다. 따라서, 처리 속도가 실효적 보간에 비해 빨 라지며, 픽셀당 최대 8개의 픽셀 데이터를 참조하므로 적은 용량의 메모리를 사용하여 효과적인 보간을 수행할 수 있다.
또한, WDR 동작에 의해 보간된 영상 데이터들이 합성되는 과정에서 픽셀값이 소정의 영역에 걸쳐 많은 변화를 가지는 경우, 양선형 보간이 수행된 영상 데이터들은 고노출 부분 및 저노출 부분에서 실효적 보간에 비해 큰 이득차이를 가진다. 따라서, 실효적 보간에 비해 선명한 영상을 얻을 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 외부 피사체로부터 고노출의 제1 영상 데이터 및 저노출의 제2 영상 데이터를 획득하는 픽셀부;
    상기 제1 영상 데이터 및 상기 제2 영상 데이터에 대한 양선형 보간을 수행하여 제1 보간 영상 데이터 및 제2 보간 영상 데이터를 생성하는 양선형 보간부;
    상기 제1 보간 영상 데이터 및 상기 제2 보간 영상 데이터에 대한 WDR(Wide Dynamic Range) 동작을 수행하여 상기 제1 및 제2 보간 영상 데이터들을 합성하여 합성 영상 데이터를 생성하는 영상 합성부; 및
    상기 합성 영상 데이터에 기초하여 베이어 패턴을 형성하는 RGB 베이어 변환부를 포함하는 이미지 센서.
  2. 제1항에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터는 상기 양선형 보간부에 병렬 입력되는 것을 특징으로 하는 이미지 센서
  3. 제1항에 있어서, 상기 양선형 보간부는,
    상기 제1 영상 데이터에 대한 양선형 보간을 수행하여 상기 제1 보간 영상 데이터를 형성하기 위한 제1 양선형 보간부; 및
    상기 제2 영상 데이터에 대한 양선형 보간을 수행하여 상기 제2 보간 영상 데이터를 형성하기 위한 제2 양선형 보간부를 포함하는 것을 특징으로 하는 이미지 센서.
  4. 제3항에 있어서, 상기 양선형 보간은, 보간 대상이되는 픽셀에 최근접한 8개의 픽셀들중 해당하는 컬러를 가진 픽셀들의 영상 데이터들의 산술 평균을 추출하는 것을 특징으로 하는 이미지 센서.
  5. 제1항에 있어서, 상기 영상 합성부는, 하기의 수학식
    Figure 112006039199562-pat00011
    Figure 112006039199562-pat00012
    Figure 112006039199562-pat00013
    (여기서, 상기 R', G' 및 B'는 합성 영상 데이터, r, g, b는 각각 상기 제2 보간 영상 데이터의 레드, 그린 및 블루 성분, 상기 M 은 각각의 픽셀의 레드 성분 R, 그린 성분 G 및 블루 성분 B 중에서 최소값, CR, CG 및 CB는 각각 상기 레드, 그린 및 블루 각각의 컬러 이득, S는 합성 영상의 이득으로서 0<S<1을 만족하는 임의의 실수)을 이용하여 영상을 합성하는 것을 특징으로 하는 이미지 센서.
  6. 제5항에 있어서, 상기 각각의 컬러 이득은 각각의 픽셀의 상기 제1 보간 영상 데이터의 최소값 및 상기 제2 보간 영상 데이터의 최소값의 합에 기초하여,
    상기 제1 보간 영상 데이터를 중심으로 영상을 합성하기 위한 제1 영역,
    상기 제1 보간 영상 데이터 및 상기 제2 보간 영상 데이터를 참조하여 영상을 합성하기 위한 제2 영역 및
    상기 제2 보간 영상 데이터를 중심으로 영상을 합성하기 위한 제3 영역으로 구분되는 것을 특징으로 하는 이미지 센서.
  7. 고노출의 제1 영상 데이터 및 저노출의 제2 영상 데이터를 획득하는 단계;
    상기 제1 영상 데이터 및 상기 제2 영상 데이터에 대한 양선형 보간을 수행하여 제1 보간 영상 데이터 및 제2 보간 영상 데이터를 생성하는 단계;
    상기 제1 보간 영상 데이터 및 상기 제2 보간 영상 데이터에 대한 WDR 동작을 수행하여 영상 데이터들을 합성하는 단계; 및
    상기 합성된 영상 데이터를 처리하여 베이어 패턴을 형성하는 단계를 포함하는 이미지 처리 방법.
  8. 제7항에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터는 베이어 타입의 영상 데이터들이며, 상기 양선형 보간은 보간 대상이 되는 픽셀에 최근접한 8개의 픽셀들 중 해당하는 컬러를 가진 픽셀들의 영상 데이터들의 산술 평균을 추출하는 것을 특징으로 하는 이미지 처리 방법.
  9. 제7항에 있어서, 상기 영상 데이터들을 합성하는 것은 각각의 픽셀의 제1 보 간 영상 데이터의 최소값 및 제2 보간 영상 데이터의 최소값의 합을 근거로 컬러 이득을 구하는 것을 특징으로 하는 이미지 처리 방법.
  10. 제7항에 있어서, 상기 제1 영상 데이터에 대한 양선형 보간과 상기 제2 영상 데이터에 대한 양선형 보간은 서로 병렬 처리되는 것을 특징으로 하는 이미지 처리 방법.
KR1020060049806A 2006-06-02 2006-06-02 이미지 센서 및 이미지 처리 방법 KR100763656B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060049806A KR100763656B1 (ko) 2006-06-02 2006-06-02 이미지 센서 및 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060049806A KR100763656B1 (ko) 2006-06-02 2006-06-02 이미지 센서 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR100763656B1 true KR100763656B1 (ko) 2007-10-11

Family

ID=39419174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060049806A KR100763656B1 (ko) 2006-06-02 2006-06-02 이미지 센서 및 이미지 처리 방법

Country Status (1)

Country Link
KR (1) KR100763656B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508619B2 (en) 2009-09-22 2013-08-13 Samsung Electronics Co., Ltd. High dynamic range image generating apparatus and method
US9330446B2 (en) 2013-03-12 2016-05-03 Hanwha Techwin Co., Ltd. Method and apparatus for processing image
US11601629B2 (en) 2020-02-17 2023-03-07 Samsung Electronics Co., Ltd. Image sensors, calibration methods of image sensors, and electronic devices for calibrating image sensors
US11637963B2 (en) 2019-07-16 2023-04-25 Samsung Electronics Co., Ltd. Image sensor and image processing system comprising the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0837628A (ja) * 1994-07-22 1996-02-06 Canon Inc 撮像装置
JP2000078463A (ja) 1998-08-28 2000-03-14 Nikon Corp 画像取り込み装置
KR20010036040A (ko) * 1999-10-05 2001-05-07 윤종용 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법
JP2001136434A (ja) 1999-11-09 2001-05-18 Ricoh Co Ltd 撮像装置
JP2003244710A (ja) 2002-02-14 2003-08-29 Minolta Co Ltd カラー撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0837628A (ja) * 1994-07-22 1996-02-06 Canon Inc 撮像装置
JP2000078463A (ja) 1998-08-28 2000-03-14 Nikon Corp 画像取り込み装置
KR20010036040A (ko) * 1999-10-05 2001-05-07 윤종용 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법
JP2001136434A (ja) 1999-11-09 2001-05-18 Ricoh Co Ltd 撮像装置
JP2003244710A (ja) 2002-02-14 2003-08-29 Minolta Co Ltd カラー撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508619B2 (en) 2009-09-22 2013-08-13 Samsung Electronics Co., Ltd. High dynamic range image generating apparatus and method
US9330446B2 (en) 2013-03-12 2016-05-03 Hanwha Techwin Co., Ltd. Method and apparatus for processing image
US11637963B2 (en) 2019-07-16 2023-04-25 Samsung Electronics Co., Ltd. Image sensor and image processing system comprising the same
US11601629B2 (en) 2020-02-17 2023-03-07 Samsung Electronics Co., Ltd. Image sensors, calibration methods of image sensors, and electronic devices for calibrating image sensors

Similar Documents

Publication Publication Date Title
EP1357760B1 (en) Image processing device and method
JP4233257B2 (ja) 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
EP1351521B1 (en) Imaging device
TWI386049B (zh) A solid-state imaging device, and a device using the solid-state imaging device
JP3946492B2 (ja) 低解像度イメージの生成方法
JP3968121B2 (ja) 画像圧縮方法
KR100468169B1 (ko) 위색(僞色)신호발생이억제가능한단판식컬러카메라
US20080068477A1 (en) Solid-state imaging device
US8086032B2 (en) Image processing device, image processing method, and image pickup apparatus
WO2002056602A1 (fr) Dispositif de traitement d&#39;image
JP3664231B2 (ja) カラー画像処理装置
WO2007100002A1 (ja) 撮像装置、映像信号処理方法および映像信号処理プログラム
US7643074B2 (en) Pixel signal processing apparatus and pixel signal processing method
JP4246428B2 (ja) トーンスケール関数の生成方法
KR100763656B1 (ko) 이미지 센서 및 이미지 처리 방법
KR20050031911A (ko) 촬상 장치
US20020060743A1 (en) Image processing apparatus and method
JP4934991B2 (ja) 撮像信号処理装置及び方法並びに撮像装置
KR100810155B1 (ko) 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
JP4158280B2 (ja) 画像処理装置およびその方法
JPWO2006059365A1 (ja) 画像処理装置、非撮像色信号算出装置及び画像処理方法
JP5484015B2 (ja) 撮像装置、撮像方法、及びプログラム
JP3730063B2 (ja) 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
JP2009135598A (ja) 画像読み取り表示装置
JP2005086630A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120925

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130925

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140912

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150915

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee