KR101086501B1 - 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로 - Google Patents

이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로 Download PDF

Info

Publication number
KR101086501B1
KR101086501B1 KR1020080118000A KR20080118000A KR101086501B1 KR 101086501 B1 KR101086501 B1 KR 101086501B1 KR 1020080118000 A KR1020080118000 A KR 1020080118000A KR 20080118000 A KR20080118000 A KR 20080118000A KR 101086501 B1 KR101086501 B1 KR 101086501B1
Authority
KR
South Korea
Prior art keywords
data
image
pixel
pixels
image layer
Prior art date
Application number
KR1020080118000A
Other languages
English (en)
Other versions
KR20100059280A (ko
Inventor
조광준
손영철
Original Assignee
주식회사 하이닉스반도체
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이닉스반도체 filed Critical 주식회사 하이닉스반도체
Priority to KR1020080118000A priority Critical patent/KR101086501B1/ko
Priority to US12/344,965 priority patent/US20100128039A1/en
Priority to TW098104382A priority patent/TW201020975A/zh
Priority to CN200910135253A priority patent/CN101742335A/zh
Priority to JP2009153891A priority patent/JP2010130686A/ja
Publication of KR20100059280A publication Critical patent/KR20100059280A/ko
Application granted granted Critical
Publication of KR101086501B1 publication Critical patent/KR101086501B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

데이터 보간을 사용하지 않거나 최소화하고 픽셀의 실제 데이터로 이미지 데이터를 생성하므로써, 개선된 화질의 이미지를 얻기 위한 이미지 데이터 프로세싱 방법이 개시된다. 이를 위한 이미지 데이터 프로세싱 방법은, 픽셀 어레이로부터 픽셀 데이터들을 얻는 단계; 및 상기 픽셀 데이터들을 재배열하여 이미지 데이터를 생성하는 단계를 포함한다. 여기서, 해상도 조절을 위해 상기 생성된 이미지 데이터를 스케이링하는 단계를 더 포함할 수 있다.
이미지, 센서, 재배열, 보간, 디모자이크

Description

이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로{IMAGE DATA PROCESSING METHOD, IMAGE SENSOR, AND INTEGRATED CIRCUIT}
본 발명은 CCD(Charge Coupled Device) 또는 CIS(CMOS Image Senser)와 같은 이미지 센싱 장치에 관한 것으로, 더욱 상세하게는 컬러 이미지 데이터 신호의 프로세싱을 위한 방법 및 장치에 관한 것이다.
통상적으로, CCD 또는 CIS에서 최대 해상도를 얻기 위하여, 픽셀 어레이로부터 출력된 데이터를 디모자이크(Demosaic) 처리하여 컬러 보간(interpolation)을 수행하고 있다.
도 1은 종래기술에 따른 이미지 데이터 프로세싱 방법을 간략하게 도시한 흐름도이다. 도 1을 참조하면 픽셀어레이(10)로 부터 픽셀 데이터들을 얻는 단계(S100)와, 픽셀 데이터들을 디모자이크하여 컬러 보간을 수행하므로써 이미지 데이터를 생성하는 단계(S120)와, 생성된 이미지 데이터를 스케일링하는 단계(S140)을 포함한다.
픽셀 데이터를 얻는 단계(S100)은 픽셀어레이로 부터 출력된 RGB 각 아날로그 신호를 디지탈신호로 변환하는 단계(S102)를 포함한다. 컬러 보간에 의해 이미지 데이터 RGB(M×N)를 생성하는 단계(S120)는 변환된 디지탈신호를 입력받아 수행된다. 스케일링 단계(S140)은 해상도 조절을 위한 것으로, 입력 데이터 RGB(M×N)을 데이터 RGB(M/2×N/2)로 다운 스케일링하여 출력한다. 이와 반대로, 스케일링 단계는 업 스케일링으로 수행될 수도 있다.
도 2는 베이어 패턴의 칼라 필터 어레이를 나타낸다. 도 2에 도시된 바와 같이, 하나의 컬럼당 M개 및 하나의 로오(Row) 당 N개씩, 총 M×N개의 픽셀이 어레이되어 있을때, 각 픽셀에 대응되어 그린(G), 블루(B) 및 레드(R) 칼라필터가 배열된다. 베이어 패턴은 1개의 R필터, 2개의 G필터, 1개의 B필터가 단위 패턴(220)을 구성하고 있으며, 이러한 단위 패턴이 반복되어 배열된다.
도 3은 종래의 칼라 보간 방법을 도식화하여 나타낸 것이다.
도 3을 참조하면, 베이어 RGB 패턴(310)에 대응하는 각 픽셀 데이터는 동일 컬러에 대응하는 픽셀 데이터들만으로 분리된다. 즉, 베이어 RGB 패턴(310)은 레드 칼라필터 플랜(320a), 그린 칼라필터 플랜(320b), 블루 칼라필터 플랜(320c)으로 분리된다.
이어서, 각 플랜의 비어있는 픽셀들에도 데이터가 생성되는 바, 주변의 다른 신호에 의해 디모자이크 처리되어 이미지 레이어 데이터들이 생성된다. 이렇게 생성된 이미지 데이터에 대응하는 패턴의 형상을 도면에서는 이미지 레이어 패턴(330a, 330b, 330c)로 나타내었다.
이어서, R-이미지 레이어 패턴(330a) G-이미지 레이어 패턴(330b) 및 B-이미지 레이어 패턴(330c)에 대응하는 R,G,B 이미지 레이어 데이터들을 머지한다. 도면에서는 머지되는 과정을 패턴(340)으로 도식화하고 있다.
상술한 바와 같이, 종래에는 픽셀로 부터 출력되는 데이터로 부터 도 2에 도식화한 칼라 보간 프로세스를 이용하여 최대 해상도의 이미지를 얻고 있다.
그러나, 칼러 보간은 측정으로 얻은 데이터를 이용하여 가상의 데이터를 첨가하는 방식이므로, 화질 저하의 원인이 된다.
본 발명은 데이터 보간을 사용하지 않거나 최소화하고, 픽셀의 실제 데이터로 이미지 데이터를 생성하므로써, 개선된 화질의 이미지를 얻기 위한 이미지 데이터 프로세싱 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 제안된 이미지 데이터 프로세싱을 수행하기 위한 이미지센서 및 집적회로를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일면에 따른 이미지 데이터 프로세싱 방법은, 픽셀 어레이로부터 픽셀 데이터들을 얻는 단계; 및 상기 픽셀 데이터들을 재배열하여 이미지 데이터를 생성하는 단계를 포함한다. 여기서, 해상도 조절을 위해 상기 생성된 이미지 데이터를 스케이링하는 단계를 더 포함할 수 있다.
바람직하게, 상기 이미지 데이터 생성 단계는, 상기 픽셀 데이터들 중에서 동일 컬러에 대응하는 픽셀 데이터들만으로 재배열된 복수의 이미지 레이어 데이터를 생성하는 단계; 및 상기 복수의 이미지 레이어 데이터를 머지(merge)하는 단계를 포함한다. 상기 이미지 레이어 데이터 생성 단계는, 보간(interpolation) 없이 픽셀들의 실제 데이터만을 재배열하여 구현된다. 바람직하게 상기 이미지 레이어 데이터 생성 단계는, 동일 컬러에 대응하는 픽셀 데이터들 중 일부 만을 샘플링하는 단계; 상기 샘플링된 데이터를 재배열하는 단계를 포함한다. 바람직하게, 이미 지 레이어 데이터는, 상기 픽셀 어레이의 전체 픽셀 개수에 대비하여 예컨대 1/4과 같이 축소된 픽셀 개수에 대응하는 데이터이다. 바람직하게, 상기 픽셀 데이터를 얻는 단계는, 상기 픽셀 어레이로부터 출력된 아날로그 신호를 디지탈신호로 변환하는 단계를 포함한다.
또한 상기 목적을 달성하기 위한 본 발명의 일면에 따른 이미지센서는, 칼라 필터 어레이를 갖는 픽셀 어레이; 및 상기 픽셀 어레이로부터 픽셀 데이터를 인가받아 상기 픽셀 데이터를 재배열하여 이미지 데이터를 생성하는 데이터 프로세싱 수단을 포함한다. 여기서 상기 데이터 프로세싱 수단은 해상도 조절을 위해 상기 이미지 데이터를 스케일링하는 수단을 포함할 수 있고, 상기 픽셀 어레이로부터 출력된 아날로그 신호를 디지탈신호로 변환하는 수단을 포함할 수 있다.
바람직하게, 상기 데이터 프로세싱 수단은, 상기 픽셀 데이터들 중에서 동일 컬러에 대응하는 픽셀 데이터들만으로 재배열된 복수의 이미지 레이어 데이터를 생성하고, 상기 복수의 이미지 레이어 데이터를 머지(merge)하여 상기 이미지 데이터를 생성한다. 또한, 상기 데이터 프로세싱 수단은, 보간(interpolation) 없이 픽셀들의 실제 데이터만을 재배열하여 상기 이미지 데이터를 생성한다. 또한, 상기 데이터 프로세싱 수단은, 동일 컬러에 대응하는 픽셀 데이터들 중 일부 만을 샘플링하고, 상기 샘플링된 데이터를 재배열하여 상기 이미지 데이터를 생성한다. 또한, 상기 데이터 프로세싱 수단은, 상기 픽셀 어레이의 전체 픽셀 개수에 대비하여 예컨대 1/4고 같이 축소된 픽셀 개수에 대응하는 상기 이미지 데이터를 생성한다.
상술한 바와 같이 본 발명은 데이터 보간을 사용하지 않거나 최소화하고 픽셀의 실제 데이터로 이미지 데이터를 생성하므로써, 가상의 데이터를 배제 및 최소화하여 개선된 화질의 이미지를 얻을 수 있다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명한다.
도 4는 본 발명의 바람직한 실시예에 따른 이미지 데이터 프로세싱 방법을 간략하게 도시한 흐름도이다.
도 4를 참조하면, 본 실시예에 따른 이미지 신호 프로세싱 방법은 픽셀 어레이로부터 픽셀 데이터들을 얻는 단계(S410)와, 픽셀 데이터들을 재배열하여 이미지 데이터를 생성하는 단계(S430)를 포함한다. 해상도 조절을 위해 생성된 이미지 데이터를 스케일링하는 단계(S450)를 더 포함할 수 있다.
픽셀 데이터를 얻는 단계(S410)은 픽셀어레이로 부터 출력된 RGB 각 아날로그 신호를 디지탈신호로 변환하는 단계(S412)를 포함한다. 픽 셀 데이터의 재배열에 의해 이미지 데이터 RGB(M/2×N/2)를 생성하는 단계(S430)는 변환된 디지탈신호를 입력받아 수행된다. 스케일링 단계(S450)은 해상도 조절을 위한 것으로, 입력 데이터 RGB(M/2×N/2)을 데이터 RGB(M/4×N/4)로 다운 스케일링하여 출력한다. 이와 반대로, 스케일링 단계(S450)는 예컨대 RGB(M×N)과 같은 업 스케일링으로 수행될 수도 있다.
이와 같이 개선된 이미지 데이터 프로세싱 방법은 디모자이크에 의한 컬러 보간을 없이(또는 최소화하고) 데이터 재배열을 통해 이미지 데이터를 생성한다.
따라서, 가상의 데이터를 첨가하는 방식을 사용하지 않거나 최소화하기 때문에, 개선된 화질의 이미지 신호를 얻을 수 있다.
도 5는 데이터 재배열 방법을 구체적으로 설명하기 위해 도식화한 것으로, 데이터 재배열 방법은 앞서 설명한 이미지 데이터 생성 단계(S430)에 해당된다. 도 5는 베이어 RGB 패턴을 사용하는 픽셀어레이에 대한 데이터 재배열 방법을 보여준다.
도 5를 참조하면, 베이어 RGB 패턴(510)에 대응하는 각 픽셀 데이터는 동일 컬러에 대응하는 픽셀 데이터들만으로 재배열되어 이미지 레이어 데이터로 생성된다. 즉, R-픽셀 데이터만을 재배열하여 R-이미지 레이어 데이터를 생성하고, B-픽셀 데이터만을 재배열하여 B-이미지 레이어 데이터를 생성하며, 인접한 2개의 G-픽셀에 대응하는 데이터 평균값들이 배열된 G-이미지 레이어 데이터를 생성한다. 이렇게 생성된 이미지 데이터에 대응하는 패턴의 형상을 도면에서는 R-이미지 레이어 패턴(530a), G-이미지 레이어 패턴(530b), B-이미지 레이어 패턴(530c)로 나타내었다. 베이어 패턴은 1개의 R필터, 2개의 G필터, 1개의 B필터가 단위 패턴을 구성하고 있으므로, 각 이미지 레이어 패턴(530a, 530b, 530c)은 본래의 픽셀 어레이 의 전체 픽셀 개수에 대비하여 1/4 축소된 픽셀 개수를 갖는다. 즉, 픽셀 데이터 RGB(M×N)는 이미지 레이어 데이터 RGB(M/2×N/2)이 된다. 한편, G-이미지 레이어 패턴(530b)은 단위 패턴 내의 2개의 G픽셀 값을 보간하여 이미지 레이어 데이터가 생성된다. 이렇게 재배열된 픽셀의 위치를 도면에서 아라비아 숫자 및 알파벳으로 구분하여 도시하였다.
이어서, R-이미지 레이어 패턴(530a), G-이미지 레이어 패턴(530b) 및 B-이미지 레이어 패턴(530c)에 대응하는 R,G,B 이미지 레이어 데이터들을 머지한다. 도면에서는 머지되는 과정을 패턴(540)으로 도식화하고 있다.
상술한 바와 같이 재배열에 의한 데이터 프로세싱은, R 및 B 이미지 데이터의 경우 보간(interpolation) 없이 실제 데이터만을 재배열하여 구현된다. 그리고 G 이미지 테이터만을 디모자이크 처리하여 생성한다. 따라서 컬러 보간이 최소화된 이미지 데이터를 얻을 수 있으므로 개선된 화질의 구현이 가능하다.
한편, 픽셀 데이터를 재배열할 때, 동일 컬러에 대응하는 픽셀 데이터들 중 일부 만을 샘플링하고, 샘플링된 데이터를 재배열하여 이미지 레이어 데이터를 생성할 수 있다. 즉, 이때 픽셀 데이터 RGB(M×N)는 RGB(M/2×N/2) 보다도 작은 해상도의 이미지 데이터로서 생성하게 된다. 하지만, 도 5에서 설명된 것처럼 재배열에 의해 1/2로 작은 해상도를 얻게되므로 굳이 서브 샘플링이 필요치 않으며, 필요하다면 이후의 스케일링 단계(S450)에서 다운 스케일링을 하면 된다.
도 6은 R(red), G(Green), B(blue), W(white) 칼라필터어레이를 갖는 즉, R(red)-픽셀, G(Green)-픽셀, B(blue)-픽셀, W(white)-픽셀로 구성된 픽셀 어레이로부터 얻어진 픽셀데이터를 재배열하여 이미지 데이터를 생성하는 구체적인 방법을 보여준다.
도 6을 참조하면, RGBW 패턴(610)은 상호 인접한 하나의 R(red)-픽셀, 하나의 een)-픽셀, 하나의 B(blue)-픽셀, 하나의 W(white)-픽셀이 단위 패턴(620)을 구성한다.
RGBW 패턴(610)에 대응하는 각 픽셀 데이터는 동일 컬러에 대응하는 픽셀 데이터들만으로 재배열되어 이미지 레이어 데이터로 생성한다. 즉, R-픽셀 데이터만을 재배열하여 R-이미지 레이어 데이터를 생성하고, B-픽셀 데이터만을 재배열하여 B-이미지 레이어 데이터를 생성한다. 또한, G-픽셀 데이터만을 재배열하여 G-이미지 레이어 데이터를 생성하고, W-픽셀 데이터만을 재배열하여 W-이미지 레이어 데이터를 생성한다. 이렇게 생성된 이미지 데이터에 대응하는 패턴의 형상을 도면에서는 R-이미지 레이어 패턴(630a), G-이미지 레이어 패턴(630b), B-이미지 레이어 패턴(630c), 및 W-이미지 레이어 패턴(630d)로 나타내었다.
각 이미지 레이어 패턴(630a, 630b, 630c, 630d)은 본래의 픽셀 어레이의 전체 픽셀 개수에 대비하여 1/4 축소된 픽셀 개수를 갖는다. 즉, 픽셀 데이터 RGBW(M×N)는 이미지 레이어 데이터 RGBW(M/2×N/2)이 된다. 이렇게 재배열된 픽셀의 위치를 도면에서 아라비아 숫자 및 알파벳으로 구분하여 도시하였다.
이어서, R-이미지 레이어 패턴(630a), G-이미지 레이어 패턴(630b), B-이미지 레이어 패턴(630c) 및 W-이미지 레이어 패턴(630d)에 대응하는 R,G,B, W 이미지 레이어 데이터들을 머지한다. 도면에서는 머지되는 과정을 패턴(640)으로 도식화하고 있다.
상술한 바와 같이 본 실시예에서 RGBW 이미지 데이터는 보간없이 순수하게 재배열에 의해서만 생성된다. 따라서, 가상의 데이터를 첨가하는 방식을 사용하지 않기 때문에, 개선된 화질의 이미지 신호를 얻을 수 있다.
도 7은 본 발명의 바람직한 실시예에 따른 이미지 센서에 대한 블록 구성도이다.
도 7을 참조하면, 개선된 이미지센서는 칼라 필터 어레이를 갖는 픽셀 어레이와, 픽셀 어레이로부터 픽셀 데이터를 인가받아 픽셀 데이터를 재배열하여 이미지 데이터를 생성하는 데이터 프로세싱부를 포함한다.
데이터 프로세싱부는 픽셀 데이터들 중에서 동일 컬러에 대응하는 픽셀 데이터들만으로 재배열된 복수의 이미지 레이어 데이터를 생성한 다음, 복수의 이미지 레이어 데이터를 머지(merge)하여 이미지 데이터를 생성한다.
데이터 프로세싱부는 보간(interpolation) 없이 픽셀들의 실제 데이터만을 재배열하여 이미지 데이터를 생성한다. 그리고, 동일 컬러에 대응하는 픽셀 데이터들 중 일부 만을 샘플링하고, 상기 샘플링된 데이터를 재배열하여 상기 이미지 데이터를 생성할 수 있다.
데이터 프로세싱부는 재배열에 의해 픽셀 어레이의 전체 픽셀 개수에 대비하여 축소된 픽셀 개수에 대응하는 이미지 데이터를 생성한다. 이미지 데이터는 픽셀 어레이의 전체 픽셀 개수에 대비하여 1/4 축소된 픽셀 개수에 대응하는 데이터일 수 있다.
데이터 프로세싱부는 픽셀 어레이로부터 출력된 아날로그 신호를 디지탈신호로 변환하는 DAC를 포함할 수 있다.
픽셀 어레이는 R(red)-픽셀,G(Green)-픽셀 및 B(blue)-픽셀이 베이어 패턴으로 어레인된 것일 수 있다. 이때, 데이터 프로세싱부는 R-픽셀의 데이터만이 재배열하여 R-이미지 레이어 데이터, B-픽셀의 데이터만이 재배열된 B-이미지 레이어 데이터, 인접한 2개의 G-픽셀에 대응하는 데이터 평균값들이 배열된 G-이미지 레이어 데이터를 각각 생성한 후, R-이미지 레이어 데이터, B-이미지 레이어 데이터 및 G-이미지 레이어 데이터를 머지하여, 이미지 데이터를 생성한다.
또한, 픽셀 어레이는 R(red)-픽셀, G(Green)-픽셀, B(blue)-픽셀, 및 W(white)- 픽셀이 어레이된 것일 수 있다. 이때, 이미지 프로세싱부는 R-픽셀의 데이터만이 재배열된 R-이미지 레이어 데이터, 상기 B-픽셀의 데이터만이 재배열된 B-이미지 레이어 데이터, 상기 G-픽셀의 데이터만이 재배열된 G-이미지 레이어 데이터, 및 상기 W-픽셀의 데이터만이 재배열된 W-이미지 레이어 데이터를 각각 생성한 후, R-이미지 레이어 데이터, B-이미지 레이어 데이터, G-이미지 레이어 데이터 및 W-이미지 레이어 데이터를 머지하여, 이미지 데이터를 생성한다.
한편, 데이터 프로세싱부는 해상도 조절을 위해 이미지 데이터를 스케일링하는 스케일링부를 더 포함할 수 있다. 이 스케일링부는 이미지센서 칩 내에 통합될 수 있고, 이와 다르게 이미지센서 칩과 별도의 칩으로 제작되는 디지탈 신호 프로세서에 스케일링 수단을 마련하여, 센서 칩과 디지탈 신호 프로세서를 통합한 모듈로서 집적회로가 제작될 수 있다.
이상에서 설명한 바와 같이 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명이 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함이 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 명백할 것이다.
도 1은 종래기술에 따른 이미지 데이터 프로세싱 방법을 간략하게 도시한 흐름도.
도 2는 베이어 패턴의 칼라 필터 어레이를 나타낸 도면.
도 3은 종래의 칼라 보간 방법을 도식화하여 나타낸 도면.
도 4는 본 발명의 바람직한 실시예에 따른 이미지 데이터 프로세싱 방법을 간략하게 도시한 흐름도.
도 5는 베이어 RGB 패턴을 사용하는 픽셀어레이에 대한 데이터 재배열 방법을 보여주는 도면.
도 6은 RGBW 패턴을 사용하는 픽셀어레이에 대한 데이터 재배열 방법을 보여주는 도면.
도 7은 본 발명의 일실시예에 따른 이미지센서의 구성도.

Claims (25)

  1. 최인접 픽셀이 서로 다른 컬러필터로 배치된 픽셀 어레이로부터 픽셀 데이터들을 얻는 단계;
    상기 픽셀 데이터들 중에서 동일 컬러에 대응하는 픽셀 데이터들만으로 재배열된 복수의 이미지 레이어 데이터를 생성하는 단계; 및
    상기 복수의 이미지 레이어 데이터를 머지(merge)하여 이미지 데이터를 생성하는 단계를 포함하는
    이미지 데이터 프로세싱 방법.
  2. 제1항에 있어서,
    해상도 조절을 위해 상기 이미지 데이터를 스케이링하는 단계를 더 포함하는
    이미지 데이터 프로세싱 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 이미지 레이어 데이터 생성 단계는,
    보간(interpolation) 없이 픽셀들의 실제 데이터만을 재배열하여 구현되는
    이미지 데이터 프로세싱 방법.
  5. 제1항에 있어서,
    상기 이미지 레이어 데이터 생성 단계는,
    동일 컬러에 대응하는 픽셀 데이터들 중 일부 만을 샘플링하는 단계; 및
    상기 샘플링된 데이터를 재배열하는 단계를 포함하는
    이미지 데이터 프로세싱 방법.
  6. 제1항에 있어서,
    상기 이미지 레이어 데이터는,
    상기 픽셀 어레이의 전체 픽셀 개수에 대비하여 축소된 픽셀 개수에 대응하는 데이터인
    이미지 데이터 프로세싱 방법.
  7. 제1항에 있어서,
    상기 이미지 레이어 데이터는 상기 픽셀 어레이의 전체 픽셀 개수에 대비하여 1/4 축소된 픽셀 개수에 대응하는 데이터인
    이미지 데이터 프로세싱 방법.
  8. 제1항 또는 제2항에 있어서,
    상기 픽셀 데이터를 얻는 단계는,
    상기 픽셀 어레이로부터 출력된 아날로그 신호를 디지탈신호로 변환하는 단계를 포함하는
    이미지 데이터 프로세싱 방법.
  9. 제1항 또는 제2항에 있어서,
    상기 픽셀 어레이는, R(red)-픽셀,G(Green)-픽셀 및 B(blue)-픽셀이 베이어 패턴으로 어레인된
    이미지 데이터 프로세싱 방법.
  10. 제9항에 있어서,
    상기 이미지 레이어 데이터를 생성하는 단계는,
    상기 R-픽셀 데이터만을 재배열하여 R-이미지 레이어 데이터를 생성하는 단계;
    상기 B-픽셀 데이터만을 재배열하여 B-이미지 레이어 데이터를 생성하는 단계; 및
    인접한 2개의 상기 G-픽셀에 대응하는 데이터 평균값들이 배열된 G-이미지 레이어 데이터를 생성하는 단계를 포함하는
    이미지 데이터 프로세싱 방법.
  11. 제1항 또는 제2항에 있어서,
    상기 픽셀 어레이는 R(red)-픽셀, G(Green)-픽셀, B(blue)-픽셀, W(white)- 픽셀이 어레이된
    이미지 데이터 프로세싱 방법.
  12. 제11항에 있어서,
    상기 이미지 레이어 데이터를 생성하는 단계는,
    상기 R-픽셀 데이터만을 재배열하여 R-이미지 레이어 데이터를 생성하는 단계;
    상기 B-픽셀 데이터만을 재배열하여 B-이미지 레이어 데이터를 생성하는 단계;
    상기 G-픽셀 데이터만을 재배열하여 G-이미지 레이어 데이터를 생성하는 단계; 및
    상기 W-픽셀 데이터만을 재배열하여 W-이미지 레이어 데이터를 생성하는 단계를 포함하는
    이미지 데이터 프로세싱 방법.
  13. 최인접 픽셀이 서로 다른 컬러필터로 배치된 칼라 필터 어레이를 갖는 픽셀 어레이; 및
    상기 픽셀 어레이로부터 픽셀 데이터를 인가받아, 상기 픽셀 데이터들 중에서 동일 컬러에 대응하는 픽셀 데이터들만으로 재배열된 복수의 이미지 레이어 데이터를 생성한 후, 상기 복수의 이미지 레이어 데이터를 머지(merge)하여 이미지 데이터를 생성하는 데이터 프로세싱 수단을 포함하는
    이미지 센서.
  14. 삭제
  15. 제13항에 있어서,
    상기 데이터 프로세싱 수단은,
    보간(interpolation) 없이 픽셀들의 실제 데이터만을 재배열하여 상기 이미지 데이터를 생성하는
    이미지 센서.
  16. 제13항에 있어서,
    상기 데이터 프로세싱 수단은,
    동일 컬러에 대응하는 픽셀 데이터들 중 일부 만을 샘플링하고, 상기 샘플링된 데이터를 재배열하여 상기 이미지 데이터를 생성하는
    이미지 센서.
  17. 제13항에 있어서,
    상기 데이터 프로세싱 수단은,
    상기 픽셀 어레이의 전체 픽셀 개수에 대비하여 축소된 픽셀 개수에 대응하는 상기 이미지 데이터를 생성하는
    이미지 센서.
  18. 제17항에 있어서,
    상기 이미지 데이터는 상기 픽셀 어레이의 전체 픽셀 개수에 대비하여 1/4 축소된 픽셀 개수에 대응하는 데이터인
    이미지 센서.
  19. 제13항에 있어서,
    상기 데이터 프로세싱 수단은,
    상기 픽셀 어레이로부터 출력된 아날로그 신호를 디지탈신호로 변환하는 수단을 포함하는
    이미지 센서.
  20. 제13항에 있어서,
    상기 픽셀 어레이는, R(red)-픽셀,G(Green)-픽셀 및 B(blue)-픽셀이 베이어 패턴으로 어레인된
    이미지 센서.
  21. 제20항에 있어서,
    상기 데이터 프로세싱 수단은,
    상기 R-픽셀의 데이터만이 재배열하여 R-이미지 레이어 데이터, 상기 B-픽셀의 데이터만이 재배열된 B-이미지 레이어 데이터, 인접한 2개의 상기 G-픽셀에 대응하는 데이터 평균값들이 배열된 G-이미지 레이어 데이터를 각각 생성한 후,
    상기 R-이미지 레이어 데이터, 상기 B-이미지 레이어 데이터 및 상기 G-이미지 레이어 데이터를 머지하여,
    상기 이미지 데이터를 생성하는
    이미지 센서.
  22. 제13항에 있어서,
    상기 픽셀 어레이는 R(red)-픽셀, G(Green)-픽셀, B(blue)-픽셀, 및 W(white)- 픽셀이 어레이된
    이미지 센서.
  23. 제22항에 있어서,
    상기 데이터 프로세싱 수단은,
    상기 R-픽셀의 데이터만이 재배열된 R-이미지 레이어 데이터, 상기 B-픽셀의 데이터만이 재배열된 B-이미지 레이어 데이터, 상기 G-픽셀의 데이터만이 재배열된 G-이미지 레이어 데이터, 및 상기 W-픽셀의 데이터만이 재배열된 W-이미지 레이어 데이터를 각각 생성한 후,
    상기 R-이미지 레이어 데이터, 상기 B-이미지 레이어 데이터, 상기 G-이미지 레이어 데이터 및 상기 W-이미지 레이어 데이터를 머지하여,
    상기 이미지 데이터를 생성하는
    이미지 센서.
  24. 제13항, 제15항 내지 제23항 중 어느 한 항에 있어서,
    상기 데이터 프로세싱 수단은,
    해상도 조절을 위해 상기 이미지 데이터를 스케일링하는 수단을 더 포함하는
    이미지 센서.
  25. 제13항, 제15 내지 제23항 중 어느 한 항에 기재된 이미지 센서의 칩; 및
    상기 이미지 센서 칩으로부터 출력된 상기 이미지 데이터를 스케일링하여 해상도를 조절하는 디지탈 신호 프로세서를 포함하는
    집적회로.
KR1020080118000A 2008-11-26 2008-11-26 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로 KR101086501B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080118000A KR101086501B1 (ko) 2008-11-26 2008-11-26 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
US12/344,965 US20100128039A1 (en) 2008-11-26 2008-12-29 Image data processing method, image sensor, and integrated circuit
TW098104382A TW201020975A (en) 2008-11-26 2009-02-11 Image data processing method, image sensor, and integrated circuit
CN200910135253A CN101742335A (zh) 2008-11-26 2009-04-28 图像数据处理方法、图像传感器、以及集成电路
JP2009153891A JP2010130686A (ja) 2008-11-26 2009-06-29 イメージデータプロセス方法及びイメージセンサ、並びに集積回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080118000A KR101086501B1 (ko) 2008-11-26 2008-11-26 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로

Publications (2)

Publication Number Publication Date
KR20100059280A KR20100059280A (ko) 2010-06-04
KR101086501B1 true KR101086501B1 (ko) 2011-11-25

Family

ID=42195820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080118000A KR101086501B1 (ko) 2008-11-26 2008-11-26 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로

Country Status (5)

Country Link
US (1) US20100128039A1 (ko)
JP (1) JP2010130686A (ko)
KR (1) KR101086501B1 (ko)
CN (1) CN101742335A (ko)
TW (1) TW201020975A (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067708B (zh) * 2012-12-25 2015-06-17 太原理工大学 基于w-z结构的贝尔模板数字图像编解码方法
US9549161B2 (en) * 2013-07-08 2017-01-17 Samsung Display Co., Ltd. Image and video in mosaic formats
CN104331527B (zh) * 2013-07-22 2018-10-02 腾讯科技（深圳）有限公司 图片生成方法及装置
CN106357967B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN106507080B (zh) 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
KR102295526B1 (ko) * 2017-04-10 2021-08-30 삼성전자 주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR102530752B1 (ko) * 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
CN109246373B (zh) * 2018-10-31 2021-03-02 上海集成电路研发中心有限公司 一种调整图像传感器输出的图像的像素排列的方法及装置
KR20200108953A (ko) 2019-03-11 2020-09-22 삼성전자주식회사 Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
KR20220043571A (ko) * 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330283A (ja) 2001-05-02 2002-11-15 Mega Chips Corp 解像度変換方法および解像度変換装置
KR100781552B1 (ko) * 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
KR100827242B1 (ko) 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
US6900838B1 (en) * 1999-10-14 2005-05-31 Hitachi Denshi Kabushiki Kaisha Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
US20020063899A1 (en) * 2000-11-29 2002-05-30 Tinku Acharya Imaging device connected to processor-based system using high-bandwidth bus
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images
US7551189B2 (en) * 2001-10-25 2009-06-23 Hewlett-Packard Development Company, L.P. Method of and apparatus for digital image processing
JP4338188B2 (ja) * 2003-10-21 2009-10-07 キヤノン株式会社 画像データ減少装置及び方法、プログラム、記憶媒体、及び撮像装置
JP4810807B2 (ja) * 2004-07-30 2011-11-09 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
US7469059B1 (en) * 2004-12-17 2008-12-23 Google Inc. Reorganization of raw image data for processing
JP2006227698A (ja) * 2005-02-15 2006-08-31 Seiko Epson Corp Ｒａｗデータ処理方法、プログラム及び装置
JP4840967B2 (ja) * 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP4144630B2 (ja) * 2006-04-14 2008-09-03 ソニー株式会社 撮像装置
JP4464415B2 (ja) * 2007-02-20 2010-05-19 キヤノン株式会社 画像処理装置、制御方法、プログラム、及び記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330283A (ja) 2001-05-02 2002-11-15 Mega Chips Corp 解像度変換方法および解像度変換装置
KR100781552B1 (ko) * 2006-06-26 2007-12-05 삼성전기주식회사 고해상도 이미지 복원 장치 및 방법
KR100827242B1 (ko) 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치

Also Published As

Publication number Publication date
JP2010130686A (ja) 2010-06-10
CN101742335A (zh) 2010-06-16
KR20100059280A (ko) 2010-06-04
TW201020975A (en) 2010-06-01
US20100128039A1 (en) 2010-05-27

Similar Documents

Publication Publication Date Title
KR101086501B1 (ko) 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
JP5872407B2 (ja) カラー撮像装置及び画像処理方法
US8023018B2 (en) Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
JP4662883B2 (ja) 二次元カラー固体撮像素子
JP5054856B1 (ja) カラー撮像素子
KR101448918B1 (ko) 픽셀 데이터의 고속 출력이 가능한 ｃｍｏｓ 이미지 센서
US9883150B2 (en) Solid state imaging device, imaging device, and electronic device for control of color and luminance resolutions
KR20100066396A (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP2004055786A (ja) 固体撮像素子
JP5380629B2 (ja) カラー撮像素子
US7355156B2 (en) Solid-state image pickup device, image pickup unit and image processing method
US8786738B2 (en) Image sensing apparatus and method of controlling operation of same
KR100344500B1 (ko) 촬상소자및촬상장치
KR100437067B1 (ko) 칼라 고체 촬상 장치
JP2004260829A (ja) Ｃｍｏｓａｐｓイメージャの同時読み出し
KR100450132B1 (ko) 화상처리장치 및 처리방법
JPH09238355A (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
EP2800376B1 (en) Imaging device, method for controlling imaging device, and control program
JP2008016862A (ja) 固体撮像素子
US20150332433A1 (en) Imaging device
US20220103766A1 (en) Image sensing device and operating method thereof
KR20220081532A (ko) 이미지 시그널 프로세서 및 이미지 처리 시스템
JP2001008217A (ja) 静止画カラーカメラ装置
JP2006157236A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee