KR20230120371A - 이미지 처리 장치 및 이를 이용한 이미지 처리 방법 - Google Patents

이미지 처리 장치 및 이를 이용한 이미지 처리 방법 Download PDF

Info

Publication number
KR20230120371A
KR20230120371A KR1020220016855A KR20220016855A KR20230120371A KR 20230120371 A KR20230120371 A KR 20230120371A KR 1020220016855 A KR1020220016855 A KR 1020220016855A KR 20220016855 A KR20220016855 A KR 20220016855A KR 20230120371 A KR20230120371 A KR 20230120371A
Authority
KR
South Korea
Prior art keywords
pixel
pixels
group
index
hash
Prior art date
Application number
KR1020220016855A
Other languages
English (en)
Inventor
민동기
김정연
변근영
왕태식
유종민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220016855A priority Critical patent/KR20230120371A/ko
Priority to US18/056,839 priority patent/US12035055B2/en
Priority to CN202310130155.6A priority patent/CN116582736A/zh
Publication of KR20230120371A publication Critical patent/KR20230120371A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 처리 장치가 제공된다. 이미지 처리 장치는, 복수의 픽셀, 및 복수의 컬러 필터를 각각 포함하는 참조 그룹 및 변환 그룹으로 구성된 복수의 단위 그룹을 포함하고, 복수의 픽셀을 이용하여 이미지 데이터를 생성하는 이미지 센서, 및 이미지 데이터에 관하여 해시(hash)를 계산하고 이에 해당하는 필터를 선택하여 필터링을 수행하는 이미지 신호 처리부를 포함하되, 이미지 신호 처리부는, 복수의 픽셀 간의 위치 관계를 이용하여 복수의 픽셀의 인덱스를 변환하는 픽셀 인덱스 변환부, 복수의 픽셀의 특성을 변환하고 변환 전의 해시를 변환하는 픽셀 특성 변환부, 및 변환된 픽셀 인덱스 및 픽셀 특성에 따라 복수의 픽셀의 필터 계수를 변환하는 필터 계수 변환부를 포함한다.

Description

이미지 처리 장치 및 이를 이용한 이미지 처리 방법{Image processing device and image processing method using the same}
본 발명은 이미지 처리 장치 및 이를 이용한 이미지 처리 방법에 관한 것이다.
이미지 센서(image sensor)는 광학 정보를 전기 신호로 변환시키는 반도체 소자 중 하나이다. 이러한 이미지 센서는 전하 결합형(CCD; Charge Coupled Device) 이미지 센서와 씨모스형(CMOS; Complementary Metal-Oxide Semiconductor) 이미지 센서를 포함할 수 있다.
이미지 센서는 빛의 밝기 정보를 감지하므로, 컬러 정보를 감지하기 위해서는, 이미지 센서의 각 픽셀마다 특정 컬러 성분을 통과시키는 컬러 필터 어레이(Color Filter Array, CFA)가 배치될 수 있다. 이미지 센서의 각 픽셀에는 특정 컬러 필터에 대응하는 하나의 컬러 정보만이 획득되므로, 이미지 신호 처리부는 주변 픽셀의 컬러 정보로부터 보간(interpolation)을 통해 픽셀의 모든 컬러 정보를 산출할 수 있다.
최근, 고해상도의 이미지에 대한 사용자의 관심이 증가함에 따라 보다 높은 화질을 갖는 고해상도 이미지에 대한 다양한 기술들이 개발되고 있다.　 이 경우, 디모자이크(demosaic) 과정에 이용되는 필터의 수가 많아질 수 있고, 따라서 필터의 수를 감소시켜 필터의 계수를 저장할 메모리를 저감할 필요성이 존재한다.
본 발명이 해결하려는 기술적 과제는, 적은 메모리를 가지고 고품질의 이미지를 생성하는 이미지 처리 장치를 제공하는 것이다.
본 발명이 해결하려는 다른 기술적 과제는, 적은 메모리를 가지고 고품질의 이미지를 생성하는 이미지 처리 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 처리 장치는, 복수의 픽셀, 및 복수의 컬러 필터를 각각 포함하는 참조 그룹 및 변환 그룹으로 구성된 복수의 단위 그룹을 포함하고, 복수의 픽셀을 이용하여 이미지 데이터를 생성하는 이미지 센서, 및 이미지 데이터에 관하여 해시(hash)를 계산하고 이에 해당하는 필터를 선택하여 필터링을 수행하는 이미지 신호 처리부를 포함하되, 이미지 신호 처리부는, 복수의 픽셀 간의 위치 관계를 이용하여 복수의 픽셀의 인덱스를 변환하는 픽셀 인덱스 변환부, 복수의 픽셀의 특성을 변환하고 변환 전의 해시를 변환하는 픽셀 특성 변환부, 및 변환된 픽셀 인덱스 및 픽셀 특성에 따라 복수의 픽셀의 필터 계수를 변환하는 필터 계수 변환부를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 처리 장치는, 복수의 픽셀, 및 복수의 컬러 필터를 각각 포함하는 중심 그룹과 주변 그룹으로 구성된 복수의 단위 그룹을 포함하는 이미지 센서, 및 복수의 픽셀로부터 생성된 로우(raw) 이미지의 밝기 또는 기울기 정보에 기반한 픽셀 특성에 관하여 해시(hash)를 계산하는 이미지 신호 처리부를 포함하되, 이미지 신호 처리부는, 복수의 픽셀 간의 위치 관계를 이용하여 복수의 픽셀의 인덱스를 변환하는 픽셀 인덱스 변환부, 복수의 픽셀의 특성을 변환하는 픽셀 특성 변환부, 및 변환된 픽셀 인덱스 및 픽셀 특성에 따라 복수의 픽셀의 필터 계수를 변환하는 필터 계수 변환부를 포함하고, 계산된 해시에 해당하는 중심 그룹의 필터를 변환된 픽셀 인덱스 및 픽셀 특성에 적용하여 필터링을 수행한다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 처리 방법은, 복수의 픽셀과 복수의 컬러 필터를 각각 포함하는 참조 그룹 및 변환 그룹으로 구성된 이미지 센서, 및 복수의 픽셀로부터 생성된 로우(raw) 이미지의 밝기 또는 기울기 정보에 기반한 픽셀 특성에 관하여 해시(hash)를 계산하여 필터링을 수행하는 이미지 신호 처리부를 포함하는 이미지 처리 장치에 있어서, 이미지 신호 처리부는, 복수의 픽셀 간의 위치 관계를 이용하여 변환 그룹의 픽셀 인덱스를 참조 그룹의 픽셀 인덱스로 변환하고, 복수의 픽셀 간의 위치 관계를 이용하여 변환 그룹의 복수의 픽셀에 관한 픽셀 특성을 참조 그룹의 복수의 픽셀의 픽셀 특성으로 변환하고, 변환된 픽셀 인덱스 및 픽셀 특성에 따라 복수의 픽셀의 필터 계수를 변환한다.
기타 실시예들의 구체적인 사항들은 발명의 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 2는 도 1의 이미지 처리 장치의 이미지 신호 처리부를 설명하기 위한 도면이다.
도 3은 몇몇 실시예에 따른 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다.
도 4는 도 3의 픽셀 어레이의 픽셀 인덱스가 설정되는 것을 설명하기 위한 도면이다.
도 5는 몇몇 실시예에 따른 픽셀 어레이의 픽셀 인덱스가 변환되는 것을 설명하기 위한 도면이다.
도 6은 도 2의 픽셀 특성 변환부에 의해 변환되는 픽셀 특성에 관하여 설명하기 위한 도면이다.
도 7은 몇몇 실시예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
도 8은 몇몇 실시예에 따른 픽셀 어레이의 픽셀 인덱스가 변환되는 것을 설명하기 위한 도면이다.
도 9는 몇몇 실시예에 따른 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다.
도 10은 몇몇 실시예에 따른 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다.
도 11은 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 12는 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
이하에서, 본 발명을 보다 구체적으로 설명하기 위하여 본 발명의 몇몇 실시예에 따른 첨부된 도면을 참조하여 보다 상세하게 설명하고자 한다. 도 1 내지 도 6을 참조하여, 몇몇 실시예에 따른 이미지 처리 장치에 대하여 설명한다.
도 1은 몇몇 실시예에 따른 이미지 처리 장치를 설명하기 위한 블록도이다. 도 2는 도 1의 이미지 처리 장치의 이미지 신호 처리부를 설명하기 위한 도면이다. 도 3은 몇몇 실시예에 따른 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다. 도 4는 도 3의 픽셀 어레이의 픽셀 인덱스가 설정되는 것을 설명하기 위한 도면이다. 도 5는 몇몇 실시예에 따른 픽셀 어레이의 픽셀 인덱스가 변환되는 것을 설명하기 위한 도면이다. 도 6은 도 2의 픽셀 특성 변환부에 의해 변환되는 픽셀 특성에 관하여 설명하기 위한 도면이다.
도 1을 참조하면, 몇몇 실시예에 따른 이미지 처리 장치(1)는 이미지 센서(100) 및 어플리케이션 프로세서(Application Processor(AP); 200)를 포함할 수 있다. 이미지 처리 장치(1)는 휴대용 전자 장치, 예컨대 디지털 카메라, 캠코더, 이동 전화기, 스마트폰(smart phone), 태블릿 PC(tablet personal computer), PDA(personal digital assistant), 모바일 인터넷 장치 (mobile internet device(MID)), 웨어러블 컴퓨터(wearable computer), 사물 인터넷 장치(internet of things(IoT) device), 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
이미지 센서(100)는 어플리케이션 프로세서(200)의 제어에 의해 렌즈(103)를 통해 촬영된 물체(101)를 센싱할 수 있다. 이미지 센서(100)는 렌즈(103)를 통하여 입사된 물체(101)의 광학적 신호를 광 감지 소자(또는 광전 변환 소자)를 이용하여 전기적 신호로 변환하고, 전기적 신호에 기초하여 이미지 데이터를 생성하고 이를 출력할 수 있다.
이미지 센서(100)는 픽셀 어레이(pixel array; 112), 로우 드라이버(row driver; 120), 상관 이중 샘플링(Correlated Double Sampling(CDS)) 블록(130), 아날로그 디지털 컨버터(Analog Digital Converter(ADC)) 블록(140), 램프 신호 생성기(ramp generator; 150), 타이밍 생성기(timing generator; 160), 제어 레지스터 블록(control register block; 170), 버퍼(buffer; 180)를 포함할 수 있다.
픽셀 어레이(112)는 매트릭스 형태로 배열된 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각은 광 감지 소자를 이용하여 빛을 감지하고, 감지된 빛을 전기적 신호인 픽셀 신호로 변환할 수 있다. 예를 들어, 광 감지 소자는 포토 다이오드(photo diode), 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토 다이오드(pinned photo diode, PPD), 또는 이들의 조합일 수 있다. 복수의 광 감지 소자 각각은 포토 다이오드, 전송 트랜지스터, 리셋 트랜지스터, 증폭 트랜지스터 및 선택 트랜지스터를 포함하는 4-트랜지스터 구조일 수 있다. 일 실시예에 따라, 복수의 광 감지 소자 각각은 1-트랜지스터 구조, 3-트랜지스터 구조 또는 5-트랜지스터 구조이거나, 복수의 픽셀들이 일부 트랜지스터를 공유하는 구조일 수 있다.
컬러 필터 어레이(114)는 픽셀 어레이(112) 상에 배치될 수 있다.
로우 드라이버(120)는 타이밍 생성기(160)의 제어에 따라 복수의 픽셀들 각각을 활성화할 수 있다. 예컨대, 로우 드라이버(120)는 픽셀 어레이(112)에 구현된 픽셀들을 행 단위(in units of rows)로 구동할 수 있다. 예컨대, 로우 드라이버(120)는 복수의 행들 각각에 포함된 복수의 픽셀들의 작동을 제어할 수 있는 제어 신호들을 생성할 수 있다.
상기 제어 신호들에 따라, 복수의 픽셀들 각각으로부터 출력된 픽셀 신호는 이중 상관 샘플링 블록(130)으로 전송된다.
상관 이중 샘플링 블록(130)은 복수의 CDS 회로들을 포함할 수 있다. 복수의 CDS 회로들 각각은, 타이밍 생성기(160)로부터 출력된 적어도 하나의 스위치 신호에 응답하여, 픽셀 어레이(112)에 구현된 복수의 컬럼 라인들 각각으로부터 출력된 픽셀값들에 대해 상관 이중 샘플링을 수행하고, 상관 이중 샘플된 픽셀값과 램프 신호 생성기(150)로부터 출력된 램프 신호를 서로 비교하여 복수의 비교 신호들을 출력할 수 있다.
아날로그 디지털 컨버터 블록(140)은 상관 이중 샘플링 블록(130)에서 출력된 복수의 비교 신호들 각각을 디지털 신호로 변환하고 복수의 디지털 신호들을 버퍼(180)로 출력할 수 있다.
타이밍 생성기(160)는 이미지 센서(100)의 여러 구성 요소들의 동작 타이밍의 기준이 되는 신호를 생성할 수 있다. 타이밍 생성기(160)에서 생성된 동작 타이밍 기준 신호는 로우 드라이버(120), 상관 이중 샘플링 블록(130), 아날로그 디지털 컨버터 블록(140), 및 램프 신호 생성기(150)에 전달될 수 있다.
제어 레지스터 블록(170)은 이미지 센서(100)의 동작을 전체적으로 제어할 수 있다. 제어 레지스터 블록(170)은 램프 신호 생성기(150), 타이밍 생성기(160), 및 버퍼(180)의 동작을 제어할 수 있다.
버퍼(180)는 아날로그 디지털 컨버터 블록(140)으로부터 출력된 복수의 디지털 신호들에 대응되는 로우(raw) 이미지 데이터(RIMG)를 출력할 수 있다.
어플리케이션 프로세서(200)는 카메라 인터페이스(210), 이미지 신호 프로세서(220), 버퍼(230), 프로세서(240)를 포함할 수 있다.
어플리케이션 프로세서(200)는 카메라 인터페이스(210)를 통해 로우 이미지 데이터(RIMG)를 입력 이미지 데이터로 입력받을 수 있다. 카메라 인터페이스(210)는 이미지 센서(100)와 어플리케이션 프로세서(200) 사이의 데이터 이동을 지원할 수 있다.
이미지 신호 프로세서(220)는 이미지 센서(100)로부터 제공받은 로우 이미지 데이터(RIMG)를 처리하여 출력 이미지 데이터(OIMG)를 출력할 수 있다. 이미지 신호 프로세서(220)는 로우 이미지 데이터(RIMG)에 대해 다양한 적어도 하나의 연산을 수행하여 출력 이미지 데이터(OIMG)를 출력할 수 있다. 예를 들어, 적어도 하나의 연산은 크로스 토크 보상(cross-talk compensation), 불량 픽셀 수정(bad pixel correction), 다중 노출 픽셀(multiple exposure pixel)의 병합(merging) 또는 재구성(reconstruction), 디모자익(demosaicing), 노이즈 제거(noise reduction), 이미지 샤프닝(image sharpening), 이미지 안정화(image stabilization), 컬러 공간 변환(color space conversion), 압축(compression), 등을 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
몇몇 실시예에서, 로우 이미지 데이터(RIMG)는 복수의 픽셀로부터 생성된 로우(raw) 이미지의 밝기 정보에 관한 것일 수 있다. 이미지 신호 프로세서(220)는 로우 이미지의 밝기 또는 기울기 등의 정보에 기반한 픽셀 특성에 관하여 해시(hash)를 계산하여 보간 필터(interpolation filter)에 적용할 수 있다.
버퍼(230)는 데이터를 임시로 저장할 수 있는 공간을 제공할 수 있다. 예를 들어, 이미지 신호 프로세서(220)는 필요에 따라 이미지 데이터를 버퍼(230)에 임시로 저장해 놓을 수 있다. 또한 버퍼(230)에는 프로세서(240)가 실행하는 프로그램이 적재될 수도 있고, 프로그램이 사용하는 데이터가 저장될 수도 있다.
버퍼(230)는 예를 들어 SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등으로 구현될 수도 있으나, 본 발명의 범위가 이에 한정되는 것은 아니고, 필요에 따라 비휘발성 메모리로 구현될 수도 있다.
프로세서(240)는 어플리케이션 프로세서(200)를 전반적으로 제어할 수 있다. 구체적으로, 프로세서(240)는 이미지 신호 프로세서(220)뿐 아니라 어플리케이션 프로세서(200)의 여러 요소들을 동작시키기 위한 인스트럭션(instruction)을 포함하는 프로그램을 실행할 수 있다.
프로세서(240)는 예를 들어 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 등으로 구현될 수도 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
내부 버스(250)는 어플리케이션 프로세서(200) 내의 요소들, 즉 카메라 인터페이스(210), 이미지 신호 프로세서(220), 버퍼(230), 프로세서(240) 등이 데이터를 서로 주고 받을 수 있도록 하는 통로 역할을 할 수 있다. 내부 버스(290)는 예를 들어 AMBA(Advanced Microcontroller Bus Architecture)를 따르는, 예컨대 AXI(Advanced eXtensible Interface)로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2를 참조하면, 이미지 신호 처리부(220)는 픽셀 인덱스 변환부(221), 픽셀 특성 변환부(222), 필터 계수 변환부(223)를 포함할 수 있다.
픽셀 인덱스 변환부(221)는 복수의 픽셀(PX) 간의 위치 관계를 이용하여 복수의 픽셀(PX)의 인덱스를 변환할 수 있다. 픽셀 인덱스 변환부(221)는, 변환 그룹(CG)의 픽셀(PX) 인덱스를 상기 위치 관계를 이용하여 참조 그룹(RG)의 픽셀(PX) 인덱스로 변환할 수 있다.
예를 들어, 위치 관계는 x-flip, y-flip, 회전(rotation) 관계 중 어느 하나 또는 이들의 조합일 수 있다. 예를 들어, 이미지 신호 처리부(220)는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 등의 하드웨어로 구현될 수 있다. 또한 예를 들어, 이미지 신호 처리부(220)는 소프트웨어로 구현될 수 있다. 이 경우, 소프트웨어는 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 소프트웨어는 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다.
도 3을 참조하면, 몇몇 실시예에 따른 픽셀 어레이(112a)는 복수의 픽셀(PX)을 포함하는 복수의 단위 그룹(UG1-UG4)을 포함할 수 있다. 예를 들어, 복수의 단위 그룹(UG1-UG4)은 제1 방향(X) 및/또는 제2 방향(Y)을 따라 규칙적으로 배열될 수 있다. 몇몇 실시예에서 제1 방향(X)은 X축 방향을, 제2 방향(Y)은 Y축 방향을 의미할 수 있다.
컬러 필터 어레이(114a)는 픽셀 어레이(112a) 상에 배치될 수 있다. 컬러 필터 어레이(114a)는 복수의 단위 그룹(UG1, UG2, UG3, UG4)을 포함할 수 있다. 각각의 단위 그룹(UG1, UG2, UG3, UG4)은 M*N(M 및 N은 자연수)으로 배열된 동일한 컬러의 컬러 필터를 포함할 수 있다. 예를 들어 각각의 단위 그룹(UG1, UG2, UG3, UG4)은 4*4으로 배열된 동일한 컬러의 컬러 필터를 포함할 수 있다. 각각의 컬러 필터는 각각의 복수의 픽셀(PX)에 대응되어 배치될 수 있다. 예를 들어, 각각의 단위 그룹(UG1, UG2, UG3, UG4)은 복수의 픽셀(PX)들 중 4*4로 배열된 픽셀(PX)들 상에 배치될 수 있다.
복수의 단위 그룹(UG1, UG2, UG3, UG4)은 예를 들어, 서로 제1 방향(X)으로 이웃하는 제1 단위 그룹(UG1)과 제2 단위 그룹(UG2) 및, 서로 제1 방향(X)으로 이웃하는 제3 단위 그룹(UG3)과 제4 단위 그룹(UG4)을 포함할 수 있다. 제1 단위 그룹(UG1) 및 제3 단위 그룹(UG3)은 제2 방향(Y)으로 서로 이웃할 수 있고, 제2 단위 그룹(UG2) 및 제4 단위 그룹(UG4)은 제2 방향(Y)으로 서로 이웃할 수 있다. 제2 방향(Y)은 제1 방향(X)과 교차할 수 있다. 제1 단위 그룹(UG1)은 제1 컬러 필터(Gr)를 포함하고, 제2 단위 그룹(UG2)은 제2 컬러 필터(R)를 포함하고, 제3 단위 그룹(UG3)은 제3 컬러 필터(B)를 포함하고, 제4 단위 그룹(UG4)은 제4 컬러 필터(Gb)를 포함할 수 있다. 제1 및 제4 컬러 필터(Gr, Gb)는 그린 컬러 필터이고, 제2 컬러 필터(R)는 레드 컬러 필터이고, 제3 컬러 필터(B)는 블루 컬러 필터일 수 있다.
한편, 몇몇 실시예에서,　컬러　픽셀이 RGB 픽셀인 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니다.　컬러　픽셀로는 RGB 픽셀 외에 CMY 픽셀도 사용될 수 있다. 또한, 적외선 차단 기능 또는 적외선 통과 기능이 있는 White pixel이 이용될 수도 있다.
구체적으로 도시되지는 않았으나, 복수의 마이크로 렌즈가 복수의 픽셀(PX) 상에 배치될 수 있다. 각각의 마이크로 렌즈는 각각의 픽셀(PX)을 덮을 수 있다.
도 4를 참조하면, 복수의 단위 그룹(UG1-UG4)의 각각의 복수의 픽셀(PX)마다 픽셀 인덱스(PX1-PX64)가 설정될 수 있다. 각각의 픽셀 인덱스(PX1-PX64)마다 각각의 픽셀(PX) 특성들, 예를 들어 후술하는 것과 같은 기울기 특성이 계산될 수 있다. 이미지 신호 처리부(220)는, 픽셀 인덱스(PX1-PX64)에 해당하는 픽셀(PX) 특성을 양자화하여 특정 해시에 할당할 수 있다.
예를 들어, 도 4의 17번 픽셀 인덱스(PX17)에 해당하는 양자화된 픽셀 특성에 대해 특정 해시, 즉 제1 해시가 할당될 수 있다. 한편, 후술하는 바와 같이, 복수의 단위 그룹(UG1-UG4)의 컬러 필터의 배열이 상이할 수 있으므로, 복수의 픽셀(PX)의 개수 및 설정되는 픽셀 인덱스(PX1-PX64)의 개수 역시 도 4에 도시된 것과 상이할 수 있다.
도 5를 참조하면, 복수의 단위 그룹(UG1-UG4)은 중심부의 참조 그룹(RG) 및 주변부의 변환 그룹(CG)을 포함할 수 있다. 몇몇 실시예에서, 참조 그룹(RG)은 중심 그룹으로, 변환 그룹(CG)은 주변 그룹으로 지칭될 수 있다.
제1 단위 그룹(UG1)은 제1 변환 그룹(CG1)의 픽셀(PX) 전부 및 참조 그룹(RG)의 픽셀(PX) 중 일부를 포함할 수 있다. 제2 단위 그룹(UG2)은 제2 변환 그룹(CG2)의 픽셀(PX) 전부 및 참조 그룹(RG)의 픽셀(PX) 중 일부를 포함할 수 있다. 제3 단위 그룹(UG3)은 제3 변환 그룹(CG3)의 픽셀(PX) 전부 및 참조 그룹(RG)의 픽셀(PX) 중 일부를 포함할 수 있다. 제4 단위 그룹(UG4)은 제4 변환 그룹(CG4)의 픽셀(PX) 전부 및 참조 그룹(RG)의 픽셀(PX) 중 일부를 포함할 수 있다.
각각의 변환 그룹(CG)은 복수의 변환 영역을 포함할 수 있다. 구체적으로, 제1 변환 그룹(CG1)은 제1_1 내지 제1_3 변환 영역(CG1_1, CG1_2, CG1_3)을 포함할 수 있다. 제2 변환 그룹(CG2)은 제2_1 내지 제2_3 변환 영역(CG2_1, CG2_2, CG2_3)을 포함할 수 있다. 제3 변환 그룹(CG3)은 제3_1 내지 제3_3 변환 영역(CG3_1, CG3_2, CG3_3)을 포함할 수 있다. 제4 변환 그룹(CG4)은 제4_1 내지 제4_3 변환 영역(CG4_1, CG4_2, CG4_3)을 포함할 수 있다.
제1_1 내지 제4_1 변환 영역(CG1_1, CG2_1, CG3_1, CG4_1)은 제1 위치 관계(x-flip)를 이용하여 변환이 수행되는 영역일 수 있다. 제1_2 내지 제4_2 변환 영역(CG1_2, CG2_2, CG3_2, CG4_2)은 제2 위치 관계(y-flip)를 이용하여 변환이 수행되는 영역일 수 있다. 제1_3 내지 제4_3 변환 영역(CG1_3, CG2_3, CG3_3, CG4_3)은 제3 위치 관계(x-flip & y-flip)를 이용하여 변환이 수행되는 영역일 수 있다.
픽셀 인덱스 변환부(221)는, 변환 그룹(CG)의 픽셀 인덱스를 픽셀(PX)들 간의 위치 관계를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다.
구체적으로, 픽셀 인덱스 변환부(221)는, 제1 변환 그룹(CG1)의 각각의 픽셀 인덱스를 제1 내지 제3 위치 관계(x-flip, y-flip, x-flip & y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 보다 구체적으로, 픽셀 인덱스 변환부(221)는, 제1 변환 그룹(CG1)의 제1_1 변환 영역(CG1_1)의 어느 하나의 픽셀 인덱스를 제1 위치 관계(x-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 픽셀 인덱스 변환부(221)는, 제1 변환 그룹(CG1)의 제1_2 변환 영역(CG1_2)의 어느 하나의 픽셀 인덱스를 제2 위치 관계(y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 픽셀 인덱스 변환부(221)는, 제1 변환 그룹(CG1)의 제1_3 변환 영역(CG1_3)의 어느 하나의 픽셀(PX) 인덱스를 제3 위치 관계(x-flip & y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 한편, 이러한 픽셀 인덱스의 변환은 modulo 함수를 이용하여 수행될 수 있다.
예를 들어, 도 4의 제1 변환 그룹(CG1)의 17번 픽셀 인덱스(PX17)를, 제2 위치 관계(y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스인 20번 픽셀 인덱스(PX20)로 도 5와 같이 변환할 수 있다.
마찬가지로, 픽셀 인덱스 변환부(221)는, 제2 내지 제4 변환 그룹(CG2, CG3, CG4)의 각각의 픽셀(PX) 인덱스를 제1 내지 제3 위치 관계(x-flip, y-flip, x-flip & y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀(PX) 인덱스로 변환할 수 있다.
픽셀 특성 변환부(222)는 복수의 픽셀(PX)의 특성을 변환할 수 있다. 픽셀 특성 변환부(222)는, 변환 그룹(CG)의 픽셀(PX) 특성을 전술한 위치 관계를 이용하여 참조 그룹(RG)의 픽셀(PX) 특성으로 변환할 수 있다.
도 6을 참조하면, 픽셀 특성 변환부(222)는 복수의 단위 그룹(UG1, UG2, UG3, UG4)에 포함된 픽셀(PX) 중심값의 그라디언트 벡터(gradient vector)에 관한 복수의 픽셀(PX)의 특성을 변환할 수 있다. 예를 들어, 픽셀(PX)의 특성은 그라디언트 벡터의 특성 즉방향(direction) 특성, 세기(strength) 특성, 및/또는 균일도(coherence) 특성을 의미할 수 있다. 또는, 픽셀(PX)의 특성은 밝기 특성을 포함할 수 있다.
예를 들어, 픽셀(PX) 특성은 아래와 같이 계산될 수 있다. 도 6의 복수의 단위 그룹(UG1' 내지 UG9')을 포함하는 픽셀 어레이(112a')의 특정 크기의 윈도우(310)에서 계산된 그라디언트 벡터 n개(예를 들어, 도 6의 g1 내지 g25)를 모아 하기 식 (1)과 같이 하나의 벡터가 생성될 수 있다.
중앙부 그라디언트 벡터의 가중치를 고려하여 GTWG의 2x2 행렬이 계산되고(W은 nxn의 diagonal weighting matrix이다), 이로부터 고유 값(eigen-value) 및 이에 상응하는 고유 벡터(eigen-vector) 와 가 계산될 수 있다. 특정 크기의 윈도우(310)에서 대표하는 그라디언트 벡터의 특성, 즉 방향 , 벡터의 세기 및 균일도 는 하기 식 (2)와 같이 계산될 수 있다.
이미지 신호 처리부(220)는, 이와 같이 계산된 픽셀(PX) 특성을 특정 기준을 가지고 양자화하여 해시를 계산할 수 있다.
필터 계수 변환부(223)는 변환된 픽셀(PX) 인덱스 및 픽셀(PX) 특성에 따라 복수의 픽셀(PX)의 필터 계수(filter coefficient)를 변환할 수 있다. 필터 계수 변환부(223)는 변환 그룹(CG)의 필터 계수를 전술한 위치 관계를 이용하여 참조 그룹(RG)의 필터 계수로 변환할 수 있다.
도 7은 몇몇 실시예에 따른 이미지 처리 방법을 설명하기 위한 순서도이다.
먼저, 이미지 신호 처리부(220)는 이미지 센서(100)로부터 샘플링된 로우 이미지(RIMG)를 입력받을 수 있다(S100).
이미지 신호 처리부(220)는, 로우 이미지(RIMG)의 특정 커널 또는 윈도우에 포함된 픽셀(PX) 인덱스를 설정하고, 픽셀(PX) 특성을 양자화하여 특정 해시에 할당할 수 있다(S200). 구체적으로, 이미지 신호 처리부(220)는, 변환 그룹(CG)의 특정 픽셀(PX)에 대해 픽셀 인덱스(i)를 찾고, 설정할 수 있다(S201). 이미지 신호 처리부(220)는, 픽셀(PX) 특성, 예를 들어 기울기 특성을 계산할 수 있다(S202). 이미지 신호 처리부(220)는, 양자화된 기울기 특성(j)을 제1 해시에 할당할 수 있다(S203).
이후, 이미지 신호 처리부(220)는, 해시를 이용하여 필터를 선택할 수 있다(S300). 구체적으로, 픽셀 인덱스 변환부(221)는, 변환 그룹(CG)의 픽셀(PX) 인덱스를 특정 위치 관계를 이용하여 참조 그룹(RG)의 픽셀(PX) 인덱스로 변환(ic)할 수 있다(S301). 픽셀 특성 변환부(222)는 기울기 특성(j)을 상기 특정 위치 관계를 이용하여 참조 그룹(RG)의 기울기 특성(jc)으로 변환할 수 있다(S302). 이 때, 제1 해시도 상기 특정 위치 관계를 이용하여 제2 해시로 변환될 수 있다. 이후, 제2 해시는 상기 특정 위치 관계를 이용하여 제1 해시로 계산되어 재할당될 수 있다. 필터 계수 변환부(223)는 변환된 픽셀 인덱스(ic) 및 기울기 특성(jc)에 따라 상기 픽셀(PX)의 필터 계수를 변환할 수 있다(S303).
이미지 신호 처리부(220)는, 계산된 제1 해시에 해당하는 참조 그룹(RG)의 필터를 변환된 픽셀 인덱스(ic) 및 변환된 기울기 특성(jc)에 적용할 수 있다. 이미지 신호 처리부(220)는 보간 필터를 적용하기 위하여 N개의 필터 중 특정 해시에 최적화된 필터를 선택함으로써 필터링을 수행할 수 있다. 이 경우, 특정 해시에 최적화된 필터는 선택기(410)에 의해 선택될 수 있다. 이후, 변환된 결과물이 수집되어(aggregate) 어플리케이션 프로세서(200) 내의 메모리에 저장될 수 있다(S400).
이후, 어플리케이션 프로세서(200)에 의해 출력 이미지(OIMG)가 출력될 수 있다(S500).
몇몇 실시예에서, 픽셀(PX)로부터 생성된 로우 이미지의 밝기 또는 기울기 등의 정보에 기반하여 해시를 생성하고, 해시에 기반하여 필터를 선택하고, 이러한 필터를 이용하여 디모자이크(demosaic) 과정을 수행하는 머신 러닝 기반의 이미지 처리 장치가 제공될 수 있다. 이 경우, 픽셀(PX)의 특성 또는 해시 별로 많은 수의 필터가 필요하며, 필터의 수를 감소시켜 메모리의 수를 저감할 필요성이 존재한다.
몇몇 실시예에 따르면, 이러한 디모자이크 과정에서 이용되는 필터를 참조 그룹(RG)을 이용하여 재활용함으로써 필터의 개수를 감소시킬 수 있다. 특히, 참조 그룹(RG)과 변환 그룹(CG)의 복수의 픽셀(PX) 간의 위치 관계를 이용하여 필터의 개수를 감소시킬 수 있다. 예를 들어, 각각의 단위 그룹(UG1, UG2, UG3, UG4)이 4*4으로 배열된 동일한 컬러의 컬러 필터를 필터의 개수를 포함하는 경우, 필터의 개수를 종래 64개에서 16개로 감소시킬 수 있다. 결과, 적은 수의 메모리를 사용하면서도 동일한 품질의 이미지를 생성하는 이미지 처리 장치 및 이미지 처리 방법을 제공할 수 있다.
도 8은 몇몇 실시예에 따른 픽셀 어레이의 픽셀 인덱스가 변환되는 것을 설명하기 위한 도면이다. 설명의 편의상, 도 1 내지 도 7을 이용하여 설명한 내용과 중복되는 내용에 대해서는 설명을 생략하거나 간략히 할 수 있다.
픽셀 인덱스 변환부(221)는, 참조 그룹(RG)의 복수의 픽셀(PX)들의 내부 위치 관계를 이용하여 픽셀(PX)의 인덱스를 변환할 수 있다. 구체적으로, 픽셀 인덱스 변환부(221)는 참조 그룹(RG)의 제1 픽셀 인덱스를 도 1 내지 도 7을 이용하여 설명한 것과 다른 위치 관계를 이용하여 참조 그룹(RG)의 제2 픽셀 인덱스로 변환할 수 있다.
픽셀 인덱스 변환부(221)는, 대각선 방향(A)을 기준으로 한 위치 관계를 이용하여 참조 그룹(RG)의 복수의 픽셀(PX)의 인덱스를 변환할 수 있다. 예를 들어, 대각선 방향(A)을 기준으로 일 측에 위치한 픽셀(PX)의 인덱스를, 타 측에 위치한 픽셀(PX)의 인덱스로 변환할 수 있다. 구체적으로 도시되지는 않았으나 이 경우, 19번 픽셀 인덱스(PX19)를 참조하여 46번 픽셀 인덱스(PX46)를 변환하고, 21번 픽셀 인덱스(PX21)를 참조하여 30번 픽셀 인덱스(PX30)를 변환하고, 35번 픽셀 인덱스(PX35)를 참조하여 44번 픽셀 인덱스(PX44)를 각각 변환할 수 있다.
이 경우, 필터의 개수를 종전 64개에서 10개로 보다 감소시킬 수 있다.
도 9는 몇몇 실시예에 따른 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다. 도 10은 몇몇 실시예에 따른 픽셀 어레이와 컬러 필터 어레이를 설명하기 위한 도면이다. 설명의 편의상, 도 1 내지 도 8을 이용하여 설명한 내용과 중복되는 내용에 대해서는 설명을 생략하거나 간략히 할 수 있다.
도 9를 참조하면, 복수의 단위 그룹(UG1-UG4)은 3*3 배열된 동일한 컬러 필터를 포함할 수 있다. 각각의 컬러 필터는 각각의 복수의 픽셀(PX)에 대응되어 배치될 수 있다. 예를 들어, 각각의 단위 그룹(UG1-UG4)은 복수의 픽셀(PX)들 중 3*3 배열된 픽셀(PX)들 상에 배치될 수 있다.
복수의 단위 그룹(UG1-UG4)의 각각의 복수의 픽셀(PX)마다 픽셀 인덱스가 설정될 수 있다. 이 경우, 36개의 각각의 픽셀 인덱스마다 각각의 픽셀 특성들, 예를 들어 기울기 특성이 계산될 수 있다. 이미지 신호 처리부(220)는, 36개의 픽셀 인덱스에 각 해당하는 픽셀 특성을 양자화하여 특정 해시에 할당할 수 있다.
복수의 단위 그룹(UG1-UG4)은 중심부의 참조 그룹(RG) 및 주변부의 변환 그룹(CG)을 포함할 수 있다. 각각의 변환 그룹(CG)은 복수의 변환 영역을 포함할 수 있다. 픽셀 인덱스 변환부(221)는, 각각의 변환 그룹(CG)의 픽셀 인덱스를 픽셀(PX)들 간의 위치 관계를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 예를 들어, 픽셀 인덱스 변환부(221)는, 제1 변환 그룹(CG1)의 각각의 픽셀 인덱스를 제1 내지 제3 위치 관계(x-flip, y-flip, 또는 x-flip & y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 마찬가지로, 픽셀 인덱스 변환부(221)는, 제2 내지 제4 변환 그룹(CG2, CG3, CG4)의 각각의 픽셀 인덱스를 제1 내지 제3 위치 관계(x-flip, y-flip, 또는 x-flip & y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다.
도 10을 참조하면, 복수의 단위 그룹(UG1-UG4)은 2*2 배열된 동일한 컬러 필터를 포함할 수 있다. 각각의 컬러 필터는 각각의 복수의 픽셀(PX)에 대응되어 배치될 수 있다. 예를 들어, 각각의 단위 그룹(UG1-UG4)은 복수의 픽셀(PX)들 중 2*2 배열된 픽셀(PX)들 상에 배치될 수 있다.
복수의 단위 그룹(UG1-UG4)의 각각의 복수의 픽셀(PX)마다 픽셀 인덱스가 설정될 수 있다. 이 경우, 16개의 각각의 픽셀 인덱스마다 각각의 픽셀 특성들, 예를 들어 기울기 특성이 계산될 수 있다. 이미지 신호 처리부(220)는, 16개의 픽셀 인덱스에 해당하는 각 픽셀 특성을 양자화하여 특정 해시에 할당할 수 있다.
복수의 단위 그룹(UG1-UG4)은 중심부의 참조 그룹(RG) 및 주변부의 변환 그룹(CG)을 포함할 수 있다. 각각의 변환 그룹(CG)은 복수의 변환 영역을 포함할 수 있다. 픽셀 인덱스 변환부(221)는, 각각의 변환 그룹(CG)의 픽셀 인덱스를 픽셀(PX)들 간의 위치 관계를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 예를 들어, 픽셀 인덱스 변환부(221)는, 제1 변환 그룹(CG1)의 각각의 픽셀 인덱스를 제1 내지 제3 위치 관계(x-flip, y-flip, 또는 x-flip & y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다. 마찬가지로, 픽셀 인덱스 변환부(221)는, 제2 내지 제4 변환 그룹(CG2, CG3, CG4)의 각각의 픽셀 인덱스를 제1 내지 제3 위치 관계(x-flip, y-flip, 또는 x-flip & y-flip)를 이용하여 참조 그룹(RG)의 대응되는 픽셀 인덱스로 변환할 수 있다.
도 11은 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
도 11을 참조하면, 몇몇 실시예에 따른 이미지 센서(100)는 적층된 제1 칩(10)과 제2 칩(20)을 포함할 수 있다. 제2 칩(20)은 예를 들어, 제1 칩(10) 상에 제3 방향(Z)으로 적층될 수 있다. 제1 칩(10)과 제2 칩(20)은 전기적으로 연결될 수 있다. 제1 칩(10)으로부터 전달된 픽셀 신호(데이터)는 로직 영역(LC)으로 전달될 수 있다.
제1 칩(10)은 픽셀 어레이(도 1의 112)를 포함할 수 있다. 제2 칩(20)은 로직 영역(LC)과 메모리 영역 등을 포함할 수 있다. 로직 회로 영역(LC)은 픽셀 신호(데이터)를 구동하기 위한 복수의 소자들을 포함할 수 있다. 로직 회로 영역(LC)은 예를 들어, 도 1의 로우 드라이버(120), 상관 이중 샘플링 블록(130), 램프 신호 생성기(150), 타이밍 생성기(160), 제어 레지스터 블록(170), 버퍼(180) 등을 포함할 수 있다.
도 12는 몇몇 실시예에 따른 이미지 센서를 설명하기 위한 블록도이다.
설명의 편의를 위해 도 11을 이용하여 설명한 바와 다른 점을 중심으로 설명한다.
도 12를 참조하면, 이미지 센서(100')는 제3 칩(30)을 더 포함할 수 있다. 제3 칩(30), 제2 칩(20), 및 제1 칩(10)은 제3 방향(Z)으로 차례로 적층될 수 있다. 제3 칩(30)은 메모리 장치를 포함할 수 있다. 예를 들어, 제3 칩(30)은 DRAM, SRAM 등의 휘발성 메모리 장치를 포함할 수 있다. 제3 칩(30)은 제1 칩(10) 및 제2 칩(20)으로부터 신호를 전달받아, 메모리 장치를 통하여 신호를 처리할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 이미지 센서 112: 픽셀 어레이
114: 컬러 필터 어레이 120: 로우 드라이버
130: CDS 140: ADC
150: 램프 신호 생성기 160: 타이밍 생성기
170: 제어 레지스터 블록 180: 버퍼
200: 어플리케이션 프로세서 210: 카메라 인터페이스
220: 이미지 신호 처리부 230: 버퍼
240: 프로세서 250: 버스
221: 픽셀 인덱스 변환부 222: 픽셀 특성 변환부
223: 필터 계수 변환부 UG: 단위 그룹
CG: 변환 그룹 RG: 참조 그룹

Claims (10)

  1. 복수의 픽셀, 및 복수의 컬러 필터를 각각 포함하는 참조 그룹 및 변환 그룹으로 구성된 복수의 단위 그룹을 포함하고, 상기 복수의 픽셀을 이용하여 이미지 데이터를 생성하는 이미지 센서; 및
    상기 이미지 데이터에 관하여 해시(hash)를 계산하고 이에 해당하는 필터를 선택하여 필터링을 수행하는 이미지 신호 처리부를 포함하되,
    상기 이미지 신호 처리부는,
    상기 복수의 픽셀 간의 위치 관계를 이용하여 상기 복수의 픽셀의 인덱스를 변환하는 픽셀 인덱스 변환부,
    상기 복수의 픽셀의 특성을 변환하고, 변환 전의 해시를 변환하는 픽셀 특성 변환부, 및
    상기 변환된 픽셀 인덱스 및 픽셀 특성에 따라 상기 복수의 픽셀의 필터 계수를 변환하는 필터 계수 변환부를 포함하는 이미지 처리 장치.
  2. 제1 항에 있어서,
    상기 픽셀 인덱스 변환부는, 상기 변환 그룹의 픽셀 인덱스를 제1 위치 관계를 이용하여 상기 참조 그룹의 픽셀 인덱스로 변환하는 이미지 처리 장치.
  3. 제1 항에 있어서,
    상기 픽셀 인덱스 변환부는, 상기 참조 그룹의 제1 픽셀 인덱스를 제2 위치 관계를 이용하여 상기 참조 그룹의 제2 픽셀 인덱스로 변환하는 이미지 처리 장치.
  4. 제1 항에 있어서,
    상기 픽셀 특성 변환부는, 기울기 특성에 관한 상기 복수의 픽셀의 특성을 변환하고, 상기 변환 전의 해시를 변환하는 이미지 처리 장치.
  5. 제1 항에 있어서,
    상기 픽셀 특성 변환부는, 상기 변환 그룹의 픽셀 특성을 상기 위치 관계를 이용하여 상기 참조 그룹의 픽셀 특성으로 변환하고, 상기 변환 전의 해시를 변환하는 이미지 처리 장치.
  6. 제1 항에 있어서,
    상기 필터 계수 변환부는, 상기 변환 그룹의 필터 계수를 상기 위치 관계를 이용하여 상기 참조 그룹의 필터 계수로 변환하는 이미지 처리 장치.
  7. 제1 항에 있어서,
    상기 이미지 신호 처리부는, 상기 변환 그룹의 제1 픽셀 인덱스에 해당하는 제1 기울기 특성을 양자화하여 제1 해시에 할당하고,
    상기 픽셀 인덱스 변환부는, 제1 픽셀 인덱스를 제1 위치 관계를 이용하여 상기 참조 그룹의 픽셀 인덱스로 변환하고,
    상기 픽셀 특성 변환부는, 상기 제1 기울기 특성을 상기 제1 위치 관계를 이용하여 상기 참조 그룹의 제2 기울기 특성으로 변환하고, 상기 제1 해시를 상기 제2 기울기 특성에 해당하는 제2 해시로 변환하는 이미지 처리 장치.
  8. 복수의 픽셀과 복수의 컬러 필터를 각각 포함하는 참조 그룹 및 변환 그룹으로 구성된 이미지 센서, 및
    상기 복수의 픽셀로부터 생성된 로우(raw) 이미지의 밝기 또는 기울기 정보에 기반한 픽셀 특성에 관하여 해시(hash)를 계산하여 필터링을 수행하는 이미지 신호 처리부를 포함하는 이미지 처리 장치에 있어서,
    상기 이미지 신호 처리부는,
    상기 복수의 픽셀 간의 위치 관계를 이용하여 상기 변환 그룹의 픽셀 인덱스를 상기 참조 그룹의 픽셀 인덱스로 변환하고,
    상기 복수의 픽셀 간의 위치 관계를 이용하여 상기 변환 그룹의 복수의 픽셀에 관한 픽셀 특성을 상기 참조 그룹의 복수의 픽셀의 픽셀 특성으로 변환하고,
    상기 변환된 픽셀 인덱스 및 픽셀 특성에 따라 상기 복수의 픽셀의 필터 계수를 변환하는 이미지 처리 방법.
  9. 제8 항에 있어서,
    상기 이미지 신호 처리부는, 상기 픽셀 인덱스에 해당하는 픽셀 특성을 양자화하는 이미지 처리 방법.
  10. 제8 항에 있어서,
    상기 이미지 신호 처리부는, 상기 계산된 해시에 해당하는 상기 참조 그룹의 필터를 변환된 픽셀 인덱스 및 픽셀 특성에 적용하여 상기 필터링을 수행하는 이미지 처리 방법.
KR1020220016855A 2022-02-09 2022-02-09 이미지 처리 장치 및 이를 이용한 이미지 처리 방법 KR20230120371A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220016855A KR20230120371A (ko) 2022-02-09 2022-02-09 이미지 처리 장치 및 이를 이용한 이미지 처리 방법
US18/056,839 US12035055B2 (en) 2022-02-09 2022-11-18 Image processing device and image processing method using the same
CN202310130155.6A CN116582736A (zh) 2022-02-09 2023-02-08 图像处理装置和使用图像处理装置的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220016855A KR20230120371A (ko) 2022-02-09 2022-02-09 이미지 처리 장치 및 이를 이용한 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20230120371A true KR20230120371A (ko) 2023-08-17

Family

ID=87520707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220016855A KR20230120371A (ko) 2022-02-09 2022-02-09 이미지 처리 장치 및 이를 이용한 이미지 처리 방법

Country Status (3)

Country Link
US (1) US12035055B2 (ko)
KR (1) KR20230120371A (ko)
CN (1) CN116582736A (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042391A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
JP5062846B2 (ja) 2008-07-04 2012-10-31 株式会社リコー 画像撮像装置
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
JP5438579B2 (ja) * 2010-03-29 2014-03-12 キヤノン株式会社 画像処理装置及びその制御方法
JP5891916B2 (ja) 2012-04-09 2016-03-23 大日本印刷株式会社 画像拡大処理装置
JP2015201724A (ja) 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置および画像処理方法
JP6468751B2 (ja) 2014-08-01 2019-02-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6006389B1 (ja) * 2015-08-26 2016-10-12 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
JP6417055B2 (ja) 2015-12-17 2018-10-31 富士フイルム株式会社 画像処理装置及び画像処理方法
US9996902B2 (en) 2016-01-19 2018-06-12 Google Llc Image upscaling

Also Published As

Publication number Publication date
US12035055B2 (en) 2024-07-09
US20230254594A1 (en) 2023-08-10
CN116582736A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
US20230319430A1 (en) Image sensor
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
KR20220000761A (ko) 이미지 센서 및 이미지 센서의 비닝 방법
JP2022070246A (ja) 均等に配置された位相検出ピクセルを含むピクセルアレイ及びそれを含むイメージセンサ
EP3780594B1 (en) Imaging device and method, image processing device and method, and imaging element
KR20230120371A (ko) 이미지 처리 장치 및 이를 이용한 이미지 처리 방법
US11546565B2 (en) Image sensing device and operating method thereof
US11627250B2 (en) Image compression method, encoder, and camera module including the encoder
JP2022183102A (ja) イメージ信号プロセッサを含むイメージセンサ及びその動作方法
US11388361B2 (en) Image sensor, imaging device including image sensor, and method of operating imaging device
JP6069857B2 (ja) 撮像装置
US12047691B2 (en) Image sensor, image processing apparatus, and image processing method
KR20200141813A (ko) 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서를 포함하는 이미지 센서
US12118735B2 (en) Image processing system and image processing method
US20230300481A1 (en) Image sensing device and image processing method of the same
US20230262328A1 (en) Image processing system and operating method thereof
US20240292120A1 (en) Image sensor
KR20220148423A (ko) 이미지의 노이즈를 감소하는 노이즈 저감 방법 및 노이즈 저감 장치
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
KR20240126516A (ko) 이미지의 노이즈를 감소시키는 방법
KR20240059879A (ko) 이미지 센싱 장치 및 이를 포함하는 촬영 장치
CN118118805A (zh) 图像信号处理器和处理图像的方法
KR20220161124A (ko) 이미지 신호 프로세서를 포함하는 이미지 센서 및 이의 동작 방법
KR20240143683A (ko) 멀티 채널에서의 랜덤 넘버 생성 회로