KR20210147694A - 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치 - Google Patents

이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20210147694A
KR20210147694A KR1020200065305A KR20200065305A KR20210147694A KR 20210147694 A KR20210147694 A KR 20210147694A KR 1020200065305 A KR1020200065305 A KR 1020200065305A KR 20200065305 A KR20200065305 A KR 20200065305A KR 20210147694 A KR20210147694 A KR 20210147694A
Authority
KR
South Korea
Prior art keywords
pixel
pixels
binned
image
green
Prior art date
Application number
KR1020200065305A
Other languages
English (en)
Inventor
장찬영
강희
최우석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200065305A priority Critical patent/KR20210147694A/ko
Priority to US17/173,434 priority patent/US11178372B1/en
Priority to CN202110593571.0A priority patent/CN113747137A/zh
Publication of KR20210147694A publication Critical patent/KR20210147694A/ko

Links

Images

Classifications

    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H04N9/0451—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H04N9/735—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 신호 프로세서는 이미지 센서로부터 수신된 베이어 패턴의 로우(Raw) RGB 이미지에 대해 커널 단위로 화이트 밸런싱을 수행하는 화이트 밸런싱 블록, 화이트 밸런싱된 G 픽셀에 대해 크로스 비닝을 수행하여 제1 그린 픽셀을 생성하고, 기설정된 가중치가 적용된 고주파 성분을 더하여 비닝된 그린 픽셀을 생성하는 그린 생성 블록, 비닝된 그린 픽셀, 화이트 밸런싱된 R픽셀, 화이트 밸런싱된 B 픽셀에 기초하여 방향성이 반영된 U 픽셀 및 V 픽셀을 생성하고, U 픽셀 및 V 픽셀에 비닝된 그린 픽셀을 각각 병합하여 비닝된 레드 픽셀 및 비닝된 블루 픽셀을 생성하는 레드블루 생성 블록,및 비닝된 레드 픽셀, 비닝된 그린 픽셀, 비닝된 블루 픽셀에 대하여 인버스 화이트 밸런싱을 수행하여 최종 비닝 이미지를 출력하는 인버스 화이트 밸런싱 블록을 포함할 수 있다.

Description

이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치 {IMAGE SIGNAL PROCESSOR, IMAGE SIGNAL PROCESSING METHOD AND ELECTRONIC DEVICE THEREOF}
본 발명은 이미지 신호 프로세서에 대한 것으로 구체적으로는 비닝 동작을 수행하는 이미지 신호 프로세서, 이미지 신호 프로세싱 방법 및 그 이미지 센싱 장치에 관한 것이다.
이미지 센싱 장치는 스마트폰, 태블릿, 디지털 카메라 등과 같은 모바일 장치 또는 다양한 전자 장치들에서 사용될 수 있다. 이미지 센싱 장치는 미세한 화소(pixel)가 2차원적으로 집적된 형태로 구성되고 입사된 빛의 밝기에 상응하는 전기신호를 디지털 신호로 변화하여 출력한다. 여기서, 이미지 센싱 장치는 베이어(Bayer)패턴으로 구성될 수 있고, 베이어 패턴으로 입사된 빛의 밝기에 상응하는 베이어 이미지 데이터(Bayer Image data)를 제공한다.
한편, 기술의 발달로 인하여 이미지 센싱 장치 내의 픽셀의 개수, 즉 해상도가 높아지고 있는데, 증가하는 픽셀 해상도는 처리해야 할 데이터 양을 증가시킬 수 있다. 이에 따라, 이미지 센싱 장치는 비닝(binning)을 수행한다. 비닝 동작은 이미지 센싱 장치의 모든 픽셀의 정보를 이용하여 이미지를 만드는 것이 아니라, 인접한 픽셀들의 정보를 취합하여 하나의 정보로 만든 다음 그 취합된 정보를 이용하여 처리해야 할 대상 이미지를 만드는 동작을 포함한다
본 발명이 해결하고자 하는 기술적 과제는, 지그재그 형태의 노이즈가 감소되고 거짓 색상(false color) 결함이 완화되어 이미지 퀄리티가 향상된 비닝 이미지(Binned Image)를 출력하는 이미지 신호 프로세서를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 지그재그 형태의 노이즈가 감소되고 거짓 색상(false color) 결함이 완화되어 이미지 퀄리티가 향상된 비닝 이미지(Binned Image)를 출력하는 전자 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 지그재그 형태의 노이즈가 감소되고 거짓 색상(false color) 결함이 완화되어 이미지 퀄리티가 향상된 비닝 이미지(Binned Image)를 출력하는 이미지 신호 프로세싱 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위하여, 몇몇 실시예에 따른 이미지 신호 프로세서는 이미지 센서로부터 수신된 베이어 패턴의 로우(Raw) RGB 이미지에 대해 커널 단위로 화이트 밸런싱을 수행하는 화이트 밸런싱 블록, 화이트 밸런싱된 G 픽셀에 대해 크로스 비닝을 수행하여 제1 그린 픽셀을 생성하고, 기설정된 가중치가 적용된 고주파 성분을 더하여 비닝된 그린 픽셀을 생성하는 그린 생성 블록, 비닝된 그린 픽셀, 화이트 밸런싱된 R픽셀, 화이트 밸런싱된 B 픽셀에 기초하여 방향성이 반영된 U 픽셀 및 V 픽셀을 생성하고, U 픽셀 및 V 픽셀에 비닝된 그린 픽셀을 각각 병합하여 비닝된 레드 픽셀 및 비닝된 블루 픽셀을 생성하는 레드블루 생성 블록,및 비닝된 레드 픽셀, 비닝된 그린 픽셀, 비닝된 블루 픽셀에 대하여 인버스 화이트 밸런싱을 수행하여 최종 비닝 이미지를 출력하는 인버스 화이트 밸런싱 블록을 포함할 수 있다.
상술한 과제를 해결하기 위하여, 몇몇 실시예에 따른 이미지 신호 프로세싱 방법은 베이어 패턴의 로우 RGB 이미지를 수신하여, 커널 단위로 화이트 밸런싱을 수행하는 단계, 화이트 밸런싱된 G 픽셀에 대해 크로스 비닝을 수행하는 단계, 크로스 비닝된 제1 그린 픽셀에 고주파 성분을 더하여 적어도 하나의 비닝된 그린 픽셀을 생성하는 단계, 비닝된 그린 픽셀, 화이트 밸런싱된 R픽셀, 화이트 밸런싱된 B 픽셀에 기초하여 수직방향 코스트 및 수평방향 코스트가 반영된 U 픽셀 및 V 픽셀을 생성하는 단계, U 픽셀 및 V 픽셀에 비닝된 그린 픽셀을 각각 병합하여 비닝된 레드 픽셀 및 비닝된 블루 픽셀을 포함하는 베이어 패턴의 비닝된 이미지를 생성하는 단계 및 비닝된 이미지에 인버스 화이트 밸런싱을 수행하여 최종 비닝 이미지를 출력하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위하여, 몇몇 실시예에 따른 전자 장치는 피사체로부터 반사된 광을 센싱하여 베이어 패턴의 로우 RGB 이미지를 출력하는 이미지 센서, 로우 RGB 이미지로부터 커널 단위로 비닝을 수행하여 비닝된 이미지를 생성하는 이미지 신호 프로세서를 포함하고, 이미지 신호 프로세서는 로우 RGB 이미지에 대해 화이트 밸런싱을 수행하고, 화이트 밸런싱된 G 픽셀에 대해 그린 전처리 동작을 수행한 후 고주파 성분을 더하여 적어도 하나의 비닝된 그린 픽셀을 생성하고, 비닝된 그린 픽셀, 화이트 밸런싱된 R픽셀, 화이트 밸런싱된 B 픽셀에 기초하여 방향성이 반영된 U 픽셀 및 V 픽셀을 생성하고, U 픽셀 및 V 픽셀에 비닝된 그린 픽셀을 각각 병합하여 비닝된 레드 픽셀 및 비닝된 블루 픽셀을 생성하고, 비닝된 레드 픽셀, 비닝된 그린 픽셀, 비닝된 블루 픽셀에 대하여 인버스 화이트 밸런싱을 수행하여 비닝된 이미지를 출력할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예에 따른 이미지 신호 프로세서를 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 그린 생성 블록을 설명하기 위한 블록도이다.
도 3은 도 1에 도시된 레드블루 생성 블록을 설명하기 위한 블록도이다.
도 4 내지 도 9은 본 발명의 몇몇 실시예에 따른 이미지 신호 프로세서의 동작를 설명하기 위한 도면이다.
도 10 내지 도 14은 본 발명의 몇몇 실시예에 따른 이미지 신호 프로세서의 동작를 설명하기 위한 도면이다.
도 15는 본 발명의 몇몇 실시예에 따른 이미지 신호 프로세싱 방법을 나타낸 흐름도이다.
도 16은 본 발명의 몇몇 실시예에 따른 이미지 센싱 장치를 나타낸 도면이다.
도 17은 도 16에 도시된 이미지 센싱 장치를 나타낸 도면이다.
도 18는 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 19는 도 18의 카메라 모듈의 상세 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 설명하도록 한다.
상세한 설명에서 사용되는 "부(unit)", "모듈(module)" 등과 같은 용어들 또는 도면에 도시된 기능 블록들은 특정 기능을 수행하도록 구성된 하드웨어, 소프트웨어, 또는 그것의 조합의 형태로 구현될 수 있다.
본 명세서에서, 픽셀 또는 픽셀 값은 베이어 컬러 필터를 구성하는 픽셀 엘리먼트(element)들을 통해 광 신호로부터 출력 또는 획득되는 정보 또는 값을 의미할 수 있다. 이하 로우(Raw) 이미지는 이미지 신호 처리를 하고자 하는 단위 원본(Raw) 픽셀에 따른 이미지를 의미할 수 있다. 이하 비닝(Binning or Binned) 이미지은 로우 이미지를 이미지 신호 처리함으로써 생성되는 이미지를 의미할 수 있다.
로우 이미지는 Gr 픽셀과 R 픽셀이 순차적으로 배치된 행과 Gb 픽셀과 B 픽셀이 순차적으로 배치된 행이 교대로 배치된 베이어 패턴을 갖는다(도 4 참고). 본 명세서에서 R은 레드 픽셀, B는 블루 픽셀, Gr, Gb 픽셀은 그린(Green) 픽셀을 의미하나, 레드 픽셀이 있는 행에 속한 그린 픽셀은 Gr, 같은 행에 블루 픽셀이 있는 행에 속한 그린 픽셀은 Gb로 표시한다.
비닝 이미지는 다운스케일링된 이미지로서, 비닝된 픽셀 각각은 R' 픽셀, G' 픽셀, B' 픽셀로 표시한다. 비닝 이미지도 G' 픽셀과 R' 픽셀이 순차적으로 배치된 행과 G' 픽셀과 B' 픽셀이 순차적으로 배치된 행이 교대로 배치된 베이어 패턴을 갖는다.
도 1은 본 발명의 몇몇 실시예에 따른 이미지 신호 프로세서를 설명하기 위한 블록도이다. 도 2는 도 1에 도시된 그린 생성 블록을 설명하기 위한 블록도이다. 도 3은 도 1에 도시된 레드블루 생성 블록을 설명하기 위한 블록도이다. 도 4 내지 도 9은 본 발명의 몇몇 실시예에 따른 이미지 신호 프로세서의 동작를 설명하기 위한 도면이다.
도 1을 참고하면, 이미지 신호 프로세서(1)는 베이어 패턴 이미지를 수신하여 비닝 동작을 수행하고, 비닝 이미지를 출력할 수 있다. 즉, 이미지 신호 프로세서(1)는 로우 이미지를 이미지 신호 처리하여 비닝 이미지를 생성할 수 있다. 몇몇 실시예에 따라 이미지 신호 프로세서(1)는 화이트 밸런싱 블록(10), 그린 생성 블록(20), 레드 블루 생성 블록(30) 및 인버스 화이트 밸런싱 블록(40)을 포함할 수 있다.
이미지 신호 프로세서(1)는 커널 단위로 이미지 신호 처리를 수행할 수 있다. 본 명세서에서 커널은 이미지 신호 처리, 즉 비닝을 수행하는 단위 픽셀 어레이로, 다양한 실시예에 따라 윈도우, 단위 어레이, 섹터, 단위 영역 등 다른 용어로 호칭될 수도 있다.
예를 들어 도 4 내지 도 9의 실시예의 경우, 픽셀 어레이에서 커널(kernel) 사이즈는 5x5일 수 있다. 도 4 내지 도 9에서 커널(X) 내에 P11 내지 P55의 픽셀이 포함되는 경우를 가정하여 설명한다. 다만, 설명의 편의를 위해 도 4 내지 도 9에서는 하나의 커널(X)만 도시하여 설명하였으나, 이에 한정되지 아니하고 로우 이미지에 포함된 전체 픽셀에 대하여 적용된다고 할 것이다.
화이트 밸런싱 블록(10)은 로우 픽셀 각각에 대해 화이트 밸런싱을 수행한다. 화이트 밸런싱이란 센싱된 로우 이미지에서 광원의 특성에 대응하는 성분을 차감하여 피사체 자체의 색을 더욱 명확하게 하는 동작이다. 예를 들어, 높은 색 온도를 갖는 푸른 제1 조명이 피사체에 비치게 되면 로우 이미지는 피사체의 색보다 푸른 색을 띠게 되지만, 실제 피사체의 색상은 푸른 색을 배제한 색상일 수 있다. 따라서 화이트 밸런싱 블록(10)은 광원 특성에 따른 컬러 색상별 감도 차이를 조절할 수 있다.
그린 생성 블록(20)은 화이트 밸런싱된 로우 이미지로부터 다운 스케일링된 그린 픽셀들을 생성할 수 있다. 도 2를 함께 참고하면, 그린 생성 블록(20)은 몇몇 실시예에 따라 그린 전 처리 블록(21), HF 가중치 계산 블록(23) 및 HF 병합(HF Adder) 블록(25)을 포함할 수 있다.
도 4를 참고하면, 베이어 패턴으로서 커널(X) 내에서 G 픽셀은 R 픽셀 또는 B 픽셀과 교번하며 배치될 수 있다. 또한 복수의 행 중 제1행의 G픽셀과 제1행의 이전 행(제2행) 또는 다음 행(제3행)의 G픽셀 또한 제1행의 G픽셀과 열(Row)방향으로 서로 교번하며 배치될 수 있다.
그린 전처리 블록(21)은 비닝 그린 픽셀값의 생성할 위치(이하, 타겟 위치) 중심으로 수직-수평방향으로 배치된, 즉, 타겟 위치의 위-아래, 좌-우에 각각 인접 배치된 화이트 밸런싱된 그린 픽셀값으로부터 제1 그린 픽셀값을 생성할 수 있다. 본 명세서에서는 몇몇 실시예에 따라 타겟 위치의 위-아래, 좌-우에 각각 인접 배치된 화이트 밸런싱된 그린 픽셀값을 전처리하는 동작을 다이아몬드 비닝, 크로스 비닝 또는 팬(Pan) 비닝으로 설명하나, 그린 전처리 동작은 이러한 용어에 한정되지 않고 다른 용어로 지칭될 수도 있다 할 것이다.
커널(X) 내 그린 픽셀의 개수는 다른 컬러(레드, 블루) 각각의 픽셀 개수보다 많기 때문에 이미지 신호 처리 방식에 따라 다른 컬러보다 이미지 해상도에 더 영향을 미칠 수 있다.
따라서 그린 전처리 블록(21)은 타겟 위치에 인접한 4개의 그린 픽셀에 대해 상하좌우 비닝을 수행하되, 비닝된 그린 픽셀(G')이 서로 오버랩되지 않으면서 서로 동일한 간격으로 배치도록 비닝을 수행한다. 몇몇 실시예에 따라 크로스 비닝을 수행할 기초 픽셀들은 서로 대각선 방향으로 동일한 간격으로 이격될 수 있다.
예를 들면, 도 5에서 수학식 1에 따라 P23, P32, P34, P43에 배치된 그린 픽셀을 기초로 P33위치에 제1 그린 픽셀을 생성할 수 있다.
<수학식 1>
G1_P33= (Gr_P23+ Gb_P32+ Gb_P34+ Gr_P43 )/4
상기 수학식 1에서 G1_P33은 P33위치에 생성되는 비닝된 제1 그린 픽셀값을 의미하고, Gr_P23, Gb_P32, Gb_P34, Gr_P43은 타겟위치 P33을 기준으로 각각 상하좌우 P23, P32, P34, P43에 배치된, 화이트 밸런싱된 그린 픽셀값을 의미한다.
도 6에서, 그린 전처리 블록(21)은 P00, P01, P12, P21에 배치된 그린 픽셀값을 기초로 비닝을 수행하여 G1_P11을 생성할 수 있다. 마찬가지로, 그린 전처리 블록(21)은 수학식 1에 따라 인접한 상하좌우의 화이트밸런싱된 그린 픽셀들(점선으로 도시된 꼭지점 위치)로부터 다른 비닝된 제1 그린 픽셀값들(G1_P13, G1_ P15, G1_P31, G1_P35, G1_P51, G1_P53, G1_P55)을 각각 생성할 수 있다.
HF 가중치 계산 블록(23)은 커널(X) 내의 R 픽셀 및 B 픽셀을 기초로 Gr 픽셀 및 Gb 픽셀의 고주파 성분 반영 정도에 대한 가중치(W)를 계산한다. 가중치 W는 몇몇 실시예에 따르면 유저 파라미터로 시스템에 맞게 설정될 수도 있고, 몇몇 실시예에 따라 이미지 신호 프로세서의 동작을 반영하여 수정되는 값일 수도 있다.
HF 병합 블록(25)은 제1 그린 픽셀값(G1)에 가중치가 반영된 그린 픽셀의 고주파 성분값을 더하여(Add) 비닝된 그린 픽셀(G')을 생성한다. HF 병합 블록(25)에서 이용되는 값들은 그린 전처리 블록(21)에서 화이트 밸런싱된 값들이다. 고주파 성분은 커널 중심 위치(Pcenter)의 로우 B(또는 R) 픽셀값에서 평균 B(또는 R) 픽셀값을 뺀 값일 수 있다.
구체적으로 비닝된 그린 픽셀값(G')은 수학식 2에 따라 생성될 수 있다.
<수학식 2>
G'=G1_Ptarget+(BRaw - BAver) x W
수학식 2에서 G'는 비닝된 그린 픽셀값, G1는 그린 전처리된 제1 그린 픽셀, BRaw는 커널 중심 위치의 로우 B 픽셀값, BAver는 커널(X)에 포함된 로우 B 픽셀의 평균값, W는 고주파 성분의 반영 정도에 대한 가중치를 의미한다.
BAver는 수학식 3과 같이 산출될 수 있다.
<수학식 3>
Figure pat00001
수학식 3에서
Figure pat00002
은 커널에 속한
Figure pat00003
좌표에 위치한 B 픽셀,
Figure pat00004
은 커널 내 B 픽셀값들의 합이다.
도 7의 실시예에서는 커널 X의 중심위치(P33)를 기초로 한 9개의 로우 B 픽셀을 도시하였으나, 다른 실시예에 따라 커널의 위치가 바뀔 경우 고주파 성분 산출의 기초가 되는 로우 픽셀은 달라질 수 있다. 도시된 실시예에서는 비닝된 그린 픽셀(G')이 생성되는 중심위치(P33)를 기초로 하는 5x5 커널 내의 로우 B 픽셀로 도시하였으나, 중심위치에 따라 로우 R 픽셀도 이용될 수 있다고 할 것이다.
레드 블루 생성 블록(30)은 비닝된 그린 픽셀(G'), R 픽셀 및 B 픽셀을 기초로 비닝된 레드 픽셀(R') 및 비닝된 블루 픽셀(B')을 생성할 수 있다. 레드 컬러, 블루 컬러, 그린 컬러 각각은 파장대역이 각각 독립적이고 각각 고주파 성분도 포함하고 있기 때문에, 로우 픽셀 자체에 공통된 이미지 신호 처리를 적용하는 것보다는 고주파 성분이 배제된 컬러 채널 디퍼런스(color channel difference, 즉 컬러 채널간 차이값인 U 픽셀 및 V 픽셀)를 기초로 비닝된 레드 픽셀(R') 및 블루 픽셀(B')을 생성하는 것이 노이즈에 더 강할 수 있다.
몇몇 실시예에 따른 레드 블루 생성 블록(30)은 도 3과 같이 디렉션 계산 블록(31), UV 생성 블록(33) 및 베이어 패턴 생성블럭(35)을 포함할 수 있다.
디렉션 계산 블록(31)은 커널(X) 내의 수평 방향 코스트, 수직 방향 코스트를 계산한다.
몇몇 실시예에 따라 수평 방향 코스트(Hcost)는 커널 내 수평방향으로 인접한 동일 컬러 픽셀 간 밝기 차이(luminance difference)를 모두 더한 값의 역수이고, 수직 방향 코스트(Vcost)는 커널 내 수직방향으로 인접한 동일 컬러 픽셀 간 밝기 차이(luminance difference)를 모두 더한 값의 역수일 수 있다. 구체적으로 수학식 4와 같이 산출할 수 있다. 이 경우 수직 방향 코스트(Vcost)와 수평 방향 코스트(Hcost)는 서로 반비례할 수 있다.
<수학식 4>
Figure pat00005
Figure pat00006
상기 수학식 4에서 Hcost는 수평방향 코스트,
Figure pat00007
는 수평방향으로 인접한 R 픽셀 간 차이를 모두 더한 값,
Figure pat00008
는 수평방향으로 인접한 B 픽셀 간 차이를 모두 더한 값,
Figure pat00009
는 수평방향으로 인접한 Gr 픽셀 간 차이를 모두 더한 값,
Figure pat00010
는 수평방향으로 인접한 Gb 픽셀 간 차이를 모두 더한 값을 말한다. Vcost는 수직방향 코스트,
Figure pat00011
는 수직방향으로 인접한 R 픽셀 간 차이를 모두 더한 값,
Figure pat00012
는 수직방향으로 인접한 B 픽셀 간 차이를 모두 더한 값,
Figure pat00013
는 수직방향으로 인접한 Gr 픽셀 간 차이를 모두 더한 값,
Figure pat00014
는 수직방향으로 인접한 Gb 픽셀 간 차이를 모두 더한 값을 말한다
도 7을 참고하여 보다 구체적으로 설명하면, 디렉션 계산 블록(31)은
Figure pat00015
에 대해 커널(X)에 포함된 B_P11과 B_P13 간 차이(이하 B_P11 : B_P13 로 표시), B_P13:B_P15, B_P31:B_P33 , B_P33:B_P35, B_P51:B_P53, B_P53:B_P55 간 차이를 모두 더한 값을 산출한다.
마찬가지로 디렉션 계산 블록(31)은 Gr, Gb 및 R 컬러 채널에 대해서도
Figure pat00016
,
Figure pat00017
,
Figure pat00018
을 산출하고,
Figure pat00019
,
Figure pat00020
,
Figure pat00021
,
Figure pat00022
을 모두 더한 값의 역수로 수평 방향 코스트(Hcost)를 산출할 수 있다.
커널(X) 내에서 같은 열(Row)에 배치된 인접 G 픽셀 간, 인접 R 픽셀 간 또는 인접 B 픽셀 간의 밝기 차이가 크면, 수평 방향 코스트(Hcost)는 커질 수 있다. 즉, 수직 방향으로 차이가 큰 픽셀값으로 가지는 경우, 픽셀값의 방향성은 수평 방향으로 보다 작은 밝기 값 차이를 가진다고 판단할 수 있고, 수평 방향 코스트가 커지는 것이다.
UV 생성 블록(33)은 수직 방향 코스트(Vcost) 및 수평 방향 코스트(Hcost)에 기초하여 색차 신호인 UV 픽셀을 생성한다. 도 7에서 커널(X) 내의 R 픽셀은 Gr 픽셀과 동일 수평라인에 배치되고, Gb 픽셀과 동일 수직라인에 배치되므로, UV 생성 블록(33)은 색차 계산시 수직방향의 색차인지 또는 수평방향의 색차인지에 따라 해당 방향의 방향 코스트를 반영한다.
구체적으로 UV생성 블록(33)은 수학식 5와 같이 R-Gr 간 수평방향 색차 및 B-Gb 간 수직방향 색차에 각각 방향 코스트를 반영하여 V값을 생성할 수 있다.
V 픽셀은 수평방향 코스트를 반영한 평균 R 픽셀값과 평균 Gr 픽셀값의 색차값과, 수직방향 코스트를 반영한 평균 R 픽셀값과 평균 Gb픽셀값의 색차값을 더한 값일 수 있다. 몇몇 실시예에 따라 수학식 5와 같이 커널(X)에 포함된 모든 R 픽셀에 대한 평균값(
Figure pat00023
)에서 R 픽셀과 같은 수평 라인에 배치된 Gr 픽셀에 대한 평균값(
Figure pat00024
)을 차감한 후 수평방향 코스트(Hcost)를 곱하고, R 픽셀과 같은 수직 라인에 배치된 Gb 픽셀에 대한 평균값(
Figure pat00025
)을 차감한 후 수직방향 코스트(Vcost)를 곱하여 더함으로써 산출될 수 있다. 이때 커널(X)는 V 픽셀이 생성되는 좌표를 중심 위치로 한다. 수학식 5 내지 수학식 8은 예를 들면, V_P13을 중심위치로 하는 5x5 커널에 적용될 수 있다.
<수학식 5>
Figure pat00026
<수학식 6>
Figure pat00027
<수학식 7>
Figure pat00028
<수학식 8>
Figure pat00029
수학식 6 내지 수학식 8에서,
Figure pat00030
은 커널에 속한
Figure pat00031
좌표에 위치한 R 픽셀,
Figure pat00032
은 커널 내 R 픽셀값들의 합이고,
Figure pat00033
은 커널에 속한
Figure pat00034
좌표에 위치한 Gr 픽셀,
Figure pat00035
은 커널 내 Gr 픽셀값들의 합이고,
Figure pat00036
은 커널에 속한
Figure pat00037
좌표에 위치한 Gb 픽셀,
Figure pat00038
은 커널 내 Gb 픽셀값들의 합이다. 이때 i, j는 정수로서 커널 내 좌표를 나타내는 지수이다.
U픽셀은 수학식 9를 참고하면, 커널(X)에 포함된 모든 B 픽셀에 대한 평균값(
Figure pat00039
)에서 B 픽셀과 같은 수평 라인에 배치된 Gb 픽셀에 대한 평균값(
Figure pat00040
)을 차감한 후 수평방향 코스트(Hcost)를 곱하고, B 픽셀과 같은 수직 라인에 배치된 Gr 픽셀에 대한 평균값(
Figure pat00041
)을 차감한 후 수직방향 코스트(Vcost)를 곱하여 더함으로써 산출될 수 있다.
<수학식 9>
Figure pat00042
수학식 9에서 B 픽셀에 대한 평균값(
Figure pat00043
)은 수학식 10과 같이 커널(X)에 포함된 모든 B 픽셀에 대한 평균값일 수 있다.
<수학식 10>
Figure pat00044
생성된 U픽셀 및 V픽셀은 도 8과 같이 P13, P53, P31, P35 위치에 배치된다.
베이어 패턴 생성 블록(35)은 그린 생성 블록(20)에서 생성된 G' 픽셀과 UV 생성 블록(33)에서 생성된 U 픽셀 및 V 픽셀을 병합(Combine)하여 비닝된 베이어 패턴 이미지로 생성할 수 있다. 패턴 생성 블록(35)은 도 6의 G' 이미지에 도 8의 UV 이미지를 더하여 도 9의 R'G'B' 이미지를 생성한다.
즉, 베이어 패턴 생성 블록(35)은 R-G간 B-G간 색차정보로 생성된 U픽셀 및 V픽셀에 비닝된 그린 픽셀(G')을 더하여, 비닝된 레드 픽셀(R') 및 비닝된 블루 픽셀(B')을 생성한다. 이때 비닝된 R' 픽셀, G' 픽셀 및 B' 픽셀은 로우 이미지를 다운 스케일링 한 간격으로 베이어 패턴으로 배치될 수 있다. R' 픽셀, G' 픽셀 및 B' 픽셀 간의 간격은 다운 스케일링 비율(Ratio)에 따라 달라질 수 있다. 다른 다운 스케일링의 실시예는 이후 도 10에서 설명하기로 한다.
인버스 화이트 밸런스 블록(40)은 로우 이미지를 비닝하기 위해 화이트 밸런싱을 수행했으므로(도 2의 10), 베이어 패턴 생성 블록(35)에서 출력된 R' 픽셀, G' 픽셀 및 B' 픽셀을 포함한 이미지에 인버스 화이트 밸런싱을 수행한다. 즉, 각 컬러 채널의 광학 특성을 다시 반영하고, 최종 비닝 이미지(Binning Image)를 출력(Output)한다.
이와 같이 로우 이미지를 비닝 이미지로 변환하는 경우, 그린 색상을 중심으로 균일한 샘플링 포인트를 가지도록 비닝을 수행하여 거짓 색상(false color) 발생을 줄이면서도, UV픽셀값을 이용하되 방향성을 반영하여 생성함으로써, 이미지 디테일 손실이 없는 이미지 신호 처리를 수행할 수 있다. 즉, 고해상도를 가진 이미지 센서에서도 본 이미지 신호 처리에 따라 재깅 결함(Zagging artifact)와 거짓 색상(False color) 발생을 완화시키면서도 고해상도의 영상 획득이 가능할 수 있다.
도 10 내지 도 14은 본 발명의 몇몇 실시예에 따른 이미지 신호 프로세서의 동작를 설명하기 위한 도면이다.
도 4 내지 도 9은 로우 이미지를 1/4 비율로 다운스케일링 하는 실시예이고, 도 10 내지 도 14은 로우 이미지를 1/16 비율로 다운스케일링 하는 실시예이다. 설명의 편의를 위해 도 4 내지 도 9과의 차이를 위주로 설명하고, 나머지 구성은 도 4 내지 도 9의 실시예와 유사하게 처리된다고 할 것이다. 한편 설명의 편의를 위해 도 10 내지 도 14는 8x7의 픽셀 어레이를 도시하고, 5x5 커널(X)로 설명하나, 본 발명의 실시예가 이에 한정되지 않고 커널 사이즈를 확장하거나 인접 픽셀 어레이에도 적용할 수 있다고 할 것이다.
도 10을 참고하면, 몇몇 실시예에 따라 이미지 신호 프로세서(1)는 입력 신호로 즉 베이어 패턴의 로우 이미지를 수신하고, 베이어 패턴의 로우 픽셀 어레이에 대해 화이트 밸런싱을 수행할 수 있다.
도 11을 참고하면, 이미지 신호 프로세서(1)는 커널(X)의 중심위치(P44)를 기준으로 샘플링 포인트(픽셀 위치)가 균등해지도록 그린 전처리 동작을 수행한다. 즉, 그린 전처리 동작은 전처리 동작 후의 제1 그린 픽셀 간에 서로 오버랩되지 않도록 균등한 샘플링 포인트를 가지도록 수행될 수 있다. 그린 전처리 동작을 위해 입력되는 그린 픽셀은 제1 그린 픽셀이 위치하는 타겟 위치의 상하좌우 각각에 배치되는 4개의 화이트밸런싱된 그린 픽셀일 수 있다. 그린 전처리 동작은 몇몇 실시예에 따라 다이아몬드 비닝, 크로스 비닝 또는 팬 비닝 등 다른 명칭으로도 호칭될 수 있으나 용어에 의해 한정되는 것은 아니라고 할 것이다.
도시된 실시예에 따르면, D1 내지 D4의 위치에서 G픽셀에 대한 크로스 비닝이 각각 수행되어 도 11과 같이 P22, P26, P62, P66의 위치에 제1 그린 픽셀이 각각 생성되도록 할 수 있다.
이미지 신호 프로세서(1)는 제1 그린 픽셀에 대해 수학식 2에 따른 비닝된 G'픽셀을 생성할 수 있다. 이미지 신호 프로세서는 도 12에 도시된 바와 같이, 제1 그린 픽셀은 가중치가 적용된 고주파 성분을 더하여 비닝된 G' 픽셀을 생성할 수 있다. 몇몇 실시예에 따라 이미지 신호 프로세서(1)는 수학식 2에 따라 제1 그린픽셀로부터 비닝된 G' 픽셀을 생성할 수 있다.
이미지 신호 프로세서(1)는 G' 픽셀, 로우 이미지의 R 픽셀 및 B 픽셀에 기초하여 도 13과 같이 U 픽셀값 및 V 픽셀값을 각각 생성할 수 있다.
구체적으로, V 픽셀은 수학식 5와 같이 커널(X)에 포함된 모든 R 픽셀에 대한 평균값(
Figure pat00045
)에서 R 픽셀과 같은 수평 라인에 배치된 Gr 픽셀에 대한 평균값(
Figure pat00046
)을 차감한 후 수평방향 코스트(Hcost)를 곱하고, R 픽셀과 같은 수직 라인에 배치된 Gb 픽셀에 대한 평균값(
Figure pat00047
)을 차감한 후 수직방향 코스트(Vcost)를 곱하여 더함으로써 산출될 수 있다.
U픽셀은 수학식 9를 참고하면, 커널(X)에 포함된 모든 B 픽셀에 대한 평균값(
Figure pat00048
)에서 B 픽셀과 같은 수평 라인에 배치된 Gb 픽셀에 대한 평균값(
Figure pat00049
)을 차감한 후 수평방향 코스트(Hcost)를 곱하고, B 픽셀과 같은 수직 라인에 배치된 Gr 픽셀에 대한 평균값(
Figure pat00050
)을 차감한 후 수직방향 코스트(Vcost)를 곱하여 더함으로써 산출될 수 있다.
도 14을 참고하면, 이미지 신호 프로세서(1)는 U 픽셀값 및 V 픽셀값에 G' 픽셀을 병합하여 R' 픽셀 및 B' 픽셀을 각각 생성할 수 있다. 이미지 신호 프로세서(1)는 병합된 이미지에 인버스 화이트 밸런싱을 수행하여 비닝된 R'G'B' 픽셀 이미지를 출력할 수 있다.
도 14의 출력된 비닝 이미지는 도 9의 비닝 이미지와 비교하면 동일 커널 사이즈에서 다운 스케일링 비율에 따라 비닝 픽셀의 무게중심 좌표 간 간격이 달라질 수 있다.
도 15는 몇몇 실시예들에 따른 이미지 신호 프로세싱 방법을 나타낸 흐름도이다.
도 15를 참고하면, 이미지 센싱 장치는 먼저 이미지 센서에서 센싱되어 출력된 로우 이미지, 즉 베이어 패턴의 로우 RGB 이미지를 수신하면(S10), 수신된 로우 RGB이미지에 대해 화이트 밸런싱을 수행할 수 있다(S20). 화이트 밸런싱은 몇몇 실시예에 따라 픽셀 어레이의 전 영역 또는 일부 영역에 대해 커널 단위로 수행될 수 있다.
이미지 센싱 장치는 비닝된 그린 픽셀을 생성한다(S30). 몇몇 실시예에 따라 이미지 센싱 장치는 그린 전처리를 수행하여 제1 그린 픽셀을 생성하고, 제1 그린 픽셀에 기설정된 가중치가 적용된 고주파 성분을 더하여 비닝된 그린 픽셀을 생성한다. 이때 그린 전처리 동작은 제1 그린 픽셀이 생성될 무게중심 좌표의 상하좌우에 각각 인접하게 배치된 화이트밸런싱된 로우 그린 픽셀을 기초로 제1 그린 픽셀을 생성할 수 있다. 또한 제1 그린픽셀에 고주파 성분이 제외되어 있기 때문에, 가중치가 적용된 고주파 성분을 상기 제1 그린픽셀에 더하여 비닝된 그린 픽셀을 생성할 수 있다.
이미지 센싱 장치는 화이트 밸런싱된 로우 그린 픽셀, 화이트 밸런싱된 로우 레드 픽셀, 화이트 밸런싱된 로우 블루 픽셀을 기초로 U 픽셀 및 V 픽셀을 생성한다(S40). U 픽셀은 U픽셀이 생성될 위치를 중심좌표로 하는 커널에서, 커널에 포함된 모든 화이트 밸런싱된 로우 B 픽셀에 대한 평균값에서 B픽셀과 같은 수평 라인에 배치된 화이트 밸런싱된 로우 Gb픽셀에 대한 평균값을 차감한 후 수평방향 코스트를 반영한 제1값과 커널에 포함된 모든 화이트 밸런싱된 로우 B 픽셀에 대한 평균값에서 B 픽셀과 같은 수직 라인에 배치된 Gr픽셀에 대한 평균값을 차감한 후 수직방향 코스트를 반영한 제2값을 더하여 산출할 수 있다.
마찬가지로 V 픽셀은 V픽셀이 생성될 위치를 중심좌표로 하는 커널에서, 커널에 포함된 모든 화이트 밸런싱된 로우 R 픽셀에 대한 평균값에서 R픽셀과 같은 수평 라인에 배치된 화이트 밸런싱된 로우 Gr픽셀에 대한 평균값을 차감한 후 수평방향 코스트를 반영한 제1값과 커널에 포함된 모든 화이트 밸런싱된 로우 R 픽셀에 대한 평균값에서 R 픽셀과 같은 수직 라인에 배치된 Gb픽셀에 대한 평균값을 차감한 후 수직방향 코스트를 반영한 제2값을 더하여 산출할 수 있다.
이미지 센싱 장치는 비닝된 그린 픽셀에 U픽셀 및 V픽셀을 각각 더하여 비닝된 블루 픽셀 및 비닝된 레드 픽셀을 각각 생성할 수 있고, 이를 인버스 화이트 밸런싱 하여(S60) 최종 비닝된 이미지를 출력할 수 있다(S70)
도 16은 본 발명의 몇몇 실시예에 따른 이미지 센싱 장치를 나타낸 도면이다.
도 16을 참조하면, 몇몇 실시예에 따라 도 1의 이미지 신호 프로세서는 이미지 센서에 포함될 수 있다. 이미지 센서(200)는 픽셀 어레이(pixel array; 210), 로우 드라이버(row driver; 220), 상관 이중 샘플링(correlated double sampling(CDS)) 블록(230), 아날로그 디지털 컨버터(analog digital converter(ADC); 240), 램프 신호 발생기(ramp generator; 260), 타이밍 제너레이터(timing generator; 270), 제어 레지스터 블록(control register block; 280), 및 버퍼(buffer; 290)를 포함한다.
이미지 센서(200)는 디지털 신호 프로세서(digital signal processor(DSP); 150)의 제어에 따라 렌즈(500)를 통해 촬영된 물체(400)를 센싱하고, DSP(150)는 이미지 센서(200)에 의해 센싱되어 출력된 이미지를 디스플레이 유닛(300)으로 출력할 수 있다. 이때, 디스플레이 유닛(300)은 이미지를 출력 또는 디스플레이할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 유닛(300)은 컴퓨터, 이동 통신 장치, 및 기타 영상 출력 단말을 의미할 수 있다.
DSP(150)는 카메라 컨트롤(110), 이미지 신호 프로세서(image signal processor(ISP); 100) 및 인터페이스(interface(I/F); 120)를 포함한다.
카메라 컨트롤(110)은 제어 레지스터 블록(280)의 동작을 제어한다. 카메라 컨트롤(110)은 I2C(inter-integrated circuit)를 이용하여 이미지 센서(200), 즉, 제어 레지스터 블록(280)의 동작을 제어할 수 있으나, 본 발명의 기술적 사상이 이에 한정되는 것은 아니다.
ISP(100)는 몇몇 실시예에 따른 도 1의 ISP(1)를 포함할 수 있다. ISP(100)는 버퍼(290)로부터 출력된 이미지 데이터를 수신하고 수신된 이미지 데이터를 사람이 보기 좋도록 가공 또는 처리하고 가공 또는 처리된 이미지 데이터를 I/F(120)를 통해 디스플레이 유닛(300)으로 출력한다.
ISP(100)는 도 16에서는 DSP(150) 내부에 위치하는 것으로 도시하였으나, 실시 예에 따라 ISP(100)는 이미지 센서(200) 내부에 위치할 수도 있다. 또한 이미지 센서(200)와 ISP(100)는 하나의 패키지, 예컨대 MCP(multi-chip package)로 구현될 수 있다.
픽셀 어레이(210)는 다수의 광 감지 소자, 예컨대 포토(photo) 다이오드 또는 핀드 포토 다이오드(pinned photo diode)로 구현될 수 있다. 픽셀 어레이(210)로부터 CDS 블록(230), ADC(240)을 통해 출력되는 원시 이미지 데이터(Raw Image Data)는 베이어(Bayer)포맷으로 구성된 베이어 이미지 데이터(Bayer Image data)일 수 있다.
베이어 이미지 데이터는 ISP(100)에서 RGB 포맷 데이터(레드, 그린, 블루 포맷의 데이터)로 프로세싱되어 디스플레이 유닛(300)으로 출력된다.
도 17은 도 16에 도시된 이미지 센싱 장치를 나타낸 도면이다.
도 17을 참고하면, 이미지 센서(700)는 스택(stack)되는 복수의 레이어로 구현될 수 있다. 몇몇 실시예에 따라 픽셀 어레이(210)는 제1 레이어(Layer 1)에 구현되고, 나머지 구성, 즉 로직 회로는 제2 레이어(Layer 2)에 구현될 수 있다. 로직 회로에는 도 15에 도시된 이미지 센서(200)에서, 픽셀 어레이(210)를 제외한 나머지 구성요소들(220 내지 290)이 포함될 수 있다. 즉, 픽셀 어레이 영역과 로직 회로 영역은 웨이퍼 레벨에서 서로 적층될 수 있다.
제1 레이어(Laye 1)는 복수의 픽셀(PX)들이 포함되는 센싱 영역(SA)과, 센싱 영역(SA) 주변에 마련되는 제1 패드 영역(PA1)을 포함할 수 있다. 제1 패드 영역(PA1)에는 복수의 상부 패드들(PAD1)이 포함되고, 복수의 상부 패드들(PAD1)은 비아 등을 통해 제2 레이어(Layer 2)의 제2 패드 영역(PA2)에 마련된 패드들(PAD21, PAD22) 및 로직 회로(LOGIC)에 연결될 수 있다.
몇몇 실시예에 따라 패드(PAD21, PAD22)는 입력 인터페이스 패드일 수 있고 패드(PAD23)은 출력 인터페이스 패드일 수 있다.
도 18은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 19는 도 18의 카메라 모듈의 상세 블록도이다.
도 18을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 19를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.
도 19를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 18 및 도 19를 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 18을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
도 1에 도시된 이미지 신호 프로세서(1)는 다양한 실시예에 따라 응용될 수 있다. 몇몇 실시예에 따라 이미지 신호 프로세서(1)는 도 18의 카메라 모듈(1100) 내의 로직(1144)에 구현될 수도 있고, 또는 이미지 신호 프로세서(1)는 도 21의 서브 이미지 프로세서(1212)에 구현될 수도 있으며, 또는 이미지 신호 프로세서(1)는 이미지 생성기(1214)에 구현될 수도 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1, 100: 이미지 신호 프로세서
10: 화이트 밸런싱 블록 20 : 그린 생성 블록 30 : 레드블루 생성 블록 40 : 인버스 화이트밸런싱 블록
200, 700 : 이미지 센서 300 : 디스플레이 유닛
400 : 오브젝트 500 : 렌즈
1000 : 전자 장치 1100 : 카메라 모듈
1200 : 애플리케이션 프로세서 1300 : PMIC
1400 : 외부 메모리

Claims (10)

  1. 이미지 센서로부터 수신된 베이어 패턴의 로우(Raw) RGB 이미지에 대해 커널 단위로 화이트 밸런싱을 수행하는 화이트 밸런싱 블록;
    화이트 밸런싱된 G 픽셀에 대해 크로스 비닝을 수행하여 제1 그린 픽셀을 생성하고, 기설정된 가중치가 적용된 고주파 성분을 더하여 비닝된 그린 픽셀을 생성하는 그린 생성 블록;
    상기 비닝된 그린 픽셀, 화이트 밸런싱된 R픽셀, 화이트 밸런싱된 B 픽셀에 기초하여 방향성이 반영된 U 픽셀 및 V 픽셀을 생성하고, 상기 U 픽셀 및 V 픽셀에 상기 비닝된 그린 픽셀을 각각 병합하여 비닝된 레드 픽셀 및 비닝된 블루 픽셀을 생성하는 레드블루 생성 블록;
    상기 비닝된 레드 픽셀, 상기 비닝된 그린 픽셀, 상기 비닝된 블루 픽셀에 대하여 인버스 화이트 밸런싱을 수행하여 최종 비닝 이미지를 출력하는 인버스 화이트 밸런싱 블록을 포함하는 이미지 신호 프로세서.
  2. 제1항에 있어서, 상기 크로스 비닝은
    상기 비닝된 그린 픽셀이 배치되는 타겟 위치를 기준으로 각각 상하좌우에 배치되는 화이트 밸런싱된 G 픽셀을 기초로 상기 제1 그린 픽셀을 생성하는, 이미지 신호 프로세서.
  3. 제1항에 있어서, 상기 크로스 비닝은
    상기 커널의 중심위치를 기준으로 샘플링 포인트가 균등한 상기 제1 그린 픽셀을 생성하는, 이미지 신호 프로세서.
  4. 제1항에 있어서, 상기 고주파 성분은 상기 화이트 밸런싱된 B 픽셀에서 평균 B 픽셀값을 차감한 값인, 이미지 신호 프로세서.
  5. 제1항에 있어서, 상기 V 픽셀은
    수평방향 코스트를 반영한 평균 R 픽셀값과 평균 Gr 픽셀값 간의 색차값과, 수직 방향 코스트를 반영한 평균 R 픽셀값과 평균 Gb 픽셀값 간의 색차값을 더한 값인, 이미지 신호 프로세서.
  6. 제1항에 있어서, 상기 U 픽셀은
    수평방향 코스트를 반영한 평균 B 픽셀값과 평균 Gb 픽셀값 간의 색차값과, 수직 방향 코스트를 반영한 평균 B 픽셀값과 평균 Gr 픽셀값 간의 색차값을 더한 값인, 이미지 신호 프로세서.
  7. 제5항 또는 제6항에 있어서, 상기 수평방향 코스트는
    수평방향으로 인접한 상기 커널 내 동일 컬러 픽셀 간 밝기 차이를 모두 더한 값의 역수이고,
    상기 수직방향 코스트는
    수직방향으로 인접한 상기 커널 내 동일 컬러 픽셀 간 밝기 차이를 모두 더한 값의 역수인, 이미지 신호 프로세서.
  8. 제4항 내지 제6항에 있어서, 상기 평균 B 픽셀값 및 상기 평균 R 픽셀값 각각은
    상기 커널에 포함된 모든 B 픽셀 또는 상기 커널에 포함된 모든 R 픽셀의 평균값인, 이미지 신호 프로세서.
  9. 베이어 패턴의 로우 RGB 이미지를 수신하여, 커널 단위로 화이트 밸런싱을 수행하는 단계;
    상기 화이트 밸런싱된 G 픽셀에 대해 크로스 비닝을 수행하는 단계;
    상기 크로스 비닝된 제1 그린 픽셀에 고주파 성분을 더하여 적어도 하나의 비닝된 그린 픽셀을 생성하는 단계;
    상기 비닝된 그린 픽셀, 화이트 밸런싱된 R픽셀, 화이트 밸런싱된 B 픽셀에 기초하여 수직방향 코스트 및 수평방향 코스트가 반영된 U 픽셀 및 V 픽셀을 생성하는 단계;
    상기 U 픽셀 및 V 픽셀에 상기 비닝된 그린 픽셀을 각각 병합하여 비닝된 레드 픽셀 및 비닝된 블루 픽셀을 포함하는 베이어 패턴의 비닝된 이미지를 생성하는 단계; 및
    상기 비닝된 이미지에 인버스 화이트 밸런싱을 수행하여 최종 비닝 이미지를 출력하는 단계를 포함하는 이미지 신호 프로세싱 방법.
  10. 피사체로부터 반사된 광을 센싱하여 베이어 패턴의 로우 RGB 이미지를 출력하는 이미지 센서;
    상기 로우 RGB 이미지로부터 커널 단위로 비닝을 수행하여 비닝된 이미지를 생성하는 이미지 신호 프로세서를 포함하고,
    상기 이미지 신호 프로세서는
    상기 로우 RGB 이미지에 대해 화이트 밸런싱을 수행하고,
    화이트 밸런싱된 G 픽셀에 대해 그린 전처리 동작을 수행한 후 고주파 성분을 더하여 적어도 하나의 비닝된 그린 픽셀을 생성하고,
    상기 비닝된 그린 픽셀, 화이트 밸런싱된 R픽셀, 화이트 밸런싱된 B 픽셀에 기초하여 방향성이 반영된 U 픽셀 및 V 픽셀을 생성하고,
    상기 U 픽셀 및 V 픽셀에 상기 비닝된 그린 픽셀을 각각 병합하여 비닝된 레드 픽셀 및 비닝된 블루 픽셀을 생성하고,
    상기 비닝된 레드 픽셀, 상기 비닝된 그린 픽셀, 상기 비닝된 블루 픽셀에 대하여 인버스 화이트 밸런싱을 수행하여 상기 비닝된 이미지를 출력하는, 전자 장치.
KR1020200065305A 2020-05-29 2020-05-29 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치 KR20210147694A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200065305A KR20210147694A (ko) 2020-05-29 2020-05-29 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치
US17/173,434 US11178372B1 (en) 2020-05-29 2021-02-11 Image signal processor, image signal processing method and electronic device thereof
CN202110593571.0A CN113747137A (zh) 2020-05-29 2021-05-28 图像信号处理器、图像信号处理方法及其电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200065305A KR20210147694A (ko) 2020-05-29 2020-05-29 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20210147694A true KR20210147694A (ko) 2021-12-07

Family

ID=78524307

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200065305A KR20210147694A (ko) 2020-05-29 2020-05-29 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치

Country Status (3)

Country Link
US (1) US11178372B1 (ko)
KR (1) KR20210147694A (ko)
CN (1) CN113747137A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230095792A (ko) * 2021-12-22 2023-06-29 (주) 픽셀플러스 이미지 처리 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210104462A (ko) * 2020-02-17 2021-08-25 삼성전자주식회사 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60141901D1 (de) 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
JP3947969B2 (ja) 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
KR100660862B1 (ko) 2005-02-23 2006-12-26 삼성전자주식회사 동일 색상의 화소 데이터를 가산하여 출력하는 컬러 촬상장치 및 그 화소 데이터 독출 방법
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7929807B2 (en) 2007-02-27 2011-04-19 Phase One A/S Colour binning of a digital image to reduce the image resolution
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8605837B2 (en) 2008-10-10 2013-12-10 Broadcom Corporation Adaptive frequency-domain reference noise canceller for multicarrier communications systems
US8780238B2 (en) * 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels
JP2013214272A (ja) 2012-03-08 2013-10-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN111869213A (zh) * 2018-01-16 2020-10-30 株式会社尼康 编码装置、解码装置、编码方法、解码方法、编码程序及解码程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230095792A (ko) * 2021-12-22 2023-06-29 (주) 픽셀플러스 이미지 처리 장치

Also Published As

Publication number Publication date
US11178372B1 (en) 2021-11-16
US20210377504A1 (en) 2021-12-02
CN113747137A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
EP2087725B1 (en) Improved light sensitivity in image sensors
US20110115954A1 (en) Sparse color pixel array with pixel substitutes
US11616934B2 (en) Image sensor
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
US20220182589A1 (en) Image device and operation method of image device
US12020406B2 (en) Image signal processing method, image sensing device including an image signal processor
CN113810637A (zh) 用于减少图像信息损失的像素阵列和包括其的图像传感器
US20220294999A1 (en) Image sensing apparatus and image binning method thereof
US11743606B2 (en) Pixel array reducing loss of image information and image sensor including same
KR20230163951A (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 처리 시스템
EP4102828B1 (en) Image sensor including image signal processor and operating method of the image sensor
US20230300481A1 (en) Image sensing device and image processing method of the same
KR20230077833A (ko) 이미지 신호 프로세서, 이미지 신호 프로세서의 동작 방법 및 이미지 센싱 장치
KR20210114313A (ko) 이미지 비닝 방법 및 그 이미지 센싱 장치
EP4096217A1 (en) Image sensor and image signal processing method
US20240179428A1 (en) Compensation of imaging sensor
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치
KR20220161124A (ko) 이미지 신호 프로세서를 포함하는 이미지 센서 및 이의 동작 방법
KR20230174127A (ko) 크로스토크를 정정하는 이미지 센서, 이미지 센서의 동작 방법, 그리고 이미지 센서를 포함하는 전자 장치
KR20220126322A (ko) 이미지 센서, 이미지 센서의 동작 방법, 그리고 이미지 센서를 포함하는 전자 장치
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법
KR20230034877A (ko) 이미징 장치 및 이미지 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination