KR20200108953A - Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체 - Google Patents

Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체 Download PDF

Info

Publication number
KR20200108953A
KR20200108953A KR1020190027615A KR20190027615A KR20200108953A KR 20200108953 A KR20200108953 A KR 20200108953A KR 1020190027615 A KR1020190027615 A KR 1020190027615A KR 20190027615 A KR20190027615 A KR 20190027615A KR 20200108953 A KR20200108953 A KR 20200108953A
Authority
KR
South Korea
Prior art keywords
pixel
pixels
binning
red
image sensor
Prior art date
Application number
KR1020190027615A
Other languages
English (en)
Other versions
KR102680865B1 (ko
Inventor
민동기
김무영
김지혜
유종민
이광현
임준혁
정성영
현은제
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190027615A priority Critical patent/KR102680865B1/ko
Priority claimed from KR1020190027615A external-priority patent/KR102680865B1/ko
Priority to US16/683,883 priority patent/US11089242B2/en
Priority to CN202010160687.0A priority patent/CN111683233B/zh
Publication of KR20200108953A publication Critical patent/KR20200108953A/ko
Application granted granted Critical
Publication of KR102680865B1 publication Critical patent/KR102680865B1/ko

Links

Images

Classifications

    • H04N5/347—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H04N5/357—
    • H04N9/0451—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

본 발명은 RGBW 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체에 관한 것으로서, 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법은, 일정한 배열 패턴을 갖는 RGBW 이미지 센서의 픽셀 어레이에서, 상기 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 단계; 상기 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 상기 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성하는 단계; 및 상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계를 포함한다.

Description

RGBW 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체{RGBW IMAGE SENSOR, BINNING METHOD IN IMAGE SENSOR AND COMPUTER READABLE MEDIUM FOR PERFORMING THE METHOD}
본 발명은 RGBW 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체에 관한 것이다.
이미지 센서가 생성하는 이미지 데이터의 크기는 이미지 센서의 해상도가 증가함에 따라 점점 증가하고 있다. 그러나, 이미지 센서가 생성하는 이미지 데이터의 크기가 증가할수록 동영상 모드에서 높은 프레임 레이트를 유지하기가 점점 어려워지고 소비전력 또한 증가하게 될 수 밖에 없다. 이와 같은 상황에 대응하여, 인접 픽셀들의 데이터를 이용하여 하나의 픽셀을 생성함으로써 이미지 데이터의 크기를 줄이는 비닝(binning)을 적용하는 것이 일반적이다.
본 발명의 기술적 사상이 이루고자 하는 기술적 과제 중 하나는, RGBW 이미지 센서에서 비닝 적용 시, 지그재그(zigzag) 현상에 의한 노이즈를 감소시키는 이미지 센서의 비닝 방법, 그러한 방법을 수행하는 RGBW 이미지 센서를 제안하는 것이다.
본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법은 일정한 배열 패턴을 갖는 RGBW 이미지 센서의 픽셀 어레이에서, 상기 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 단계; 상기 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 상기 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성하는 단계; 및 상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 RGBW 이미지 센서는 일정한 배열 패턴을 갖는 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 비닝 대상 픽셀 선택부; 상기 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 상기 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성하는 비닝 픽셀 데이터 생성부; 및 상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 재배열부를 포함할 수 있다.
본 발명의 일 실시예에 따른 기록 매체는, 하나 이상의 프로그램에 대한 컴퓨터 프로그램 코드를 포함하는 기록 매체로서, 상기 컴퓨터 프로그램 코드는 적어도 하나의 프로세서에 의해 적어도 전술한 이미지 센서의 비닝 방법을 수행하도록 구성될 수 있다.
본 발명인 RGBW 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체의 실시예들에 따르면, RGBW 이미지 센서에서 비닝 적용 시, 지그재그 현상에 의한 노이즈를 감소시킬 수 있다.
도 1은 RGBW 패턴 구조의 일 예를 도시하는 도면이다.
도 2는 픽셀 어레이에 포함되는 단위 픽셀의 일 예를 나타내는 회로도이다.
도 3은 아날로그 도메인에서의 비닝 개념을 설명하기 위한 회로도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 일정한 RGBW 패턴에서 수행되는 비닝 방법을 설명하기 위한 도면이다.
도 6은 도 5에 도시된 RGBW 패턴에 대해 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 적용하여 재배열된 결과를 나타내는 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법에서 적색 픽셀의 비닝 방법에 관한 다양한 실시예를 설명하기 위한 도면이다.
도 10은 도 9에 도시된 실시예에 따른 이미지 센서의 비닝 방법을 적용하여 재배열된 결과를 나타내는 도면이다.
도 11은 본 발명의 다른 일 실시예에 따른 일정한 RGBW 패턴에서 수행되는 비닝 방법을 설명하기 위한 도면이다.
도 12는 도 11에 도시된 RGBW 패턴에 대해 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 적용하여 재배열된 결과를 나타내는 도면이다.
도 13 내지 도 15는 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 적용한 효과를 설명하기 위한 도면이다.
도 16 내지 도 19는 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 설명하기 위한 도면들이다.
도 20은 본 발명의 일 실시예에 따른 RGBW 이미지 센서를 나타내는 블록도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 RGBW 패턴 구조의 일 예를 도시하는 도면이다.
픽셀 쉬링크(Pixel shrink)에 따른 감도 문제를 해결하기 위해 종래의 R, G, B 컬러 필터 어레이(CFA, color filter array) 외에 도 1에서 도시하는 바와 같이 모든 대역의 광을 받을 수 있는 백색 CFA를 함께 사용할 수 있다.
한편, 이미지 센서는 동영상 모드 등 저전력의 고화질 영상을 얻기 위해 비닝(binning)을 진행하는데, 종래에 R, G, B 픽셀만을 사용하는 베이어(Bayer) 구조에서도 비닝을 진행하기 위한 방법들이 존재한다. 예를 들어, 코닥(Kodak)사의 pixelux 기술과 패이즈원(Phaseone)사의 기술 등이다. 그러나, 본 발명에서는 적색 픽셀, 녹색 픽셀 및 청색 픽셀 이외에도 백색 픽셀이 함께 사용되는 RGBW 이미지 센서에서의 비닝 방법, 그 방법을 수행하는 RGBW 이미지 센서를 제안하고자 한다.
도 2는 픽셀 어레이에 포함되는 단위 픽셀의 일 예를 나타내는 회로도이며, 도 3은 아날로그 도메인에서의 비닝 개념을 설명하기 위한 회로도이다. 도 2를 참조하면, 단위 픽셀은 포토 다이오드(21), 전달 트랜지스터(23), 커페시터(24), 리셋 트랜지스터(25), 센싱 트랜지스터(27), 로우 선택 트랜지스터(29)를 포함할 수 있다.
아날로그 도메인에서의 비닝이란, 동영상 등을 사용할 때 저전력 동작을 위해 도 3에서 도시하는 바와 같이 아날로그 도메인에서 전달 트랜지스터(23-1 내지 23-4)의 게이트를 모두 온(ON)하여 포토 다이오드들(TG1 내지 TG4)에 저장된 전자를 커패시터(24)에서 합쳐 소스 팔로워(source follower)에서 읽을 수 있다.
디지털 도메인에서의 비닝은 해당 픽셀을 아날로그 디지털 변환하여 읽은 후 더하는 방식으로서, 전력 소모의 측면 또는 극저조도의 조건에서의 노이즈 측면에서 불리할 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 나타내는 순서도이고, 도 5는 본 발명의 일 실시예에 따른 일정한 RGBW 패턴에서 수행되는 비닝 방법을 설명하기 위한 도면이며, 도 6은 도 5에 도시된 RGBW 패턴에 대해 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 적용하여 재배열된 결과를 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법은 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 단계(S100), 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성하는 단계(S200), 및 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계(S300)를 포함할 수 있다.
단계 S100은 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 비닝 대상 픽셀을 선택하는 방법에 대한 것으로서, 이미지 센서의 픽셀 어레이가 어떠한 배열 패턴을 갖는지에 따라 다른 선택 방법이 적용될 수 있다. 본 명세서에서는 이하 두 가지 배열 패턴(도 5 및 도 11)을 예를 들어 설명할 것이나, 그 외의 다른 배열 패턴의 경우에도 본 명세서의 청구범위에서 한정하는 바에 따라 적용 가능하며, 본 발명의 권리범위에 속한다고 볼 것이다.
단계 S200은 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성한다. 여기에서 비닝 픽셀 데이터는 픽셀 데이터들의 산술 평균 또는 합계일 수 있다.
구체적으로, 단계 S100에서 특정 색체에 대해 선택된 비닝 대상 픽셀이 둘 이상인 경우 이들 선택된 비닝 대상 픽셀들에 상응하는 픽셀 데이터들의 산술 평균을 수행하거나 합을 구하여 이를 비닝 픽셀 데이터로 삼을 수 있다. 만약 단계 S100에서 특정 색체에 대해 선택된 비닝 대상 픽셀이 하나인 경우 해당 픽셀이 갖는 픽셀 데이터를 비닝 픽셀 데이터로 삼을 수 있다.
단계 S300은 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열한다. 이에 대해 이하에서 구체적으로 설명한다.
도 5에서 도시하는 RGBW 패턴은 녹색 픽셀, 백색 픽셀, 녹색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제1 로우, 백색 픽셀, 적색 픽셀, 백색 픽셀 및 청색 픽셀이 순차적으로 배치되는 제2 로우, 녹색 픽셀, 백색 픽셀, 녹색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제3 로우, 및 백색 픽셀, 청색 픽셀, 백색 픽셀 및 적색 픽셀이 순차적으로 배치되는 제4 로우를 포함하며, 이들 다수의 로우들이 서로 인접하여 반복적이고도 순차적으로 배치되어 있다.
본 실시예에서의 비닝 방법에 대해 단계 S300을 먼저 설명하자면, 단계 S300에서는 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 재배열함에 있어서, 원래 픽셀 어레이가 갖는 배열 패턴과 모두 동일하도록 배열하거나, 적어도 일부가 서로 동일하도록 재배열하면서도, 새롭게 재배열된 픽셀들은 서로 등간격으로 배열되도록 한다.
구체적으로 예를 들면, 이미지 센서의 픽셀 어레이가 도 5에서 도시하는 바와 같이, 녹색 픽셀, 백색 픽셀, 녹색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제1 로우, 백색 픽셀, 적색 픽셀, 백색 픽셀 및 청색 픽셀이 순차적으로 배치되는 제2 로우, 녹색 픽셀, 백색 픽셀, 녹색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제3 로우, 및 백색 픽셀, 청색 픽셀, 백색 픽셀 및 적색 픽셀이 순차적으로 배치되는 제4 로우를 포함하는 배열 패턴을 갖는다면, 단계 S300에서 재배열된 패턴 역시 전부 또는 일부가 이와 동일한 배열 패턴을 갖도록 재배열한다.
도 6은 도 5에 도시된 RGBW 패턴에 대해 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 적용하여 재배열된 결과를 나타내는데, 도 6에서 재배열된 패턴을 참고하면, 첫 번째 열에서 녹색 픽셀(G2), 백색 픽셀(W1), 녹색 픽셀(G5)이 배치되고 다음 픽셀은 백색 픽셀(W36)과 적색 픽셀(Rb)이 겹쳐져 배치된 모습을 확인할 수 있다. 두 번째 열에서는 백색 픽셀(W2), 청색 픽셀(B1) 및 백색 픽셀(W3)이 배치되고 다음 픽셀이 채워질 위치(b)는 비워져 있음을 확인할 수 있다. 세 번째 열에서는 녹색 픽셀(G4), 백색 픽셀(W4), 녹색 픽셀(G7) 및 백색 픽셀(W9)이 순차적으로 배치되면서도 백색 픽셀(W4)은 적색 픽셀(Ra)과 겹쳐져 있음을 확인할 수 있다. 네 번째 열에서는 백색 픽셀(W7), 백색 픽셀(W10) 및 청색 픽셀(B3)의 순으로 배치되어 있으나, 두 번째 픽셀이 들어가는 위치(a)는 비워져 있음을 확인할 수 있다.
도 6에서 도시하는 바와 같이 재배열된 패턴은 도 5에서 도시된 원래의 픽셀 어레이와 적어도 일부를 제외하고는 동일한 패턴을 가지고 있음을 확인할 수 있다. 동일하지 않은 패턴 부분은 첫 번째와 세 번째 열에서 적색과 백색이 겹쳐진 위치와 두 번째와 네 번째 열에서 비워져 있는 위치일 뿐이며, 나머지 패턴들은 원래의 RGBW 이미지 센서의 픽셀 어레이가 갖는 배열 패턴과 동일하다.
단계 S100에서는 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택한다. 도 5 및 도 6에서 도시하는 실시예에서는 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대한 비닝 대상 픽셀은 동일 색체의 픽셀이 존재하는 가장 근접한 두 개 또는 세 개의 로우에서 선택된 네 개의 동일 색체의 픽셀이다.
구체적으로, 녹색 픽셀의 경우, 예를 들어 도 5에 도시된 g1, g2, g3 및 g4가 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행된다. 이들 네 개의 동일 색체의 픽셀들(g1, g2, g3 및 g4)의 비닝 수행 결과는 도 6에서 G2로 나타난다. 또한, 도 5에 도시된 g5, g6, g7 및 g8이 다른 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행된다. 이들 네 개의 동일 색체의 픽셀들(g5, g6, g7 및 g8)의 비닝 수행 결과는 도 6에서 G5로 나타난다. G4 및 G7에 대해서도 이와 유사하게 비닝이 이루어진다.
백색 픽셀의 경우, 예를 들어 도 5에 도시된 w1, w2, w3 및 w4가 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행된다. 이들 네 개의 동일 색체의 픽셀들(w1, w2, w3 및 w4)의 비닝 수행 결과는 도 6에서 W1으로 나타난다. 또한, 도 5에 도시된 w5, w6, w7 및 w8이 다른 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행되고, 이들 네 개의 동일 색체의 픽셀들(w5, w6, w7 및 w8)의 비닝 수행 결과는 도 6에서 W2으로 나타난다. 마찬가지로, 도 5에 도시된 w9, w10, w11 및 w12가 또 다른 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행되고, 이들 네 개의 동일 색체의 픽셀들(w9, w10, w11 및 w12)의 비닝 수행 결과는 도 6에서 W3으로 나타난다. W9, W7, W10 등에 대해서도 이와 유사하게 비닝이 이루어진다.
청색 픽셀의 경우, 예를 들어 도 5에 도시된 b1, b2, b3 및 b4가 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행된다. 이들 네 개의 동일 색체의 픽셀들(b1, b2, b3 및 b4)의 비닝 수행 결과는 도 6에서 B1으로 나타난다. B3 등에 대해서도 이와 유사하게 비닝이 이루어진다.
도 5 및 도 6에서 도시된 실시예에서는, 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계(S300)에서, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지가 재배열되는 위치는 네 개의 동일 색체의 픽셀의 무게중심 위치임을 확인할 수 있다.
다만, 도 5 및 도 6에서 도시하는 실시예에서 S300의 재배열 단계를 거친 결과는 원래의 이미지 센서의 픽셀 어레이의 배열 패턴과 완전하게 일치하지는 않는 경우가 발생할 수 있다. 이는 적색 픽셀들에 대하여, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대한 비닝 방식과 동일하게 네 개의 동일 색체의 픽셀의 무게중심 위치로 재배열 위치를 배치할 경우 그 배치되는 위치가 의도하는 바와 같이, 도 6에서 a 또는 b의 위치에 오지 않을 수 있기 때문이다. 구체적으로 설명하면 도 5에서 네 개의 적색 픽셀들(r1, r2, r3 및 r4)의 무게 중심위치는 다른 색체의 픽셀에 대한 비닝 결과 데이터를 나타내는 픽셀이 배치된 위치와 겹친다. 이상적으로는 적색 픽셀들(r1, r2, r3 및 r4)의 비닝 수행 결과 도 6의 a에 배치되는 것이 좋으나, 만약 네 개의 적색 픽셀들(r1, r2, r3 및 r4)의 무게중심 위치로 재배열하게 된다면 도 6에서 a가 아닌 W4 배치 위치와 겹칠 것이다.
그러나, 이와 같이 재배열 단계를 거친 결과가 원래의 이미지 센서의 픽셀 어레이의 배열 패턴과 완전하게 일치하지는 않는 경우가 발생한다 하더라도 본 발명의 단계 S300에서 이루어지는 재배열은 결과적으로 픽셀들이 서로 등간격이 되도록 배치되기 때문에 종래 기술이 갖는 지그재그 현상이 발생하지 않는다. 이에 대해서는 추후 도 13 내지 도 15를 통해 설명한다. 한편, 도 5에 도시된 배열 패턴을 갖는 픽셀 어레이라고 하더라도 배열 방법을 달리 하여 원래의 이미지 센서의 픽셀 어레이의 배열 패턴과 완전하게 일치하도록 할 수도 있으며, 이에 대해서는 추후 도 10을 통해 설명한다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법에서 적색 픽셀의 비닝 방법에 관한 다양한 실시예를 설명하기 위한 도면이고, 도 10은 도 9에 도시된 실시예에 따른 이미지 센서의 비닝 방법을 적용하여 재배열된 결과를 나타내는 도면이다.
단계 S100에서 비닝 대상이 되는 적색 픽셀을 선택함에 있어서 아날로그 도메인에서의 회로 구성의 난이도를 고려할 수 있다. 도 7 내지 도 9는 각 픽셀들이 서로 아날로그 도메인에서 연결되는 모습을 일반화한 도면으로서, 픽셀의 배열 패턴은 도 5에 도시된 픽셀 배열 패턴과 동일하다.
이 중에서, 도 7은 도 6에서 Ra를 생성하기 위해 적색 픽셀 r1, r2, r3 및 r4의 내 개의 픽셀이 비닝 대상 픽셀로 선택된 실시예를 도시한다. 다시 말해서, 도 5에서 r1이 위치하는 로우(row)를 상단 로우라 하고, r2와 r3가 위치하는 로우를 중간 로우, r4가 위치하는 로우를 하단 로우라고 할 때, 적색 픽셀에 대한 비닝 대상 픽셀은, 상단 로우에서 한 개, 중간 로우에서 두 개, 하단 로우에서 한 개로 선택된 네 개의 적색 픽셀(r1, r2, r3 및 r4)이 비닝 대상 픽셀로 선택된 실시예이다. 이 때, 적색 픽셀 각각에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지가 재배열되는 위치는, 이미 설명한 바와 같이 네 개의 적색 픽셀의 무게중심 위치일 수 있다.
한편, r2와 r3는 아날로그 회로의 구성 난이도를 고려하면, r1 및 r4와 함께 하나의 비닝 대상 픽셀 그룹으로 묶기가 용이하지 않을 수 있다. 따라서, 단계 S100에서 상단 로우에서 한 개, 하단 로우에서 한 개로 선택된 두 개의 적색 픽셀을 적색 픽셀에 대한 비닝 대상 픽셀로 선택할 수 있다. 예를 들어 설명하면, 도 5에 도시된 실시예의 배열 패턴에서 적색 픽셀의 비닝 대상 픽셀을 선택함에 있어서, 도 8에서 도시하는 바와 같이 적색 픽셀 r2와 r3를 제외하고, 적색 픽셀 r1과 r4만 선택하여 이 두 적색 픽셀들에 대해서만 비닝을 수행하여 Ra를 생성할 수 있다. 그리고 이 때 적색 픽셀 각각에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지(Ra)가 재배열되는 위치는 상기 두 개의 적색 픽셀의 중간 위치일 수 있다.
더 나아가, 도 9에서 도시하는 바와 같이, 상단 로우, 중간 로우 및 하단 로우 중에서 적색 픽셀에 대한 비닝 대상 픽셀로서 하단 로우에서 선택된 한 개의 적색 픽셀을 선택할 수도 있다. 이 때, 적색 픽셀에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터를 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지가 재배열되는 위치는, 적색 픽셀의 위치와 동일한 위치일 수 있다. 다시 말해, 네 개의 적색 픽셀(r1, r2, r3 및 r4)들 중에서 하단 로우에서 선택된 r4만을 비닝 대상 픽셀로 선택할 수 있고, 이 때 r4에 대한 픽셀 데이터를 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지인 Ra가 재배열되는 위치는 r4의 위치와 동일한 위치가 될 수 있다. 이렇게 되면 도 5에서 도시하는 배열 패턴을 갖는 픽셀 어레이는 도 10에서 도시하는 배열 패턴으로 재배열될 것이며, 도 10에서 도시하는 배열 패턴은 원래의 픽셀 어레이를 구성하는 배열 패턴과 완전히 동일한 배열 패턴을 가질 수 있게 된다.
정리하면, 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 단계(S100)에서, 적색 픽셀에 대한 비닝 대상 픽셀은 적색 픽셀이 존재하는 가장 근접한 세 개의 로우 중 어느 하나 이상에서 선택된 적색 픽셀일 수 있다.
도 13은 내지 도 15는 본 발명의 실시예들에 따른 이미지 센서의 비닝 방법을 적용한 효과를 설명하기 위한 도면이다. 도 13은 내지 도 15의 좌측 도면은 공통적으로 종래의 RGB 패턴에서 비닝이 수행된 결과를 도시하고, 도 13은 내지 도 15의 가운데 도면은 도 7에 도시된 실시예에 따른 비닝 수행 결과를 도시하며, 도 13은 내지 도 15의 우측 도면은 도 8에 도시된 실시예에 따른 비닝 수행 결과를 도시한다.
종래의 RGB 패턴에서 비닝이 수행된 결과에 따르면, 도 13은 내지 도 15의 좌측 도면들에 도시된 바와 같이, 지그재그 현상에 따른 노이즈 등의 원인으로 인하여 공통적으로 도 13은 내지 도 15의 가운데 도면 및 우측 도면에 비하여 화질이 떨어지는 모습을 확인할 수 있다. 한편, 도 7에서 도시하는 바와 같이 네 개의 적색 픽셀을 비닝 대상 픽셀로 선택하여 비닝을 수행한 결과와 도 8에서 도시하는 바와 같이 두 개의 적색 픽셀을 비닝 대상 픽셀로 선택하여 비닝을 수행한 결과를 비교하면 큰 차이가 없음을 도 13은 내지 도 15의 가운데 도면 및 우측 도면을 통해 확인할 수 있다.
도 11은 본 발명의 다른 일 실시예에 따른 일정한 RGBW 패턴에서 수행되는 비닝 방법을 설명하기 위한 도면이고, 도 12는 도 11에 도시된 RGBW 패턴에 대해 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 적용하여 재배열된 결과를 나타내는 도면이다.
도 11에 도시된 RGBW 배열 패턴은 도 5에 도시된 배열 패턴과 상이하다. 구체적으로, 녹색 픽셀, 백색 픽셀, 적색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제1 로우, 백색 픽셀, 녹색 픽셀, 백색 픽셀 및 적색 픽셀이 순차적으로 배치되는 제2 로우, 청색 픽셀, 백색 픽셀, 녹색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제3 로우; 및 백색 픽셀, 청색 픽셀, 백색 픽셀 및 녹색 픽셀이 순차적으로 배치되는 제4 로우가 순차적이고 또한 반복적으로 배치되어 있다.
이와 같은 실시예의 배열 패턴을 갖는 픽셀 어레이에 대해 비닝을 수행한 결과 역시 원래의 배열 패턴과 전부 또는 일부가 동일하면서도 서로 등간격이 되도록 재배열(S300)된다.
이를 위해 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계 (S300)에서, 이미지들이 재배열되는 위치는 선택된 비닝 대상 픽셀이 존재하는 위치와 동일한 위치, 비닝 대상 픽셀과 대각선 방향으로 근접한 위치 및 복수의 비닝 대상 픽셀의 무게중심 위치 중 어느 하나로 결정될 수 있다.
구체적으로, 백색 픽셀의 경우, 예를 들어 도 11에 도시된 w1, w2, w3 및 w4가 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행될 수 있다. 이들 네 개의 동일 색체의 픽셀들(w1, w2, w3 및 w4)의 비닝 수행 결과는 도 12에서 W0으로 나타난다. 또한, 도 11에 도시된 w5, w6, w7 및 w8이 다른 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행되고, 이들 네 개의 동일 색체의 픽셀들(w5, w6, w7 및 w8)의 비닝 수행 결과는 도 12에서 W39로 나타난다. 마찬가지로, 도 11에 도시된 w9, w10, w11 및 w12가 또 다른 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행되고, 이들 네 개의 동일 색체의 픽셀들(w9, w10, w11 및 w12)의 비닝 수행 결과는 도 12에서 W2으로 나타난다. W4, W5, W6, W7 등에 대해서도 이와 유사하게 비닝이 이루어진다. 본 실시예에 따른 배열 패턴에서 백색 픽셀에 대해 비닝이 수행된 이후 이미지들이 재배열되는 위치는 복수의 비닝 대상 픽셀의 무게중심 위치이다.
녹색 픽셀의 경우, 예를 들어, 도 11에 도시된 g1, g2 및 g3가 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행될 수 있다. 이들 세 개의 동일 색체의 픽셀들(g1, g2 및 g3)의 비닝 수행 결과는 도 12에서 G1으로 나타난다. 또한, 도 11에 도시된 g5, g6 및 g7이 하나의 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행되고, 이들 세 개의 동일 색체의 픽셀들(g5, g6 및 g7)의 비닝 수행 결과는 도 12에서 G7로 나타난다. G5, G4 등에 대해서도 이와 유사하게 비닝이 이루어진다. 본 실시예에 따른 배열 패턴에서 녹색 픽셀에 대해 비닝이 수행된 이후 이미지들이 재배열되는 위치는 선택된 비닝 대상 픽셀이 존재하는 위치와 동일한 위치 또는 비닝 대상 픽셀과 대각선 방향으로 근접한 위치이다.
청색 픽셀의 경우, 예를 들어, 도 11에서 도시된 b5가 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행될 수 있다. 이 픽셀 b5 의 비닝 수행 결과는 도 12에서 B1로 나타난다. 또한, 도 11에서 도시된 b6이 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행될 수 있고, 이 픽셀 b6 의 비닝 수행 결과는 도 12에서 B3으로 나타난다.
적색 픽셀의 경우에도 유사하게, 예를 들어, 도 11에서 도시된 r2가 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행될 수 있다. 이 픽셀 r2 의 비닝 수행 결과는 도 12에서 R1으로 나타난다. 또한, 도 11에서 도시된 r6이 비닝 대상 픽셀 그룹으로 선택되어 비닝이 수행될 수 있고, 이 픽셀 r6 의 비닝 수행 결과는 도 12에서 R3으로 나타난다.
본 실시예에 따른 배열 패턴에서 청색 픽셀 및 적색 픽셀에 대해 비닝이 수행된 이후 이미지들이 재배열되는 위치는 선택된 비닝 대상 픽셀과 대각선 방향으로 근접한 위치이다.
도 16 내지 도 19는 본 발명의 일 실시예에 따른 이미지 센서의 비닝 방법을 설명하기 위한 도면들이다.
먼저 도 16을 참조하면, 이미지 센서의 픽셀 어레이(30)에서 비닝 픽셀 어레이(40)를 생성할 수 있다. 픽셀 어레이(30)의 픽셀들은 RGBW 형태로 배치될 수 있다. 일 실시예에서, 이미지 센서는 픽셀 어레이(30)의 픽셀들 중 적어도 일부를 비닝 대상 픽셀들로 선택하고, 비닝 대상 픽셀들로부터 획득한 비닝 픽셀 데이터를 재배열함으로써, 비닝 픽셀 어레이(40)를 구성할 수 있다. 비닝 픽셀 어레이(40)에 포함되는 픽셀들은 일정한 패턴으로 배열될 수 있다.
이하, 도 17 내지 도 19를 참조하여 비닝 대상 픽셀들을 선택하고 비닝 픽셀 어레이(40)를 구성하는 다양한 실시예들에 대해 설명한다. 다만, 도 17 내지 도 19를 참조하여 설명하는 실시예들은 예시들일 뿐이며, 본 발명의 기본적인 내용에 기초하여 다양한 변형 실시예들이 추가로 도출될 수 있음은 물론이다.
먼저 도 17을 참조하면, 픽셀 어레이(30)에서 서로 대각선 방향으로 인접한 일부의 청색 픽셀들을 비닝 대상 픽셀들(b0, b3, b10, b14)로 선택하여 비닝 픽셀 어레이(40)의 청색 픽셀들(B0, B1)을 구성할 수 있다. 비닝 픽셀 어레이(40)에서 청색 픽셀들(B0, B1) 각각의 위치는, 청색 픽셀들(B0, B1) 각각을 구성하는 데에 이용한 비닝 대상 픽셀들(b0, b3, b10, b14)의 중간 지점일 수 있다.
도 17에 도시한 일 실시예에서, 비닝 픽셀 어레이(40)의 적색 픽셀들(R0, R1)과 녹색 픽셀들(G0-G3)은, 및 백색 픽셀들(W0-W7)은 청색 픽셀들(B0, B1)과 유사한 방법으로 구성될 수 있다. 예를 들어 적색 픽셀들(R0, R1)은, 픽셀 어레이(30)에서 서로 대각선 방향으로 인접한 일부의 적색 픽셀들을 비닝 대상 픽셀들(r1, r5, r11, r14)로 선택함으로써 결정될 수 있다.
다음으로 도 18을 참조하면, 비닝 픽셀 어레이(40)에서 청색 픽셀들(B0, B1), 적색 픽셀들(R0, R1)과 녹색 픽셀들(G0-G3)은 도 17을 참조하여 설명한 실시예와 같은 방법으로 형성될 수 있다. 다만, 도 18에 도시한 일 실시예에서, 백색 픽셀들(W0-W7)은, 백색 픽셀들(W0-W7) 각각의 위치를 기준으로 대각선 방향들에서 인접한 4개의 비닝 대상 픽셀들에 의해 생성될 수 있다.
예를 들어, 비닝 픽셀 어레이(40)의 제1 백색 픽셀(W0)은, 제1 백색 픽셀(W0)의 위치에서 대각선 방향들로 인접한 4개의 비닝 대상 픽셀들(w2, w4, w14, w16)에 의해 구성될 수 있다. 마찬가지로, 제2 백색 픽셀(W1)은, 제2 백색 픽셀(W1)의 위치에서 대각선 방향들로 인접한 4개의 비닝 대상 픽셀들(w13, w15, w25, w27)에 의해 구성될 수 있다.
도 19에 도시한 일 실시예에서, 비닝 픽셀 어레이(40)의 청색 픽셀들(B0, B1), 적색 픽셀들(R0, R1)과 녹색 픽셀들(G0-G3)은 도 17 및 도 18에 도시한 실시예들과 같은 방법으로 형성될 수 있다. 다만, 도 19에 도시한 일 실시예에서, 백색 픽셀들(W0-W7)은, 백색 픽셀들(W0-W7) 각각의 위치에 대응하는 비닝 대상 픽셀들과, 백색 픽셀들(W0-W7) 각각의 위치에서 대각선 방향들에서 인접한 4개의 비닝 대상 픽셀들에 의해 생성될 수 있다. 즉, 백색 픽셀들(W0-W7) 각각은 5개의 비닝 대상 픽셀들로부터 획득한 데이터에 의해 구성될 수 있다.
예를 들어, 비닝 픽셀 어레이(40)의 제1 백색 픽셀(W0)은, 제1 백색 픽셀(W0)의 위치에 존재하는 하나의 비닝 대상 픽셀(w5)과, 제1 백색 픽셀(W0)의 위치에서 대각선 방향들로 인접한 4개의 비닝 대상 픽셀들(w2, w4, w14, w16)에 의해 구성될 수 있다. 유사하게, 제3 백색 픽셀(W2)은 제3 백색 픽셀(W2)의 위치에 존재하는 하나의 비닝 대상 픽셀(w11)과, 제3 백색 픽셀(W2)의 위치에서 대각선 방향들로 인접한 4개의 비닝 대상 픽셀들(w8, w10, w20, w22)에 의해 구성될 수 있다.
도 20은 본 발명의 일 실시예에 따른 RGBW 이미지 센서를 나타내는 블록도이다. 본 발명의 일 실시예에 따른 RGBW 이미지 센서(10)는 비닝 대상 픽셀 선택부(100), 비닝 픽셀 데이터 생성부(200) 및 재배열부(300)를 포함할 수 있다.
비닝 대상 픽셀 선택부(100)는 일정한 배열 패턴을 갖는 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택한다.
비닝 픽셀 데이터 생성부(200)는 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성한다.
재배열부(300)는 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열한다.
비닝 대상 픽셀 선택부(100)가 수행하는 기술적 내용은 도 4 및 대응되는 설명 부분에서 단계 S100에 대응되고, 비닝 픽셀 데이터 생성부(200)가 수행하는 기술적 내용은 도 4 및 대응되는 설명 부분에서 단계 S200에 대응되며, 재배열부(300)가 수행하는 기술적 내용은 도 4 및 대응되는 설명 부분에서 단계 S300에 대응된다. 따라서, 비닝 대상 픽셀 선택부(100), 비닝 픽셀 데이터 생성부(200) 및 재배열부(300)에 대한 구체적인 기술적 설명 및 효과는 도 4 내지 도 15 및 대응되는 본 출원 명세서의 상세한 설명 부분을 참고하여 이해할 수 있으므로, 여기에서는 반복을 피하기 위해 설명을 생략하기로 한다.
한편, 본 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
또한, 본 발명의 일 실시예에 따르면, 하나 이상의 프로그램에 대한 컴퓨터 프로그램 코드를 포함하는 기록 매체로서, 기록 매체에 포함된 컴퓨터 프로그램 코드는 적어도 하나의 프로세서에 의해 도 4 및 대응되는 설명 부분에서 설명한 단계 S100 내지 단계 S300에 따른 이미지 센서의 비닝 방법을 수행하도록 구성될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: RGBW 이미지 센서
100: 비닝 대상 픽셀 선택부
200: 비닝 픽셀 데이터 생성부
300: 재배열부

Claims (10)

  1. 일정한 배열 패턴을 갖는 RGBW 이미지 센서의 픽셀 어레이에서, 상기 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 단계;
    상기 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 상기 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성하는 단계; 및
    상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계를 포함하는,
    이미지 센서의 비닝 방법.
  2. 제1항에 있어서,
    상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계에서,
    상기 픽셀들이 재배열되는 위치는 선택된 상기 비닝 대상 픽셀이 존재하는 위치와 동일한 위치, 상기 비닝 대상 픽셀과 대각선 방향으로 근접한 위치 및 복수의 상기 비닝 대상 픽셀의 무게중심 위치 중 어느 하나로 결정되는,
    이미지 센서의 비닝 방법.
  3. 제2항에 있어서,
    상기 일정한 배열 패턴은,
    녹색 픽셀, 백색 픽셀, 녹색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제1 로우;
    백색 픽셀, 적색 픽셀, 백색 픽셀 및 청색 픽셀이 순차적으로 배치되는 제2 로우;
    녹색 픽셀, 백색 픽셀, 녹색 픽셀 및 백색 픽셀이 순차적으로 배치되는 제3 로우; 및
    백색 픽셀, 청색 픽셀, 백색 픽셀 및 적색 픽셀이 순차적으로 배치되는 제4 로우가 순차적으로 배치되는 배열 패턴인,
    이미지 센서의 비닝 방법.
  4. 제3항에 있어서,
    상기 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 단계에서, 상기 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대한 비닝 대상 픽셀은 동일 색체의 픽셀이 존재하는 가장 근접한 두 개 또는 세 개의 로우에서 선택된 네 개의 동일 색체의 픽셀이고,
    상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계에서, 상기 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지가 재배열되는 위치는 상기 네 개의 동일 색체의 픽셀의 무게중심 위치인,
    이미지 센서의 비닝 방법.
  5. 제3항에 있어서,
    상기 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 단계에서, 상기 적색 픽셀에 대한 비닝 대상 픽셀은 적색 픽셀이 존재하는 가장 근접한 세 개의 로우 중 하나 이상에서 선택된 적색 픽셀인,
    이미지 센서의 비닝 방법.
  6. 제5항에 있어서,
    상기 가장 근접한 세 개의 로우를 각각 상단 로우, 중간 로우 및 하단 로우라고 할 때, 상기 적색 픽셀에 대한 비닝 대상 픽셀은,
    상기 상단 로우에서 한 개, 상기 중간 로우에서 두 개, 상기 하단 로우에서 한 개로 선택된 네 개의 적색 픽셀이고,
    상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계에서,
    상기 적색 픽셀 각각에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지가 재배열되는 위치는,
    상기 네 개의 적색 픽셀의 무게중심 위치인,
    이미지 센서의 비닝 방법.
  7. 제5항에 있어서,
    상기 가장 근접한 세 개의 로우를 각각 상단 로우, 중간 로우 및 하단 로우라고 할 때, 상기 적색 픽셀에 대한 비닝 대상 픽셀은,
    상기 상단 로우에서 한 개, 상기 하단 로우에서 한 개로 선택된 두 개의 적색 픽셀이고,
    상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계에서,
    상기 적색 픽셀 각각에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지가 재배열되는 위치는,
    상기 두 개의 적색 픽셀의 중간 위치인,
    이미지 센서의 비닝 방법.
  8. 제5항에 있어서,
    상기 가장 근접한 세 개의 로우를 각각 상단 로우, 중간 로우 및 하단 로우라고 할 때, 상기 적색 픽셀에 대한 비닝 대상 픽셀은,
    상기 하단 로우에서 선택된 한 개의 적색 픽셀이고,
    상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 단계에서,
    상기 적색 픽셀에 대한 비닝 대상 픽셀에 상응하는 픽셀 데이터를 기초로 생성된 비닝 픽셀 데이터가 나타내는 이미지가 재배열되는 위치는,
    상기 적색 픽셀의 위치와 동일한 위치인,
    이미지 센서의 비닝 방법.
  9. 일정한 배열 패턴을 갖는 픽셀 어레이를 구성하는 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀에 대해 각각 하나 이상의 비닝 대상 픽셀을 선택하는 비닝 대상 픽셀 선택부;
    상기 비닝 대상 픽셀에 상응하는 픽셀 데이터들을 기초로 상기 적색 픽셀, 녹색 픽셀, 청색 픽셀 및 백색 픽셀 각각에 대해 비닝 픽셀 데이터를 생성하는 비닝 픽셀 데이터 생성부; 및
    상기 생성된 비닝 픽셀 데이터가 나타내는 픽셀들을 상기 일정한 배열 패턴의 전부 또는 일부와 동일하면서도 서로 등간격이 되도록 재배열하는 재배열부를 포함하는,
    RGBW 이미지 센서.
  10. 하나 이상의 프로그램에 대한 컴퓨터 프로그램 코드를 포함하는 기록 매체로서,
    상기 컴퓨터 프로그램 코드는 적어도 하나의 프로세서에 의해 적어도 제1항에 따른 방법을 수행하도록 구성되는, 기록 매체.
KR1020190027615A 2019-03-11 2019-03-11 Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체 KR102680865B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190027615A KR102680865B1 (ko) 2019-03-11 Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체
US16/683,883 US11089242B2 (en) 2019-03-11 2019-11-14 RGBW image sensor, binning method in image sensor and computer readable medium for performing the method
CN202010160687.0A CN111683233B (zh) 2019-03-11 2020-03-10 Rgbw图像传感器、合并方法以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190027615A KR102680865B1 (ko) 2019-03-11 Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체

Publications (2)

Publication Number Publication Date
KR20200108953A true KR20200108953A (ko) 2020-09-22
KR102680865B1 KR102680865B1 (ko) 2024-07-04

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616921B2 (en) 2021-03-04 2023-03-28 Samsung Electronics Co., Ltd. Image sensor and operating method thereof
US11800250B2 (en) 2021-11-12 2023-10-24 Samsung Electronics Co., Ltd. Image sensor and operation method of the image sensor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616921B2 (en) 2021-03-04 2023-03-28 Samsung Electronics Co., Ltd. Image sensor and operating method thereof
US11800250B2 (en) 2021-11-12 2023-10-24 Samsung Electronics Co., Ltd. Image sensor and operation method of the image sensor

Also Published As

Publication number Publication date
US20200295096A1 (en) 2020-09-17
US11089242B2 (en) 2021-08-10
CN111683233A (zh) 2020-09-18
CN111683233B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN111683233B (zh) Rgbw图像传感器、合并方法以及计算机可读介质
KR101855609B1 (ko) 디스플레이 구동 방법과 장치, 및 샘플링 영역을 생성하기 위한 방법과 장치
TWI473074B (zh) 顯示面板的畫素與子畫素配置
CN103597821B (zh) 图像拾取设备和信号值校正方法
US20100149393A1 (en) Increasing the resolution of color sub-pixel arrays
JP3396215B2 (ja) ３原色ランプを分散配列したドットマトリクス型の表示画面にビットマップ多色画像データを表示する方法と装置
JP2007518117A5 (ko)
US9767742B2 (en) Image display device
US20090102768A1 (en) Imaging device and display apparatus
KR101921811B1 (ko) 디스플레이 구동 방법 및 디스플레이 구동 장치
US20140139709A1 (en) Image processing device and method, recording medium, and imaging device
JP2003108999A5 (ko)
JP2008064771A (ja) 表示パネルの駆動装置、それを備えた表示装置及び表示パネルの駆動方法、並びにプログラム、記録媒体
US20190318678A1 (en) Translating color selector layer for display resolution enhancement
WO2016127571A1 (zh) 显示基板及其驱动方法和显示装置
US11282448B2 (en) Display device and display panel thereof, OLED array substrate
WO2016127574A1 (zh) 显示基板及其驱动方法以及显示装置
JP2020518022A (ja) 表示パネルの駆動方法及び駆動装置
US8952999B2 (en) Image processing device, display device, and image processing method
KR102680865B1 (ko) Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체
TWI500008B (zh) 畫素陣列
CN103380623B (zh) 彩色图像拾取元件
JP4119566B2 (ja) カラー撮像素子及びカラー撮像装置
JP7371129B2 (ja) カラーフィルタアレイ装置
JP5335566B2 (ja) 高精細映像信号処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right