KR20210114313A - 이미지 비닝 방법 및 그 이미지 센싱 장치 - Google Patents

이미지 비닝 방법 및 그 이미지 센싱 장치 Download PDF

Info

Publication number
KR20210114313A
KR20210114313A KR1020200097290A KR20200097290A KR20210114313A KR 20210114313 A KR20210114313 A KR 20210114313A KR 1020200097290 A KR1020200097290 A KR 1020200097290A KR 20200097290 A KR20200097290 A KR 20200097290A KR 20210114313 A KR20210114313 A KR 20210114313A
Authority
KR
South Korea
Prior art keywords
image
binning
kernel
sub
pixel
Prior art date
Application number
KR1020200097290A
Other languages
English (en)
Inventor
강희
장찬영
최우석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/130,997 priority Critical patent/US11350045B2/en
Priority to CN202110252889.2A priority patent/CN113382214A/zh
Priority to TW110108247A priority patent/TWI859427B/zh
Publication of KR20210114313A publication Critical patent/KR20210114313A/ko
Priority to US17/828,009 priority patent/US11700460B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/347—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

이미지 센싱 장치는 이미지 센서 및 디지털 신호 프로세싱 유닛을 포함하고, 이미지 센서는 베이어 패턴의 로우이미지를 출력하는 픽셀 어레이 및 로우 이미지의 Gr 픽셀, R 픽셀, B 픽셀 및 Gb 픽셀에 각각 상응하는 복수의 서브 커널 내에서, 같은 열에 속한 동일 컬러 픽셀끼리 아날로그 비닝하여 각 컬러의 중간값을 출력하는 아날로그 엔드를 포함하고, 디지털 신호 프로세싱 유닛은 복수의 서브 커널 각각 내에서, 서로 다른 열에 속한 각 컬러의 중간값들에 대하여 디지털 비닝하여 비닝 이미지를 출력할 수 있다.

Description

이미지 비닝 방법 및 그 이미지 센싱 장치 {IMAGE BINNING METHOD, IMAGE SENSING APPRATUS THEREOF}
본 발명은 이미지 센싱 장치에서의 이미지 비닝 방법에 대한 것이다.
이미지 센싱 장치는 스마트폰, 태블릿, 디지털 카메라 등과 같은 모바일 장치 또는 다양한 전자 장치들에서 사용될 수 있다. 이미지 센싱 장치는 미세한 화소(pixel)가 2차원적으로 집적된 형태로 구성되고 입사된 빛의 밝기에 상응하는 전기신호를 디지털 신호로 변화하여 출력한다. 여기서, 이미지 센싱 장치는 베이어(Bayer)패턴으로 구성될 수 있고, 베이어 패턴으로 입사된 빛의 밝기에 상응하는 베이어 이미지 데이터(Bayer Image data)를 제공한다.
한편, 기술의 발달로 인하여 이미지 센싱 장치 내의 픽셀의 개수, 즉 해상도가 높아지고 있는데, 증가하는 픽셀 해상도는 처리해야 할 데이터 양을 증가시킬 수 있다. 이에 따라, 이미지 센싱 장치는 비닝(binning)을 수행한다. 비닝 동작은 이미지 센싱 장치의 모든 픽셀의 정보를 이용하여 이미지를 만드는 것이 아니라, 인접한 픽셀들의 정보를 취합하여 하나의 정보로 만든 다음 그 취합된 정보를 이용하여 처리해야 할 대상 이미지를 만드는 동작을 포함한다.
본 발명이 해결하고자 하는 기술적 과제는, 지그재그 형태의 노이즈가 감소되고 거짓 색상(false color) 결함이 완화되어 이미지 퀄리티가 향상된 비닝 이미지(Binned Image)를 출력하는 이미지 비닝 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 지그재그 형태의 노이즈가 감소되고 거짓 색상(false color) 결함이 완화되어 이미지 퀄리티가 향상된 비닝 이미지(Binned Image)를 출력하는 이미지 센싱 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위하여 몇몇 실시예에 따른 이미지 센싱 장치는 이미지 센서 및 디지털 신호 프로세싱 유닛을 포함하고, 이미지 센서는 베이어 패턴의 로우이미지를 출력하는 픽셀 어레이 및 로우 이미지의 Gr 픽셀, R 픽셀, B 픽셀 및 Gb 픽셀에 각각 상응하는 복수의 서브 커널 내에서, 같은 열에 속한 동일 컬러 픽셀끼리 아날로그 비닝하여 각 컬러의 중간값을 출력하는 아날로그 엔드를 포함하고, 디지털 신호 프로세싱 유닛은 복수의 서브 커널 각각 내에서, 서로 다른 열에 속한 각 컬러의 중간값들에 대하여 디지털 비닝하여 비닝 이미지를 출력할 수 있다.
상술한 기술적 과제를 해결하기 위하여 몇몇 실시예에 따른 이미지 센싱 장치의 이미지 비닝 방법은 픽셀 어레이로부터 베이어 패턴의 로우 이미지를 수신하는 단계, 로우 이미지를 컬러별로 비대칭인 단위 커널로 아날로그 비닝하여 커널별로 중간값을 출력하는 단계, 적어도 하나의 중간값에 대해 디지털 비닝하여 비닝 이미지를 출력하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여 몇몇 실시예에 따른 이미지 센싱 장치는 이미지 센서 및 디지털 신호 프로세싱 유닛을 포함하고, 이미지 센서는 베이어 패턴의 로우이미지를 출력하는 픽셀 어레이 및 픽셀 어레이에 연결되어, 로우 이미지의 정방형의 단위 커널 단위로 각 컬러 별로 대각선 방향으로 배치된 제1 픽셀 및 제2 픽셀로부터의 출력을 아날로그 비닝하여 해당 컬러의 중간값을 산출하는 아날로그 엔드를 포함하고, 디지털 신호 프로세싱 유닛은 단위 커널 내에서, 해당 컬러의 코너에 배치된 제3픽셀과 해당 컬러의 중간값을 각각 디지털 비닝하여 비닝값을 산출함으로써 비닝 이미지를 생성할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예에 따른 이미지 센싱 장치를 나타낸 도면이다.
도 2는 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 로우 베이어 이미지이다.
도 3은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 비닝 베이어 이미지이다.
도 4a 및 도 4b는 몇몇 실시예에 따른 이미지 센서를 도시한 것이다.
도 5는 도 4a에 도시한 픽셀 어레이의 회로도이다.
도 6은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하는 흐름도이다.
도 7은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 로우 베이어 이미지이다.
도 8은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 비닝 베이어 이미지이다.
도 9는 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 도면이다.
도 10은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하는 흐름도이다.
도 11은 몇몇 실시예에 따른 이미지 센서를 도시한 것이다. 도 12는 도 4에 도시한 픽셀 어레이의 회로도이다.
도 13 및 도 14는 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 이미지 센서를 도시한 것이다.
도 15 및 도 16은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 베이어 이미지이다.
도 17은 도 1에 도시된 이미지 센싱 장치를 나타낸 도면이다.
도 18은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 19는 도 18의 카메라 모듈의 상세 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 설명하도록 한다.
상세한 설명에서 사용되는 "부(unit)", "모듈(module)" 등과 같은 용어들 또는 도면에 도시된 기능 블록들은 특정 기능을 수행하도록 구성된 하드웨어, 소프트웨어, 또는 그것의 조합의 형태로 구현될 수 있다.
도 1은 본 발명의 몇몇 실시예에 따른 이미지 센싱 장치를 나타낸 도면이다.
도 1을 참조하면, 몇몇 실시예에 따라 이미지 센싱 장치는 디스플레이 유닛(300), DSP(150) 및 이미지 센서(200)를 포함할 수 있다.
이미지 센서(200)는 픽셀 어레이(pixel array; 210), 로우 드라이버(row driver; 220), 상관 이중 샘플링(correlated double sampling(CDS)) 블록(230), 아날로그 디지털 컨버터(analog digital converter(ADC); 240), 램프 신호 발생기(ramp generator; 260), 타이밍 제너레이터(timing generator; 270), 제어 레지스터 블록(control register block; 280), 및 버퍼(buffer; 290)를 포함한다.
이미지 센서(200)는 디지털 신호 프로세서(digital signal processor(DSP); 150)의 제어에 따라 렌즈(500)를 통해 촬영된 물체(400)를 센싱하고, DSP(150)는 이미지 센서(200)에 의해 센싱되어 출력된 이미지를 디스플레이 유닛(300)으로 출력할 수 있다.
몇몇 실시예에 따라 이미지 센서(200)는 픽셀 어레이(210)로부터 로우 이미지를 수신하고 ADC(240) 및 버퍼(290)를 통해 아날로그 비닝을 수행하여, 비닝된 이미지를 디스플레이 DSP(150)로 출력할 수 있다.
디스플레이 유닛(300)은 이미지를 출력 또는 디스플레이할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 유닛(300)은 컴퓨터, 이동 통신 장치, 및 기타 영상 출력 단말을 의미할 수 있다.
DSP(150)는 카메라 컨트롤(110), 이미지 신호 프로세서(image signal processor(ISP); 100) 및 인터페이스(interface(I/F); 120)를 포함한다.
카메라 컨트롤(110)은 제어 레지스터 블록(280)의 동작을 제어한다. 카메라 컨트롤(110)은 I2C(inter-integrated circuit)를 이용하여 이미지 센서(200), 즉, 제어 레지스터 블록(280)의 동작을 제어할 수 있으나, 본 발명의 기술적 사상이 이에 한정되는 것은 아니다.
ISP(100)는 버퍼(290)로부터 출력된 이미지 데이터를 수신하고 수신된 이미지 데이터를 사람이 보기 좋도록 가공 또는 처리하고 가공 또는 처리된 이미지 데이터를 I/F(120)를 통해 디스플레이 유닛(300)으로 출력한다.
몇몇 실시예에 따라 ISP(100)는 이미지 센서(200)에서 출력된 이미지에 대해 디지털 비닝을 수행할 수 있다. ISP(100)는 디지털 비닝된 이미지를 최종 비닝이미지로서 디스플레이 유닛(300)으로 출력할 수 있다. 이때 이미지 센서(200)에서 출력된 이미지는 몇몇 실시예에 따라 픽셀 어레이로부터의 로우 이미지일 수도 있고, 몇몇 실시예에 따라 아날로그 비닝된 이미지일 수도 있다.
ISP(100)는 도 1의 실시예에서는 DSP(150) 내부에 위치하는 것으로 도시하였으나, 다른 실시 예에 따라 ISP(100)는 이미지 센서(200) 내부에 위치할 수도 있다. 또다른 실시 예에 따라 이미지 센서(200)와 ISP(100)는 하나의 패키지, 예컨대 MCP(multi-chip package)로 구현될 수 있다.
픽셀 어레이(210)는 다수의 광 감지 소자, 예컨대 포토(photo) 다이오드 또는 핀드 포토 다이오드(pinned photo diode)로 구현될 수 있다. 픽셀 어레이(210)로부터 CDS 블록(230), ADC(240)을 통해 출력되는 로우 이미지 데이터(Raw Image Data)는 베이어(Bayer)포맷으로 구성된 베이어 이미지 데이터(Bayer Image data)일 수 있다.
베이어 이미지 데이터는 ISP(100)에서 RGB 포맷 데이터(레드, 그린, 블루 포맷의 데이터)로 프로세싱되어 디스플레이 유닛(300)으로 출력된다.
본 명세서에서, 픽셀 또는 픽셀 값은 베이어 컬러 필터를 구성하는 픽셀 엘리먼트(element)들을 통해 광 신호로부터 출력 또는 획득되는 정보 또는 값을 의미할 수 있다. 이하 로우(Raw) 이미지는 이미지 신호 처리를 하고자 하는 단위 원본(Raw) 픽셀에 따른 이미지로서, 이미지 센서에서 센싱된 픽셀값들을 의미할 수 있다. 이하 비닝(Binning or Binned) 이미지는 로우 이미지를 소정의 방법으로 처리(Processing)하여 생성되는 후처리 이미지를 의미할 수 있다.
이하의 설명에서 로우 이미지(Raw Image)는 Gr 픽셀과 R 픽셀이 순차적으로 배치된 행과 Gb 픽셀과 B 픽셀이 순차적으로 배치된 행이 교대로 배치된 베이어 패턴을 갖는다(도 2 이하 참고). 본 명세서에서 R은 레드 픽셀, B는 블루 픽셀, Gr, Gb 픽셀은 그린(Green) 픽셀을 의미하고, 레드 픽셀이 있는 행에 속한 그린 픽셀은 Gr, 블루 픽셀이 있는 행에 속한 그린 픽셀은 Gb로 표시한다.
비닝 이미지는 다운스케일링된 이미지로서, 비닝된 픽셀 각각은 R' 픽셀, G'(Gr', Grb') 픽셀, B' 픽셀로 표시한다. 비닝 이미지도 Gr' 픽셀과 R' 픽셀이 순차적으로 배치된 행과 Gb' 픽셀과 B' 픽셀이 순차적으로 배치된 행이 교대로 배치된 베이어 패턴을 갖는다.
도 2는 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 로우 베이어 이미지이다. 도 3은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 비닝 베이어 이미지이다.
몇몇 실시예에 따른 이미지 비닝 방법은 (4n+4)x(4n+4) 커널 단위로 수행될 수 있다. 도 2 및 도 3에 도시된 이미지는 n=1인 경우, 즉 커널이 8x8인 경우의 예를 설명한 것이다.
도 2를 참고하면, 로우 이미지는 앞서 설명한대로, Gr 픽셀과 R 픽셀이 순차적으로 배치된 행과 B 픽셀과 Gb 픽셀이 순차적으로 배치된 행이 교대로 배치된 베이어 패턴의 이미지를 갖는다.
몇몇 실시예에 따른 이미지 비닝은 서브 커널을 포함하는 커널(kernel) 단위로 동작할 수 있다. 도시된 예는 커널 사이즈가 8x8 어레이인 경우(K)를 예로 들어 설명하나 다른 사이즈의 로우 이미지에 대해서도 적용가능하다 할 것이다.
커널(K)은 각 컬러별로 이미지 비닝을 위한 복수의 서브 커널(K1 ~ K4)을 포함할 수 있고, 각 서브 커널 간에는 비대칭 패턴으로 배치될 수 있다. 비대칭 패턴이란 같은 행에 속하는 Gr 서브 커널(K1)과 R 서브 커널(K2)이 서로 비대칭이고, 같은 행에 속하는 B 서브 커널(K3)과 Gb 서브 커널(K2)이 서로 비대칭인 것을 의미할 수 있다. 또한 비대칭 패턴은 같은 열에 속하는 Gr 서브 커널(K1)과 B 서브 커널(K3)이 서로 비대칭이고, 같은 열에 속하는 R 서브 커널(K2)과 Gb 서브 커널(K4)이 서로 비대칭인 것을 의미할 수 있다.
이미지 센싱 장치(1)는 서브 커널마다 각각 컬러 별로 로우 이미지를 비닝하여 비닝 이미지를 생성할 수 있다. 즉, 서브 커널 K1에서는 Gr 픽셀이 비닝되고, 서브 커널 K2에서는 R 픽셀이 비닝되고, 서브 커널 K3에서는 B 픽셀이 비닝되고, 서브 커널 K4에서는 Gb 픽셀이 비닝된다.
도 2 및 도 3을 참고하여, 보다 구체적으로 설명하면, 각각의 서브 커널 K1 내지 K4에서는 수학식 1에 따라 로우 이미지에서 6개의 Gr 픽셀, 4개의 R 픽셀, 9개의 B 픽셀, 6개의 Gb 픽셀을 각각 비닝되고, 각 서브 커널에서 비닝 이미지의 Gr' 픽셀, R' 픽셀, B' 픽셀 및 Gb' 픽셀이 생성된다.
<수학식 1>
Gr' = (Gr1+Gr2+Gr3+Gr4+Gr5+Gr6)/6
R ' = (R1+R2+R3+R4)/4
B ' = (B1+B2+B3+B4+B5+B6+B7+B8+B9)/9
Gb' = (Gb1+Gb2+Gb3+Gb4+Gb5+Gb6)/6
비닝 이미지의 각 픽셀은 각 서브 커널의 무게중심에 해당하는 위치에 생성된다. 도 3에서 좌측상단의 좌표를 (0,0)이라고 가정할 때, 서브 커널 K1의 중심좌표인 (2,1)에 Gr' 픽셀이 생성되고, 서브 커널 K2의 중심좌표인 (6,1)에 R' 픽셀이 생성되고, 서브 커널 K3의 중심좌표인 (2,5)에 B' 픽셀이 생성되고, 서브 커널 K4의 중심좌표인 (6,5)에 Gb' 픽셀이 생성된다.
비닝 이미지는 Gr' 픽셀, R' 픽셀, B' 픽셀 및 Gb' 픽셀 간의 간격(즉 Gr' 픽셀 -R' 픽셀 간의 거리, B' 픽셀 - Gb' 픽셀 간의 거리, Gr' 픽셀 - B' 픽셀 간의 거리, R' 픽셀 - Gb' 픽셀 간의 거리)가 서로 동일할 수 있다.
즉, 복수의 서브 커널(K1 ~ K4)는 컬러 채널에 따라 비닝 동작에 사용되는 입력 픽셀의 개수를 불균등하게 함으로써, 비닝 이미지의 픽셀 간 간격을 비닝 전 로우 이미지의 픽셀 간 간격과 동일한 비율로 유지시킬 수 있다. 이에 따라 비닝 이미지는 거짓 색상 결함과 앨리어싱(aliasing)에도 강할 수 있다.
도 2 및 도 3에 도시된 이미지 비닝은 몇몇 실시예에 따라 ISP(100)에서 수행될 수 있다. 또는 몇몇 실시예에 따라 비닝이미지의 Gr'픽셀, R'픽셀, B'픽셀 및 Gb'픽셀 각각은 도 3 내지 도 6에서 설명한 바와 같이, 같은 열에 속한 로우 픽셀들에 대해서는 아날로그 비닝하고, 아날로그 비닝으로 산출된 서로 다른 열에 속한 중간값들에 대해서는 디지털 비닝으로 합산 평균을 하여 출력할 수도 있다. 아날로그 비닝은 픽셀 어레이(210)의 출력단, CDS(230), ADC(240) 및 버퍼(290)에서 수행될 수 있다.
본 명세서에서 아날로그 비닝이 수행되는 픽셀 어레이(210)의 출력단(230,240,290)을 이하 아날로그 엔드라고 지칭하기로 한다. 디지털 비닝은 ISP(100)에서 버퍼(290)에 저장된 중간값들을 합산하고 평균을 산출하여 입출력회로(120)로 비닝된 픽셀값을 출력할 수 있다.
도 4a 및 도 4b는 몇몇 실시예에 따른 이미지 센서를 도시한 것이다. 도 5는 도 4a에 도시한 픽셀 어레이의 회로도이다. 도 6은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하는 흐름도이다.
도 2의 서브 커널 K1는 도 4의 픽셀 어레이와 같이 구현될 수 있다. 픽셀 어레이 각각의 열마다 대응되는 ADC(240) 및 전류 소스가 연결될 수 있다.
서브 커널 K1은 몇몇 실시예에 따라 복수의 픽셀 어레이 중 일부 영역에 해당할 수 있다. 도시된 예에서 5개의 열과 3개의 행에 속하는 일부 영역, 즉 15개의 픽셀을 포함하였으나, 이는 설명을 위한 것일 뿐 실시예에 따라 서브 커널은 다양하게 구현될 수 있다.
도 4a 및 도 4b의 픽셀 어레이는 몇몇 실시예에 따라 4개의 픽셀, 즉 Gr, R, B, Gb 픽셀을 단위 유닛을 복수 개 포함한다. 도 5에 도시된 예는 하나의 픽셀이 하나의 포토 다이오드, 전송 트랜지스터, 리셋 트랜지스터, 선택 트랜지스터 및 드라이브 트랜지스터를 포함하는 경우를 도시한 것이다. 선택 트랜지스터의 게이트에는 행 방향의 선택신호 Sel이 인가되고 선택 트랜지스터의 드레인에는 열 방향의 선택신호 Col이 인가된다. 몇몇 실시예에 따라 ,도 4a와 같이 픽셀 어레이의 각 열(col)은 각각 별개의 아날로그 디지털 컨버터 및 전류소스와 연결될 수 있다. 또는 몇몇 실시예에 따라, 도 4b와 같이 픽셀 어레이의 각 열은 스위치를 통해 공통된 아날로그 디지털 컨버터 및 전류소스와 연결될 수도 있다. 일 예로 공통된 아날로그 디지털 컨버터 및 전류소스는 베이어 패턴 배열에 따라 스위칭되어 동일한 컬러의 픽셀끼리는 공통되도록 연결될 수 있다. 다른 예로 공통된 아날로그 디지털 컨버터 및 전류소스는 픽셀 비닝을 위해 스위칭되어 단위 유닛 단위로 공통되도록 연결될 수도 있다.
한편, 각 픽셀은 몇몇 실시예에 따라 도 5와 같이 4개의 트랜지스터, 적어도 하나의 포토다이오드를 포함할 수도 있고, 몇몇 실시예에 따라 3개의 트랜지스터, 적어도 하나의 포토 다이오드를 포함할 수도 있고 또는 몇몇 실시예에 따라 5개의 트랜지스터, 적어도 하나의 포토 다이오드를 포함할 수도 있다. 도 5의 픽셀 어레이는, 하나의 픽셀당 4개의 트랜지스터 및 하나의 포토다이오드, 그리고 각 열마다 별개로 연결된 아날로그 디지털 컨버터 및 전류소스를 도시하였으나, 다른 실시예에 따라 도 4b와 같이 하나의 픽셀당 4개의 트랜지스터 및 하나의 포토다이오드, 그리고 적어도 2개의 열에 공통된 아날로그 디지털 컨버터 및 전류소스로 연결될 수도 있다.
이미지 센싱 장치(1)는 커널 단위로 이미지 비닝을 수행한다. 몇몇 실시예에 따라 도 4a 및 도 6과 같이, 로우 이미지가 입력되면(S10), 각 컬러 픽셀은 서브 커널 단위로 이미지 비닝을 수행한다. 구체적으로는, 같은 열(Column)에 속한 픽셀들 간에 아날로그 비닝을 먼저 수행하여 중간값을 산출하고(S20), 해당 서브 커널 내 다른 열들 각각의 중간값은 디지털 비닝을 수행하여 합산하여(S30), 비닝 이미지의 각 픽셀값으로 출력한다(S40).
또는, 몇몇 실시예에 따라 도 4b 및 도 6과 같이 로우 이미지가 입력되면(S10), 각 컬러 픽셀은 서브 커널 단위로 이미지 비닝을 수행한다. 구체적으로는, 동일 컬러 픽셀이 속한 서로 다른 적어도 두개의 열에 공통으로 연결된 아날로그 디지털 컨버터 및 전류 소스를 통해 같은행의 서로 다른 열에 속한 픽셀들 간에 아날로그 비닝을 먼저 수행하여 중간값을 산출한다. 그리고, 상기 적어도 두개의 열 중 어느 하나와 같은 열에 속하면서 다른 행에 속한 동일 컬러의 픽셀과 상기 중간값에 대해 디지털 비닝을 수행하여 합산하여(S30), 비닝 이미지의 각 픽셀값으로 출력한다(S40).
이미지 센싱 장치(1)는 서브 커널 K1에서 6개의 Gr 픽셀을 이용하여 비닝 이미지의 Gr' 픽셀을 생성한다. 이미지 센싱 장치(1)는 하나의 유닛(unit)마다 유닛 내 동일한 위치에 배치된 하나의 컬러 픽셀을 선택할 수 있다. 도시된 예로 설명하면, 하나의 유닛은 2x2 어레이로, (0,0), (1,0), (0,1), (1,1)을 포함할 수 있고, (0,0)의 Gr픽셀이 선택된다. 마찬가지로 (2,0), (2,1), (3,0), (3,1) 유닛에서는 (2,0)의 Gr픽셀이 선택된다.
이미지 센싱 장치(1)는 유닛마다 하나의 픽셀을 선택하는 방식으로, Sel[0], Sel[2]와 Col[0], Col[2], Col[4]를 턴온하여 (0,0), (0,2), (2.0), (2,2), (4,0), (4,2)의 위치에 해당하는 Gr1, Gr2, Gr3, Gr4, Gr5 및 Gr6 픽셀을 활성화할 수 있다.
이미지 센싱 장치(1)는 수학식 1에 따른 Gr' 픽셀값을 구하기 위해 ADC 및 전류 소스를 포함하는 아날로그 단(analog end)에서 (0,0) 및 (0,2), (2,0) 및 (2,2), (4,0) 및 (4,2)를 각각 더한 3개의 Gr 중간값(Gr1+Gr4, Gr2+Gr5, Gr3+Gr6)을 출력하고, 디지털 단(Digital End)에서 3개의 Gr 중간값을 모두 더한 후 입력 픽셀의 개수(실시예의 경우 6개)로 나누어 Gr' 픽셀값을 출력한다.
이미지 센싱 장치(1)는 도시하지는 않았으나 같은 방법으로 서브 커널 K2, K3, K4에서 각각 R' 픽셀값, B' 픽셀값 및 Gb' 픽셀값을 구할 수 있다. 즉, 이미지 센싱 장치(1)는 수학식 1에 따른 R' 픽셀값을 구하기 위해 ADC 및 전류 소스를 포함하는 아날로그 단(analog end)에서 (5,0) 및 (5,2), (7,0) 및 (7,2)를 각각 더한 2개의 R 중간값(R1+R3, R2+R4)을 출력하고, 디지털 단(Digital End)에서 2개의 R 중간값을 모두 더한 후 입력 픽셀의 개수(실시예의 경우 4개)로 나누어 R' 픽셀값을 출력한다.
이미지 센싱 장치(1)는 수학식 1에 따른 B' 픽셀값을 구하기 위해 아날로그 단(analog end)에서 (0,3),(0,5),(0,7)과, (2,3),(2,5),(2,7)와 (4,3),(4,5),(4,7)를 각각 더한 3개의 B 중간값(B1+B4+B7, B2+B5+B8, B3+B6+B9)을 출력하고, 디지털 단(Digital End)에서 3개의 R 중간값을 모두 더한 후 입력 픽셀의 개수(실시예의 경우 9개)로 나누어 B' 픽셀값을 출력한다.
이미지 센싱 장치(1)는 수학식 1에 따른 Gb' 픽셀값을 구하기 위해 아날로그 단(analog end)에서 (5,3),(5,5),(5,7)과, (7,3),(7,5),(7,7)를 각각 더한 2개의 Gb 중간값(Gb1+Gb3+Gb5, Gb2+Gb4+Gb6)을 출력하고, 디지털 단(Digital End)에서 2개의 Gb 중간값을 모두 더한 후 입력 픽셀의 개수(실시예의 경우 6개)로 나누어 Gb' 픽셀값을 출력한다.
도 7은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 로우 베이어 이미지이다. 도 8은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 비닝 베이어 이미지이다.
몇몇 실시예에 따른 이미지 비닝 방법은 (4n+4)x(4n+4) 커널 단위로 수행될 수 있다. 도 7 및 도 8의 실시예는 n=2인 경우로 커널이 12 x 12 단위로 이미지 비닝하는 경우를 도시한 것이다.
커널(K)이 12x12 인 경우, 서브 커널 K1은 7x5, 서브 커널 K2는 5X5, 서브 커널 K3는 7x7, 서브 커널 K4는 5x7의 어레이로 나뉠 수 있다.
즉 가로 또는 세로방향으로 인접한 서브 커널은 수학식 2와 같은 관계가 성립할 수 있다.
<수학식 2>
L = M +N (M과 N은 서로 가장 가까운 홀수)
수학식 2에서 L, M, N은 자연수로서, L은 커널 K의 제1방향 길이이고, M은 제1 서브 커널의 제1방향 길이, N은 제2 서브 커널의 제1 방향 길이이다.
도시된 예에서 커널이 12 x 12인 경우, 수학식 2에 따라 가장 가까운 홀수 관계이면서 합이 12가 성립하는 5, 7로 서브 커널이 나뉘어질 수 있다. 도시된 예의 경우 가로로 7pixel, 5pixel, 세로로 5pixel, 7pixel로 나누어 서브 커널을 도시하였지만, 다른 실시예에 따라 가로로 5pixel, 7pixel, 세로로 7pixel, 5pixel로 나누어 서브 커널을 구분할 수도 있다. 다만, Gr픽셀과 Gb픽셀은 서브 커널 K1, 서브 커널 K4와 같이 가로길이와 세로길이가 다른 서브 커널에서 비닝된다.
도 7 및 도 8을 참고하면, 비닝이미지는 서브 커널 K1의 (3,2), 서브 커널 K2의 (9,2), 서브 커널 K3의 (3,8), 서브 커널 K4의 (9,8)에 각각 Gr'픽셀, R'픽셀, B'픽셀 및 Gb'픽셀이 배치될 수 있다.
몇몇 실시예에 따라 비닝 이미지의 Gr'픽셀, R'픽셀, B'픽셀 및 Gb'픽셀 각각은 이미지 센싱 장치(1) 내 ISP(100)에서 비닝되어 출력될 수 있다. 또는 몇몇 실시예에 따라 비닝이미지의 Gr'픽셀, R'픽셀, B'픽셀 및 Gb'픽셀 각각은 도 3 내지 도 6에서 설명한 바와 같이, 같은 열에 속한 로우 픽셀들에 대해서는 아날로그 비닝하고, 아날로그 비닝으로 산출된 서로 다른 열에 속한 중간값들에 대해서는 디지털 비닝으로 합산 평균을 하여 출력할 수도 있다. 아날로그 비닝은 픽셀 어레이(200)의 출력단에서 수행되어 버퍼(290)에 중간값을 저장할 수 있다. 디지털 비닝은 ISP(100)에서 버퍼(290)에 저장된 중간값들을 합산하고 평균을 산출하여 입출력회로(120)로 비닝된 픽셀값을 출력할 수 있다.
그 결과 비닝 이미지의 Gr'픽셀, R'픽셀, B'픽셀 및 Gb'픽셀은 각 픽셀의 위치들이 서로 가로 세로로 같은 축 상에 위치하고, 각 서브 커널 상에서 무게중심에 해당하는 좌표에 배치되어 지그 재그 결함(zagging artifact)이 발생하지 않을 수 있고, 거짓 색상 결함에서도 강인할 수 있다.
도 9는 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 도면이다. 도 10은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하는 흐름도이다.
도 9에서 4x4인 단위 커널의 경우를 예로 들어 설명하나, 본 발명은 다양한 실시예에 따라 다른 커널 사이즈에도 적용될 수 있다.
도 9의 4x4 단위 커널 로우 이미지 (a)에서, 먼저 제1 대각선 방향에 있는 Gr 픽셀(2,0)과 Gr 픽셀(0,2)에 대해 제1 비닝이 수행된다. 제1 비닝된 Gr중간값은 A1 위치, 즉 (1,1)에 배치된다. 4x4 단위 커널 중간 이미지 (b)에서, Gr중간값(1,1)과 Gr픽셀(0,0)에 대해 제2 비닝이 수행된다. Gr픽셀(0,0)은 Gr중간값(1,1)과 제2 대각선 방향으로 배치된 Gr픽셀로서, 제2 대각선방향은 제1 대각선방향과 서로 직교하며 교차되는 방향이다. 즉, A1 - A2 방향이다. 4x4 단위 커널 비닝 이미지 (c)에서, 제2 비닝된 Gr' 픽셀은 A1위치와 A2위치의 중간지점에 배치된다(그림의 동그라미 A영역).
마찬가지로, 도 9의 4x4 단위 커널 로우 이미지 (a)에서, 먼저 제1 대각선 방향에 있는 R 픽셀(1,0)과 R 픽셀(3,2)에 대해 제1 비닝이 수행된다. 제1 비닝된 R 중간값은 B1 위치, 즉 (2,1)에 배치된다. 4x4 단위 커널 중간 이미지 (b)에서, R 중간값(2,1)과 R 픽셀(3,0)에 대해 제2 비닝이 수행된다. R픽셀(3,0)은 R 중간값(2,1)과 제2 대각선 방향으로 배치된 R 픽셀로서, 제2 대각선방향은 제1 대각선방향과 서로 직교하며 교차되는 방향이다. 즉, B1 - B2 방향이다. 4x4 단위 커널 비닝 이미지 (c)에서, 제2 비닝된 R 픽셀은 B1위치와 B2위치의 중간지점에 배치된다(그림의 동그라미 B영역).
또한, 도 9의 4x4 단위 커널 로우 이미지 (a)에서, 먼저 제1 대각선 방향에 있는 B 픽셀(0,1)과 B 픽셀(2,3)에 대해 제1 비닝이 수행된다. 제1 비닝된 B 중간값은 C1 위치, 즉 (1,2)에 배치된다. 4x4 단위 커널 중간 이미지 (b)에서, B 중간값(1,2)과 B픽셀(0,3)에 대해 제2 비닝이 수행된다. B픽셀(0,3)은 B중간값(1,2)과 제2 대각선 방향으로 배치된 B픽셀로서, 제2 대각선방향은 제1 대각선방향과 서로 직교하며 교차되는 방향이다. 즉, C1 - C2 방향이다. 4x4 단위 커널 비닝 이미지 (c)에서, 제2 비닝된 B픽셀은 C1위치와 C2위치의 중간지점에 배치된다(그림의 동그라미 C영역).
도 9의 4x4 단위 커널 로우 이미지 (a)에서, 먼저 제1 대각선 방향에 있는 Gb 픽셀(1,3)과 Gb 픽셀(3,1)에 대해 제1 비닝이 수행된다. 제1 비닝된 Gb중간값은 D1 위치, 즉 (2,2)에 배치된다. 4x4 단위 커널 중간 이미지 (b)에서, Gb중간값(2,2)과 Gb픽셀(3,3)에 대해 제2 비닝이 수행된다. Gb픽셀(3,3)은 Gb중간값(2,2)과 제2 대각선 방향으로 배치된 Gb픽셀로서, 제2 대각선방향은 제1 대각선방향과 서로 직교하며 교차되는 방향이다. 즉, D1 - D2 방향이다. 4x4 단위 커널 비닝 이미지 (c)에서, 제2 비닝된 Gb픽셀의 무게중심은 D1위치와 D2위치의 중간지점에 배치된다(그림의 동그라미 D영역).
즉, 비닝 이미지인 2x2사이즈 이미지는 각 무게중심이 오버랩된 4개의 픽셀, 예를 들어, A의 경우 (0,0)(1,0)(0,1)(1,1)에 제2비닝된 Gr 컬러가 배치된다. 마찬가지로 B의 경우 (2,0)(3,)(2,1)(3,1)에 제2비닝된 R 컬러, C의 경우 (0,2)(1,2)(0,3)(1,3)에 제2 비닝된 B 컬러, D의 경우 (2,2)(3,2)(2,3)(3,)에 제2비닝된 Gb 컬러가 각각 배치될 수 있다.
도시된 예는 2x2비닝에 대한 것이다. 도시된 예에서 로우 이미지에서 이미지 비닝을 위한 단위 커널이 4x4 사이즈인 경우 2x2 비닝 후 2x2사이즈로 된다. 다른 예로 로우 이미지 내 이미지 비닝을 위한 커널이 8x8 사이즈인 경우 2x2 비닝을 수행하면 4x4 사이즈가 된다. 즉, 2x2 비닝은 2n x 2n 사이즈(n은 0이상의 정수) 커널에서 n x n 사이즈로 비닝하는 것을 말한다.
즉, 이미지 센싱 장치는 몇몇 실시예에 따라 도시된 도 10에서, 입력된 로우 이미지에 대해(S20) 제1 방향, 즉 제1 대각선 방향으로 먼저 제1 비닝할 수 있다(S21). 이때 제1 대각선 방향은 서로 다른 행에 배치된 동일 컬러 픽셀 간의 방향을 의미할 수 있다.
이미지 센싱 장치는 제1 비닝된 중간값에 대응되는 코너의 로우 픽셀에 대해 제2 비닝을 수행할 수 있다(S22). 제2 비닝은 제2 방향, 또는 제2 대각선 방향으로 수행될 수 있다. 제2 방향은 커널의 코너(corner)에 있는 로우 픽셀과 중간값 간의 배치 방향으로, 제1 대각선 방향과 직교하면서 교차하는 방향일 수 있다. 몇몇 실시예에 따라 제1 비닝을 대각선 비닝, 제2 비닝을 코너 비닝으로 호칭할 수도 있다. 제2 비닝 후 결과값을 비닝 이미지로 출력한다(S23).
몇몇 실시예에 따라 제1 비닝 및 제2 비닝은 도 1에 도시된 ISP(100)에서 모두 수행될 수 있다. 또는 몇몇 실시예에 따라 제1 비닝은 이미지 센서(200)에서 수행되고, 제2 비닝은 ISP(100)에서 수행될 수도 있다. 이 경우 제1 비닝은 일 실시예에 따라 ADC(240)에서 수행되거나 또는 다른 실시예에 따라 버퍼(290)에서 수행될 수도 있다.
도 11은 몇몇 실시예에 따른 이미지 센서를 도시한 것이다. 도 12는 도 11에 도시한 픽셀 어레이의 회로도이다. 도 13 및 도 14는 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 이미지 센서를 도시한 것이다.
몇몇 실시예에 따라 아날로그 엔드는 도 8 및 도 9에서 설명한 이미지 비닝을 수행할 수 있다. 아날로그 엔드는 아날로그 디지털 컨버터 및 전류 소스를 포함할 수 있다.
아날로그 엔드는 동일 컬러의 픽셀이 속한 서로 다른 복수 개의 열(column)들 중 적어도 두 개의 열에 공통으로 연결될 수 있다. 일 실시예로 아날로그 엔드는 픽셀 어레이의 짝수 열 중에서 서로 인접한 적어도 2개 열에 연결되거나, 홀수 열 중에서 서로 인접한 적어도 2개 열에 연결될 수 있다. 도 11에 도시된 예에서 ADC(240)는 가장 가깝게 인접한 짝수번째 열 사이에 연결되어 아날로그 엔드는 제1 대각선 방항의 제1 비닝을 수행할 수 있다. 또는 ADC(240)는 가장 가깝게 인접한 홀수번째 열 사이에 연결되어 아날로그 엔드는 제1 대각선 방항의 제1 비닝을 수행할 수 있다.
도 11의 픽셀 어레이는 몇몇 실시예에 따라 16개의 픽셀, 즉 4x4 어레이의 단위 유닛(K1)을 복수 개 포함한다. 픽셀 어레이는 단위 유닛 단위로 동작한다. 도 12에 도시된 예는 하나의 픽셀이 하나의 포토 다이오드, 전송 트랜지스터, 리셋 트랜지스터, 선택 트랜지스터 및 드라이브 트랜지스터를 포함하는 경우를 도시한 것이다. 선택 트랜지스터의 게이트에는 행 방향의 선택신호 Sel이 인가되고 선택 트랜지스터의 드레인에는 열 방향의 선택신호 Col이 인가된다.
한편, 각 픽셀은 몇몇 실시예에 따라 도 12와 같이 4개의 트랜지스터, 적어도 하나의 포토다이오드를 포함할 수도 있고, 몇몇 실시예에 따라 3개의 트랜지스터, 적어도 하나의 포토 다이오드를 포함할 수도 있고 또는 몇몇 실시예에 따라 5개의 트랜지스터, 적어도 하나의 포토 다이오드를 포함할 수도 있다.
도 11, 도 12 및 도 13에서 Gr 픽셀 비닝을 설명하면, 단위 유닛 K1에 포함된 서브 유닛 KS1에서 Gr 픽셀 비닝이 수행된다. 서브 유닛 KS1에서 Sel[1], Sel[5], Col[0], Col[2]를 턴온하여 제1 대각선 방향의 2개의 Gr픽셀값(도 13의 ☆ 표시된 픽셀)을 수신하고, Sel[0], Col[0]을 턴온하여 Gr픽셀값을 수신한다. ADC(240)는 Col[0] 및 Col[2]에 공통으로 연결되어, 아날로그 엔드는 제1 대각선 방향의 2개의 Gr픽셀값(도 13의 ☆ 표시된 픽셀)에 대해 제1 비닝을 수행하여 Gr 중간값을 출력한다. Gr 중간값의 무게중심은 Sel[2] 및 Col[1]에 배치될 수 있다. ISP(100)는 Sel[0], Col[0]의 Gr 픽셀값과 Sel[2] 및 Col[1]에 배치된 Gr중간값에 대해 제2 비닝을 수행하여 비닝된 Gr' 픽셀값을 출력할 수 있다.
도 11, 도 12 및 도 14에서 Gb 픽셀 비닝을 설명하면, 단위 유닛 K1에 포함된 서브 유닛 KS2에서 Gb 픽셀 비닝이 수행된다. 서브 유닛 KS2에서 Sel[3], Sel[6], Col[1], Col[3]를 턴온하여 제1 대각선 방향의 2개의 Gb픽셀값(도 14의 ☆ 표시된 픽셀)을 수신하고, Sel[7], Col[3]을 턴온하여 Gb픽셀값을 수신한다. ADC(240)는 Col[1] 및 Col[3]에 공통으로 연결되어, 아날로그 엔드는 제1 대각선 방향의 2개의 Gb픽셀값(도 14의 ☆ 표시된 픽셀)에 대해 제1 비닝을 수행하여 Gb 중간값을 출력한다. Gb 중간값의 무게중심은 Sel[5] 및 Col[2]에 배치될 수 있다. ISP(100)는 Sel[7], Col[3]의 Gb 픽셀값과 Sel[5] 및 Col[2]에 배치된 Gb중간값에 대해 제2 비닝을 수행하여 비닝된 Gb' 픽셀값을 출력할 수 있다. 비닝된 R' 픽셀, B' 픽셀 또한 동일한 방법으로 로우 이미지로부터 출력될 수 있다.
몇몇 실시예에 따라 도 11에서 B 픽셀 비닝을 설명하면, 픽셀 어레이에서 Sel[2], Sel[7], Col[0], Col[2]를 턴온하여 제1 대각선 방향의 2개의 B픽셀값을 수신하고, Sel[6], Col[0]을 턴온하여 B 픽셀값을 수신한다. ADC(240)는 Col[0] 및 Col[2]에 연결되어, 아날로그 엔드는 제1 대각선 방향의 2개의 B 픽셀값에 대해 제1 비닝을 수행하여 B 중간값을 출력한다. ISP(100)는 Sel[6], Col[0]의 B 픽셀값과 B 중간값에 대해 제2 비닝을 수행하여 비닝된 B' 픽셀값을 출력할 수 있다.
몇몇 실시예에 따라 도 11에서 R 픽셀 비닝을 설명하면, 픽셀어레이에서 Sel[1], Sel[4], Col[1], Col[3]를 턴온하여 제1 대각선 방향의 2개의 R 픽셀값을 수신하고, Sel[0], Col[3]을 턴온하여 R 픽셀값을 수신한다(도 14의 ☆ 표시된 픽셀). ADC(240)는 Col[1] 및 Col[3]에 연결되어, 아날로그 엔드는 제1 대각선 방향의 2개의 R 픽셀값에 대해 제1 비닝을 수행하여 R 중간값을 출력하고, ISP(100)는 Sel[0], Col[3]의 R 픽셀값과 R 중간값에 대해 제2 비닝을 수행하여 비닝된 R' 픽셀값을 출력할 수 있다.
도 15 및 도 16은 몇몇 실시예에 따른 이미지 비닝 방법을 설명하기 위한 베이어 이미지이다.
몇몇 실시예에 따라 이미지 센싱 장치는 로우 이미지에 대해 2N x 2N 비닝을 수행할 수 있다. 즉, 2x2비닝을 N번 반복수행하여 이미지 비닝을 할 수 있다. 도 15 및 도 16은 2x2비닝을 2번 반복수행하여 4x4비닝되는 것을 도시한 것이다.
도 15에서 제1차 2x2비닝은 커널 Ka 단위로 수행될 수 있다. 보다 구체적으로 설명하면, 로우 이미지는 복수의 커널 Ka를 포함할 수 있다. 이미지 센싱 장치는 커널 Ka에 대해 제1차 2x2비닝을 수행할 수 있다.
제1차 2x2 비닝은 대각선 비닝을 수행하여 도 15(a)의 ○ 영역에 중간값이 배치되면, 코너 비닝을 수행하여 도 15(b)의 ○ 위치에 비닝된 픽셀값이 배치된다. 비닝된 픽셀값은 커널 Kb의 무게중심 지점에 픽셀값이 배치될 수 있다. 따라서, 커널 Ka의 Gr, R, B, Gb픽셀 각각에 대해 제1차 2x2비닝이 수행되면, 커널 Kb 전체에 제1차 2x2 비닝된 Gr' 픽셀, R' 픽셀 , B' 픽셀 , Gb'픽셀이 도 16(a)와 같이 배치된다.
도 16에서, 제1차 2x2 비닝된 이미지에 대해 제2차 2x2 비닝이 4개의 커널 Ka를 포함한 전체 커널 단위로 수행될 수 있다. 전체 커널은 커널 Ka가 2x2 어레이 형태로 배치된 것일 수 있다.
제2차 2x2 비닝은 대각선 비닝을 수행하여 도 16(a)의 ○ 영역에 중간값이 배치되고, 중간값에 대해 코너 비닝을 수행하여 도 16(b)의 ○ 위치에 비닝된 픽셀값이 배치된다. 제2차 비닝된 픽셀값은 커널 Ka의 무게중심 지점에 픽셀값이 배치될 수 있다. 따라서, 전체 커널의 Gr', R', B', Gb'픽셀 각각에 대해 제2차 2x2비닝이 수행되면, 커널 Ka 전체에 제2차 2x2 비닝된 Gr" 픽셀, R" 픽셀 , B" 픽셀 , Gb"픽셀이 배치된다.
이와 같이 4x4 비닝을 2x2비닝이 2번에 걸쳐 반복 수행하더라도 비닝된 픽셀들의 무게중심의 위치는 균일하게 배치될 수 있다. 이에 따라 거짓 색상 결함 발생이나 지그재그 노이즈 발생을 효과적으로 저감시킬 수 있다.
도 15 및 16의 실시예는 설명의 편의를 위해 4x4 비닝을 설명한 것이나, 다양한 실시예에 따라 2x2 비닝이 N회(N은 자연수) 반복되어 2N x 2N 비닝되는 것도 본 발명의 범위에 포함된다고 할 것이다.
도 17은 도 1에 도시된 이미지 센싱 장치를 나타낸 도면이다.
도 17을 참고하면, 이미지 센서(700)는 스택(stack)되는 복수의 레이어로 구현될 수 있다. 몇몇 실시예에 따라 픽셀 어레이(210)는 제1 레이어(Layer 1)에 구현되고, 나머지 구성, 즉 로직 회로는 제2 레이어(Layer 2)에 구현될 수 있다. 로직 회로에는 도 1에 도시된 이미지 센서(200)에서, 픽셀 어레이(210)를 제외한 나머지 구성요소들(220 내지 290)이 포함될 수 있다. 즉, 픽셀 어레이 영역과 로직 회로 영역은 웨이퍼 레벨에서 서로 적층될 수 있다.
제1 레이어(Laye 1)는 복수의 픽셀(PX)들이 포함되는 센싱 영역(SA)과, 센싱 영역(SA) 주변에 마련되는 제1 패드 영역(PA1)을 포함할 수 있다. 제1 패드 영역(PA1)에는 복수의 상부 패드들(PAD1)이 포함되고, 복수의 상부 패드들(PAD1)은 비아 등을 통해 제2 레이어(Layer 2)의 제2 패드 영역(PA2)에 마련된 패드들(PAD21, PAD22) 및 로직 회로(LOGIC)에 연결될 수 있다.
몇몇 실시예에 따라 패드(PAD21, PAD22)는 입력 인터페이스 패드일 수 있고 패드(PAD23)은 출력 인터페이스 패드일 수 있다.
도 18은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 19는 도 18의 카메라 모듈의 상세 블록도이다.
도 18을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 19를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100c)에 대해서도 동일하게 적용될 수 있다.
도 19를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 18 및 도 19를 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 18을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
몇몇 실시예에 따라 카메라 모듈(1100)은 도 1에 도시된 이미지 센싱 장치(200)를 포함할 수 있다.
도 1의 ISP(100)는 다양한 실시예에 따라 도 19의 카메라 모듈(1100) 내의 로직(1144)에 구현될 수도 있고, 또는 ISP(100)는 도 18의 서브 이미지 프로세서(1212)에 구현될 수도 있으며, 또는 ISP(100)는 이미지 생성기(1214)에 구현될 수도 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1 : 이미지 센싱 장치 100 : 이미지 신호 프로세서
110 : 카메라 컨트롤 120 : I/F
150 : DSP 200 : 이미지 센서
300 : 디스플레이 유닛 400 : 오브젝트
500 : 렌즈 1000 : 전자 장치
1100 : 카메라 모듈 1200 : 애플리케이션 프로세서
1300 : PMIC 1400 : 외부 메모리

Claims (20)

  1. 이미지 센싱 장치에 있어서,
    상기 이미지 센싱 장치는 이미지 센서 및 디지털 신호 프로세싱 유닛(Digital Signal Processing Unit; DSP)을 포함하고,
    상기 이미지 센서는
    베이어 패턴의 로우이미지를 출력하는 픽셀 어레이; 및
    상기 로우 이미지의 Gr 픽셀, R 픽셀, B 픽셀 및 Gb 픽셀에 각각 상응하는 복수의 서브 커널 내에서, 같은 열에 속한 동일 컬러 픽셀끼리 아날로그 비닝하여 각 컬러의 중간값을 출력하는 아날로그 엔드를 포함하고,
    상기 DSP는
    상기 복수의 서브 커널 각각 내에서, 서로 다른 열에 속한 상기 각 컬러의 중간값들에 대하여 디지털 비닝하여 비닝 이미지를 출력하는, 이미지 센싱 장치.
  2. 제1항에 있어서, 상기 아날로그 비닝 및 상기 디지털 비닝은 상기 로우 이미지에 대해 상기 복수의 서브 커널을 포함하는 단위 커널로 수행되고,
    상기 복수의 서브 커널 각각은 같은 열에 속한 서브 커널끼리 서로 비대칭 패턴으로 배치된 것인, 이미지 센싱 장치.
  3. 제2항에 있어서, 상기 서브 커널은
    제1 서브 커널의 제1 방향 길이와 제2 서브 커널의 제1방향 길이의 합이 단위 커널의 제1방향 길이와 같고,
    상기 제1 서브 커널의 제1방향 길이와 상기 제2 서브 커널의 제1방향 길이는 서로 가장 가까운 홀수 관계인, 이미지 센싱 장치.
  4. 제1항에 있어서, 상기 아날로그 엔드는
    상기 픽셀 어레이의 복수의 열(col)에 각각 연결된 아날로그 디지털 컨버터; 및
    상기 아날로그 디지털 컨버터에 연결되어, 상기 중간값을 저장하는 버퍼를 포함하고,
    상기 아날로그 디지털 컨버터는
    상기 같은 열에 속한 적어도 둘의 동일 컬러 픽셀로부터 수신된 픽셀값을 합쳐서 아날로그 디지털 컨버팅하고 상기 중간값으로 출력하는, 이미지 센싱 장치.
  5. 제1항에 있어서, 상기 디지털 비닝은
    어느 하나의 상기 서브 커널에 속한 상기 서로 다른 열의 중간값들을 합쳐서 상기 서브 커널에 속한 해당 컬러 픽셀의 개수로 나누어 상기 비닝 이미지의 해당 컬러 픽셀값으로 출력하는, 이미지 센싱 장치.
  6. 제5항에 있어서, 상기 해당 컬러 픽셀값은
    상기 해당 컬러에 상응하는 서브 커널의 무게중심 위치와 동일한 무게중심 위치를 갖는, 이미지 센싱 장치.
  7. 픽셀 어레이로부터 베이어 패턴의 로우 이미지를 수신하는 단계;
    상기 로우 이미지를 컬러별로 비대칭인 단위 커널로 아날로그 비닝하여 커널별로 중간값을 출력하는 단계;
    적어도 하나의 상기 중간값에 대해 디지털 비닝하여 비닝 이미지를 출력하는 단계;를 포함하는 이미지 센싱 장치의 이미지 비닝 방법.
  8. 제7항에 있어서, 상기 로우 이미지는 복수의 단위 커널을 포함하고,
    상기 복수의 단위 커널 각각은
    행 방향으로 인접하게 배치되고 서로 다른 행 방향 길이를 가진 Gr 서브 커널과 R 서브 커널; 및
    상기 Gr 서브 커널 및 상기 R 서브 커널에 열 방향으로 인접하면서, 행 방향으로 인접하게 배치되고 서로 다른 행 방향 길이를 가진 B 서브 커널 및 Gb 서브 커널을 포함하고,
    상기 Gr 서브 커널과 상기 B 서브 커널 간, 상기 R 서브 커널과 상기 Gb 서브 커널 간에는
    각각 서로 다른 열 방향 길이를 가지는, 이미지 센싱 장치의 이미지 비닝 방법.
  9. 제8항에 있어서,
    열 또는 행 방향으로 인접한 제1 및 제2 서브 커널의 해당 방향 길이의 합은 상기 단위 커널의 해당 방향 길이와 같고,
    상기 제1 서브 커널의 해당 방향 길이와 상기 제2 서브 커널의 해당 방향 길이는 서로 가장 가까운 홀수인, 이미지 센싱 장치의 이미지 비닝 방법.
  10. 제8항에 있어서, 상기 아날로그 비닝은
    상기 복수의 서브 커널 중 제1 컬러에 상응하는 제1 서브 커널에서 같은 열에 속한 적어도 둘의 제1 컬러 픽셀로부터 각각 수신된 픽셀값을 합쳐서 상기 제1 중간값을 출력하고,
    상기 디지털 비닝은
    상기 제1 서브 커널 내에서 서로 다른 열에서 출력된 제1 중간값을 더하여 상기 서브 커널에 속한 제1 컬러 픽셀들의 개수로 나누어 상기 비닝 이미지의 상기 제1 컬러에 대한 비닝 픽셀값으로 출력하는, 이미지 센싱 장치의 이미지 비닝 방법.
  11. 제7항에 있어서, 상기 아날로그 비닝은
    상기 단위 커널 내 동일 컬러를 갖는 제1 대각선 방향에 위치한 제1 및 제2 픽셀끼리 더하여 상기 중간값으로 산출하고,
    상기 디지털 비닝은
    상기 중간값과 상기 단위 커널의 코너에 위치한 동일 컬러의 제3 픽셀을 더하여 상기 비닝 이미지의 해당 컬러에 대한 비닝 픽셀값을 출력하는, 이미지 센싱 장치의 이미지 비닝 방법.
  12. 제11항에 있어서, 상기 로우 이미지는 복수의 단위 커널을 포함하고,
    상기 단위 커널은
    열 방향 및 행 방향의 길이가 각각 (4n+4) 픽셀 사이즈(상기 n은 자연수)인, 이미지 센싱 장치의 이미지 비닝 방법.
  13. 제11항에 있어서, 상기 제3 픽셀과 상기 중간값 간의 정렬방향은
    상기 제1 대각선 방향의 반대되는 제2 대각선 방향인, 이미지 센싱 장치의 이미지 비닝 방법.
  14. 제11항에 있어서, 상기 비닝 픽셀값의 무게중심 좌표는 상기 제1 픽셀, 상기 제2 픽셀 및 상기 제3 픽셀 간의 무게중심 좌표에 배치되는 것인, 이미지 센싱 장치의 이미지 비닝 방법.
  15. 제11항에 있어서, 상기 비닝 이미지는
    상기 로우 이미지에 대해 제1 아날로그 비닝 후 상기 디지털 비닝을 적어도 2번 반복하여 비닝된 이미지인, 이미지 센싱 장치의 이미지 비닝 방법.
  16. 이미지 센싱 장치에 있어서,
    상기 이미지 센싱 장치는 이미지 센서 및 디지털 신호 프로세싱 유닛(Digital Signal Processing Unit; DSP)을 포함하고,
    상기 이미지 센서는
    베이어 패턴의 로우이미지를 출력하는 픽셀 어레이; 및
    상기 픽셀 어레이에 연결되어, 상기 로우 이미지의 정방형의 단위 커널 단위로 각 컬러 별로 대각선 방향으로 배치된 제1 픽셀 및 제2 픽셀로부터의 출력을 아날로그 비닝하여 해당 컬러의 중간값을 산출하는 아날로그 엔드를 포함하고,
    상기 DSP는
    상기 단위 커널 내에서, 상기 해당 컬러의 코너에 배치된 제3픽셀과 상기 해당 컬러의 상기 중간값을 각각 디지털 비닝하여 비닝값을 산출함으로써 비닝 이미지를 생성하는, 이미지 센싱 장치.
  17. 제16항에 있어서, 상기 아날로그 엔드는
    상기 픽셀 어레이 내 가장 가까이 인접한 두 개의 홀수 열 및 가장 가까이 인접한 두 개의 짝수 열에 각각 공유되는 복수의 아날로그 디지털 컨버터; 및
    상기 아날로그 디지털 컨버터 각각에 연결되어 상기 해당 컬러의 중간값을 저장하는 버퍼를 포함하는, 이미지 센싱 장치.
  18. 제16항에 있어서, 상기 단위 커널은
    열 방향 및 행 방향의 길이가 각각 (4n+4) 픽셀 사이즈(상기 n은 자연수)인, 이미지 센싱 장치.
  19. 제16항에 있어서, 상기 해당 컬러의 비닝 픽셀값의 무게중심 좌표는
    상기 해당 컬러의 상기 제1 픽셀, 상기 제2 픽셀, 상기 제3 픽셀의 무게중심 위치에 배치되는, 이미지 센싱 장치.
  20. 제16항에 있어서, 상기 비닝 이미지는
    상기 아날로그 비닝 및 상기 디지털 비닝을 적어도 한번 이상 수행하여 생성되는 이미지인, 이미지 센싱 장치.
KR1020200097290A 2020-03-10 2020-08-04 이미지 비닝 방법 및 그 이미지 센싱 장치 KR20210114313A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/130,997 US11350045B2 (en) 2020-03-10 2020-12-22 Image sensing apparatus and image binning method thereof
CN202110252889.2A CN113382214A (zh) 2020-03-10 2021-03-08 图像感测装置及其图像合并方法
TW110108247A TWI859427B (zh) 2020-03-10 2021-03-09 影像感測設備及其影像像素合併方法
US17/828,009 US11700460B2 (en) 2020-03-10 2022-05-30 Image sensing apparatus and image binning method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200029370 2020-03-10
KR1020200029370 2020-03-10

Publications (1)

Publication Number Publication Date
KR20210114313A true KR20210114313A (ko) 2021-09-23

Family

ID=77926386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200097290A KR20210114313A (ko) 2020-03-10 2020-08-04 이미지 비닝 방법 및 그 이미지 센싱 장치

Country Status (1)

Country Link
KR (1) KR20210114313A (ko)

Similar Documents

Publication Publication Date Title
US11616934B2 (en) Image sensor
KR102632474B1 (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
CN113810637A (zh) 用于减少图像信息损失的像素阵列和包括其的图像传感器
KR20220038972A (ko) 전자 장치 및 그 이미지 비닝방법
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
KR20220036014A (ko) 이미지 센싱 시스템
JP2022008235A (ja) イメージセンサ、ビニング方法、及びイメージ処理システム
US11700460B2 (en) Image sensing apparatus and image binning method thereof
KR20210114313A (ko) 이미지 비닝 방법 및 그 이미지 센싱 장치
KR20230109969A (ko) 이미지 센서
TWI859427B (zh) 影像感測設備及其影像像素合併方法
CN113225542A (zh) 减少图像信息的损失的像素阵列和包括其的图像传感器
KR20220037204A (ko) 이미지 신호 프로세서 및, 이미지 신호 프로세서를 포함하는 전자 장치 및 전자 시스템
KR102701854B1 (ko) 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
US20240284056A1 (en) Image processor, image processing device including the same and image processing method
KR102722918B1 (ko) 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
EP4096217A1 (en) Image sensor and image signal processing method
US11758288B2 (en) Device for improving image resolution in camera system having lens that permits distortion and operation method thereof
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법
KR20230135389A (ko) 이미지 센싱 장치 및 그 이미지 신호 프로세싱 방법
KR20230047839A (ko) 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
KR20210155344A (ko) 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
KR20230014551A (ko) 이미지 센서, 이미지 처리 장치 및 이미지 처리 방법
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치

Legal Events

Date Code Title Description
A201 Request for examination