KR20180133549A - 고체 촬상 소자 및 카메라 시스템 - Google Patents

고체 촬상 소자 및 카메라 시스템 Download PDF

Info

Publication number
KR20180133549A
KR20180133549A KR1020187035387A KR20187035387A KR20180133549A KR 20180133549 A KR20180133549 A KR 20180133549A KR 1020187035387 A KR1020187035387 A KR 1020187035387A KR 20187035387 A KR20187035387 A KR 20187035387A KR 20180133549 A KR20180133549 A KR 20180133549A
Authority
KR
South Korea
Prior art keywords
pixel
pixels
photoelectric conversion
conversion region
dpc
Prior art date
Application number
KR1020187035387A
Other languages
English (en)
Inventor
이사오 히로타
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20180133549A publication Critical patent/KR20180133549A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H04N5/374—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N5/2254—
    • H04N5/355—
    • H04N9/0455—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 고체 촬상 소자는, 복수의 색화소가 제1 방향 및 당해 제1 방향에 직교하는 제2 방향으로 행렬형상으로 배열된 화소 어레이부와, 복수의 상기 색화소에 걸처서 광을 입사하는 멀티렌즈가 배열된 멀티렌즈 어레이를 가지며, 상기 화소 어레이부의 각 색화소는, 상기 제1 방향 및 상기 제2 방향 중 적어도 한 방향으로 인접하는 색화소가 스테레오의 L용 화소와 R용 화소로 할당되고, 상기 멀티렌즈 어레이는, 상기 제1 방향에서, 적어도 일부가 서로 인접하는 색이 다른 이색 화소에 걸처서 광을 입사하도록 배치되어 있는 것을 특징으로 한다.

Description

고체 촬상 소자 및 카메라 시스템{SOLID-STATE IMAGING DEVICE AND CAMERA SYSTEM}
본 기술은, 예를 들면 라이트 필드(Light Field) 기술을 적용하는 스테레오 카메라나 단안 3차원(3D) 스테레오 카메라에 적용 가능한 고체 촬상 소자 및 카메라 시스템에 관한 것이다.
라이트 필드 카메라(Light Field Camera)로서는, PTL(특허 문헌) 1에 개시된 기술이 알려져 있다.
이 기술에서는, 색 필터 어레이의 컬러 코딩(색 배열)을, RGB 베이어 배열을 45도 회전시킨 체크무늬 배열(지그재그 배열)로, 상하 좌우 인접 4화소가 동일색으로 한다. 즉, 동색 4화소 단위로 RGB의 각 필터가 정방 배열된 컬러 코딩으로 한다.
그리고, 다른 색을 걸치도록 4화소(상하 2화소×좌우 2화소) 단위로 하나의 멀티렌즈 어레이를 공유한다.
또한, PTL(특허 문헌) 2에는, 복안 3D 카메라에서, 카메라마다 감도차를 둠으로써, 시차와 와이드 다이내믹 레인지(WDR)를 겸용하는 기술이 개시되어 있다.
PTL(특허 문헌) 1 : JP-A-2010-239337 PTL(특허 문헌) 2 : JP-A-2003-18445
그런데, 상기 JP-A-2010-239337에 개시된 기술에서는, 풀 해상도를 얻기 위해, 복잡한 구조와 복잡한 신호 처리를 필요로 한다.
또한, 상기 JP-A-2003-18445에 개시된 기술에서는, 트윈 렌즈(twin lense)의 포화에 기인하여 시차가 취하여지지 않기 때문에, 와이드 다이내믹 레인지(WDR)의 레인지가 부족한 등의 불이익이 있다.
그래서, 본 기술은, 복잡한 구조와 복잡한 신호 처리를 필요로 하는 일 없이, 단안으로 스테레오의 와이드 다이내믹 레인지(WDR) 화상을 얻는 것이 가능한 고체 촬상 소자 및 카메라 시스템을 제공하는 것에 있다.
본 기술의 한 실시예에 따른 고체 촬상 소자는, 복수의 색화소가 제1 방향 및 당해 제1 방향에 직교하는 제2 방향으로 행렬형상으로 배열된 화소 어레이부와, 복수의 상기 색화소에 걸처서 광을 입사하는 멀티렌즈가 배열된 멀티렌즈 어레이를 가지며, 상기 화소 어레이부의 각 색화소는, 상기 제1 방향 및 상기 제2 방향 중 적어도 한 방향으로 인접하는 색화소가 스테레오의 L용 화소와 R용 화소로 할당되고, 상기 멀티렌즈 어레이는, 상기 제1 방향에서, 적어도 일부가 서로 인접하는 색이 다른 이색 화소에 걸처서 광을 입사하도록 배치되어 있다.
본 기술의 다른 실시예에 따른 카메라 시스템은, 고체 촬상 소자와, 상기 고체 촬상 소자에 피사체상을 결상하는 광학계를 가지며, 상기 고체 촬상 소자는, 복수의 색화소가 제1 방향 및 당해 제1 방향에 직교하는 제2 방향으로 행렬형상으로 배열된 화소 어레이부와, 복수의 상기 색화소에 걸처서 광을 입사하는 멀티렌즈가 배열된 멀티렌즈 어레이를 가지며, 상기 화소 어레이부의 각 색화소는, 상기 제1 방향 및 상기 제2 방향 중 적어도 한 방향으로 인접하는 색화소가 스테레오의 L용 화소와 R용 화소로 할당되고, 상기 멀티렌즈 어레이는, 상기 제1 방향에서, 적어도 일부가 서로 인접하는 색이 다른 이색 화소에 걸쳐서 광을 입사하도록 배치되어 있다.
본 발명에 의하면, 복잡한 구조와 복잡한 신호 처리를 필요로 하는 일 없이, 단안으로 스테레오의 와이드 다이내믹 레인지(WDR) 화상을 얻을 수 있다.
도 1은 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 구성의 개략을 도시하는 시스템 구성도.
도 2는 단위 화소의 회로 구성의 한 예를 도시하는 회로도.
도 3은 인접 4화소 가산을 화소 내에서 행하는 경우의 회로 구성의 한 예를 도시하는 회로도.
도 4는 화소 배열례로서 베이어 배열을 도시하는 도면.
도 5는 본 실시 형태에 관한 화소 분할의 개념도.
도 6은 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제1의 특징적 구성례를 도시하는 도면.
도 7은 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제2의 특징적 구성례를 도시하는 도면.
도 8은 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제3의 특징적 구성례를 도시하는 도면.
도 9는 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제4의 특징적 구성례를 도시하는 도면.
도 10a 내지 도 10c는 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제5의 특징적 구성례를 도시하는 도면.
도 11a 내지 도 11c는 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제6의 특징적 구성례를 도시하는 도면.
도 12는 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제7의 특징적 구성례를 도시하는 도면.
도 13은 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제8의 특징적 구성례를 도시하는 도면.
도 14는 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)가 적용되는 단안 3D 스테레오 카메라의 구성례를 도시하는 도면.
도 15는 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)를 적용한 단안 3D 스테레오 카메라에서의 상고(image height) 변화량의 피사체 거리 의존성을 도시하는 도면.
도 16은 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)를 적용한 단안 3D 스테레오 카메라에서의 피사체 거리에 대한 결상 변화량을 도시하는 도면.
도 17은 본 실시 형태에 관한 고체 촬상 소자가 적용되는 카메라 시스템의 구성의 한 예를 도시하는 도면.
이하, 본 발명의 실시 형태를 도면에 관련지어서 설명한다.
설명은 이하의 차례로 행한다.
1. 고체 촬상 소자의 구성례(CMOS 이미지 센서의 예)
2. 본 실시 형태의 특징적 구성
2-1. 제1의 특징적 구성례
2-2. 제2의 특징적 구성례
2-3. 제3의 특징적 구성례
2-4. 제4의 특징적 구성례
2-5. 제5의 특징적 구성례
2-6. 제6의 특징적 구성례
2-7. 제7의 특징적 구성례
2-8. 제8의 특징적 구성례
3. 적용 가능한 단안 3D 스테레오 카메라의 구성례
4. 카메라 시스템의 구성례
<1. 고체 촬상 소자의 구성례>
시스템 구성
도 1은, 본 실시 형태에 관한 고체 촬상 소자, 예를 들면 X-Y 어드레스형 고체 촬상 장치의 일종인 CMOS 이미지 센서의 구성의 개략을 도시하는 시스템 구성도이다.
본 실시 형태에 관한 CMOS 이미지 센서(10)는, 반도체 기판(이하, 단지 "센서 칩"이라고 기술하는 경우도 있다)(11)에 형성된 화소 어레이부(12)와, 화소 어레이부(12)와 같은 반도체 기판(11)에 집적된 주변 회로부를 갖는다.
주변 회로부로서는, 예를 들면, 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(15) 및 시스템 제어부(16)가 배치되어 있다. 또한, 센서 칩(11)의 외부에는, 신호 처리계를 구성하는 DSP(Digital Signal Processor ; 디지털 신호 처리 회로) 회로(31) 및 화상 메모리(32)가 배치되어 있다.
화소 어레이부(12)에는, 입사하는 가시광을 그 광량에 응한 전하량으로 광전 변환하는 광전 변환 소자를 포함하는 단위 화소(도시하지 생략)(이하, 단지 "화소"라고 기술하는 경우도 있다)가 어레이형상으로 배치되어 있다.
단위 화소의 구체적인 회로 구성에 관해서는 후술한다. 이 화소 어레이부(12)의 수광면(광입사면)측에는, 색 필터 어레이(33)가 형성되고, 그 상부측에 멀티렌즈 어레이(Multi Lens Array ; MLA)(34)가 배치되어 있다. 또한, 색 필터 어레이(33)상에는 온칩 렌즈(OCL)가 배치된다.
기본적으로, 본 실시 형태에서는, 후술하는 바와 같이, 라이트 필드(Light Field)의 스테레오판(版)으로서, 멀티렌즈 어레이(MLA)에서 LR시차 분리(parallax separation)를 행하는 구성이 채용된다.
또한, 본 실시 형태에서는, 후술하는 바와 같이, 단안으로 3D 스테레오의 WDR 화상을 얻는 것이 가능하게 구성된다.
화소 어레이부(12)에는 또한, 행렬형상의 화소 배열에 대해 행마다 화소 구동선(18)이 도면의 좌우 방향(화소행의 화소 배열 방향/수평 방향)에 따라 배선되고, 열마다 수직 신호선(17)이 도면의 상하 방향(화소열의 화소 배열 방향/수직 방향)에 따라 형성되어 있다.
화소 구동선(18)의 일단은, 수직 구동부(13)의 각 행에 대응한 출력단에 접속되어 있다. 도 1에서는, 화소 구동선(18)에 관해 1개로서 나타내고 있지만, 1개로 한정되는 것이 아니다.
수직 구동부(13)는, 시프트 레지스터나 어드레스 디코더 등에 의해 구성되어 있다. 여기서는, 구체적인 구성에 관해서는 도시를 생략하지만, 수직 구동부(13)는, 판독 주사계와 소출(resetting) 주사계를 포함한 구성을 갖는다. 판독 주사계는, 신호를 판독하는 단위 화소에 관해 행 단위로 차례로 선택 주사를 행한다.
한편, 상기 소출 주사계는, 판독 주사계에 의해 판독 주사가 행하여지는 판독행에 대해, 그 판독 주사보다도 셔터 스피드의 시간분만큼 선행하여 그 판독행의 단위 화소의 광전 변환 소자로부터 불필요한 전하를 쓸어내는(리셋하는) 소출 주사를 행한다.
이 소출 주사계에 의한 불필요 전하의 쓸어냄(리셋)에 의해, 이른바 전자 셔터 동작이 행하여진다.
여기서, 전자 셔터 동작이란, 광전 변환 소자의 광전하를 버려서, 새롭게 노광을 시작하는(광전하의 축적을 시작하는) 동작인 것을 말한다.
판독 주사계에 의한 판독 동작에 의해 판독되는 신호는, 그 직전의 판독 동작 또는 전자 셔터 동작 이후에 입사한 광량에 대응한다.
그리고, 직전의 판독 동작에 의한 판독 타이밍 또는 전자 셔터 동작에 의한 소출 타이밍부터, 금회의 판독 동작에 의한 판독 타이밍까지의 기간이, 단위 화소에서의 광전하의 축적 시간(노광 시간)이 된다.
본 실시 형태에서는, 후술하는 바와 같이, 이 노광 시간의 제어나 색 필터의 투과율을 바꾸는 디바이스를 채용함에 의해 와이드 다이내믹 레인지를 얻는 것이 가능해진다.
수직 구동부(13)에 의해 선택 주사된 화소행의 각 단위 화소로부터 출력되는 신호는, 수직 신호선(17)의 각각을 통하여 칼럼 처리부(14)에 공급된다.
칼럼 처리부(14)는, 화소 어레이부(12)의 화소열마다, 선택행의 각 화소로부터 출력되는 아날로그의 화소 신호에 대해 미리 정하여진 신호 처리를 행한다.
칼럼 처리부(14)에서의 신호 처리로서는, 예를 들면 CDS(Correlated Double Sampling ; 상관 이중 샘플링) 처리를 들 수 있다.
CDS 처리는, 선택행의 각 화소로부터 출력되는 리셋 레벨과 신호 레벨을 받아들이고, 이들 레벨 차를 취함에 의해 1행분의 화소의 신호를 얻음과 함께, 화소의 고정 패턴 노이즈를 제거하는 처리이다.
칼럼 처리부(14)에, 아날로그의 화소 신호를 디지털화한 A/D 변환 기능을 갖게 하는 것도 가능하다.
수평 구동부(15)는, 시프트 레지스터나 어드레스 디코더 등에 의해 구성되고, 칼럼 처리부(14)의 화소열에 대응한 회로 부분을 순번대로 선택 주사한다.
이 수평 구동부(15)에 의한 선택 주사에 의해, 칼럼 처리부(14)에서 화소열마다 신호 처리된 화소 신호가 순번대로 센서 칩(11)의 외부에 출력된다.
즉, 센서 칩(11)으로부터는, 색 필터 어레이(33)의 컬러 코딩(색 배열)에 대응한 화소 신호가 그대로 RAW 데이터(생(生) 데이터)로서 출력된다.
시스템 제어부(16)는, 센서 칩(11)의 외부로부터 주어지는 클록이나, 동작 모드를 지령하는 데이터 등을 수취하고, 또한, 본 CMOS 이미지 센서(10)의 내부 정보 등의 데이터를 출력한다.
시스템 제어부(16)는, 각종의 타이밍 신호를 생성하는 타이밍 제너레이터를 가지며, 타이밍 제너레이터에서 생성된 각종의 타이밍 신호를 기초로 수직 구동부(13), 칼럼 처리부(14), 수평 구동부(15) 등의 구동 제어를 행한다.
센서 칩(11)의 외부 회로인 DSP 회로(31)은, 센서 칩(11)으로부터 출력되는 예를 들면 1프레임분의 화상 데이터를 화상 메모리(32)에 일시적으로 축적하고, 화상 메모리(32)에 축적된 화소 정보를 기초로 디모자이크 처리 등을 실행한다.
디모자이크 처리란, 단색의 색 정보밖에 갖지 않는 각 화소의 신호에 대해, 그 주변 화소의 신호로부터 부족한 색정보를 모아 줌으로써 색정보를 보완하여 풀 컬러 화상을 만들어 내는 처리이다.
(단위 화소의 회로 구성)
도 2는, 단위 화소(20)의 회로 구성의 한 예를 도시하는 회로도이다.
도 2에 도시하는 바와 같이, 본 실시 형태에 관한 단위 화소(20)는, 광전 변환 소자, 예를 들면 포토 다이오드(21)와, 예를 들면 전송 트랜지스터(22), 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 4개의 트랜지스터를 갖는다.
여기서는, 4개의 트랜지스터(22 내지 25)로서, 예를 들면 N채널의 MOS 트랜지스터를 이용하고 있다. 단, 여기서 예시한 전송 트랜지스터(22), 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)의 도전형의 조합은 한 예에 지나지 않고, 이들 조합으로 한정되는 것이 아니다.
이 단위 화소(20)에 대해, 화소 구동선(18)으로서, 예를 들면, 전송선(181), 리셋선(182) 및 선택선(183)의 3개의 구동 배선이 동일 화소행의 각 화소에 관해 공통으로 배선되어 있다.
이들 전송선(181), 리셋선(182) 및 선택선(183)의 각 일단은, 수직 구동부(13)의 각 화소행에 대응한 출력단에, 화소행 단위로 접속되어 있다.
포토 다이오드(21)는, 애노드 전극이 부측 전원(예를 들면, 그라운드)에 접속되어 있고, 수광한 광을 그 광량에 응한 전하량의 광전하(여기서는, 광전자)로 광전 변환한다.
포토 다이오드(21)의 캐소드 전극은, 전송 트랜지스터(22)를 통하여 증폭 트랜지스터(24)의 게이트 전극과 전기적으로 접속되어 있다.
증폭 트랜지스터(24)의 게이트 전극과 전기적으로 연결된 노드(26)를 FD(플로팅 디퓨전)부라고 부른다.
전송 트랜지스터(22)는, 포토 다이오드(21)의 캐소드 전극과 FD부(26)와의 사이에 접속되어 있다.
전송 트랜지스터(22)의 게이트 전극에는, 고레벨(예를 들면, Vdd 레벨)이 액티브(이하, "High 액티브"라고 기술한다)의 전송 펄스(φTRF)가 전송선(181)을 통하여 주어진다.
전송 펄스(φTRF)가 주어짐으로써, 전송 트랜지스터(22)는 온 상태가 되어 포토 다이오드(21)에서 광전 변환된 광전하를 FD부(26)에 전송한다.
리셋 트랜지스터(23)는, 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되어 있다.
리셋 트랜지스터(23)의 게이트 전극에는, 포토 다이오드(21)로부터 FD부(26)에의 신호 전하의 전송에 앞서서, High 액티브의 리셋 펄스(φRST)가 리셋선(182)을 통하여 주어진다.
리셋 펄스(φRST)가 주어짐으로써, 리셋 트랜지스터(23)는 온 상태가 되고, FD부(26)의 전하를 화소 전원(Vdd)에 버림에 의해 FD부(26)를 리셋한다.
증폭 트랜지스터(24)는, 게이트 전극이 FD부(26)에, 드레인 전극이 화소 전원(Vdd)에 각각 접속되어 있다.
그리고, 증폭 트랜지스터(24)는, 리셋 트랜지스터(23)에 의해 리셋한 후의 FD부(26)의 전위를 리셋 신호(리셋 레벨)(Vreset)로서 출력한다.
증폭 트랜지스터(24)는, 전송 트랜지스터(22)에 의해 신호 전하를 전송한 후의 FD부(26)의 전위를 광 축적 신호(신호 레벨)(Vsig)로서 출력한다.
선택 트랜지스터(25)는, 예를 들면, 드레인 전극이 증폭 트랜지스터(24)의 소스 전극에, 소스 전극이 수직 신호선(17)에 각각 접속되어 있다.
선택 트랜지스터(25)의 게이트 전극에는, High 액티브의 선택 펄스(φSEL)가 선택선(183)을 통하여 주어진다.
선택 펄스(φSEL)가 주어짐으로써, 선택 트랜지스터(25)는 온 상태가 되어 단위 화소(20)를 선택 상태로 하여, 증폭 트랜지스터(24)로부터 출력되는 신호를 수직 신호선(17)에 중계한다.
또한, 선택 트랜지스터(25)에 관해서는, 화소 전원(Vdd)과 증폭 트랜지스터(24)의 드레인과의 사이에 접속한 회로 구성을 채택하는 것도 가능하다.
또한, 단위 화소(20)로서는, 상기 구성의 4개의 트랜지스터로 이루어지는 화소 구성의 것으로 한정되는 것이 아니다.
예를 들면, 증폭 트랜지스터(24)와 선택 트랜지스터(25)를 겸용한 3개의 트랜지스터로 이루어지는 화소 구성의 것 등이라도 좋고, 그 화소 회로의 구성은 묻지 않는다.
(화소 가산)
그런데, 일반적으로, 동화 촬상일 때에는 프레임 레이트를 올려서, 고속 동화 촬상을 실현하기 위해, 인접하는 복수의 화소의 신호를 가산하여 판독한 화소 가산이 행하여진다.
이 화소 가산에 관해서는, 화소 내나, 수직 신호선(17)상이나, 칼럼 처리부(14)나, 후단의 신호 처리부 등에서 행할 수 있다.
여기서, 한 예로서, 예를 들면 2×2의 정방 배열에서의 상하 좌우에 인접하는 4화소의 신호를 화소 내에서 가산하는 경우의 화소 구성에 관해 설명한다.
도 3은, 인접 4화소 가산을 화소 내에서 행하는 경우의 회로 구성의 한 예를 도시하는 회로도이고, 도면 중, 도 2와 동등 부분에는 동일 부호를 붙여서 나타내고 있다.
도 3에서, 상하 좌우에 인접하는 4화소의 포토 다이오드(21)를, 포토 다이오드(21-1, 21-2, 21-3, 21-4)로 한다.
이들 포토 다이오드(21-1, 21-2, 21-3, 21-4)에 대해, 4개의 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)가 마련되고, 리셋 트랜지스터(23), 증폭 트랜지스터(24) 및 선택 트랜지스터(25)가 1개씩 마련되어 있다.
즉, 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)는, 각 한쪽의 전극이 포토 다이오드(21-1, 21-2, 21-3, 21-4)의 각 캐소드 전극에 접속되고, 각 다른쪽의 전극이 증폭 트랜지스터(24)의 게이트 전극에 공통으로 접속되어 있다.
이 증폭 트랜지스터(24)의 게이트 전극에는, 포토 다이오드(21-1, 21-2, 21-3, 21-4)에 대해 공통의 FD부(26)가 전기적으로 접속되어 있다.
리셋 트랜지스터(23)는, 드레인 전극이 화소 전원(Vdd)에, 소스 전극이 FD부(26)에 각각 접속되어 있다.
상기 구성의 인접 4화소 가산에 대응한 화소 구성에 있어서, 4개의 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 대해 같은 타이밍에서 전송 펄스(φTRF)를 줌으로써, 인접하는 4화소 사이에서의 화소 가산을 실현할 수 있다.
즉, 포토 다이오드(21-1, 21-2, 21-3, 21-4)로부터 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 의해 FD부(26)에 전송된 신호 전하는, FD부(26)에서 가산("FD 가산"이라고 기술하는 경우도 있다)되는 것이 된다.
한편, 전송 트랜지스터(22-1, 22-2, 22-3, 22-4)에 대해 다른 타이밍에서 전송 펄스(φTRF)를 줌으로써, 화소 단위로의 신호 출력도 실현할 수 있다.
즉, 동화 촬상시에는 화소 가산을 행함에 의해 프레임 레이트의 향상을 도모할 수 있음에 대해, 정지화 촬상시에는 전 화소의 신호를 독립하여 판독함으로써, 해상도의 향상을 도모할 수 있다.
<화소 배열>
상술한 바와 같이, 화소 어레이부(12)는, 복수의 화소가 매트릭스형상(행렬형상)으로 배치되어 구성된다.
화소 어레이부(12)는, 그 화소 배열로서, 예를 들면 도 4에 도시하는 바와 같은 베이어 배열이 채용된다.
본 실시 형태의 화소 어레이부(12)는, 하나의 화소가 예를 들면 포토 다이오드에 의해 형성되는 광전 변환 소자를 포함하는 복수의 분할 화소 셀(DPC)로 분할되어 있다.
구체적으로는, 고체 촬상 소자(CMOS 이미지 센서)(10)에서, 베이어 배열의 동일색 컬러 필터하의 1화소에 관해, 2개 이상 복수개의 분할 화소 셀(DPC)로 분할되어 있다. 이 경우, 감도 또는 축적 시간을 바꾸어 2개 이상 복수개로 분할되어 있는 분할 화소 셀(DPC)은, 감도 또는 축적 시간(노광 시간)을 바꾸어 분할되는 것이 가능하다.
이하의 설명에서는, 하나의 화소(DPC)가 4개의 분할 화소 셀(DPC-A 내지 DPC-D)로 분할되어 있는 경우를 예로 설명한다.
도 5는, 본 실시 형태에 관한 화소 분할의 개념도이다.
도 5에는 베이어 배열인 경우의 분할 방법이 나타나 있고, 같은 색 필터의 아래에 있는 1화소를 4분할한 예로, 예를 들면 분할된 개개의 화소에서는 감도 또는 축적 시간이 각각 다르다.
도 5에서는, 한 예로서, G(녹)화소(PCG)를 DPC-A, DPC-B, DPC-C, DPC-D의 4개의 화소로 분할한 경우가 나타나 있다. 예를 들면 DPC-A와 DPC-B의 2개로 분할하는 것도 가능하다.
<2. 본 실시 형태의 특징적 구성>
본 실시 형태에서는, 상기 구성을 갖는 CMOS 이미지 센서(10)에서, 라이트 필드(Light Field) 기술을 적용하는 스테레오 카메라나 단안 3차원(3D) 스테레오 카메라에 적용 가능한 고체 촬상 소자로서 구성되어 있다.
이하, 스테레오 카메라나 단안 3차원(3D) 스테레오 카메라에 적용 가능한 고체 촬상 소자로서의 특징적인 구성에 관해 구체적으로 설명한다.
또한, 이하의 설명에서는, 도면 중에 나타내는 X-Y 좌표에 있어서, X방향이 제1 방향으로 상당하고, Y방향이 제2 방향으로 상당하고, X방향을 수평 방향 또는 횡방향이라고 말하고, Y방향을 수직 방향 또는 종방향이라고 말하는 경우도 있다.
<2-1. 제1의 특징적 구성례>
도 6은, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제1의 특징적 구성례를 도시하는 도면이다.
도 6의 CMOS 이미지 센서(10A)는, 스테레오 카메라에 적용 가능하고, 라이트 필드(LightField)의 스테레오판으로서, 멀티렌즈 어레이(Multi Lens Array)(34)로 LR시차 분리를 행한다.
이 구성에서는, 수평 해상도는 1/2가 되지만, 사이드 바이 사이드(Side by Side) 기록 방식과 매치하기 때문에 유용하다. 여기서, L은 스테레오에서의 좌(Left)를 나타내고, R은 스테레오에서의 우(Right)를 나타낸다.
CMOS 이미지 센서(10A)에서, 화소 어레이부(12A)는, 베이어 배열인 경우의 각 화소의 분할 방법이 채용되어 있다.
도 6에서는, G화소(PCG)(11-1), R화소(PCR)(11), G화소(PCG)(11-2), 및 B화소(PCB)(11)가 2×2의 베이어 배열이 되도록, 색 필터 어레이(33)가 형성되어 있다. 이 배열이 행렬형상으로 형성되어 있다.
도 6의 예에서는, 일부만을 나타내고, B화소(PCB)(11)의 횡방향으로 인접하여, 인접의 베이어 배열의 G화소(PCG1)(2-1)가 배치되고, G화소(PCG)(11-2)의 횡방향으로 인접하여, 인접의 베이어 배열의 R화소(PCR)(12)가 배치되어 있는 예를 나타내고 있다.
도 6의 예에서는, 제1행에 G화소(PCG)(11-1), B화소(PCB)(11), G화소(PCG1)(2-1)가 배치되고, 제2행에 R화소(PCR)(11), G화소(PCG)(11-2), R화소(PCR)(12)가 배열되어 있다.
그리고, 도 6의 예에서는, 각 G화소(PCG)(11-1), R화소(PCR)(11), G화소(PCG)(11-2), 및 B화소(PCB)(11)는 각각 횡방향(X방향)으로 2분할되어 있다.
G화소(PCG)(11-1)는, 화소(DPC-AG1, DPC-BG1)의 2개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다.
R화소(PCR)(11)는, 화소(DPC-AR1, DPC-BR1)의 2개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BR1)가 스테레오의 L용으로 할당되어 있다.
B화소(PCB)(11)는, 화소(DPC-AB1, DPC-BB1)의 2개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AB1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BB1)가 스테레오의 L용으로 할당되어 있다.
G화소(PCG)(11-2)는, 화소(DPC-AG1, DPC-BG1)의 2개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다.
G화소(PCG1)(2-1)는, 화소(DPC-AG1, DPC-BG1)의 2개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다.
R화소(PCR)(12)는, 화소(DPC-AR1, DPC-BR1)의 2개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BR1)가 스테레오의 L용으로 할당되어 있다.
본 예에서는, 화소 배열의 동일 열(Y방향의 배열)의 각 분할 화소는, 동일한 스테레오용의 R 및 L의 기능이 할당되어 있다.
환언하면, 화소 배열의 동일 행(X방향의 배열)의 각 분할 화소는, 스테레오용의 R 및 L의 기능이 교대로 할당되어 있다.
도 6에 도시하는 바와 같이, 반도체 기판(11)에는, 차광부(BLD)나 배선이 형성되고, 그 상층에 색 필터 어레이(33)가 형성되고, 색 필터 어레이(33)의 상층에 온칩 렌즈(OCL) 어레이(35)가 형성되어 있다.
온칩 렌즈 어레이(35)의 각 온칩 렌즈(OCL)는, 화소 어레이부(12A)에서 각 분할 화소에 대응하도록 행렬형상으로 형성되어 있다.
그리고, 온칩 렌즈 어레이(35)의 광 입사측에 대향하여, 멀티렌즈(ML)가 행렬형상으로 형성된 멀티렌즈 어레이(34)가 배치되어 있다.
도 6의 예에서는, 멀티렌즈 어레이(34)의 각 멀티렌즈(ML)의 횡방향(X방향)으로 공유하는 화소의 색이 통상의 배열과 달리, 공유하는 화소가 동일색이 아니라, 이질적인 색이 되도록 배치되어 있다.
도 6의 예에서는, 2개의 제1 멀티렌즈계(ML1), 제2 멀티렌즈계(ML2)가 도시되어 있다.
제1 멀티렌즈계(ML1)는, 제1행에서, G화소(PCG)(11-1)의 스테레오의 L용 분할 화소(DPC-BG1)와, G화소(PCG)(11-1)의 인접 B화소(PCB)(11)의 스테레오의 R용 분할 화소(DPC-AB1)에서 공유하도록 배치되어 있다.
마찬가지로, 제1 멀티렌즈계(ML1)는, 제2행에서, R화소(PCR)(11)의 스테레오의 L용 분할 화소(DPC-BR1)와, R화소(PCR)(11)의 인접 G화소(PCG)(11-2)의 스테레오의 R용 분할 화소(DPC-AG1)에서 공유하도록 배치되어 있다.
제2 멀티렌즈계(ML2)는, 제1행에서, B화소(PCB)(11)의 스테레오의 L용 분할 화소(DPC-BB1)와, B화소(PCB)(11)의 인접 G화소(PCG1)(2-1)의 스테레오의 R용 분할 화소(DPC-AG1)에서 공유하도록 배치되어 있다.
마찬가지로, 제2 멀티렌즈계(ML2)는, 제2행에서, G화소(PCG)(11-2)의 스테레오의 L용 분할 화소(DPC-BG1)와, G화소(PCG)(11-2)의 인접 R화소(PCR)(12)의 스테레오의 R용 분할 화소(DPC-AR1)에서 공유하도록 배치되어 있다.
이와 같이, 하나의 멀티렌즈(ML)에서 공유하는 색화소를 동색이 아니라 이색(different color)으로 함으로써 스테레오의 LR의 혼색(소광비)을, 렌즈 갭과 이색 분리로 개선하는 것이 가능해진다.
또한, 종방향(Y방향)을, 디스크리트 렌즈(DSCL)로 하는지 실린드리컬 렌즈(CYLDL)로 하는지는 선택 가능하다.
온칩 렌즈(OCL)가 없는 경우에는 디스크리트 렌즈(DSCL)로 하는 것에 보다 집광률의 향상을 도모할 수 있다.
또한, 도 6의 예에서는, 2개의 분할 화소에 걸치는 렌즈 형상은, 종방향(Y방향)으로 인접하는 공유되는 분할 화소의 렌즈와의 영향을 피하기 위해, 횡방향(X방향)으로 길다란 편평한 형상으로 된다.
<2-2. 제2의 특징적 구성례>
도 7은, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제2의 특징적 구성례를 도시하는 도면이다.
도 7의 CMOS 이미지 센서(10B)가 도 6의 CMOS 이미지 센서(10A)와 다른 점은, 다음과 같다.
도 7의 CMOS 이미지 센서(10B)는, 각 화소는 2분할이 아니고, 도 5에 도시하는 바와 같이, 2×2의 4분할로서, 종방향(상하)으로도 동색 필터를 배치하여, 동색 4화소로 시차와 와이드 다이내믹 레인지(WDR)의 2조건을 배분하고 있다.
이 구성에 의해, CMOS 이미지 센서(10B)는, 베이어 배열의 기본으로 한, 와이드 다이내믹 레인지(WDR)의 단안 3차원(3D) 스테레오 카메라에 적용 가능하게 구성되어 있다.
상기한 바와 같이, 도 7의 예에서는, 각 G화소(PCG)(11-1), R화소(PCR)(11), G화소(PCG)(11-2), 및 B화소(PCB)(11)는 각각 횡방향(X방향) 및 종방향(Y방향)으로 2×2로 4분할되어 있다.
G화소(PCG)(11-1)는, 화소(DPC-AG1, DPC-BG1, DPC-CG1, DPC-DG1)의 4개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-DG1)가 스테레오의 L용으로 할당되어 있다.
R화소(PCR)(11)는, 화소(DPC-AR1, DPC-BR1, DPC-CR1, DPC-DR1)의 4개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BR1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-DR1)가 스테레오의 L용으로 할당되어 있다.
B화소(PCB)(11)는, 화소(DPC-AB1, DPC-BB1, DPC-CB1, DPC-DB1)의 4개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AB1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BB1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CB1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-DB1)가 스테레오의 L용으로 할당되어 있다.
G화소(PCG)(11-2)는, 화소(DPC-AG1, DPC-BG1, DPC-CG1, DPC-DG1)의 4개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CG1)는 스테레오의 R용으로 할당되고, 분할 화소 분할 화소(DPC-DG1)가 스테레오의 L용으로 할당되어 있다.
G화소(PCG1)(2-1)는, 화소(DPC-AG1, DPC-BG1, DPC-CG1, DPC-DG1)의 4개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-DG1)가 스테레오의 L용으로 할당되어 있다.
R화소(PCR)(12)는, 화소(DPC-AR1, DPC-BR1, DPC-CR1, DPC-DR1)의 4개의 분할 화소를 포함하여 구성되어 있다. 이 예에서는, 분할 화소(DPC-AR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BR1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-DR1)가 스테레오의 L용으로 할당되어 있다.
본 예에서도, 화소 배열의 동일 열(Y방향의 배열)의 각 분할 화소는, 동일한 스테레오용의 R 및 L의 기능이 할당되어 있다.
환언하면, 화소 배열의 동일 행(X방향의 배열)의 각 분할 화소는, 스테레오용의 R 및 L의 기능이 교대로 할당되어 있다.
도 7에서는, 반도체 기판(11) 부분은 도면의 간략화를 위해 생략되고, 멀티렌즈 어레이(34)만이 도시되어 있다.
본 예에서도, 멀티렌즈 어레이(34)의 각 멀티렌즈(ML)의 횡방향(X방향)으로 공유하는 화소의 색이 통상의 배열과 달리, 공유하는 화소가 동색이 아니라, 이색이 되도록 배치되어 있다.
도 7의 예에서도, 2개의 제1 멀티렌즈계(ML1), 제2 멀티렌즈계(ML2)가 도시되어 있다.
제1 멀티렌즈계(ML1)는, 제1행에서, G화소(PCG)(11-1)의 스테레오의 L용 분할 화소(DPC-BG1)와, G화소(PCG)(11-1)의 인접 B화소(PCB)(11)의 스테레오의 R용 분할 화소(DPC-AB1)에서 공유하도록 배치되어 있다.
제1 멀티렌즈계(ML1)는, 제2행에서, G화소(PCG)(11-1)의 스테레오의 L용 분할 화소(DPC-DG1)와, G화소(PCG)(11-1)의 인접 B화소(PCB)(11)의 스테레오의 R용 분할 화소(DPC-CB1)에서 공유하도록 배치되어 있다.
제1 멀티렌즈계(ML1)는, 제3행에서, R화소(PCR)(11)의 스테레오의 L용 분할 화소(DPC-BR1)와, R화소(PCR)(11)의 인접 G화소(PCG)(11-2)의 스테레오의 R용 분할 화소(DPC-AG1)에서 공유하도록 배치되어 있다.
제1 멀티렌즈계(ML1)는, 제4행에서, R화소(PCR)(11)의 스테레오의 L용 분할 화소(DPC-DR1)와, R화소(PCR)(11)의 인접 G화소(PCG)(11-2)의 스테레오의 R용 분할 화소(DPC-CG1)에서 공유하도록 배치되어 있다.
제2 멀티렌즈계(ML2)는, 제1행에서, B화소(PCB)(11)의 스테레오의 L용 분할 화소(DPC-BB1)와, B화소(PCB)(111)의 인접 G화소(PCG1)(2-1)의 스테레오의 R용 분할 화소(DPC-AG1)에서 공유하도록 배치되어 있다.
제2 멀티렌즈계(ML2)는, 제2행에서, B화소(PCB)(11)의 스테레오의 L용 분할 화소(DPC-DB1)와, B화소(PCB)(11)의 인접 G화소(PCG1)(2-1)의 스테레오의 R용 분할 화소(DPC-CG1)에서 공유하도록 배치되어 있다.
제2 멀티렌즈계(ML2)는, 제3행에서, G화소(PCG)(11-2)의 스테레오의 L용 분할 화소(DPC-BG1)와, G화소(PCG)(11-2)의 인접 R화소(PCR)(12)의 스테레오의 R용 분할 화소(DPC-AB1)에서 공유하도록 배치되어 있다.
제2 멀티렌즈계(ML2)는, 제4행에서, G화소(PCG)(11-2)의 스테레오의 L용 분할 화소(DPC-DG1)와, G화소(PCG)(11-2)의 인접 R화소(PCR)(12)의 스테레오의 R용 분할 화소(DPC-CR1)에서 공유하도록 배치되어 있다.
이와 같이, 도 7의 예에서는 도 6의 예와 마찬가지로, 하나의 멀티렌즈(ML)에서 공유하는 색화소를 동색이 아니라 이색으로 함으로써 스테레오의 LR의 혼색(소광비)을, 렌즈 갭과 이 이색 분리로 개선하는 것이 가능해진다.
또한, 종방향(Y방향)을, 디스크리트 렌즈(DSCL)로 하는지 실린드리컬 렌즈(CYLDL)로 하는지는 선택 가능하다.
온칩 렌즈(OCL)가 없는 경우에는 디스크리트 렌즈(DSCL)로 하는 것에 보다 집광률의 향상을 도모할 수 있다.
또한, 도 7의 예에서도, 2개의 분할 화소에 걸치는 렌즈 형상은, 종방향(Y방향)으로 인접하는 공유되는 분할 화소의 렌즈와의 영향을 피하기 위해, 횡방향(X방향)으로 길다란 편평한 형상으로 된다.
그리고, 도 7의 예에서는, 와이드 다이내믹 레인지를 얻기 위해, 화소의 행 배열에서 행마다 교대로, 저감도와 고감도가 되도록 구성되어 있다.
와이드 다이내믹 레인지를 얻는, 저감도 화소와 고감도 화소의 구성은, 셔터 등에 의한 노광 제어 및, 색 필터의 투과율을 바꾸는 디바이스 구조의 어느것도 채용하는 것이 가능하다.
이 CMOS 이미지 센서(10B)는, 휴대 전화기 등의 휴대 전자 기기의 페이스·카메라 등에 적용 가능하다. 휴대 전자 기기의 페이스·카메라 등은, 하늘이 배경(백 그라운드)에 들어가는 것과, 얼굴이 근거리여서, 단안으로 WDR이 최적이다.
휴대 전자 기기에서는, 심도(Depth) 정보에 의한 유저 인터페이스(UI)에도 이용할 수 있다.
<2-3. 제3의 특징적 구성례>
도 8은, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제3의 특징적 구성례를 도시하는 도면이다.
도 8의 CMOS 이미지 센서(10C)가 도 7의 CMOS 이미지 센서(10B)와 다른 점은, 다음과 같다.
CMOS 이미지 센서(10C)에서는, 저감도와 고감도를 행마다 교대로, 저감도와 고감도가 되도록 구성되는 대신에, 각 행에서 L용 화소와 R용 화소를 저감도와 고감도로 설정하고, 또한 1행마다 L용 화소와 R용 화소의 감도를 교체하고 있다.
제1행에서는, L용 분할 화소가 고감도가 되고, R용 분할 화소가 저감도로 되어 있다.
제2행에서는, L용 분할 화소가 저감도가 되고, R용 분할 화소가 고감도로 되어 있다.
제3행에서는, L용 분할 화소가 고감도가 되고, R용 분할 화소가 저감도로 되어 있다.
제4행에서는, L용 분할 화소가 저감도가 되고, R용 분할 화소가 고감도로 되어 있다.
도 8의 예에서는, 각 색으로의 저감도(LR) 화상과, 고감도(LR) 화상의 합성시의 중심이 중앙에서 일치하기 때문에, 와이드 다이내믹 렌즈(WDR)tl의 공간 위상의 선형성이 유지되고, 해상도에의 악영향이 나오기 어려워진다.
<2-4. 제4의 특징적 구성례>
도 9는, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제4의 특징적 구성례를 도시하는 도면이다.
도 9의 CMOS 이미지 센서(10D)가 도 7의 CMOS 이미지 센서(10B)와 다른 점은, 행마다 L용 화소와 R용 화소를 교체하고 있는 것에 있다.
G화소(PCG)(11-1)에서, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CG1)는 스테레오의 L용으로 할당되고, 분할 화소(DPC-DG1)가 스테레오의 R용으로 할당되어 있다.
R화소(PCR)(11)에서, 분할 화소(DPC-AR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BR1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CR1)는 스테레오의 L용으로 할당되고, 분할 화소(DPC-DR1)가 스테레오의 R용으로 할당되어 있다.
B화소(PCB)(11)에서, 분할 화소(DPC-AB1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BB1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CB1)는 스테레오의 L용으로 할당되고, 분할 화소(DPC-DB1)가 스테레오의 R용으로 할당되어 있다.
G화소(PCG)(11-2)에서, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CG1)는 스테레오의 L용으로 할당되고, 분할 화소 분할 화소(DPC-DG1)가 스테레오의 R용으로 할당되어 있다.
G화소(PCG1)(2-1)에서, 분할 화소(DPC-AG1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BG1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CG1)는 스테레오의 L용으로 할당되고, 분할 화소(DPC-DG1)가 스테레오의 R용으로 할당되어 있다.
R화소(PCR)(12)에서, 분할 화소(DPC-AR1)는 스테레오의 R용으로 할당되고, 분할 화소(DPC-BR1)가 스테레오의 L용으로 할당되어 있다. 분할 화소(DPC-CR1)는 스테레오의 L용으로 할당되고, 분할 화소(DPC-DR1)가 스테레오의 R용으로 할당되어 있다.
도 9의 예에서는, 종방향(Y방향)으로 인접하는 공유분할 화소가, L과 R이 반주기 어긋나 있기 때문에, 멀티렌즈(ML)의 배치 가능 영역이 넓어지게 되고, 멀티렌즈(ML)의 형상을 편평하지 않고 보다 원형에 접근할 수 있고, 렌즈 형성이 용이해진다.
<2-5. 제5의 특징적 구성례>
도 10a 내지 도 10c는, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제5의 특징적 구성례를 도시하는 도면이다.
도 10의 CMOS 이미지 센서(10E)의 특징은, 기본적으로 지그재그 배열이 아니라 정방 배열(장방 배열)이지만, 행마다 L용 화소와 R용 화소를 교체하고 있는 것에 있다.
본 CMOS 이미지 센서(10E)에서는, 행마다 L용 화소와 R용 화소를 교체하고 있는 것에 더하여, 제1열, 제3열, 제5열, 제7열이 G화소만의 G화소 스트라이프로 되어 있다. 그리고, 각 G화소(PCG)는 X방향으로 인접하는 R화소(PCR) 또는 B화소(PCB)와 스테레오의 L측 화소 또는 R측 화소로서 기능하도록, 멀티렌즈(ML)가 배치되어 있다.
여기서는, 간단화를 위해, G화소는 부호 PCG로, B화소는 부호 PCB로, R화소는 부호 PCR로 나타내고 있다.
이 구성에서는, 멀티렌즈 어레이(34)의 각 멀티렌즈(ML)의 횡방향(X방향)으로 공유하는 화소의 색이 통상의 배열과 달리, 공유하는 화소가 동색이 아니라, 이색이 되도록 배치되어 있다.
도 10a의 예에서, 짝수행인 제2행 및 제4행의 G화소(PCG)는 스테레오의 L용의 화소(분할 화소)로서 할당되어 있다.
이에 대응하여, 이들 G화소(PCG)와 멀티렌즈(ML)를 공유하는 B화소(PCB) 또는 R화소(PCR)는 스테레오의 R용의 화소(분할 화소)로서 할당된다.
도 10a의 예에서, 홀수행인 제3행 및 제5행의 G화소(PCG)는 스테레오의 R용의 화소(분할 화소)로서 할당되어 있다.
이에 대응하여, 이들 G화소(PCG)와 멀티렌즈(ML)를 공유하는 B화소(PCB) 또는 R화소(PCR)는 스테레오의 L용의 화소(분할 화소)로서 할당된다.
도 10a의 화소 배열을 기준으로 하여, 예를 들면 도 10b에 도시하는 바와 같이, L시차 화소만으로, 이른바 베이어-허니컴(지그재그) 배열을 실현하는 것이 가능하다.
또한, 도 10a의 화소 배열을 기준으로 하여, 예를 들면 도 10c에 도시하는 바와 같이, R시차 화소만으로, 베이어-허니컴 배열을 실현하는 것이 가능하다.
이들의 구성에서는, Y방향의 L용 화소와 R용 화소의 가산으로 2D(차원) 지그재그 베이어 배열이 된다. 이 경우, 동일 수직 신호선에서의 가산이기 때문에, 가산 처리가 용이해진다.
도 10의 예에서도, 하나의 멀티렌즈(ML)에서 공유하는 색화소를 동색이 아니라 이색으로 함으로써 스테레오의 LR의 혼색(소광비)을, 렌즈 갭과 이 이색 분리로 개선하는 것이 가능해진다.
그리고, 도 10의 예에서는, 종방향(Y방향)으로 인접하는 공유분할 화소가, L과 R이 반주기 어긋나 있기 때문에, 멀티렌즈(ML)의 배치 가능 영역이 넓어지게 되고, 멀티렌즈(ML)의 형상을 편평하지 않고 보다 원형에 접근할 수가 있어서 렌즈 형성이 용이해진다.
<2-6. 제6의 특징적 구성례>
도 11a 내지 도 11c, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제6의 특징적 구성례를 도시하는 도면이다.
도 11의 CMOS 이미지 센서(10F)는, 기본적으로 지그재그 배열이 아니라 정방 배열(장방 배열)이지만, 행마다 L용 화소와 R용 화소를 교체하고 있는 것에 있다.
본 CMOS 이미지 센서(10F)에서는, 행마다 L용 화소와 R용 화소를 교체하고 있는 것에 더하여, 제2행, 제4행이 G화소만의 G화소 스트라이프로 되어 있다.
그리고, 각 G화소(PCG)는 X방향으로 인접하는 R화소(PCR) 또는 B화소(PCB)와 스테레오의 L측 화소 또는 R측 화소로서 기능하도록, 멀티렌즈(ML)가 배치되어 있다.
여기서는, 간단화를 위해, G화소는 부호 PCG로, B화소는 부호 PCB로, R화소는 부호 PCR로 나타내고 있다.
이 구성에서는, 제1행, 제3행, 제5행에서 멀티렌즈 어레이(34)의 각 멀티렌즈(ML)의 횡방향(X방향)으로 공유하는 화소의 색이 통상의 배열과 달리, 공유하는 화소가 동색이 아니라, 이색이 되도록 배치되어 있다.
즉, 제1행, 제3행, 제5행에서는, X방향으로 인접하는 B화소(PCB)와 R화소가 멀티렌즈(ML)를 공유하고, 또한쪽이 스테레오의 L용도 화소(분할 화소)로서 할당되고, 다른쪽이 R용도 화소(분할 화소)로서 할당되어 있다.
그리고, 제2행 및 제4행에서는, 인접하는 동색의 G화소(PCG)가 멀티렌즈(ML)를 공유하고, 또한쪽이 스테레오의 L용도 화소(분할 화소)로서 할당되고, 다른쪽이 R용도 화소(분할 화소)로서 할당되어 있다.
도 11a의 화소 배열을 기준으로 하여, 예를 들면 도 11b에 도시하는 바와 같이, L시차 화소만으로, 이른바 베이어-허니컴(지그재그) 배열을 실현하는 것이 가능하다.
또한, 도 11a의 화소 배열을 기준으로 하여, 예를 들면 도 11c에 도시하는 바와 같이, R시차 화소만으로, 베이어-허니컴 배열을 실현하는 것이 가능하다.
도 11의 예에서도, 하나의 멀티렌즈(ML)에서 공유하는 색화소를 동색이 아니라 이색으로 함으로써 스테레오의 LR의 혼색(소광비)을, 렌즈 갭과 이 이색 분리로 개선하는 것이 가능해진다.
그리고, 도 11의 예에서는, 종방향(Y방향)으로 인접하는 공유분할 화소가, L과 R이 반주기 어긋나 있기 때문에, 멀티렌즈(ML)의 배치 가능 영역이 넓어지게 되고, 멀티렌즈(ML)의 형상을 편평하지 않고 보다 원형에 접근할 수가 있어서 렌즈 형성이 용이해진다.
도 11의 예에서도, 종방향(Y방향)으로 인접하는 공유분할 화소가, L과 R이 반주기 어긋나 있기 때문에, 멀티렌즈(ML)의 배치 가능 영역이 넓어지게 되고, 멀티렌즈(ML)의 형상을 편평하지 않고 보다 원형에 접근할 수 있고, 렌즈 형성이 용이해진다.
<2-7. 제7의 특징적 구성례>
도 12는, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제7의 특징적 구성례를 도시하는 도면이다.
도 12의 CMOS 이미지 센서(10G)는, L용 화소와 R화상의 혼색(소광비)을 개선하기 위해, 광축(OX)의 변화에 맞춘 온칩 렌즈(OCL)와 멀티렌즈 어레이(MLA)(34)의 눈동자 보정을 시행한 것도 가능한 것을 나타내고 있다.
<2-8. 제8의 특징적 구성례>
도 13은, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)의 제8의 특징적 구성례를 도시하는 도면이다.
도 13의 CMOS 이미지 센서(10H)는, 베이어 배열이 아니라, 백(White)화소(PCW)를 이용한 화소 배열을 채용 가능한 것을 나타내고 있다.
여기서, 백화소도 색화소에 포함된다.
<3. 적용 가능한 단안 3D 스테레오 카메라의 구성례>
도 14는, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)가 적용되는 단안 3D 스테레오 카메라의 구성례를 도시하는 도면이다.
단안 3D 스테레오 카메라(100)는, 기본적으로, 멀티렌즈 어레이(34)의 피사체측에 결상 렌즈(111)를 포함하는 광학계(110)가 배치된다.
광학계(110)에는, 줌렌즈가 배치되어도 좋다.
이상 설명한 바와 같이, 본 실시 형태에 의하면, 이하의 효과를 얻을 수 있다.
본 실시 형태에 의하면, 라이트 필드(Light Field)의 스테레오판(版)으로서, 멀티렌즈 어레이(Multi Lens Array)(34)로 LR시차 분리를 행한다.
그리고, 적어도 일부에서, 하나의 멀티렌즈(ML)에서 공유하는 색화소를 동색이 아니라 이색으로 함으로써 스테레오의 LR의 혼색(소광비)을, 렌즈 갭과 이 이색 분리로 개선하는 것이 가능해진다.
또한, 동색 4화소로, 시차와 와이드 다이내믹 레인지의 2조건을 배분한다. 이에 의해, 1/4로 기록 정보가 감소하여도 되는 것을 전제로 하면, Quad형 4화소 동색 배열의 센서에 관해, 1조건을 고감도·저감도의 WDR에 이용하고, 또하나의 조건을 LR시차에 이용함으로써, 단안으로 스테레오의 WDR화상을 얻을 수 있다.
즉, 본 실시 형태에 의하면, 복잡한 구조와 복잡한 신호 처리를 필요로 하는 일 없이, 단안으로 스테레오의 와이드 다이내믹 레인지(WDR) 화상을 얻을 수 있다.
또한, 염가로 와이드 다이내믹 레인지(WDR)와 LR시차를 양립할 수 있다.
도 15는, 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)를 적용한 단안 3D 스테레오 카메라에서의 상높이 변화량의 피사체 거리 의존성을 도시하는 도면이다.
도 15에서, 횡축이 피사체 거리(㎜)를, 종축이 상높이(像高) 변화량(㎛)을 각각 나타내고 있다.
이 경우, 포커스점(点) 3m에서의 상높이 변화량의 피사체 거리 의존성을 나타낸다.
이 카메라에서는, 1.12㎛ 미세 화소 피치라도, 1.5m 이내가 아니면, 시차 화상의 분리 특성이 좋지 않는 것을 나타낸다.
따라서 본 실시 형태에 관한 고체 촬상 소자를 탑재한 단안 3D 스테레오 카메라는, 스테레오의 용도로서, 근거리 촬영에 적합하다고 말할 수 있다.
따라서 상술한 바와 같이, 휴대 전자 기기의 페이스·카메라에는 최적이다.
도 16은 본 실시 형태에 관한 고체 촬상 소자(CMOS 이미지 센서)를 적용한 단안 3D 스테레오 카메라에서의 피사체 거리에 대한 결상 변화량을 도시하는 도면이다.
도 16에서, 횡축이 피사체 거리(㎜)를, 종축이 상높이 변화량(㎛)을 각각 나타내고 있다.
도 16a는 화각 의존성을, 도 16b는 F치 의존성을, 도 16c는 줌 의존성을 각각 나타내고 있다.
여기서는, 소광비는 ∞이고, 초점 거리(f)가 28㎜ 정도의 광각에서는, 3/2inch 이하의 타원형의 단안 시차는 3m 이상은 취해질 수가 없다.
도 16의 예에서는 줌이 가장 효과적이라는 것을 알다.
또한, 본 실시 형태에서는, 화소 배열을 정방 배열로 하여 설명하였지만, RGB 베이어 배열 등을 45도 회전시킨 체크무늬 배열을 채용하는 것도 가능하다.
이와 같은 효과를 갖는 고체 촬상 소자는, 디지털 카메라나 비디오 카메라의 촬상 디바이스로서 적용할 수 있다.
<4. 카메라 시스템의 구성례>
도 17은, 본 실시 형태에 관한 고체 촬상 소자가 적용되는 카메라 시스템의 구성의 한 예를 도시하는 도면이다.
본 카메라 시스템(200)은, 도 17에 도시하는 바와 같이, 본 실시 형태에 관한 CMOS 이미지 센서(고체 촬상 소자)(10, 10A 내지 10H)가 적용 가능한 촬상 디바이스(210)를 갖는다.
카메라 시스템(200)은, 이 촬상 디바이스(210)의 화소 영역에 입사광을 유도하는(피사체상을 결상하는) 광학계, 예를 들면 입사광(상광)을 촬상 면상에 결상시키는 렌즈(220)를 갖는다.
카메라 시스템(200)은, 촬상 디바이스(210)를 구동하는 구동 회로(DRV)(230)와, 촬상 디바이스(210)의 출력 신호를 처리하는 신호 처리 회로(PRC)(240)를 갖는다.
구동 회로(230)는, 촬상 디바이스(210) 내의 회로를 구동하는 스타트 펄스나 클록 펄스를 포함하는 각종의 타이밍 신호를 생성하는 타이밍 제너레이터(도시 생략)를 가지며, 소정의 타이밍 신호로 촬상 디바이스(210)를 구동한다.
또한, 신호 처리 회로(240)는, 촬상 디바이스(210)의 출력 신호에 대해 소정의 신호 처리를 시행한다.
신호 처리 회로(240)에서 처리된 화상 신호는, 예를 들면 메모리 등의 기록 매체에 기록된다. 기록 매체에 기록된 화상 정보는, 프린터 등에 의해 하드 카피된다. 또한, 신호 처리 회로(240)에서 처리된 화상 신호를 액정 디스플레이 등으로 이루어지는 모니터에 동화로서 투영된다.
상술한 바와 같이, 디지털 카메라 등의 촬상 장치에서, 촬상 디바이스(210)로서, 선술한 고체 촬상 소자(10, 10A 내지 10H)를 탑재함으로써, 저소비 전력으로, 고정밀한 카메라가 실현될 수 있다.
또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.
(1) 복수의 색화소가 제1 방향 및 당해 제1 방향에 직교하는 제2 방향으로 행렬형상으로 배열된 화소 어레이부와,
복수의 상기 색화소에 걸처서 광을 입사하는 멀티렌즈가 배열된 멀티렌즈 어레이를 가지며,
상기 화소 어레이부의 각 색화소는,
상기 제1 방향 및 상기 제2 방향 중 적어도 한 방향으로 인접하는 색화소가 스테레오의 L용 화소와 R용 화소로 할당되고,
상기 멀티렌즈 어레이는,
상기 제1 방향에서, 적어도 일부가 서로 인접하는 색이 다른 이색(異色) 화소에 걸처서 광을 입사하도록 배치되어 있는
고체 촬상 소자.
(2) 상기 화소 어레이부의 인접하는 복수의 색화소 또는 하나의 상기 색화소가,
광감도 또는 전하의 축적량이 다른 영역으로 분할된 복수의 분할 화소를 포함하여 형성되고,
상기 각 분할 화소가 스테레오의 L용 화소와 R용 화소로 할당되고,
상기 멀티렌즈 어레이는,
상기 제1 방향에서, 적어도 일부가 서로 인접하는 색이 다른 이색 분할 화소에 걸처서 광을 입사하도록 배치되어 있는
상기 (1) 기재의 고체 촬상 소자.
(3) 상기 색화소는,
적어도 상기 제1 방향으로 복수의 분할 화소가 형성되고
인접하는 분할 화소가 스테레오의 L용 화소와 R용 화소로 할당되어 있는
상기 (2) 기재의 고체 촬상 소자.
(4) 상기 색화소는,
상기 제1 방향 및 상기 제2 방향으로 정방 배열이 되도록 복수의 분할 화소를 포함하여 형성되고,
색화소의 행렬 배열에서 행마다 교대로, 저감도와 고감도가 되도록 형성되어 있는
상기 (3) 기재의 고체 촬상 소자.
(5) 색화소의 행렬 배열에서, 동일 열에서 분할 화소가 스테레오의 동일한 L용 화소 또는 R용 화소가 되도록 할당되고, 당해 열의 인접 열에서 분할 화소가 스테레오의 동일한 R용 화소 또는 L용 화소가 되도록 할당되어 있는
상기 (3) 또는 (4) 기재의 고체 촬상 소자.
(6) 상기 제1 방향 및 상기 제2 방향으로 인접하는 분할 화소가 스테레오의 다른 L용 화소와 R용 화소가 되도록 할당되어 있는
상기 (4) 기재의 고체 촬상 소자.
(7) 색화소의 행렬 배열에서, 동일 행에서 분할 화소가 스테레오의 L용 화소가 고감도 또는 저감도로, R용 화소가 저감도 또는 고감도가 되도록 형성되고, 당해 행의 인접 열에서 분할 화소가 스테레오의 L용 화소가 저감도 또는 고감도로, R용 화소가 고감도 또는 저감도가 되도록 형성되어 있는
상기 (4) 기재의 고체 촬상 소자.
(8) 상기 화소 어레이부는,
수광부상에 배치된 색 필터 어레이와,
색 필터 어레이상에 각 하나의 분할 화소에 대응하도록 형성된 온칩 렌즈 어레이를 가지며,
상기 멀티렌즈 어레이는,
상기 온칩 렌즈 어레이의 광 입사측에 배치되고,
상기 멀티렌즈와 온칩 렌즈는, 광축의 변화에 맞추어서 눈동자 보정이 시행되어 있는
상기 (2)부터 (7)의 어느 하나에 기재된 고체 촬상 소자.
(9) 고체 촬상 소자와,
상기 고체 촬상 소자에 피사체상을 결상하는 광학계를 가지며,
상기 고체 촬상 소자는,
복수의 색화소가 제1 방향 및 당해 제1 방향에 직교하는 제2 방향으로 행렬형상으로 배열된 화소 어레이부와,
복수의 상기 색화소에 걸처서 광을 입사하는 멀티렌즈가 배열된 멀티렌즈 어레이를 가지며,
상기 화소 어레이부의 각 색화소는,
상기 제1 방향 및 상기 제2 방향 중 적어도 한 방향으로 인접하는 색화소가 스테레오의 L용 화소와 R용 화소로 할당되고,
상기 멀티렌즈 어레이는,
상기 제1 방향에서, 적어도 일부가 서로 인접하는 색이 다른 이색 화소에 걸처서 광을 입사하도록 배치되어 있는
카메라 시스템.
(10) 상기 화소 어레이부의 인접하는 복수의 색화소 또는 하나의 상기 색화소가,
광감도 또는 전하의 축적량이 다른 영역으로 분할된 복수의 분할 화소를 포함하여 형성되고,
상기 각 분할 화소가 스테레오의 L용 화소와 R용 화소로 할당되고,
상기 멀티렌즈 어레이는,
상기 제1 방향에서, 적어도 일부가 서로 인접하는 색이 다른 이색 분할 화소에 걸처서 광을 입사하도록 배치되어 있는
상기 (9) 기재의 카메라 시스템.
(11) 상기 색화소는,
적어도 상기 제1 방향으로 복수의 분할 화소가 형성되고
인접하는 분할 화소가 스테레오의 L용 화소와 R용 화소로 할당되어 있는
상기 (10) 기재의 카메라 시스템.
(12) 상기 색화소는,
상기 제1 방향 및 상기 제2 방향으로 정방 배열이 되도록 복수의 분할 화소를 포함하여 형성되고,
색화소의 행렬 배열에서 행마다 교대로, 저감도와 고감도가 되도록 형성되어 있는
상기 (11) 기재의 카메라 시스템.
(13) 색화소의 행렬 배열에서, 동일 열에서 분할 화소가 스테레오의 동일한 L용 화소 또는 R용 화소가 되도록 할당되고, 당해 열의 인접 열에서 분할 화소가 스테레오의 동일한 R용 화소 또는 L용 화소가 되도록 할당되어 있는
상기 (11) 또는 (12) 기재의 카메라 시스템.
(14) 상기 제1 방향 및 상기 제2 방향으로 인접하는 분할 화소가 스테레오의 다른 L용 화소와 R용 화소가 되도록 할당되어 있는
상기 (12) 기재의 카메라 시스템.
(15) 색화소의 행렬 배열에서, 동일 행에서 분할 화소가 스테레오의 L용 화소가 고감도 또는 저감도로, R용 화소가 저감도 또는 고감도가 되도록 형성되고, 당해 행의 인접 열에서 분할 화소가 스테레오의 L용 화소가 저감도 또는 고감도로, R용 화소가 고감도 또는 저감도가 되도록 형성되어 있는
상기 (12) 기재의 카메라 시스템.
(16) 상기 화소 어레이부는,
수광부상에 배치된 색 필터 어레이와,
색 필터 어레이상에 각 하나의 분할 화소에 대응하도록 형성된 온칩 렌즈 어레이를 가지며,
상기 멀티렌즈 어레이는,
상기 온칩 렌즈 어레이의 광 입사측에 배치되고,
상기 멀티렌즈와 온칩 렌즈는, 광축의 변화에 맞추어서 눈동자 보정이 시행되어 있는
상기 (10)부터 (15)의 어느 하나에 기재된 카메라 시스템.
이상, 본 발명을 상기 실시예에 입각하여 설명하였지만, 본 발명은 상기 실시예의 구성으로 한정되는 것이 아니고, 특허청구 범위의 각 청구 범위의 발명의 범위 내에서, 당업자라면 이룰 수 있을 각종 변형, 수정을 포함하는 것은 물론이다. 본 출원은, 본 발명은 JP 2011-043232호(2011년 2월 28일 출원) 및 JP 2011-115379호(2011년 5월 24일 출원)을 우선권으로 주장한 것이고, 이 출원은 참조함에 의해, 본 출원에 원용된다.
이상, 첨부 도면을 참조하면서 본 발명의 알맞는 실시 형태에 관해 설명하였지만, 본 발명은 이러한 예로 한정되지 않는 것은 말할 필요도 없다. 당업자라면, 특허청구의 범위에 기재된 범주 내에서, 각종의 변경예 또는 수정예를 상도할 수 있음은 분명하고, 그들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
10, 10A 내지 10H : 고체 촬상 소자(CMOS 이미지 센서)
11 : 반도체 기판(센서 칩)
12 : 화소 어레이부
13 : 수직 구동부
14 : 칼럼 처리부
15 : 수평 구동부
16 : 시스템 제어부
20 : 단위 화소
21 : 포토 다이오드
22 : 전송 트랜지스터
23 : 리셋 트랜지스터
24 : 증폭 트랜지스터
25 : 선택 트랜지스터
26 : FD(플로팅 디퓨전)부
31 : DSP 회로
32 : 화상 메모리
33 : 색 필터 어레이
34 : 멀티렌즈 어레이
OCL : 온칩 렌즈
ML, ML1, ML2 : 멀티렌즈
DPC-A 내지 DPC-D : 분할 화소
200 : 카메라 시스템
210 : 촬상 디바이스
220 : 렌즈
230 : 구동 회로
240 : 신호 처리 회로

Claims (16)

  1. 제1 화소부를 포함하고,
    상기 제1 화소부는,
    제1 광전변환 영역 및 상기 제1 광전변환 영역에 결합된 제1 전송 트랜지스터를 포함하는 제1 화소와,
    제2 광전변환 영역 및 상기 제1 광전변환 영역에 결합된 제2 전송 트랜지스터를 포함하는 제2 화소와,
    제3 광전변환 영역 및 상기 제1 광전변환 영역에 결합된 제3 전송 트랜지스터를 포함하는 제3 화소와,
    제4 광전변환 영역 및 상기 제4 광전변환 영역에 결합된 제4 전송 트랜지스터를 포함하는 제4 화소와,
    상기 제1 내지 제4 전송 트랜지스터에 결합된 제1 플로팅 디퓨전을 포함하고,
    제2 화소부를 포함하고,
    상기 제2 화소부는,
    상기 제1 화소부에 인접하게 배치되고,
    제5 광전변환 영역 및 상기 제5 광전변환 영역에 결합된 제5 전송 트랜지스터를 포함하는 제5 화소와,
    제6 광전변환 영역 및 상기 제6 광전변환 영역에 결합된 제6 전송 트랜지스터를 포함하는 제6 화소와,
    상기 제7 광전변환 영역 및 상기 제7 광전변환 영역에 결합된 제7 전송 트랜지스터를 포함하는 제7 화소와,
    제8 광전변환 영역 및 상기 제8 광전변환 영역에 결합된 제8 전송 트랜지스터를 포함하는 제8 화소와,
    상기 제5 내지 제8 전송 트랜지스터에 결합된 제2 플로팅 디퓨전을 포함하고,
    상기 제1 화소의 상기 제1 광전변환 영역 및 상기 제5 화소의 상기 제5 광전변환 영역 위에 배치된 멀티 렌즈를 포함하고,
    상기 제1 화소부의 제1 화소는 상기 제2 화소부의 제5 화소에 인접하여 배치되는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 멀티 렌즈는 LR 시차 분리를 수행하도록 구성된 것을 특징으로 하는 촬상 장치.
  3. 제1항에 있어서,
    상기 멀티 렌즈는 입사광을 상기 제1 광전변환 영역 및 상기 제5 광전변환 영역상에 집속시키는 것을 특징으로 하는 촬상 장치.
  4. 제1항에 있어서,
    상기 제1 내지 제4 화소가 2×2 배열로 배치되고, 상기 제5 내지 제8 화소가 2×2 배열로 배치되는 것을 특징으로 하는 촬상 장치.
  5. 제1항에 있어서,
    제1 색 필터가 상기 제1 화소의 상기 제1 광전변환 영역 및 상기 제1 화소에 인접하여 배치된 상기 제2 화소의 상기 제2 광전변환 영역의 위쪽에 배치되고,
    상기 제1 화소가 상기 제2 화소와 상기 제5 화소 사이에 배치되는 것을 특징으로 하는 촬상 장치.
  6. 제5항에 있어서,
    상기 제1 광전변환 영역 및 상기 제2 광전변환 영역은 제1 스펙트럼으로 필터링 된 광을 수신하도록 구성된 것을 특징으로 하는 촬상 장치.
  7. 제5항에 있어서,
    상기 제1 광전변환 영역 및 상기 제2 광전변환 영역은 상기 제1 색 필터를 투과한 광을 수광하도록 구성된 것을 특징으로 하는 촬상 장치.
  8. 제5항에 있어서,
    상기 제1 색 필터는 제1 스펙트럼의 광을 통과시키는 것을 특징으로 하는 촬상 장치.
  9. 제8항에 있어서,
    상기 제1 색 필터는 녹색광을 통과시키는 것을 특징으로 하는 촬상 장치.
  10. 제8항에 있어서,
    상기 제1 색 필터는 적색광을 통과하는 것을 특징으로 하는 촬상 장치.
  11. 제8항에 있어서,
    상기 제1 색 필터는 청색광을 통과시키는 것을 특징으로 하는 촬상 장치.
  12. 제1항에 있어서,
    상기 멀티 렌즈는 평면에서 보아 상기 제1 화소 및 상기 제2 화소와 중첩하는 것을 특징으로 하는 촬상 장치.
  13. 제12항에 있어서,
    상기 멀티 렌즈는, 평면에서 보아 상기 제2 화소의 적어도 일부와 상기 제6 화소의 적어도 일부와 중첩하고, 상기 제1 화소부의 상기 제2 화소는 제2 화소부의 제6 화소에 인접하여 배치되는 것을 특징으로 하는 촬상 장치.
  14. 제1항에 있어서,
    상기 멀티 렌즈는 타원형인 것을 특징으로 하는 촬상 장치.
  15. 제1항에 있어서,
    눈동자 보정이 상기 멀티 렌즈상에서 수행되는 것을 특징으로 하는 촬상 장치.
  16. 렌즈와,
    제1항에 기재된 촬상 장치와,
    구동부와,
    신호 처리 회로를 포함하는 것을 특징으로 하는 카메라 시스템.
KR1020187035387A 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템 KR20180133549A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2011-043232 2011-02-28
JP2011043232 2011-02-28
JP2011115379A JP2012195921A (ja) 2011-02-28 2011-05-24 固体撮像素子およびカメラシステム
JPJP-P-2011-115379 2011-05-24
PCT/JP2012/001145 WO2012117691A1 (en) 2011-02-28 2012-02-21 Solid-state imaging device and camera system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020839A Division KR101929596B1 (ko) 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197030067A Division KR102163310B1 (ko) 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템

Publications (1)

Publication Number Publication Date
KR20180133549A true KR20180133549A (ko) 2018-12-14

Family

ID=46757636

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020137020839A KR101929596B1 (ko) 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템
KR1020197030067A KR102163310B1 (ko) 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템
KR1020187035387A KR20180133549A (ko) 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020137020839A KR101929596B1 (ko) 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템
KR1020197030067A KR102163310B1 (ko) 2011-02-28 2012-02-21 고체 촬상 소자 및 카메라 시스템

Country Status (7)

Country Link
US (1) US9661306B2 (ko)
EP (1) EP2681906A4 (ko)
JP (1) JP2012195921A (ko)
KR (3) KR101929596B1 (ko)
CN (1) CN103392336B (ko)
TW (1) TWI487948B (ko)
WO (1) WO2012117691A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2717561B1 (en) * 2011-05-24 2019-03-27 Sony Semiconductor Solutions Corporation Solid-state imaging element and camera system
JP6119193B2 (ja) * 2012-02-24 2017-04-26 株式会社リコー 距離測定装置及び距離測定方法
EP2835965B1 (en) * 2012-03-30 2017-05-03 Nikon Corporation Imaging device and image sensor
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
JP6164849B2 (ja) * 2013-01-18 2017-07-19 キヤノン株式会社 信号処理装置、撮像装置、および、撮像システム
JP2014187160A (ja) * 2013-03-22 2014-10-02 Toshiba Corp 固体撮像装置および携帯情報端末
JP6149544B2 (ja) * 2013-06-28 2017-06-21 株式会社ニコン 撮像装置および制御プログラム
JP6417809B2 (ja) * 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
JP6418785B2 (ja) 2014-05-21 2018-11-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
GB2532728A (en) * 2014-11-25 2016-06-01 Nokia Technologies Oy A semiconductor chip, a method, an apparatus and a computer program product for image capturing
CN104717482A (zh) * 2015-03-12 2015-06-17 天津大学 多光谱多景深阵列拍摄方法与拍摄相机
CN104857968A (zh) * 2015-04-23 2015-08-26 中国科学院大连化学物理研究所 一种低碳烃和co2转化催化剂及其应用
WO2016203974A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 イメージセンサ、および電子機器
EP3131292B1 (en) * 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
JP2017046020A (ja) * 2015-08-24 2017-03-02 株式会社東芝 固体撮像装置
KR102524400B1 (ko) * 2016-07-04 2023-04-24 에스케이하이닉스 주식회사 하나의 컬러 필터 및 하나의 마이크로렌즈를 공유하는 다수 개의 포토다이오드들을 갖는 이미지 센서
JP2018160935A (ja) * 2018-07-11 2018-10-11 株式会社ニコン 撮像素子および撮像装置
JP6910680B1 (ja) * 2020-12-25 2021-07-28 株式会社ＳｅｎｓＡＩ 撮像システム
KR20220118022A (ko) 2021-02-18 2022-08-25 에스케이하이닉스 주식회사 이미지 센싱 장치
JP7487151B2 (ja) * 2021-06-29 2024-05-20 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の製造方法、および電子機器
WO2023184212A1 (en) * 2022-03-30 2023-10-05 Huawei Technologies Co., Ltd. Imaging device, method and computer program

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821703B2 (ja) * 1990-07-17 1996-03-04 株式会社東芝 固体撮像素子
JP3542397B2 (ja) * 1995-03-20 2004-07-14 キヤノン株式会社 撮像装置
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
GB2354899A (en) * 1999-10-02 2001-04-04 Sharp Kk Optical device for projection display
JP2003018445A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP2004191893A (ja) * 2002-12-13 2004-07-08 Canon Inc 撮像装置
JP4075669B2 (ja) 2003-04-03 2008-04-16 ソニー株式会社 固体撮像素子
US7372629B2 (en) * 2003-11-06 2008-05-13 Nec Corporation Three-dimensional image display device, portable terminal device, display panel and fly eye lens
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP5040493B2 (ja) * 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
JP4984981B2 (ja) 2007-03-08 2012-07-25 ソニー株式会社 撮像方法および撮像装置並びに駆動装置
JP5224124B2 (ja) * 2007-12-12 2013-07-03 ソニー株式会社 撮像装置
US20090219432A1 (en) 2008-02-29 2009-09-03 Palum Russell J Sensor with multi-perspective image capture
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
EP2681906A1 (en) 2014-01-08
KR20190120409A (ko) 2019-10-23
KR101929596B1 (ko) 2018-12-14
KR102163310B1 (ko) 2020-10-08
CN103392336A (zh) 2013-11-13
WO2012117691A1 (en) 2012-09-07
CN103392336B (zh) 2017-07-07
KR20140038365A (ko) 2014-03-28
TWI487948B (zh) 2015-06-11
US9661306B2 (en) 2017-05-23
EP2681906A4 (en) 2014-11-26
TW201245767A (en) 2012-11-16
JP2012195921A (ja) 2012-10-11
US20130307940A1 (en) 2013-11-21

Similar Documents

Publication Publication Date Title
KR101929596B1 (ko) 고체 촬상 소자 및 카메라 시스템
US10728477B2 (en) Solid-state image pickup device and camera system
JP7264187B2 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
KR101696463B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP6408372B2 (ja) 固体撮像装置及びその駆動制御方法、並びに、電子機器
US8466998B2 (en) Solid-state image sensor and imaging apparatus equipped with solid-state image sensor
US20180077372A1 (en) Solid-state imaging element and driving method therefor, and electronic apparatus
CN107197179B (zh) 摄像元件及摄像装置
WO2013108656A1 (ja) 固体撮像素子およびカメラシステム
KR20120061751A (ko) 촬상장치
US20220336508A1 (en) Image sensor, camera assembly and mobile terminal
JP2007110496A (ja) 固体撮像素子の制御回路および固体撮像素子の駆動方法
JP2005110104A (ja) 固体撮像装置
JPWO2018062561A1 (ja) 撮像素子およびカメラ
JP2024073964A (ja) 撮像素子及び撮像装置
CN115550574A (zh) 固体摄像装置、固体摄像装置的制造方法、以及电子机器
JP2010193502A (ja) 撮像装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2019101003393; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20191014

Effective date: 20210114