KR102501604B1 - 고체 촬상 소자 및 전자기기 - Google Patents

고체 촬상 소자 및 전자기기 Download PDF

Info

Publication number
KR102501604B1
KR102501604B1 KR1020227038241A KR20227038241A KR102501604B1 KR 102501604 B1 KR102501604 B1 KR 102501604B1 KR 1020227038241 A KR1020227038241 A KR 1020227038241A KR 20227038241 A KR20227038241 A KR 20227038241A KR 102501604 B1 KR102501604 B1 KR 102501604B1
Authority
KR
South Korea
Prior art keywords
pixels
pixel
signal
wavelength band
light
Prior art date
Application number
KR1020227038241A
Other languages
English (en)
Other versions
KR20220153101A (ko
Inventor
코조 호시노
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority to KR1020237005262A priority Critical patent/KR20230028577A/ko
Publication of KR20220153101A publication Critical patent/KR20220153101A/ko
Application granted granted Critical
Publication of KR102501604B1 publication Critical patent/KR102501604B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 기술은, 고다이나믹 레인지 화상 생성용 신호와, 위상차 검출용 신호를 동시에 취득할 수 있도록 하는 고체 촬상 소자 및 전자기기에 관한 것이다. 고체 촬상 소자는, 같은 색의 컬러 필터를 갖는 복수의 화소로 이루어지는 화소 세트를, 복수의 색에 대응하여 복수 갖는다. 화소는, 복수의 포토다이오드(PD)를 구비한다. 본 기술은, 예를 들면, 고다이나믹 레인지 화상을 생성함과 함께, 위상차 검출을 행하는 고체 촬상 소자 등에 적용할 수 있다.

Description

고체 촬상 소자 및 전자기기{SOLID-STATE IMAGING ELEMENT AND ELECTRONIC DEVICE}
본 기술은, 고체 촬상 소자 및 전자기기에 관한 것으로, 특히, 고다이나믹 레인지 화상 생성용 신호와, 위상차 검출용 신호를 동시에 취득할 수 있도록 한 고체 촬상 소자 및 전자기기에 관한 것이다.
고다이나믹 레인지 화상(이하, HDR 화상이라고도 함)을 생성하기 위한 고감도 신호와 저감도 신호의 2종류의 화소 신호의 취득과, 측거용의 위상차 검출 신호의 취득을 동시에 실현하는 고체 촬상 소자가 제안되고 있다(예를 들면, 특허문헌 1 참조).
특허문헌 1: 일본특허공개공보 2016-171308호 공보
특허문헌 1의 화소 구조에서는, 1개의 온 칩 렌즈 아래에 3개의 포토다이오드가 형성되는데, 온 칩 렌즈의 곡률을 높여 굴절력을 높임으로써 각도 의존성을 향상시켜 위상차 특성에 특화시키면 HDR 화상 생성이 곤란하게 되고, 반대로 온 칩 렌즈의 곡률을 낮추어 굴절력을 낮춤으로써 각도 의존성을 저하시켜 HDR 화상 생성을 양호하게 하고자 특화시키면 위상차 특성의 분리도가 악화되기 때문에, 위상차 특성과 HDR 특성의 양립이 어렵다. 1개의 온 칩 렌즈의 곡률을 바꾸는 렌즈 구조도 제안되고 있지만, 형상 편차에 민감해지기 때문에, 양산이 어렵다.
본 기술은, 이와 같은 상황을 감안하여 이루어진 것으로, 고다이나믹 레인지 화상 생성용 신호와, 위상차 검출용 신호를 동시에 취득할 수 있도록 하는 것이다.
본 기술의 제1 측면의 고체 촬상 소자는, 같은 색의 컬러 필터를 갖는 화소 세트를 복수의 색에 대응하여 복수 포함하고, 상기 화소 세트는 복수의 화소를 구비하고, 상기 화소는 복수의 광전 변환부를 구비한다.
본 기술의 제2 측면의 전자기기는, 같은 색의 컬러 필터를 갖는 화소 세트를 복수의 색에 대응하여 복수 포함하고, 상기 화소 세트는 복수의 화소를 구비하고, 상기 화소는 복수의 광전 변환부를 구비하는 고체 촬상 소자를 구비한다.
본 기술의 제1 및 제2 측면에 있어서는, 같은 색의 컬러 필터를 갖는 화소 세트가, 복수의 색에 대응하여 복수 설치되고, 상기 화소 세트에는 복수의 화소가 설치되고, 상기 화소에는 복수의 광전 변환부가 설치된다.
고체 촬상 소자 및 전자기기는, 독립된 장치이어도 되고, 다른 장치에 조립되는 모듈이어도 된다.
본 기술의 제1 및 제2 측면에 의하면, 고다이나믹 레인지 화상 생성용 신호와, 위상차 검출용 신호를 동시에 취득할 수 있다.
한편, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어떠한 효과이어도 된다.
도 1은 본 기술을 적용한 고체 촬상 소자의 개략 구성을 나타내는 도면이다.
도 2는 도 1의 고체 촬상 소자의 화소 어레이부의 제1 단면 구성예를 나타내는 도면이다
도 3은 컬러 필터의 색 배열에 대해서 설명하는 도면이다.
도 4는 화소 세트의 회로 구성을 나타내는 도면이다.
도 5는 화소 세트의 전송 트랜지스터를 제어하는 신호선의 구성을 나타내는 도면이다
도 6은 고체 촬상 소자가 풀 해상도 모드로 동작하는 경우의 구동을 설명하는 도면이다.
도 7은 풀 해상도 모드의 변형예를 설명하는 도면이다.
도 8은 고체 촬상 소자가 4화소 가산 위상차 검출 모드로 동작할 경우의 구동을 설명하는 도면이다.
도 9는 고체 촬상 소자가 위상차 HDR 제1 모드로 동작할 경우의 구동을 설명하는 도면이다.
도 10은 위상차 HDR 제1 모드에 있어서의 화소 신호의 판독 순서를 나타내는 도면이다
도 11은 고체 촬상 소자가 위상차 HDR 제2 모드로 동작할 경우의 구동을 설명하는 도면이다.
도 12는 위상차 HDR 제2 모드에 있어서의 화소 신호의 판독 순서를 나타내는 도면이다
도 13은 위상차 HDR 제1 모드에 특화한 신호선의 배선 예를 제시하는 도면이다.
도 14는 위상차 HDR 제2 모드에 특화한 신호선의 배선 예를 제시하는 도면이다.
도 15는 컬러 필터의 색 배열의 변형예를 나타내는 도면이다.
도 16은 포토다이오드(PD)의 배치 방향의 변형예를 나타내는 도면이다.
도 17은 온 칩 렌즈의 배치 변형예를 나타내는 도면이다.
도 18은 도 1의 고체 촬상 소자의 화소 어레이부의 제2 단면 구성예를 나타내는 도면이다
도 19는 도 18의 절연층의 형성 영역을 나타내는 평면도이다.
도 20은 도 1의 고체 촬상 소자의 화소 어레이부의 제3 단면 구성예를 나타내는 도면이다
도 21은 도 18의 절연층과 불순물층의 형성 영역을 나타내는 평면도이다.
도 22는 도 21의 불순물층의 포텐셜을 설명하는 도면이다.
도 23은 도 20의 제3 단면 구성예의 변형예를 나타내는 도면이다.
도 24는 포토다이오드(PD)의 상방에 차광막을 배치한 제1 구성을 나타내는 평면도이다.
도 25는 포토다이오드(PD)의 상방에 차광막을 배치한 제2 구성을 나타내는 평면도이다.
도 26은 포토다이오드(PD)의 상방에 차광막을 배치한 제3 구성을 나타내는 평면도이다.
도 27은 포토다이오드(PD)의 상방에 차광막을 배치한 제4 구성을 나타내는 평면도이다.
도 28은 도 1의 고체 촬상 소자의 그 밖의 변형예를 나타내는 도면이다.
도 29는 도 1의 고체 촬상 소자의 또 다른 변형예를 나타내는 도면이다.
도 30은 화소 트랜지스터의 배치예를 나타내는 평면도이다.
도 31은 본 기술을 적용한 전자기기로서의 촬상 장치의 구성예를 나타내는 블록도이다.
도 32는 이미지 센서의 사용예를 설명하는 도면이다.
도 33은 내시경수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 34는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
도 35는 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 36은 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
이하, 본 기술을 실시하기 위한 형태(이하, 실시형태라고 함)에 대해서 설명한다. 또한, 설명은 이하의 순서로 한다.
1. 고체 촬상 소자의 개략 구성예
2. 화소의 제1 단면 구성예
3. 컬러 필터의 배치예
4. 화소 세트의 회로 구성예
5. 출력 모드의 설명
6. 컬러 필터의 색 배열의 변형예
7. 포토다이오드의 배치 방향의 변형예
8. 온 칩 렌즈의 배치의 변형예
9. 화소의 제2 단면 구성예
10. 화소의 제3 단면 구성예
11. 차광막을 추가한 구성예
12. 그 밖의 변형예
13. 화소 트랜지스터 배치예
14. 전자기기에의 적용예
15. 내시경수술 시스템에의 응용예
16. 이동체에의 응용예
<1. 고체 촬상 소자의 개략 구성예>
도 1은, 본 기술을 적용한 고체 촬상 소자의 개략 구성을 나타내고 있다.
도 1의 고체 촬상 소자(1)는, 반도체로서 예를 들면 실리콘(Si)을 이용한 반도체 기판(12)에, 화소(2)가 행렬 형상으로 2차원 배열된 화소 어레이부(3)와, 그 주변의 주변회로부를 가지고 구성된다. 주변회로부에는, 수직 구동 회로(4), 컬럼 신호 처리 회로(5), 수평 구동 회로(6), 출력 회로(7), 제어 회로(8) 등이 포함된다.
화소(2)는, 광전 변환부로서의 포토다이오드와, 복수의 화소 트랜지스터를 가지고 이루어진다. 또한, 화소(2)는, 도 4를 참조하여 후술하는 바와 같이, 포토다이오드에서 생성된 전하를 보유하는 전하 보유부로서의 플로팅 디퓨전(부유 확산 영역)을, 복수의 화소(2)에서 공유하는 공유 화소 구조로 형성되어 있다. 공유 화소 구조에서는, 포토다이오드 및 전송 트랜지스터가 화소 마다 설치되고, 선택 트랜지스터, 리셋 트랜지스터 및 증폭 트랜지스터가 복수의 화소에서 공유되어 구성된다.
제어 회로(8)는, 입력 클럭과, 동작 모드 등을 지령하는 데이터를 수취하고, 또한 고체 촬상 소자(1)의 내부 정보 등의 데이터를 출력한다. 즉, 제어 회로(8)는, 수직 동기 신호, 수평 동기 신호 및 마스터 클럭에 기초하여, 수직 구동 회로(4), 컬럼 신호 처리 회로(5) 및 수평 구동 회로(6) 등의 동작의 기준이 되는 클럭 신호나 제어 신호를 생성한다. 그리고, 제어 회로(8)는, 생성한 클럭 신호나 제어 신호를, 수직 구동 회로(4), 컬럼 신호 처리 회로(5) 및 수평 구동 회로(6) 등으로 출력한다.
수직 구동 회로(4)는, 예를 들면 시프트 레지스터에 의해 구성되어, 소정의 화소 구동 배선(10)을 선택하고, 선택된 화소 구동 배선(10)에 화소(2)를 구동하기 위한 펄스를 공급하여, 행 단위로 화소(2)를 구동한다. 즉, 수직 구동 회로(4)는, 화소 어레이부(3)의 각 화소(2)를 행 단위로 순차적으로 수직 방향으로 선택 주사하고, 각 화소(2)의 광전 변환부에서 수광량에 따라 생성된 신호 전하에 기초하는 화소 신호를, 수직 신호선(9)을 통해 컬럼 신호 처리 회로(5)로 출력하는 제어를 행한다.
컬럼 신호 처리 회로(5)는, 화소(2)의 열마다 배치되어 있으며, 1행분의 화소(2)로부터 출력되는 신호를 화소 열마다 노이즈 제거 등의 신호 처리를 행한다. 예를 들면, 컬럼 신호 처리 회로(5)는, 화소 고유의 고정 패턴 노이즈를 제거하기 위한 CDS(Correlated Double Sampling: 상관 이중 샘플링) 및 AD 변환 등의 신호 처리를 행한다.
수평 구동 회로(6)는, 예를 들면 시프트 레지스터에 의해 구성되어, 수평 주사 펄스를 순차 출력함으로써, 컬럼 신호 처리 회로(5)의 각각을 순서대로 선택하여, 컬럼 신호 처리 회로(5)의 각각으로부터 화소 신호를 수평 신호선(11)으로 출력시킨다.
출력 회로(7)는, 컬럼 신호 처리 회로(5)의 각각으로부터 수평 신호선(11)을 통해 순차적으로 공급되는 신호에 대해, 소정의 신호 처리를 행하여 출력한다. 출력 회로(7)는, 예를 들면, 버퍼링만 할 경우도 있고, 흑(black) 레벨 조정, 열 편차 보정 등의 각종 디지털 신호 처리 등이 행해지는 경우도 있다. 입출력 단자(13)는, 외부와 신호의 교환을 한다.
이상과 같이 구성되는 고체 촬상 소자(1)는, CDS 처리와 AD 변환 처리를 행하는 컬럼 신호 처리 회로(5)가 화소 열마다 배치된 컬럼 AD 방식이라고 불리는 CMOS 이미지 센서이다.
또한, 고체 촬상 소자(1)는, 복수매의 기판을 적층한 적층 구조의 칩으로 구성되어도 된다. 복수매의 기판을 적층한 칩은, 하측 기판 및 상측 기판이 그 순서대로 아래에서부터 위로 적층되어 구성된다. 하측 기판에는, 제어 회로(8), 수직 구동 회로(4), 컬럼 신호 처리 회로(5), 수평 구동 회로(6) 및 출력 회로(7) 중 적어도 하나 이상이 형성되며, 상측 기판에는, 적어도 화소 어레이부(3)가 형성된다. 수직 구동 회로(4)와 화소 어레이부(3)와의 사이, 및 컬럼 신호 처리 회로(5)와 화소 어레이부(3)와의 사이는, 접속부에 의해 접속됨으로써 하측 기판과 상측 기판과의 사이에서 신호가 전달된다. 접속부는, 예를 들면 TSV(Through Silicon Via)나 Cu-Cu 등으로 형성된다.
<2. 화소의 제1 단면 구성예>
도 2는, 도 1의 고체 촬상 소자(1)의 화소 어레이부(3)의 제1 단면 구성예를 나타내는 도면이다.
고체 촬상 소자(1)의 화소 어레이부(3)에서는, 반도체 기판(12)의, 예를 들면, P형(제1 도전형)의 반도체 영역(31)에, N형(제2 도전형)의 반도체 영역(32)을 형성함으로써, 포토다이오드(PD)가 형성되어 있다. 화소 어레이부(3)의 각 화소(2)에는, 1화소에 대해 2개의 포토다이오드(PD)가 형성되어 있으며, 2개의 포토다이오드(PD)는, 화소 영역을 균등하게 2분할하여 대칭 배치가 되도록 형성되어 있다. 또한, 이하에서는, 1화소에 형성된 2개의 포토다이오드(PD) 중, 도면 중 오른쪽에 배치된 포토다이오드(PD)를 우 포토다이오드(PD), 왼쪽에 배치된 포토다이오드(PD)를 좌 포토다이오드(PD)라고 칭하여 설명하는 경우가 있다.
도 2에서 하측이 되는 반도체 기판(12)의 표면측에는, 각 화소(2)의 포토다이오드(PD)에서 생성되어 축적된 전하의 판독 등을 행하는 화소 트랜지스터(미도시)와, 복수의 배선층(33)과 층간 절연막(34)으로 이루어지는 다층 배선층(35)이 형성되어 있다.
한편, 도 2에서 상측이 되는 반도체 기판(12)의 이면측의 화소 경계 부분에는, 화소간 차광막(36)이 형성되어 있다. 화소간 차광막(36)은, 광을 차광하는 재료이면 되나, 차광성이 강하면서 미세가공, 예를 들면 에칭으로 정밀도 좋게 가공할 수 있는 재료가 바람직하다. 화소간 차광막(36)은, 예를 들면, 텅스텐(W), 알루미늄(Al), 구리(Cu), 티탄(Ti), 몰리브덴(Mo), 니켈(Ni) 등의 금속막으로 형성할 수 있다.
또한, 반도체 기판(12)의 이면측 계면에는, 예를 들면, 실리콘 산화막 등에 의한 반사 방지막(절연층) 등을 더 형성하여도 된다.
화소간 차광막(36)을 포함하는 반도체 기판(12)의 이면 위에는, 컬러 필터(37)가 형성되어 있다. 컬러 필터(37)는, 예를 들면 안료나 염료 등의 색소를 포함한 감광성 수지를 회전 도포함으로써 형성된다. 컬러 필터(37)의 색 배열에 대해서는 도 3을 참조하여 후술하겠으나, 2x2 (2행 2열)의 4화소 단위로, R(적색), G(녹색) 또는 B(청색)의 각 색이 베이어 배열(Bayer array)로 배치되어 있다.
컬러 필터(37) 위에는, 온 칩 렌즈(38)가 화소 단위로 형성되어 있다. 온 칩 렌즈(38)는, 예를 들면, 스티렌계 수지, 아크릴계 수지, 스티렌-아크릴 공중합계 수지, 또는 실록산(siloxane)계 수지 등의 수지계 재료로 형성된다.
이상과 같이, 고체 촬상 소자(1)는, 다층 배선층(35)이 형성된 반도체 기판(12)의 표면측과 반대측의 이면측에, 컬러 필터(37)나 온 칩 렌즈(38)를 형성하고, 이면측으로부터 광이 입사되는 이면 조사형의 CMOS 고체 촬상 소자이다.
고체 촬상 소자(1)의 각 화소(2)는, 화소 내에, 분리된 2개의 포토다이오드(PD)를 가진다. 2개의 포토다이오드(PD)는, 형성 위치가 다름으로써, 2개의 포토다이오드(PD) 각각으로부터 생성되는 상에 어긋남이 발생한다. 이 상의 어긋남으로부터, 위상 어긋남량을 산출하여 디포커스(defocusing)량을 산출하고, 촬영 렌즈를 조정(이동)함으로써, 오토 포커스를 달성할 수 있다.
<3. 컬러 필터의 배치예>
다음으로, 도 3을 참조하여, 화소 어레이부(3)의 컬러 필터(37)의 색 배열에 대해서 설명한다.
화소(2)가 행렬 형상으로 2차원 배열된 화소 어레이부(3)에 있어서는, 2x2 (세로 2화소×가로 2화소)의 4개의 화소(2)로 1개의 화소 세트(51)가 구성된다. 그리고, 컬러 필터(37)는, 화소 세트(51) 단위로 동일한 색이 되도록 배치된다. 보다 구체적으로는, R, G 및 B의 컬러 필터(37)가, 화소 세트(51) 단위로 베이어 배열이 되도록 배치되어 있다.
도 3에서는, R의 컬러 필터(37)를 가지는 화소 세트(51)를 화소 세트(51R)로 나타내고, 화소 세트(51R)의 이웃하는 G의 컬러 필터(37)를 가지는 화소 세트(51)를 화소 세트(51Gr)로 나타내고 있다. 또한, B의 컬러 필터(37)를 가지는 화소 세트(51)를 화소 세트(51B)로 나타내고, 화소 세트(51B)의 옆의 G의 컬러 필터(37)를 가지는 화소 세트(51)를 화소 세트(51Gb)로 나타내고 있다. 한편, 컬러 필터의 구성은 RGB의 원색계 필터로 한정되지 않고, CMYG(시안, 마젠타, 옐로우, 그린) 등의 보색계 필터 등, 다양한 구성이 적용되어도 된다.
또한, 각 화소(2)에 형성된 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향은, 화소 세트(51) 내에서 동일 방향이면서, 모든 화소 세트(51)에서도 동일 방향으로 형성되어 있다.
온 칩 렌즈(38)는, 화소 단위로 형성되어 있다.
<4. 화소 세트의 회로 구성예>
다음으로, 도 4는, 화소 세트(51)의 회로 구성을 나타내는 도면이다.
도 4에는, 화소 세트(51)의 일례로서, 화소 세트(51Gr)의 회로 구성이 도시되어 있다.
화소 세트(51Gr)의 각 화소(2)는, 2개의 포토다이오드(PD)와, 이들에 축적된 전하를 전송하는 2개의 전송 트랜지스터(TG)를 가지고 있다. 그리고, FD(52), 리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)의 각각은, 화소 세트(51Gr)에 대해 1개씩 설치되어 있다. 리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)의 각각은, 화소 세트(51Gr)의 4화소에서 공유된다. 리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)를 공유하는 4화소가 공유 단위가 된다.
한편, 이하에서는, 화소 세트(51Gr) 내의 각 화소(2)에 2개의 포토다이오드(PD)와 2개의 전송 트랜지스터(TG)를 구별할 경우, 화소 세트(51Gr)를 구성하는 2x2의 4화소 중, 좌상의 화소(2)의 2개의 포토다이오드(PD)를, 포토다이오드(PD_Gr1L 및 PD_Gr1R)이라고 칭하고, 포토다이오드(PD_Gr1L 및 PD_Gr1R)에 축적된 전하를 전송하는 2개의 전송 트랜지스터(TG)를, 전송 트랜지스터(TG_Gr1L 및 TG_Gr1R)이라고 칭한다.
또한, 우상의 화소(2)의 2개의 포토다이오드(PD)를, 포토다이오드(PD_Gr2L 및 PD_Gr2R)이라고 칭하고, 포토다이오드(PD_Gr2L 및 PD_Gr2R)에 축적된 전하를 전송하는 2개의 전송 트랜지스터(TG)를, 전송 트랜지스터(TG_Gr2L 및 TG_Gr2R)이라고 칭한다.
마찬가지로, 좌하의 화소(2)에 2개의 포토다이오드(PD)를, 포토다이오드(PD_Gr3L 및 PD_Gr3R)이라고 칭하고, 포토다이오드(PD_Gr3L 및 PD_Gr3R)에 축적된 전하를 전송하는 2개의 전송 트랜지스터(TG)를, 전송 트랜지스터(TG_Gr3L 및 TG_Gr3R)이라고 칭한다. 우하의 화소(2)에 2개의 포토다이오드(PD)를, 포토다이오드(PD_Gr4L 및 PD_Gr4R)이라고 칭하고, 포토다이오드(PD_Gr4L 및 PD_Gr4R)에 축적된 전하를 전송하는 2개의 전송 트랜지스터(TG)를, 전송 트랜지스터(TG_Gr4L 및 TG_Gr4R)이라고 칭한다.
화소 세트(51Gr) 내의 각 화소(2)의 포토다이오드(PD)의 각각은, 광을 수광해서 광전하를 생성하여 축적한다.
전송 트랜지스터(TG_Gr1L)은, 게이트 전극으로 공급되는 구동 신호(TRGGr)구동 신호(TRGGr1L)가 액티브 상태가 되면 이에 응답하여 도통 상태로 됨으로써, 포토다이오드(PD_Gr1L)에 축적되어 있는 광전하를 FD(52)로 전송한다. 전송 트랜지스터(TG_Gr1R)은, 게이트 전극으로 공급되는 구동 신호(TRGGr)구동 신호(TRGGr1R)가 액티브 상태가 되면 이에 응답하여 도통 상태가 됨으로써, 포토다이오드(PD_Gr1R)에 축적되어 있는 광전하를 FD(52)로 전송한다.
전송 트랜지스터(TG_Gr2L)은, 게이트 전극으로 공급되는 구동 신호(TRGGr)구동 신호(TRGGr2L)가 액티브 상태가 되면 이에 응답하여 도통 상태가 됨으로써, 포토다이오드(PD_Gr2L)에 축적되어 있는 광전하를 FD(52)로 전송한다. 전송 트랜지스터(TG_Gr2R)은, 게이트 전극으로 공급되는 구동 신호(TRGGr)구동 신호(TRGGr2R)가 액티브 상태가 되면 이에 응답하여 도통 상태가 됨으로써, 포토다이오드(PD_Gr2R)에 축적되어 있는 광전하를 FD(52)로 전송한다. 포토다이오드(PD_Gr3L, PD_Gr3R, PD_Gr4L 및 PD_Gr4R)과, 전송 트랜지스터(TG_Gr3L, TG_Gr3R, TG_Gr4L, 및 TG_Gr4R)에 대해서도 마찬가지이다.
FD(52)는, 화소 세트(51Gr) 내의 각 화소(2)의 포토다이오드(PD)로부터 공급된 광전하를 일시 보유한다.
리셋 트랜지스터(53)는, 게이트 전극으로 공급되는 구동 신호 RST가 액티브 상태가 되면 이것에 응답하여 도통 상태가 됨으로써, FD(52)의 전위를 소정의 레벨(리셋 전압 VDD)으로 리셋한다.
증폭 트랜지스터(54)는, 소스 전극이 선택 트랜지스터(55)를 거쳐 수직 신호선(9)에 접속됨으로써, 수직 신호선(9)의 일단에 접속되어 있는 정전류원 회로부(56)의 부하 MOS와 소스 팔로어 회로를 구성한다.
선택 트랜지스터(55)는, 증폭 트랜지스터(54)의 소스 전극과 수직 신호선(9)과의 사이에 접속되어 있다. 선택 트랜지스터(55)는, 게이트 전극으로 공급되는 선택 신호(SEL)이 액티브 상태가 되면 이에 응답하여 도통 상태가 되어, 공유 단위를 선택 상태로 하고 증폭 트랜지스터(54)로부터 출력되는 공유 단위 내의 화소(2)의 화소 신호를 수직 신호선(9)으로 출력한다. 한편, 선택 트랜지스터(55)는, 도 4와 같이 화소 세트(51)(도 4에서는 화소 세트(51Gr))에 대해 1개이어도 되고, 복수의 선택 트랜지스터(55)가 설치되어도 된다. 화소 세트(51)에 대해 복수의 선택 트랜지스터(55)를 설치한 경우에는, 복수의 선택 트랜지스터(55) 각각이 다른 수직 신호선(9)에 접속됨으로써, 화소 신호를 보다 고속으로 판독하는 것이 가능하게 된다.
각 화소(2)의 전송 트랜지스터(TG), 리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)는, 수직 구동 회로(4)에 의해 제어된다.
도 5는, 도 4에 도시된 바와 같이, 화소 세트(51)를 구성하는 8개의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGr)을 공급하기 위한 신호선 구성을 나타내고 있다.
화소 세트(51Gr)를 구성하는 8개의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGr)을 공급하기 위해서는, 도 5에 도시된 바와 같이, 수평 방향으로 배열된 복수의 화소 세트(51)에 대해, 8개의 신호선(61-1 내지 61-8)이 필요하게 된다. 8개의 신호선(61-1 내지 61-8)은, 도 1의 화소 구동 배선(10)의 일부이다.
신호선(61-1)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr1L)의 게이트 전극으로 공급되는 구동 신호(TRGGr1L)을 전송한다. 또한, 신호선(61-1)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr1L)과 같은 위치에 있는 전송 트랜지스터(TG_R1L)(미도시)의 게이트 전극에도 구동 신호(TRGGr1L)을 전송한다.
신호선(61-2)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr1R)의 게이트 전극으로 공급되는 구동 신호(TRGGr1R)을 전송한다. 또한, 신호선(61-2)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr1R)과 같은 위치에 있는 전송 트랜지스터(TG_R1R)(미도시)의 게이트 전극에도 구동 신호(TRGGr1R)을 전송한다.
신호선(61-3)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr2L)의 게이트 전극으로 공급되는 구동 신호(TRGGr2L)을 전송한다. 또한, 신호선(61-3)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr2L)과 같은 위치에 있는 전송 트랜지스터(TG_R2L)(미도시)의 게이트 전극에도 구동 신호(TRGGr2L)을 전송한다.
신호선(61-4)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr2R)의 게이트 전극으로 공급되는 구동 신호(TRGGr2R)을 전송한다. 또한, 신호선(61-4)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr2R)과 같은 위치에 있는 전송 트랜지스터(TG_R2R)(미도시)의 게이트 전극에도 구동 신호(TRGGr2R)을 전송한다.
신호선(61-5)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr3L)의 게이트 전극으로 공급되는 구동 신호(TRGGr3L)을 전송한다. 또한, 신호선(61-5)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr3L)과 같은 위치에 있는 전송 트랜지스터(TG_R3L)(미도시)의 게이트 전극에도 구동 신호(TRGGr3L)을 전송한다.
신호선(61-6)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr3R)의 게이트 전극으로 공급되는 구동 신호(TRGGr3R)을 전송한다. 또한, 신호선(61-6)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr3R)과 같은 위치에 있는 전송 트랜지스터(TG_R3R)(미도시)의 게이트 전극에도 구동 신호(TRGGr3R)을 전송한다.
신호선(61-7)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr4L)의 게이트 전극으로 공급되는 구동 신호(TRGGr4L)을 전송한다. 또한, 신호선(61-7)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr4L)과 같은 위치에 있는 전송 트랜지스터(TG_R4L)(미도시)의 게이트 전극에도 구동 신호(TRGGr4L)을 전송한다.
신호선(61-8)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr4R)의 게이트 전극으로 공급되는 구동 신호(TRGGr4R)을 전송한다. 또한, 신호선(61-8)은, 화소 세트(51Gr)의 이웃하는 화소 세트(51R)에 있어서, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr4R)과 같은 위치에 있는 전송 트랜지스터(TG_R4R)(미도시)의 게이트 전극에도 구동 신호(TRGGr4R)을 전송한다.
마찬가지로, 수평 방향으로 배열된 화소 세트(51B 와 51Gb)에 대하여도, 8개의 신호선(62-1 내지 62-8)이 필요하게 된다.
신호선(62-1)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr1L)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb1L)을 전송한다.
신호선(62-2)는, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr1R)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb1R)을 전송한다.
신호선(62-3)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr2L)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb2L)을 전송한다.
신호선(62-4)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr2R)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb2R)을 전송한다.
신호선(62-5)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr3L)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb3L)을 전송한다.
신호선(62-6)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr3R)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb3R)을 전송한다.
신호선(62-7)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr4L)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb4L)을 전송한다.
신호선(62-8)은, 화소 세트(51Gr)의 전송 트랜지스터(TG_Gr4R)에 대응하는, 화소 세트(51B 와 51Gb)의 전송 트랜지스터(TG)의 게이트 전극에 구동 신호(TRGGb4R)을 전송한다.
공유 단위 내의 복수의 화소(2)의 회로를 이상과 같이 구성함으로써, 수직 구동 회로(4)로부터의 구동 신호에 따라, 공유 단위 내의 각 화소(2)는, 포토다이오드(PD) 단위로 화소 신호를 출력할 수도 있고, 화소 단위 또는 복수 화소 단위로 화소 신호를 출력할 수도 있다. 화소 단위 또는 복수 화소 단위로 화소 신호를 출력할 경우에는, 동시에 출력하는 복수의 전송 트랜지스터(TG)가 동시에 액티브 상태로 된다. FD(52)는, 동시에 액티브 상태로 된 전송 트랜지스터(TG)를 거쳐 복수의 포토다이오드(PD)로부터 공급되는 전하를 가산한다. 이에 의해, 화소 단위 또는 복수 화소 단위의 화소 신호가, FD(52)로부터, 증폭 트랜지스터(54) 및 선택 트랜지스터(55)를 거쳐, 컬럼 신호 처리 회로(5)로 출력된다.
한편, 도 4 및 도 5는, 화소 세트(51)를 구성하는 2x2의 4화소를 공유 단위로 한 회로 예를 도시하였으나, 공유 단위로 하는 복수 화소의 조합은, 이에 한정되지 않는다. 예를 들면, 1x2(세로 1화소×가로 2화소) 또는 2x1(세로 2화소×가로 1화소)의 2화소를 공유 단위로 하여도 되고, 4x1(세로 4화소×가로 1화소)의 4화소를 공유 단위로 하여도 된다.
<5. 출력 모드의 설명>
<5.1 풀 해상도 모드>
다음으로, 고체 촬상 소자(1)가 실행가능한 복수의 출력 모드에 대해서 설명한다.
먼저, 화소 어레이부(3)의 모든 포토다이오드(PD)에서 생성되는 화소 신호를 개별적으로 출력하는 풀 해상도 모드에 대해서 설명한다.
도 6은, 고체 촬상 소자(1)가 풀 해상도 모드로 동작할 경우의 화소 세트(51Gr)의 구동(화소 신호 출력 제어)을 설명하는 도면이다.
도 6에서 사선으로 되어있는 포토다이오드(PD)는, 화소 신호의 출력이 선택된 포토다이오드(PD)를 나타내고 있다. 풀 해상도 모드에서는, 도 6에 도시된 바와 같이, 화소 세트(51Gr)의 8개의 포토다이오드(PD)가 순차 선택되고, 8개의 포토다이오드(PD) 각각에서 생성된 화소 신호가 개별적으로 출력된다.
도 6의 예에서는, 8개의 포토다이오드(PD)가 선택되는 순서가, 포토다이오드 PD_Gr1L, PD_Gr1R, PD_Gr2L, PD_Gr2R, PD_Gr3L, PD_Gr3R, PD_Gr4L, PD_Gr4R의 순으로 선택되고 있으나, 순서는 이에 한정되지 않는다.
풀 해상도 모드에서는, 동일 화소 내의 2개의 포토다이오드(PD)의 화소 신호를 합산함으로써, 1화소의 화소 신호를 얻을 수 있고, 동일 화소 내의 2개의 포토다이오드(PD)의 화소 신호를 비교함으로써, 위상차를 검출할 수 있다. 다른 화소 세트(51Gb, 51R 및 51B)도, 도 6의 화소 세트(51Gr)와 같은 동작을 행한다.
이에 의해, 풀 해상도 모드에서는, 모든 화소(2)에서, 화소 단위의 신호 출력과, 위상차 검출을 위한 신호 출력이 가능하다.
또한, 고체 촬상 소자(1)에 있어서, 컬러 필터(37)는, 도 3에 도시된 바와 같이, 4화소 단위(화소 세트(51) 단위)로 R, G, B의 색이 배치되어 있으나, 풀 해상도 모드에서는, 화소 단위로 R, G, B의 베이어 배열의 화소 신호로 다시 생성하여 출력하는 리모자이크 처리도 가능하다.
또한, 도 6의 구동을 행하는 풀 해상도 모드는, 프레임 레이트가 낮아지거나, 소비 전력이 커지기 때문에, 화소 세트(51Gr)의 일부의 화소(2)에 대해서는, 위상차 검출을 행하지 않는 구동으로 하여도 된다.
예를 들면, 고체 촬상 소자(1)는, 도 7에 도시된 바와 같이, 화소 세트(51Gr)를 구성하는 4화소 중, 우상의 화소(2)와 좌하의 화소(2)에 대해서는, 화소 내의 2개의 포토다이오드(PD)를 동시에 판독하도록 구동한다. 도 7에 있어서도, 사선으로 되어있는 포토다이오드(PD)가, 화소 신호의 출력이 선택된 포토다이오드(PD)를 나타내고 있다.
위상차는, 좌상의 화소(2)의 포토다이오드(PD_Gr1L 및 PD_Gr1R)와, 우하의 화소(2)의 포토다이오드(PD_Gr4L 및 PD_Gr4R)의 화소 신호를 이용하여 검출된다. 이와 같이, 위상차를 검출하는 화소(2)를 솎아냄으로써(화소의 수를 줄임으로써), 프레임 레이트나 소비 전력을 향상시킬 수 있다. 또는, 예를 들면, 저조도일 때는 모든 화소에서 위상차 검출을 행하는 도 6의 구동을 행하고, 고조도일 때는 일부를 솎아낸 도 7의 구동을 행하는 등, 수광량의 차이에 의해 위상차 검출 가능한 화소(2)를 변경하여도 된다.
도 7의 예는, 화소 세트(51Gr)를 구성하는 4화소 중, 2화소에서 위상차 검출을 행하는 예이나, 1화소에서만 위상차 검출을 행하는 구동으로 하여도 된다.
<5.2 4화소 가산 위상차 검출 모드>
다음으로, 4화소 가산 위상차 검출 모드에 대해서 설명한다.
고체 촬상 소자(1)는, 공유 단위인 화소 세트(51), 즉 2x2의 4화소 단위로 화소 신호를 가산 출력함과 함께, 화소 어레이부(3)의 모든 면에서 위상차를 검출하는 4화소 가산 위상차 검출 모드를 실행할 수 있다.
도 8은, 4화소 가산 위상차 검출 모드의 구동을 설명하는 도면이다.
도 8에 있어서도, 사선으로 되어있는 포토다이오드(PD)가, 화소 신호의 출력이 선택된 포토다이오드(PD)를 나타내고 있다.
4화소 가산 위상차 검출 모드에서는, 고체 촬상 소자(1)는, 화소 세트(51)의 각 화소(2)의 2개의 포토다이오드(PD) 중, 화소 내의 위치가 같은 위치끼리의 포토다이오드(PD)의 화소 신호를 가산하여 출력한다. 예를 들면, 고체 촬상 소자(1)는, 먼저, 도 8의 A와 같이, 화소 세트(51) 내의 모든 좌 포토다이오드(PD)의 화소 신호를 가산하여 출력하고, 그 후, 도 8의 B와 같이, 화소 세트(51) 내의 모든 우 포토다이오드(PD)의 화소 신호를 가산하여 출력한다. 한편, 좌 포토다이오드(PD)와 우 포토다이오드(PD)의 판독 순서는, 반대이어도 된다.
이러한 구동을 행함으로써, 판독한 화소 세트(51) 단위의 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호로부터, 위상차를 검출할 수 있고, 양자의 화소 신호를 합산함으로써, 화소 세트(51) 단위(4화소 단위)의 화소 신호 출력을 얻을 수 있다. 즉, 화소 용량(Qs) 증가에 따른 다이나믹 레인지의 우위성을 가지면서, 전체면 위상차도 검출할 수 있다.
좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호를 식별 가능하게 판독하는 방법으로서는, 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호를 따로따로 판독하는 제1 판독 방법과, 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호를 가산한 신호를 판독하는 제2 판독 방법의 2가지가 채용 가능하다.
제1 판독 방법과 제2 판독 방법에 대해서 간단히 설명한다.
먼저, 제1 판독 방법에 대해서 설명한다.
먼저, 좌우의 포토다이오드(PD)가 수광(노광)하고 있는 동안에, 상관 2중 샘플링을 행하기 위한 다크 레벨 신호가 취득된다.
소정의 노광 시간 경과 후, 고체 촬상 소자(1)는, 먼저, 화소 세트(51)의 좌우 포토다이오드(PD) 군의 일방의 화소 신호, 예를 들면, 좌 포토다이오드(PD) 군의 화소 신호를 판독한다.
예를 들면, 좌 포토다이오드(PD) 군의 화소 신호의 판독에 대해 도 4에 도시한 화소 세트(51Gr)의 예로 설명하면, 선택 트랜지스터(55)를 액티브 상태로 한 후, 전송 트랜지스터(TG_Gr1L, TG_Gr2L, TG_Gr3L, 및 TG_Gr4L)을 액티브 상태로 하고, 포토다이오드(PD_Gr1L, PD_Gr2L, PD_Gr3L, 및 PD_Gr4L)에 축적된 전하를 FD(52)로 전송함으로써, FD(52)의 축적 전하에 따른 전압 신호가 수직 신호선(9)을 거쳐 컬럼 신호 처리 회로(5)로 출력된다.
컬럼 신호 처리 회로(5)로 출력된 전압 신호는, 좌 포토다이오드(PD) 군의 화소 신호와 다크 레벨 신호와의 합으로 되어 있기 때문에, 컬럼 신호 처리 회로(5)에서, 전압 신호로부터 다크 레벨 신호를 감산함으로써, 좌 포토다이오드(PD) 군의 화소 신호를 얻을 수 있다.
다음으로, 고체 촬상 소자(1)는, 리셋 트랜지스터(53)를 온 하여 FD(52)의 축적 전하를 리셋한 후, 화소 세트(51)의 좌우 포토다이오드(PD) 군의 타방의 화소 신호, 예를 들면, 우 포토다이오드(PD) 군의 화소 신호를 판독한다. 도 4에 나타낸 화소 세트(51Gr)의 예에서는, 선택 트랜지스터(55)를 액티브 상태로 한 후, 전송 트랜지스터(TG_Gr1R, TG_Gr2R, TG_Gr3R, 및 TG_Gr4R)을 액티브 상태로 하고, 포토다이오드(PD_Gr1R, PD_Gr2R, PD_Gr3R, 및 PD_Gr4R)에 축적된 전하를 FD(52)로 전송함으로써, FD(52)의 축적 전하에 따른 전압 신호가 수직 신호선(9)을 거쳐 컬럼 신호 처리 회로(5)로 출력된다.
컬럼 신호 처리 회로(5)로 출력된 전압 신호는, 우 포토다이오드(PD) 군의 화소 신호와 다크 레벨 신호와의 합으로 되어 있기 때문에, 컬럼 신호 처리 회로(5)에서, 전압 신호로부터 다크 레벨 신호를 감산함으로써, 우 포토다이오드(PD) 군의 화소 신호를 얻을 수 있다.
제1 판독 방법에서는, 이상과 같이 하여, 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호가 따로따로 판독되어, 위상차 신호가 직접 얻어짐으로써, 품질이 좋은 측거용의 신호를 취득하는 것이 가능하게 된다. 한편, 촬영 화상용의 신호는 좌우 포토다이오드(PD)의 신호를 디지털 가산함으로써 얻는 것이 가능하게 된다.
다음으로, 제2 판독 방법에 대해서 설명한다.
제2 판독 방법에 있어서, 다크 레벨 신호의 취득과, 화소 세트(51)의 좌우 포토다이오드(PD) 군의 일방의 화소 신호(좌 포토다이오드(PD) 군의 화소 신호)의 취득까지는, 제1 판독 방법과 마찬가지이다.
좌우 포토다이오드(PD) 군의 일방의 화소 신호를 취득한 후, 고체 촬상 소자(1)는, 제1 판독 방법과 같이 리셋 트랜지스터(53)를 온 하지 않고(오프인 채로), 화소 세트(51)의 좌우 포토다이오드(PD) 군의 타방의 화소 신호, 예를 들면, 우 포토다이오드(PD) 군의 화소 신호를 판독한다.
컬럼 신호 처리 회로(5)로 출력된 전압 신호는, 좌우 포토다이오드(PD) 군의 신호와 다크 레벨 신호와의 합으로 되어 있다. 컬럼 신호 처리 회로(5)는, 먼저, 전압 신호에서 다크 레벨 신호를 감산함으로써, 좌우 포토다이오드(PD) 군의 화소 신호를 취득하며, 그 후, 좌우 포토다이오드(PD) 군의 화소 신호로부터, 먼저 구한 좌 포토다이오드(PD) 군의 화소 신호를 감산하여, 우 포토다이오드(PD) 군의 화소 신호를 취득한다.
제2 판독 방법에서는, 이상과 같이 하여, 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호를 취득할 수 있고, 위상차 신호를 간접적으로 얻는 것이 가능하게 된다. 한편 촬영 화상용의 신호는, 아날로그일 때에 가산되어 있기 때문에 신호 품질이 좋으며, 제1 판독 방법에 비해, 판독 시간과 소비 전력의 면에서도 장점이 생긴다.
<5.3 4화소 가산 모드>
다음으로, 4화소 가산 모드에 대해서 설명한다.
위상차 정보를 필요로 하지 않는 경우에는, 고체 촬상 소자(1)는, 공유 단위인 화소 세트(51), 즉 2x2의 4화소 단위로 화소 신호를 가산 출력하는 4화소 가산 모드를 실행할 수 있다.
4화소 가산 모드에서는, 공유 단위인 화소 세트(51) 내의 모든(8개) 전송 트랜지스터(TG)가 동시에 온 되어, 화소 세트(51) 내의 모든 포토다이오드(PD)의 전하가 FD(52)로 공급된다. FD(52)는, 화소 세트(51) 내의 모든 포토다이오드(PD)의 전하를 가산한다. 그리고, 가산 후의 전하에 대응하는 전압 신호가, 컬럼 신호 처리 회로(5)로 출력된다. 다크 레벨 신호와의 차분을 얻음으로써, 화소 세트(51) 단위의 화소 신호를 취득할 수 있다.
<5.4 위상차 HDR 제1 모드>
다음으로, 위상차 HDR 제1 모드에 대해서 설명한다.
위상차 HDR 제1 모드는, 위상차의 검출과, 고다이나믹 레인지 화상(이하, HDR 화상이라고 칭함)의 생성을 가능하게 하는 출력 모드이다.
위상차를 검출하기 위해서는, 화소 어레이부(3)를 구성하는 복수의 화소(2)의 적어도 일부에, 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호를 개별적으로 출력하는 화소(2)가 필요하다.
또한, HDR 화상을 생성하기 위해서는, 화소 어레이부(3)를 구성하는 복수의 화소(2)에, 노광 시간이 다른 화소(2)가 포함될 필요가 있다.
이에, 고체 촬상 소자(1)는, 위상차 HDR 제1 모드에 있어서, 도 9에 도시된 바와 같이, 화소 어레이부(3)를 구성하는 복수의 화소(2)에 2종류의 노광 시간을 설정한다.
도 9는, 위상차 HDR 제1 모드에 있어서, 화소 어레이부(3)의 일부인 베이어 배열의 4개(2x2)의 화소 세트(51)에 대해 설정되는 노광 시간을 나타내는 도면이다.
위상차 HDR 제1 모드에 있어서는, 제1 노광 시간과 제2 노광 시간 중 어느 하나가 화소 단위로 설정된다. 제2 노광 시간은, 제1 노광 시간보다 짧은 노광 시간이다(제1 노광 시간>제2 노광 시간). 도 9에서는, 제1 노광 시간이 설정되어 있는 포토다이오드(PD)에는 “L”이라고 기술되며, 제2 노광 시간이 설정되어 있는 포토다이오드(PD)에는 “S”라고 기술되어 있다.
도 9에 도시된 바와 같이, 1개의 화소 세트(51)를 구성하는 4개의 화소(2)의 대각 방향을 페어로 하여, 제1 노광 시간 및 제2 노광 시간이 설정된다. 예를 들면, 도 9의 예와 같이, 화소 세트(51)를 구성하는 4화소 중, 우상 및 좌하의 2화소에 대해 제1 노광 시간(L)이 설정되며, 우하 및 좌상의 2화소에 대해 제2 노광 시간(S)이 설정된다. 한편, 제1 노광 시간(L) 및 제2 노광 시간(S)을 설정하는 화소(2)의 배치는 반대이어도 된다.
도 10은, 위상차 HDR 제1 모드에 있어서의 화소 신호의 판독 순서를 나타내는 도면이다. 도 10에 있어서도, 사선으로 되어있는 포토다이오드(PD)는, 화소 신호의 출력이 선택된 포토다이오드(PD)를 나타내고 있다.
위상차 HDR 제1 모드에 있어서는, 고체 촬상 소자(1)는, 도 10에 도시된 바와 같이, 제1 노광 시간(L)을 설정한 2화소에 대해서는, 모든 포토다이오드(PD)의 화소 신호를 출력하고, 제2 노광 시간(S)을 설정한 2화소에 대해서는, 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호를 따로따로 출력한다.
구체적으로는, 고체 촬상 소자(1)는, 우상 및 좌하의 2개의 화소(2)의 모든 포토다이오드(PD)의 화소 신호, 좌상과 우하의 화소(2)의 좌 포토다이오드(PD)의 화소 신호, 좌상과 우하의 우 포토다이오드(PD)의 화소 신호의 순서로, 복수의 포토다이오드(PD)의 화소 신호를 동시 출력한다.
이에 의해, 노광 시간이 제2 노광 시간(S)으로 설정된 2개의 화소(2)에서는, 좌 포토다이오드(PD)와 우 포토다이오드(PD)의 화소 신호를 따로따로 출력하므로, 위상차를 검출할 수 있다. 또한, 제1 노광 시간(L)을 설정한 화소(2)와, 제2 노광 시간(S)을 설정한 화소(2)가 포함되어 있으므로, HDR 화상을 생성할 수 있다.
한편, 위상차를 검출하는 화소(2)를, 노광 시간이 제1 노광 시간(L)으로 설정된 화소(2)로 하여도 되지만, 광 강도가 강할 경우 포화될 우려가 있기 때문에, 위상차를 검출하는 화소(2)는, 제2 노광 시간(S)을 설정한 화소(2)로 하는 것이 바람직하다. 제2 노광 시간(S)을 설정한 화소(2)를 위상차 검출 화소로 함으로써, 포화시키지 않고 위상차 정보를 취득할 수 있다.
이상과 같이, 위상차 HDR 제1 모드에서는, 각 화소 세트(51)에 대해, 제1 노광 시간(L)과 제2 노광 시간(S)의 2종류의 노광 시간을 설정함과 함께, 각 화소 세트(51)의 일부의 화소(2), 구체적으로는, 제2 노광 시간(S)을 설정한 화소(2)에 있어서, 좌우 포토다이오드(PD)의 화소 신호를 따로따로 출력하고, 위상차를 검출함으로써, 위상차 검출용의 신호와, 고다이나믹 레인지 HDR 화상의 신호를, 동시에 취득할 수 있다.
<5.5 위상차 HDR 제2 모드>
다음으로, 위상차 HDR 제2 모드에 대해서 설명한다.
위상차 HDR 제2 모드도, 위상차 HDR 제1 모드와 마찬가지로, 위상차의 검출과, HDR 화상의 생성을 가능하게 하는 출력 모드이다. 위상차 HDR 제2 모드가 위상차 HDR 제1 모드와 다른 점은, 화소 어레이부(3) 내의 화소(2)에 설정되는 노광 시간이, 위상차 HDR 제1 모드의 2종류가 아닌, 3종류인 점이다.
도 11은, 위상차 HDR 제2 모드에 있어서, 화소 어레이부(3)의 일부인 베이어 배열의 4개(2x2)의 화소 세트(51)에 대해 설정되는 노광 시간을 나타내는 도면이다.
위상차 HDR 제2 모드에 있어서는, 제1 내지 제3 노광 시간 중 어느 하나가 화소마다 설정된다. 제2 노광 시간은, 제1 노광 시간보다 짧은 노광 시간이며, 제3 노광 시간은, 제2 노광 시간보다 더 짧은 노광 시간이다(제1 노광 시간>제2 노광 시간>제3 노광 시간). 도 11에서는, 제1 노광 시간이 설정되어 있는 포토다이오드(PD)에는 “L”로 기술되고, 제2 노광 시간이 설정되어 있는 포토다이오드(PD)에는 “M”으로 기술되고, 제3 노광 시간이 설정되어 있는 포토다이오드(PD)에는 “S”로 기술되어 있다. 제1 노광 시간(L), 제2 노광 시간(M) 및 제3 노광 시간(S) 중 가운데인 제2 노광 시간(M)이 자동 노출(Automatic Exposure) 시의 적정 노광에 대응한 노광 시간으로 되어 있다.
도 11에 도시된 바와 같이, 1개의 화소 세트(51)를 구성하는 4개의 화소(2) 중, 소정의 대각 방향의 2화소에 대하여는 제2 노광 시간(M)이 설정되고, 다른 대각 방향에 2화소의 일방에 대하여는 제1 노광 시간(L)이 설정되고, 타방에 대하여는 제3 노광 시간(S)이 설정된다. 한편, 제2 노광 시간(M)을 설정하는 대각 방향은, 도 11의 좌 경사 방향이 아닌, 우 경사 방향이어도 된다. 또한, 제1 노광 시간(L)과 제3 노광 시간(S)을 설정하는 화소(2)의 배치는 반대이어도 된다.
도 12는, 위상차 HDR 제2 모드에 있어서의 화소 신호의 판독 순서를 나타내는 도면이다. 도 12에 있어서도, 사선으로 되어있는 포토다이오드(PD)는, 화소 신호의 출력이 선택된 포토다이오드(PD)를 나타내고 있다.
위상차 HDR 제2 모드에 있어서는, 고체 촬상 소자(1)는, 도 12에 도시된 바와 같이, 제2 노광 시간(M)을 설정한 2화소에 대해서는, 좌 포토다이오드(PD)의 화소 신호와 우 포토다이오드(PD)의 화소 신호를 따로따로 출력하고, 제1 노광 시간(L)과 제3 노광 시간(S)을 설정한 2화소에 대해서는, 화소 단위로 포토다이오드(PD)의 화소 신호를 출력한다.
구체적으로는, 고체 촬상 소자(1)는, 우상의 화소(2)의 2개의 포토다이오드(PD)의 화소 신호, 좌상과 우하의 화소(2)의 좌 포토다이오드(PD)의 화소 신호, 좌상과 우하의 화소(2)의 우 포토다이오드(PD)의 화소 신호, 좌하의 화소(2)의 2개의 포토다이오드(PD)의 화소 신호의 순서로, 복수의 포토다이오드(PD)의 화소 신호를 동시 출력한다.
이에 의해, 노광 시간이 제2 노광 시간(M)으로 설정된 2개의 화소(2)에서는, 좌 포토다이오드(PD)와 우 포토다이오드(PD)의 화소 신호를 따로따로 출력하므로, 위상차를 검출할 수 있다. 또한, 다른 노광 시간을 설정한 화소(2)가 포함되어 있으므로, HDR 화상을 생성할 수 있다.
한편, 위상차를 검출하는 화소(2)를, 노광 시간이 제1 노광 시간(L) 또는 제3 노광 시간(S)으로 설정된 화소(2)로 하여도 되지만, 광 강도가 강할 경우 포화되거나, 광 강도가 약할 경우 신호 레벨이 지나치게 낮을 우려가 있기 때문에, 적정 노광인 제2 노광 시간(M)을 설정한 화소(2)로 하는 것이 바람직하다. 제2 노광 시간(M)을 설정한 화소(2)를 위상차 검출 화소로 함으로써, 포화시키지 않고 위상차 정보를 취득할 수 있다.
이상과 같이, 위상차 HDR 제2 모드에서는, 각 화소 세트(51)에 대하여, 제1 노광 시간(L), 제2 노광 시간(M) 및 제3 노광 시간(S)의 3종류의 노광 시간을 설정함과 함께, 각 화소 세트(51)의 일부 화소(2), 구체적으로는, 제2 노광 시간(M)을 설정한 화소(2)에 있어서, 좌우 포토다이오드(PD)의 화소 신호를 따로따로 출력하고, 위상차를 검출함으로써, 위상차 검출용의 신호와, 고다이나믹 레인지 HDR 화상의 신호를, 동시에 취득할 수 있다.
한편, 위상차 HDR 제1 모드와 위상차 HDR 제2 모드의 양쪽의 동작을 가능하게 하기 위해서는, 수평 방향으로 배열된 화소 세트(51)에 대하여, 도 5에 도시된 바와 같은, 8개의 신호선(61-1 내지 61-8 또는 62-1 내지 62-8)이 필요하게 되나, 위상차 HDR 제1 모드 또는 위상차 HDR 제2 모드 중 어느 일방 만의 동작을 가능하게 하면 되는 경우에는, 수평 방향으로 배열된 화소 세트(51) 단위에 대한 신호선의 개수를 삭감하는 구성이 가능하다.
예를 들면, 도 13은, 위상차의 검출과 HDR 화상의 생성을 가능하게 하는 출력 모드로서, 위상차 HDR 제1 모드만을 동작 가능하게 할 경우의 신호선의 배선 예를 나타내고 있다.
도 13에서는, 수평 방향으로 배열된 화소 세트(51)에 대하여, 4개의 신호선 (81-1 내지 81-4)을 배치함으로써, 위상차 HDR 제1 모드의 동작이 가능해진다.
구체적으로는, 제2 노광 시간(S)의 노광 시간을 설정하는 대각 방향의 페어 화소(2)의 좌 포토다이오드(PD)끼리의 화소 신호를 제어하기 위해 1개의 신호선(81-1)이 배치되고, 우 포토다이오드(PD)끼리의 화소 신호를 제어하기 위해 1개의 신호선(81-2)이 배치된다. 또한, 제1 노광 시간(L)의 노광 시간을 설정하는 대각 방향의 페어 화소(2)의 좌 포토다이오드(PD)끼리의 화소 신호를 제어하기 위해 1개의 신호선(81-3)이 배치되고, 우 포토다이오드(PD)측끼리의 화소 신호를 제어하기 위해 1개의 신호선(81-4)이 배치된다.
도 14는, 위상차의 검출과 HDR 화상의 생성을 가능하게 하는 출력 모드로서, 위상차 HDR 제2 모드만을 동작 가능하게 할 경우의 신호선의 배선 예를 나타내고 있다.
도 14에서는, 수평 방향으로 배열된 화소 세트(51)에 대하여, 6개의 신호선 (82-1 내지 82-6)을 배치함으로써, 위상차 HDR 제2 모드의 동작이 가능해진다.
구체적으로는, 제1 노광 시간(L)의 노광 시간을 설정하는 화소(2)의 좌 포토다이오드(PD)의 화소 신호를 제어하기 위해 1개의 신호선(82-1)이 배치되고, 우 포토다이오드(PD)의 화소 신호를 제어하기 위해 1개의 신호선(82-2)이 배치된다. 또한, 제2 노광 시간(M)의 노광 시간을 설정하는 대각 방향의 페어 화소(2)의 좌 포토다이오드(PD)끼리의 화소 신호를 제어하기 위해 1개의 신호선(82-3)이 배치되고, 우 포토다이오드(PD)끼리의 화소 신호를 제어하기 위해 1개의 신호선(82-4)이 배치된다. 제3 노광 시간(S)의 노광 시간을 설정하는 화소(2)의 좌 포토다이오드(PD)의 화소 신호를 제어하기 위해 1개의 신호선(82-5)이 배치되고, 우 포토다이오드(PD)의 화소 신호를 제어하기 위해 1개의 신호선(82-6)이 배치된다.
이상과 같이, 고체 촬상 소자(1)는, 출력 모드로서, 각 화소(2)의 각 포토다이오드(PD)의 화소 신호를 개별적으로 출력하는 풀 해상도 모드, 좌 포토다이오드(PD)끼리, 또는, 우 포토다이오드(PD)끼리의 화소 신호를 4화소 단위로 가산하여 출력하는 4화소 가산 위상차 검출 모드, 화소 세트(51)의 모든 포토다이오드(PD)의 화소 신호를 가산하여 출력하는 4화소 가산 모드, 위상차의 검출과 HDR 화상의 생성을 가능하게 하는 위상차 HDR 제1 모드 및 위상차 HDR 제2 모드를 실행할 수 있다.
풀 해상도 모드에서는, 모든 화소에서의 위상차 검출과, 리모자이크 처리에 의한 고해상도 출력이 실현되고, 4화소 가산 위상차 검출 모드에서는, 전체 면에서의 위상차 검출과 4화소 가산에 의한 고S/N 및 고다이나믹 레인지의 신호 출력이 실현된다. 또한, 4화소 가산 모드에서는, 4화소 가산에 의한 고S/N 및 고다이나믹 레인지의 신호 출력이 실현되고, 위상차 HDR 제1 모드 및 위상차 HDR 제2 모드에서는, HDR 화상 생성과 전체 면에서의 위상차 검출의 양립이 실현된다. 또한, HDR의 실현에 있어서는, 전술한 바와 같이 단일 감도의 화소에 대해, 복수의 노광 시간 설정을 행하여도 되고, 감도가 다른 복수 화소를 화소 세트로서 구성하여, 단일 노광 시간 설정을 행하여도 된다. 감도가 다른 복수 화소의 일례로서는, 감도가 높은 화소로서 수광 면적이 큰 포토다이오드를 가지는 화소를 들 수 있고, 감도가 낮은 화소로서 수광 면적이 작은 포토다이오드를 가지는 화소를 들 수 있다.
한편, 물론, 고체 촬상 소자(1)는, 상술한 것 이외의 출력 모드가 더 실행가능하여도 된다.
<6. 컬러 필터의 색 배열의 변형예>
도 15는, 컬러 필터의 색 배열의 변형예를 나타내고 있다.
상술한 예에서는, 도 3 등에 도시된 바와 같이, R, G 및 B의 컬러 필터(37)가, 화소 세트(51) 단위로 베이어 배열이 되도록 배치되어 있었다.
이에 대해, 도 15에서는, R, G 및 B의 컬러 필터(37)가, 화소(2)의 단위로 베이어 배열이 되도록 배치되어 있다.
이와 같이, 컬러 필터(37)는, 화소 단위로 베이어 배열이 되도록 배치하여도 된다.
리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)를 공유하는 화소 회로의 공유 단위는, 도 4와 마찬가지로, 2x2(세로 2화소×가로 2화소)의 4화소로 하여도 되고, 4x1(세로 4화소×가로 1화소)의 4화소로 하여도 된다. 도 15에 도시된 바와 같은 화소 단위로 베이어 배열로 하는 컬러 필터(37)의 색 배열에서는, 4x1의 4화소를 공유 단위로 하면, 동일한 색 화소의 화소 신호끼리를 가산할 수 있다.
<7. 포토다이오드의 배치 방향의 변형예>
도 16은, 포토다이오드(PD)의 배치 방향의 변형예를 나타내고 있다.
상술한 예에서는, 도 3에 도시된 바와 같이, 각 화소(2)의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향은, 화소 세트(51) 내에서 동일 방향이면서, 모든 화소 세트(51)에서도 동일 방향이 되도록 형성되어 있었다.
그러나, 화소 내의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향은, 화소 단위로, 또는, 화소 세트 단위로 다르게 하여도 된다.
도 16의 A는, 각 화소(2)의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이, 화소 세트(51) 내에서 동일 방향이긴 하지만, 화소 세트(51) 단위로는 다른 방향이 되도록 형성된 예를 나타내고 있다.
도 16의 A에서는, G의 컬러 필터(37)를 갖는 화소 세트(51Gr) 및 화소 세트(51Gb)의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향은, 좌우 방향(수평 방향)이며, R의 컬러 필터(37)를 갖는 화소 세트(51R)와 B의 컬러 필터(37)를 갖는 화소 세트(51B)의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향은, 상하 방향(수직 방향)이다. 바꾸어 말하면, 화소 세트(51Gr) 및 화소 세트(51Gb)와, 화소 세트(51R) 및 화소 세트(51B)에서, 화소 내의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이 직교하도록, 포토다이오드(PD)가 형성되어 있다. 같은 색의 컬러 필터(37)를 갖는 화소 세트(51) 내의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향은 동일하다.
도 16의 B는, 같은 색의 컬러 필터(37)를 갖는 화소 세트(51) 내에서, 수평 방향으로 배열된 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이 동일 방향이 되고, 수직 방향으로 배열된 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이 직교하는 방향이 되도록 형성된 예를 나타내고 있다.
도 16의 B에서는, 각 화소 세트(51) 내에서, 상측 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이 좌우 방향(수평 방향)이고, 하측 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이 상하 방향(수직 방향)이 되도록, 포토다이오드(PD)가 형성되어 있다.
도 16의 C는, 같은 색의 컬러 필터(37)를 갖는 화소 세트(51) 내에서, 수평 방향으로 배열된 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이 직교하는 방향이 되고, 수직 방향으로 배열된 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향도 직교하는 방향이 되도록 형성된 예를 나타내고 있다.
도 16의 C에서는, 각 화소 세트(51) 내에서, 상측 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향이 좌우 방향(수평 방향)과 상하 방향(수직 방향)이며, 하측 2화소의 2개의 포토다이오드(PD)의 세로로 긴 형상의 배치 방향도 좌우 방향(수평 방향)과 상하 방향(수직 방향)이 되도록, 포토다이오드(PD)가 형성되어 있다.
이상과 같이, 화소 내에 형성되는 2개의 세로로 긴 형상의 포토다이오드(PD)는, 수직 방향 또는 수평 방향으로 대칭이 되도록 배치되고, 화소 세트(51) 내의 각 화소에 있어서의 배치 방향이, 동일 방향 또는 직교하는 방향을 채용할 수 있다.
<8. 온 칩 렌즈 배치의 변형예>
도 17은, 온 칩 렌즈(38)의 배치의 변형예를 나타내고 있다.
상술한 예에서는, 도 3에 도시된 바와 같이, 온 칩 렌즈(38)는, 화소 단위로 형성되어 있었다.
그러나, 도 17에 도시된 바와 같이, 화소 어레이부(3)를 구성하는 복수의 화소 세트(51)의 일부에 대해서는, 화소 세트(51)에 대해 1개의 온 칩 렌즈(91)를 배치하여도 된다.
도 17의 A는, G의 컬러 필터(37)를 가지는 화소 세트(51Gb)에 대해 1개의 온 칩 렌즈(91)를 배치하고, 다른 화소 세트(51Gr, 51R, 및 51B)에 대해서는 화소 단위의 온 칩 렌즈(38)를 배치한 예를 나타내고 있다.
도 17의 B는, R의 컬러 필터(37)를 가지는 화소 세트(51R)에 대해 1개의 온 칩 렌즈(91)를 배치하고, 다른 화소 세트(51Gr, 51Gb, 및 51B)에 대해서는 화소 단위의 온 칩 렌즈(38)를 배치한 예를 나타내고 있다.
도 17의 C는, B의 컬러 필터(37)를 가지는 화소 세트(51B)에 대해 1개의 온 칩 렌즈(91)를 배치하고, 다른 화소 세트(51Gr, 51R, 및 51Gb)에 대해서는 화소 단위의 온 칩 렌즈(38)를 배치한 예를 나타내고 있다.
화소 세트(51)가 2차원 배치된 화소 어레이부(3)에 있어서, 도 17의 A~C의 온 칩 렌즈(91)가, 일정한 간격으로, 또는, 랜덤하게 배치되는 구성으로 할 수 있다.
온 칩 렌즈(91)를 구비하는 화소 세트(51)는, HDR 화상을 생성하기 위한 화소 신호는 취득할 수 없으나, 화소 단위의 화소 신호로 위상차를 검출할 수 있으므로, 저조도일 때의 위상차 검출에 유효하다.
<9. 화소의 제2 단면 구성예>
도 18은, 도 1의 고체 촬상 소자(1)의 화소 어레이부(3)의 제2 단면 구성예를 나타내는 도면이다.
도 18에 있어서, 도 2에 도시한 제1 단면 구성예와 대응하는 부분에 대해서는 동일한 부호를 붙여, 그 부분의 설명은 적절히 생략한다.
도 18의 제2 단면 구성예에서는, 반도체 기판(12) 내에, 절연층(101)이 형성되어 있는 점이 도 2에 도시한 제1 단면 구성예와 다르다.
구체적으로는, 도 2에 나타낸 제1 단면 구성예에 있어서는, 반도체 기판(12) 내에, P형의 반도체 영역(31)과 N형의 반도체 영역(32)만이 형성되어 있었지만, 도 18의 제2 단면 구성예에서는, 절연층(101)이, 인접하는 화소끼리의 화소 경계와, 화소 내의 2개의 포토다이오드(PD)의 사이에 더 형성되어 있다. 절연층(101)은, 예를 들면, 반도체 기판(12)의 이면측에서 파여진 깊은 홈(트렌치)의 내주면에 산화막(예를 들면 TEOS 막)을 형성하고, 그 내부를 폴리실리콘으로 매립한 DTI(Deep Trench Isolation)로 형성된다. 한편, 절연층(101)은, 산화막과 폴리실리콘을 채용한 구성으로 한정되지 않고, 하프늄 등의 금속을 사용한 구성이어도 되고, 불순물층을 사용한 구성이어도 된다. 또한, 화소마다 다른 구성의 절연층(101)이 적용되고 있어도 된다. 예를 들면, 비교적 장파장을 투과시키는 R화소에서는, 절연층(101)으로서 불순물층을 적용하고, B화소와 G화소에서는 절연층(101)으로서 산화막, 폴리실리콘, 또는 금속을 적용하여도 된다. 나아가, 절연층(101)은, DTI보다 얕게 구성된 STI(Shallow Trench Isolation)이어도 되고, 완전히 화소간 분리된 FTI(Full Trench Isolation)이어도 된다.
도 19는, 4x4의 16화소 범위에 있어서의 절연층(101)의 형성 영역을 나타내는 평면도이다.
도 19의 평면도에서도 알 수 있듯이, 화소(2)의 경계와, 화소 내의 2개의 포토다이오드(PD)의 사이에 절연층(101)이 형성되어 있으며, 2개의 포토다이오드(PD)의 사이가 절연층(101)으로 분리되어 있다.
<10. 화소의 제3 단면 구성예>
도 20은, 도 1의 고체 촬상 소자(1)의 화소 어레이부(3)의 제3 단면 구성예를 나타내는 도면이다.
도 20에 있어서, 도 18에 나타낸 제2 단면 구성예와 대응하는 부분에 대해서는 동일한 부호를 붙여, 그 부분의 설명은 적절히 생략한다.
도 18의 제2 단면 구성예에서는, 화소(2)의 경계와, 화소 내의 2개의 포토다이오드(PD)의 사이에, 절연층(101)이 형성되어 있었다.
도 20의 제3 단면 구성예에서는, 화소(2)의 경계에는, 제2 단면 구성예와 마찬가지로, 절연층(101)이 형성되어 있지만, 화소 내의 2개의 포토다이오드(PD)의 사이에는, N형 반도체 영역(32)과 반대 도전형, 즉 P형의 불순물층(102)이 형성되어 있다. P형의 불순물층(102)의 불순물 농도는, 반도체 영역(31)보다 고농도로 된다. 불순물층(102)은, 예를 들면, 반도체 기판(12)의 이면측에서의 이온 주입에 의해 형성할 수 있다.
도 21은, 4x4의 16화소 범위에 있어서의 절연층(101)과 불순물층(102)의 형성 영역을 나타내는 평면도이다.
도 21의 평면도에서도 알 수 있듯이, 화소(2)의 경계에는 절연층(101)이 형성되며, 화소 내의 2개의 포토다이오드(PD)의 사이가 불순물층(102)으로 분리되어 있다.
화소 내의 2개의 포토다이오드(PD)의 사이의 포텐셜 장벽은, 화소 경계의 포텐셜 장벽과 같게 하여도 되나, 도 22의 B에 도시된 바와 같이, 화소 경계의 포텐셜 장벽보다 낮게 형성하여도 된다.
도 22의 A는, 제3 단면 구성예에 있어서의 1화소의 단면 구조도이며, 도 22의 B는, 도 22의 A에 대응하는 포텐셜 도면이다.
도 22의 B에 도시된 바와 같이, 2개의 포토다이오드(PD)의 사이의 포텐셜 장벽을, 화소 경계보다 낮게 형성함으로써, 일방의 포토다이오드(PD)에 축적된 전하가 포화 레벨이 되었을 때, FD(52)로 오버플로우하기 전에, 타방의 포토다이오드(PD)로 흐른다. 이에 의해, 좌우 포토다이오드(PD)를 합산한 1화소의 화소 신호의 선형성을 향상시킬 수 있다.
포토다이오드(PD)의 사이의 포텐셜 장벽의 높이는, 불순물층(102)의 불순물 농도를 조정함으로써, 화소 경계의 포텐셜 장벽보다도 낮게 형성할 수 있다.
한편, 불순물층(102)은, 도 21에 도시된 바와 같이, 2개의 포토다이오드(PD)로 끼워지는 영역을 완전히 분리하도록 형성하여도 되고, 도 23에 도시된 바와 같이, 2개의 포토다이오드(PD)로 끼워지는 영역의 일부만을 분리하도록 형성하여도 된다. 도 23에서는, 2개의 포토다이오드(PD)로 끼워지는 영역 중, 화소 중심 부근의 일부에만, 불순물층(102)이 형성되어 있다.
도 23의 불순물층(102)이 형성되어 있는 부분의 단면도는, 도 20과 같게 되고, 도 23의 불순물층(102)이 형성되어 있지 않는 부분의 단면도는, 도 18과 같게 된다.
<11. 차광막을 추가한 구성예>
상술한 예에서는, 화소 경계 부분에, 인접 화소로의 광의 입사를 방지하는 화소간 차광막(36)이 형성되나, 포토다이오드(PD)의 상방에는, 차광막은 형성되어 있지 않다.
그러나, 화소 어레이부(3)의 일부 화소(2)에 대해서는, 화소 내의 2개의 포토다이오드(PD)의 상방에, 차광막을 배치한 구성을 채용하여도 된다.
도 24는, 포토다이오드(PD)의 상방에 차광막을 배치한 제1 구성을 나타내는 평면도이다.
도 24의 A 및 B에서는, 화소 세트(51Gr)의 각 화소(2)에 있어서, 화소 내의 2개의 포토다이오드(PD)의 상측 절반 또는 하측 절반이, 차광막(121)에 의해 차광되어 있다.
도 24의 A는, 화소 내의 2개의 포토다이오드(PD)의 하측 절반이 차광막(121)에 의해 차광된 예이며, 도 24의 B는, 화소 내의 2개의 포토다이오드(PD)의 상측 절반이 차광막(121)에 의해 차광된 예이다.
온 칩 렌즈(38)는, 도 3과 마찬가지로, 화소 단위로 형성되어 있다.
차광막(121)이 대칭적으로 배치된 도 24의 A의 화소 세트(51Gr)의 화소 신호(4화소의 가산 화소 신호)와, 도 24의 B의 화소 세트(51Gr)의 화소 신호(4화소의 가산 화소 신호)를 이용하여, 위상차 정보가 취득된다.
도 25는, 포토다이오드(PD)의 상방에 차광막을 배치한 제2 구성을 나타내는 평면도이다.
도 25의 A 및 B에서는, 화소 세트(51Gr)의 각 화소(2)에 있어서, 화소 내의 2개의 포토다이오드(PD) 중 어느 하나가 차광막(121)에 의해 차광되어 있다.
도 25의 A는, 화소 세트(51Gr)의 각 화소(2)의 2개의 포토다이오드(PD) 중 좌 포토다이오드(PD)가 차광막(121)에 의해 차광된 예이며, 도 25의 B는, 화소 세트(51Gr)의 각 화소(2)의 2개의 포토다이오드(PD) 중 우 포토다이오드(PD)가 차광막(121)에 의해 차광된 예이다.
온 칩 렌즈(38)는, 도 3과 마찬가지로, 화소 단위로 형성되어 있다.
차광막(121)이 대칭적으로 배치된 도 25의 A의 화소 세트(51Gr)의 화소 신호(4화소의 가산 화소 신호)와, 도 25의 B의 화소 세트(51Gr)의 화소 신호(4화소의 가산 화소 신호)를 이용하여, 위상차 정보가 취득된다.
도 24 및 도 25의 제1 및 제2 구성은, 모두, 차광막(121)이 화소 세트(51Gr) 내의 모든 화소(2)의 일부를 차광하는 구성이다.
도 26은, 포토다이오드(PD)의 상방에 차광막을 배치한 제3 구성을 나타내는 평면도이다.
도 26의 A 및 B에서는, 화소 세트(51Gb)를 구성하는 4화소 중, 상측 또는 하측의 2화소의 모든 포토다이오드(PD)가, 차광막(121)에 의해 차광되어 있다.
도 26의 A는, 화소 세트(51Gb)의 하측의 2화소의 모든 포토다이오드(PD)가 차광막(121)에 의해 차광된 예이며, 도 26의 B는, 화소 세트(51Gb)의 상측의 2화소의 모든 포토다이오드(PD)가 차광막(121)에 의해 차광된 예이다.
도 26에서는, 차광막(121)이 배치된 화소 세트(51Gb)에는, 도 17과 마찬가지로, 1개의 온 칩 렌즈(91)가 형성되어 있다. 차광막(121)이 배치되지 않는 화소 세트(51Gr, 51R, 및 51B)에는, 화소 단위의 온 칩 렌즈(38)가 형성되어 있다.
차광막(121)이 대칭적으로 배치된 도 26의 A의 화소 세트(51Gb)의 화소 신호(4화소의 가산 화소 신호)과, 도 26의 B의 화소 세트(51Gb)의 화소 신호(4화소의 가산 화소 신호)를 이용하여, 위상차 정보가 취득된다.
도 27은, 포토다이오드(PD)의 상방에 차광막을 배치한 제4 구성을 나타내는 평면도이다.
도 27의 A 및 B에서는, 화소 세트(51Gb)를 구성하는 4화소 중, 왼쪽 또는 오른쪽의 2화소의 모든 포토다이오드(PD)가 차광막(121)에 의해 차광되어 있다.
도 27의 A는, 화소 세트(51Gb)의 왼쪽의 2화소의 모든 포토다이오드(PD)가 차광막(121)에 의해 차광된 예이며, 도 27의 B는, 화소 세트(51Gb)의 오른쪽의 2화소의 모든 포토다이오드(PD)가 차광막(121)에 의해 차광된 예이다.
도 27에서는, 차광막(121)이 배치된 화소 세트(51Gb)에는, 도 17과 마찬가지로, 1개의 온 칩 렌즈(91)가 형성되어 있다. 차광막(121)이 배치되지 않는 화소 세트(51Gr, 51R, 및 51B)에는, 화소 단위의 온 칩 렌즈(38)가 형성되어 있다.
차광막(121)이 대칭적으로 배치된 도 27의 A의 화소 세트(51Gb)의 화소 신호(4화소의 가산 화소 신호)와, 도 27의 B의 화소 세트(51Gb)의 화소 신호(4화소의 가산 화소 신호)를 이용하여, 위상차 정보가 취득된다.
도 26 및 도 27의 제3 및 제4 구성은, 모두, 차광막(121)이 화소 세트(51Gr) 내의 일부의 화소(2)를 전체적으로 차광하는 구성이다.
도 24 내지 도 27의 차광막(121)을 배치한 제1 내지 제4 구성은, 입사광의 광 강도가 강하고, 차광막(121)을 배치하지 않는 화소 세트(51)에서는 위상차 정보를 취득할 수 없는 경우에, 차광막(121)을 배치한 화소 세트(51)로 위상차 정보를 취득할 수 있다. 따라서, 차광막(121)을 배치한 제1 내지 제4 구성은, 입사광의 광 강도가 강할 경우의 위상차 정보 취득에 유효하다.
도 24 내지 도 27의 차광막을 배치한 제1 내지 제4 구성은, 화소 세트(51Gb) 또는 화소 세트(51Gr)에 차광막(121)을 배치한 예이나, 그 밖의 화소 세트(51R 또는 51B)에 대하여, 마찬가지의 차광막(121)을 형성하여도 되고, 화소 세트(51Gb, 51R, 및 51B)의 모두에, 차광막(121)을 형성하여도 된다.
<12. 그 밖의 변형예>
도 28은, 고체 촬상 소자(1)의 그 밖의 변형예를 나타내고 있다.
상술한 예에서는, 화소 세트(51)의 구성 단위를, 2x2(세로 2화소×가로 2화소)의 4화소로 하였다. 그러나, 화소 세트(51)는, 2x2의 4화소에 한정되지 않고, 복수의 화소(2)로 구성되기만 하면 된다.
도 28은, 화소 세트(51)의 구성 단위를, 4x4(세로 4화소×가로 4화소)의 16화소로 한 예를 나타내고 있다. 도 28의 예는, 온 칩 렌즈(38)가 화소마다 형성되는 예를 나타내고 있지만, 이것에 한정되지 않고, 2x2의 4화소에 대해 1개의 온 칩 렌즈가 배치되어도 되고, 4x4의 16화소에 대해 1개의 온 칩 렌즈가 배치되어도 된다.
그 밖에, 예를 들면, 3x3(세로 3화소×가로 3화소)의 9화소 등을, 화소 세트(51)의 구성 단위로 하여도 된다.
도 29는, 고체 촬상 소자(1)의 또 다른 변형예를 나타내고 있다.
상술한 예에서는, 고체 촬상 소자(1)의 각 화소(2)에, R, G, 또는, B의 파장의 광을 통과시키는 컬러 필터(37)가 형성되어 있었다.
그러나, 도 29에 도시된 바와 같이, 컬러 필터(37)를 생략한 구성을 채용하여도 된다. 이 경우, 고체 촬상 소자(1)의 화소(2)는, R, G, 및, B의 모든 파장의 광을 수광하고, 화소 신호를 생성, 출력할 수 있다.
또는, 컬러 필터(37)의 대신, 적외광을 투과시키는 적외 필터를 설치하여, 적외광 만을 수광하고, 화소 신호를 생성, 출력하는 고체 촬상 소자(1)로 하여도 된다.
<13. 화소 트랜지스터 배치예>
도 30을 참조하여, 화소 트랜지스터의 배치예에 대해서 설명한다.
화소 어레이부(3)에서는, 예를 들면, 도 30에 도시된 포토다이오드(PD)와 화소 트랜지스터의 배치가 수평 방향 및 수직 방향으로 반복 배치되어 있다.
도 30은, 화소 세트(51)의 구성 단위를, 2x2(세로 2화소×가로 2화소)의 4화소로 하고, 그 화소 세트(51)를 2x2로 배치한 합계 16화소의 화소 영역에 있어서의 화소 트랜지스터의 배치예를 나타내는 평면도이다. 도 30에 있어서 검은 원으로 도시된 부분은, 전원, GND, 또는, 신호선의 컨택트부를 나타낸다. 한편, 도 30에서는, 도면이 번잡해지는 것을 막기 위해서, 부호의 일부는 생략되어 있다.
도 30에 있어서, 포토다이오드(PD), 컬러 필터(37)(도 30에는 미도시) 및 온 칩 렌즈(38)는, 도 3에 나타낸 예와 마찬가지로 구성되어 있다. 구체적으로는, 포토다이오드(PD)는, 1화소에 대하여, 수평 방향으로 대칭으로 세로로 긴 형상으로 2개 배치되어 있다. 온 칩 렌즈(38)는, 화소 단위로 형성되어 있다. 컬러 필터(37)는, 화소 세트(51) 단위로 베이어 배열이 되도록 배치되어 있으며, 좌상의 화소 세트(51)가 G의 컬러 필터(37)를 갖는 화소 세트(51Gr), 우상의 화소 세트(51)가 R의 컬러 필터(37)를 갖는 화소 세트(51R), 좌하의 화소 세트(51)가 B의 컬러 필터(37)를 갖는 화소 세트(51B), 우하의 화소 세트(51)가 G의 컬러 필터(37)를 갖는 화소 세트(51Gb)로 되어 있다.
4화소로 구성되는 1개의 화소 세트(51)에는, 도 4를 참조하여 설명한 바와 같이, 8개의 포토다이오드(PD) 및 8개의 전송 트랜지스터(TG)와, 이들에서 공유되는 FD(52), 리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)가 설치된다.
1개의 화소 세트(51)에 포함되는 8개의 포토다이오드(PD)는, 도 30에 도시된 바와 같이, 2x4(세로 2개×가로 4개)로 배열되는데, 이 2x4의 8개의 포토다이오드(PD)의 수직 방향(세로 방향)으로 인접하여, 이들 8개의 포토다이오드(PD)에서 공유되는 리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)가 배치되어 있다. 8개의 포토다이오드(PD)에서 공유되는 리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55)를 합쳐 공유 화소 트랜지스터라고 하면, 수직 방향으로 인접하는 2개의 화소 세트(51)의 2x4의 8개의 포토다이오드(PD)끼리의 사이에, 공유 화소 트랜지스터가 배치되어 있다.
포토다이오드(PD)와 1 대 1로 설치되는 전송 트랜지스터(TG)는, 2x2의 4개의 포토다이오드(PD)를 그룹으로 하여, 그룹의 중앙부 근방에 배치되어 있다. 화소 세트(51) 내의 우측 그룹의 2x2의 4개의 포토다이오드(PD)의 중앙부 근방에 4개의 전송 트랜지스터(TG)가 집합 배치되며, 화소 세트(51) 내의 왼쪽 그룹의 2x2의 4개의 포토다이오드(PD)의 중앙부 근방에 4개의 전송 트랜지스터(TG)가 집합 배치되어 있다.
FD(52)는, 그 일부로서 금속 배선(52A)을 적어도 포함하고, 금속 배선(52A)은, 도 30에 도시된 바와 같이, 화소 세트(51) 내의 오른쪽 그룹의 2x2의 4개의 포토다이오드(PD)의 중간부와, 화소 세트(51) 내의 왼쪽 그룹의 2x2의 4개의 포토다이오드(PD)의 중간부와, 증폭 트랜지스터(54)의 게이트 전극과, 리셋 트랜지스터(53)의 소스 전극을 전기적으로 접속하도록 배선되어 있다. 화소 세트(51) 내의 각 포토다이오드(PD)에서 축적된 전하는, 대응하는 전송 트랜지스터(TG)에 의해 FD(52)의 일부인 금속 배선(52A)으로 전달되고, 금속 배선(52A)을 통해 전송되어, 증폭 트랜지스터(54)의 게이트 전극에 공급된다. 또한, 리셋 트랜지스터(53)가 온이 되면, FD(52)의 전하가, 리셋 트랜지스터(53)의 소스 전극으로부터 드레인 전극으로 배출된다.
이와 같이, 공유 화소 트랜지스터(리셋 트랜지스터(53), 증폭 트랜지스터(54) 및 선택 트랜지스터(55))는, 1개의 화소 세트(51)의 8개의 포토다이오드(PD)와, 열방향으로 인접하는 다른 화소 세트(51)의 8개의 포토다이오드(PD)와의 사이에 배치하는 레이아웃을 채용할 수 있다. 한편, 도시는 생략하나, 행 방향으로 인접하는 화소 세트(51)의 8개의 포토다이오드(PD)끼리의 사이에, 공유 화소 트랜지스터를 배치하는 레이아웃으로 하여 도 된다.
<14. 전자기기에의 적용예>
본 기술은, 고체 촬상 소자에의 적용에 한정되는 것은 아니다. 즉, 본 기술은, 디지털 스틸 카메라나 비디오 카메라 등의 촬상 장치나, 촬상 기능을 갖는 휴대 단말 장치나, 화상 판독부에 고체 촬상 소자를 이용하는 복사기 등의 화상 캡쳐부(광전 변환부)에 고체 촬상 소자를 이용하는 전자기기 전반에 대해 적용 가능하다. 고체 촬상 소자는, 원 칩(One Chip)으로서 형성된 형태이어도 되고, 촬상부와 신호 처리부 또는 광학계가 합쳐 패키징된 촬상 기능을 갖는 모듈 형상의 형태이어도 된다.
도 31은, 본 기술을 적용한 전자기기로서의, 촬상 장치의 구성예를 나타내는 블록도이다.
도 31의 촬상 장치(200)는, 렌즈 군 등으로 이루어지는 광학부(201), 도 1의 고체 촬상 소자(1)의 구성이 채용되는 고체 촬상 소자(촬상 디바이스)(202), 및 카메라 신호 처리 회로인 DSP(Digital Signal Processor) 회로(203)를 구비한다. 또한, 촬상 장치(200)는, 프레임 메모리(204), 표시부(205), 기록부(206), 조작부(207), 및 전원부(208)도 구비한다. DSP 회로(203), 프레임 메모리(204), 표시부(205), 기록부(206), 조작부(207) 및 전원부(208)는, 버스 라인(209)을 통해 서로 접속되어 있다.
광학부(201)는, 피사체로부터의 입사광(이미지 광)을 캡쳐하여 고체 촬상 소자(202)의 촬상면 상에 결상한다. 고체 촬상 소자(202)는, 광학부(201)에 의해 촬상면 상에 결상된 입사광의 광량을 화소 단위로 전기 신호로 변환하여 화소 신호로서 출력한다. 이 고체 촬상 소자(202)로서, 도 1의 고체 촬상 소자(1), 즉, 고다이나믹 레인지 화상 생성용의 신호와, 위상차 검출용의 신호를 동시에 취득하는 것이 가능한 고체 촬상 소자를 이용할 수 있다.
표시부(205)는, 예를 들면, LCD(Liquid Crystal Display)나 유기 EL(Electro Luminescence) 디스플레이 등의 박형 디스플레이로 구성되며, 고체 촬상 소자(202)로 촬상된 동영상 또는 정지 영상을 표시한다. 기록부(206)는, 고체 촬상 소자(202)로 촬상된 동영상 또는 정지 영상을, 하드 디스크나 반도체 메모리 등의 기록 매체에 기록한다.
조작부(207)는, 사용자에 의한 조작에 의해, 촬상 장치(200)가 갖는 다양한 기능에 대해 조작 지령을 내린다. 전원부(208)는, DSP 회로(203), 프레임 메모리(204), 표시부(205), 기록부(206) 및 조작부(207)의 동작 전원이 되는 각종의 전원을, 이들 공급 대상에 대해 적절하게 공급한다.
상술한 바와 같이, 고체 촬상 소자(202)로서, 상술한 실시형태를 적용한 고체 촬상 소자(1)를 이용함으로써, 고다이나믹 레인지 화상 생성용 신호와, 위상차 검출용 신호를 동시에 취득할 수 있다. 따라서, 비디오 카메라나 디지털 스틸 카메라, 나아가 휴대전화기 등의 모바일 기기용 카메라 모듈 등의 촬상 장치(200)에 있어서도, 촬상 화상의 고화질화를 도모할 수 있다.
<이미지 센서의 사용예>
도 32는, 상술의 고체 촬상 소자(1)를 사용하는 이미지 센서의 사용예를 나타내는 도면이다.
상술한 고체 촬상 소자(1)를 채용한 이미지 센서는, 예를 들면, 다음과 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱 하는 다양한 경우에 사용할 수 있다.
· 디지털 카메라나, 카메라 기능이 있는 휴대 기기 등, 감상용 화상을 촬영하는 장치
· 자동 정지 등의 안전 운전이나 운전자 상태의 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 및 주행 차량이나 도로를 감시하고, 차량간 거리 등의 측거를 행하기 위한 감시 카메라를 포함하는, 교통용 장치.
유저의 제스처를 촬영하고, 그 촬영 결과에 따른 기기 조작을 행하기 위해서, TV나, 냉장고, 에어컨 등의 가전에 제공되는 장치
· 내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치
· 방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 시큐리티용으로 제공되는 장치
· 피부나 두피를 촬영하기 위한, 미용용으로 제공되는 (현미경을 포함한) 장치
· 스포츠 용도 등에 적합한 액션 카메라나 웨어러블 카메라 등, 스포츠용으로 제공되는 장치
· 밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치
<15. 내시경수술 시스템에의 응용예>
본 개시에 관련되는 기술(본 기술)은, 여러 가지 제품에 응용할 수 있다. 예를 들면, 본 개시에 관련되는 기술은, 내시경수술 시스템에 적용되어도 된다.
도 33은, 본 개시에 관련되는 기술(본 기술)이 적용될 수 있는 내시경수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 33에서는, 시술자(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 침대(11133) 위의 환자(11132)에 수술을 가고 있는 모양이 도시되어 있다. 도시된 바와 같이, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복 튜브(11111)나 에너지 처치구(11112) 등의, 그 밖의 시술구(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경 하 수술을 위한 각종 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단으로부터 소정의 길이의 영역이 환자(11132)의 체강 내에 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속되는 카메라 헤드(11102)로 구성된다. 도시하는 예에서는, 경성의 경통(11101)을 갖는 소위 경성경으로 구성되는 내시경(11100)을 도시하고 있으나, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로 구성되어도 된다.
경통(11101)의 선단에는, 대물 렌즈가 끼워 넣어진 개구부가 설치되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 해당 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부에 연장되어 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광 되고, 대물 렌즈를 거쳐 환자(11132)의 체강 내의 관찰 대상을 향해 조사된다. 한편, 내시경(11100)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 설치되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU: Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되고, 내시경(11100) 및 표시 장치(11202)의 동작을 통괄적으로 제어한다. 나아가, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해서, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당화상 신호에 기초하는 화상을 표시하기 위한 각종 화상 처리를 행한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 해당CCU(11201)에 의해 화상 처리가 시행된 화상 신호에 기초하는 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(Light Emitting Diode) 등의 광원으로 구성되고, 기술부 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력 장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력 장치(11204)을 거쳐, 내시경 수술 시스템(11000)에 대하여 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 시술자의 작업 공간의 확보 목적으로, 환자(11132)의 체강을 부풀어 오르게 하기 때문에, 기복 튜브(11111)를 거쳐 해당 체강 내에 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
한편, 내시경(11100)에 시술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저 광원 또는 이 조합에 의해 구성되는 백색 광원으로 구성할 수 있다. RGB 레이저 광원의 조합에 의해 백색 광원이 구성될 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에 있어서 촬상 화상의 화이트 밸런스 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상으로 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 의하면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자 구동을 제어해 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 노출 과다나 노출 부족이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응한 소정의 파장대역의 광을 공급 가능하도록 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역광 관찰(Narrow Band Imaging)이 행해진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행해져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하여 해당 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도 시아닌 그린(ICG) 등의 시약을 체조직에 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사해 형광상을 얻는 것 등이 행해질 수 있다. 광원 장치(11203)는, 이러한 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하도록 구성될 수 있다.
도 34는, 도 33에 나타내는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 일례를 나타내는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 쌍방향으로 통신 가능하도록 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 설치되는 광학계이다. 경통(11101)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되고, 해당 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다.
촬상부(11402)는, 촬상 소자로 구성된다. 촬상부(11402)을 구성하는 촬상 소자는, 1개 (이른바 단판식)이어도 되고, 복수 (이른바 다판식)이어도 된다. 촬상부(11402)가 다판식으로 구성될 경우에는, 예를 들면 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 이들이 합성됨으로써 컬러 화상을 얻게 되어도 된다. 또는, 촬상부(11402)는, 3D(Dimensional)표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용의 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성되어도 된다. 3D 표시가 행해짐으로써, 시술자(11131)는 시술부에 있어서의 생체 조직의 깊이를 따라 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(11402)가 다판식에서 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 설치된다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 설치되지 않아도 된다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(11403)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌 렌즈 및 포커스 렌즈를 광축에 따라 소정의 거리만 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적당히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)을 거쳐 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하고, 카메라 헤드 제어부(11405)로 공급한다. 해당제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 사용자에 의해 적당히 지정되어도 되고, 취득된 화상 신호에 기초하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 된다. 후자의 경우에는, 이른바 AE(Auto Exposure)기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 거쳐 수신한 CCU(11201)로부터의 제어 신호에 기초하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)을 거쳐 송신되는 화상 신호를 수신한다.
또한, 통신부(11411)은, 카메라 헤드(11102)에 대하여, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기통신이나 광통신 등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 행한다.
제어부(11413)는, 내시경(11100)에 의한 시술부 등의 촬상, 및, 시술부 등의 촬상에 의해 얻을 수 있는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 행해진 화상 신호에 기초하여, 시술부의 화상을 표시 장치(11202)에 표시시킨다. 이 때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에 있어서의 각종의 물체를 인식하여도 된다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체부위, 출혈, 에너지 처치구(11112)의 사용 시의 미스트 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시켜도 된다. 수술 지원 정보가 중첩 표시되어, 시술자(11131)에 제시됨으로써, 시술자(11131)의 부담을 경감시키거나, 시술자(11131)가 확실하게 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광 파이버, 또는 이러한 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(11400)을 이용해서 유선으로 통신이 행해지고 있었으나, 카메라 헤드(11102)와 CCU(11201)의 사이의 통신은 무선으로 행해져도 된다.
이상, 본 개시에 기술이 적용될 수 있는 내시경수술 시스템의 일례에 대해서 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 촬상부(11402)에 적용될 수 있다. 구체적으로는, 촬상부(11402)로서, 상술한 실시형태에 따른 고체 촬상 소자(1)를 적용할 수 있다. 촬상부(11402)에 본 개시에 따른 기술을 적용함으로써, 고다이나믹 레인지 화상 생성용 신호와, 위상차 검출용 신호를 동시에 취득할 수 있다. 이에 의해, 고화질인 촬영 화상이나 거리 정보를 취득할 수 있고, 드라이버나 차량의 안전도를 높이는 것이 가능하게 된다.
한편, 여기에서는, 일례로서 내시경수술 시스템에 대해 설명했으나, 본 개시에 따른 기술은, 그 밖에, 예를 들면, 현미경 수술 시스템 등에 적용되어도 된다.
<16. 이동체에의 응용예>
본 개시와 관련되는 기술(본 기술)은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 35는, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 35에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 14의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 36은 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 36에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104 및 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12105)는, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 36에는 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어하여도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명했다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 촬상부(12031)에 적용될 수 있다. 구체적으로는, 촬상부(12031)로서, 상술한 실시형태에 따른 고체 촬상 소자(1)를 적용할 수 있다. 촬상부(12031)에 본 개시에 따른 기술을 적용함으로써, 고다이나믹 레인지 화상 생성용 신호와, 위상차 검출용 신호를 동시에 취득할 수 있다. 이에 의해, 고화질인 촬영 화상이나 거리 정보를 취득할 수 있고, 드라이버나 차량의 안전도를 높이는 것이 가능해진다.
상술한 예에서는, 제1 도전형을 P형, 제2 도전형을 N형으로서, 전자를 신호 전하로 한 고체 촬상 소자에 대해서 설명했으나, 본 기술은 정공을 신호 전하로 하는 고체 촬상 소자에도 적용할 수 있다. 즉, 제1 도전형을 N형으로 하고, 제2 도전형을 P형으로 하여, 전술한 각 반도체 영역을 반대의 도전형 반도체 영역으로 구성할 수 있다.
본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들면, 상술한 복수의 실시형태 모두 또는 일부를 조합시킨 형태를 채용할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 본 명세서에 기재된 것 이외의 효과이어도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
각각 같은 색의 컬러 필터를 가지는 화소 세트를, 복수의 색에 대응하여 복수 포함하고, 상기 각각의 화소 세트는 복수의 화소로 이루어지고, 상기 각 화소는 복수의 광전 변환부를 구비하는 고체 촬상 소자.
(2)
상기 각 화소는, 수직 방향 또는 수평 방향으로 대칭으로 배치된 2개의 광전 변환부를 구비하고,
상기 화소의 상기 광전 변환부의 배치 방향은, 적어도 화소 세트 단위로 동일 방향인 상기 (1)에 기재된 고체 촬상 소자.
(3)
상기 화소의 상기 광전 변환부의 배치 방향은, 모든 상기 화소 세트에서 동일 방향인 상기 (2)에 기재된 고체 촬상 소자.
(4)
상기 각 화소는, 수직 방향 또는 수평 방향으로 대칭으로 배치된 2개의 광전 변환부를 구비하고,
상기 각 화소 세트의 수평 방향으로 배열된 2개의 상기 화소의 상기 광전 변환부의 배치 방향은, 동일 방향인 상기 (1)에 기재된 고체 촬상 소자.
(5)
상기 각 화소는, 수직 방향 또는 수평 방향으로 대칭으로 배치된 2개의 광전 변환부를 구비하고,
상기 각 화소 세트의 수평 방향으로 배열된 2개의 상기 화소의 상기 광전 변환부의 배치 방향은, 직교하는 방향인 상기 (1)에 기재된 고체 촬상 소자.
(6)
상기 각 화소의 상기 복수의 광전 변환부의 사이는, 절연층으로 분리되어 있는 상기 (1) 내지 (5) 중 어느 하나에 기재된 고체 촬상 소자.
(7)
상기 각 화소의 상기 복수의 광전 변환부의 사이는, 상기 광전 변환부의 도전형과 반대 도전형의 불순물층으로 분리되어 있는 상기 (1) 내지 (5) 중 어느 하나에 기재된 고체 촬상 소자.
(8)
상기 불순물층의 포텐셜 장벽은, 화소 경계의 포텐셜 장벽보다 낮게 형성되어 있는 상기 (7)에 기재된 고체 촬상 소자.
(9)
복수의 상기 화소 세트의 일부에는, 상기 화소 세트 내의 모든 상기 화소를 부분적으로 차광하는 차광막이 형성되어 있는 상기 (1) 내지 (8) 중 어느 하나에 기재된 고체 촬상 소자.
(10)
복수의 상기 화소 세트의 일부에는, 상기 화소 세트 내의 일부의 상기 화소를 전체적으로 차광하는 차광막이 형성되어 있는 상기 (1) 내지 (8) 중 어느 하나에 기재된 고체 촬상 소자.
(11)
상기 광전 변환부에서 생성된 전하를 보유하는 전하 보유부를 더 구비하고,
상기 전하 보유부는, 상기 복수의 화소의 상기 광전 변환부에서 생성된 전하를 가산하여 출력하는 상기 (1) 내지 (10) 중 어느 하나에 기재된 고체 촬상 소자.
(12)
상기 전하 보유부는, 상기 화소 세트의 모든 상기 화소의 상기 광전 변환부에서 생성된 전하를 가산하여 출력하는 상기 (11)에 기재된 고체 촬상 소자.
(13)
상기 전하 보유부는, 상기 화소 세트를 구성하는 상기 복수의 화소의 상기 광전 변환부 중, 화소 내의 위치가 같은 위치끼리의 상기 광전 변환부의 전하를 가산하여 출력하는 상기 (11)에 기재된 고체 촬상 소자.
(14)
상기 화소 세트를 구성하는 상기 복수의 화소의 상기 광전 변환부 중, 제1 광전 변환부와 제2 광전 변환부는, 다른 노광 시간으로 노광되는 상기 (1) 내지 (13) 중 어느 하나에 기재된 고체 촬상 소자.
(15)
상기 광전 변환부에서 수광된 전하를 화소 신호로서 출력하는 제어를 행하는 제어부를 더 구비하고,
상기 제어부는, 상기 제1 광전 변환부의 제1 노광 시간에 의한 제1 화소 신호를 출력시킨 후, 상기 제2 광전 변환부의 제2 노광 시간에 의한 제2 화소 신호를 출력시키는 상기 (14)에 기재된 고체 촬상 소자.
(16)
상기 화소 세트를 구성하는 상기 복수의 화소 중, 적어도 일부의 화소의 상기 복수의 광전 변환부에서 생성된 화소 신호는, 따로따로 출력되는 상기 (1) 내지 (15) 중 어느 하나에 기재된 고체 촬상 소자.
(17)
상기 화소 세트를 구성하는 상기 복수의 화소 중, 제1 화소의 상기 광전 변환부는 제1 노광 시간으로 노광되고, 제2 화소의 상기 광전 변환부는 상기 제1 노광 시간보다 짧은 제2 노광 시간으로 노광되며, 상기 제2 노광 시간으로 노광되는 상기 제2 화소의 상기 복수의 광전 변환부에서 생성된 화소 신호는 따로따로 출력되는 상기 (1) 내지 (16) 중 어느 하나에 기재된 고체 촬상 소자.
(18)
상기 화소 세트를 구성하는 상기 복수의 화소 중, 제1 화소의 상기 광전 변환부는 제1 노광 시간으로 노광되고, 제2 화소의 상기 광전 변환부는 상기 제1 노광 시간보다 짧은 제2 노광 시간으로 노광되고, 제3 화소의 상기 광전 변환부는 상기 제2 노광 시간보다 짧은 제3 노광 시간으로 노광되며, 상기 제2 노광 시간으로 노광되는 상기 제2 화소의 상기 복수의 광전 변환부에서 생성된 화소 신호는 따로따로 출력되는 상기 (1) 내지 (16) 중 어느 하나에 기재된 고체 촬상 소자.
(19)
상기 화소 세트의 상기 컬러 필터는, 베이어 배열로 배치되어 있는 상기 (1) 내지 (18) 중 어느 하나에 기재된 고체 촬상 소자.
(20)
상기 고체 촬상 소자는, 각각 같은 색의 컬러 필터를 가지는 화소 세트를 복수의 색에 대응하여 복수 포함하고, 상기 각각의 화소 세트는 복수의 화소로 이루어지고, 상기 각 화소는 복수의 광전 변환부를 구비하는, 고체 촬상 소자를 구비하는 전자기기.
1: 고체 촬상 소자
2: 화소
PD: 포토다이오드,
TG: 전송 트랜지스터
3: 화소 어레이부
5: 컬럼 신호 처리 회로
12: 반도체 기판
31, 32: 반도체 영역
36: 화소간 차광막
37: 컬러 필터
38: 온 칩 렌즈
51(51Gr, 51Gb, 51R, 51B): 화소 세트
91: 온 칩 렌즈
101: 절연층
102: 불순물층
121: 차광막
200: 촬상 장치
202: 고체 촬상 소자

Claims (26)

  1. 평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제1 내지 제4 화소와, 상기 제1 내지 제4 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제1 전하 보유부를 포함하는 제1 화소 세트;
    평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제5 내지 제8 화소와, 상기 제5 내지 제8 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제2 전하 보유부를 포함하는 제2 화소 세트;
    평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제9 내지 제12 화소와, 상기 제9 내지 제12 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제3 전하 보유부를 포함하는 제3 화소 세트; 및
    평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제13 내지 제16 화소와, 상기 제13 내지 제16 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제4 전하 보유부를 포함하는 제4 화소 세트를 포함하고,
    상기 제1 화소 세트, 상기 제2 화소 세트, 상기 제3 화소 세트 및 상기 제4 화소 세트는 평면에서 보아 2x2 어레이로 배열되어 있고,
    상기 제1 및 제4 화소는 제1 파장대역의 광에 대응하는 화소 신호를 생성하고,
    상기 제5 및 제8 화소는 상기 제1 파장대역과는 다른 제2 파장대역의 광에 대응하는 화소 신호를 생성하고,
    상기 제9 및 제12 화소는 상기 제1 파장대역 및 상기 제2 파장대역과는 다른 제3 파장대역의 광에 대응하는 화소 신호를 생성하고,
    상기 제13 및 제16 화소는 상기 제1 파장대역의 광에 대응하는 화소 신호를 생성하는 광 감지 소자.
  2. 제1항에 있어서, 상기 제2 및 제3 화소는 제4 파장대역의 광에 대응하는 화소 신호를 생성하는 광 감지 소자.
  3. 제2항에 있어서, 상기 제6 및 제7 화소는 제5 파장대역의 광에 대응하는 화소 신호를 생성하는 광 감지 소자.
  4. 제3항에 있어서, 상기 제10 및 제11 화소는 제6 파장대역의 광에 대응하는 화소 신호를 생성하는 광 감지 소자.
  5. 제4항에 있어서, 상기 제14 및 제15 화소는 상기 제4 파장대역의 광에 대응하는 화소 신호를 생성하는 광 감지 소자.
  6. 제2항에 있어서, 상기 제1 파장대역과 상기 제4 파장대역은 같은 광 감지 소자.
  7. 제3항에 있어서, 상기 제2 파장대역과 상기 제5 파장대역은 같은 광 감지 소자.
  8. 제4항에 있어서, 상기 제3 파장대역과 상기 제6 파장대역은 같은 광 감지 소자.
  9. 제1항에 있어서, 상기 제1 및 제4 화소의 제1 노광 시간은 상기 제2 및 제3 화소의 제2 노광 시간과 다른 광 감지 소자.
  10. 제1항에 있어서, 상기 제1 화소 세트의 상기 제1 내지 제4 화소의 각 광전 변환부는 각각 제1 배치 방향으로 배열되어 있는 광 감지 소자.
  11. 제10항에 있어서, 상기 제2 화소 세트의 상기 제5 내지 제8 화소의 각 광전 변환부는 각각 제1 배치 방향에 직교하는 제2 배치 방향으로 배열되어 있는 광 감지 소자.
  12. 제11항에 있어서, 상기 제3 화소 세트의 상기 제9 내지 제12 화소의 각 광전 변환부는 각각 상기 제2 배치 방향으로 배열되어 있는 광 감지 소자.
  13. 제12항에 있어서, 상기 제4 화소 세트의 상기 제13 내지 제16 화소의 각 광전 변환부는 각각 상기 제1 배치 방향으로 배열되어 있는 광 감지 소자.
  14. 제1 화소 세트, 제2 화소 세트, 제3 화소 세트 및 제4 화소 세트를 포함하는 픽셀 어레이; 및
    상기 픽셀 어레이를 구동하는 적어도 하나의 구동 회로를 포함하고,
    상기 제1 화소 세트는, 평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제1 내지 제4 화소와, 상기 제1 내지 제4 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제1 전하 보유부를 포함하고,
    상기 제2 화소 세트는, 평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제5 내지 제8 화소와, 상기 제5 내지 제8 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제2 전하 보유부를 포함하고,
    상기 제3 화소 세트는, 평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제9 내지 제12 화소와, 상기 제9 내지 제12 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제3 전하 보유부를 포함하고,
    상기 제4 화소 세트는, 평면에서 보아 2x2 행렬로 배열되어 있으며 각각 2개의 광전 변환부를 구비하는 제13 내지 제16 화소와, 상기 제13 내지 제16 화소 모두의 상기 2개의 광전 변환부에 결합되어 있는 제4 전하 보유부를 포함하며,
    상기 제1 화소 세트, 상기 제2 화소 세트, 상기 제3 화소 세트 및 상기 제4 화소 세트는 평면에서 보아 2x2 어레이로 배열되어 있고,
    상기 제1 및 제4 화소는 제1 파장대역의 광에 대응하는 화소 신호를 생성하고,
    상기 제5 및 제8 화소는 상기 제1 파장대역과는 다른 제2 파장대역의 광에 대응하는 화소 신호를 생성하고,
    상기 제9 및 제12 화소는 상기 제1 파장대역 및 상기 제2 파장대역과는 다른 제3 파장대역의 광에 대응하는 화소 신호를 생성하고,
    상기 제13 및 제16 화소는 상기 제1 파장대역의 광에 대응하는 화소 신호를 생성하는 광학 소자.
  15. 제14항에 있어서, 상기 제2 및 제3 화소는 제4 파장대역의 광에 대응하는 화소 신호를 생성하는 광학 소자.
  16. 제15항에 있어서, 상기 제6 및 제7 화소는 제5 파장대역의 광에 대응하는 화소 신호를 생성하는 광학 소자.
  17. 제16항에 있어서, 상기 제10 및 제11 화소는 제6 파장대역의 광에 대응하는 화소 신호를 생성하는 광학 소자.
  18. 제17항에 있어서, 상기 제14 및 제15 화소는 상기 제4 파장대역의 광에 대응하는 화소 신호를 생성하는 광학 소자.
  19. 제15항에 있어서, 상기 제1 파장대역과 상기 제4 파장대역은 같은 광학 소자.
  20. 제16항에 있어서, 상기 제2 파장대역과 상기 제5 파장대역은 같은 광학 소자.
  21. 제17항에 있어서, 상기 제3 파장대역과 상기 제6 파장대역은 같은 광학 소자.
  22. 제14항에 있어서, 상기 제1 및 제4 화소의 제1 노광 시간은 상기 제2 및 제3 화소의 제2 노광 시간과 다른 광학 소자.
  23. 제14항에 있어서, 상기 제1 화소 세트의 상기 제1 내지 제4 화소의 각 광전 변환부는 각각 제1 배치 방향으로 배열되어 있는 광학 소자.
  24. 제23항에 있어서, 상기 제2 화소 세트의 상기 제5 내지 제8 화소의 각 광전 변환부는 각각 제1 배치 방향에 직교하는 제2 배치 방향으로 배열되어 있는 광학 소자.
  25. 제24항에 있어서, 상기 제3 화소 세트의 상기 제9 내지 제12 화소의 각 광전 변환부는 각각 상기 제2 배치 방향으로 배열되어 있는 광학 소자.
  26. 제25항에 있어서, 상기 제4 화소 세트의 상기 제13 내지 제16 화소의 각 광전 변환부는 각각 상기 제1 배치 방향으로 배열되어 있는 광학 소자.
KR1020227038241A 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기 KR102501604B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237005262A KR20230028577A (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017224138 2017-11-22
JPJP-P-2017-224138 2017-11-22
KR1020227022892A KR102481007B1 (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기
PCT/JP2018/041820 WO2019102887A1 (ja) 2017-11-22 2018-11-12 固体撮像素子および電子機器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022892A Division KR102481007B1 (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237005262A Division KR20230028577A (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기

Publications (2)

Publication Number Publication Date
KR20220153101A KR20220153101A (ko) 2022-11-17
KR102501604B1 true KR102501604B1 (ko) 2023-02-17

Family

ID=66631899

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020227038241A KR102501604B1 (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기
KR1020237005262A KR20230028577A (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기
KR1020227022892A KR102481007B1 (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기
KR1020207013115A KR102423990B1 (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020237005262A KR20230028577A (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기
KR1020227022892A KR102481007B1 (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기
KR1020207013115A KR102423990B1 (ko) 2017-11-22 2018-11-12 고체 촬상 소자 및 전자기기

Country Status (6)

Country Link
US (6) US11258993B2 (ko)
EP (5) EP4080880A1 (ko)
JP (2) JP7199371B2 (ko)
KR (4) KR102501604B1 (ko)
CN (4) CN111373745B (ko)
WO (1) WO2019102887A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012968A (ja) 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
JP2019140528A (ja) * 2018-02-09 2019-08-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び電子機器
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10998365B2 (en) * 2019-01-30 2021-05-04 Samsung Electronics Co., Ltd. Image sensor
JPWO2021124964A1 (ko) * 2019-12-17 2021-06-24
KR20210087809A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
CN114930220A (zh) * 2020-01-16 2022-08-19 索尼集团公司 成像装置和散焦量计算方法
KR102354298B1 (ko) * 2020-05-27 2022-01-24 주식회사 덱셀리온 Qbc 패턴에 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
US11563910B2 (en) * 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
JP2022044285A (ja) * 2020-09-07 2022-03-17 オリンパス株式会社 検出装置および検出方法
DE112021004185T5 (de) * 2020-10-14 2023-06-29 Hitachi Astemo, Ltd. Fahrzeugmontierte kameravorrichtung
CN112616013B (zh) * 2020-12-03 2022-03-04 上海龙旗科技股份有限公司 实现自动hdr的方法及设备
WO2022130888A1 (ja) * 2020-12-16 2022-06-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2022107563A (ja) * 2021-01-11 2022-07-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
JP2022156633A (ja) * 2021-03-31 2022-10-14 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び撮像装置
KR20220139740A (ko) 2021-04-08 2022-10-17 삼성전자주식회사 오토 포커스 픽셀을 포함하는 이미지 센서
KR20220144014A (ko) * 2021-04-16 2022-10-26 삼성전자주식회사 카메라 모듈 및 카메라 모듈의 동작 방법
KR20220147448A (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 색분리 렌즈 어레이를 구비하는 이미지 센서 및 이를 포함하는 전자 장치
KR20220156332A (ko) 2021-05-18 2022-11-25 삼성전자주식회사 오토 포커스 픽셀을 포함하는 이미지 센서
CN115484364A (zh) * 2021-05-31 2022-12-16 三星电子株式会社 图像传感器
JPWO2023021871A1 (ko) * 2021-08-18 2023-02-23
US20230171491A1 (en) * 2021-11-26 2023-06-01 Samsung Electronics Co., Ltd. Image sensor and autofocusing method of the same
WO2024024464A1 (ja) * 2022-07-25 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140253808A1 (en) 2011-08-31 2014-09-11 Sony Corporation Image processing device, and image processing method, and program
JP2015201834A (ja) 2014-03-31 2015-11-12 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器
US20150350583A1 (en) 2014-06-03 2015-12-03 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065330A (ja) 2005-08-31 2007-03-15 Canon Inc カメラ
JP4710660B2 (ja) * 2006-03-10 2011-06-29 株式会社ニコン 固体撮像素子及びこれを用いた電子カメラ
JP5034840B2 (ja) * 2007-10-01 2012-09-26 株式会社ニコン 固体撮像装置及びこれを用いた電子カメラ
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP5262180B2 (ja) 2008-02-26 2013-08-14 ソニー株式会社 固体撮像装置及びカメラ
FR2955701A1 (fr) 2010-01-28 2011-07-29 St Microelectronics Sa Structure compacte de capteur d'image
JP5585232B2 (ja) * 2010-06-18 2014-09-10 ソニー株式会社 固体撮像装置、電子機器
JP2012182332A (ja) * 2011-03-02 2012-09-20 Sony Corp 撮像素子および撮像装置
JP5967950B2 (ja) * 2011-04-20 2016-08-10 キヤノン株式会社 撮像素子及び撮像装置
JP6003291B2 (ja) 2011-08-22 2016-10-05 ソニー株式会社 固体撮像装置及び電子機器
JP5995416B2 (ja) 2011-08-24 2016-09-21 キヤノン株式会社 撮像素子及び撮像装置
JP5935274B2 (ja) * 2011-09-22 2016-06-15 ソニー株式会社 固体撮像装置、固体撮像装置の制御方法および固体撮像装置の制御プログラム
JP5636509B2 (ja) * 2011-09-26 2014-12-03 富士フイルム株式会社 カラー撮像装置
JP2013084744A (ja) * 2011-10-07 2013-05-09 Sony Corp 固体撮像素子および電子機器
JP5970834B2 (ja) * 2012-02-02 2016-08-17 ソニー株式会社 固体撮像装置、固体撮像装置の製造方法、及び、電子機器
JP2013172210A (ja) * 2012-02-17 2013-09-02 Canon Inc 撮像装置
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP2014107596A (ja) * 2012-11-22 2014-06-09 Nikon Corp 撮像素子および撮像ユニット
JP2014175832A (ja) * 2013-03-08 2014-09-22 Toshiba Corp 固体撮像装置
JP6289017B2 (ja) * 2013-03-27 2018-03-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015012127A (ja) 2013-06-28 2015-01-19 ソニー株式会社 固体撮像素子および電子機器
JP6233188B2 (ja) 2013-12-12 2017-11-22 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP6075646B2 (ja) * 2014-03-17 2017-02-08 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
JP6246076B2 (ja) * 2014-06-05 2017-12-13 ルネサスエレクトロニクス株式会社 半導体装置の製造方法および半導体装置
JP2016015430A (ja) 2014-07-03 2016-01-28 ソニー株式会社 固体撮像素子および電子機器
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
US9332200B1 (en) * 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
JP6579756B2 (ja) * 2015-02-10 2019-09-25 キヤノン株式会社 固体撮像素子およびそれを用いた撮像装置
JP6740905B2 (ja) * 2015-02-12 2020-08-19 ソニー株式会社 撮像装置およびその制御方法
JP6808495B2 (ja) * 2015-02-13 2021-01-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、駆動方法、および電子機器
JP6676393B2 (ja) 2015-03-11 2020-04-08 キヤノン株式会社 固体撮像素子およびそれを備える撮像装置
WO2016203974A1 (ja) 2015-06-15 2016-12-22 ソニー株式会社 イメージセンサ、および電子機器
KR102390836B1 (ko) * 2015-10-05 2022-04-26 삼성전자주식회사 이미지 데이터를 생성하는 전자 장치 및 방법
KR102541701B1 (ko) * 2016-01-15 2023-06-13 삼성전자주식회사 씨모스 이미지 센서
JP6885344B2 (ja) * 2016-01-20 2021-06-16 ソニーグループ株式会社 固体撮像装置およびその駆動方法、並びに電子機器
US9893111B2 (en) * 2016-04-13 2018-02-13 Taiwan Semiconductor Manufacturing Co., Ltd. Full-PDAF (phase detection autofocus) CMOS image sensor structures
JP6750852B2 (ja) * 2016-05-11 2020-09-02 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9883128B2 (en) * 2016-05-20 2018-01-30 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
JP6762766B2 (ja) * 2016-06-01 2020-09-30 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140253808A1 (en) 2011-08-31 2014-09-11 Sony Corporation Image processing device, and image processing method, and program
JP2015201834A (ja) 2014-03-31 2015-11-12 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器
US20150350583A1 (en) 2014-06-03 2015-12-03 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities

Also Published As

Publication number Publication date
CN115767293B (zh) 2023-07-14
CN115037888B (zh) 2024-05-17
EP4080880A1 (en) 2022-10-26
JPWO2019102887A1 (ja) 2020-11-19
KR20220153101A (ko) 2022-11-17
CN111373745B (zh) 2023-03-24
US20220038663A1 (en) 2022-02-03
US11258993B2 (en) 2022-02-22
US11563923B2 (en) 2023-01-24
US11936994B2 (en) 2024-03-19
EP4243436A3 (en) 2023-10-25
KR102423990B1 (ko) 2022-07-21
US11483526B2 (en) 2022-10-25
EP3716618A1 (en) 2020-09-30
KR20200090763A (ko) 2020-07-29
CN111373745A (zh) 2020-07-03
US20220150451A1 (en) 2022-05-12
EP3716618A4 (en) 2021-03-03
JP7199371B2 (ja) 2023-01-05
CN115037888A (zh) 2022-09-09
JP7439214B2 (ja) 2024-02-27
CN115767293A (zh) 2023-03-07
US20230362501A1 (en) 2023-11-09
CN115720298A (zh) 2023-02-28
EP3716618B1 (en) 2023-08-09
EP4199530A1 (en) 2023-06-21
US20230106203A1 (en) 2023-04-06
US20230171513A1 (en) 2023-06-01
KR102481007B1 (ko) 2022-12-22
EP4243436A2 (en) 2023-09-13
US11877074B2 (en) 2024-01-16
JP2023015206A (ja) 2023-01-31
EP4203045A1 (en) 2023-06-28
WO2019102887A1 (ja) 2019-05-31
US20200358989A1 (en) 2020-11-12
KR20220101005A (ko) 2022-07-18
KR20230028577A (ko) 2023-02-28

Similar Documents

Publication Publication Date Title
KR102501604B1 (ko) 고체 촬상 소자 및 전자기기
KR20180117601A (ko) 고체 촬상 소자
CN115696074B (zh) 光检测装置
CN113906566A (zh) 摄像装置
US20230025911A1 (en) Imaging device and electronic device
WO2022145190A1 (ja) 固体撮像装置および電子機器
KR20220029587A (ko) 고체 촬상 장치 및 그 구동 방법, 및 전자기기
TW202133412A (zh) 攝像元件、攝像元件之驅動方法及電子機器
JP2021072397A (ja) 固体撮像装置及び電子機器

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant