KR20220027070A - 고체 촬상 장치 및 전자 기기 - Google Patents

고체 촬상 장치 및 전자 기기 Download PDF

Info

Publication number
KR20220027070A
KR20220027070A KR1020217041497A KR20217041497A KR20220027070A KR 20220027070 A KR20220027070 A KR 20220027070A KR 1020217041497 A KR1020217041497 A KR 1020217041497A KR 20217041497 A KR20217041497 A KR 20217041497A KR 20220027070 A KR20220027070 A KR 20220027070A
Authority
KR
South Korea
Prior art keywords
pixel
pixels
phase difference
signal
unit
Prior art date
Application number
KR1020217041497A
Other languages
English (en)
Inventor
마사유키 타치
카즈히토 코바야시
다이스케 요시오카
시로 오모리
타케시 코자사
카즈히데 후지타
나오토 하야시다
쇼유 타나카
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20220027070A publication Critical patent/KR20220027070A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H04N5/374—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N5/347—
    • H04N5/355—
    • H04N9/07—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 개시는, 위상차 정보의 열화를 억제할 수 있도록 하는 고체 촬상 장치, 및 전자 기기에 관한 것이다. 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고, 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고, 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며, 복수의 화소를 판독할 시에, 수평 방향의 소정의 화소의 화소 신호와, 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산할 때, 위상차 화소를 부분적으로 가산하지 않는 고체 촬상 장치가 제공된다. 본 개시는, 예를 들면, 위상차 화소를 갖는 CMOS 이미지 센서에 적용할 수 있다.

Description

고체 촬상 장치 및 전자 기기
본 개시는 고체 촬상 장치 및 전자 기기에 관한 것으로, 특히, 위상차 정보의 열화를 억제할 수 있도록 한 고체 촬상 장치 및 전자 기기에 관한 것이다.
최근, 오토 포커스의 속도 향상을 도모하기 위해, 위상차 검출용 화소(이하, 위상차 화소라고 함)를 배치한 고체 촬상 장치가 사용되고 있다.
이러한 종류의 위상차 화소의 구성으로서는, 특허문헌 1, 2에 개시되어 있는 기술이 알려져 있다.
특허문헌 1: 일본특허공개 제2017-216647호 공보 특허문헌 2: 일본특허공개 제2011-250325호 공보
그런데, 화소 어레이부에 2차원 형상으로 배열되는 복수의 화소에, 위상차 화소를 포함시킨 구성을 사용하는 경우에는, 위상차 정보의 열화를 억제하는 것이 요구된다.
본 개시는 이러한 상황을 감안하여 이루어진 것으로, 위상차 정보의 열화를 억제할 수 있도록 하는 것이다.
본 개시의 일 측면의 고체 촬상 장치는, 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고, 상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고, 상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며, 상기 복수의 화소를 판독할 시에, 수평 방향의 소정의 화소의 화소 신호와, 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산할 때, 상기 위상차 화소를 부분적으로 가산하지 않는 고체 촬상 장치이다.
본 개시의 일 측면의 전자 기기는, 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고, 상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고, 상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며, 상기 복수의 화소를 판독할 시에, 수평 방향의 소정의 화소의 화소 신호와, 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산할 때, 상기 위상차 화소를 부분적으로 가산하지 않는 고체 촬상 장치를 탑재한 전자 기기이다.
본 개시의 일 측면의 고체 촬상 장치 및 전자 기기에 있어서는, 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고, 상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고, 상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지고 있다. 또한, 상기 복수의 화소를 판독할 시에, 수평 방향의 소정의 화소의 화소 신호와, 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산할 때, 상기 위상차 화소가 부분적으로 가산되지 않는다.
본 개시의 일 측면의 고체 촬상 장치는, 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고, 상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고, 상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며, 수직 방향의 복수의 화소부마다 형성되는 부유 확산 영역으로부터 수직 신호선으로의 접속을 선택하기 위한 선택 제어선을 수평 방향으로 복수 설치하고 있는 고체 촬상 장치이다.
본 개시의 일 측면의 고체 촬상 장치에 있어서는, 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고, 상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고, 상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지고 있다. 또한, 수직 방향의 복수의 화소부마다 형성되는 부유 확산 영역으로부터 수직 신호선으로의 접속을 선택하기 위한 선택 제어선이 수평 방향으로 복수 설치되어 있다.
본 개시의 일 측면의 고체 촬상 장치 또는 전자 기기는, 독립적인 장치이어도 되고, 1개의 장치를 구성하고 있는 내부 블록이어도 된다.
도 1은 본 개시에 따른 기술을 적용한 고체 촬상 장치의 구성예를 나타내는 블록도이다.
도 2는 화소 어레이부에 배열되는 복수의 화소의 평면 레이아웃을 나타내는 도면이다.
도 3은 3 노광 HDR·H2V2 가산 방식에 있어서의 판독 구동의 예를 나타내는 도면이다.
도 4는 전체 영역을 일률적으로 H2V2 가산했을 때의 상태를 모식적으로 나타낸 도면이다.
도 5는 H2V2 가산을 행할 시에 위상차 화소를 솎아내었을 때의 상태를 모식적으로 나타낸 도면이다.
도 6은 선택 제어선을 복선화한 구성예를 나타내는 도면이다.
도 7은 3 노광 HDR·H2V2 가산 방식에서 2개의 선택 제어선을 사용한 구동 제어의 예를 나타내는 도면이다.
도 8은 3 노광 HDR·H2V2 가산 방식에서 2개의 선택 제어선을 사용한 구동 제어의 예를 나타내는 도면이다.
도 9는 근방 인접 4화소 가산·H2V2 가산 방식에 있어서의 판독 구동의 예를 나타내는 도면이다.
도 10은 근방 인접 4화소 가산·H2V2 가산 방식에서 2개의 선택 제어선을 사용한 구동 제어의 예를 나타내는 도면이다.
도 11은 근방 인접 4화소 가산·H2V2 가산 방식을 사용한 경우의 화소의 구동 동작을 나타내는 도면이다.
도 12는 근방 인접 4화소 가산·H2V2 가산 방식을 사용한 경우의 화소의 구동 동작을 나타내는 도면이다.
도 13은 선택 제어선을 복선화한 구성의 다른 예를 나타내는 도면이다.
도 14는 선택 제어선과 판독 구동의 대응을 나타내는 도면이다.
도 15는 판독 구동의 예를 나타내는 도면이다.
도 16은 차광 화소의 구성예를 나타내는 도면이다.
도 17은 화소 어레이부에 배치되는 화소부의 판독 구동의 다른 예를 나타내는 도면이다.
도 18은 화소 어레이부에 배치되는 화소부의 판독 구동의 다른 예를 나타내는 확대도이다.
도 19는 본 개시에 따른 기술을 적용한 고체 촬상 장치를 탑재한 전자 기기의 구성예를 나타내는 블록도이다.
도 20은 본 개시에 따른 기술을 적용한 고체 촬상 장치의 사용예를 나타내는 도면이다.
도 21은 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 22는 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
도 23은 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 24는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
이하, 도면을 참조하면서 본 개시에 따른 기술(본 기술)의 실시형태에 대해 설명한다. 한편, 설명은 이하의 순서로 행함으로써 한다.
1. 제1 실시형태
2. 제2 실시형태
3. 변형예
4. 전자 기기의 구성
5. 고체 촬상 장치의 사용예
6. 이동체에의 응용예
7. 내시경 수술 시스템에의 응용예
<1. 제1 실시형태>
(고체 촬상 장치의 구성예)
도 1은 본 개시에 따른 기술을 적용한 고체 촬상 장치의 일 실시형태의 구성예를 나타내는 블록도이다.
도 1의 고체 촬상 장치(10)는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 이미지 센서로 구성된다. 고체 촬상 장치(10)는, 광학 렌즈계(도시하지 않음)를 통해 피사체로부터의 입사광(이미지 광)을 캡처하고, 촬상면 상에 결상된 입사광의 광량을 화소 단위로 전기 신호로 변환하여 화소 신호로서 출력한다.
도 1에 있어서, 고체 촬상 장치(10)는 화소 어레이부(11), 수직 구동 회로(12), 컬럼 신호 처리 회로(13), 수평 구동 회로(14), 출력 회로(15), 제어 회로(16), 및 입출력 단자(17)를 포함하여 구성된다.
화소 어레이부(11)에는, 복수의 화소부(200)가 2차원 형상(행렬 형상)으로 배열된다. 화소부(200)는, 동일한 색의 4개의 화소(100)(2×2의 4화소)로 구성된다.
각 화소부(200)는, 동일한 색의 4개의 화소(100)로서, 적색(R) 성분, 녹색(G) 성분, 또는 청색(B) 성분의 파장의 광을 투과하는 컬러 필터에 따른, 적색(R)의 화소, 녹색(G)의 화소, 또는 청색(B)의 화소로 구성된다. 또한, 화소부(200)는, 동일한 색의 4개의 화소(100)에 의해 화소 회로가 공유된 공유 화소로서 구성된다.
화소부(200)에 있어서, 동일한 색의 각 화소(100)는, 광전 변환 소자로서의 포토다이오드(PD)와, 전송 트랜지스터(TR-Tr)를 각각 가지고 구성된다. 또한, 화소부(200)에 있어서는, 동일한 색의 4개의 화소(100)에 의해, 화소 회로로서의 리셋 트랜지스터(RST-Tr), 증폭 트랜지스터(AMP-Tr), 및 선택 트랜지스터(SEL-Tr)가 공유되고 있다.
한편, 상세한 것은 후술하지만, 화소 어레이부(11)에는, 화소부(200)에 포함되는 화소(100)로서, 위상차 검출용 화소(이하, 위상차 화소라고 함)가 산재하여(반복 패턴으로) 배치되어 있다.
수직 구동 회로(12)는 시프트 레지스터 등에 의해 구성되고, 소정의 화소 구동선(121)을 선택하여, 선택된 화소 구동선(121)에 화소(100) 또는 화소부(200)를 구동하기 위한 구동 신호(펄스)를 공급하고, 행 단위로 화소(100) 또는 화소부(200)를 구동한다.
즉, 수직 구동 회로(12)는, 화소 어레이부(11)의 각 화소(100) 또는 각 화소부(200)를 행 단위로 순차 수직 방향으로 선택 주사하고, 각 화소(100)의 포토다이오드에 있어서 수광량에 따라 생성된 전하(신호 전하)에 기초한 화소 신호를, 수직 신호선(131)을 통해 컬럼 신호 처리 회로(13)에 공급한다.
컬럼 신호 처리 회로(13)는 화소부(200)의 열마다 배치되어 있고, 1행분의 화소부(200)로부터 출력되는 신호를 화소열마다 노이즈 제거 등의 신호 처리를 행한다. 예를 들면, 컬럼 신호 처리 회로(13)는, 화소 고유의 고정 패턴 노이즈를 제거하기 위한 상관 이중 샘플링(CDS: Correlated Double Sampling), 및 AD(Analog Digital) 변환 등의 신호 처리를 행한다.
수평 구동 회로(14)는 시프트 레지스터 등에 의해 구성되고, 수평 주사 펄스를 순차 출력함으로써, 컬럼 신호 처리 회로(13)의 각각을 차례로 선택하고, 컬럼 신호 처리 회로(13)의 각각으로부터 화소 신호를 수평 신호선(141)에 출력시킨다.
출력 회로(15)는, 컬럼 신호 처리 회로(13)의 각각으로부터 수평 신호선(141)을 통해 순차적으로 공급되는 신호에 대해, 신호 처리를 행하여 출력한다. 한편, 출력 회로(15)는, 예를 들면, 버퍼링만 하는 경우도 있고, 블랙 레벨 조정, 열 편차 보정, 각종 디지털 신호 처리 등이 행해지는 경우도 있다.
제어 회로(16)는 고체 촬상 장치(10)의 각 부의 동작을 제어한다.
또한, 제어 회로(16)는, 수직 동기 신호, 수평 동기 신호, 및 마스터 클록 신호에 기초하여, 수직 구동 회로(12), 컬럼 신호 처리 회로(13), 및 수평 구동 회로(14) 등의 동작의 기준이 되는 클록 신호나 제어 신호를 생성한다. 제어 회로(16)는, 생성한 클록 신호나 제어 신호를, 수직 구동 회로(12), 컬럼 신호 처리 회로(13), 및 수평 구동 회로(14) 등에 출력한다.
입출력 단자(17)는 외부와 신호의 교환을 행한다.
이상과 같이 구성되는, 도 1의 고체 촬상 장치(10)는, CDS 처리 및 AD 변환 처리를 행하는 컬럼 신호 처리 회로(13)가 화소열마다 배치된 컬럼 AD 방식이라고 불리는 CMOS 이미지 센서로 된다. 또한, 도 1의 고체 촬상 장치(10)는, 이면 조사형 CMOS 이미지 센서 등으로 할 수 있다.
(화소의 평면 레이아웃)
도 2는 도 1의 화소 어레이부(11)에 2차원 형상으로 배열되는 복수의 화소(100) 중, 광의 입사측에서 보아서, 소정의 영역에 배열되는 32행 32열의 화소(100)를 예시하고 있다.
이하의 설명에서는, 컬러 필터로서, 적색(R) 성분의 파장의 광을 투과하는 컬러 필터가 설치되고, 이 R 컬러 필터를 투과한 광으로부터, 적색(R) 성분의 광에 대응한 전하가 얻어지는 화소를, R 화소(100)로 표기한다. R 화소(100)에는, 우상향 대각선의 패턴이 붙여져 있고, 인접하는 4화소로 R 화소부(200A)를 구성한다.
또한, 도면 중의 우측하부의 프레임 내에 나타내는 바와 같이, R 화소부(200A)는, 4개의 R 화소(100)마다 노광 시간이 조정된다. 여기서는, T1, T2, T3(T1>T2>T3)의 3단계로 노광 시간이 조정되고, T1을 장축(長蓄; long accumulation)의 노광 시간, T2를 중축(中蓄; medium accumulation)의 노광 시간, T3을 단축(短蓄; short accumulation)의 노광 시간이라고 칭한다.
R 화소부(200A)에 있어서는, 4화소 중, 좌측상부가 장축의 RL 화소(100)가 되고, 우측상부와 좌측하부가 중축의 RM 화소(100)가 되고, 우측하부가 단축의 RS 화소(100)가 된다.
또한, 녹색(G) 성분의 파장의 광을 투과하는 컬러 필터를 투과한 광으로부터, 녹색(G) 성분의 광에 대응한 전하가 얻어지는 화소를, G 화소(100)로 표기한다. G 화소(100)에는, 도트 패턴이 붙여지고, 인접하는 4화소로 G 화소부(200A)를 구성한다.
G 화소부(200A)는, R 화소부(200A)와 마찬가지로, 3단계로 노광 시간이 조정되고, 4화소 중, 좌측상부가 장축의 GL 화소(100)가 되고, 우측상부와 좌측하부가 중축의 GM 화소(100)가 되고, 우측하부가 단축의 GS 화소(100)가 된다.
나아가, 청색(B) 성분의 파장의 광을 투과하는 컬러 필터를 투과한 광으로부터, 청색(B) 성분의 광에 대응한 전하가 얻어지는 화소를, B 화소(100)로 표기한다. B 화소(100)에는, 우하향 대각선의 패턴이 붙여져 있고, 인접하는 4화소로 B 화소부(200A)를 구성한다.
B 화소부(200A)는, R 화소부(200A)와 마찬가지로, 3단계로 노광 시간이 조정되고, 4화소 중, 좌측상부가 장축의 BL 화소(100)가 되고, 우측상부와 좌측하부가 중축의 BM 화소(100)가 되고, 우측하부가 단축의 BS 화소(100)가 된다.
여기서, 도 2의 화소 어레이부(11)에 있어서, R 화소부(200A), G 화소부(200A), 및 B 화소부(200A)에 주목하면, 이들 화소부(200A)가 규칙적으로 배열되어, 베이어 배열(Bayer array)이 된다.
바꾸어 말하면, 여기서는, 베이어 배열의 화소의 각각을, 2×2 화소로 분할하여 동일한 색의 4화소로 구성하고 있다고도 말할 수 있다. 한편, 베이어 배열이란, G 화소가 체크 형상으로 배치되고, 남은 부분에, R 화소와 B 화소가 일렬마다 교대로 배치되는 배열 패턴이다.
또한, 도 2의 화소 어레이부(11)에서는, 소정의 규칙에 따라, 위상차 화소(100L)와 위상차 화소(100R)의 세트가 배치된다.
여기서는, 위상차 화소(100L, 100R)의 세트로서의 수평 방향의 좌우의 2화소(2×1 화소)에 대해, 1개의 온 칩 렌즈(OCL: On Chip Lens)를 설치한 구조(2×1 OCL 구조)가 된다. 즉, 1개의 온 칩 렌즈에 대해, 포토다이오드 등의 광전 변환 소자를 복수 매립한 구조로 되어 있다. 이하, 2×1 OCL 구조를 갖는 화소를 2×1 OCL 화소라고도 말한다.
이 때, R, G, B 화소부(200A)를 구성하는 4화소는, 수평 방향으로 배치되는 2화소의 노광 시간이 다르기 때문에, 이들 2화소(2×1 화소)에 대해 1개의 온 칩 렌즈를 설치하는 것은, 위상차 화소의 특성으로 인해 곤란하게 된다.
그 때문에, 여기서는, 좌우로 인접한 화소부(200A)에 걸쳐서 온 칩 렌즈를 배치하고, 해당 온 칩 렌즈에 대해 형성된 2개의 광전 변환 소자 중 어느 일방을 포함하고 있는, 좌우로 인접한 화소(100)가, 동일한 색의 컬러 필터를 가지며, 또한, 동일한 노광 시간을 갖도록 한다. 이러한 구조를 사용함으로써, 수평 방향의 2화소(2×1 화소)에 대해 1개의 온 칩 렌즈를 설치하는 것이 가능해진다.
예를 들면, 인접하는 B 화소부(200A)와 G 화소부(200A)에서, B 화소부(200A)의 우측하부의 BS 화소(100)의 광전 변환 소자와, G 화소부(200A)의 좌측하부의 GM 화소(100)의 광전 변환 소자에 대해, 1개의 온 칩 렌즈를 설치할 시에, 다음에 나타내는 바와 같은 구조가 되도록 한다.
즉, 제조 시에, 해당 B 화소부(200A)의 우측하부의 BS 화소(100)의 컬러 필터를, B 컬러 필터가 아니라, G 컬러 필터로 하여, G 화소(100)로서 구성한다. 또한, 해당 BS 화소(100)는 단축 화소(S)이었지만, 노광 시간을 중축의 노광 시간으로 변경하여, 중축 화소(M)로 하고 있다.
이에 의해, 인접하는 B 화소부(200A)의 우측하부의 GM 화소(100)와, G 화소부(200A)의 좌측하부의 GM 화소(100)에 대해, 1개의 온 칩 렌즈가 설치되고, 수평 방향으로 인접한 이들 GM 화소(100)는, 동일한 G 컬러 필터를 가지며, 또한, 동일한 중축의 노광 시간을 갖는다.
그 때문에, B 화소부(200A)의 우측하부의 GM 화소(100)를 위상차 화소(100L)로 하고, G 화소부(200A)의 좌측하부의 GM 화소(100)를 위상차 화소(100R)로 하여 구성하고, 이들 위상차 화소(100L, 100R)의 세트로부터 얻어지는 화소 신호에 기초하여, 2개의 화상의 위상차를 검출 가능하게 된다.
한편, 위상차 화소(100L)를 포함하는 B 화소부(200A)에서는, 우측하부의 BS 화소(100)를 GM 화소(100)로 변경하면, 단축 화소(S)가 존재하지 않게 되지만, 좌측하부의 BM 화소(100)를 BS 화소(100)로 변경함으로써, 4화소에, 장축 화소(L) 및 중축 화소(M)와 함께, 단축 화소(S)를 포함하도록 한다.
이와 같이 하여, 도 2의 화소 어레이부(11)에서는, 인접하는 B 화소부(200A)와 G 화소부(200A)에 포함되는 위상차 화소(100L)와 위상차 화소(100R)의 세트가, 수평 방향과 수직 방향의 소정의 화소 간격으로, 규칙적으로 배열되어 있다.
(3 노광 HDR·H2V2 가산 방식)
도 3은 도 2의 화소 어레이부(11)에 베이어 배열로 배치되는 화소부(200A)의 판독 구동으로서, 3 노광 HDR·H2V2 가산 방식을 실시했을 때를 모식적으로 나타내고 있다.
이러한 3 노광 HDR·H2V2 가산 방식을 사용한 경우, 먼저, H2V2 가산이 실시된다. H2V2 가산에서는, 동일한 색이며 동일한 노광의 화소(100)로부터의 화소 신호를, 수평 방향의 2화소와 수직 방향의 2화소에서 가산(H2V2 가산)한다(도 3의 A).
구체적으로는, R 화소부(200A)의 좌측상부의 RL 화소(100)의 화소 신호를 4화소분 가산하여, 도 3의 A의 4개의 사각형 프레임(301R)마다, 그 정점의 검은 원에 따른 4개의 RL 화소(100)의 화소 신호를 가산한 가산 신호가 얻어진다(도 3의 B).
마찬가지로, R 화소부(200A)의 나머지 3화소와, G 화소부(200A)의 4화소와 B 화소부(200A)의 4화소에 대해서도 H2V2 가산됨으로써, 동일한 색이며 동일한 노광의 화소(100)에 대해 가산 신호가 얻어진다(도 3의 B).
그리고, H2V2 가산에 이어서, 3 노광 HDR이 실시된다. 즉, H2V2 가산(아날로그 가산)에 의해 얻어지는 화소 신호는, R, G, B의 색마다, 장축 화소(L), 중축 화소(M), 및 단축 화소(S)로부터의 화소 신호를 포함하기 때문에, 3 노광 HDR에서는, 이들 노광 시간이 상이한 화소 신호를 선택 또는 합성함으로써, HDR(High Dynamic Range) 화소 신호가 얻어진다(도 3의 C).
이러한 3 노광 HDR은, 동일한 색의 화소 내에 3종류의 노광 시간이 상이한 화소를 배치하고, 이러한 3종류의 화소 중에서 적정 노광의 신호를 선택 또는 합성함으로써, 다이나믹 레인지를 확장하는 기술이다.
또한, 도 2의 화소 배열에서는, B 화소부(200A)와 G 화소부(200A)에 걸치는 형태로 1개의 온 칩 렌즈를 형성하고, 위상차 화소(100L, 100R)의 세트를 배치함으로써, 위상차 검출을 행하고 있다.
여기서, 이 화소 배열에 대해, 동일한 색이며 동일한 노광의 최근방 화소(100)를 H2V2 가산할 시에, 전체 영역을 일률적으로 가산한 경우를 상정하면, 많은 통상 화소가 위상차 화소와 가산된다(도 4의 A).
그 때문에, 도 4의 B의 H2V2 가산 후를 모식적으로 나타낸 화소 배열이 되고, 도 4의 A의 H2V2 가산 전을 모식적으로 나타낸 화소 배열과 비교하면, 화소 배열(의 전체 영역)에 포함되는 화소에서 위상차 화소(100L, 100R)가 차지하는 밀도가 높아진다. 한편, 통상 화소와 위상차 화소의 신호가 섞여 버리기 때문에, 위상차 검출이 곤란해진다.
이에, 본 개시에 따른 기술에서는, 수평 수직 가산(H2V2 가산)을 행할 때에, 위상차 화소(100L, 100R)를 솎아내어, 수평 수직 가산 후의 위상차 화소의 밀도가, 수평 수직 가산 전의 위상차 화소의 밀도에 비해, 동일 또는 동등한 정도의 밀도, 또는 보다 적은 밀도로 함으로써, 위상차 화소(100L, 100R)의 밀도가 너무 높아지지 않도록 한다(도 5의 B).
즉, 도 3의 A에 나타낸 H2V2 가산을 행할 시에, 선택되는 4화소 중 1개라도 위상차 화소가 포함되는 경우에, 일부 화소에서는 위상차 화소만을 선택하여 가산하거나, 또는, 다른 일부의 화소에서는, 위상차 화소를 제외한 통상 화소끼리만을 선택하여 가산한다.
이에 의해, 위상차 화소의 밀도의 조정과 위상차 신호의 열화를 방지하는 것이 가능해진다. 또한, 수평 수직 가산의 전후의 위상차 화소의 밀도를, 동일 또는 동등한 정도의 밀도가 되도록 제어함으로써, 동일한 신호 처리 파이프라인을 공통으로 할 수 있다.
여기서는, 3패턴의 가산 방법을 예시한다.
제1 패턴으로서는, H2V2 가산 시에 있어서, 위상차 화소(2×1 OCL 화소)를 남기는 패턴이다. 여기서는, 위상차 화소를 남기기 위해, 그 이외의 통상 화소(12화소의 통상 화소)의 화소 신호를 수직 신호선(131)으로 전송하지 않도록(VSL 전송을 하지 않도록) 하여 배제한다.
이하, 이 제1 패턴의 가산 방법의 제어에서, H2V2 가산의 대상의 동일한 색의 4개의 화소부(200A) 중, 위상차 화소를 포함하는 화소부(200A)를 제외한 3개의 화소부(200A)(12화소의 통상 화소)는, VSL 전송되지 않고 가산되지 않기 때문에, 「비가산 화소부」라고 칭한다.
제2 패턴으로서는, H2V2 가산 시에 있어서, 위상차 화소(2×1 OCL 화소)를 버리는 패턴이다. 즉, RAW 화소에 대한 위상차 화소의 보정 회로의 제약 등 때문에, 위상차 화소의 밀도를 적절하게 배제한다.
이 경우, 위상차 화소를 포함하는 화소부(200A)와, 그 대각에 존재하는 화소부(200A)를 VSL 전송하지 않음으로써 배제한다. 여기서는, 전자(前者)의 화소부(200A)는, 위상차 화소를 포함하기 때문에, 「위상차 화소 버림 화소부」라고 칭하고, 그 대각의 화소부(200A)는 「동반자 화소부」라고 칭한다.
한편, 위상차 화소를 포함하는 화소부(200A)의 대각에 존재하는 화소부(200A), 즉, 「위상차 화소 버림 화소부」의 대각의 「동반자 화소부」를 배제하는 이유는, H2V2 가산 후의 화소의 중심(重心)을 가지런히 할 목적이다.
제3 패턴으로서는, 4개의 화소부(200A)(16화소의 통상 화소)를 가산하는 패턴이다. 즉, 여기서는, 통상의 H2V2 가산이 행해지기 때문에, 16화소의 통상 화소가 VSL 전송된다.
상기 3패턴의 VSL 전송의 온/오프를 제어하기 위해서는, 수직 신호선(131)과 부유 확산 영역(FD: Floating Diffusion)의 접속을 제어하기 위한 선택 제어선(SEL 선)을 복선화하여, 구동 제어를 행한다.
구체적으로는, 도 6에 나타내는 바와 같이, 수직 신호선(VSL)(131)과 부유 확산 영역(FD)(111)의 접속을 제어하기 위한 1개의 선택 제어선(SEL)(122)(도 6의 A)을, 2개의 선택 제어선(SEL)(122-1, 122-2)(도 6의 B)으로 복선화함으로써, 상기 3패턴에 따른 VSL 전송의 온/오프를 제어한다.
한편, 선택 제어선(122-1, 122-2)은, 화소 구동선(121)(도 1)에 포함되고, 수직 구동 회로(12) 또는 제어 회로(16) 또는 외부 제어 장치(도시하지 않음)로부터의 구동 신호가 인가된다. 그리고, 선택 제어선(122-1, 122-2)에 접속된 선택 트랜지스터(SEL-Tr)가, 구동 신호에 따라 동작함으로써, VSL 전송의 온/오프가 제어된다.
구체적으로는, H2V2 가산을 실시할 시에, 도 7에 나타내는 바와 같이, 도면 중의 백색 사각형으로 나타내어지는 위상차 화소(2×1 OCL 화소) 중, 프레임(210)으로 둘러싸인 위상차 화소(100L, 100R)의 세트를 남기고, 다른 위상차 화소(2×1 OCL 화소)는 버리는 경우를 상정한다.
이 경우에 있어서, 도면 중의 기호(원에 사선이 들어간 기호)가 붙여진 위치에서의 VSL 전송이 오프가 되도록, 선택 제어선(122-1, 122-2)의 구동을 제어함으로써, 프레임(210) 내의 위상차 화소만을 남길 수 있다.
즉, 도 8에 나타내는 바와 같이, 도면 중의 「1」은, 제1 패턴의 가산 방법의 제어가 행해지는 것을 나타내고, 프레임(210) 내의 위상차 화소를 남기지만, 위상차 화소를 포함하는 화소부(200A)를 제외한 3개의 화소부(200A)(12화소의 통상 화소)는, VSL 전송되지 않고 가산되지 않는다. 즉, 도면 중의 「C」는, 「비가산 화소부」가 된다.
한편, 여기서의 위상차 화소는, 선택 제어선(112-1, 112-2)의 구동 제어에 의해, 화소 단위로 선택된다. 또한, 도 7, 도 8에 있어서, 전송 제어선(TRG 선)에는 구동 신호가 인가되고, 화소부(200A) 내의 화소(100)가 선택된다.
또한, 도 8에 있어서, 도면 중의 「2」는, 제2 패턴의 가산 방법의 제어가 행해지는 것을 나타내고, 위상차 화소를 포함하는 화소부(200A)를 판독하지 않고, 나아가, 그 대각에 위치하는 화소부(200A)도 판독하지 않는다. 즉, 도면 중의 「A」는, 「위상차 화소 버림 화소부」가 되고, 도면 중의 「B」는, 「동반자 화소부」가 되고, 이들 화소부는 모두 가산되지 않는다.
나아가, 도 8에 있어서, 도면 중의 「3」은, 제3 패턴의 가산 방법의 제어가 행해지는 것을 나타내고, 4개의 화소부(200A)(16화소의 통상 화소)에서는, 통상의 H2V2 가산이 행해진다.
이와 같이, 선택 제어선(SEL 선)을 복선화하여 VSL 전송의 온/오프를 제어하여, 제1 패턴 내지 제3 패턴의 가산 방법의 제어를 실현함으로써, 위상차 화소의 밀도를 줄이면서, 위상차 화소와 통상 화소가 가산되지 않도록 할 수 있다.
또한, 본 개시에 따른 기술에서는, 선택 제어선(SEL 선)을 2개 준비하고, 부유 확산 영역(FD)(111)마다, 선택 제어선의 접속을 바꾸어, 선택 제어선(122-1, 122-2)에 인가되는 구동 신호를 제어함으로써, 수직 신호선(VSL)(131)에서의 신호 레벨의 평균화를 회피하고 있다. 한편, 통상, 선택 제어선은 1개이며, 수직 방향으로 2개의 부유 확산 영역(FD)(111)이 동일한 수직 신호선(VSL)(131)에 접속되기 때문에, 수직 신호선(VSL)(131)에서 신호 레벨이 평균화되고 있다.
한편, 여기서는, 비교기(151)를 포함하는 AD 변환기를 2열 탑재한 구성을 예시했지만, 그 밖의 구성을 사용한 경우라도 마찬가지의 개념에 의해, 3 노광 HDR·H2V2 가산 방식을 사용한 경우의 H2V2 가산 시에 있어서, 높은 위상차 검출 성능과 화질을 실현할 수 있다.
여기서, 저소비 전력의 구동을 실현할 시에, 실장상, 3개의 요건을 충족시키는 것이 바람직하다.
제1 요건은, 현재 사용하고 있는 기존의 결함 화소 회로에서 대응 가능한 것이다. 즉, 이 제1 요건을 충족시킬 수 없는 경우에는, 기존의 결함 화소 회로에 대책 회로를 새롭게 실장할 필요가 있고, 회로 규모의 증대로 이어지거나, 또는 수율이 저하되어 버린다.
이에 관하여, 본 개시에 따른 기술에서는, H2V2 가산에 있어서, 2개의 선택 제어선에 인가하는 구동 신호를 제어하여, 위상차 화소(100L, 100R)의 밀도(2×1 OCL의 화소의 밀도)를 줄이고 있기 때문에, 기존의 결함 화소 회로에서 대응 가능하여, 제1 요건을 충족시키고 있다.
제2 요건은, 필요한 위상차 화소(100L, 100R)(2×1 OCL의 화소)를 단독으로 남기고, 상면 위상차 AF(PDAF: Phase Detection Auto Focus)를 실시할 수 있는 것이다.
이에 관하여, 본 개시에 따른 기술에서는, 2개의 선택 제어선에 인가하는 구동 신호를 제어하여, 가산 화소의 취사 선택을 실시함으로써, 상면 위상차 AF에서 사용하는 위상차 화소(100L, 100R)(2×1 OCL의 화소)를, 가산하지 않고 단독의 화소로서 남기고, 그 밖의 주변 화소에 대해서는 복수 화소의 가산을 행하는 것이 가능하여, 제2 요건을 충족시키고 있다.
제3 요건은 아날로그 가산한 후에, 중심 위치가 맞는 것이다.
이에 관하여, 본 개시에 따른 기술에서는, H2V2 가산에 의한 화소 가산에 의해, 보다 저소비 전력의 판독 구동을 실현하지만, 2개의 선택 제어선에 인가하는 구동 신호를 제어하여, 가산 후에 중심이 가지런하도록 가산 화소의 취사 선택을 행하여(「위상차 화소 버림 화소부」에 대한 「동반자 화소부」등), 가산 화소에 있어서의 중심 어긋남 보정을 구동에 포함시키는 것이 가능하여, 제3 요건을 충족시키고 있다.
이와 같이, 통상은 선택 제어선이 1개로 되지만, 본 개시에 따른 기술에서는, 선택 제어선을 2개 준비하여 부유 확산 영역(FD)마다 제어 가능한 물리 사양(선택 제어선에의 콘택트의 변경)을 도입함으로써, 위상차 화소 보정, 위상차 검출, 및 중심 보정의 3개를 동시에 해결하고 있다.
<2. 제2 실시형태>
(근방 인접 4화소 가산·H2V2 가산 방식)
도 9는 화소 어레이부(11)에 베이어 배열로 배치되는 화소부(200B)의 판독 구동으로서, 근방 인접 4화소 가산·H2V2 가산 방식을 실시하는 경우를 나타내고 있다. 다만, 화소 어레이부(11)에 있어서의 각 화소부(200B) 내의 4화소, 즉, 모든 동일한 색의 화소(100)에서, 노광 시간은 동일한 시간(중축의 노광 시간 등)이 된다.
이 근방 인접 4화소 가산·H2V2 가산 방식을 사용한 경우, 먼저, 근방 인접 4화소 가산이 실시된다. 근방 인접 4화소 가산에서는, R, G, B 화소부(200B)를 구성하는 4화소(공유 화소)가 각각 근방 인접 4화소가 되고, 해당 4화소로부터의 화소 신호가 부유 확산 영역(111)에서 가산(FD 가산)되어, R 성분, G 성분, B 성분의 가산 신호가 각각 생성된다.
그리고, 근방 인접 4화소 가산에 이어서, H2V2 가산이 실시된다. H2V2 가산에서는, 동일한 색의 화소부(200B)로부터의 가산 신호를, 수평 방향의 2화소와 수직 방향의 2화소에서 더 가산한다.
구체적으로는, R 화소부(200B)는, 도 9의 A의 격자(311R)의 4코너의 4개의 백색 원에 따른 4개의 R 화소(100)가 근방 인접 4화소가 되고, 화소 가산(아날로그 가산)된다. 또한, H2V2 가산에 의해, 도 9의 A의 격자(311R)의 4코너의 근방 인접 4화소에서 얻어진 가산 신호가, 수평 방향과 수직 방향에서 더 가산(아날로그 가산)된다. 이에 의해, R 성분의 가산 신호가 얻어진다(도 9의 B의 좌측하부의 가산 신호).
마찬가지로, G 화소부(200B)는, 도 9의 A의 격자(311G)의 백색 원에 따라 근방 인접 4화소 가산과 H2V2 가산이 실시되어, G 성분의 가산 신호가 얻어진다(도 9의 B의 좌측상부 또는 우측하부의 가산 신호). 또한, B 화소부(200B)는, 도 9의 A의 격자(311B)의 백색 원에 따라 근방 인접 4화소 가산과 H2V2 가산이 실시되어, B 성분의 가산 신호가 얻어진다(도 9의 B의 우측상부의 가산 신호).
여기서, 도 9의 화소 배열에서도, B 화소부(200B)와 G 화소부(200B)에 걸치는 형태로 1개의 온 칩 렌즈를 형성하고, 위상차 화소(100L, 100R)의 세트를 배치함으로써, 위상차 검출을 행하고 있다.
이 화소 배열에 대해, 동일한 색의 최근방 화소부(200B)를, H2V2 가산할 시에, 전체 영역을 일률적으로 가산한 경우를 상정하면, 많은 통상 화소가 위상차 화소와 가산된다. 그 때문에, H2V2 가산 후에 있어서, 화소 배열(의 전체 영역)에 포함되는 화소에서 위상차 화소(100L, 100R)가 차지하는 밀도가 높아진다. 한편, 통상 화소와 위상차 화소의 신호가 섞여 버리기 때문에, 위상차 검출이 곤란해진다.
이에, 근방 인접 4화소 가산·H2V2 가산 방식에서는, 상술한 3 노광 HDR·H2V2 가산 방식과 마찬가지로, H2V2 가산을 행할 때에, 위상차 화소(100L, 100R)가 솎아내지도록 하여, 위상차 화소(100L, 100R)의 밀도가 너무 높아지지 않도록 한다.
즉, 도 9의 A에 나타낸 H2V2 가산을 행할 시에, 선택되는 4화소 중 1개라도 위상차 화소가 포함되는 경우에, 일부 화소에서는 위상차 화소만을 선택하여 가산하거나, 또는, 다른 일부의 화소에서는, 위상차 화소를 제외한 통상 화소끼리만을 선택하여 가산한다. 이에 의해, 위상차 화소의 밀도의 조정과 위상차 신호의 열화를 방지하는 것이 가능해진다.
또한, 근방 인접 4화소 가산·H2V2 가산 방식에 있어서는, 상술한 3 노광 HDR·H2V2 가산 방식과 마찬가지로, 제1 패턴 내지 제3 패턴의 3패턴에서, VSL 전송의 온/오프를 제어하기 위해, 수직 신호선(VSL)(131)과 부유 확산 영역(FD)(111)의 접속을 제어하기 위한 선택 제어선(122)이 복선화되어 있다.
구체적으로는, 도 10에 나타내는 바와 같이, 프레임(210)으로 둘러싸인 위상차 화소(2×1 OCL 화소)를 남기고, 다른 위상차 화소(2×1 OCL 화소)는 버리는 경우를 상정한다.
이 경우에 있어서, 도면 중의 「1」은, 제1 패턴의 가산 방법의 제어가 행해지는 것을 나타내고, 프레임(210) 내의 위상차 화소를 남기지만, 위상차 화소를 포함하는 화소부(200B)를 제외한 3개의 화소부(200B)(12화소의 통상 화소)는, VSL 전송되지 않고 가산되지 않는다. 즉, 도면 중의 「C」는 「비가산 화소부」가 된다.
또한, 도 10에 있어서, 도면 중의 「2」는, 제2 패턴의 가산 방법의 제어가 행해지는 것을 나타내고, 위상차 화소를 포함하는 화소부(200B)를 판독하지 않고, 나아가, 그 대각에 위치하는 화소부(200B)도 판독하지 않는다. 즉, 도면 중의 「A」는 「위상차 화소 버림 화소부」가 되고, 도면 중의 「B」는 「동반자 화소부」가 된다.
나아가, 도 10에 있어서, 도면 중의 「3」은 제3 패턴의 가산 방법의 제어가 행해지는 것을 나타내고, 4개의 화소부(200B)(16화소의 통상 화소)에서는, 통상의 H2V2 가산이 행해진다. 한편, 도 10에 있어서, 전송 제어선(TRG 선)에는 구동 신호가 인가되어, 화소부(200B) 내의 화소(100)가 선택된다.
이와 같이, 선택 제어선을 복선화하여 VSL 전송의 온/오프를 제어하여, 제1 패턴 내지 제3 패턴의 가산 방법의 제어를 실현함으로써, 위상차 화소의 밀도를 줄이면서, 위상차 화소와 통상 화소가 가산되지 않도록 할 수 있다.
여기서, 근방 인접 4화소 가산·H2V2 가산 방식에서는, 근방 인접 4화소 가산을 실시할 시에, 위상차 화소의 판독에 대응하기 위해, 도 11 및 도 12에 나타낸 구동이 실시된다.
도 11 및 도 12에서는, 수평 방향으로 늘어선 4개의 화소부(200B) 중, 중앙의 2개의 B, G 화소부(200B)가, 통상 화소 이외에, 위상차 화소(100L, 100R)를 각각 포함한다. 한편, 좌우의 G, B 화소부(200B)에서는, 4화소가 통상 화소가 된다.
근방 인접 4화소 가산을 실시할 시에는, 도 11에 나타내는 바와 같이, 각 화소부(200B)를 구성하는 4화소 중 1화소의 광전 변환 소자에 축적된 전하가, 화소부(200B)마다 상이한 부유 확산 영역(111)으로 전송된다(도 11의 S1).
이 때, 중앙의 B, G 화소부(200B)의 위상차 화소(100L, 100R)로부터 얻어지는 화소 신호는 유지된다(도 11의 S2).
그 후, 도 12에 나타내는 바와 같이, 각 화소부(200B)를 구성하는 4화소의 광전 변환 소자에 축적된 전하가 부유 확산 영역(111)으로 전송된다(도 12의 S4-1 내지 S4-3).
한편, 도 12에서는, 도 11에서 전송의 대상이 된 1화소를, 검은색 사각형으로 나타내고 있고, 이들 화소도 재전송된다.
이 때, 수평 방향으로 늘어선 4개의 화소부(200B) 중, 좌우의 G, B 화소부(200B)에서는, 통상 화소만으로 구성되기 때문에, 각각, 4화소가 가산되고(도 12의 S5), 그 결과 얻어지는 가산 신호에 대해 후단의 처리가 실시된다(도 12의 S6).
또한, 중앙의 B, G 화소부(200B)에서는, B, G 화소인 통상 화소 이외에, 위상차 화소(100L, 100R)를 각각 포함하기 때문에, 4화소를 가산한 가산 신호는 사용되지 않고(도 12의 S5), 유지하고 있었던 위상차 화소(100L, 100R)로부터의 화소 신호에 대해 후단의 처리가 실시된다(도 11, 도 12의 S3).
이와 같이, 근방 인접 4화소 가산을 실시할 시에는, 위상차 화소의 판독에도 대응 가능하고, 그 후에, H2V2 가산이 실시된다.
<3. 변형예>
(선택 제어선의 확장)
상술한 설명에서는, 선택 제어선의 복선화로서, 선택 제어선을 2개로 증설하여 VSL 전송의 온/오프를 제어하는 구성을 나타내었지만, 선택 제어선은 2개로 제한되지 않고, 3개 등의 더 많은 선택 제어선을 설치할 수 있다.
구체적으로는, 도 13에 나타내는 바와 같이, 1개의 선택 제어선(SEL)(122)(도 13의 A)을, 3개의 선택 제어선(SEL)(122-1, 122-2, 122-3)(도 13의 B)으로 복선화하여, 수직 신호선(VSL)(131)과 부유 확산 영역(FD)(111)의 접속을 제어할 수 있다.
여기서는, 선택 제어선(122)을 복선화하여 3개로 함으로써, 도 14에 나타내는 바와 같이, Case0 내지 Case6에 따른 7가지의 판독을 실현할 수 있다.
즉, 도 14에서는, 3개의 선택 제어선과 Case0 내지 Case6이 각각 대응지어져 있지만, 「○」이 대상의 선택 제어선(122)을 구동하고 있는 것을 나타내고, 「×」이 대상의 선택 제어선(122)을 구동하고 있지 않은 것을 나타낸다.
구체적으로는, 선택 제어선(122-1 내지 122-3)의 3개의 선택 제어선을 모두 구동한 경우, Case0으로서, 도 15의 A의 프레임(401) 내의 동일한 색의 4개의 화소부(200)를 판독하고, 그 화소 신호를 가산할 수 있다. 또한, Case1 내지 Case6에 대해서도, Case0과 마찬가지로, 3개의 선택 제어선(122-1 내지 122-3)의 구동에 따라 동일한 색의 화소부(200)가 판독되고, 부유 확산 영역(111)에서 가산(FD 가산)된다(도 15의 B 내지 G).
이와 같이, 현재의 기술에서는, 부유 확산 영역(FD)(111)으로부터 수직 신호선(VSL)(131)에의 접속은, 물리적인 구성에 의해 결정되기 때문에, SF(Source Follower) 가산 방법은, 1가지로만 수행될 수 있었다. 본 개시에 따른 기술에서는, 선택 제어선의 복선화와 그 구동을 제어함으로써, SF 가산의 변형을 제어할 수 있다.
(차광 화소의 구성예)
또한, 상술한 설명에서는, 위상차 화소로서 2×1 OCL 화소를 사용하는 경우를 나타내었지만, 차광 화소 등의 다른 위상차 화소를 사용해도 된다.
여기서는, 도 16에 나타내는 바와 같이, 차광 영역이 좌우 대칭이 되는 차광 화소(100L)와 차광 화소(100R)를 사용할 수 있다. 즉, 차광 화소(100L)와 차광 화소(100R)는, 위상차 화소로서 쌍을 이루고 있고, 해당 차광 화소(100L, 100R)로부터 얻어지는 차광 화소 신호에 기초하여 위상차가 검출된다.
(좌우 인터리브 구조(interleave structure)의 예)
그런데, 고프레임 레이트의 실현을 위해, 수직 신호선(VSL)의 두 배의 수의 행을 동시 병렬로 판독하는 수법으로서 사용되는 수평 인터리브 구조가 있다. 또한, 상술한 설명에서는, 동일한 색의 4화소를 갖는 화소부(200)를 규칙적으로 배열한 화소 어레이부(11)에 있어서, 소정의 규칙으로 위상차 화소(100L, 100R)를 배치한 경우에, H2V2 가산 방식에 의한 구동 제어를 행할 시에, 위상차 화소(100L, 100R)의 밀도를 조정하는 수법을 나타내었다.
이하, 이들 2개의 수법을 동시에 만족하고, 또한, 2×2 화소 등의 소정의 화소 단위로 화소 신호를 판독하는 것이 가능한 구성에 대해 설명한다.
도 17은 화소 어레이부(11)에 베이어 배열로 배치되는 화소부(200)의 판독 구동의 다른 예를 나타내고 있다. 또한, 설명을 이해하기 쉽게 하기 위해, 도 17에 나타낸 화소부(200)를 배치한 영역의 일부를 확대한 도면을 도 18에 나타내고 있다.
화소 어레이부(11)에 있어서, 화소부(200)를 구성하는 4화소는, 모두 동일한 색의 화소(100)로 된다. 또한, 화소 어레이부(11)에 있어서는, 위상차 화소(100L, 100R)가, 16×16화소 단위 등의 소정의 화소 단위로 주기적으로 배치된다.
화소 어레이부(11)는 좌우 인터리브 구조를 채용하고 있다. 좌우 인터리브 구조는, 좌우를 분할하여 화소 신호를 판독하는 구조이며, 특정한 2개의 부유 확산 영역(FD)(111)이 접속되는 수직 신호선(VSL)(131)이 공통으로 되는 구조이다. 수직 신호선(VSL)(131)이 공통으로 되기 때문에, 어느 열을 판독할지를, 선택 제어선(SEL 선)에 인가되는 구동 신호(SEL 신호)에 따른 스위치 제어에 의해 선택한다.
예를 들면, 도 18의 확대도에서는, 복수의 수직 신호선(VSL)(131)에 대해, 좌측의 상하 화소부(200)에 의해 공유된 부유 확산 영역(FD)(111)과, 우측의 상하 화소부(200)에 의해 공유된 부유 확산 영역(FD)(111)이 존재하고 있고, 좌측과 우측의 상이한 열의 2개의 부유 확산 영역(FD)(111)이 접속되는 수직 신호선(VSL)(131)이 공통으로 되어 있다. 다만, 공통 수직 신호선(VSL)(131)에 접속되는 좌열과 우열의 부유 확산 영역(FD)(111)에서는, 공유되는 상하의 화소부(200)가 각각 동일한 색으로 되고, 각각 동일한 행에 배치되어 있다.
이와 같이, 화소 어레이부(11)에 있어서, 2열(좌열과 우열의 2열)의 부유 확산 영역(FD)(111)이 수직 신호선(VSL)(131)을 공유하고 있기 때문에, 상술한 구동 제어에 있어서, SF 가산을 실시하지 않는 모드(패턴)에서는, 좌우의 부유 확산 영역(FD)(111)을 개별로 판독하는 동작이 된다.
여기서, 부유 확산 영역(FD)(111)의 열에 대해 수직 신호선(VSL)(131)이 2개 있는 타입으로, 상술한 구동 제어를 실시하는 경우를 상정한다. 이 경우에 있어서, 비좌우 인터리브 구조를 사용한 경우에 동시에 판독할 수 있는 행 수는 4행(FD행)인 데 반하여, 좌우 인터리브 구조를 사용한 경우에는 동시에 판독할 수 있는 행 수는 8행(FD행)이며, 비좌우 인터리브 구조의 두 배의 행 수를 판독할 수 있다. 즉, 좌우 인터리브 구조는, 고프레임 레이트의 판독 연구가 행해진 구조이다.
화소 어레이부(11)에 있어서, 동일한 부유 확산 영역(FD)(111)을 공유하는 화소부(200) 중, 상측의 R, G, 또는 B 컬러 필터에 대응한 R, G, 또는 B 화소(100)의 4화소로 구성되는 화소부(200)를 탑측(top-side) 화소부(200)라고 하고, 하측의 R, G, 또는 B 컬러 필터에 대응한 R, G, 또는 B 화소(100)의 4화소로 구성되는 화소부(200)를 보텀측(bottom-side) 화소부(200)라고 한다.
탑측 화소부(200)를 판독할 때에, 비가산 대상이 되는 부유 확산 영역(FD)(111)은, SELQBINSF인 선택 제어선에 접속되고, 그 이외의 부유 확산 영역(FD)(111)은, SEL인 선택 제어선에 접속된다. 좌우 인터리브 구조를 사용하는 경우에는, 이에 더하여 좌열과 우열을 각각 독립적으로 제어할 필요가 있기 때문에, SEL, SELQBINSF인 선택 제어선을, 좌열용과 우열용으로 각각 준비한다.
도 17, 도 18에서는, 좌열용의 선택 제어선에 「*_EVN」을 기술하고, 우열용의 선택 제어선에 「*_ODD」를 기술하고 있다. 즉, SEL_EVN, SELQBINSF_EVN, SEL_ODD, SELQBINSF_ODD의 4종류의 선택 제어선(SEL 선)을 준비한다.
나아가, 부유 확산 영역(FD)(111)을 공유하는 화소부(200) 내의 화소(100)를 선택하는 전송 제어선(TRG 선)에 대해서도, 좌열과 우열을 각각 독립적으로 제어할 필요가 있기 때문에, 선택 제어선(SEL 선)과 마찬가지로, 좌열용과 우열용으로 각각 준비한다.
도 17, 도 18에서는, 탑측 화소부용의 전송 제어선에 「*_T」를 기술하고, 보텀측 화소부용의 전송 제어선에 「*_B」를 기술하고, 위상차 화소(100L, 100R)의 인접 화소용의 전송 제어선에 「*_ZAF」를 기술하고 있다. 즉, TRG_EVN_T, TRG_EVN_B, TRG_EVN_ZAF, TRG_ODD_T, TRG_ODD_B, TRG_ODD_ZAF의 6종류의 전송 제어선(TRG 선)을 준비한다.
이들 전송 제어선과 선택 제어선을 정리하면, 다음과 같이 된다.
(전송 제어선)
TRG_EVN_T에는, 좌열의 탑측 화소부(200) 내의 화소(100)의 전송 제어(TRG 제어)를 위한 구동 신호(TRG 신호)가 인가(출력)된다. TRG_EVN_B에는, 좌열의 보텀측 화소부(200) 내의 화소(100)의 전송 제어를 위한 구동 신호가 인가된다.
TRG_ODD_T에는, 우열의 탑측 화소부(200) 내의 화소(100)의 전송 제어를 위한 구동 신호가 인가된다. TRG_ODD_B에는, 우열의 보텀측 화소부(200) 내의 화소(100)의 전송 제어를 위한 구동 신호가 인가된다.
TRG_EVN_ZAF에는, 좌열의 위상차 화소(100L, 100R)에 인접하는 화소(100)의 전송 제어를 위한 구동 신호가 인가된다. TRG_ODD_ZAF에는, 우열의 위상차 화소(100L, 100R)에 인접하는 화소(100)의 전송 제어를 위한 구동 신호가 인가된다.
(선택 제어선)
SEL_EVN에는, TRG_EVN_T, TRG_EVN_B, 및 TRG_EVN_ZAF인 전송 제어선의 신호 레벨에 따른 논리에 의해 성립하는 구동 신호(SEL 신호)가 인가(출력)된다. 즉, SEL_EVN에서는, 「TRG_EVN_*」이 Read의 스테이트인 경우, RSEL인 입력 신호에 따른 출력이 이루어지는 한편, 「TRG_EVN_*」이 Read 이외의 스테이트인 경우, 그 출력이 Low 레벨에 고정된다.
SEL_ODD에는, TRG_ODD_T, TRG_ODD_B, 및 TRG_ODD_ZAF인 전송 제어선의 신호 레벨에 따른 논리에 의해 성립하는 구동 신호가 인가된다. 즉, SEL_ODD에서는, 「TRG_ODD_*」이 Read의 스테이트인 경우, RSEL인 입력 신호에 따른 출력이 이루어지는 한편, 「TRG_ODD_*」이 Read 이외의 스테이트인 경우, 그 출력이 Low 레벨로 고정된다.
SELQBINSF_EVN에는, TRG_EVN_T, TRG_EVN_B, 및 TRG_EVN_ZAF인 전송 제어선의 신호 레벨에 따른 논리에 의해 성립하는 구동 신호가 인가된다. 즉, SELQBINSF_EVN에서는, 「TRG_EVN_*」이 Read의 스테이트인 경우, RSELQBINSF인 입력 신호에 따른 출력이 이루어지는 한편, 「TRG_EVN_*」이 Read 이외의 스테이트인 경우, 그 출력이 Low 레벨에 고정된다. 한편, RSELQBINSF인 입력 신호로서는, 예를 들면 상술한 구동 제어에서 비가산 대상의 부유 확산 영역(FD)(111)을 읽을 때에 Low 레벨에서의 고정이 요구된다.
SELQBINSF_ODD에는, TRG_ODD_T, TRG_ODD_B, 및 TRG_ODD_ZAF인 전송 제어선의 신호 레벨에 따른 논리에 의해 성립하는 구동 신호가 인가된다. 즉, SELQBINSF_ODD에서는, 「TRG_ODD_*」이 Read의 스테이트인 경우, RSELQBINSF인 입력 신호에 따른 출력이 이루어지는 한편, 「TRG_ODD_*」이 Read 이외의 스테이트인 경우, 그 출력이 Low 레벨에 고정된다. 한편, RSELQBINSF인 입력 신호로서는, 예를 들면 상술한 구동 제어에서 비가산 대상의 부유 확산 영역(FD)(111)을 읽을 때에 Low 레벨에서의 고정이 요구된다.
이와 같이, 상술한 구동 제어를 행할 시에, 전송 제어선(TRG_EVN_B, TRG_EVN_T, TRG_EVN_ZAF, TRG_ODD_B, TRG_ODD_T, TRG_ODD_ZAF)과 선택 제어선(SEL_EVN, SELQBINSF_EVN, SEL_ODD, SELQBINSF_ODD)에 인가되는 구동 신호(TRG 신호, SEL 신호)를 제어함으로써, 촬상 화상 중의 결함의 요인이 되는 위상차 화소(100L, 100R)의 밀도가 너무 높아지지 않도록, 어떤 일정한 주기로 솎아내어 판독되도록 한다.
이 때, 선택 제어선에 인가되는 구동 신호를 제어하여, 솎아낸 위상차 화소(100L, 100R)와 대각에 위치하는 화소(100)도 마찬가지로 솎아냄으로써, H2V2 가산 후의 화소의 중심이 가지런해지기 때문에, 색 중심을 중앙에 유지한 채 결함 밀도를 억제할 수 있다. 이러한 솎음 수법(thinning method)에 대해서는, 상술한 구동 제어에서 설명한 바와 같다.
이상과 같이, 도 17, 도 18에 나타낸 구성에서는, 상술한 구동 제어를, 고프레임 레이트이며 보다 적은 수직 신호선(VSL)으로 실현 가능해지고, 나아가, 촬상 화상에 있어서의 위상차 화소에 유래하는 점 결함 밀도를 제어할 수 있다. 나아가, 2×2 화소 등의 소정의 화소 단위로 화소 신호를 판독할 수 있다.
(다른 방식의 예)
또한, 상술한 설명에서는, 3 노광 HDR·H2V2 가산 방식과 근방 인접 4화소 가산·H2V2 가산 방식을 일례로 설명하였지만, H2V2 가산을 사용한 다른 방식을 사용해도 된다. 나아가, H2V2 가산은 수평 수직 가산의 일례이며, 수평 방향의 2화소와 수직 방향의 2화소에서의 가산으로 한정되지 않고, 수평 방향의 소정의 화소의 화소 신호와, 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산하는 것이라면, 어느 것이어도 된다.
(고속 프레임 레이트 구동과 PDAF의 양립)
여기서, 고프레임 레이트화를 실현하기 위해서는, 화소 가산에 의해 총 화소 수를 감소시키고, 또한, 수평 방향의 동시 AD 변환 수를 증가시킬 필요가 있다. 한편, 고프레임 레이트(다화소 가산)의 구동과, 상면 위상차 AF(PDAF)를 양립하기 위해서는, 화소 가산 시에, 위상차 화소(2×1 OCL 화소)를 남기는 구동이 필요하며, 현재의 실현 방법으로서는, SF 가산 시에, 1FD마다 1개의 선택 제어선을 사용함으로써, Mux 제어에 의해, AD 변환 전에, 위상차 화소(2×1 OCL 화소)만을 취사 선택하고 있었다.
이 실현 방법에서는, 수평 방향의 동시 AD 변환을 증가시키는 것에의 제약이 있기 때문에, 이를 해결할 필요가 있지만, 본 개시에 따른 기술에서는, 선택 제어선을 복선화함으로써, 이 문제를 해결할 수 있다.
이상과 같이, 본 개시에 따른 기술에 의하면, 화소 어레이부(11)에 2차원 형상으로 배열되는 복수의 화소(100)(를 포함하는 화소부(200))에, 위상차 화소(100L, 100R)를 포함시킨 구성을 사용하는 경우에, 복수의 화소(100)를 판독할 시에, 수평 방향의 소정의 화소(100)의 화소 신호와, 수직 방향의 소정의 화소(100)의 화소 신호를 수평 수직 가산할 때, 위상차 화소(100L, 100R)를 부분적으로 가산하지 않음으로써, 위상차 정보의 열화를 억제할 수 있다.
특히, 최근의 모바일 기기용의 이미지 센서는 다화소화가 진행하여, 동영상 포맷으로 고속이며 저전력으로 대응하기 위한 화상 축소 기술이 요구되고 있다. 화상 축소 기술인 근방 인접 4화소 가산과 H2V2 가산을 행할 시에, 현재에서는, 위상차 화소도 통상 화소와 가산되어 버리기 때문에, 위상차 정보를 잃어버리고, 또한, 화질에의 악영향도 있었다. 또한, 현재에서는, 3 노광 HDR을 사용한 후에, 더욱 축소를 행하는 경우에는 화소 솎음(H2V2 솎음)을 행하고 있고, SN 비(Signal-Noise Ratio)의 열화와 에일리어싱(aliasing)이 발생하는 등 화질에 문제가 있었다.
그에 반해, 본 개시에 따른 기술에서는, 3 노광 HDR·H2V2 가산 방식, 또는 근방 인접 4화소 가산·H2V2 가산 방식을 사용하여 H2V2 가산을 행할 때에, 위상차 화소만을 가산 또는 선택하는 영역과, 통상 화소끼리를 가산 또는 선택하는 영역을 혼재시킴으로써, 화상 축소 시에 있어서도 위상차 화소의 밀도가 지나치게 올라가지 않도록 한다. 이에 의해, 화상 축소 시에 있어서도 위상차 정보를 잃어버리지 않고, 화질 열화를 가능한 한 억제하면서, 고속이며 저전력 동작이 실현 가능해진다.
또한, 본 개시에 따른 기술에서는, 3 노광 HDR·H2V2 가산 방식을 사용할 때에, 현재의 3 노광 HDR과 동일한 셔터 제어를 유지하면서, 동일한 노광 신호를 아날로그 가산하고 있다. 이에 의해, SN 비를 개선하면서, 판독 속도를 향상시켜, 소비 전력을 더욱 억제하는 것이 가능해진다.
다만, 상술한 H2V2 가산을 모든 화소에 대해 균일하게 행하면, 위상차 화소가 매립되어 있는 경우에는, 위상차 화소와 통상 화소가 가산됨으로써 위상차 정보가 열화되고, 위상차 화소의 영향을 받은 화소의 밀도가 상승되어 버려, 보정을 행함으로써 화질에의 악영향이 염려된다. 이러한 폐해를 회피하기 위해, 상술한 복선화한 선택 제어선의 구동 제어를 행함으로써, 위상차 정보의 열화와 화질 열화를 억제한다.
한편, 상술한 특허문헌 1에는, 전체면 위상차 검출 시에, 위상차 검출과 HDR을 실현하기 위한 가산 방법에 대해 개시되어 있지만, 매립형 위상차 화소를 선택적으로 가산하는 방법에 대해서는, 개시는 물론, 시사도 되어 있지 않다.
또한, 상술한 특허문헌 2에는, 가산 방법에 맞추는 형태에서, 위상차 화소를 배치하는 것에 대해서는 개시되어 있지만, 본 개시에 따른 기술과 같은 선택 제어선의 배선과 구동 제어에 의해 가산 화소를 선택하는 구성에 대해서는, 개시도 시사도 되어 있지 않다.
<4. 전자 기기의 구성>
도 19는 본 개시에 따른 기술을 적용한 고체 촬상 장치를 갖는 전자 기기의 구성예를 나타내는 블록도이다.
전자 기기(1000)는, 예를 들면, 디지털 스틸 카메라나 비디오 카메라 등의 촬상 장치나, 스마트폰이나 태블릿형 단말 등의 휴대 단말 장치 등의 촬상 기능을 갖는 전자 기기이다.
전자 기기(1000)는, 렌즈부(1011), 촬상부(1012), 신호 처리부(1013), 제어부(1014), 표시부(1015), 기록부(1016), 조작부(1017), 통신부(1018), 전원부(1019), 및 구동부(1020)로 구성된다.
또한, 전자 기기(1000)에 있어서, 신호 처리부(1013), 제어부(1014), 표시부(1015), 기록부(1016), 조작부(1017), 통신부(1018), 및 전원부(1019)는, 버스(1021)를 통해 서로 접속되어 있다.
렌즈부(1011)는 줌 렌즈나 포커스 렌즈 등으로 구성되고, 피사체로부터의 광을 집광한다. 렌즈부(1011)에 의해 집광된 광(피사체 광)은 촬상부(1012)에 입사된다.
촬상부(1012)는, 본 개시에 따른 기술을 적용한 고체 촬상 장치(예를 들면, 도 1의 고체 촬상 장치(10))를 포함하여 구성된다. 촬상부(1012)에서는, 고체 촬상 장치에 의해 렌즈부(1011)를 통해 수광한 광(피사체 광)을 전기 신호로 광전 변환 하여, 그 결과 얻어지는 신호를, 신호 처리부(1013)에 공급한다.
한편, 이 고체 촬상 장치의 화소 어레이부에는, 소정의 배열 패턴으로 규칙적으로 배열된 복수의 화소로서, 피사체 광에 따른 촬상 화상을 생성하기 위한 신호를 생성하는 화소(통상 화소)와, 위상차 검출을 행하기 위한 신호를 생성하는 화소(위상차 화소)가 포함된다.
예를 들면, 상술한 고체 촬상 장치(10)(도 1)에 있어서는, 통상 화소가, R 화소(100)(R 화소부(200)), G 화소(100)(G 화소부(200)), 및 B 화소(100)(B 화소부(200))에 상당하고, 위상차 화소가, 위상차 화소(100L, 100R)나, 차광 화소(100L, 100R)에 상당하고 있다.
신호 처리부(1013)는, 촬상부(1012)로부터 공급되는 신호를 처리하는 신호 처리 회로이다. 예를 들면, 신호 처리부(1013)는, DSP(Digital Signal Processor) 회로 등으로서 구성된다.
신호 처리부(1013)는, 촬상부(1012)로부터의 신호를 처리하여, 정지화상 또는 동영상의 화상 데이터를 생성하고, 표시부(1015) 또는 기록부(1016)에 공급한다. 또한, 신호 처리부(1013)는, 촬상부(1012)(이미지 센서의 위상차 화소)로부터의 신호에 기초하여, 위상차를 검출하기 위한 데이터(위상차 검출용 데이터)를 생성하여, 제어부(1014)에 공급한다.
제어부(1014)는, 예를 들면, CPU(Central Processing Unit)나 마이크로프로세서 등으로서 구성된다. 제어부(1014)는 전자 기기(1000)의 각 부의 동작을 제어한다.
표시부(1015)는, 예를 들면, 액정 패널이나 유기 EL(Electro Luminescence) 패널 등의 표시장치로서 구성된다. 표시부(1015)는, 신호 처리부(1013)로부터 공급되는 화상 데이터를 처리하여, 촬상부(1012)에 의해 촬상된 정지화상 또는 동영상을 표시한다.
기록부(1016)는, 예를 들면, 반도체 메모리나 하드 디스크 등의 기록 매체로서 구성된다. 기록부(1016)는, 신호 처리부(1013)로부터 공급되는 화상 데이터를 기록한다. 또한, 기록부(1016)는, 제어부(1014)로부터의 제어에 따라, 기록되어 있는 화상 데이터를 제공한다.
조작부(1017)는, 예를 들면, 물리적인 버튼 이외에, 표시부(1015)와 조합시켜, 터치 패널로서 구성된다. 조작부(1017)는, 사용자에 의한 조작에 따라, 전자 기기(1000)가 갖는 각종의 기능에 관한 조작 지령을 출력한다. 제어부(1014)는, 조작부(1017)로부터 공급되는 조작 지령에 기초하여 각 부의 동작을 제어한다.
통신부(1018)는, 예를 들면, 통신 인터페이스 회로 등으로서 구성된다. 통신부(1018)는, 소정의 통신 규격에 따라, 무선 통신 또는 유선 통신에 의해, 외부의 기기와의 사이에서 데이터의 교환을 행한다.
전원부(1019)는, 신호 처리부(1013), 제어부(1014), 표시부(1015), 기록부(1016), 조작부(1017), 및 통신부(1018)의 동작 전원이 되는 각종의 전원을, 이 공급 대상에 대하여 적절히 공급한다.
또한, 제어부(1014)는, 신호 처리부(1013)로부터 공급되는 위상차 검출용 데이터에 기초하여 2개의 화상의 위상차를 검출한다. 그리고, 제어부(1014)는, 위상차의 검출 결과에 기초하여, 포커스를 맞추는 대상 물체(포커싱 대상물)에 대해, 포커스가 맞는지 어떤지를 판정한다. 제어부(1014)는, 포커싱 대상물에 포커스가 맞지 않는 경우에는, 포커스의 어긋남량(디포커스량)을 산출하고, 구동부(1020)에 공급한다.
구동부(1020)는, 예를 들면, 모터 등으로 구성되고, 줌 렌즈나 포커스 렌즈 등으로 이루어지는 렌즈부(1011)를 구동한다.
구동부(1020)는, 제어부(1014)로부터 공급되는 디포커스량에 기초하여 렌즈부(1011)의 포커스 렌즈의 구동량을 산출하고, 그 구동량에 따라 포커스 렌즈를 이동시킨다. 또한, 포커싱 대상물에 대해, 포커스가 맞는 경우에는, 구동부(1020)는, 포커스 렌즈의 현재 위치를 유지시킨다.
전자 기기(1000)는 이상과 같이 구성된다.
<5. 고체 촬상 장치의 사용예>
도 20은 본 개시에 따른 기술을 적용한 고체 촬상 장치의 사용예를 나타내는 도면이다.
고체 촬상 장치(10)는, 예를 들면, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 경우에 사용할 수 있다. 즉, 도 20에 나타내는 바와 같이, 감상용으로 제공되는 화상을 촬영하는 감상의 분야뿐만 아니라, 예를 들면, 교통의 분야, 가전의 분야, 의료·헬스 케어의 분야, 보안의 분야, 미용의 분야, 스포츠의 분야, 또는 농업의 분야 등에 있어서 사용되는 장치에서도, 고체 촬상 장치(10)를 사용할 수 있다.
구체적으로는, 감상의 분야에 있어서, 예를 들면, 디지털 카메라나 스마트폰, 카메라 기능을 갖는 휴대 전화기 등의, 감상용으로 제공되는 화상을 촬영하기 위한 장치(예를 들면, 도 19의 전자 기기(1000))에서, 고체 촬상 장치(10)를 사용할 수 있다.
교통의 분야에 있어서, 예를 들면, 자동 정지 등의 안전 운전이나, 운전자의 상태의 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 측거를 행하는 측거 센서 등의, 교통용으로 제공되는 장치에서, 고체 촬상 장치(10)를 사용할 수 있다.
가전의 분야에 있어서, 예를 들면, 사용자의 제스처를 촬영하여, 그 제스처에 따른 기기 조작을 행하기 위해, 텔레비전 수상기나 냉장고, 에어컨 등의 가전에 제공되는 장치에서, 고체 촬상 장치(10)를 사용할 수 있다. 또한, 의료·헬스 케어의 분야에 있어서, 예를 들면, 내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의, 의료나 헬스 케어용으로 제공되는 장치에서, 고체 촬상 장치(10)를 사용할 수 있다.
보안의 분야에 있어서, 예를 들면, 방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의, 보안용으로 제공되는 장치에서, 고체 촬상 장치(10)를 사용할 수 있다. 또한, 미용의 분야에 있어서, 예를 들면, 피부를 촬영하는 피부 측정기나, 두피를 촬영하는 현미경 등의, 미용용으로 제공되는 장치에서, 고체 촬상 장치(10)를 사용할 수 있다.
스포츠의 분야에 있어서, 예를 들면, 스포츠 용도 등을 위한 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치에서, 고체 촬상 장치(10)를 사용할 수 있다. 또한, 농업의 분야에 있어서, 예를 들면, 밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치에서, 고체 촬상 장치(10)를 사용할 수 있다.
<6. 이동체에의 응용예>
본 개시에 따른 기술(본 기술)은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 따른 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 21은 본 개시에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 21에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 21의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 22는 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 22에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 22에는 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용 화소를 갖는 촬상 소자여도 된다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 운전자가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 운전자에게 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 해당 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례로 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중 촬상부(12031)에 적용될 수 있다. 구체적으로는, 도 1의 고체 촬상 장치(10)는, 촬상부(12101 내지 12105)에 적용할 수 있다. 촬상부(12031)에 본 개시에 따른 기술을 적용함으로써, 예를 들면, 위상차 정보의 열화와 화질의 열화를 억제할 수 있기 때문에, 시인성을 향상시켜, 보다 정확하게, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등의 물체를 인식할 수 있다.
<12. 내시경 수술 시스템에의 응용예>
도 23은 본 개시에 따른 기술(본 기술)이 적용될 수 있는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 23에서는, 시술자(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 침대(11133) 상의 환자(11132)에게 수술을 행하고 있는 모습이 도시되어 있다. 도시한 것처럼, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복 튜브(11111)나 에너지 처치구(11112) 등의 그 밖의 시술구(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경을 이용한 수술을 위한 각종의 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단으로부터 소정 길이의 영역이 환자(11132)의 체강 내로 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속되는 카메라 헤드(11102)로 구성된다. 도시하는 예에서는, 경성의 경통(11101)을 갖는 이른바 경성경으로서 구성되는 내시경(11100)을 도시하고 있지만, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로서 구성되어도 된다.
경통(11101)의 선단에는, 대물 렌즈가 끼워진 개구부가 설치되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 해당 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부로 연장 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 통해 환자(11132)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(11100)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 설치되어 있으며, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되어, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU： Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되며, 내시경(11100) 및 표시 장치(11202)의 동작을 총괄적으로 제어한다. 또한, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 실시한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 해당 CCU(11201)에 의해 화상 처리가 실시된 화상 신호에 기초하는 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(Light Emitting Diode) 등의 광원으로 구성되고, 시술부 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력장치(11204)를 통해, 내시경 수술 시스템(11000)에 대해 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(11132)의 체강을 부풀어 오르게 하기 위해, 기복 튜브(11111)를 통해 해당 체강 내로 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
또한, 내시경(11100)에 시술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로부터 구성할 수 있다. RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 따르면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 흑색 결함 및 노출 과다가 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응한 소정의 파장 대역의 광을 공급할 수 있게 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 높은 콘트라스트로 촬영하는, 이른바 협대역 광관찰(Narrow Band Imaging)이 이루어진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 이루어져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하고 해당 체조직으로부터의 형광을 관찰(자가 형광 관찰)하거나, 또는 인도시아닌그린(ICG) 등의 시약을 체조직에 국부적으로 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사하여 형광상을 얻는 것 등을 행할 수 있다. 광원 장치(11203)는, 이와 같은 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하게 구성될 수 있다.
도 24는, 도 23에 나타내는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 일례를 나타내는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 서로 통신 가능하게 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 설치되는 광학계이다. 경통(11101)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되어, 해당 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다.
촬상부(11402)는, 촬상 소자로 구성된다. 촬상부(11402)를 구성하는 촬상 소자는, 1개(이른바 단판식)이어도 되고, 복수(이른바 다판식)이어도 된다. 촬상부(11402)가 다판식으로 구성되는 경우에는, 예를 들면, 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 이들이 합성됨으로써 컬러 화상을 얻을 수 있어도 된다. 또는, 촬상부(11402)는, 3D(Dimensional) 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용 화상 신호를 각각 취득하기 위한 한 쌍의 촬상 소자를 갖도록 구성되어도 된다. 3D 표시가 행해짐으로써, 시술자(11131)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(11402)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 설치될 수 있다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 설치되지 않아도 된다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(11403)는, 액추에이터에 의해 구성되며, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌 렌즈 및 포커스 렌즈를 광축을 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)을 통해 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하여, 카메라 헤드 제어부(11405)에 공급한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 유저에 의해 적절히 지정되어도 되고, 취득된 화상 신호에 기초하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 된다. 후자의 경우에는, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재되어 있게 된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 통해 수신한 CCU(11201)로부터의 제어 신호에 기초하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)을 통해 송신되는 화상 신호를 수신한다.
또한, 통신부(11411)는, 카메라 헤드(11102)에 대해서, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기 통신이나 광 통신 등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 실시한다.
제어부(11413)는, 내시경(11100)에 의한 시술부 등의 촬상, 및 시술부 등의 촬상에 의해 얻어지는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 실시된 화상 신호에 기초하여, 시술부 등이 찍힌 촬상 화상을 표시 장치(11202)에 표시시킨다. 이 때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에 있어서의 각종의 물체를 인식해도 된다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(11112)의 사용 시의 미스트(mist) 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시켜도 된다. 수술 지원 정보가 중첩 표시되어, 시술자(11131)에게 제시됨으로써, 시술자(11131)의 부담을 경감하는 것이나, 시술자(11131)가 확실히 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광섬유, 또는 이들의 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(11400)을 이용하여 유선으로 통신이 이루어지고 있었지만, 카메라 헤드(11102)와 CCU(11201) 사이의 통신은 무선으로 이루어져도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 내시경 수술 시스템의 일례에 대해 설명하였다. 본 개시에 따른 기술은, 이상 설명한 구성 중 내시경(11100)에 적용될 수 있다. 구체적으로는, 고체 촬상 장치(10)는, 카메라 헤드(11102)의 촬상부(11402)에 적용할 수 있다. 촬상부(11402)에 본 개시에 따른 기술을 적용함으로써, 예를 들면, 위상차 정보의 열화와 화질의 열화를 억제하여, 보다 선명한 시술부 화상을 얻을 수 있기 때문에, 시술자가 시술부를 확실하게 확인하는 것이 가능해진다.
한편, 여기서는, 일례로서 내시경 수술 시스템에 대해 설명하였지만, 본 개시에 따른 기술은, 그 밖에, 예를 들면, 현미경 수술 시스템 등에 적용되어도 된다.
한편, 본 개시에 따른 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 개시에 따른 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
또한, 본 개시에 따른 기술은, 이하와 같은 구성을 취할 수 있다.
(1)
복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고,
상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고,
상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며,
상기 복수의 화소를 판독할 시에, 수평 방향의 소정의 화소의 화소 신호와, 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산할 때, 상기 위상차 화소를 부분적으로 가산하지 않는 고체 촬상 장치.
(2)
상기 수평 수직 가산 후의 위상차 화소의 밀도는, 상기 수평 수직 가산 전의 위상차 화소의 밀도에 비해, 동일 또는 동등한 정도의 밀도, 또는 보다 낮은 밀도가 되는 상기 (1)에 기재된 고체 촬상 장치.
(3)
수직 방향의 복수의 화소부마다 형성되는 부유 확산 영역으로부터 수직 신호선으로의 접속을 선택하기 위한 선택 제어선을 수평 방향으로 복수 설치하고,
상기 수평 수직 가산 시에, 복수의 선택 제어선의 구동을 제어하는 상기 (1) 또는 (2)에 기재된 고체 촬상 장치.
(4)
상기 화소부에 포함되는 화소는, 화소마다 노광 시간이 조정되고,
상기 복수의 화소를 판독할 시에, 상기 수평 수직 가산에 의해 얻어지는 동일한 색이며 상이한 노광 시간의 화소 신호를 합성함으로써, HDR(High Dynamic Range) 신호가 생성되는 상기 (1) 내지 (3) 중 어느 하나에 기재된 고체 촬상 장치.
(5)
상기 복수의 화소 중, 1개의 온 칩 렌즈에 대해 형성된 복수의 광전 변환 소자 중 어느 하나를 포함하는 상기 위상차 화소는, 인접한 동일한 색의 화소이며, 인접한 상이한 화소부에 포함되는 상기 (4)에 기재된 고체 촬상 장치.
(6)
상기 화소부는 2×2의 4화소로 구성되고,
상기 위상차 화소는, 좌우로 인접한 화소부에 각각 포함되는 2×1의 2화소로서, 제1 위상차 화소와 제2 위상차 화소로 구성되고,
상기 제1 위상차 화소와 상기 제2 위상차 화소는 동일한 노광 시간으로 조정되는 상기 (5)에 기재된 고체 촬상 장치.
(7)
상기 위상차 화소는 차광 화소로서 구성되는 상기 (4)에 기재된 고체 촬상 장치.
(8)
상기 화소부에 포함되는 화소는, 모든 동일한 색의 화소가 동일한 노광 시간으로 되고,
상기 복수의 화소를 판독할 시에, 상기 화소부에 포함되는 동일한 색의 화소의 화소 신호를 가산한 뒤 상기 수평 수직 가산을 행하는 상기 (1) 내지 (3) 중 어느 하나에 기재된 고체 촬상 장치.
(9)
상기 복수의 화소 중, 1개의 온 칩 렌즈에 대해 형성된 복수의 광전 변환 소자 중 어느 하나를 포함하는 상기 위상차 화소는, 인접한 동일한 색의 화소이며, 인접한 상이한 화소부에 포함되는 상기 (8)에 기재된 고체 촬상 장치.
(10)
상기 화소부는 2×2의 4화소로 구성되고,
상기 위상차 화소는, 좌우로 인접한 화소부에 각각 포함되는 2×1의 2화소로서, 제1 위상차 화소와 제2 위상차 화소로 구성되는 상기 (9)에 기재된 고체 촬상 장치.
(11)
상기 위상차 화소는 차광 화소로서 구성되는 상기 (8)에 기재된 고체 촬상 장치.
(12)
상기 수평 수직 가산은, 수평 방향의 소정의 2화소의 화소 신호와 수직 방향의 2화소의 화소 신호를 가산하고,
상기 수평 수직 가산 시에, 특정한 화소부에 포함되는 위상차 화소의 화소 신호를 선택함과 함께, 해당 화소부를 제외한 다른 화소부에 포함되는 통상 화소의 화소 신호를 가산하지 않도록, 복수의 선택 제어선의 구동을 제어하는 상기 (3)에 기재된 고체 촬상 장치.
(13)
수평 방향의 소정의 2화소의 화소 신호와 수직 방향의 2화소의 화소 신호를 가산하는 수평 수직 가산 시에, 특정한 위상차 화소를 포함하는 화소부에 포함되는 화소의 화소 신호와, 해당 화소부의 대각에 있는 화소부에 포함되는 통상 화소의 화소 신호를 가산하지 않도록, 복수의 선택 제어선의 구동을 제어하는 상기 (3) 또는 (12)에 기재된 고체 촬상 장치.
(14)
수평 방향의 소정의 2화소의 화소 신호와 수직 방향의 2화소의 화소 신호를 가산하는 수평 수직 가산 시에, 통상 화소만을 포함하는 화소부의 화소의 화소 신호를 가산하도록, 복수의 선택 제어선의 구동을 제어하는 상기 (3), (12), 또는 (13)에 기재된 고체 촬상 장치.
(15)
특정한 부유 확산 영역은 공통 수직 신호선에 접속되고,
상기 수평 수직 가산 시에, 특정한 부유 확산 영역으로부터 화소 신호를 판독하기 위해, 복수의 선택 제어선의 구동을 제어하는 상기 (3), (12), 또는 (13)에 기재된 고체 촬상 장치.
(16)
공통 수직 신호선에 접속되는 특정한 부유 확산 영역은, 수직 방향의 상이한 열에 형성되고,
특정한 부유 확산 영역을 공유하는 화소부의 각각은, 수평 방향의 동일한 행에 배치되며 동일한 색의 화소를 포함하여 구성되는 상기 (15)에 기재된 고체 촬상 장치.
(17)
복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고,
상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고,
상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며,
수직 방향의 복수의 화소부마다 형성되는 부유 확산 영역으로부터 수직 신호선으로의 접속을 선택하기 위한 선택 제어선을 수평 방향으로 복수 설치하고 있는 고체 촬상 장치.
(18)
상기 화소부에 포함되는 화소는, 화소마다 노광 시간이 조정되고,
상기 복수의 화소를 판독할 시에, 수평 방향의 소정의 화소의 화소 신호와 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산하여 얻어지는 동일한 색이며 상이한 노광 시간의 화소 신호를 합성함으로써, HDR 신호가 생성되는 상기 (17)에 기재된 고체 촬상 장치.
(19)
상기 화소부에 포함되는 화소는, 모든 동일한 색의 화소가 동일한 노광 시간으로 되고,
상기 복수의 화소를 판독할 시에, 상기 화소부에 포함되는 동일한 색의 화소의 화소 신호를 가산한 뒤 수평 방향의 소정의 화소의 화소 신호와 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산하는 상기 (17)에 기재된 고체 촬상 장치.
(20)
복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고,
상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고,
상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며,
상기 복수의 화소를 판독할 시에, 수평 방향의 소정의 화소의 화소 신호와, 수직 방향의 소정의 화소의 화소 신호를 수평 수직 가산할 때, 상기 위상차 화소를 부분적으로 가산하지 않는
고체 촬상 장치를 탑재한 전자 기기.
10: 고체 촬상 장치
11: 화소 어레이부
12: 수직 구동 회로
111: 부유 확산 영역(FD)
121: 화소 구동선
122, 122-1, 122-2, 122-3: 선택 제어선
131: 수직 신호선(VSL)
100: 화소
200, 200A, 200B: 화소부
1000: 전자 기기
1012: 촬상부
1014: 제어부
1020: 구동부
12031: 촬상부
11402: 촬상부

Claims (20)

  1. 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고,
    상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고,
    상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며,
    상기 복수의 화소를 판독할 시에, 수평 방향의 미리 정해진 화소의 화소 신호와, 수직 방향의 미리 정해진 화소의 화소 신호를 수평 수직 가산할 때, 상기 위상차 화소를 부분적으로 가산하지 않는, 고체 촬상 장치.
  2. 제1항에 있어서,
    상기 수평 수직 가산 후의 위상차 화소의 밀도는, 상기 수평 수직 가산 전의 위상차 화소의 밀도에 비해, 동일 또는 동등한 정도의 밀도, 또는 보다 낮은 밀도가 되는, 고체 촬상 장치.
  3. 제1항에 있어서,
    수직 방향의 복수의 화소부마다 형성되는 부유 확산 영역으로부터 수직 신호선으로의 접속을 선택하기 위한 선택 제어선을 수평 방향으로 복수 설치하고,
    상기 수평 수직 가산 시에, 복수의 선택 제어선의 구동을 제어하는, 고체 촬상 장치.
  4. 제1항에 있어서,
    상기 화소부에 포함되는 화소는, 화소마다 노광 시간이 조정되고,
    상기 복수의 화소를 판독할 시에, 상기 수평 수직 가산에 의해 얻어지는 동일한 색이며 상이한 노광 시간의 화소 신호를 합성함으로써, HDR(High Dynamic Range) 신호가 생성되는, 고체 촬상 장치.
  5. 제4항에 있어서,
    상기 복수의 화소 중, 1개의 온 칩 렌즈에 대해 형성된 복수의 광전 변환 소자 중 어느 하나를 포함하는 상기 위상차 화소는, 인접한 동일한 색의 화소이며, 인접한 상이한 화소부에 포함되는, 고체 촬상 장치.
  6. 제5항에 있어서,
    상기 화소부는 2×2의 4화소로 구성되고,
    상기 위상차 화소는, 좌우로 인접한 화소부에 각각 포함되는 2×1의 2화소로서, 제1 위상차 화소와 제2 위상차 화소로 구성되고,
    상기 제1 위상차 화소와 상기 제2 위상차 화소는 동일한 노광 시간으로 조정되는, 고체 촬상 장치.
  7. 제4항에 있어서,
    상기 위상차 화소는 차광 화소로서 구성되는, 고체 촬상 장치.
  8. 제1항에 있어서,
    상기 화소부에 포함되는 화소는, 모든 동일한 색의 화소가 동일한 노광 시간으로 되고,
    상기 복수의 화소를 판독할 시에, 상기 화소부에 포함되는 동일한 색의 화소의 화소 신호를 가산한 뒤 상기 수평 수직 가산을 행하는, 고체 촬상 장치.
  9. 제8항에 있어서,
    상기 복수의 화소 중, 1개의 온 칩 렌즈에 대해 형성된 복수의 광전 변환 소자 중 어느 하나를 포함하는 상기 위상차 화소는, 인접한 동일한 색의 화소이며, 인접한 상이한 화소부에 포함되는, 고체 촬상 장치.
  10. 제9항에 있어서,
    상기 화소부는 2×2의 4화소로 구성되고,
    상기 위상차 화소는, 좌우로 인접한 화소부에 각각 포함되는 2×1의 2화소로서, 제1 위상차 화소와 제2 위상차 화소로 구성되는, 고체 촬상 장치.
  11. 제8항에 있어서,
    상기 위상차 화소는 차광 화소로서 구성되는, 고체 촬상 장치.
  12. 제3항에 있어서,
    상기 수평 수직 가산은, 수평 방향의 미리 정해진 2화소의 화소 신호와 수직 방향의 2화소의 화소 신호를 가산하고,
    상기 수평 수직 가산 시에, 특정한 화소부에 포함되는 위상차 화소의 화소 신호를 선택하고, 해당 화소부를 제외한 다른 화소부에 포함되는 통상 화소의 화소 신호를 가산하지 않도록, 복수의 선택 제어선의 구동을 제어하는, 고체 촬상 장치.
  13. 제12항에 있어서,
    상기 수평 수직 가산 시에, 특정한 위상차 화소를 포함하는 화소부에 포함되는 화소의 화소 신호와, 해당 화소부의 대각에 있는 화소부에 포함되는 통상 화소의 화소 신호를 가산하지 않도록, 복수의 선택 제어선의 구동을 제어하는, 고체 촬상 장치.
  14. 제13항에 있어서,
    상기 수평 수직 가산 시에, 통상 화소만을 포함하는 화소부의 화소의 화소 신호를 가산하도록, 복수의 선택 제어선의 구동을 제어하는, 고체 촬상 장치.
  15. 제3항에 있어서,
    특정한 부유 확산 영역은 공통 수직 신호선에 접속되고,
    상기 수평 수직 가산 시에, 특정한 부유 확산 영역으로부터 화소 신호를 판독하기 위해, 복수의 선택 제어선의 구동을 제어하는, 고체 촬상 장치.
  16. 제15항에 있어서,
    공통 수직 신호선에 접속되는 특정한 부유 확산 영역은, 수직 방향의 상이한 열에 형성되고,
    특정한 부유 확산 영역을 공유하는 화소부의 각각은, 수평 방향의 동일한 행에 배치되며 동일한 색의 화소를 포함하여 구성되는, 고체 촬상 장치.
  17. 복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고,
    상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고,
    상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며,
    수직 방향의 복수의 화소부마다 형성되는 부유 확산 영역으로부터 수직 신호선으로의 접속을 선택하기 위한 선택 제어선을 수평 방향으로 복수 설치하고 있는, 고체 촬상 장치.
  18. 제17항에 있어서,
    상기 화소부에 포함되는 화소는, 화소마다 노광 시간이 조정되고,
    상기 복수의 화소를 판독할 시에, 수평 방향의 미리 정해진 화소의 화소 신호와 수직 방향의 미리 정해진 화소의 화소 신호를 수평 수직 가산하여 얻어지는 동일한 색이며 상이한 노광 시간의 화소 신호를 합성함으로써, HDR 신호가 생성되는, 고체 촬상 장치.
  19. 제17항에 있어서,
    상기 화소부에 포함되는 화소는, 모든 동일한 색의 화소가 동일한 노광 시간으로 되고,
    상기 복수의 화소를 판독할 시에, 상기 화소부에 포함되는 동일한 색의 화소의 화소 신호를 가산한 뒤, 수평 방향의 미리 정해진 화소의 화소 신호와 수직 방향의 미리 정해진 화소의 화소 신호를 수평 수직 가산하는, 고체 촬상 장치.
  20. 고체 촬상 장치를 탑재한 전자 기기로서, 상기 고체 촬상 장치는,
    복수의 화소가 2차원 형상으로 배열된 화소 어레이부를 구비하고,
    상기 복수의 화소는, 위상차 검출용의 위상차 화소를 포함하고,
    상기 화소 어레이부는, 근방의 동일한 색의 화소를 포함하는 화소부가 규칙적으로 배열된 배열 패턴을 가지며,
    상기 복수의 화소를 판독할 시에, 수평 방향의 미리 정해진 화소의 화소 신호와, 수직 방향의 미리 정해진 화소의 화소 신호를 수평 수직 가산할 때, 상기 위상차 화소를 부분적으로 가산하지 않는, 전자 기기.
KR1020217041497A 2019-06-25 2020-06-18 고체 촬상 장치 및 전자 기기 KR20220027070A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-117530 2019-06-25
JP2019117530 2019-06-25
PCT/JP2020/023985 WO2020262193A1 (ja) 2019-06-25 2020-06-18 固体撮像装置、及び電子機器

Publications (1)

Publication Number Publication Date
KR20220027070A true KR20220027070A (ko) 2022-03-07

Family

ID=74059742

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217041497A KR20220027070A (ko) 2019-06-25 2020-06-18 고체 촬상 장치 및 전자 기기

Country Status (7)

Country Link
US (1) US11843883B2 (ko)
EP (1) EP3993400A4 (ko)
JP (1) JPWO2020262193A1 (ko)
KR (1) KR20220027070A (ko)
CN (1) CN113875009A (ko)
TW (1) TW202107885A (ko)
WO (1) WO2020262193A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012968A (ja) 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
US11706537B2 (en) * 2021-05-11 2023-07-18 Omnivision Technologies, Inc. Image sensor and method for reading out signal of image sensor
CN113676674B (zh) * 2021-08-19 2023-06-27 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2024106196A1 (ja) * 2022-11-16 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250325A (ja) 2010-05-28 2011-12-08 Fujifilm Corp 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
JP2017216647A (ja) 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6264616B2 (ja) 2013-01-30 2018-01-24 パナソニックＩｐマネジメント株式会社 撮像装置及び固体撮像装置
KR102170627B1 (ko) 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
JP6885344B2 (ja) * 2016-01-20 2021-06-16 ソニーグループ株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP7099446B2 (ja) 2017-04-25 2022-07-12 ソニーグループ株式会社 固体撮像装置および電子機器
JP2019012968A (ja) 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
JP7171199B2 (ja) 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
WO2019026718A1 (en) 2017-08-03 2019-02-07 Sony Semiconductor Solutions Corporation IMAGING APPARATUS AND ELECTRONIC DEVICE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250325A (ja) 2010-05-28 2011-12-08 Fujifilm Corp 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
JP2017216647A (ja) 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法

Also Published As

Publication number Publication date
TW202107885A (zh) 2021-02-16
US20220345651A1 (en) 2022-10-27
CN113875009A (zh) 2021-12-31
EP3993400A4 (en) 2022-08-03
US11843883B2 (en) 2023-12-12
WO2020262193A1 (ja) 2020-12-30
EP3993400A1 (en) 2022-05-04
JPWO2020262193A1 (ko) 2020-12-30

Similar Documents

Publication Publication Date Title
US11877074B2 (en) Solid-state imaging device and electronic apparatus
US20220165770A1 (en) Solid-state imaging device and electronic device
KR20220027070A (ko) 고체 촬상 장치 및 전자 기기
KR20210009304A (ko) 고체 촬상 소자 및 고체 촬상 장치
US11930287B2 (en) Imaging element and electronic device
JP7341141B2 (ja) 撮像装置および電子機器
KR20200116458A (ko) 촬상 장치 및 전자 기기
KR20230071123A (ko) 고체 촬상 장치 및 전자 기기
US10893224B2 (en) Imaging element and electronic device
US10880503B2 (en) Solid-state image pickup device and image pickup method, and electronic apparatus
US20230005993A1 (en) Solid-state imaging element
KR20220121791A (ko) 촬상 장치 및 전자 기기
TWI840384B (zh) 攝像裝置及電子機器
US12002825B2 (en) Solid-state imaging device and electronic apparatus with improved sensitivity
US20220272292A1 (en) Solid-state imaging device, method for driving the same, and electronic device
TW202123683A (zh) 攝像裝置及攝像裝置上之像素信號之補正處理方法
TW202138848A (zh) 攝像裝置及電子機器

Legal Events

Date Code Title Description
A201 Request for examination