KR20210029205A - 적층형 수광 센서 및 전자기기 - Google Patents

적층형 수광 센서 및 전자기기 Download PDF

Info

Publication number
KR20210029205A
KR20210029205A KR1020217001553A KR20217001553A KR20210029205A KR 20210029205 A KR20210029205 A KR 20210029205A KR 1020217001553 A KR1020217001553 A KR 1020217001553A KR 20217001553 A KR20217001553 A KR 20217001553A KR 20210029205 A KR20210029205 A KR 20210029205A
Authority
KR
South Korea
Prior art keywords
substrate
unit
processing unit
image
pixel array
Prior art date
Application number
KR1020217001553A
Other languages
English (en)
Inventor
료지 에키
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority claimed from PCT/JP2019/029909 external-priority patent/WO2020027161A1/ja
Publication of KR20210029205A publication Critical patent/KR20210029205A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H04N5/379—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/3745—
    • H04N5/37452—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

칩 내에서 보다 고도의 처리를 실행한다. 실시형태에 따른 적층형 수광 센서는, 제1 기판(100, 200, 300)과, 상기 제1 기판에 접합된 제2 기판(120, 320)을 구비하고, 상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부(101)를 구비하고, 상기 제2 기판은, 상기 화소 어레이부로부터 출력되는 아날로그의 화소 신호를 디지털의 화상 데이터로 변환하는 변환기(17)와, 상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크 계산 모델에 기초한 처리를 실행하는 처리부(15)를 구비하고, 상기 변환기의 적어도 일부는, 상기 제2 기판에 있어서의 제1 변 측에 배치되고, 상기 처리부는, 상기 제2 기판에 있어서의 상기 제1 변과는 반대인 제2 변 측에 배치되어 있다.

Description

적층형 수광 센서 및 전자기기
본 개시는, 적층형 수광 센서 및 전자기기에 관한 것이다.
종래, 정지 영상이나 동영상을 취득하는 촬상 장치로서, 센서 칩, 메모리 칩, DSP(Digital Signal Processor) 칩 등의 칩끼리를 복수의 범프로 병렬로 접속한 평치형(平置型: flat-type)의 이미지 센서가 존재한다.
또한, 최근에는, 촬상 장치의 소형화를 목적으로, 복수의 다이가 적층된 적층 구조를 갖는 원칩(One Chip)의 이미지 센서가 제안되고 있다.
특허문헌 1: 국제공개 제2018/051809호
그런데, 최근에는, 화상 처리의 다양화·고속화나 개인정보의 보호 등의 관점에서, 이미지 센서 칩 내에서 보다 고도의 처리를 실행하는 것이 요망되고 있다.
이에 본 개시에서는, 칩 내에서 보다 고도의 처리를 실행하는 것이 가능한 적층형 수광 센서 및 전자기기를 제안한다.
상기의 과제를 해결하기 위해, 본 개시에 따른 일 형태의 적층형 수광 센서는, 제1 기판과, 상기 제1 기판에 접합된 제2 기판을 구비하고, 상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부를 구비하고, 상기 제2 기판은, 상기 화소 어레이부로부터 출력되는 아날로그의 화소 신호를 디지털의 화상 데이터로 변환하는 변환기와, 상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크(neural network) 계산 모델에 기초하는 처리를 실행하는 처리부를 구비하고, 상기 변환기의 적어도 일부는, 상기 제2 기판에 있어서의 제1 변 측에 배치되고, 상기 처리부는, 상기 제2 기판에 있어서의 상기 제1 변과는 반대인 제2 변 측에 배치되어 있다.
도 1은 제1 실시형태에 따른 전자기기로서의 촬상 장치의 개략 구성예를 나타내는 블록도이다.
도 2는 제1 실시형태에 따른 이미지 센서의 칩 구성예를 나타내는 모식도이다.
도 3은 제1 실시형태에 따른 제1 레이아웃 예에 있어서의 제1 기판의 레이아웃 예를 나타내는 도면이다.
도 4는 제1 실시형태에 따른 제1 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 5는 제1 실시형태에 따른 제2 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 6은 제1 실시형태에 따른 제3 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 7은 제1 실시형태에 따른 제4 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 8은 제1 실시형태에 따른 제5 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 9는 제1 실시형태에 따른 제6 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 10은 제1 실시형태에 따른 제7 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 11은 제1 실시형태에 따른 제8 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 12는 제1 실시형태에 따른 제9 레이아웃 예에 있어서의 제2 기판의 레이아웃 예를 나타내는 도면이다.
도 13은 제2 실시형태에 따른 이미지 센서에 있어서의 제1 기판의 개략 구성예를 나타내는 레이아웃 도면이다.
도 14는 제2 실시형태에 따른 이미지 센서의 칩 구성예를 나타내는 모식도이다.
도 15는 제3 실시형태에 따른 이미지 센서에 있어서의 제1 기판의 개략 구성예를 나타내는 레이아웃 도면이다.
도 16은 제3 실시형태에 따른 이미지 센서에 있어서의 제2 기판의 개략 구성예를 나타내는 레이아웃 도면이다.
도 17은 제3 실시형태에 따른 이미지 센서의 칩 구성예를 나타내는 모식도이다.
도 18은 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 19는 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
도 20은 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 21은 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
도 22는 진단 지원 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
이하에, 본 개시의 일 실시형태에 대해 도면에 기초하여 상세하게 설명한다. 한편, 이하의 실시형태에 있어서, 동일한 부위에는 동일한 부호를 붙임으로써 중복된 설명을 생략한다.
한편, 이하에 나타내는 항목 순서에 따라 본 개시를 설명한다.
1. 제1 실시형태
1.1 촬상 장치의 개략 구성예
1.2 이미지 센서 칩의 칩 구성예
1.3 학습 완료 모델에 기초한 연산을 실행하는 처리부를 탑재한 이미지 센서 칩의 과제
1.4 노이즈 저감 수법
1.4.1 제1 레이아웃 예
1.4.1.1 제1 기판의 레이아웃 예
1.4.1.2 제2 기판의 레이아웃 예
1.4.2 제2 레이아웃 예
1.4.3 제3 레이아웃 예
1.4.4 제4 레이아웃 예
1.4.5 제5 레이아웃 예
1.4.6 제6 레이아웃 예
1.4.7 제7 레이아웃 예
1.4.8 제8 레이아웃 예
1.4.9 제9 레이아웃 예
1.5 작용·효과
2. 제2 실시형태
2.1 이미지 센서 칩의 칩 구성예
2.2 작용·효과
3. 제3 실시형태
3.1 이미지 센서 칩의 칩 구성예
3.2 작용·효과
4. 그 밖의 센서에의 적용
5. 이동체에의 응용예
6. 내시경 수술 시스템에의 응용예
7. WSI(Whole Slide Imaging) 시스템에의 응용예
<1. 제1 실시형태>
먼저, 제1 실시형태에 대해, 도면을 참조하여 상세하게 설명한다.
[1.1 촬상 장치의 개략 구성예]
도 1은, 제1 실시형태에 따른 전자기기로서의 촬상 장치의 개략 구성예를 나타내는 블록도이다. 도 1에 나타낸 바와 같이, 촬상 장치(1)는, 고체 촬상 장치인 이미지 센서(10)와, 어플리케이션 프로세서(20)를 구비한다. 이미지 센서(10)는, 촬상부(11)와, 컨트롤부(12)와, 변환기(Analog to Digital Converter: 이하, ADC라고 말함)(17)와, 신호 처리부(13)와, DSP(Digital Signal Processor) (14)와, 메모리(15)와, 선택기(출력부라고도 말함)(16)를 구비하고 있다.
컨트롤부(12)는, 예를 들면, 유저의 조작이나 설정된 동작 모드에 따라, 이미지 센서(10) 내의 각 부를 제어한다.
촬상부(11)는, 예를 들면, 줌 렌즈, 포커스 렌즈, 조리개 등을 구비하는 광학계(104)와, 포토다이오드 등의 수광 소자를 포함하는 단위 화소(도 2의 단위 화소(101a))가 2차원 매트릭스 형상으로 배열된 구성을 구비하는 화소 어레이부(101)를 구비한다. 외부에서 입사한 광은, 광학계(104)를 통과함으로써, 화소 어레이부(101)에 있어서의 수광 소자가 배열된 수광면에 결상된다. 화소 어레이부(101)의 각 단위 화소(101a)는, 그 수광 소자에 입사한 광을 광전 변환함으로써, 입사광의 광량에 따른 전하를 판독 가능하게 축적한다.
ADC(17)는, 촬상부(11)로부터 판독된 단위 화소(101a)마다의 아날로그 화소 신호를 디지털 값으로 변환함으로써, 디지털의 화상 데이터를 생성하고, 생성한 화상 데이터를 신호 처리부(13) 및/또는 메모리(15)에 출력한다. 한편, ADC(17)에는, 전원 전압 등으로부터 촬상부(11)를 구동하기 위한 구동 전압을 생성하는 전압 생성 회로 등이 포함되어도 된다.
신호 처리부(13)는, ADC(17)로부터 입력된 디지털의 화상 데이터 또는 메모리(15)로부터 판독된 디지털의 화상 데이터(이하, 처리 대상의 화상 데이터라고 함)에 대해 다양한 신호 처리를 실행한다. 예를 들면, 처리 대상의 화상 데이터가 컬러 화상인 경우, 신호 처리부(13)는, 이 화상 데이터를 YUV의 화상 데이터나 RGB의 화상 데이터 등으로 포맷 변환한다. 또한, 신호 처리부(13)는, 예를 들면, 처리 대상의 화상 데이터에 대해, 노이즈 제거나 화이트 밸런스 조정 등의 처리를 필요에 따라 실행한다. 그 밖에, 신호 처리부(13)는, 처리 대상의 화상 데이터에 대해, DSP(14)가 그 화상 데이터를 처리하는데 필요로 하는 다양한 신호 처리(전처리라고도 말함)를 실행한다.
DSP(14)는, 예를 들면, 메모리(15)에 저장되어 있는 프로그램을 실행함으로써, 딥 뉴럴 네트워크(deep neural network)(DNN)을 이용한 기계 학습에 의해 작성된 학습 완료 모델(뉴럴 네트워크 계산 모델이라고도 말함)을 사용하여 각종 처리를 실행하는 처리부로서 기능한다. 이 학습 완료 모델(뉴럴 네트워크 계산 모델)은, 화소 어레이부(101)의 출력에 상당하는 입력 신호와 해당 입력 신호에 대한 라벨이 관련지어져 있는 학습 데이터를 소정의 기계 학습 모델에 입력하여 생성된 파라미터에 기초하여 설계되어 있어도 된다. 또한, 소정의 기계 학습 모델은, 다층의 뉴럴 네트워크를 이용한 학습 모델(다층 뉴럴 네트워크 모델이라고도 말함)이어도 된다.
예를 들면, DSP(14)는, 메모리(15)에 기억되어 있는 학습 완료 모델에 기초한 연산 처리를 실행함으로써, 메모리(15)에 기억되어 있는 사전 계수와 화상 데이터를 결합하는 처리를 실행한다. 이러한 연산 처리에 의해 얻어진 결과(연산 결과)는, 메모리(15) 및/또는 선택기(16)로 출력된다. 한편, 연산 결과에는, 학습 완료 모델을 이용한 연산 처리를 실행함으로써 얻어진 화상 데이터나, 그 화상 데이터로부터 얻어지는 각종 정보(메타 데이터)가 포함될 수 있다. 또한, DSP(14)에는, 메모리(15)에의 액세스를 제어하는 메모리 컨트롤러가 갖추어져 있어도 된다.
또한, DSP(14)가 처리 대상으로 하는 화상 데이터는, 화소 어레이부(101)로부터 통상적으로 판독된 화상 데이터이어도 되고, 이 통상적으로 판독된 화상 데이터의 화소를 솎아 냄으로써 데이터 사이즈가 축소된 화상 데이터이어도 된다. 혹은, 화소 어레이부(101)에 대해 화소를 솎아 낸 판독을 실행함으로써 통상보다 작은 데이터 사이즈로 판독된 화상 데이터이어도 된다. 또한, 여기에서의 통상의 판독이란, 화소를 솎아 내지 않고 판독하는 것이면 된다.
메모리(15)는, ADC(17)로부터 출력된 화상 데이터, 신호 처리부(13)에서 신호 처리된 화상 데이터, DSP(14)에서 얻어진 연산 결과 등을 필요에 따라 기억한다. 또한, 메모리(15)는, DSP(14)가 실행하는 학습 완료 모델의 알고리즘을 프로그램 및 사전 계수로서 기억한다.
한편, DSP(14)는, 학습 데이터를 사용하여 학습 모델 내의 각종 파라미터의 가중치를 변경함으로써 학습 모델을 학습하거나, 복수의 학습 모델을 준비해 두고 연산 처리의 내용에 따라 사용하는 학습 모델을 변경하거나, 외부의 장치로부터 학습 완료의 학습 모델을 취득하거나 하여, 상기 연산 처리를 실행할 수 있다.
선택기(16)는, 예를 들면 컨트롤부(12)로부터의 선택 제어 신호에 따라, DSP(14)로부터 출력된 화상 데이터, 또는, 메모리(15)에 기억되어 있는 화상 데이터나 연산 결과를 선택적으로 출력한다. 또한, DSP(14)가 신호 처리부(13)로부터 출력된 화상 데이터에 대해 처리를 실행하지 않는 경우로서, 선택기(16)가 DSP(14)로부터 출력된 화상 데이터를 출력하는 경우에는, 선택기(16)는, 신호 처리부(13)로부터 출력된 화상 데이터를 그대로 출력한다.
이상과 같이 하여 선택기(16)로부터 출력된 화상 데이터나 연산 결과는, 표시나 유저 인터페이스 등을 처리하는 어플리케이션 프로세서(20)에 입력된다. 어플리케이션 프로세서(20)는, 예를 들면, CPU(Central Processing Unit) 등을 사용하여 구성되어, 오퍼레이팅 시스템이나 각종 어플리케이션 소프트웨어 등을 실행한다. 이 어플리케이션 프로세서(20)에는, GPU(Graphics Processing Unit)나 베이스밴드 프로세서 등의 기능이 탑재되어 있어도 된다. 어플리케이션 프로세서(20)는, 입력된 화상 데이터나 연산 결과에 대해, 필요에 따른 다양한 처리를 실행하거나, 유저에의 표시를 실행하거나, 소정의 네트워크(40)를 통해 외부의 클라우드 서버(30)로 송신한다.
한편, 소정의 네트워크(40)에는, 예를 들면, 인터넷, 유선 LAN(Local Area Network) 또는 무선 LAN, 이동체 통신망, Bluetooth(등록상표) 등, 다양한 네트워크를 적용할 수 있다. 또한, 화상 데이터나 연산 결과의 송신처는, 클라우드 서버(30)로 한정되지 않고, 단일로 동작하는 서버, 각종 데이터를 보관하는 파일 서버, 휴대전화기 등의 통신 단말 등, 통신 기능을 갖는 다양한 정보처리장치(시스템)이면 된다.
[1.2 이미지 센서 칩의 칩 구성예]
다음으로, 도 1에 나타내는 이미지 센서(10)의 칩 구성의 예에 대해, 이하에 도면을 참조하여 상세하게 설명한다.
도 2는, 본 실시형태에 따른 이미지 센서의 칩 구성예를 나타내는 모식도이다. 도 2에 나타낸 바와 같이, 이미지 센서(10)는, 4각형의 평판 형상의 제1 기판(다이)(100)과, 동일하게 4각형의 평판 형상의 제2 기판(다이)(120)이 서로 접합된 적층 구조를 갖고 있다.
제1 기판(100)과 제2 기판의 사이즈는, 예를 들면, 동일하면 된다. 또한, 제1 기판(100)과 제2 기판(120)은, 각각 실리콘 기판 등의 반도체 기판이면 된다.
제1 기판(100)에는, 도 1에 나타내는 이미지 센서(10)의 구성에 있어서, 촬상부(11)의 화소 어레이부(101)가 배치된다. 또한, 제1 기판(100)에는, 광학계(104)의 일부 또는 전부가 온 칩으로 설치되어 있어도 된다.
제2 기판(120)에는, 도 1에 나타내는 이미지 센서(10)의 구성에 있어서, ADC(17)와, 컨트롤부(12)와, 신호 처리부(13)와, DSP(14)와, 메모리(15)와, 선택기(16)가 배치되어 있다. 한편, 제2 기판(120)에는, 도시하지 않은 인터페이스 회로나 드라이버 회로 등이 배치되어 있어도 된다.
제1 기판(100)과 제2 기판(120)의 접합은, 제1 기판(100) 및 제2 기판(120)을 각각 칩으로 개편화한 후, 이들 개편화된 제1 기판(100) 및 제2 기판(120)을 접합하는 이른바 CoC(Chip on Chip) 방식이어도 되고, 제1 기판(100)과 제2 기판(120) 중 일방(예를 들면, 제1 기판(100))을 칩으로 개편화한 후, 이 개편화된 제1 기판(100)을 개편화 전(즉, 웨이퍼 상태)의 제2 기판(120)에 접합하는 이른바 CoW(Chip on Wafer) 방식이어도 되고, 제1 기판(100)과 제2 기판(120)을 모두 웨이퍼의 상태로 접합하는 이른바 WoW(Wafer on Wafer) 방식이어도 된다.
제1 기판(100)과 제2 기판(120)의 접합 방법에는, 예를 들면, 플라스마 접합 등을 사용할 수 있다. 단, 이에 한정되지 않고, 다양한 접합 방법이 사용되어도 된다.
[1.3 학습 완료 모델에 기초한 연산을 실행하는 처리부를 탑재한 이미지 센서 칩의 과제]
이상과 같이, DSP(14)를 학습 완료 모델에 기초한 연산 처리를 실행하는 처리부로서 동작시키는 경우, 그 동작 알고리즘의 실장이, 프로그램의 실행에 의한, 이른바 소프트웨어 실장이 된다. 또한, 학습 완료 모델의 동작 알고리즘은, 매일 갱신된다. 그 때문에, 학습 완료 모델에 기초한 연산 처리를 실행하는 DSP(14)가 어느 타이밍에서 처리를 실행하는지, DSP(14) 처리의 피크가 어느 타이밍이 되는지 등을 사전에 파악하는 것은 곤란하다.
그리고, 도 2에 예시하는 바와 같이, 제1 기판(100)에 화소 어레이부(101)를 탑재하고, 제2 기판(120)에 DSP(14)를 탑재한 칩 구성에서, DSP(14)를 학습 완료 모델에 기초한 연산을 실행하는 처리부로서 동작시키는 경우, 화소 어레이부(101)의 리셋 중, 화소 어레이부(101)의 노광 중, 또는 화소 어레이부(101)의 각 단위 화소(101a)로부터의 화소 신호 판독 중에 DSP(14)가 연산 처리를 시작하거나 DSP(14)의 처리가 피크를 맞게 되면, 화소 어레이부(101)로부터 판독되는 화소 신호에 노이즈(전류나 전계의 변동 등)가 중첩되어, 결과적으로, 이미지 센서(10)에서 취득하는 화상의 품질이 저하된다.
이에 본 실시형태에서는, 화소 어레이부(101)와 DSP(14)의 위치 관계를 조정함으로써, 화소 어레이부(101)로의 DSP(14)의 신호 처리에 기인한 노이즈의 침입을 저감한다. 이에 의해, DSP(14)를 학습 완료 모델에 기초한 연산을 실행하는 처리부로서 동작시킨 경우라도, 품질의 열화가 저감된 화상을 취득하는 것이 가능하게 된다.
[1.4 노이즈 저감 수법]
다음으로, 본 실시형태에 따른 화소 어레이부(101)와 DSP(14)의 위치 관계에 대해, 이하에 도면을 참조하여 상세하게 설명한다. 한편, 이하에서는, 각 층(제1 기판(100) 및 제2 기판(120))의 레이아웃(플로어 맵이라고도 말함)에 대해 몇 가지 예를 듦으로써, 화소 어레이부(101)와 DSP(14)의 위치 관계를 설명한다.
[1.4.1 제1 레이아웃 예]
도 3 및 도 4는, 본 실시형태에 따른 제1 레이아웃 예를 설명하기 위한 도면이다. 한편, 도 3은, 제1 기판(100)의 레이아웃 예를 나타내고, 도 4는, 제2 기판(120)의 레이아웃 예를 나타낸다.
[1.4.1.1 제1 기판의 레이아웃 예]
도 3에 나타낸 바와 같이, 제1 기판(100)에는, 도 1에 나타내는 이미지 센서(10)의 구성에 있어서, 촬상부(11)의 화소 어레이부(101)가 배치되어 있다. 한편, 제1 기판(100)에 광학계(104)의 일부 또는 전부를 탑재하는 경우에는, 화소 어레이부(101)와 대응하는 위치에 설치된다.
화소 어레이부(101)는, 제1 기판(100)에 4개의 변(L101~L104) 중, 1개의 변(L101) 측에 치우쳐 배치된다. 바꿔 말하면, 화소 어레이부(101)는, 그 중심부(O101)가 제1 기판(100)의 중심부(O100) 보다 변(L101)에 근접하도록 배치되어 있다. 한편, 제1 기판(100)에 있어서의 화소 어레이부(101)가 설치된 면이 직사각형인 경우, 변(L101)은, 예를 들면, 짧은 쪽의 변이어도 된다. 단, 이에 한정되지 않고, 긴 쪽의 변에, 화소 어레이부(101)가 치우쳐 배치되어도 된다.
화소 어레이부(101)의 4개의 변 중 변(L101)에 근접하는 영역, 바꿔 말하면, 변(L101)과 화소 어레이부(101)의 사이의 영역에는, 화소 어레이부(101) 중의 각 단위 화소(101a)를 제2 기판(120)에 배치된 ADC(17)에 전기적으로 접속시키기 위한 배선으로서, 제1 기판(100)을 관통하는 복수의 관통 배선(Through Silicon Via: 이하, TSV라고 말함)이 배열되는 TSV 어레이(102)가 설치되어 있다. 이와 같이, TSV 어레이(102)를 화소 어레이부(101)가 근접하는 변(L101)에 근접시킴으로써, 제2 기판(120)에 있어서, ADC(17) 등의 각 부의 배치 스페이스를 쉽게 확보할 수 있다.
한편, TSV 어레이(102)는, 변(L101)과 교차하는 2개의 변(L103 및 L104) 중 일방의 변(L104)(단, 변(L103)이어도 됨)에 근접하는 영역, 바꿔 말하면, 변(L104)(또는, 변(L103))과 화소 어레이부(101)의 사이의 영역에도 설치되어 있어도 된다.
제1 기판(100)의 4개의 변(L101~L104) 중, 화소 어레이부(101)가 치우쳐서 배치되지 않은 변(L102~L103) 각각에는, 직선 형상으로 배열된 복수의 패드로 이루어지는 패드 어레이(103)가 설치되어 있다. 패드 어레이(103)에 포함되는 패드에는, 예를 들면, 화소 어레이부(101)나 ADC(17) 등의 아날로그 회로용의 전원 전압이 인가되는 패드(전원 핀이라고도 함), 신호 처리부(13), DSP(14), 메모리(15), 선택기(16), 컨트롤부(12) 등의 디지털 회로용의 전원 전압이 인가되는 패드(전원 핀이라고도 함), MIPI(Mobile Industry Processor Interface), SPI(Serial Peripheral Interface) 등의 인터페이스용의 패드(신호 핀이라고도 함), 클럭이나 데이터의 입출력 위한 패드(신호 핀이라고도 함) 등이 포함되어 있다. 각 패드는, 예를 들면, 외부의 전원 회로나 인터페이스 회로와 와이어를 통해 전기적으로 접속된다. 각 패드 어레이(103)와 TSV 어레이(102)는, 패드 어레이(103) 중의 각 패드에 접속된 와이어로부터의 신호의 반사 영향을 무시할 수 있을 정도로 충분히 떨어져 있는 것이 바람직하다.
[1.4.1.2 제2 기판의 레이아웃 예]
한편, 도 4에 나타낸 바와 같이, 제2 기판(120)에는, 도 1에 나타내는 이미지 센서(10)의 구성에 있어서, ADC(17)와, 컨트롤부(12)와, 신호 처리부(13)와, DSP(14)와, 메모리(15)가 배치되어 있다. 한편, 제1 레이아웃 예에서는, 메모리(15)가 메모리(15A)와 메모리(15B)의 2개의 영역으로 나뉘어져 있다. 마찬가지로, ADC(17)가 ADC(17A)와 DAC(Digital to Analog Converter)(17B)의 2개의 영역으로 나뉘어져 있다. DAC(17B)는, ADC(17A)에 AD 변환용의 참조 전압을 공급하는 구성이며, 넓은 의미로 ADC(17)의 일부에 포함되는 구성이다. 또한, 도 4에는 도시되어 있지 않으나, 선택기(16)도 제2 기판(120)에 배치되어 있다.
나아가, 제2 기판(120)에는, 제1 기판(100)을 관통하는 TSV 어레이(102) 중의 각 TSV(이하, 간단히 TSV 어레이(102)라고 한다)와 접촉함으로써 전기적으로 접속된 배선(122)과, 제1 기판(100)의 패드 어레이(103)에 있어서의 각 패드와 전기적으로 접속되는 복수의 패드가 직선 형상으로 배열되어 이루어지는 패드 어레이(123)가 설치되어 있다.
TSV 어레이(102)와 배선(122)과의 접속에는, 예를 들면, 제1 기판(100)에 설치된 TSV와 제1 기판(100)로부터 제2 기판(120)에 걸쳐 설치된 TSV의 2개의 TSV를 칩 외부 표면에서 접속하는, 이른바 트윈 TSV 방식이나, 제1 기판(100)로부터 제2 기판(120)에 걸쳐 설치된 공통의 TSV로 접속하는, 이른바 쉐어드 TSV 방식 등을 채용할 수 있다. 단, 이들에 한정되지 않고, 예를 들면, 제1 기판(100)의 접합면과 제2 기판(120)의 접합면에 각각 노출시킨 구리(Cu)끼리를 접합하는, 이른바 Cu-Cu 본딩 방식 등, 다양한 접속 형태를 채용하는 것이 가능하다.
제1 기판(100)의 패드 어레이(103)에서의 각 패드와 제2 기판(120)의 패드 어레이(123)에서의 각 패드와의 접속 형태는, 예를 들면, 와이어 본딩이다. 단, 이에 한정되지 않고, 쓰루홀이나 캐스텔레이션(castellation) 등의 접속 형태이어도 된다.
제2 기판(120)의 레이아웃 예에서는, 예를 들면, TSV 어레이(102)와 접속되는 배선(122)의 근방을 상류측으로 하고, 화소 어레이부(101)로부터 판독된 신호의 흐름에 따라 상류에서부터 순서대로, ADC(17A)와, 신호 처리부(13)와, DSP(14)가 배치되어 있다. 즉, 화소 어레이부(101)로부터 판독된 화소 신호가 최초로 입력되는 ADC(17A)가 가장 상류측인 배선(122)의 근방에 배치되고, 이어서, 신호 처리부(13)가 배치되고, 배선(122)으로부터 가장 먼 영역에 DSP(14)가 배치되어 있다. 이와 같이, ADC(17)로부터 DSP(14)까지를 신호의 흐름에 따라 상류측으로부터 배치한 레이아웃으로 함으로써, 각 부를 접속하는 배선을 단축하는 것이 가능해진다. 이에 의해, 신호 지연의 저감, 신호의 전파 손실의 저감, S/N 비의 향상, 소비 전력의 저감이 가능해진다.
또한, 컨트롤부(12)는, 예를 들면, 상류측인 배선(122)의 근방에 배치된다. 도 4에서는, ADC(17A)와 신호 처리부(13)의 사이에 컨트롤부(12)가 배치되어 있다. 이러한 레이아웃으로 함으로써, 컨트롤부(12)가 화소 어레이부(101)를 제어할 때의 신호 지연의 저감, 신호의 전파 손실의 저감, S/N 비의 향상, 소비 전력의 저감이 가능해진다. 또한, 아날로그 회로용의 신호 핀이나 전원 핀을 아날로그 회로의 근방(예를 들면, 도 4 중의 하측)에 통합하여 배치하고, 나머지 디지털 회로용의 신호 핀이나 전원 핀을 디지털 회로의 근방(예를 들면, 도 4 중의 상측)에 통합하여 배치하거나, 아날로그 회로용의 전원 핀과 디지털 회로용의 전원 핀을 충분히 떨어뜨려 배치할 수 있게 되는 등의 장점도 존재한다.
또한, 도 4에 나타내는 레이아웃에서는, DSP(14)가 가장 하류측인 ADC(17A)와는 반대측에 배치되어 있다. 이러한 레이아웃으로 함으로써, 바꿔 말하면, 제1 기판(100)과 제2 기판(120)의 적층 방향(이하, 간단히 상하 방향이라고 함)에 있어서, 화소 어레이부(101)와 중첩하지 않는 영역에 DSP(14)를 배치하는 것이 가능해진다.
이와 같이, 상하 방향으로 화소 어레이부(101)와 DSP(14)가 중첩하지 않는 구성으로 함으로써, DSP(14)가 신호 처리를 실행함으로써 발생한 노이즈가 화소 어레이부(101)에 침입하는 것을 저감하는 것이 가능해진다. 그 결과, DSP(14)를 학습 완료 모델에 기초한 연산을 실행하는 처리부로서 동작시킨 경우라도, 화소 어레이부(101)로의 DSP(14)의 신호 처리에 기인한 노이즈의 침임을 저감할 수 있기 때문에, 품질 열화가 저감된 화상을 취득하는 것이 가능해진다.
한편, DSP(14)와 신호 처리부(13)는, DSP(14)의 일부 또는 신호선으로 구성된 접속부(14a)에 의해 접속된다. 또한, 선택기(16)는, 예를 들면, DSP(14)의 근방에 배치된다. 접속부(14a)를 DSP(14)의 일부로 한 경우, 상하 방향으로 일부의 DSP(14)가 화소 어레이부(101)와 겹치게 되지만, 이러한 경우라도, 모든 DSP(14)가 상하 방향으로 화소 어레이부(101)와 중첩하는 경우와 비교하여, 화소 어레이부(101)로의 노이즈의 침임을 저감하는 것이 가능하다.
메모리(15A 및 15B)는, 예를 들면, DSP(14)를 3방향으로 둘러싸도록 배치된다. 이와 같이, DSP(14)를 둘러싸도록 메모리(15A 및 15B)를 배치함으로써, 메모리(15)에 있어서의 각 메모리 소자와 DSP(14)의 배선상의 거리를 평균화하면서 전체적으로 짧게 하는 것이 가능해진다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연, 신호의 전파 손실, 소비 전력을 저감하는 것이 가능해진다.
패드 어레이(123)는, 예를 들면, 제1 기판(100)의 패드 어레이(103)와 상하 방향에서 대응하는 제2 기판(120) 상의 위치에 배치된다. 여기서, 패드 어레이(123)에 포함되는 패드 중, ADC(17A)의 근방에 위치하는 패드는, 아날로그 회로(주로 ADC(17A))용의 전원 전압이나 아날로그 신호의 전파에 사용된다. 한편, 컨트롤부(12), 신호 처리부(13), DSP(14), 메모리(15A 및 15B)의 근방에 위치하는 패드는, 디지털 회로(주로, 컨트롤부(12), 신호 처리부(13), DSP(14), 메모리(15A 및 15B))용의 전원 전압이나 디지털 신호의 전파에 사용된다. 이러한 패드 레이아웃으로 함으로써, 각 패드와 각 부를 접속하는 배선상의 거리를 짧게 하는 것이 가능해진다. 이에 의해, 신호 지연의 저감, 신호나 전원 전압의 전파 손실의 저감, S/N 비의 향상, 소비 전력의 저감이 가능해진다.
[1.4.2 제2 레이아웃 예]
계속해서, 제2 레이아웃 예에 대해 설명한다. 한편, 제2 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 5는, 제2 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 5에 나타낸 바와 같이, 제2 레이아웃 예에서는, 제1 레이아웃 예와 같은 레이아웃에 있어서, DSP(14)가, DSP(14)와 메모리(15)를 배치하는 영역의 중앙에 배치되어 있다. 바꿔 말하면, 제2 레이아웃 예에서는, 메모리(15)가 DSP(14)를 4방향으로 둘러싸도록 배치되어 있다.
이와 같이, DSP(14)를 4방향으로 둘러싸도록 메모리(15A 및 15B)를 배치함으로써, 메모리(15)에 있어서의 각 메모리 소자와 DSP(14)와의 배선상의 거리를 보다 평균화하면서 전체적으로 더 짧게 하는 것이 가능해진다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연, 신호의 전파 손실, 소비 전력을 보다 저감하는 것이 가능해진다.
한편, 도 5에서는, DSP(14)와 화소 어레이부(101)가 상하 방향으로 중첩하지 않도록 배치되어 있지만, 이에 한정되지 않고, DSP(14)의 일부가 화소 어레이부(101)와 상하 방향으로 중첩하여도 된다. 이러한 경우라도, 모든 DSP(14)가 상하 방향으로 화소 어레이부(101)와 중첩하는 경우와 비교하여, 화소 어레이부(101)로의 노이즈의 침임을 저감하는 것이 가능하다.
그 밖의 레이아웃에 대해서는, 제1 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.4.3 제3 레이아웃 예]
다음으로, 제3 레이아웃 예에 대해 설명한다. 한편, 제3 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 6은, 제3 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 6에 나타낸 바와 같이, 제3 레이아웃 예에서는, 제1 레이아웃 예와 같은 레이아웃에 있어서, DSP(14)가 신호 처리부(13)에 인접하여 배치되어 있다. 이러한 구성에 의하면, 신호 처리부(13)로부터 DSP(14)까지의 신호선을 짧게 하는 것이 가능해진다. 이에 의해, 신호 지연의 저감, 신호나 전원 전압의 전파 손실의 저감, S/N 비의 향상, 소비 전력의 저감이 가능해진다.
또한, 제3 레이아웃 예에 있어서도, 메모리(15)는, DSP(14)를 3방향으로 둘러싸도록 배치된다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연, 신호의 전파 손실, 소비 전력을 저감하는 것이 가능해진다.
한편, 제3 레이아웃 예에서는, DSP(14)의 일부가 화소 어레이부(101)와 상하 방향으로 중첩하고 있지만, 이러한 경우라도, 모든 DSP(14)가 상하 방향으로 화소 어레이부(101)와 중첩하는 경우와 비교하여, 화소 어레이부(101)로의 노이즈의 침임을 저감하는 것이 가능하다.
그 밖의 레이아웃에 대해서는, 다른 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.4.4 제4 레이아웃 예]
다음으로, 제4 레이아웃 예에 대해 설명한다. 한편, 제4 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 7은, 제4 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 7에 나타낸 바와 같이, 제4 레이아웃 예에서는, 제3 레이아웃 예와 같은 레이아웃, 즉 DSP(14)가 신호 처리부(13)에 인접하여 배치된 레이아웃에 있어서, DSP(14)가 2개의 TSV 어레이(102)의 양쪽으로부터 먼 위치에 배치되어 있다.
이와 같이, DSP(14)를 2개의 TSV 어레이(102)의 양쪽으로부터 먼 위치에 배치함으로써, ADC(17A)로부터 DSP(14)까지를 신호의 흐름에 따라 충실하게 배치할 수 있기 때문에, 신호 처리부(13)로부터 DSP(14)까지의 신호선을 더 짧게 하는 것이 가능해진다. 그 결과, 신호 지연이나 신호의 전파 손실이나 소비 전력을 보다 저감하는 것이 가능해진다.
또한, 제4 레이아웃 예에 있어서는, 메모리(15)는, DSP(14)를 2방향으로 둘러싸도록 배치된다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연이나 신호의 전파 손실이나 소비 전력을 저감하는 것이 가능해진다.
한편, 제4 레이아웃 예에서도, DSP(14)의 일부가 화소 어레이부(101)와 상하 방향으로 중첩하고 있지만, 이러한 경우라도, 모든 DSP(14)가 상하 방향으로 화소 어레이부(101)와 중첩하는 경우와 비교하여, 화소 어레이부(101)로의 노이즈의 침임을 저감하는 것이 가능하다.
그 밖의 레이아웃에 대해서는, 다른 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.4.5 제5 레이아웃 예]
다음으로, 제5 레이아웃 예에 대해 설명한다. 한편, 제5 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 8은, 제5 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 8에 나타낸 바와 같이, 제5 레이아웃 예에서는, 제1 레이아웃 예와 같은 레이아웃, 즉 DSP(14)가 가장 하류측에 배치된 레이아웃에 있어서, DSP(14)가 2개의 TSV 어레이(102)의 양쪽으로부터 먼 위치에 배치되어 있다.
이러한 레이아웃에 의해서도, ADC(17A)로부터 DSP(14)까지를 신호의 흐름에 따라 충실하게 배치할 수 있기 때문에, 신호 처리부(13)로부터 DSP(14)까지의 신호선을 더 짧게 하는 것이 가능해진다. 그 결과, 신호 지연이나 신호의 전파 손실이나 소비 전력을 보다 저감하는 것이 가능해진다.
그 밖의 레이아웃에 대해서는, 다른 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.4.6 제6 레이아웃 예]
다음으로, 제6 레이아웃 예에 대해 설명한다. 한편, 제6 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 9는, 제6 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 9에 나타낸 바와 같이, 제6 레이아웃 예에서는, DSP(14)가 2개의 영역으로 분할된 메모리(15C 및 15D)에 의해, 도면 중 상하 방향으로부터 사이에 끼워진 구성을 갖는다.
이와 같이, DSP(14)를 사이에 끼우도록 메모리(15C 및 15D)를 배치함으로써, 메모리(15)에 있어서의 각 메모리 소자와 DSP(14)와의 배선상의 거리를 평균화하면서 전체적으로 짧게 하는 것이 가능해진다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연이나 신호의 전파 손실이나 소비 전력을 보다 저감하는 것이 가능해진다.
그 밖의 레이아웃에 대해서는, 제1 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.4.7 제7 레이아웃 예]
다음으로, 제7 레이아웃 예에 대해 설명한다. 한편, 제7 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 10은, 제7 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 10에 나타낸 바와 같이, 제7 레이아웃 예에서는, 메모리(15)가 2개의 영역으로 분할된 DSP(14A 및 14B)에 의해, 도면 중 상하 방향으로부터 사이에 끼워진 구성을 갖는다.
이와 같이, 메모리(15)를 사이에 끼우도록 DSP(14A 및 14B)를 배치함으로써, 메모리(15)에 있어서의 각 메모리 소자와 DSP(14)와의 배선상의 거리를 평균화하면서 전체적으로 짧게 하는 것이 가능해진다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연이나 신호의 전파 손실이나 소비 전력을 보다 저감하는 것이 가능해진다.
그 밖의 레이아웃에 대해서는, 제1 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.4.8 제8 레이아웃 예]
다음으로, 제8 레이아웃 예에 대해 설명한다. 한편, 제8 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 11은, 제8 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 11에 나타낸 바와 같이, 제8 레이아웃 예에서는, DSP(14)가 2개의 영역으로 분할된 메모리(15E 및 15F)에 의해, 도면 중 좌우 방향으로부터 사이에 끼워진 구성을 갖는다.
이와 같이, DSP(14)를 사이에 끼우도록 메모리(15C 및 15D)를 배치함으로써, 메모리(15)에 있어서의 각 메모리 소자와 DSP(14)와의 배선상의 거리를 평균화하면서 전체적으로 짧게 하는 것이 가능해진다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연이나 신호의 전파 손실이나 소비 전력을 보다 저감하는 것이 가능해진다.
그 밖의 레이아웃에 대해서는, 제1 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.4.9 제9 레이아웃 예]
다음으로, 제9 레이아웃 예에 대해 설명한다. 한편, 제9 레이아웃 예에 있어서, 제1 기판(100)의 레이아웃 예는, 제1 레이아웃 예에 있어서 도 3을 이용하여 설명한 레이아웃 예와 동일하여도 된다.
도 12는, 제9 레이아웃 예에 따른 제2 기판의 레이아웃 예를 나타내는 도면이다. 도 12에 나타낸 바와 같이, 제9 레이아웃 예에서는, 메모리(15)가 2개의 영역으로 분할된 DSP(14C 및 14D)에 의해, 도면 중 좌우 방향으로부터 사이에 끼워진 구성을 갖는다.
이와 같이, 메모리(15)를 사이에 끼우도록 DSP(14C 및 14D)를 배치함으로써, 메모리(15)에 있어서의 각 메모리 소자와 DSP(14)와의 배선상의 거리를 평균화하면서 전체적으로 짧게 하는 것이 가능해진다. 이에 의해, DSP(14)가 메모리(15)에 액세스할 때의 신호 지연이나 신호의 전파 손실이나 소비 전력을 보다 저감하는 것이 가능해진다.
그 밖의 레이아웃에 대해서는, 제1 레이아웃 예와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
[1.5 작용·효과]
이상과 같이, 본 실시형태에 의하면, 제2 기판(120)의 DSP(14)의 적어도 일부가 제1 기판(100)과 제2 기판(120)의 적층 방향(상하 방향)에 있어서 화소 어레이부(101)와 중첩하지 않도록, 화소 어레이부(101)와 DSP(14)의 위치 관계가 조정되어 있다. 이에 의해, 화소 어레이부(101)로의 DSP(14)의 신호 처리에 기인한 노이즈의 침임을 저감할 수 있기 때문에, DSP(14)를 학습 완료 모델에 기초한 연산을 실행하는 처리부로서 동작시킨 경우라도, 품질 열화가 저감된 화상을 취득하는 것이 가능해진다.
<2. 제2 실시형태>
다음으로, 제2 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 한편, 이하의 설명에 있어서, 제1 실시형태와 같은 구성에 대해서는, 동일한 부호를 붙여, 그 중복되는 설명을 생략한다.
제2 실시형태에 따른 전자기기로서의 촬상 장치는, 예를 들면, 제1 실시형태에 있어서 도 1을 이용하여 설명한 촬상 장치(1)와 동일하여도 되기 때문에, 여기에서는 이를 인용하여 상세한 설명을 생략한다.
[2.1 이미지 센서 칩의 칩 구성예]
계속해서, 본 실시형태에 따른 이미지 센서의 칩 구성의 예에 대해, 이하에 도면을 참조하여 상세하게 설명한다. 도 13은, 본 실시형태에 따른 이미지 센서에 있어서의 제1 기판의 개략 구성예를 나타내는 레이아웃 도면이다. 도 14는, 본 실시형태에 따른 이미지 센서의 칩 구성예를 나타내는 모식도이다.
도 13 및 도 14에 나타낸 바와 같이, 본 실시형태에서는, 제1 기판(200)의 사이즈가 제2 기판(120)의 사이즈보다 작다. 예를 들면, 제1 기판(200)의 사이즈는, 화소 어레이부(101)의 사이즈에 맞추어 축소되어 있다. 이와 같이, 제1 기판(200)의 사이즈를 축소함으로써, 1개의 반도체 웨이퍼로부터 보다 대량의 제1 기판(200)을 제작하는 것이 가능해진다. 또한, 이미지 센서(10)의 칩 사이즈를 보다 소형화하는 것도 가능해진다.
한편, 제1 기판(200)과 제2 기판(120)의 접합은, 제1 기판(200) 및 제2 기판(120)을 각각 칩으로 개편화한 후에 접합하는 CoC(Chip on Chip) 방식이나, 개편화된 제1 기판(200)을 웨이퍼 상태의 제2 기판(120)에 접합하는 CoW(Chip on Wafer) 방식을 채용할 수 있다.
한편, 제1 기판(200)의 레이아웃은, 예를 들면, 제1 실시형태에 있어서 예시한 제1 기판(100)에 있어서의 상측 부분을 제외한 레이아웃과 동일하면 된다. 또한, 제2 기판(120)의 레이아웃은, 예를 들면, 제1 실시형태에 있어서 예시한 제2 기판(120)과 동일하면 된다. 나아가, 제2 기판(120)에 대한 제1 기판(200)의 접합 장소는, 제1 실시형태와 마찬가지로, 화소 어레이부(101)의 적어도 일부가 제2 기판(120)의 DSP(14)와 상하 방향으로 중첩하지 않는 위치이면 된다.
[2.2 작용·효과]
이상과 같이, 제1 기판(200)을 화소 어레이부(101)의 사이즈에 맞추어 축소한 경우라도, 제1 실시형태와 마찬가지로, 화소 어레이부(101)로의 DSP(14)의 신호 처리에 기인한 노이즈의 침임을 저감하는 것이 가능해진다. 이에 의해, DSP(14)를 학습 완료 모델에 기초한 연산을 실행하는 처리부로서 동작시킨 경우라도, 품질의 열화가 저감된 화상을 취득하는 것이 가능해진다. 한편, 다른 구성(제2 기판(120)의 레이아웃 예를 포함함) 및 효과에 대해서는, 제1 실시형태와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
<3. 제3 실시형태>
다음으로, 제3 실시형태에 대해, 도면을 참조하여 상세하게 설명한다. 한편, 이하의 설명에 있어서, 제1 또는 제2 실시형태와 같은 구성에 대해서는, 동일한 부호를 붙여, 그 중복되는 설명을 생략한다.
제3 실시형태에 따른 전자기기로서의 촬상 장치는, 예를 들면, 제1 실시형태에 있어서 도 1을 이용하여 설명한 촬상 장치(1)와 동일하여도 되기 때문에, 여기에서는 이를 인용하여 상세한 설명을 생략한다.
[3.1 이미지 센서 칩의 칩 구성예]
계속해서, 본 실시형태에 따른 이미지 센서의 칩 구성의 예에 대해, 이하에 도면을 참조하여 상세하게 설명한다. 도 15는, 본 실시형태에 따른 이미지 센서에 있어서의 제1 기판의 개략 구성예를 나타내는 레이아웃 도면이다. 도 16은, 본 실시형태에 따른 이미지 센서에 있어서의 제2 기판의 개략 구성예를 나타내는 레이아웃 도면이다. 도 17은, 본 실시형태에 따른 이미지 센서의 칩 구성예를 나타내는 모식도이다.
도 15~도 17에 나타낸 바와 같이, 본 실시형태에서는, 제1 기판(300)의 사이즈가, 화소 어레이부(101)의 사이즈에 맞추어 축소되어 있다. 또한, 본 실시형태에서는, 제2 기판(320)의 사이즈가, 제1 기판(300)의 사이즈와 같은 정도로 축소되어 있다. 이러한 구성에 의해, 본 실시형태에서는, 제1 기판(300)의 잉여 영역을 삭감할 수 있기 때문에, 이미지 센서(10)의 칩 사이즈가 보다 소형화되어 있다.
단, 본 실시형태에서는, 제1 기판(300)과 제2 기판(320)의 적층 방향(이하, 간단히 상하 방향이라고 함)에 있어서, 화소 어레이부(101)와 DSP(14)가 중첩하고 있다. 그 때문에, 경우에 따라서는 화소 어레이부(101)로부터 판독되는 화소 신호에 DSP(14)에 기인하는 노이즈가 중첩되어, 이미지 센서(10)에서 취득하는 화상의 품질을 저하시킬 가능성이 있다.
이에 본 실시형태에서는, ADC(17A)와 DSP(14)를 떨어뜨린 구성으로 한다. 구체적으로는, 예를 들면, ADC(17A)를 제2 기판(320)의 하나의 단부(L321)에 가깝게 배치하고, DSP(14)를, ADC(17A)가 배치된 단부(L321)와는 반대측의 단부(L322)에 가깝게 배치한다.
이러한 배치에 의해, DSP(14)로부터 ADC(17A)로 전파하는 노이즈를 저감할 수 있기 때문에, 이미지 센서(10)에서 취득하는 화상의 품질 저하를 억제하는 것이 가능해진다. 또한, ADC(17A)가 근접되는 단부(L321)는, TSV 어레이(102)와 접속되는 배선(122)이 설치된 단부이면 좋다.
또한, 이러한 배치에 의하면, 상술한 실시형태와 마찬가지로, 예를 들면, TSV 어레이(102)와 접속되는 배선(122)의 근방을 상류측으로 하고, 화소 어레이부(101)로부터 판독된 신호의 흐름에 따라, 상류에서부터 순서대로, ADC(17A), 신호 처리부(13), DSP(14)가 배치되기 때문에, 각 부를 접속하는 배선을 단축하는 것이 가능해진다. 이에 의해, 전송 부하가 저감되고, 신호 지연의 저감, 소비 전력의 저감이 가능해진다.
[3.2 작용·효과]
이상과 같이, 제1 기판(300)과 제2 기판(320)을 화소 어레이부(101)의 사이즈에 맞추어 축소한 경우에는, ADC(17A)와 DSP(14)를 떨어뜨려 배치함으로써, DSP(14)로부터 ADC(17A)로 전파하는 노이즈를 저감하는 것이 가능해진다. 이에 의해, 이미지 센서(10)에서 취득하는 화상의 품질 저하를 억제하는 것이 가능해진다.
그 밖의 구성 및 효과에 대해서는, 상술한 실시형태와 동일하여도 되기 때문에, 여기에서는 상세한 설명을 생략한다.
<4. 그 밖의 센서에의 적용>
한편, 상술한 실시형태에서는, 2차원 화상을 취득하는 고체 촬상 장치(이미지 센서(10))에 대해 본 개시에 따른 기술을 적용한 경우를 예시하였으나, 본 개시에 따른 기술의 적용처는 고체 촬상 장치에 한정되는 것이 아니다. 예를 들면, ToF(Time of Flight) 센서나 적외선(IR) 센서나 DVS(Dynamic Vision Sensor) 등, 다양한 수광 센서에 대해 본 개시에 따른 기술을 적용하는 것이 가능하다. 즉, 수광 센서의 칩 구조를 적층형으로 함으로써, 센서 결과에 포함되는 노이즈의 저감이나 센서 칩의 소형화 등을 달성하는 것이 가능하다.
<5. 이동체에의 응용예>
본 개시와 관련되는 기술(본 기술)은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 18은, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 18에 나타낸 예에서는, 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(Interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차 밖의 화상을 촬상시키고, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면, 운전자를 촬상하는 카메라를 포함한다. 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 18의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.
도 19는, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.
도 19에서는, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104 및 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프런트 노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 차실내의 프런트 글래스의 상부에 구비된 촬상부(12105)는, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
한편, 도 19에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프런트 노즈에 설치된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 갖고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차 검출용의 화소를 가지는 촬상 소자여도 된다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 하는 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100) 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면, 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 원하는 위치에 표시하도록 표시부(12062)를 제어하여도 된다.
이상, 본 개시에 따른 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명했다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 촬상부(12031) 등에 적용될 수 있다. 촬상부(12031) 등에 본 개시에 따른 기술을 적용함으로써, 촬상부(12031) 등을 소형화할 수 있기 때문에, 차량(12100)의 인테리어나 익스테리어의 설계가 용이하게 된다. 또한, 촬상부(12031) 등에 본 개시에 따른 기술을 적용함으로써, 노이즈가 저감된 선명한 화상을 취득할 수 있기 때문에, 더 보기 쉬운 촬영 화상을 드라이버에 제공할 수 있다. 이에 의해, 드라이버의 피로를 경감하는 것이 가능해진다.
<6. 내시경수술 시스템에의 응용예>
본 개시에 관련되는 기술(본 기술)은, 여러 가지 제품에 응용할 수 있다. 예를 들면, 본 개시에 관련되는 기술은, 내시경수술 시스템에 적용되어도 된다.
도 20은, 본 개시에 관련되는 기술(본 기술)이 적용될 수 있는 내시경수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 20에서는, 시술자(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 침대(11133) 위의 환자(11132)에 수술을 행하고 있는 모습이 도시되어 있다. 도시된 바와 같이, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복 튜브(11111)나 에너지 처치구(11112) 등의, 그 밖의 시술구(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경 하 수술을 위한 각종 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단으로부터 소정의 길이의 영역이 환자(11132)의 체강 내에 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속되는 카메라 헤드(11102)로 구성된다. 도시하는 예에서는, 경성의 경통(11101)을 갖는 소위 경성경으로 구성되는 내시경(11100)을 도시하고 있으나, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로 구성되어도 된다.
경통(11101)의 선단에는, 대물 렌즈가 끼워 넣어진 개구부가 설치되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 해당 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부에 연장되어 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 거쳐 환자(11132)의 체강 내의 관찰 대상을 향해 조사된다. 한편, 내시경(11100)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 설치되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU: Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되고, 내시경(11100) 및 표시 장치(11202)의 동작을 통괄적으로 제어한다. 나아가, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해서, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당화상 신호에 기초하는 화상을 표시하기 위한 각종 화상 처리를 행한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 해당CCU(11201)에 의해 화상 처리가 시행된 화상 신호에 기초하는 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(Light Emitting Diode) 등의 광원으로 구성되고, 기술부 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력 장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력 장치(11204)을 거쳐, 내시경 수술 시스템(11000)에 대하여 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 시술자의 작업 공간의 확보 목적으로, 환자(11132)의 체강을 부풀어 오르게 하기 때문에, 기복 튜브(11111)를 거쳐 해당 체강 내에 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
한편, 내시경(11100)에 시술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저 광원 또는 이 조합에 의해 구성되는 백색 광원으로 구성할 수 있다. RGB 레이저 광원의 조합에 의해 백색 광원이 구성될 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에 있어서 촬상 화상의 화이트 밸런스 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상으로 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 의하면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자 구동을 제어해 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 노출 과다나 노출 부족이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응한 소정의 파장대역의 광을 공급 가능하도록 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역광 관찰(Narrow Band Imaging)이 행해진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행해져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하여 해당 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도 시아닌 그린(ICG) 등의 시약을 체조직에 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사해 형광상을 얻는 것 등이 행해질 수 있다. 광원 장치(11203)는, 이러한 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하도록 구성될 수 있다.
도 21은, 도 20에 나타내는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 일례를 나타내는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 쌍방향으로 통신 가능하도록 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 설치되는 광학계이다. 경통(11101)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되고, 해당 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다.
촬상부(11402)을 구성하는 촬상 소자는, 1개 (이른바 단판식)이어도 되고, 복수 (이른바 다판식)이어도 된다. 촬상부(11402)가 다판식으로 구성될 경우에는, 예를 들면 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 이들이 합성됨으로써 컬러 화상을 얻게 되어도 된다. 또는, 촬상부(11402)는, 3D(Dimensional) 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용의 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성되어도 된다. 3D 표시가 행해짐으로써, 시술자(11131)는 시술부에 있어서의 생체 조직의 깊이를 따라 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(11402)가 다판식에서 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 설치된다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 설치되지 않아도 된다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(11403)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌 렌즈 및 포커스 렌즈를 광축에 따라 소정의 거리만 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적당히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)을 거쳐 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하고, 카메라 헤드 제어부(11405)로 공급한다. 해당제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 사용자에 의해 적당히 지정되어도 되고, 취득된 화상 신호에 기초하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 된다. 후자의 경우에는, 이른바 AE(Auto Exposure)기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 거쳐 수신한 CCU(11201)로부터의 제어 신호에 기초하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)을 거쳐 송신되는 화상 신호를 수신한다.
또한, 통신부(11411)은, 카메라 헤드(11102)에 대하여, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기통신이나 광통신 등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 행한다.
제어부(11413)는, 내시경(11100)에 의한 시술부 등의 촬상, 및, 시술부 등의 촬상에 의해 얻을 수 있는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 행해진 화상 신호에 기초하여, 시술부의 화상을 표시 장치(11202)에 표시시킨다. 이 때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에 있어서의 각종의 물체를 인식하여도 된다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체부위, 출혈, 에너지 처치구(11112)의 사용 시의 미스트 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시켜도 된다. 수술 지원 정보가 중첩 표시되어, 시술자(11131)에 제시됨으로써, 시술자(11131)의 부담을 경감시키거나, 시술자(11131)가 확실하게 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광 파이버, 또는 이러한 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블11400을 사용하여 유선으로 통신이 행하여지고 있었지만, 카메라 헤드(11102)과 CCU11201과의 사이의 통신은 무선으로 행하여져도 된다.
이상, 본 개시에 기술이 적용될 수 있는 내시경수술 시스템의 일례에 대해 설명했다. 본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 카메라 헤드(11102)의 촬상부(11402) 등에 적용될 수 있다. 카메라 헤드(11102)에 본 개시에 따른 기술을 적용함으로써, 카메라 헤드(11102) 등을 소형화할 수 있기 때문에, 내시경수술 시스템(11000)을 컴팩트화가 가능해진다. 또한, 카메라 헤드(11102) 등에 본 개시에 따른 기술을 적용함으로써, 노이즈가 저감된 선명한 화상을 취득할 수 있기 때문에, 더 보기 쉬운 촬영 화상을 시술자에게 제공할 수 있다. 이에 의해, 시술자의 피로를 경감하는 것이 가능해진다.
한편, 여기서는, 일례로서 내시경수술 시스템에 대해 설명하였으나, 본 개시에 따른 기술은, 그 밖에, 예를 들면, 현미경수술 시스템 등에 적용되어도 된다.
<7. WSI(Whole Slide Imaging) 시스템에의 응용예>
본 개시에 따른 기술은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 따른 기술은, 의사 등이 환자에게서 채취된 세포나 조직을 관찰하여 병변을 진단하는 병리 진단 시스템이나 그 지원 시스템 등(이하, 진단 지원 시스템이라고 칭함)에 적용되어도 된다. 이 진단 지원 시스템은, 디지털 병리학 기술(digital pathology technology)을 이용하여 취득된 화상에 기초하여 병변을 진단 또는 그 지원을 하는 WSI(Whole Slide Imaging) 시스템이어도 된다.
도 22는, 본 개시에 따른 기술이 적용되는 진단 지원 시스템(5500)의 개략적인 구성의 일례를 나타내는 도면이다. 도 22에 나타낸 바와 같이, 진단 지원 시스템(5500)은, 1 이상의 병리 시스템(5510)을 포함한다. 나아가 의료 정보 시스템(5530)과, 도출 장치(5540)를 포함해도 된다.
1 이상의 병리 시스템(5510) 각각은, 주로 병리 의사가 사용하는 시스템으로, 예를 들면 연구소나 병원에 도입된다. 각 병리 시스템(5510)은, 서로 다른 병원에 도입되어도 되고, 각각 WAN(Wide Area Network)(인터넷을 포함함), LAN(Local Area Network), 공중 회선망, 이동체 통신망 등의 다양한 네트워크를 통해 의료 정보 시스템(5530) 및 도출 장치(5540)에 접속된다.
각 병리 시스템(5510)은, 현미경(5511)과, 서버(5512)와, 표시 제어 장치(5513)와, 표시 장치(5514)를 포함한다.
현미경(5511)은, 광학 현미경의 기능을 갖고, 유리 슬라이드에 수용된 관찰 대상물을 촬상하고, 디지털 화상인 병리 화상을 취득한다. 관찰 대상물이란, 예를 들면, 환자에게서 채취된 조직이나 세포이며, 장기의 살점, 타액, 혈액 등이면 된다.
서버(5512)는, 현미경(5511)에 의해 취득된 병리 화상을 도시하지 않는 기억부에 기억, 보존한다. 또한, 서버(5512)는, 표시 제어 장치(5513)로부터 열람 요구를 접수한 경우, 도시하지 않는 기억부로부터 병리 화상을 검색하고, 검색된 병리 화상을 표시 제어 장치(5513)에 보낸다.
표시 제어 장치(5513)는, 유저로부터 접수한 병리 화상의 열람 요구를 서버(5512)에 보낸다. 그리고, 표시 제어 장치(5513)는, 서버(5512)로부터 접수한 병리 화상을, 액정, EL(Electro-Luminescence), CRT(Cathode Ray Tube) 등을 이용한 표시 장치(5514)에 표시시킨다. 한편, 표시 장치(5514)는, 4K나 8K에 대응하여도 되고, 또한, 1대에 한정되지 않고, 복수대이어도 된다.
여기서, 관찰 대상물이 장기의 살점 등의 고형물인 경우, 이 관찰 대상물은, 예를 들면, 염색된 박절편(薄切片)이면 된다. 박절편은, 예를 들면, 장기 등의 검체로부터 잘라낸 블록편을 얇게 썰어 제작되어도 된다. 또한, 얇게 썰 때에는, 블록편이 파라핀 등으로 고정되어도 된다.
박절편의 염색에는, HE(Hematoxylin-Eosin) 염색 등의 조직의 형태를 나타내는 일반 염색이나, IHC(Immunohistochemistry) 염색 등의 조직의 면역 상태를 나타내는 면역 염색 등, 다양한 염색이 적용되어도 된다. 이 때, 하나의 박절편이 복수의 다른 시약을 사용하여 염색되어도 되고, 같은 블록편으로부터 연속해서 잘라낸 2 이상의 박절편(인접하는 박절편이라고도 말함)이 서로 다른 시약을 사용하여 염색되어도 된다.
현미경(5511)은, 저해상도로 촬상하기 위한 저해상도 촬상부와, 고해상도로 촬상하기 위한 고해상도 촬상부를 포함할 수 있다. 저해상도 촬상부와 고해상도 촬상부는, 다른 광학계이어도 되고, 동일한 광학계이어도 된다. 동일한 광학계인 경우에는, 현미경(5511)은, 촬상 대상에 따라 해상도가 변경되어도 된다.
관찰 대상물이 수용된 유리 슬라이드는, 현미경(5511)의 화각 내에 위치하는 스테이지 상에 재치된다. 현미경(5511)은, 먼저, 저해상도 촬상부를 사용하여 화각 내의 전체 화상을 취득하고, 취득한 전체 화상으로부터 관찰 대상물의 영역을 특정한다. 계속해서, 현미경(5511)은, 관찰 대상물이 존재하는 영역을 소정 사이즈의 복수의 분할 영역으로 분할하고, 각 분할 영역을 고해상도 촬상부에 의해 순차 촬상함으로써, 각 분할 영역의 고해상도 화상을 취득한다. 대상으로 하는 분할 영역의 전환에는, 스테이지를 이동시켜도 되고, 촬상 광학계를 이동시켜도 되고, 이들 양쪽을 이동시켜도 된다. 또한, 각 분할 영역은, 유리 슬라이드의 의도하지 않은 미끄러짐으로 인한 촬상 누락 영역의 발생 등을 방지하기 위해, 인접하는 분할 영역과의 사이에서 중첩되어도 된다. 나아가, 전체 화상에는, 전체 화상과 환자를 대응지어 두기 위한 식별 정보가 포함되어 있어도 된다. 이 식별 정보는, 예를 들면, 문자열이나 QR 코드(등록상표) 등이면 좋다.
현미경(5511)에 의해 취득된 고해상도 화상은, 서버(5512)에 입력된다. 서버(5512)는, 각 고해상도 화상을 보다 작은 사이즈의 부분 화상(이하, 타일 화상이라고 칭함)으로 분할한다. 예를 들면, 서버(5512)는, 1개의 고해상도 화상을 가로 세로 10Х10개의 총 100개의 타일 화상으로 분할한다. 이 때, 인접하는 분할 영역이 중복되어 있으면, 서버(5512)는, 템플릿 매칭 등의 기법을 이용하여 서로 이웃하는 고해상도 화상에 스티칭 처리를 실시해도 된다. 이 경우, 서버(5512)는, 스티칭 처리에 의해 서로 접합된 고해상도 화상 전체를 분할하여 타일 화상을 생성해도 된다. 단, 고해상도 화상으로부터의 타일 화상의 생성은, 상기 스티칭 처리 전이어도 된다.
또한, 서버(5512)는, 타일 화상을 더 분할함으로써, 더 작은 사이즈의 타일 화상을 생성할 수 있다. 이러한 타일 화상의 생성은, 최소 단위로서 설정된 사이즈의 타일 화상이 생성될 때까지 반복되어도 된다.
이와 같이 최소 단위의 타일 화상을 생성하면, 서버(5512)는, 이웃하는 소정 수의 타일 화상을 합성함으로써 하나의 타일 화상을 생성하는 타일 합성 처리를, 모든 타일 화상에 대해 실행한다. 이 타일 합성 처리는, 최종적으로 하나의 타일 화상이 생성될 때까지 반복될 수 있다. 이러한 처리에 의해, 각 계층이 하나 이상의 타일 화상으로 구성된 피라미드 구조의 타일 화상군이 생성된다. 이 피라미드 구조에서는, 어떤 층의 타일 화상과 이 층과는 다른 층의 타일 화상의 화소수는 같지만, 그 해상도가 다르다. 예를 들면, 2Х2개의 총 4개의 타일 화상을 합성하여 상층에 하나의 타일 화상을 생성하는 경우, 상층의 타일 화상의 해상도는, 합성에 사용한 하층의 타일 화상의 해상도의 1/2배로 되어 있다.
이러한 피라미드 구조의 타일 화상군을 구축함으로써, 표시 대상의 타일 화상이 속하는 계층에 따라, 표시 장치에 표시되는 관찰 대상물의 상세도를 전환하는 것이 가능하게 된다. 예를 들면, 최하층의 타일 화상이 이용되는 경우에는, 관찰 대상물의 좁은 영역을 상세하게 표시하여, 상층의 타일 화상이 이용될수록 관찰 대상물의 넓은 영역이 거칠게 표시되도록 할 수 있다.
생성된 피라미드 구조의 타일 화상군은, 예를 들면, 각 타일 화상을 일의적으로 식별 가능한 식별 정보(타일 식별 정보라고 칭함)와 함께, 도시하지 않은 기억부에 기억된다. 서버(5512)는, 다른 장치(예를 들면, 표시 제어 장치(5513)나 도출 장치(5540))로부터 타일 식별 정보를 포함하는 타일 화상의 취득 요구를 접수한 경우, 타일 식별 정보에 대응하는 타일 화상을 다른 장치에 송신한다.
한편, 병리 화상인 타일 화상은, 초점 거리나 염색 조건 등의 촬상 조건마다 생성되어도 된다. 촬상 조건마다 타일 화상이 생성되는 경우, 특정의 병리 화상과 함께, 특정의 촬상 조건과 다른 촬상 조건에 대응하는 다른 병리 화상으로서, 특정의 병리 화상과 동일 영역의 다른 병리 화상을 나란히 표시해도 된다. 특정의 촬상 조건은, 열람자에 의해 지정되어도 된다. 또한, 열람자에게 복수의 촬상 조건이 지정된 경우에는, 각 촬상 조건에 대응하는 동일 영역의 병리 화상이 나란히 표시되어도 된다.
또한, 서버(5512)는, 피라미드 구조의 타일 화상군을 서버(5512) 이외의 다른 기억장치, 예를 들면, 클라우드 서버 등에 기억해도 된다. 나아가, 이상과 같은 타일 화상의 생성 처리의 일부 또는 전부는, 클라우드 서버 등에서 실행되어도 된다.
표시 제어 장치(5513)는, 유저로부터의 입력 조작에 따라, 피라미드 구조의 타일 화상군으로부터 원하는 타일 화상을 추출하고, 이를 표시 장치(5514)에 출력한다. 이러한 처리에 의해, 유저는, 관찰 배율을 바꾸면서 관찰 대상물을 관찰하고 있는 듯한 감각을 얻을 수 있다. 즉, 표시 제어 장치(5513)는 가상 현미경으로서 기능한다. 여기에서의 가상적인 관찰 배율은, 실제로는 해상도에 상당한다.
또한, 고해상도 화상의 촬상 방법은, 어떠한 방법을 이용해도 된다. 스테이지의 정지, 이동을 반복하면서 분할 영역을 촬상하여 고해상도 화상을 취득해도 되고, 소정의 속도로 스테이지를 이동하면서 분할 영역을 촬상하여 스트립 상의 고해상도 화상을 취득해도 된다. 또한, 고해상도 화상으로부터 타일 화상을 생성하는 처리는 필수적인 구성이 아니며, 스티칭 처리에 의해 서로 접합된 고해상도 화상 전체의 해상도를 단계적으로 변화시킴으로써, 해상도가 단계적으로 변화되는 화상을 생성해도 된다. 이 경우라도, 넓은 에리어 영역의 저해상도 화상으로부터 좁은 에리어의 고해상도 화상까지를 단계적으로 유저에게 제시하는 것이 가능하다.
의료 정보 시스템(5530)은, 이른바 전자 건강 기록 시스템이며, 환자를 식별하는 정보, 환자의 질환 정보, 진단에 사용한 검사 정보나 화상정보, 진단 결과, 처방약 등의 진단에 관한 정보를 기억한다. 예를 들면, 어떤 환자의 관찰 대상물을 촬상함으로써 얻어지는 병리 화상은, 일단, 서버(5512)을 통해 보존된 후, 표시 제어 장치(5513)에 의해 표시 장치(5514)에 표시될 수 있다. 병리 시스템(5510)을 이용하는 병리 의사는, 표시 장치(5514)에 표시된 병리 화상에 기초하여 병리 진단을 행한다. 병리 의사에 의해 행해진 병리 진단 결과는, 의료 정보 시스템(5530)에 기억된다.
도출 장치(5540)는, 병리 화상에 대한 해석을 실행할 수 있다. 이 해석에는, 기계 학습에 의해 작성된 학습 모델을 사용할 수 있다. 도출 장치(5540)는, 해당 해석 결과로서, 특정 영역의 분류 결과나 조직의 식별 결과 등을 도출해도 된다. 나아가, 도출 장치(5540)는, 세포 정보, 수, 위치, 휘도 정보 등의 식별 결과나 이들에 대한 스코어링(scoring) 정보 등을 도출해도 된다. 도출 장치(5540)에 의해 도출된 이들 정보는, 진단 지원 정보로서, 병리 시스템(5510)의 표시 장치(5514)에 표시되어도 된다.
한편, 도출 장치(5540)는, 1대 이상의 서버(클라우드 서버를 포함함) 등으로 구성된 서버 시스템이어도 된다. 또한, 도출 장치(5540)는, 병리 시스템(5510) 내의 예를 들면 표시 제어 장치(5513) 또는 서버(5512)에 갖추어진 구성이어도 된다. 즉, 병리 화상에 대한 각종 해석은, 병리 시스템(5510) 내에서 실행되어도 된다.
본 개시에 따른 기술은, 이상 설명한 구성 중, 예를 들면, 현미경(5511)에 바람직하게 적용될 수 있다. 구체적으로는, 현미경(5511)에 있어서의 저해상도 촬상부 및/또는 고해상도 촬상부에 본 개시에 따른 기술을 적용할 수 있다. 본 개시에 따른 기술을 저해상도 촬상부 및/또는 고해상도 촬상부에 적용함으로써, 저해상도 촬상부 및/또는 고해상도 촬상부의 소형화, 나아가서는, 현미경(5511)의 소형화가 가능해진다. 이에 의해, 현미경(5511)의 운반이 용이하기 때문에, 시스템 도입이나 시스템 대체 등을 용이하게 할 수 있다. 나아가, 본 개시에 따른 기술을 저해상도 촬상부 및/또는 고해상도 촬상부에 적용함으로써, 병리 화상의 취득에서부터 병리 화상의 해석까지의 처리의 일부 또는 전부를 현미경(5511) 내에서 온더플라이(on the fly)로 실행 가능하기 때문에, 보다 신속하고 정확한 진단 지원 정보의 출력도 가능해진다.
한편, 상기에서 설명한 구성은, 진단 지원 시스템에 한하지 않고, 공초점 현미경이나 형광 현미경, 비디오 현미경 등의 생물 현미경 전반에도 적용될 수 있다. 여기서, 관찰 대상물은, 배양 세포나 수정란, 정자 등의 생체 시료, 세포 시트, 3차원 세포 조직 등의 생체 재료, 제브라피시(zebrafish)나 마우스 등의 생체이어도 된다. 또한, 관찰 대상물은, 유리 슬라이드에 한하지 않고, 웰 플레이트나 샬레 등에 저장된 상태로 관찰될 수도 있다.
나아가, 현미경을 이용하여 취득한 관찰 대상물의 정지 화상으로부터 동영상이 생성되어도 된다. 예를 들면, 소정의 기간 연속적으로 촬상한 정지 화상으로 동영상을 생성해도 되고, 소정의 간격을 두고 촬상한 정지 화상으로 화상 시퀀스를 생성해도 된다. 이와 같이, 정지 화상으로 동영상을 생성함으로써, 암 세포나 신경 세포, 심근조직, 정자 등의 박동이나 신장, 유주(遊走) 등의 움직임이나 배양 세포나 수정란의 분열 과정 등, 관찰 대상물이 동적인 특징을 기계 학습을 이용하여 해석하는 것이 가능하게 된다.
이상, 본 개시의 실시형태에 대해 설명하였으나, 본 개시의 기술적 범위는, 상술한 각 실시형태 그대로 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다. 또한, 다른 실시형태 및 변형예에 걸친 구성 요소를 적절히 조합해도 된다.
또한, 본 명세서에 기재된 각 실시형태에 있어서의 효과는 어디까지나 예시이며 한정되는 것이 아니고, 다른 효과가 있어도 된다.
나아가, 상술한 각 실시형태는, 각각 단독으로 사용되어도 되고, 다른 실시형태로 조합하여 사용되어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
제1 기판과,
상기 제1 기판에 접합된 제2 기판을 구비하고,
상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부를 구비하고,
상기 제2 기판은,
상기 화소 어레이부로부터 출력되는 아날로그 화소 신호를 디지털의 화상 데이터로 변환하는 변환기와,
상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크 계산 모델에 기초한 처리를 실행하는 처리부를 구비하고,
상기 변환기의 적어도 일부는, 상기 제2 기판에서의 제1 변 측에 배치되고,
상기 처리부는, 상기 제2 기판에서의 상기 제1 변과는 반대인 제2 변 측에 배치되어 있는 적층형 수광 센서.
(2)
상기 뉴럴 네트워크 계산 모델은, 상기 화소 어레이부의 출력에 상당하는 입력 신호와 해당 입력 신호에 대한 라벨이 관련지어져 있는 학습 데이터를 소정의 기계 학습 모델에 입력하여 생성된 파라미터에 기초하여 설계되어 있는 상기 (1)에 기재된 적층형 수광 센서.
(3)
상기 소정의 기계 학습 모델은, 다층 뉴럴 네트워크 모델인 상기 (2)에 기재된 적층형 수광 센서.
(4)
상기 화상 데이터에 기초한 데이터는, 상기 화소 어레이부로부터 판독된 상기 화상 데이터 또는 해당 화상 데이터의 화소를 솎아 냄으로써 데이터 사이즈가 축소된 화상 데이터인 상기 (1)~(3) 중 어느 한 항에 기재된 적층형 수광 센서.
(5)
상기 제1 기판은, 해당 제1 기판과 상기 제2 기판을 접합한 상태에서 상기 제2 기판의 상기 제1 변과 대응하는 제3 변 측에, 상기 화소 어레이부와 상기 변환기를 전기적으로 접속하는 접속 배선을 구비하는 상기 (1)~(4) 중 어느 한 항에 기재된 적층형 수광 센서.
(6)
상기 접속 배선은, 상기 제1 기판을 관통하는 TSV(Through Silicon Via)인 상기 (5)에 기재된 적층형 수광 센서.
(7)
상기 제2 기판은, 상기 변환기와 전기적으로 접속한 접속 배선을 상기 제1 변 측에 갖고,
상기 제1 기판의 상기 접속 배선과 상기 제2 기판의 상기 접속 배선은, 금속 접합에 의해 직접 접합된 상기 (5)에 기재된 적층형 수광 센서.
(8)
상기 제2 기판은, 상기 화상 데이터를 신호 처리하는 신호 처리부를 더 구비하고,
상기 신호 처리부는, 상기 제2 기판에 있어서, 상기 변환기와 상기 처리부의 사이에 배치되는 상기 (1)~(7) 중 어느 한 항에 기재된 적층형 수광 센서.
(9)
상기 제2 기판은, 데이터를 기억하는 메모리를 더 구비하고,
상기 메모리는, 상기 제2 기판에 있어서, 상기 처리부와 인접하는 영역에 배치되는 상기 (1)~(8) 중 어느 한 항에 기재된 적층형 수광 센서.
(10)
상기 메모리는, 상기 처리부와 적어도 2방향에서 인접하는 영역에 배치되는 상기 (9)에 기재된 적층형 수광 센서.
(11)
상기 메모리는, 상기 처리부를 2방향에서부터 사이에 끼우는 영역에 배치되는 상기 (9)에 기재된 적층형 수광 센서.
(12)
상기 처리부는, 상기 제2 기판에서 2개의 영역으로 분할하여 배치되고,
상기 메모리는, 상기 분할된 처리부에 끼워지는 영역에 배치되는 상기 (9)에 기재된 적층형 수광 센서.
(13)
상기 메모리는, 상기 처리부가 상기 처리를 실행하기 위한 프로그램을 기억하는 상기 (9)에 기재된 적층형 수광 센서.
(14)
상기 제2 기판은, 상기 화소 어레이부로부터의 상기 화소 신호의 판독을 제어하는 컨트롤부를 더 구비하고,
상기 컨트롤부는, 상기 제2 기판에 있어서, 상기 변환기와 상기 처리부의 사이에 배치되는 상기 (1)~(13) 중 어느 한 항에 기재된 적층형 수광 센서.
(15)
상기 제1 기판에 있어서의 상기 제2 기판에 접합되는 면의 사이즈는, 상기 제2 기판에 있어서의 상기 제1 기판에 접합되는 면의 사이즈와 실질적으로 같은 상기 (1)~(14) 중 어느 한 항에 기재된 적층형 수광 센서.
(16)
상기 제1 기판에 있어서의 상기 제2 기판에 접합되는 면의 사이즈는, 상기 제2 기판에 있어서의 상기 제1 기판에 접합되는 면의 사이즈보다 작은 상기 (1)~(14) 중 어느 한 항에 기재된 적층형 수광 센서.
(17)
상기 제1 기판과 상기 제2 기판은, CoC(Chip on Chip) 방식과, CoW(Chip on Wafer) 방식과, WoW(Wafer on Wafer) 방식 중 어느 하나에 의해 접합되어 있는 상기 (1)~(16) 중 어느 한 항에 기재된 적층형 수광 센서.
(18)
상기 제1 기판은, 상기 제3 변과는 다른 변의 적어도 하나에 근접하는 패드를 구비하는 상기 (5)~(7) 중 어느 한 항에 기재된 적층형 수광 센서.
(19)
상기 패드는, 상기 변환기에 공급되는 전원 전압이 인가되는 제1 전원 패드와, 상기 처리부에 공급되는 전원 전압이 인가되는 제2 전원 패드를 포함하고,
상기 제1전원 패드는, 상기 제2 전원 패드보다 상기 변환기에 가까운 위치에 배치되고,
상기 제2 전원 패드는, 상기 제1전원 패드보다 상기 처리부에 가까운 위치에 배치되는 상기 (18)에 기재된 적층형 수광 센서.
(20)
제1 기판과, 상기 제1 기판에 접합된 제2 기판을 구비하고, 상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부를 구비하고, 상기 제2 기판은, 상기 화소 어레이부로부터 출력되는 아날로그 화소 신호를 디지털의 화상 데이터로 변환하는 변환기와, 상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크 계산 모델에 기초한 처리를 실행하는 처리부를 구비하고, 상기 변환기의 적어도 일부는, 상기 제2 기판에서의 제1 변 측에 배치되고, 상기 처리부는, 상기 제2 기판에서의 상기 제1 변과는 반대인 제2 변 측에 배치되어 있는 적층형 수광 센서와,
상기 적층형 수광 센서로부터 출력된 화상 데이터에 대해 소정의 처리를 실행하는 프로세서를 구비하는 전자기기.
(21)
제1 기판과,
상기 제1 기판에 접합된 제2 기판을 구비하고,
상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부를 구비하고,
상기 제2 기판은,
상기 화소 어레이부로부터 출력되는 아날로그 화소 신호를 디지털 화상 데이터로 변환하는 변환기와,
상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크 계산 모델에 기초한 처리를 실행하는 처리부를 구비하고,
상기 제2 기판은, 상기 제1 기판과 상기 제2 기판의 적층 방향에 있어서, 해당 제2 기판에서 상기 처리부가 배치된 영역의 절반 이상이 상기 제1 기판에서 상기 화소 어레이부가 배치된 영역과 중첩하지 않도록, 상기 제1 기판에 접합되어 있는 적층형 수광 센서.
1: 촬상 장치
10: 이미지 센서
11: 촬상부
12: 컨트롤부
13: 신호 처리부
14, 14A, 14B, 14C, 14D: DSP(기계 학습부)
14a: 접속부
15, 15A, 15B, 15C, 15D, 15E, 15F: 메모리
16: 선택기
17, 17A: ADC
17B: DAC
20: 어플리케이션 프로세서
30: 클라우드 서버
40: 네트워크
100, 200, 300: 제1 기판
101: 화소 어레이부
101a: 단위 화소
102: TSV 어레이
103: 패드 어레이
104: 광학계
120, 320: 제2 기판
L101~L104: 변
O100: 제1 기판의 중심
O101: 화소 어레이부의 중심

Claims (21)

  1. 제1 기판과,
    상기 제1 기판에 접합된 제2 기판을 구비하고,
    상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부를 구비하고,
    상기 제2 기판은,
    상기 화소 어레이부로부터 출력되는 아날로그 화소 신호를 디지털의 화상 데이터로 변환하는 변환기와,
    상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크(neural network) 계산 모델에 기초한 처리를 실행하는 처리부를 구비하고,
    상기 변환기의 적어도 일부는, 상기 제2 기판에서의 제1 변 측에 배치되고,
    상기 처리부는, 상기 제2 기판에서의 상기 제1 변과는 반대인 제2 변 측에 배치되어 있는 적층형 수광 센서.
  2. 제1항에 있어서,
    상기 뉴럴 네트워크 계산 모델은, 상기 화소 어레이부의 출력에 상당하는 입력 신호와 해당 입력 신호에 대한 라벨이 관련지어져 있는 학습 데이터를 미리 정해진 기계 학습 모델에 입력하여 생성된 파라미터에 기초하여 설계되어 있는 적층형 수광 센서.
  3. 제2항에 있어서,
    상기 미리 정해진 기계 학습 모델은, 다층 뉴럴 네트워크 모델인 적층형 수광 센서.
  4. 제1항에 있어서,
    상기 화상 데이터에 기초한 데이터는, 상기 화소 어레이부로부터 판독된 상기 화상 데이터 또는 해당 화상 데이터의 화소를 솎아 냄으로써 데이터 사이즈가 축소된 화상 데이터인 적층형 수광 센서.
  5. 제1항에 있어서,
    상기 제1 기판은, 해당 제1 기판과 상기 제2 기판을 접합한 상태에서 상기 제2 기판의 상기 제1 변과 대응하는 제3 변 측에, 상기 화소 어레이부와 상기 변환기를 전기적으로 접속하는 접속 배선을 구비하는 적층형 수광 센서.
  6. 제5항에 있어서,
    상기 접속 배선은, 상기 제1 기판을 관통하는 TSV(Through Silicon Via)인 적층형 수광 센서.
  7. 제5항에 있어서,
    상기 제2 기판은, 상기 변환기와 전기적으로 접속한 접속 배선을 상기 제1 변 측에 갖고,
    상기 제1 기판의 상기 접속 배선과 상기 제2 기판의 상기 접속 배선은, 금속 접합에 의해 직접 접합된 적층형 수광 센서.
  8. 제1항에 있어서,
    상기 제2 기판은, 상기 화상 데이터를 신호 처리하는 신호 처리부를 더 구비하고,
    상기 신호 처리부는, 상기 제2 기판에 있어서, 상기 변환기와 상기 처리부의 사이에 배치되는 적층형 수광 센서.
  9. 제1항에 있어서,
    상기 제2 기판은, 데이터를 기억하는 메모리를 더 구비하고,
    상기 메모리는, 상기 제2 기판에 있어서, 상기 처리부와 인접하는 영역에 배치되는 적층형 수광 센서.
  10. 제9항에 있어서,
    상기 메모리는, 상기 처리부와 적어도 2방향에서 인접하는 영역에 배치되는 적층형 수광 센서.
  11. 제9항에 있어서,
    상기 메모리는, 상기 처리부를 2방향에서부터 사이에 끼우는 영역에 배치되는 적층형 수광 센서.
  12. 제9항에 있어서,
    상기 처리부는, 상기 제2 기판에서 2개의 영역으로 분할하여 배치되고,
    상기 메모리는, 상기 분할된 처리부에 끼워지는 영역에 배치되는 적층형 수광 센서.
  13. 제9항에 있어서,
    상기 메모리는, 상기 처리부가 상기 처리를 실행하기 위한 프로그램을 기억하는 적층형 수광 센서.
  14. 제1항에 있어서,
    상기 제2 기판은, 상기 화소 어레이부로부터의 상기 화소 신호의 판독을 제어하는 컨트롤부를 더 구비하고,
    상기 컨트롤부는, 상기 제2 기판에 있어서, 상기 변환기와 상기 처리부의 사이에 배치되는 적층형 수광 센서.
  15. 제1항에 있어서,
    상기 제1 기판에 있어서의 상기 제2 기판에 접합되는 면의 사이즈는, 상기 제2 기판에 있어서의 상기 제1 기판에 접합되는 면의 사이즈와 실질적으로 같은 적층형 수광 센서.
  16. 제1항에 있어서,
    상기 제1 기판에 있어서의 상기 제2 기판에 접합되는 면의 사이즈는, 상기 제2 기판에 있어서의 상기 제1 기판에 접합되는 면의 사이즈보다 작은 적층형 수광 센서.
  17. 제1항에 있어서,
    상기 제1 기판과 상기 제2 기판은, CoC(Chip on Chip) 방식과, CoW(Chip on Wafer) 방식과, WoW(Wafer on Wafer) 방식 중 어느 하나에 의해 접합되어 있는 적층형 수광 센서.
  18. 제5항에 있어서,
    상기 제1 기판은, 상기 제3 변과는 다른 변의 적어도 하나에 근접하는 패드를 구비하는 적층형 수광 센서.
  19. 제18항에 있어서,
    상기 패드는, 상기 변환기에 공급되는 전원 전압이 인가되는 제1 전원 패드와, 상기 처리부에 공급되는 전원 전압이 인가되는 제2 전원 패드를 포함하고,
    상기 제1 전원 패드는, 상기 제2 전원 패드보다 상기 변환기에 가까운 위치에 배치되고,
    상기 제2 전원 패드는, 상기 제1 전원 패드보다 상기 처리부에 가까운 위치에 배치되는 적층형 수광 센서.
  20. 제1 기판과, 상기 제1 기판에 접합된 제2 기판을 구비하고, 상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부를 구비하고, 상기 제2 기판은, 상기 화소 어레이부로부터 출력되는 아날로그 화소 신호를 디지털의 화상 데이터로 변환하는 변환기와, 상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크 계산 모델에 기초한 처리를 실행하는 처리부를 구비하고, 상기 변환기의 적어도 일부는, 상기 제2 기판에서의 제1 변 측에 배치되고, 상기 처리부는, 상기 제2 기판에서의 상기 제1 변과는 반대인 제2 변 측에 배치되어 있는 적층형 수광 센서와,
    상기 적층형 수광 센서로부터 출력된 화상 데이터에 대해 미리 정해진 처리를 실행하는 프로세서를 구비하는 전자기기.
  21. 제1 기판과,
    상기 제1 기판에 접합된 제2 기판을 구비하고,
    상기 제1 기판은, 복수의 단위 화소가 2차원 매트릭스 형상으로 배열된 화소 어레이부를 구비하고,
    상기 제2 기판은,
    상기 화소 어레이부로부터 출력되는 아날로그 화소 신호를 디지털 화상 데이터로 변환하는 변환기와,
    상기 화상 데이터에 기초한 데이터에 대해 뉴럴 네트워크 계산 모델에 기초한 처리를 실행하는 처리부를 구비하고,
    상기 제2 기판은, 상기 제1 기판과 상기 제2 기판의 적층 방향에 있어서, 해당 제2 기판에서 상기 처리부가 배치된 영역의 절반 이상이 상기 제1 기판에서 상기 화소 어레이부가 배치된 영역과 중첩하지 않도록, 상기 제1 기판에 접합되어 있는 적층형 수광 센서.
KR1020217001553A 2018-07-31 2019-07-30 적층형 수광 센서 및 전자기기 KR20210029205A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018143973 2018-07-31
JPJP-P-2018-143973 2018-07-31
JPJP-P-2019-139439 2019-07-30
PCT/JP2019/029909 WO2020027161A1 (ja) 2018-07-31 2019-07-30 積層型受光センサ及び電子機器
JP2019139439A JP6689437B2 (ja) 2018-07-31 2019-07-30 積層型受光センサ及び電子機器

Publications (1)

Publication Number Publication Date
KR20210029205A true KR20210029205A (ko) 2021-03-15

Family

ID=69619053

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217001553A KR20210029205A (ko) 2018-07-31 2019-07-30 적층형 수광 센서 및 전자기기
KR1020217001352A KR20210029202A (ko) 2018-07-31 2019-07-31 적층형 수광 센서 및 차량 탑재 촬상 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217001352A KR20210029202A (ko) 2018-07-31 2019-07-31 적층형 수광 센서 및 차량 탑재 촬상 장치

Country Status (6)

Country Link
US (2) US11735614B2 (ko)
EP (2) EP3833007B1 (ko)
JP (2) JP6689437B2 (ko)
KR (2) KR20210029205A (ko)
CN (2) CN112470462B (ko)
TW (1) TWI846718B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022044465A (ja) * 2020-09-07 2022-03-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022119374A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体
JP2022119377A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体、半導体基板
JP2022119379A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
JP2022119378A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、機器
EP4275585A4 (en) * 2021-02-12 2024-06-12 Sony Group Corporation OBSERVATION DEVICE FOR MEDICAL TREATMENT, OBSERVATION DEVICE, OBSERVATION METHOD AND ADAPTER
WO2022239495A1 (ja) * 2021-05-14 2022-11-17 ソニーグループ株式会社 生体組織観察システム、生体組織観察装置及び生体組織観察方法
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
WO2022254836A1 (ja) * 2021-06-03 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
US20240285157A1 (en) * 2021-06-30 2024-08-29 Sony Group Corporation Medical observation system, information processing apparatus, and information processing method
WO2023034665A1 (en) * 2021-09-02 2023-03-09 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
JPWO2023132002A1 (ko) * 2022-01-05 2023-07-13
WO2023181783A1 (ja) 2022-03-24 2023-09-28 ソニーグループ株式会社 センサ装置、センサ制御システム、制御方法
WO2023218936A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051809A (ja) 2016-09-26 2018-04-05 セイコーエプソン株式会社 液体吐出装置、駆動回路および駆動方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
JP5272773B2 (ja) * 2009-02-12 2013-08-28 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2011049710A2 (en) * 2009-10-23 2011-04-28 Rambus Inc. Stacked semiconductor device
JP5685898B2 (ja) * 2010-01-08 2015-03-18 ソニー株式会社 半導体装置、固体撮像装置、およびカメラシステム
CN103988490B (zh) * 2011-12-13 2018-05-22 索尼公司 图像处理装置、图像处理方法和记录介质
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
DE102013102819A1 (de) 2013-03-19 2014-09-25 Conti Temic Microelectronic Gmbh Kameramodul sowie Verfahren zur Herstellung
US20150296158A1 (en) 2014-04-10 2015-10-15 Forza Silicon Corporation Reconfigurable CMOS Image Sensor
TWI648986B (zh) * 2014-04-15 2019-01-21 日商新力股份有限公司 攝像元件、電子機器
JP2015227115A (ja) * 2014-05-30 2015-12-17 日本電産コパル株式会社 車載カメラ制御装置
US9621769B2 (en) 2014-06-11 2017-04-11 Magna Electronics Inc. Camera module for vehicle vision system
US9508681B2 (en) * 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
JP6295983B2 (ja) 2015-03-05 2018-03-20 ソニー株式会社 半導体装置およびその製造方法、並びに電子機器
JP2016195301A (ja) * 2015-03-31 2016-11-17 パナソニックＩｐマネジメント株式会社 画像処理装置、および、電子ミラーシステム
JP6453158B2 (ja) * 2015-05-25 2019-01-16 株式会社オプトエレクトロニクス 撮像装置及び光学的情報読取装置
JP2017118445A (ja) 2015-12-25 2017-06-29 日本電産エレシス株式会社 車載カメラ
JP2018007035A (ja) * 2016-07-01 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR102526559B1 (ko) * 2016-09-16 2023-04-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
JP2018074445A (ja) 2016-10-31 2018-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
KR102707595B1 (ko) * 2016-12-01 2024-09-19 삼성전자주식회사 눈 검출 방법 및 장치
JP6832155B2 (ja) * 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
US10482801B2 (en) * 2017-03-22 2019-11-19 Solera Holdings, Inc. Start and stop methods for a vehicle smart mirror
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
TWI666941B (zh) * 2018-03-27 2019-07-21 緯創資通股份有限公司 多層次狀態偵測系統與方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051809A (ja) 2016-09-26 2018-04-05 セイコーエプソン株式会社 液体吐出装置、駆動回路および駆動方法

Also Published As

Publication number Publication date
EP3833007A4 (en) 2021-08-25
KR20210029202A (ko) 2021-03-15
US20210266488A1 (en) 2021-08-26
JP6689437B2 (ja) 2020-04-28
EP3833007A1 (en) 2021-06-09
US11735614B2 (en) 2023-08-22
CN112470461A (zh) 2021-03-09
JP2020025264A (ja) 2020-02-13
EP3833006A4 (en) 2021-09-01
JP2020025263A (ja) 2020-02-13
US20210168318A1 (en) 2021-06-03
TW202021105A (zh) 2020-06-01
CN112470462B (zh) 2024-06-07
EP3833006A1 (en) 2021-06-09
TWI846718B (zh) 2024-07-01
CN112470461B (zh) 2024-09-06
JP6705044B2 (ja) 2020-06-03
CN112470462A (zh) 2021-03-09
EP3833007B1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
JP7090666B2 (ja) 固体撮像装置、電子機器及び制御方法
JP6689437B2 (ja) 積層型受光センサ及び電子機器
TWI840429B (zh) 積層型受光感測器及電子機器
US11962916B2 (en) Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
WO2020027233A1 (ja) 撮像装置及び車両制御システム
WO2021075321A1 (ja) 撮像装置、電子機器及び撮像方法
US20240021646A1 (en) Stacked light-receiving sensor and in-vehicle imaging device
WO2020027161A1 (ja) 積層型受光センサ及び電子機器
US20240080546A1 (en) Imaging apparatus and electronic equipment
WO2021075292A1 (ja) 受光装置、電子機器及び受光方法
WO2020027074A1 (ja) 固体撮像装置および電子機器