TW202021105A - 積層型受光感測器及電子機器 - Google Patents

積層型受光感測器及電子機器 Download PDF

Info

Publication number
TW202021105A
TW202021105A TW108127298A TW108127298A TW202021105A TW 202021105 A TW202021105 A TW 202021105A TW 108127298 A TW108127298 A TW 108127298A TW 108127298 A TW108127298 A TW 108127298A TW 202021105 A TW202021105 A TW 202021105A
Authority
TW
Taiwan
Prior art keywords
substrate
receiving sensor
processing
image
pixel array
Prior art date
Application number
TW108127298A
Other languages
English (en)
Other versions
TWI846718B (zh
Inventor
浴良仁
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202021105A publication Critical patent/TW202021105A/zh
Application granted granted Critical
Publication of TWI846718B publication Critical patent/TWI846718B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本發明係於晶片內執行更高度之處理。實施形態之積層型受光感測器包含第1基板(100、200、300)、及與上述第1基板貼合之第2基板(120、320)，上述第1基板包含將複數個單位像素排列成2維矩陣狀之像素陣列部(101)，上述第2基板包含：轉換器(17)，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及處理部(15)，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理；上述轉換器之至少一部分配置於上述第2基板之第1邊側，上述處理部配置於上述第2基板之與上述第1邊相反之第2邊側。

Description

積層型受光感測器及電子機器
本揭示係關於一種積層型受光感測器及電子機器。
先前，作為取得靜止圖像或動態圖像之攝像裝置，存在一種平置型影像感測器，其以複數個凸塊將感測器晶片、記憶體晶片、DSP(Digital Signal Processor，數位信號處理器)晶片等晶片彼此並聯連接。
又，近年來，以攝像裝置之小型化為目的，提案出一種具有積層有複數個晶粒之積層構造之單晶片影像感測器。 [先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2018/051809號
[發明所欲解決之問題]
然而，近年來，基於圖像處理之多樣化、高速化、個人資訊保護等觀點，期望於影像感測器晶片內執行更高度之處理。
因此，本揭示中，提案一種可於晶片內執行更高度之處理之積層型受光感測器及電子機器。 [解決問題之技術手段]
為解決上述問題，本揭示之一形態之積層型受光感測器包含第1基板、及與上述第1基板貼合之第2基板，上述第1基板包含將複數個單位像素排列成2維矩陣狀之像素陣列部，上述第2基板包含：轉換器，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及處理部，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理；上述轉換器之至少一部分配置於上述第2基板之第1邊側，上述處理部配置於上述第2基板之與上述第1邊相反之第2邊側。
以下，針對本揭示之一實施形態，基於圖式詳細說明。另，以下之實施形態中，藉由對同一部位標註同一符號而省略重複說明。
又，依照以下所示之項目順序說明本揭示。 1.      第1實施形態 1.1           攝像裝置之概略構成例 1.2           影像感測器晶片之晶片構成例 1.3           搭載有執行基於習得模型之運算之處理部之影像感測器之問題 1.4           雜訊減低方法 1.4.1    第1佈局例 1.4.1.1   第1基板之佈局例 1.4.1.2   第2基板之佈局例 1.4.2    第2佈局例 1.4.3    第3佈局例 1.4.4    第4佈局例 1.4.5    第5佈局例 1.4.6    第6佈局例 1.4.7    第7佈局例 1.4.8    第8佈局例 1.4.9    第9佈局例 1.5           作用、效果 2.      第2實施形態 2.1           影像感測器晶片之晶片構成例 2.2           作用、效果 3.      第3實施形態 3.1           影像感測器晶片之晶片構成例 3.2           作用、效果 4.      對其他感測器之應用 5.      對移動體之應用例 6.      對內視鏡手術系統之應用例 7.      對WSI(Whole Slide Imaging，全切片影像)系統之應用例
1.第1實施形態 首先，針對第1實施形態，參照圖式詳細說明。
1.1攝像裝置之概略構成例 圖1係顯示作為第1實施形態之電子機器之攝像裝置之概略構成例之方塊圖。如圖1所示，攝像裝置1包含固體攝像裝置即影像感測器10，及應用程式處理器20。影像感測器10包含攝像部11、控制部12、轉換器(Analog to Digital Converter，類比數位轉換器：以下稱為ADC)17、信號處理部13、DSP(Digital Signal Processor，數位信號處理器)14、記憶體15及選擇器(亦稱為輸出部)16。
控制部12依照例如使用者之操作或經設定之動作模式，控制影像感測器10內之各部。
攝像部11例如具備：光學系統104，其具備變焦透鏡、聚焦透鏡、光圈等；及像素陣列部101，其具備將包含光電二極體等受光元件之單位像素(圖2之單位像素101a)排列成2維矩陣狀之構成。自外部入射之光經由光學系統104而成像於像素陣列部101之排列有受光元件之受光面。像素陣列部101之各單位像素101a將入射於該受光元件之光進行電轉換，而將對應於入射光之光量之電荷可讀出地加以蓄積。
ADC17將自攝像部11讀出之每單位像素101a之類比像素信號轉換成數位值，而產生數位之圖像資料，將產生之圖像資料向信號處理部13及/或記憶體15輸出。另，ADC17中亦可包含自電源電壓等產生用以驅動攝像部11之驅動電壓之電壓產生電路等。
信號處理部13對自ADC17輸入之數位圖像資料或自記憶體15讀出之數位圖像資料(以下稱為處理對象之圖像資料)執行各種信號處理。例如，處理對象之圖像資料如為彩色圖像，信號處理部13將該圖像格式轉換成YUV之圖像資料或RGB之圖像資料等。又，信號處理部13視需要對例如處理對象之圖像資料執行雜訊去除、白平衡調整等處理。此外，信號處理部13對處理對象之圖像資料執行由DSP14處理該圖像資料所需之各種信號處理(亦稱為前處理)。
DSP14作為處理部發揮功能，例如藉由執行存儲於記憶體15之程式，而使用藉由利用神經網路(DNN)之機械學習製作之習得模型(亦稱為神經網路計算模型)執行各種處理。習得模型(神經網路計算模型)亦可基於將相當於像素陣列部101之輸出之輸入信號、及與該輸入信號之標籤建立關聯之學習資料輸入至規定之機械學習模型而產生之參數而加以設計。又，規定之機械學習模型亦可為利用多層神經網路之學習模型(亦稱為多層神經網路模型)。
例如，DSP14執行基於記憶於記憶體15之習得模型之運算處理，而執行記憶於記憶體15之辭典係數與圖像資料相乘之處理。將藉由此種運算處理所得之結果(運算結果)向記憶體15及/或選擇器16輸出。另，運算結果中可包含藉由執行使用習得模型之運算處理所得之圖像資料、及自該圖像資料所得之各種資訊(元資料)。又，亦可於DSP14中組入控制對記憶體15存取之記憶體控制器。
另，DSP14作為處理對象之圖像資料，可為自像素陣列部101進行通常讀出之圖像資料，亦可為因縮減該通常讀出之圖像資料之像素從而資料尺寸縮小之圖像資料。或者，亦可為藉由對像素陣列部101執行縮減像素之讀出，而以小於通常之資料尺寸讀出之圖像資料。另，此處所述之通常讀出亦可為不縮減像素而讀出。
記憶體15視需要記憶自ADC17輸出之圖像資料、經信號處理部13予以信號處理之圖像資料、及由DSP14所得之運算結果等。又，記憶體15將DSP14所執行之習得模型之運算法記憶作為程式及辭典係數。
另，DSP14可藉由使用學習資料變更學習模型內之各種參數之加權而對學習模型進行學習、預先準備複數個學習模型而根據運算處理之內容變更所要使用之學習模型、或自外部裝置取得習得之學習模型，而執行上述運算處理。
選擇器16例如依照來自控制部12之選擇控制信號，而選擇性輸出自DSP14輸出之圖像資料、記憶於記憶體15之圖像資料、運算結果。另，當DSP14不對自信號處理部13輸出之圖像資料執行處理、即由選擇器16輸出自DSP14輸出之圖像資料之情形時，選擇器16直接輸出自信號處理部13輸出之圖像資料。
如上所述，將自選擇器16輸出之圖像資料或運算結果輸入至處理顯示或使用者介面等之應用程式處理器20。應用程式處理器20例如使用CPU(Central Processing Unit，中央處理單元)等構成，執行操作系統或各種應用程式軟體等。亦可於該應用程式處理器20中搭載GPU(Graphics Processing Unit，圖形處理單元)或基頻處理器等功能。應用程式處理器20對輸入之圖像資料或運算結果執行因應需要之各種處理、執行對使用者之顯示、或經由規定之網路40發送至外部之雲端伺服器30。
另，對於規定之網路40，可應用例如網際網路、有線LAN(Local Area Network，區域網路)、無線LAN、行動通信網、Bluetooth(藍牙，註冊商標)等各種網路。又，圖像資料或運算結果之發送端不限於雲端伺服器30，亦可為單獨動作之伺服器、存放各種資料之檔案伺服器、行動電話等通信終端等具有通信功能之各種資訊處理裝置(系統)。
1.2影像感測器晶片之晶片構成例 其次，針對圖1所示之影像感測器10之晶片構成之例，於以下參照圖式詳細說明。
圖2係顯示本實施形態之影像感測器之晶片構成例之模式圖。如圖2所示，影像感測器10具有貼合有四角形平板狀之第1基板(晶粒)100及同為四角形平板狀之第2基板(晶粒)120之積層構造。
第1基板100及第2基板之尺寸例如可為相同。又，第1基板100及第2基板120亦可各自為矽基板等半導體基板。
於圖1所示之影像感測器10之構成中，於第1基板100配置攝像部11之像素陣列部101。又，亦可於第1基板100晶載設置光學系統104之一部分或全部。
於圖1所示之影像感測器10之構成中，於第2基板120配置有ADC17、控制部12、信號處理部13、DSP14、記憶體15及選擇器16。另，亦可於第2基板120配置未圖示之介面電路、驅動器電路等。
第1基板100與第2基板120之貼合可為將第1基板100及第2基板120單片化為各個晶片後，將該等經單片化之第1基板100及第2基板120貼合之所謂CoC(Chip on Chip，層疊式晶片堆疊)方式，亦可為將第1基板100及第2基板120中之一者(例如第1基板100)單片化為晶片後，將該經單片化之第1基板100與單片化前(即晶圓狀態)之第2基板120貼合之所謂CoW(Chip on Wafer，層疊式晶片晶圓堆疊)方式，又可為將第1基板100及第2基板120均以晶圓之狀態貼合之所謂WoW(Wafer on Wafer，層疊式晶圓堆疊)方式。
第1基板100與第2基板120之接合方法可使用例如電漿接合等，但不限於此，亦可使用各種接合方法。
1.3搭載有執行基於習得模型之運算之處理部的影像感測器之問題 如上所述，若使DSP14作為執行基於習得模型之運算處理之處理部而動作，其動作運算法之安裝為執行程式之所謂軟體安裝。又，習得模型之動作運算法乃每日更新。因此，難以預先掌握執行基於習得模型之運算處理之DSP14在何時點執行處理、DSP14之處理尖峰時刻落在何時點等。
並且，如圖2所例示，於第1基板100搭載像素陣列部101、且於第2基板120搭載DSP14之晶片構成中，使DSP14作為執行基於習得模型之運算的處理部而動作之情形時，若於像素陣列部101重設過程中、或像素陣列部101曝光過程中、或自像素陣列部101之各單位像素101a讀出像素信號之過程中，DSP14開始運算處理，或DSP14之處理遇到尖峰時刻，則雜訊(電流或電場之起伏等)會與自像素陣列部101讀出之像素信號重合，結果導致影像感測器10所取得之圖像之品質降低。
因此，本實施形態中，藉由調整像素陣列部101與DSP14之位置關係，而減低因DSP14之信號處理所致之雜訊進入像素陣列部101。藉此，即便使DSP14作為執行基於習得模型之運算的處理部而動作，仍可取得減低品質劣化之圖像。
1.4雜訊減低方法 接著，針對本實施形態之像素陣列部101與DSP14之位置關係，於以下參照圖式詳細說明。另，以下，針對各層(第1基板100及第2基板120)之佈局(亦稱為平面圖)舉若干例，說明像素陣列部101與DSP14之位置關係。
1.4.1第1佈局例 圖3及圖4係用以說明本實施形態之第1佈局例之圖。另，圖3顯示第1基板100之佈局例，圖4顯示第2基板120之佈局例。
1.4.1.1第1基板之佈局例 如圖3所示，於圖1所示之影像感測器10之構成中，於第1基板100配置有攝像部11之像素陣列部101。另，於第1基板100搭載光學系統104之一部分或全部之情形時，設置於與像素陣列部101對應之位置。
像素陣列部101偏向第1基板100之4條邊L101～L104中之1條邊L101側而配置。換言之，像素陣列部101係以其中心部O101較第1基板100之中心部O100更接近邊L101之方式配置。另，第1基板100之設有像素陣列部101之面為長方形之情形時，邊L101亦可為例如較短之邊。但不限於此，像素陣列部101亦可偏向較長之邊而配置。
於接近像素陣列部101之4條邊中之邊L101之區域，換言之，於邊L101與像素陣列部101間之區域，設有貫通第1基板100之複數條貫通配線(Through Silicon Via：矽穿孔，以下稱為TSV)所排列之TSV陣列102，作為用以使像素陣列部101中之各單位像素101a電性連接於配置於第2基板120之ADC17之配線。如此，藉由使TSV陣列102接近像素陣列部101所接近之邊L101，而於第2基板120中，可容易確保ADC17等之各部之配置空間。
另，TSV陣列102亦可設置於接近與邊L101相交之2條邊L103及L104中之一條邊L104(惟亦可為邊L103)之區域，換言之為邊L104(或邊L103)與像素陣列部101間之區域。
於第1基板100之4條邊L101～L104中未靠近配置像素陣列部101之邊L102～L103之各者，設有包含直線狀排列之複數個焊墊之焊墊陣列103。焊墊陣列103所含之焊墊例如包含：被施加像素陣列部101或ADC17等之類比電路用電源電壓之焊墊(亦稱為電源引腳)；被施加信號處理部13、DSP14、記憶體15、選擇器16、控制部12等之數位電路用電源電壓之焊墊(亦稱為電源引腳)；MIPI(Mobile Industry Processor Interface，行動產業處理器介面)、SPI(Serial Peripheral Interface，串列週邊介面)等之介面用焊墊(亦稱為信號引腳)；用以輸入輸出時脈或資料之焊墊(亦稱為信號引腳)等。各焊墊經由導線與例如外部之電源電路或介面電路電性連接。各焊墊陣列103及TSV陣列102較佳為以可忽視來自連接於焊墊陣列103中之各焊墊之導線的信號反射影響之程度充分離開。
1.4.1.2第2基板之佈局例 另一方面，如圖4所示，於圖1所示之影像感測器10之構成中，於第2基板120配置有ADC17、控制部12、信號處理部13、DSP14及記憶體15。另，於第1佈局例中，記憶體15分成記憶體15A與記憶體15B之2個區域。同樣地，ADC17分成ADC17A與DAC(Digital to Analog Converter，數位類比轉換器)17B之2個區域。DAC17B係對ADC17A供給AD轉換用參照電壓之構成，廣義上為包含於ADC17之一部分之構成。又，雖於圖4中未圖示，但選擇器16亦配置於第2基板120。
再者，於第2基板120設有：配線122，其與貫通第1基板100之TSV陣列102中之各TSV(以下簡稱為TSV陣列102)藉由接觸而電性連接；及焊墊陣列123，其由電性連接於第1基板100之焊墊陣列103之各焊墊的複數個焊墊直線狀排列而成。
TSV陣列102與配線122之連接可採用例如在晶片外表面將設置於第1基板100之TSV及自第1基板100遍至第2基板120而設之TSV之2個TSV連接之所謂雙TSV方式，或將自第1基板100遍至第2基板120而設之共通之TSV連接之所謂共用TSV方式等。但不限於此，可採用例如將分別露出於第1基板100之接合面及第2基板120之接合面之銅(Cu)彼此接合之所謂Cu-Cu接合方式等各種連接形態。
第1基板100之焊墊陣列103之各焊墊與第2基板120之焊墊陣列123之各焊墊之連接形態例如為引線接合。但不限於此，亦可為例如通孔或城垛型等連接形態。
第2基板120之佈局例中，例如將與TSV陣列102連接之配線122附近設為上游側，沿自像素陣列部101讀出之信號之流向，自上游起依序配置ADC17A、信號處理部13及DSP14。即，最先輸入自像素陣列部101讀出之像素信號之ADC17A配置於最上游側即配線122附近，其次配置信號處理部13，於最遠離配線122之區域配置DSP14。如此，藉由設為沿信號之流向自上游側起配置ADC17至DSP14之佈局，可縮短連接各部之配線。藉此，可減低信號延遲、減低信號傳播損耗、提高S/N比、減低消耗電力。
又，控制部12配置於例如上游側即配線122附近。圖4中，於ADC17A與信號處理部13之間配置有控制部12。藉由設為此種佈局，可減低控制部12控制像素陣列部101時之信號延遲、減低信號之傳播損耗、提高S/N比、減低消耗電力。又，亦存在如下優點：將類比電路用信號引腳或電源引腳統一配置於類比電路附近(例如，圖4中之下側)，將其餘數位電路用信號引腳或電源引腳統一配置於數位電路附近(例如，圖4中之上側)，或將類比電路用電源引腳及數位電路用電源引腳充分離開而配置等。
又，圖4所示之佈局中，DSP14配置於最下游側，即與ADC17A之相反側。藉由設為此種佈局，換言之，可於第1基板100與第2基板120之積層方向(以下簡稱為上下方向)上不與像素陣列部101重合之區域配置DSP14。
如此，藉由設為於上下方向上像素陣列部101不與DSP14重合之構成，可減低DSP14執行信號處理產生之雜訊進入像素陣列部101。其結果，即便使DSP14作為執行基於習得模型之運算的處理部而動作，仍可減低因DSP14之信號處理所致之雜訊進入像素陣列部101，故可取得減低品質劣化之圖像。
另，DSP14及信號處理部13係藉由以DSP14之一部分或信號線構成之連接部14a而連接。又，選擇器16例如配置於DSP14附近。將連接部14a作為DSP14之一部分之情形時，一部分之DSP14於上下方向上與像素陣列部101重合，但即使是此種情形，與所有的DSP14於上下方向上與像素陣列部101重合之情形相比，仍可減低雜訊對像素陣列部101進入。
記憶體15A及15B例如以自3個方向包圍DSP14之方式配置。如此，藉由以包圍DSP14之方式配置記憶體15A及15B，可將記憶體15之各記憶體元件與DSP14之配線上之距離平均化且整體性縮短。藉此，可減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
焊墊陣列123例如配置於第1基板100之焊墊陣列103與於上下方向上對應之第2基板120上之位置。此處，將焊墊陣列123所含之焊墊中位於ADC17A附近之焊墊使用於類比電路(主要為ADC17A)用電源電壓或類比信號之傳播。另一方面，將位於控制部12、信號處理部13、DSP14、記憶體15A及15B附近之焊墊使用於數位電路(主要為控制部12、信號處理部13、DSP14、記憶體15A及15B)用之電源電壓或數位信號之傳播。藉由設為此種焊墊佈局，可縮短連接各焊墊及各部之配線上之距離。藉此，可減低信號延遲、減低信號或電源電壓之傳播損耗、提高S/N比、減低消耗電力。
1.4.2第2佈局例 接著，針對第2佈局例進行說明。另，於第2佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖5係顯示第2佈局例之第2基板之佈局例之圖。如圖5所示，第2佈局例中，於與第1佈局例相同之佈局例中，將DSP14配置於配置DSP14及記憶體15之區域中央。換言之，於第2佈局例中，將記憶體15以自4個方向包圍DSP14之方式配置。
如此，藉由以自4個方向包圍DSP14之方式配置記憶體15A及15B，可使記憶體15之各記憶體元件與DSP14之配線上之距離更為平均化且進而整體性縮短。藉此，可減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
另，於圖5中，以DSP14及像素陣列部101於上下方向上不重合之方式配置，但不限於此，DSP14之一部分亦可於上下方向上與像素陣列部101重合。此種情形時，與所有的DSP14於上下方向上與像素陣列部101重合之情形相比，可減低雜訊進入像素陣列部101。
對於其他佈局，亦可與第1佈局例相同，故此處省略詳細說明。
1.4.3第3佈局例 接著，針對第3佈局例進行說明。另，於第3佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖6係顯示第3佈局例之第2基板之佈局例之圖。如圖6所示，第3佈局例中，於與第1佈局例相同之佈局例中，將DSP14與信號處理部13鄰接配置。根據此種構成，可縮短信號處理部13至DSP14之信號線。藉此，可減低信號延遲、減低信號或電源電壓之傳播損耗、提高S/N比、減低消耗電力。
又，於第3佈局例中，亦將記憶體15以自3個方向包圍DSP14之方式配置。藉此，可減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
另，於第3佈局例中，DSP14之一部分於上下方向上與像素陣列部101重合，但即使是此種情形，與所有的DSP14於上下方向上與像素陣列部101重合之情形相比，亦可減低雜訊進入像素陣列部101。
對於其他佈局，亦可與其他佈局例相同，故此處省略詳細說明。
1.4.4第4佈局例 接著，針對第4佈局例進行說明。另，於第4佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖7係顯示第4佈局例之第2基板之佈局例之圖。如圖7所示，第4佈局例中，於與第3佈局例相同之佈局，即DSP14與信號處理部13鄰接配置之佈局中，將DSP14配置於遠離2個TSV陣列102兩者之位置。
如此，藉由將DSP14配置於遠離2個TSV陣列102兩者之位置，而可根據信號之流向保真地配置ADC17A至DSP14，故可進而縮短信號處理部13至DSP14之信號線。其結果，可更為減低信號延遲、信號傳播損耗、消耗電力。
又，於第4佈局例中，記憶體15以自2個方向包圍DSP14之方式配置。藉此，可減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
另，於第4佈局例中，亦將DSP14之一部分於上下方向上與像素陣列部101重合，但即使是此種情形，與所有的DSP14於上下方向上與像素陣列部101重合之情形相比，仍可減低雜訊進入像素陣列部101。
對於其他佈局，亦可與其他佈局例相同，故此處省略詳細說明。
1.4.5第5佈局例 接著，針對第5佈局例進行說明。另，於第5佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖8係顯示第5佈局例之第2基板之佈局例之圖。如圖8所示，第5佈局例中，於與第1佈局例相同之佈局、即DSP14配置於最下游側之佈局中，將DSP14配置於遠離2個TSV陣列102兩者之位置。
根據此種構成，亦可藉由信號之流向而保真地配置ADC17A至DSP14，故可進而縮短信號處理部13至DSP14之信號線。其結果，可更為減低信號延遲、信號傳播損耗、消耗電流。
對於其他佈局，亦可與其他佈局例相同，故此處省略詳細說明。
1.4.6第6佈局例 接著，針對第6佈局例進行說明。另，於第6佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖9係顯示第6佈局例之第2基板之佈局例之圖。如圖9所示，第6佈局例具有自圖式中上下方向將DSP14夾在分割成2個區域之記憶體15C及15D之間之構成。
如此，藉由以相夾DSP14之方式配置記憶體15C及15D，可將記憶體15之各記憶體元件與DSP14之配線上之距離平均化且整體性縮短。藉此，可更為減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
對於其他佈局，亦可與第1佈局例相同，故此處省略詳細說明。
1.4.7第7佈局例 接著，針對第7佈局例進行說明。另，於第7佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖10係顯示第7佈局例之第2基板之佈局例之圖。如圖10所示，第7佈局例具有自圖式中上下方向將記憶體15夾在分割成2個區域之DSP14A及14B之間之構成。
如此，藉由以相夾記憶體15之方式配置DSP14A及14B，可將記憶體15之各記憶體元件與DSP14之配線上之距離平均化且整體性縮短。藉此，可更為減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
對於其他佈局，亦可與第1佈局例相同，故此處省略詳細說明。
1.4.8第8佈局例 接著，針對第8佈局例進行說明。另，於第8佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖11係顯示第8佈局例之第2基板之佈局例之圖。如圖11所示，第8佈局例具有自圖式中左右方向將DSP14夾在分割成2個區域之記憶體15E及15F之間之構成。
如此，藉由以相夾DSP14之方式配置記憶體15C及15D，可將記憶體15之各記憶體元件與DSP14之配線上之距離平均化且整體性縮短。藉此，可更為減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
對於其他佈局，亦可與第1佈局例相同，故此處省略詳細說明。
1.4.9第9佈局例 接著，針對第9佈局例進行說明。另，於第9佈局例中，第1基板100之佈局例亦可與第1佈局例中使用圖3說明之佈局例相同。
圖12係顯示第9佈局例之第2基板之佈局例之圖。如圖12所示，於第9佈局例具有自圖式中左右方向將記憶體15夾在分割成2個區域之DSP14C及14D之間之構成。
如此，藉由以相夾記憶體15之方式配置DSP14C及14D，可將記憶體15之各記憶體元件與DSP14之配線上之距離平均化且整體性縮短。藉此，可更為減低DSP14對記憶體15存取時之信號延遲、信號傳播損耗、消耗電力。
對於其他佈局，亦可與第1佈局例相同，故此處省略詳細說明。
1.5作用、效果 如上所述，根據本實施形態，以第2基板120之DSP14之至少一部分於第1基板100與第2基板120之積層方向(上下方向)上不與像素陣列部101重合之方式，調整像素陣列部101與DSP14之位置關係。藉此，可減低因DSP14之信號處理所致之雜訊進入像素陣列部101，即便使DSP14作為執行基於習得模型之運算的處理部而動作之情形時，仍可取得減低品質劣化之像素。
2.第2實施形態 接著，針對第2實施形態，參照圖式詳細說明。另，以下之說明中，針對與第1實施形態相同之構成，標註同一符號，省略其重複說明。
作為第2實施形態之電子機器之攝像裝置，亦可與例如第1實施形態中使用圖1說明之攝像裝置1相同，故此處引用其而省略詳細說明。
2.1影像感測器晶片之晶片構成例 接著，針對本實施形態之影像感測器之晶片構成之例，於以下參照圖式詳細說明。圖13係顯示本實施形態之影像感測器之第1基板之概略構成例之佈局圖。圖14係顯示本實施形態之影像感測器之晶片構成例之模式圖。
如圖13及圖14所示，本實施形態中，第1基板200之尺寸小於第2基板120之尺寸。例如，將第1基板200之尺寸配合像素陣列部101之尺寸而縮小。如此，藉由縮小第1基板200之尺寸，而可自1個半導體晶圓製作更大量之第1基板200。又，亦可使影像感測器10之晶片尺寸更小型化。
另，第1基板200與第2基板120之貼合，可採用將第1基板200及第2基板120單片化為各個晶片後貼合之CoC(Chip on Chip，層疊式晶片堆疊)方式，或將該經單片化後之第1基板200與晶圓狀態之第2基板120貼合之CoW(Chip on Wafer，層疊式晶片晶圓堆疊)方式。
另，第1基板200之佈局亦可與例如第1實施形態中例示之第1基板100中上側之部分除外之佈局相同。又，第2基板120之佈局亦可與例如第1實施形態中例示之第2基板120相同。再者，第1基板200對於第2基板120之貼合部位亦可與第1實施形態同樣地，為像素陣列部101之至少一部分於上下方向上不與第2基板120之DSP14重合之位置。
2.2作用、效果 如上所述，配合像素陣列部101之尺寸而縮小第1基板200之情形，亦可與第1實施形態同樣地，減低因DSP14之信號處理所致之雜訊進入像素陣列部101。藉此，即便使DSP14作為執行基於習得模型之運算的處理部而動作之情形時，亦可取得減低品質劣化之圖像。另，對於其他構成(包含第2基板120之佈局例)及效果，亦可與第1實施形態相同，故此處省略詳細說明。
3.第3實施形態 接著，針對第3實施形態，參照圖式詳細說明。另，以下之說明中，針對與第1或第2實施形態相同之構成，標註同一符號，省略其重複說明。
作為第3實施形態之電子機器之攝像裝置亦可與例如第1實施形態中使用圖1說明之攝像裝置1相同，故此處引用其而省略詳細說明。
3.1影像感測器晶片之晶片構成例 接著，針對本實施形態之影像感測器之晶片構成之例，於以下參照圖式詳細說明。圖15係顯示本實施形態之影像感測器之第1基板之概略構成例之佈局圖。圖16係顯示本實施形態之影像感測器之第2基板之概略構成例之佈局圖。圖17係顯示本實施形態之影像感測器之晶片構成例之模式圖。
如圖15～圖17所示，本實施形態中，將第1基板300之尺寸配合像素陣列部101之尺寸而縮小。又，本實施形態中，將第2基板320之尺寸與第1基板300之尺寸相同程度地縮小。根據此種構成，本實施形態中，由於可削減第1基板300之剩餘區域，故影像感測器10之晶片尺寸更為小型化。
惟在本實施形態中，於第1基板300與第2基板320之積層方向(以下簡稱為上下方向)上，像素陣列部101與DSP14重合。因此，視情形而有可能因DSP14之雜訊與自像素陣列部101讀出之像素信號重合，使得影像感測器10所取得之圖像之品質降低。
因此，本實施形態中，設為將ADC17A與DSP14分離之構成。具體而言，例如將ADC17A靠近第2基板320之1端L321而配置，將DSP14靠近與配置ADC17A之端L321相反側之端L322而配置。
藉由此種配置，可減低自DSP14向ADC17A傳播之雜訊，故可抑制影像感測器10所取得之圖像之品質降低。另，接近ADC17A之端L321亦可為設有與TSV陣列102連接之配線122之端。
又，根據此種配置，與上述實施形態同樣地，例如將與TSV陣列102連接之配線122附近設為上游側，沿自像素陣列部101讀出之信號之流向，自上游起依序配置ADC17A、信號處理部13及DSP14，故可縮短連接各部之配線。藉此，可減低傳送負載、減低信號延遲、減低消耗電力。
3.2作用、效果 如上所述，配合第1基板300、第2基板320及像素陣列部101之尺寸而縮小之情形時，藉由將ADC17A及DSP14分離配置，而可減低自DSP14向ADC17A傳播之雜訊。藉此，可抑制影像感測器10所取得之圖像之品質降低。
對於其他構成及效果，亦可與上述實施形態相同，故此處省略詳細說明。
4.對其他感測器之應用 另，上述實施形態中，例示了對取得2維圖像之固體攝像裝置(影像感測器10)應用本揭示之技術之情形，但本揭示之技術之應用對象並非限定於固體攝像裝置。例如，亦可對ToF(Time of Flight，飛行時間)感測器、紅外線(TR)感測器、DVS(Dynamic Vision Sensor，動態視覺感測器)等各種受光感測器應用本揭示之技術。即，藉由將受光感測器之晶片構造設為積層型，而可達成感測器結果所含之雜訊減低、感測器晶片之小型化等。
5.對移動體之應用例 本揭示之技術(本技術)可應用於各種製品。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、自行車、個人移動載具、飛機、無人機、船舶、機器人等任一種類之移動體之裝置而實現。
圖18係顯示可應用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例之方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖18所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示微電腦12051、聲音圖像輸出部12052、及車載網路I/F(Interface：介面)12053。
驅動系統控制單元12010依照各種程式，控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等之用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之制動裝置等之控制裝置發揮功能。
車體系統控制單元12020依照各種程式，控制裝備於車體之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙門禁系統、智能鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈具之控制裝置發揮功能。該情形時，可對車體系統控制單元12020輸入自代替鑰匙之可攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等之電波或信號之輸入，控制車輛之門鎖裝置、電動窗裝置、燈具等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛外部之資訊。例如，於車外資訊檢測單元12030連接攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接收光且輸出對應於該光之受光量的電信號之光感測器。攝像部12031可將電信號作為圖像而輸出，亦可作為測距之資訊而輸出。又，攝像部12031接收之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040，連接例如檢測駕駛者的狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或精神集中程度，亦可判斷駕駛者是否在打瞌睡。
微電腦12051可基於以車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含迴避車輛碰撞或緩和衝擊、基於車間距離之追隨行駛、維持車速行駛、車輛之碰撞警告或車輛偏離車道警告等之ADAS(Advanced Driver Assistance System:先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051藉由基於車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不拘於駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於車外資訊檢測單元12030所取得之車外之資訊，對車體系統控制單元12030輸出控制指令。例如，微電腦12051可根據車外資訊檢測單元12030檢測到之前方車或對向車之位置而控制頭燈，進行將遠光燈切換成近光燈等以謀求防眩為目的之協調控制。
聲音圖像輸出部12052向可對車輛之搭乘者或車外視覺性或聽覺性地通知資訊之輸出裝置，發送聲音及圖像中之至少任一者之輸出信號。於圖18之例中，作為輸出裝置，例示擴音器12061、顯示部12062及儀錶板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。
圖19係顯示攝像部12031之設置位置之例之圖。
於圖19中，作為攝像部12031，具有攝像部12101、12102、12103、12104、12105。
攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前保險桿、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部等位置。前保險桿所裝備之攝像部12101及車廂內之擋風玻璃之上部所裝備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所裝備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或後門所裝備之攝像部12104主要取得車輛12100後方之圖像。車廂內之前擋風玻璃之上部所裝備之攝像部12105主要使用於檢測前方車輛或行人、障礙物、號誌機、交通標識或車道線等。
另，圖19中顯示攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113表示分別設於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設於後保險桿或後門之攝像部12104之攝像範圍。例如，藉由使攝像部12101至12104所拍攝之圖像資料重合，而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之攝錄影機，亦可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051基於自攝像部12101至12104取得之距離資訊，求得攝像範圍12111至12114內與各立體物之距離，及該距離之時間變化(相對於車輛12100之相對速度)，藉此可尤其將位於車輛12100之行進路上最近之立體物、且在與車輛12100大致相同之方向以規定速度(例如為0 km/h以上)行駛之立體物擷取作為前方車。再者，微電腦12051可設定前方車於近前應預先確保之車間距離，進行自動剎車控制(亦包含停止追隨控制)、自動加速控制(亦包含追隨起動控制)等。可如此地進行不拘於駕駛者之操作而以自律行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104所得之距離資訊，將與立體物相關之立體物資料分類成機車、普通車輛、大型車輛、行人、電線桿等其他立體物而擷取，使用於自動迴避障礙物。例如，微電腦12051可將車輛12100周邊之障礙物識別為車輛12100之駕駛者可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，當碰撞風險為設定值以上且有碰撞可能性之狀況時，經由擴音器12061或顯示部12062對駕駛者輸出警報，或經由驅動系統控制單元12010進行強制減速或迴避轉向，藉此可進行用以避免碰撞之駕駛支援。
攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而辨識行人。該行人之辨識係藉由例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像中之特徵點之步驟、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之步驟而進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人，且辨識出行人，則聲音圖像輸出部12052以對該辨識出之行人重合顯示用以強調之方形輪廓線之方式控制顯示部12062。另，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。
以上，已針對可應用本揭示技術之車輛控制系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之攝像部12031等。藉由對攝像部12031等應用本揭示之技術，可將攝像部12031等小型化，故車輛12100之內裝、外裝之設計變得容易。又，藉由將本揭示之技術應用於攝像部12031等，而可取得減低雜訊之清晰圖像，故可對駕駛者提供更易觀察之攝影圖像。藉此，可減輕駕駛者之疲勞。
6.對內視鏡手術系統之應用例 本揭示之技術(本技術)可應用於各種製品。例如，本揭示之技術亦可應用於內視鏡手術系統。
圖20係顯示可應用本揭示之技術(本技術)之內視鏡手術系統之概略構成之一例之圖。
圖20中，圖示施術者(醫生)11131使用內視鏡手術系統11000，對病床11133上之患者11132進行手術之情況。如圖示，內視鏡手術系統11000包含內視鏡11100、氣腹管11111、能量處置器具11112等其他手術器具11110、支持內視鏡11100之支持臂裝置11120、及搭載有用於內視鏡下手術之各種裝置之台車11200而構成。
內視鏡11100由將自末端起規定長度之區域插入患者11132之體腔內之鏡筒11101、及連接於鏡筒11101之基端之相機頭11102構成。圖示例中，圖示作為具有硬性鏡筒11101之所謂硬性鏡構成之內視鏡11100，但內視鏡11100亦可作為具有軟性鏡筒之所謂軟性鏡構成。
於鏡筒11101之末端，設有嵌入有物鏡之開口部。於內視鏡11100連接有光源裝置11203，由該光源裝置11203產生之光藉由延設於鏡筒11101內部之光導而被導光至該鏡筒之末端，經由物鏡朝患者11132之體腔內之觀察對象照射。另，內視鏡11100可為直視鏡，亦可為斜視鏡或側視鏡。
於相機頭11102之內部設有光學系統及攝像元件，來自觀察對象之反射光(觀察光)藉由該光學系統而聚光於該攝像元件。藉由該攝像元件將觀察光予以光電轉換，產生對應於觀察光之電信號、即對應於觀察像之圖像信號。將該圖像信號作為RAW資料發送至相機控制器單元(CCU：Camera Control Unit)11201。
CCU11201由CPU(Central Processing Unit：中央處理單元)或GPU(Graphics Processing Unit：圖形處理單元)等構成，統籌控制內視鏡11100及顯示裝置11202之動作。再者，CCU11201自相機頭11102接收圖像信號，對該圖像信號實施例如顯像處理(解馬賽克處理)等之用以顯示基於該圖像信號的圖像之各種圖像處理。
顯示裝置11202根據來自CCU11201之控制，顯示基於由該CCU11201實施圖像處理後之圖像信號的圖像。
光源裝置11203例如由LED(Light Emitting Diode：發光二極體)等光源構成，將拍攝手術部等時之照射光供給至內視鏡11100。
輸入裝置11204為對於內視鏡手術系統11000之輸入介面。使用者可經由輸入裝置11204，對內視鏡手術系統11000進行各種資訊之輸入或指示輸入。例如，使用者輸入變更內視鏡11100之攝像條件(照射光之種類、倍率及焦點距離等)之主旨的指示等。
處置器具控制裝置11205控制用以燒灼組織、切開或封閉血管等之能量處置器具11112之驅動。氣腹裝置11206基於確保內視鏡11100之視野及確保施術者之作業空間之目的，為了使患者11132之體腔鼓起，而經由氣腹管11111對該體腔內送入氣體。記錄器11207係可記錄手術相關之各種資訊之裝置。印表機11208係能以文字、圖像或圖表等各種形式列印手術相關之各種資訊之裝置。
另，對以內視鏡11100拍攝手術部時供給照射光之光源裝置11203，可由例如由LED、雷射光源或該等之組合而構成之白色光源構成。藉由RGB雷射光源之組合構成白色光源之情形時，由於可高精度地控制各色(各波長)之輸出強度及輸出時序，故於光源裝置11203中可進行攝像圖像之白平衡之調整。又，該情形時，分時對觀察對象照射來自RGB雷射光源各者之雷射光，與該照射時序同步控制相機頭11102之攝像元件之驅動，藉此亦可分時拍攝與RGB各者對應之圖像。根據該方法，即使不於該攝像元件設置彩色濾光片，亦可獲得彩色圖像。
又，亦可對光源裝置11203，以每規定時間變更輸出之光的強度之方式控制其驅動。藉由與其光之強度之變更時序同步控制相機頭11102之攝像元件之驅動而分時取得圖像，且合成該圖像，而可產生無所謂欠曝及過曝之高動態範圍之圖像。
又，光源裝置11203亦可構成為可供給因應特殊光觀察之規定波長頻帶之光。特殊光觀察中，例如利用人體組織中光吸收之波長依存性，照射與一般觀察時之照射光(即白色光)相比較窄頻帶之光，藉此進行以高對比度拍攝黏膜表層之血管等規定組織之所謂窄頻帶光影像觀察(Narrow Band Imaging)。或者，於特殊光觀察中，亦可進行藉由因照射激發光產生之螢光而獲得圖像之螢光觀察。螢光觀察中，可對人體組織照射激發光，觀察來自該人體組織之螢光(自螢光觀察)，或將靛青綠(ICG)等試劑局部注入人體組織，且對該人體組織照射對應於該試劑之螢光波長之激發光而獲得螢光像等。光源裝置11203可構成為可供給因應此種特殊光觀察之窄頻帶光及/或激發光。
圖21係顯示圖20所示之相機頭11102及CCU11201之功能構成之一例之方塊圖。
相機頭11102具有透鏡單元11401、攝像部11402、驅動部11403、通信部11404、及相機頭控制部11405。CCU11201具有通信部11411、圖像處理部11412、及控制部11413。相機頭11102與CCU11201可藉由傳輸纜線11400而互相可通信地連接。
透鏡單元11401係設置於與鏡筒11101之連接部之光學系統。自鏡筒11101之末端提取之觀察光被導光至相機頭11102，入射至該透鏡單元11401。透鏡單元11401係組合包含變焦透鏡及聚焦透鏡之複數個透鏡而構成。
構成攝像部11402之攝像元件可為1個(所謂單板式)，亦可為複數個(所謂多板式)。攝像部11402以多板式構成之情形時，亦可為例如藉由各攝像元件產生與RGB各者對應之圖像信號，藉由合成該等而獲得彩色圖像。或者，攝像部11402亦可構成為具有用以分別取得對應於3D (dimensional)顯示之右眼用及左眼用圖像信號之1對攝像元件。藉由進行3D顯示，施術者11131可更正確地掌握手術部之生物組織之深度。另，攝像部11402以多板式構成之情形時，亦可對應於各攝像元件而設置複數個透鏡單元11401。
又，攝像部11402未必設置於相機頭11102。例如，攝像部11402亦可於鏡筒11101之內部設置於物鏡之正後方。
驅動部11403由致動器構成，根據來自相機頭控制部11405之控制，使透鏡單元11401之變焦透鏡及聚焦透鏡沿光軸僅移動規定距離。藉此，可適當調整由攝像部11402拍攝之攝像圖像之倍率及焦點。
通信部11404由在與CCU11201之間用以收發各種資訊之通信裝置而構成。通信部11404將自攝像部11402所得之圖像信號作為RAW資料，經由傳輸纜線11400發送至CCU11201。
又，通信部11404自CCU11201接收用以控制相機頭11102之驅動之控制信號，且供給至相機頭控制部11405。該控制信號中包含例如指定攝像圖像之訊框率之主旨之資訊、指定攝像時之曝光值之主旨之資訊、及/或指定攝像圖像之倍率及焦點之主旨之資訊等之攝像條件相關之資訊。
另，上述訊框率、曝光值、倍率、焦點等之攝像條件可由使用者適當指定，亦可基於取得之圖像信號由CCU11201之控制部11413自動設定。如為後者，於內視鏡11100中搭載有所謂AE(Auto Exposure：自動曝光)功能、AF(Auto Focus：自動聚焦)功能及AWB(Auto White Balance：自動白平衡)功能。
相機頭控制部11405基於經由通信部11404接收到之來自CCU11201之控制信號，控制相機頭11102之驅動。
通信部11411由在與相機頭11102之間用以收發各種資訊之通信裝置而構成。通信部11411自相機頭11102接收經由傳輸纜線11400發送之圖像信號。
又，通信部11411對相機頭11102發送用以控制相機頭11102之驅動之控制信號。圖像信號或控制信號可藉由電性通信或光通信等發送。
圖像處理部11412對自相機頭11102發送之RAW資料即圖像信號實施各種圖像處理。
控制部11413進行藉由內視鏡11100對手術部等之拍攝、及將藉由拍攝手術部等而得之攝像圖像加以顯示相關之各種控制。例如，控制部11413產生用以控制相機頭11102之驅動之控制信號。
又，控制部11413基於由圖像處理部11412實施圖像處理後之圖像信號，使顯示裝置11202顯示映現出手術部等之攝像圖像。此時，控制部11413亦可使用各種圖像辨識技術，辨識攝像圖像內之各種物體。例如，控制部11413藉由檢測攝像圖像中所含之物體之邊緣形狀、顏色等，而可辨識鉗子等手術器具、特定之生物體部位、出血、使用能量處置器具11112時之霧氣等。控制部11413使攝像圖像顯示於顯示裝置11202時，亦可使用該辨識結果，使各種手術支援資訊與該手術部之圖像重合顯示。藉由重合顯示手術支援資訊，且對施術者11131提示，可減輕施術者11131之負擔，施術者11131可確實進行手術。
連接相機頭11102及CCU11201之傳輸纜線11400係因應電信號通信之電信號纜線、因應光通信之光纖、或該等之複合纜線。
此處，圖示例中，使用傳輸纜線11400以有線進行通信，但亦可以無線進行相機頭11102與CCU11201之間的通信。
以上，針對可應用本揭示之技術之內視鏡手術系統之一例進行了說明。本揭示之技術可應用於以上說明之構成中之例如相機頭11102之攝像部11402等。藉由對相機頭11102應用本揭示之技術，可將相機頭11102等小型化，故可將內視鏡手術系統11000精巧化。又，藉由將本揭示之技術應用於相機頭11102等，可取得減低雜訊之清晰圖像，故可對施術者提供更易觀察之攝影圖像。藉此，可減輕施術者之疲勞。
另，此處，以內視鏡手術系統作為一例進行了說明，但本揭示之技術除此以外亦可應用於例如顯微鏡手術系統等。
7.對WSI(Whole Slide Imaging，全切片影像)系統之應用例 本揭示之技術可應用於各種製品。例如，本揭示之技術亦可應用於醫生等觀察自患者採取之細胞、組織而診斷病變之病理診斷系統及其支援系統等(以下，稱為診斷支援系統)。該診斷支援系統亦可為基於利用數位病理技術取得之圖像而診斷病變或進行其支援之WSI(Whole Slide Imaging)系統。
圖22係顯示應用本揭示之技術之診斷支援系統5500之概略構成之一例之圖。如圖22所示，診斷支援系統5500包含1個以上之病理系統5510。再者，亦可包含醫療資訊系統5530、及導出裝置5540。
1個以上之病理系統5510各自為主要供病理學醫生所使用之系統，導入例如研究所或醫院。各病理系統5510亦可導入互不相同之醫院，各自經由WAN(Wide Area Network，廣域網路)(包含網際網路)、LAN(Local Area Network，區域網路)、公用網路或行動通信網等各種網路而連接於醫療資訊系統5530及導出裝置5540。
各病理系統5510包含顯微鏡5511、伺服器5512、顯示控制裝置5513、及顯示裝置5514。
顯微鏡5511具有光學顯微鏡之功能，拍攝盛放於載玻片之觀察對象物，取得數位圖像即病理圖像。所謂觀察對象物，例如為自患者採取之組織或細胞，亦可為臟器之肉片、唾液、血液等。
伺服器5512將藉由顯微鏡5511取得之病理圖像記憶並儲存於未圖示之記憶部。又，伺服器5512自顯示控制裝置5513受理閱覽要求之情形時，自未圖示之記憶部檢索病理圖像，將檢索到之病理圖像送往顯示控制裝置5513。
顯示控制裝置5513將自使用者受理之病理圖像之閱覽要求送往伺服器5512。並且，顯示控制裝置5513使自伺服器5512受理之病理圖像顯示於使用液晶、EL(Electro‐Luminescence，電致發光)、CRT(Cathode Ray Tube，陰極射線管)等之顯示裝置5514。另，顯示裝置5514可因應4K或8K，又，不限於1台，亦可為複數台。
此處，觀察對象物為臟器之肉片等固形物之情形時，該觀察對象物亦可為例如經染色之薄切片。薄切片亦可藉由例如將自臟器等檢體切出之塊片薄切而製作。又，於薄切時，亦可將塊片以石蠟等固定。
薄切片之染色可應用HE(Hematoxylin-Eosin，蘇木精-曙紅)染色等顯示組織形態之一般染色，或IHC(Immunohistochemistry，免疫組織化學)染色等顯示組織之免疫狀態之免疫染色等各種染色。此時，可將1片薄切片使用複數種不同試劑予以染色，亦可將自相同塊片連續切出之2片以上薄切片(亦稱為鄰接之薄切片)使用互不相同之試劑予以染色。
顯微鏡5511可包含用於以低解析度進行拍攝之低解析度攝像部、及用於以高解析度進行拍攝之高解析度攝像部。低解析度攝像部及高解析度攝像部可為不同之光學系統，亦可為同一光學系統。如為同一光學系統，顯微鏡5511可根據攝像對象而變更解析度。
收容有觀察對象物之載玻片載置於位於顯微鏡5511之視角內之載物台上。顯微鏡5511首先使用低解析度攝像部取得視角內之整體圖像，自取得之整體圖像特定出觀察對象物之區域。接著，顯微鏡5511將觀察對象物所存在之區域分割成規定尺寸之複數個分割區域，藉由高解析度攝像部依序拍攝各分割區域，從而取得各分割區域之高解析度圖像。如要切換作為對象之分割區域，亦可使載物台移動，又可使攝像光學系統移動，亦可使該等兩者移動。又，為防止因載玻片無意間滑動而產生之攝像遺漏區域等，各分割區域亦可在與鄰接之分割區域間重疊。再者，整體圖像中亦可包含用以將整體圖像與患者預先建立對應之識別資訊。該識別資訊可為例如字串或QR碼(註冊商標)等。
將顯微鏡5511所取得之高解析度圖像輸入至伺服器5512。伺服器5512將各高解析度圖像分割成更小尺寸之部分圖像(以下，稱為分塊圖像)。例如，伺服器5512將1個高解析度圖像分割成縱橫10×10個共計100個分塊圖像。此時，若鄰接之分割區域重疊，則伺服器5512亦可使用模板匹配等技法對彼此相鄰之高解析度圖像實施拼接處理。該情形時，伺服器5512可將藉由拼接處理而貼合之高解析度圖像整體分割，而產生分塊圖像。惟自高解析度圖像產生分塊圖像，亦可於上述拼接處理之前進行。
又，伺服器5512可藉由進而分割分塊圖像，而產生更小尺寸之分塊圖像。此種分塊圖像之產生可重複直到產生作為最小單位而設定之尺寸之分塊圖像為止。
若如此產生最小單位之分塊圖像，則伺服器5512對所有的分塊圖像執行藉由合成相鄰之規定數之分塊圖像而產生1個分塊圖像之分塊合成處理。該分塊合成處理可重複直到最終產生1個分塊圖像為止。藉由此種處理，而產生以1個以上分塊圖像構成各階層之金字塔構造之分塊圖像。該金字塔構造中，某層之分塊圖像與不同於該層之層之分塊圖像之像素數相同，但其解析度不同。例如，合成2×2個共計4個分塊圖像而產生上層之1個分塊圖像之情形時，上層之分塊圖像之解析度為使用於合成之下層之分塊圖像之解析度之1/2倍。
藉由建構此種金字塔構造之分塊圖像群，而可根據顯示對象之分塊圖像所屬之階層，切換顯示於顯示裝置之觀察對象物之詳細度。例如使用最下層之分塊圖像之情形時，可詳細顯示觀察對象物之狹窄區域，愈使用上層之分塊圖像，則愈粗略地顯示觀察對象物之廣泛區域。
將產生之金字塔構造之分塊圖像群與可唯一識別各分塊圖像之識別資訊(稱為分塊識別資訊)一起記憶於未圖示之記憶部。伺服器5512自其他裝置(例如，顯示控制裝置5513或導出裝置5540)受理包含分塊識別資訊之分塊圖像之取得要求之情形時，將對應於分塊識別資訊之分塊圖像向其他裝置發送。
另，病理圖像即分塊圖像亦可按焦距或染色條件等各個拍攝條件而產生。按各個拍攝條件產生分塊圖像之情形時，與特定出之病理圖像一起並排顯示對應於與特定之攝像條件不同攝像條件、且與特定出之病理圖像為同一區域之其他病理圖像。特定之攝像條件亦可由閱覽者指定。又，若閱覽者指定複數個攝像條件，亦可並排顯示與各攝像條件對應之同一區域之病理圖像。
又，伺服器5512亦可將金字塔構造之分塊圖像群記憶於伺服器5512以外之其他記憶裝置，例如雲端伺服器等。再者，如上之分塊圖像之產生處理之一部分或全部亦可以雲端伺服器等執行。
顯示控制裝置5513根據來自使用者之輸入操作，自金字塔構造之分塊圖像群擷取期望之分塊圖像，將其輸出至顯示裝置5514。藉由此種處理，使用者可獲得如一面改變觀察倍率，一面觀察觀察對象物之感覺。即，顯示控制裝置5513作為虛擬顯微鏡發揮功能。此處之虛擬觀察倍率實際上相當於解析度。
另，高解析度圖像之攝像方法可使用任何方法。可一面重複載物台之停止、移動，一面拍攝分割區域，而取得高解析度圖像，亦可一面以規定之速度移動載物台，一面拍攝分割區域，而取得帶狀區域之高解析度圖像。又，自高解析度圖像產生分塊圖像之處理並非為必須構成，亦可藉由使藉由拼接處理而貼合之高解析度圖像整體之解析度階段性變化，而產生解析度階段性變化之圖像。該情形時，亦可階段性地對使用者提示自廣泛區域之低解析度圖像至狹窄區域之高解析度圖像。
醫療資訊系統5530係所謂的電子病歷系統，記憶識別患者之資訊、患者之疾病資訊、使用於診斷之檢查資訊或圖像資訊、診斷結果、處方藥等診斷相關之資訊。例如，可將藉由拍攝某患者之觀察對象物所得之病理圖像暫時經由伺服器5512儲存後，藉由顯示控制裝置5513顯示於顯示裝置5514。利用病理系統5510之病理學醫生基於顯示於顯示裝置5514之病理圖像進行病理診斷。將藉由病理學醫生進行之病理診斷結果記憶於醫療資訊系統5530。
導出裝置5540可執行對於病理圖像之解析。該解析可使用藉由機械學習而建立之學習模型。導出裝置5540亦可導出特定區域之分類結果或組織之識別結果等，作為該解析結果。再者，導出裝置5540亦可導出細胞資訊、數量、位置、亮度資訊等識別結果，或對於該等之評分資訊等。藉由導出裝置5540導出之該等資訊亦可作為診斷支援資訊，顯示於病理系統5510之顯示裝置5514。
另，導出裝置5540亦可為以1台以上的伺服器(包含雲端伺服器)等構成之伺服器系統。又，導出裝置5540亦可為組入於病理系統5510內之例如顯示控制裝置5513或伺服器5512之構成。即，對於病理圖像之各種解析亦可於病理系統5510內執行。
本揭示之技術可較佳應用於以上說明之構成中之例如顯微鏡5511。具體而言，可將本揭示之技術應用於顯微鏡5511之低解析度攝像部及/或高解析度攝像部。藉由將本揭示之技術應用於低解析度攝像部及/或高解析度攝像部，可實現低解析度攝像部及/或高解析度攝像部之小型化，乃至顯微鏡5511之小型化。藉此，顯微鏡5511之搬運變得容易，故可將系統導入或系統轉換等容易化。再者，藉由將本揭示之技術應用於低解析度攝像部及/或高解析度攝像部，可於顯微鏡5511內即時執行自病理圖像之取得至病理圖像之解析之處理之一部分或全部，故亦可進行更迅速且準確之診斷支援資訊之輸出。
另，以上說明之構成不限於診斷支援系統，亦可應用於共聚焦顯微鏡、螢光顯微鏡、視頻顯微鏡等生物顯微鏡全體。此處，觀察對象物亦可為培養細胞或受精卵、精子等生物試料、細胞片、三維細胞組織等生物材料、斑馬魚或老鼠等生物。又，觀察對象物不限於以載玻片，亦可在收納於孔板或培養皿之狀態下進行觀察。
再者，亦可自利用顯微鏡取得之觀察對象物之靜止圖像產生動態圖像。例如，可自規定期間連續拍攝之靜止圖像產生動態圖像，亦可自空開規定間隔而拍攝之靜止圖像產生圖像序列。如此，藉由自靜止圖像產生動態圖像，可使用機械學習而解析癌細胞或神經細胞、心肌組織、精子等之跳動或伸長、游離等移動、或培養細胞、受精卵之分裂過程等。
以上，已針對本揭示之實施形態進行說明，但本揭示之技術範圍並非限定於上述各實施形態，可於不脫離本揭示之要旨之範圍內進行各種變化。又，亦可適當組合不同實施形態及變化例之構成要素。
又，本說明書所記載之各實施形態之效果僅為例示而非限定者，亦可有其他效果。
再者，上述各實施形態可分別單獨使用，亦可與其他實施形態組合使用。
另，本技術亦可採取如下之構成。 (1) 一種積層型受光感測器，其包含： 第1基板；及 第2基板，其與上述第1基板貼合，且 上述第1基板包含像素陣列部，其將複數個單位像素排列成2維矩陣狀， 上述第2基板包含： 轉換器，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及 處理部，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理， 上述轉換器之至少一部分配置於上述第2基板之第1邊側， 上述處理部配置於上述第2基板之與上述第1邊相反之第2邊側。 (2) 如上述(1)之積層型受光感測器，其中上述神經網路計算模型係基於將相當於上述像素陣列部之輸出之輸入信號、及與對於該輸入信號之標籤建立關聯之學習資料輸入至規定之機械學習模型而產生之參數而加以設計。 (3) 如上述(2)之積層型受光感測器，其中上述規定之機械學習模型係多層神經網路模型。 (4) 如上述(1)至(3)中任一項之積層型受光感測器，其中基於上述圖像資料之資料係藉由縮減自上述圖像陣列部讀出之上述圖像資料或該圖像資料之像素而縮小資料尺寸之圖像資料。 (5) 如上述(1)至(4)中任一項之積層型受光感測器，其中上述第1基板於在該第1基板與上述第2基板經貼合之狀態下與上述第2基板之上述第1邊對應之第3邊側，具備將上述像素陣列部及上述轉換器電性連接之連接配線。 (6) 如上述(5)之積層型受光感測器，其中上述連接配線係貫通上述第1基板之TSV(Through Silicon Via，矽穿孔)。 (7) 如上述(5)之積層型受光感測器，其中上述第2基板於上述第1邊側具有與上述轉換器電性連接之連接配線， 上述第1基板之上述連接配線與上述第2基板之上述連接配線藉由金屬接合而直接接合。 (8) 如上述(1)至(7)中任一項之積層型受光感測器，其中 上述第2基板進而具備信號處理部，其將上述圖像資料進行信號處理， 上述信號處理部於上述第2基板中，配置於上述轉換器與上述處理部之間。 (9) 如上述(1)至(8)中任一項之積層型受光感測器，其中 上述第2基板進而具備記憶資料之記憶體， 上述記憶體於上述第2基板中，配置於與上述處理部鄰接之區域。 (10) 如上述(9)之積層型受光感測器，其中上述記憶體配置於至少於2個方向上與上述處理部鄰接之區域。 (11) 如上述(9)之積層型受光感測器，其中上述記憶體配置於自2個方向相夾上述處理部之區域。 (12) 如上述(9)之積層型受光感測器，其中上述處理部於上述第2基板上分割成2個區域而配置， 上述記憶體配置於夾在上述經分割之處理部之間之區域。 (13) 如上述(9)之積層型受光感測器，其中上述記憶體記憶上述處理部用以執行上述處理之程式。 (14) 如上述(1)至(13)中任一項之積層型受光感測器，其中上述第2基板進而具備控制部，其控制上述像素信號自上述像素陣列部之讀出， 上述控制部於上述第2基板上，配置於上述轉換器與上述處理部之間。 (15) 如上述(1)至(14)中任一項之積層型受光感測器，其中上述第1基板之與上述第2基板貼合之面之尺寸，與上述第2基板之與上述第1基板貼合之面之尺寸實質上相同。 (16) 如上述(1)至(14)中任一項之積層型受光感測器，其中上述第1基板之與上述第2基板貼合之面之尺寸，小於上述第2基板之與上述第1基板貼合之面之尺寸。 (17) 如上述(1)至(16)中任一項之積層型受光感測器，其中上述第1基板及上述第2基板係以CoC(Chip on Chip，層疊式晶片堆疊)方式、CoW(Chip on Wafer，層疊式晶片晶圓堆疊)及WoW(Wafer on Wafer，層疊式晶圓堆疊)方式之任一者貼合。 (18) 如上述(5)至(7)中任一項之積層型受光感測器，其中上述第1基板具備接近與上述第3邊不同邊之至少一者之焊墊。 (19) 如上述(18)之積層型受光感測器，其中上述焊墊包含：第1電源焊墊，其被施加向上述轉換器供給之電源電壓；及第2電源焊墊，其被施加向上述處理部供給之電源電壓， 上述第1電源焊墊配置於較上述第2電源焊墊更靠近上述轉換器之位置， 上述第2電源焊墊配置於較上述第1電源焊墊更靠近上述處理部之位置。 (20) 一種電子機器，其包含：積層型受光感測器，該積層型受光感測器包含第1基板、及與上述第1基板貼合之第2基板；上述第1基板包含將複數個單位像素排列成2維矩陣狀之像素陣列部；上述第2基板包含：轉換器，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及處理部，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理；上述轉換器之至少一部分配置於上述第2基板之第1邊側，上述處理部配置於上述第2基板之與上述第1邊相反之第2邊側；及 處理器，其對自上述積層型受光感測器輸出之圖像資料執行規定之處理。 (21) 一種積層型受光感測器，其包含： 第1基板；及 第2基板，其與上述第1基板貼合，且 上述第1基板包含像素陣列部，其將複數個單位像素排列成2維矩陣狀， 上述第2基板包含： 轉換器，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及 處理部，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理， 上述第2基板於上述第1基板與上述第2基板之積層方向上，以於該第2基板上配置有上述處理部之區域之一半以上不與上述第1基板上配置有上述像素陣列部之區域重合之方式，與上述第1基板貼合。
1:攝像裝置 10:影像感測器 11:攝像部 12:控制部 13:信號處理部 14、14A、14B、14C、14D、DSP:機械學習部 14a:連接部 15、15A、15B、15C、15D、15E、15F:記憶體 16:選擇器 17、17A:ADC 17B:DAC 20:應用程式處理器 30:雲端伺服器 40:網路 100、200、300:第1基板 101:像素陣列部 101a:單位像素 102:TSV陣列 103:焊墊陣列 104:光學系統 120、320:第2基板 122:配線 123:焊墊陣列 5510:病理系統 5511:顯微鏡 5512:伺服器 5513:顯示控制裝置 5514:顯示裝置 5530:醫療資訊系統 5540:導出裝置 11000:內視鏡手術系統 11100:內視鏡 11101:鏡筒 11102:相機頭 11110:手術器具 11111:氣腹管 11112:能量處置器具 11120:支持臂裝置 11131:施術者 11132:患者 11133:病床 11200:台車 11201:CCU 11202:顯示裝置 11203:光源裝置 11204:輸入裝置 11205:處置器具控制裝置 11206:氣腹裝置 11207:記錄器 11208:印表機 11400:傳輸纜線 11401:透鏡單元 11402:攝像部 11403:驅動部 11404:通信部 11405:相機頭控制部 11411:通信部 11412:圖像處理部 11413:控制部 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:擴音器 12062:顯示部 12063:儀錶板 12100:車輛 12101～12105:攝像部 12111～12114:攝像範圍 L101～L104:邊 L321、L322:端 O100:第1基板之中心 O101:像素陣列部之中心
圖1係顯示作為第1實施形態之電子機器之攝像裝置之概略構成例之方塊圖。 圖2係顯示第1實施形態之影像感測器之晶片構成例之模式圖。 圖3係顯示第1實施形態之第1佈局例之第1基板之佈局例之圖。 圖4係顯示第1實施形態之第1佈局例之第2基板之佈局例之圖。 圖5係顯示第1實施形態之第2佈局例之第2基板之佈局例之圖。 圖6係顯示第1實施形態之第3佈局例之第2基板之佈局例之圖。 圖7係顯示第1實施形態之第4佈局例之第2基板之佈局例之圖。 圖8係顯示第1實施形態之第5佈局例之第2基板之佈局例之圖。 圖9係顯示第1實施形態之第6佈局例之第2基板之佈局例之圖。 圖10係顯示第1實施形態之第7佈局例之第2基板之佈局例之圖。 圖11係顯示第1實施形態之第8佈局例之第2基板之佈局例之圖。 圖12係顯示第1實施形態之第9佈局例之第2基板之佈局例之圖。 圖13係顯示第2實施形態之影像感測器之第1基板之概略構成例之佈局圖。 圖14係顯示第2實施形態之影像感測器之晶片構成例之模式圖。 圖15係顯示第3實施形態之影像感測器之第1基板之概略構成例之佈局圖。 圖16係顯示第3實施形態之影像感測器之第2基板之概略構成例之佈局圖。 圖17係顯示第3實施形態之影像感測器之晶片構成例之模式圖。 圖18係顯示車輛控制系統之概略構成之一例之方塊圖。 圖19係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。 圖20係顯示內視鏡手術系統之概略構成之一例之圖。 圖21係顯示相機頭及CCU之功能構成之一例之方塊圖。 圖22係顯示診斷支援系統之概略構成之一例之方塊圖。
11:攝像部
100:第1基板
101:像素陣列部
101a:單位像素
102:TSV陣列
103:焊墊陣列
L101~L104:邊
O100:第1基板之中心
O101:像素陣列部之中心

Claims (21)

  1. 一種積層型受光感測器，其包含： 第1基板；及 第2基板，其與上述第1基板貼合，且 上述第1基板包含像素陣列部，其將複數個單位像素排列成2維矩陣狀， 上述第2基板包含： 轉換器，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及 處理部，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理， 上述轉換器之至少一部分配置於上述第2基板之第1邊側， 上述處理部配置於上述第2基板之與上述第1邊相反之第2邊側。
  2. 如請求項1之積層型受光感測器，其中上述神經網路計算模型係基於將相當於上述像素陣列部之輸出之輸入信號、及與對於該輸入信號之標籤建立關聯之學習資料輸入至規定之機械學習模型而產生之參數而加以設計。
  3. 如請求項2之積層型受光感測器，其中上述規定之機械學習模型係多層神經網路模型。
  4. 如請求項1之積層型受光感測器，其中基於上述圖像資料之資料係藉由縮減自上述圖像陣列部讀出之上述圖像資料或該圖像資料之像素而縮小資料尺寸之圖像資料。
  5. 如請求項1之積層型受光感測器，其中上述第1基板於在該第1基板與上述第2基板經貼合之狀態下與上述第2基板之上述第1邊對應之第3邊側，具備將上述像素陣列部及上述轉換器電性連接之連接配線。
  6. 如請求項5之積層型受光感測器，其中上述連接配線係貫通上述第1基板之TSV(Through Silicon Via，矽穿孔)。
  7. 如請求項5之積層型受光感測器，其中上述第2基板於上述第1邊側具有與上述轉換器電性連接之連接配線， 上述第1基板之上述連接配線與上述第2基板之上述連接配線藉由金屬接合而直接接合。
  8. 如請求項1之積層型受光感測器，其中 上述第2基板進而具備信號處理部，其將上述圖像資料進行信號處理， 上述信號處理部於上述第2基板中，配置於上述轉換器與上述處理部之間。
  9. 如請求項1之積層型受光感測器，其中 上述第2基板進而具備記憶資料之記憶體， 上述記憶體於上述第2基板中，配置於與上述處理部鄰接之區域。
  10. 如請求項9之積層型受光感測器，其中上述記憶體配置於至少於2個方向上與上述處理部鄰接之區域。
  11. 如請求項9之積層型受光感測器，其中上述記憶體配置於自2個方向相夾上述處理部之區域。
  12. 如請求項9之積層型受光感測器，其中上述處理部於上述第2基板上分割成2個區域而配置， 上述記憶體配置於夾在上述經分割之處理部之間之區域。
  13. 如請求項9之積層型受光感測器，其中上述記憶體記憶上述處理部用以執行上述處理之程式。
  14. 如請求項1之積層型受光感測器，其中上述第2基板進而具備控制部，其控制上述像素信號自上述像素陣列部之讀出， 上述控制部於上述第2基板上，配置於上述轉換器與上述處理部之間。
  15. 如請求項1之積層型受光感測器，其中上述第1基板之與上述第2基板貼合之面之尺寸，與上述第2基板之與上述第1基板貼合之面之尺寸實質上相同。
  16. 如請求項1之積層型受光感測器，其中上述第1基板之與上述第2基板貼合之面之尺寸，小於上述第2基板之與上述第1基板貼合之面之尺寸。
  17. 如請求項1之積層型受光感測器，其中上述第1基板及上述第2基板以CoC(Chip on Chip，層疊式晶片堆疊)方式、CoW(Chip on Wafer，層疊式晶片晶圓堆疊)及WoW(Wafer on Wafer，層疊式晶圓堆疊)方式中之任一者貼合。
  18. 如請求項5之積層型受光感測器，其中上述第1基板具備接近與上述第3邊不同邊之至少一者之焊墊。
  19. 如請求項18之積層型受光感測器，其中上述焊墊包含：第1電源焊墊，其被施加向上述轉換器供給之電源電壓；及第2電源焊墊，其被施加向上述處理部供給之電源電壓， 上述第1電源焊墊配置於較上述第2電源焊墊更靠近上述轉換器之位置， 上述第2電源焊墊配置於較上述第1電源焊墊更靠近上述處理部之位置。
  20. 一種電子機器，其包含： 積層型受光感測器，該積層型受光感測器包含第1基板、及與上述第1基板貼合之第2基板；上述第1基板包含將複數個單位像素排列成2維矩陣狀之像素陣列部；上述第2基板包含：轉換器，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及處理部，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理；上述轉換器之至少一部分配置於上述第2基板之第1邊側，上述處理部配置於上述第2基板之與上述第1邊相反之第2邊側；及 處理器，其對自上述積層型受光感測器輸出之圖像資料執行規定之處理。
  21. 一種積層型受光感測器，其包含： 第1基板；及 第2基板，其與上述第1基板貼合，且 上述第1基板包含像素陣列部，其將複數個單位像素排列成2維矩陣狀， 上述第2基板包含： 轉換器，其將自上述像素陣列部輸出之類比像素信號轉換成數位圖像資料；及 處理部，其對基於上述圖像資料之資料執行基於神經網路計算模型之處理， 上述第2基板於上述第1基板與上述第2基板之積層方向上，以於該第2基板上配置有上述處理部之區域之一半以上不與上述第1基板上配置有上述像素陣列部之區域重合之方式，與上述第1基板貼合。
TW108127298A 2018-07-31 2019-07-31 積層型受光感測器及電子機器 TWI846718B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-143973 2018-07-31
JP2018143973 2018-07-31

Publications (2)

Publication Number Publication Date
TW202021105A true TW202021105A (zh) 2020-06-01
TWI846718B TWI846718B (zh) 2024-07-01

Family

ID=69619053

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108127298A TWI846718B (zh) 2018-07-31 2019-07-31 積層型受光感測器及電子機器

Country Status (6)

Country Link
US (2) US11735614B2 (zh)
EP (2) EP3833007B1 (zh)
JP (2) JP6689437B2 (zh)
KR (2) KR20210029205A (zh)
CN (2) CN112470462B (zh)
TW (1) TWI846718B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022044465A (ja) * 2020-09-07 2022-03-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2022119374A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体
JP2022119377A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体、半導体基板
JP2022119379A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
JP2022119378A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、機器
EP4275585A4 (en) * 2021-02-12 2024-06-12 Sony Group Corporation OBSERVATION DEVICE FOR MEDICAL TREATMENT, OBSERVATION DEVICE, OBSERVATION METHOD AND ADAPTER
WO2022239495A1 (ja) * 2021-05-14 2022-11-17 ソニーグループ株式会社 生体組織観察システム、生体組織観察装置及び生体組織観察方法
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
WO2022254836A1 (ja) * 2021-06-03 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
US20240285157A1 (en) * 2021-06-30 2024-08-29 Sony Group Corporation Medical observation system, information processing apparatus, and information processing method
WO2023034665A1 (en) * 2021-09-02 2023-03-09 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
JPWO2023132002A1 (zh) * 2022-01-05 2023-07-13
WO2023181783A1 (ja) 2022-03-24 2023-09-28 ソニーグループ株式会社 センサ装置、センサ制御システム、制御方法
WO2023218936A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
JP5272773B2 (ja) * 2009-02-12 2013-08-28 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2011049710A2 (en) * 2009-10-23 2011-04-28 Rambus Inc. Stacked semiconductor device
JP5685898B2 (ja) * 2010-01-08 2015-03-18 ソニー株式会社 半導体装置、固体撮像装置、およびカメラシステム
CN103988490B (zh) * 2011-12-13 2018-05-22 索尼公司 图像处理装置、图像处理方法和记录介质
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
DE102013102819A1 (de) 2013-03-19 2014-09-25 Conti Temic Microelectronic Gmbh Kameramodul sowie Verfahren zur Herstellung
US20150296158A1 (en) 2014-04-10 2015-10-15 Forza Silicon Corporation Reconfigurable CMOS Image Sensor
TWI648986B (zh) * 2014-04-15 2019-01-21 日商新力股份有限公司 攝像元件、電子機器
JP2015227115A (ja) * 2014-05-30 2015-12-17 日本電産コパル株式会社 車載カメラ制御装置
US9621769B2 (en) 2014-06-11 2017-04-11 Magna Electronics Inc. Camera module for vehicle vision system
US9508681B2 (en) * 2014-12-22 2016-11-29 Google Inc. Stacked semiconductor chip RGBZ sensor
JP6295983B2 (ja) 2015-03-05 2018-03-20 ソニー株式会社 半導体装置およびその製造方法、並びに電子機器
JP2016195301A (ja) * 2015-03-31 2016-11-17 パナソニックＩｐマネジメント株式会社 画像処理装置、および、電子ミラーシステム
JP6453158B2 (ja) * 2015-05-25 2019-01-16 株式会社オプトエレクトロニクス 撮像装置及び光学的情報読取装置
JP2017118445A (ja) 2015-12-25 2017-06-29 日本電産エレシス株式会社 車載カメラ
JP2018007035A (ja) * 2016-07-01 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR102526559B1 (ko) * 2016-09-16 2023-04-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
JP2018051809A (ja) 2016-09-26 2018-04-05 セイコーエプソン株式会社 液体吐出装置、駆動回路および駆動方法
JP2018074445A (ja) 2016-10-31 2018-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
KR102707595B1 (ko) * 2016-12-01 2024-09-19 삼성전자주식회사 눈 검출 방법 및 장치
JP6832155B2 (ja) * 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
US10482801B2 (en) * 2017-03-22 2019-11-19 Solera Holdings, Inc. Start and stop methods for a vehicle smart mirror
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
TWI666941B (zh) * 2018-03-27 2019-07-21 緯創資通股份有限公司 多層次狀態偵測系統與方法

Also Published As

Publication number Publication date
EP3833007A4 (en) 2021-08-25
KR20210029202A (ko) 2021-03-15
US20210266488A1 (en) 2021-08-26
JP6689437B2 (ja) 2020-04-28
EP3833007A1 (en) 2021-06-09
US11735614B2 (en) 2023-08-22
CN112470461A (zh) 2021-03-09
KR20210029205A (ko) 2021-03-15
JP2020025264A (ja) 2020-02-13
EP3833006A4 (en) 2021-09-01
JP2020025263A (ja) 2020-02-13
US20210168318A1 (en) 2021-06-03
CN112470462B (zh) 2024-06-07
EP3833006A1 (en) 2021-06-09
TWI846718B (zh) 2024-07-01
CN112470461B (zh) 2024-09-06
JP6705044B2 (ja) 2020-06-03
CN112470462A (zh) 2021-03-09
EP3833007B1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
JP7414869B2 (ja) 固体撮像装置、電子機器及び固体撮像装置の制御方法
JP6705044B2 (ja) 積層型受光センサ及び車載撮像装置
TWI840429B (zh) 積層型受光感測器及電子機器
US11962916B2 (en) Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
WO2020027233A1 (ja) 撮像装置及び車両制御システム
WO2021075321A1 (ja) 撮像装置、電子機器及び撮像方法
US20240021646A1 (en) Stacked light-receiving sensor and in-vehicle imaging device
WO2020027161A1 (ja) 積層型受光センサ及び電子機器
US20240080546A1 (en) Imaging apparatus and electronic equipment
WO2021075292A1 (ja) 受光装置、電子機器及び受光方法
WO2020027074A1 (ja) 固体撮像装置および電子機器