TWI744796B - 攝像裝置、電子機器及攝像方法 - Google Patents

攝像裝置、電子機器及攝像方法 Download PDF

Info

Publication number
TWI744796B
TWI744796B TW109104378A TW109104378A TWI744796B TW I744796 B TWI744796 B TW I744796B TW 109104378 A TW109104378 A TW 109104378A TW 109104378 A TW109104378 A TW 109104378A TW I744796 B TWI744796 B TW I744796B
Authority
TW
Taiwan
Prior art keywords
dnn
unit
processing unit
control unit
temperature
Prior art date
Application number
TW109104378A
Other languages
English (en)
Other versions
TW202040987A (zh
Inventor
渡部剛史
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202040987A publication Critical patent/TW202040987A/zh
Application granted granted Critical
Publication of TWI744796B publication Critical patent/TWI744796B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種可抑制溫度上升之攝像裝置、電子機器及攝像方法。本揭示之攝像裝置(CIS2)具有攝像部(22)、資訊處理部(DNN處理部23)、溫度檢測部(25)、及控制部(CIS控制部21)。攝像部(CIS2)拍攝圖像而產生圖像資料。資訊處理部(DNN處理部23)對自攝像部(CIS2)讀取之圖像資料進行處理。溫度檢測部(25)檢測溫度。控制部(CIS控制部21)根據藉由溫度檢測部(25)檢測之溫度變更由資訊處理部(DNN處理部23)進行之處理。

Description

攝像裝置、電子機器及攝像方法
本揭示係關於攝像裝置、電子機器及攝像方法。
於以數位相機等為代表之電子機器，搭載有例如CMOS (Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)影像感測器等之攝像裝置。攝像裝置對經拍攝之圖像進行各種處理，並向例如應用程式處理器等外部裝置輸出。 [先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2018/051809號
[發明欲解決之問題]
然而，攝像裝置係若於攝像裝置之晶片內進行之處理量增大則晶片內之溫度上升，且起因於該溫度之上升導致於晶片內之類比電路產生雜訊。因此，期望可抑制溫度上升之攝像裝置及電子機器。
因此，於本揭示提案一種可抑制溫度上升之攝像裝置、電子機器及攝像方法。 [解決問題之技術手段]
本揭示之攝像裝置具有攝像部、資訊處理部、溫度檢測部、及控制部。攝像部拍攝圖像而產生圖像資料。資訊處理部對自上述攝像部讀取之圖像資料進行處理。溫度檢測部檢測溫度。控制部根據藉由上述溫度檢測部檢測之溫度變更由上述資訊處理部進行之處理。
以下，基於圖式對本揭示之實施形態進行詳細說明。另，於以下之各實施形態，對同一部位標註同一符號藉此省略重複之說明。
(1.第1實施形態) [1-1.第1實施形態之電子機器之構成] 圖1係顯示第1實施形態之電子機器之概略構成例之方塊圖。另，於圖1，以實線箭頭表示圖像資料之流程，以虛線箭頭表示控制資料之流程，以點線箭頭表示非圖像資料之流程。
圖1所示之電子機器1係例如數位相機或數位攝錄影機，除拍攝靜態圖像或動態圖像之功能以外，具備進行被攝體之推定、辨識、及判別等資訊處理之功能，並使用於各種用途。
例如，電子機器1使用於人物推定(臉孔、年齡、性別、誰等之推定)、商品推定(店鋪或倉庫之何種商品之推定)、人物之姿勢推定(動作捕捉)、人物之感情推定、及圖像語義分割(自動駕駛)等。
又，電子機器1亦使用於工廠等之不良品之檢測、GAN(Generative Adversarial Network：生成對抗網路)等之圖像加工、防盜(可疑者･遺棄檢測等)、醫療(疾病之發現)、農業(收穫時期判斷等)。
該電子機器1如圖1所示，具有CMOS(Complementary Metal Oxide Semiconductor)影像感測器(以下，記載為CIS2)、與應用程式處理器(以下，記載為AP3)。
CIS2係由1晶片構成，為拍攝圖像之攝像裝置之一例。另，本揭示之攝像裝置並非限定於CIS2者，亦可為例如CCD(Charge Coupled Device：電荷耦合元件)影像感測器等其他影像感測器。
又，AP3具備：AP控制部31，其係執行對應於電子機器1之用途之各種應用程式之CPU(Central　Processing　Unit：中央處理單元)等之處理器之一例；及通信I/F(Interface：介面)32，其進行與CIS2之資訊通信。
此處，一般之數位相機係藉由CIS拍攝圖像，將攝像圖像之圖像資料自CIS向AP輸出，並藉由AP對圖像資料進行上述各種資訊處理，藉此進行被攝體之推定、辨識及判別等。
惟，為了於AP側進行被攝體之推定、辨識及判別等之資訊處理，而需將資料量較多之圖像資料自CIS向AP輸出，有CIS之消耗電力增大之問題。
又，由於AP根據數位相機之用途，於與外部裝置之間進行資料之收發，故有圖像資料等個人資訊向數位相機之外部流出之虞，需保護安全與隱私。因此，期望數位相機於CIS內進行對象物之推定、辨識及判別等資訊處理，將資訊處理之處理結果向AP輸出，而非輸出圖像資料。
然而，CIS若進行被攝體之推定、辨識及判別等複雜之資訊處理則處理負荷增大且晶片內之溫度上升，起因於該溫度之上升導致於晶片內之類比電路產生雜訊。
因此，電子機器1具備藉由根據CIS2內之溫度變更令於CIS2之晶片內進行複雜之資訊處理之處理部進行之處理，藉此抑制CIS2之溫度上升之構成。進而，電子機器1具備根據於CIS2內之類比電路產生之雜訊變更由資訊處理部進行之處理，藉此抑制CIS2之溫度上升之構成。
具體而言，如圖1所示，CIS2具備CIS控制部21、攝像部22、DNN(Deep Neural Network：深度神經網路)處理部23、及通信I/F24。CIS控制部21包含具有CPU、ROM(Read Only Memory：唯讀記憶體)、及RAM(Random Access Memory：隨機存取記憶體)等之微電腦或各種電路。
CIS控制部21藉由CPU使用RAM作為作業區域執行記憶於ROM之程式來控制攝像部22及DNN處理部23之動作。另，CIS控制部21之一部分或全部亦可由ASIC(Application Specific Integrated Circuit：特殊應用積體電路)與FPGA(Field Programmable Gate Array：場域可程式化邏輯閘陣列)等之硬體構成。
攝像部22具備受光部221、讀取部222。受光部221具備例如：光學系統，其具備變焦透鏡、聚焦透鏡、及光圈等；及像素陣列部，其將包含光電二極體等受光元件之單位像素以2維矩陣狀排列。
受光部221藉由光學系統將自外部入射之光成像於像素陣列部之受光面。像素陣列部之各單位像素藉由將入射至受光元件之光進行光電轉換，而可讀取地蓄積對應於入射光之光量之電荷。
讀取部222具備：讀取電路，其讀取蓄積於各單位像素之電荷作為像素信號；及ADC(Analog　to　Digital　Converter：類比數位轉換器)，其藉由將由讀取電路讀取之類比之像素信號轉換為數位值，而產生數位之圖像資料。
讀取部222以1訊框之圖像單位向DNN處理部23輸出所產生之圖像資料。另，讀取部222亦可具備將圖像資料記憶於1訊框之每個圖像之記憶體，並向DNN處理部23輸出暫時記憶於記憶體之圖像資料。
DNN處理部23包含具有CPU、ROM、RAM等之微電腦或各種電路。DNN處理部23係藉由CPU使用RAM作為作業區域執行記憶於ROM之程式，而對圖像資料進行使用DNN之DNN處理之處理部。
DNN處理部23使用自AP3取得之DNN，自DNN最淺之階層向較深之階層依序執行使DNN之各階層之字典係數與圖像資料相乘之DNN處理，進行被攝體之推定、辨識及判別等之資訊處理。
且，DNN處理部23將包含被攝體之推定結果、辨識結果及判別結果等資訊處理結果之元資料之DNN資訊向通信I/F24輸出，並使之向AP3輸出，而非輸出圖像資料。
如此，DNN處理部23使包含資訊處理結果之元資料之DNN資訊向AP3輸出，而不向AP3輸出圖像資料。因此，CIS2可削減圖像資料之輸出所需之消耗電力，且不會使圖像資料所包含之個人資訊向晶片外漏出，故可適當地保護安全與隱私。
惟，DNN處理部23有為了進行龐大之運算處理而於DNN處理中發熱使CIS2內部之溫度上升之情形。於該情形時，於CIS2，藉由自DNN處理部23發出之熱，而於攝像部22之構成受光部221或讀取部222之類比電路產生雜訊。
因此，CIS控制部21根據溫度檢測部25及雜訊檢測部26之檢測結果，變更由DNN處理部23進行之處理藉此抑制溫度上升。
具體而言，溫度檢測部25檢測CIS2內部之溫度，將成為檢測結果之溫度資訊向CIS控制部21輸出。又，雜訊檢測部26檢測於攝像部22之類比電路產生之雜訊之量(雜訊量)，並將成為檢測結果之雜訊資訊向CIS控制部21輸出。
CIS控制部21於自溫度檢測部25輸入顯示超過正常溫度之異常溫度之溫度資訊之情形時，可藉由降低DNN處理部23之處理量或處理速度等而抑制溫度上升。
又，CIS控制部21於自雜訊檢測部26輸入顯示超過容許範圍(正常範圍)之異常雜訊量之雜訊資訊之情形時，可藉由降低DNN處理部23之處理量或處理速度等而抑制溫度上升。
其次，參照圖2～圖5，對該CIS控制部21進行之控制進行說明。CIS控制部21藉由進行以下說明之第1～第4控制，抑制CIS2之溫度資訊。圖2係第1實施形態之第1控制之說明圖。圖3係第1實施形態之第2控制之說明圖。
圖4係第1實施形態之第3控制之說明圖。圖5係第1實施形態之第4控制之說明圖。另，於圖2～圖5，自上起依序顯示各時刻之CIS2之溫度及於類比電路產生之雜訊之狀態、攝像部22之處理、DNN處理部23之處理、及AP3之處理。
[1-2.CIS控制部進行之第1控制] 於第1控制，CIS控制部21事先自AP3取得階層之深度不同之複數個DNN並使之記憶於DNN處理部23之RAM或ROM。CIS控制部21變更根據CIS2之溫度･雜訊之狀態自複數個DNN選擇並使用於DNN處理部23之DNN。
例如，CIS控制部21事先自AP3取得14階層之DNN、與8階層之DNN，並由DNN處理部23記憶。且，如圖2所示，CIS控制部21以特定之時間間隔T1，即一定之訊框率使攝像部22拍攝圖像，並使攝像圖像之圖像資料依序向DNN處理部23輸出。
DNN處理部23對自攝像部22依序輸入之圖像資料進行DNN處理並將DNN處理之結果即DNN資訊向AP3輸出。AP3使用自DNN處理部23依序輸入之DNN資訊，進行執行與電子機器1之用途對應之各種應用程式之AP處理。
CIS控制部21於該一連串之處理中，例如於時刻t1判定CIS2之溫度･雜訊正常，且無需限制由DNN處理部23進行之處理之情形時，使DNN處理部23使用14階層之DNN進行DNN處理。
之後，CIS控制部21於時刻t2判定CIS2之溫度･雜訊正常，且無需限制由DNN處理部23進行之處理之情形時，使DNN處理部23使用14階層之DNN進行DNN處理。
如此，CIS控制部21於CIS2之溫度･雜訊正常之期間，使DNN處理部23每次使用14階層之DNN進行DNN處理，藉此可使可靠性較高之DNN資訊向AP3輸出。
且，CIS控制部21於時刻t3判定CIS2之溫度･雜訊異常，需限制由DNN處理部23進行之處理情形時，使DNN處理部23使用較14階層更淺之8階層之DNN進行DNN處理。
藉此，DNN處理部23與使用14階層之DNN之情形相比減少6階層量之資訊處理量，故可相應地縮短動作時間，藉此可抑制溫度上升。
之後，CIS控制部21於時刻t4判定CIS2之溫度･雜訊恢復正常，無需限制由DNN處理部23進行之處理之情形時，將由DNN處理部23進行之DNN自8階層之DNN恢復至14階層之DNN並進行DNN處理。
如此，CIS控制部21僅限CIS2之溫度･雜訊異常之期間，使DNN處理部23使用階層數較正常之期間更少(更淺)之DNN進行DNN處理。藉此，CIS控制部21不會大幅損害DNN資訊向AP3輸出之可靠性，並可抑制CIS2之溫度上升。
另，CIS控制部21於AP3具備DNN處理部之情形時，使DNN處理部23僅使用1種DNN，並變更使DNN處理進行至DNN之所有階層中之哪階層之深度，可抑制CIS2之溫度上升。
例如，CIS控制部21於自AP3取得14階層之DNN並使之記憶於DNN處理部23之情形時，於CIS2之溫度･雜訊正常之期間，於DNN處理部23對DNN之14階層之所有階層進行DNN處理。且，DNN處理部23不向AP3輸出圖像資料，僅向AP3輸出DNN資訊。
又，CIS控制部21於CIS2之溫度･雜訊異常之期間，進行DNN處理至DNN之14階層中DNN處理部23之溫度不上升之中途深度之階層。
且，DNN處理部23與顯示DNN處理是進行至DNN之哪階層之DNN資訊配合，向AP3輸出處理中途之圖像資料。AP3對自DNN處理部23輸入之圖像資料，進行DNN中未處理部分之階層之DNN。
如此，CIS控制部21僅限CIS2之溫度･雜訊異常之期間，使DNN處理部23進行DNN處理至DNN之所有階層中之中途深度之階層，針對剩餘階層之DNN處理，由AP3進行。藉此，CIS控制部21可抑制CIS2之溫度上升。
又，CIS控制部21僅限CIS2之溫度･雜訊異常之期間，將圖像資料向AP3輸出，但於除此以外之大半期間，因不向PA3輸出圖像資料，故可保護一定程度之安全･隱私。
[1-3.CIS控制部進行之第2控制] 於第2控制，CIS控制部21於CIS2之溫度･雜訊異常之情形時，使DNN處理部23之動作時脈下降，藉此抑制CIS2之溫度上升。例如圖3所示，CIS控制部21於時刻t11判定CIS2之溫度･雜訊正常，無需限制由DNN處理部23進行之處理之情形時，於通常之動作時脈使DNN處理部23進行14階層之DNN處理。
之後，CIS控制部21於時刻t12判定CIS2之溫度･雜訊異常，需限制由DNN處理部23進行之處理之情形時，使DNN處理部23之動作時脈下降進行14階層之DNN處理。藉此，CIS控制部21可抑制DNN處理部23之溫度上升。
但，DNN處理部23係若動作時脈下降則發熱受抑制，但使1訊框之圖像資料進行DNN處理之時間延長。因此，CIS控制部21於使DNN處理部23之動作時脈下降之情形時，降低攝像部22之訊框率，將使圖像資料自攝像部22向DNN處理部23輸出之特定之時間間隔T1(以下，亦稱為1V期間)延長至T2。
藉此，CIS控制部21可對藉由攝像部22產生之所有訊框之圖像資料結束DNN處理部23之DNN處理。之後，CIS控制部21於時刻t13判定CIS2之溫度･雜訊恢復正常，無需限制由DNN處理部23進行之處理之情形時，將DNN處理部23之動作時脈恢復至通常之動作時脈，亦將1V期間恢復至特定之時間間隔T1。
如此，CIS控制部21僅限CIS2之溫度･雜訊異常之期間，使DNN處理部23之動作時脈低於通常之動作時脈，故不會大幅降低DNN處理部23之DNN處理之速度，並可抑制CIS2之溫度上升。
[1-4.CIS控制部進行之第3控制] 於第3控制，CIS控制部21於CIS2之溫度･雜訊異常之情形時，進行由DNN處理部23進行DNN處理之圖像資料之拉長間隔，可抑制CIS2之溫度上升。
例如圖4所示，CIS控制部21於時刻t21判定CIS2之溫度･雜訊異常，需限制由DNN處理部23進行之處理之情形時，使連續拍攝之2張圖像中之一圖像拉長間隔。且，CIS控制部21將連續拍攝之2張圖像中另一張圖像之圖像資料自攝像部22向DNN處理部23輸出。
藉此，CIS控制部21減少一半的DNN處理部23之動作時間，藉此可抑制CIS2之溫度上升。另，CIS控制部21可於連續3張圖像以上之每張圖像中將1張圖像拉長間隔，亦可將連續2張圖像以上之圖像拉長間隔。如此，CIS控制部21藉由進行由DNN處理部23進行DNN處理之圖像資料之拉長間隔，可抑制CIS2之溫度上升。
[1-5.CIS控制部進行之第4控制] 於第4控制，CIS控制部21於CIS2之溫度･雜訊異常之情形時，變更由DNN處理部23進行DNN處理之1訊框之圖像資料之資料量，藉此抑制CIS2之溫度上升。
例如如圖5所示，CIS控制部21於時刻t31判定CIS2之溫度･雜訊正常，無需限制由DNN處理部23進行之處理之情形時，由DNN處理部23對資料量為24位元之圖像資料進行DNN處理。
之後，CIS控制部21於時刻t32判定CIS2之溫度･雜訊異常，需限制由DNN處理部23進行之處理之情形時，由DNN處理部23對12位元之圖像資料進行DNN處理。
藉此，CIS控制部21於CIS2之溫度･雜訊異常之情形時，縮短DNN處理部23之DNN處理之處理時間，藉此可抑制CIS2之溫度上升。
CIS控制部21基於其次說明之關於CIS2之溫度･雜訊之區域映射圖、及與區域映射圖建立對應之調整資訊，並行進行上述第1～第4控制。
[1-6.區域映射圖及調整資訊] 圖6係第1實施形態之區域映射圖之說明圖。圖7係第1實施形態之調整資訊之說明圖。如圖6所示，區域映射圖係例如於縱軸規定CIS2之溫度，於橫軸規定CIS2之雜訊量之正交座標系內，設定第1～第4區域之資訊。
第1區域係於第1～第4區域中對應之溫度最低，對應之雜訊量最少之區域。第2區域係次於第1區域，對應之溫度較高，對應之雜訊量較多之區域。
第3區域係次於第2區域，對應之溫度較高，對應之雜訊量較多之區域。第4區域係於第1～第4區域中對應之溫度最高，對應之雜訊量最多之區域。且，於圖6所示之區域映射圖，與圖7所示之調整資訊建立對應。
如圖7所示，調整資訊於第1～第4區域，與由DNN處理部23使用之DNN之階層之深度、DNN處理部23之動作時脈、輸入圖像資料向DNN處理部23輸入之拉長間隔量、及輸入圖像資料之位元數之調整量建立對應。
CIS控制部21將該區域映射圖與調整資訊記憶於RAM或ROM。且，CIS控制部21基於自溫度檢測部25輸入之溫度資訊、與自雜訊檢測部26輸入之雜訊資訊，判定CIS2之狀態是包含於區域映射圖內第1～第4區域之哪一區域。
且，CIS控制部21以對應於判定之區域之調整量，調整DNN處理部23使用之DNN之階層之深度、DNN處理部23之動作時脈、輸入圖像資料向DNN處理部23輸入之拉長間隔量、及輸入圖像資料之位元數。
CIS控制部21於判定之區域為第1區域之情形時，進行將由DNN處理部23使用之DNN之階層之深度調整為最深，並進行將第2區域、第3區域、第4區域之階層之深度依序較淺之調整。
又，CIS控制部21於判定之區域為第1區域之情形時，進行將DNN處理部23之動作時脈調整為最高，並進行將第2區域、第3區域、第4區域之動作時脈依序延遲之調整。
又，CIS控制部21於判定之區域為第1區域之情形時，不進行向DNN處理部23輸入之輸入圖像資料的拉長間隔，並進行使第2區域、第3區域、第4區域之拉長間隔依序增大之調整。
又，CIS控制部21於判定之區域為第1區域之情形時，將向DNN處理部23輸入之輸入圖像資料位元數最大化，並進行使第2區域、第3區域、第4區域之輸入圖像資料之位元數依序減小之調整。
另，CIS控制部21亦可替代圖6所示之區域映射圖，而個別地記憶將CIS2之溫度範圍分割為第1～第4區域之區域映射圖、與將CIS2之雜訊量範圍分割為第1～第4區域之區域映射圖。
於該情形時，CIS控制部21針對CIS2之溫度及雜訊量，分別個別地判定區域，並調整DNN之階層之深度、動作時脈、輸入圖像資料之拉長間隔量、及輸入圖像資料之位元數。
又，此處，針對CIS控制部21調整DNN之階層之深度、動作時脈、輸入圖像資料之拉長間隔量、及輸入圖像資料之位元數之所有之情形進行說明，但此亦為一例。
CIS控制部21可調整DNN之階層之深度、動作時脈、輸入圖像資料之拉長間隔量、及輸入圖像資料之位元數中任意一者之調整要素，亦可組合複數個調整要素複合地調整調整要素。
[1-7.CIS控制部執行之處理] 其次，參照圖8，針對CIS控制部21執行之處理進行說明。圖8係顯示第1實施形態之CIS控制部執行之處理之一例之流程圖。CIS控制部21於對電子機器1投入電源之期間，繼續執行圖8所示之處理。
具體而言，如圖8所示，CIS控制部21若例如對電子機器1投入電源，則首先判定是否為攝像時序(步驟S101)。另，此處之攝像時序為使攝像部22曝光之時序。
CIS控制部21於判定為非攝像時序之情形時(於步驟S101，為否)，重複步驟S101之判定處理直至成為攝像時序。且，CIS控制部21於判定為攝像時序之情形時(步驟S101，為是)，對攝像部22進行攝像指示(步驟S102)。
之後，CIS控制部21自溫度檢測部25、與雜訊檢測部26取得溫度･雜訊資訊(步驟S103)。其次，CIS控制部21基於區域映射圖，進行成為由DNN處理部23使用之DNN之階層深度之DNN階層數區域判定(步驟S104)。之後，CIS控制部21基於調整資訊，調整由DNN處理部23使用之DNN之DNN階層數(步驟S105)，將處理進行至步驟S101。
又，CIS控制部21係與步驟S104、S105之處理並行地執行步驟S106～S109之處理。具體而言，CIS控制部21基於區域映射圖，進行DNN處理部23之動作時脈區域判定(步驟S106)。
其次，CIS控制部21基於調整資訊，調整DNN處理部23之動作時脈(步驟S107)，判定DNN處理是否於1V期間結束(步驟S108)。且，CIS控制部21於判定DNN處理於1V期間內結束之情形時(步驟S108，為是)，將處理進行至步驟S101。
又，CIS控制部21於判定DNN處理未於1V期間結束之情形時(步驟S108，為否)，進行變更(延長)訊框率之調整，將處理進行至步驟S101。
又，CIS控制部21係與步驟S106～S109之處理並行地執行步驟S110、S111之處理。具體而言，CIS控制部21基於區域映射圖，進行向DNN處理部23之輸入圖像資料拉長間隔區域判定(步驟S110)。之後，CIS控制部21基於調整資訊，進行輸入圖像資料拉長間隔調整(步驟S111)，將處理進行至步驟S101。
又，CIS控制部21係與步驟S110、S111之處理並行地進行步驟S112、S113之處理。具體而言，CIS控制部21基於區域映射圖，進行向DNN處理部23之輸入圖像資料位元數區域判定(步驟S112)。
之後，CIS控制部21基於調整資訊，進行輸入圖像位元數調整(步驟S113)，並將處理進行至步驟S101。CIS控制部21在對電子機器1關閉電源之期間重複執行該等步驟S101～S113之處理。
[1-8.CIS控制部進行之控制之變化例] 另，參照圖2～圖5說明之第1～第4控制係CIS控制部21用以抑制CIS2之溫度資訊而進行之控制之一例，CIS控制部21亦可藉由進行其他控制而抑制CIS2之溫度資訊。
此處，參照圖9，針對CIS控制部21用以控制CIS2之溫度資訊而進行之控制之變化例進行說明。圖9係第1實施形態之變化例之控制之說明圖。
如圖9所示，CIS控制部21於時刻t41判定CIS2之溫度･雜訊正常，無需限制由DNN處理部23進行之處理之情形時，於特定之時間間隔T1使圖像資料自攝像部22向DNN處理部23輸出。
之後，CIS控制部21於時刻t42判定CIS2之溫度･雜訊異常，需限制由DNN處理部23進行之處理之情形時，降低訊框率。藉此，將使圖像資料自攝像部22向DNN處理部23輸出之特定之時間間隔T1(1V期間)延長為T2。
其結果，DNN處理部23因延長未進行DNN處理之時間，故抑制溫度資訊。如此，CIS控制部21即使變更由DNN處理部23進行DNN處理之圖像資料之訊框率，亦可抑制CIS2之溫度上升。
(2.第2實施形態) [2-1.第2實施形態之電子機器之構成] 其次，參照圖10，對第2實施形態之電子機器之構成進行說明。圖10係顯示第2實施形態之電子機器之概略構成例之方塊圖。
如圖10所示，第2實施形態之電子機器1a除圖1所示之電子機器1具備之構成以外，CIS2a具備物體辨識部27與圖像切出部28。伴隨於此，於電子機器1a，CIS控制部21a用以抑制溫度上升而進行之控制與圖1所示之CIS控制部21不同。
具體而言，物體辨識部27自攝像部22之讀取部222取得攝像圖像之圖像資料，並自圖像資料辨識複數個被攝體。且，物體辨識部27針對經辨識之各被攝體，算出顯示辨識結果之可靠性高度之得分。
例如，物體辨識部27於複數個人拍入攝像圖像之情形時，藉由圖案辨識與機械學習，辨識人之臉孔。且，物體辨識部27算出顯示各被攝體之臉孔為人的面孔之確信度之得分。
另， 物體辨識部27於被攝體為人之情形時，除臉孔辨識以外，亦可辨識至被攝體之年齡與性別，算出顯示各辨識結果之確信度之得分。物體辨識部27將顯示經辨識之被攝體之攝像圖像之位置之資訊、與經算出之各攝體之得分向CIS控制部21a輸出。
CIS控制部21a基於自物體辨識部27輸入之得分，選擇向DNN處理部23輸入圖像資料之被攝體。且，CIS控制部21a將顯示經選擇之被攝體之圖像之位置之資訊、與經選擇之被攝體之圖像之切出指示向圖像切出部28輸出。
此時，CIS控制部21a根據自溫度檢測部25輸入之溫度資訊及自雜訊檢測部26輸入之雜訊資訊，選擇向DNN處理部23輸入圖像資料之被攝體。
例如，CIS控制部21a於CIS2之溫度･雜訊正常之情形時，選擇所有被攝體，於溫度･雜訊異常之情形時，優先選擇得分較高之被攝體，不選擇得分較低之被攝體。另，關於CIS2a選擇被攝體之具體之一例將參照圖11稍後進行敘述。
圖像切出部28自攝像圖像切出與自CIS2a輸入之切出指示對應之被攝體之圖像並向DNN處理部23輸出。DNN處理部23對自圖像切出部28輸入之被攝體之圖像資料進行DNN處理，並將成為處理結果之DNN資訊向AP3輸出。
藉此，CIS2a於例如溫度上升之情形，或雜訊量增大之情形時，減少由DNN處理部23進行DNN處理之被攝體之圖像資料量，藉此可抑制溫度上升。另，於CIS2a中，CIS控制部21a亦對DNN處理部23進行第1實施形態說明之第1～第4控制。藉此，CIS2a可更確實地抑制溫度上升。
[2-2.第2實施形態之CIS控制部進行之控制] 參照圖11，其次對第2實施形態之CIS控制部21a進行之控制之一例進行說明。圖11係第2實施形態之控制之說明圖。此處，如圖11所示，列舉於攝像圖像，拍入男性、女性與兒童之情形進行說明。又，此處，列舉藉由物體辨識部27算出之被攝體之得分為男性：50，兒童：80，女性：70之情形為例進行說明。
如圖11所示，CIS控制部21a於例如時刻t41判定CIS2a之溫度･雜訊正常之情形時，使被攝體全員之圖像資料自圖像切出部28向DNN處理部23輸出。藉此，DNN處理部23對男性、兒童及女性之圖像資料進行DNN處理。
之後，CIS控制部21a於時刻t42判定CIS2a之溫度･雜訊異常之情形時，將男性、兒童及女性中例如得分最低之男性自DNND處理之對象除外。
接著，CIS控制部21a將兒童及女性之圖像資料自圖像切出部28向DNN處理部23輸出。藉此，DNN處理部23對兒童及女性之圖像資料進行DNN處理。藉此，CIS控制部21a藉由減少由DNN處理部23進行DNN處理之圖像資料之資料量，可抑制CIS2a之溫度上升。
之後，CIS控制部21a於即使成為時刻t43，仍判定CIS2a之溫度･雜訊異常之情形時，次之將兒童及女性中得分較低之女性自DNN處理之對象除外。
接著，CIS控制部21a將兒童之圖像資料自圖像切出部28向DNN處理部23輸出。藉此，DNN處理部23對兒童之圖像資料進行DNN處理。藉此，CIS控制部21a藉由進一步減少由DNN處理部23進行DNN處理之圖像資料之資料量，可抑制CIS2a之溫度上升。
另， 此處，針對CIS控制部21a基於被攝體之得分，優先選擇由DNN處理部23進行DNN處理之被攝體之情形進行說明，但此為一例。CIS控制部21a於被攝體為人之情形時，除得分以外，亦可藉由例如被攝體之年齡與性別等其他指標，優先選擇由DNN處理部23進行DNN處理之被攝體。
例如，CIS控制部21a於將例如年齡作為指標之情形時，可將兒童優先。又，CIS控制部21a於將例如性別作為指標之情形時，可將女性優先。另，針對根據CIS控制部21a使用於被攝體之選擇之指標、或根據各指標，而何種被攝體優先係可任意設定。
(3.第1及第2實施形態之溫度檢測部之配設位置) 其次，參照圖12～圖14，對第1及第2實施形態之溫度檢測部25之配設位置之一例進行說明。圖12～圖14係第1及第2實施形態之溫度檢測部之配設位置之說明圖。另，第1實施形態及第2實施形態之溫度檢測部25設置於同一位置。因此，此處，針對第2實施形態之CIS2之溫度檢測部25之配設位置進行說明。
如圖12所示，例如CIS2作成於設置CIS邏輯電路201或DNN處理部23等之基板上，積層設置有類比電路202等之基板之構造。CIS邏輯電路201包含例如攝像部22之讀取部222等。又，類比電路202包含例如攝像部22之受光部221等。
於該CIS2，DNN處理部23成主要之發熱源。因此，如圖12所示，溫度檢測部25設置於例如成為發熱源之DNN處理部23之附近。藉此，CIS2藉由迅速檢測發熱源之發熱，可快速地抑制溫度資訊。
又，於CIS2，起因於DNN處理部23之溫度上升所致之雜訊產生源成為類比電路202。因此，如圖13所示，溫度檢測部25亦可設置於例如成為雜訊產生源之類比電路202之附近。
藉此，CIS2可迅速檢測起因於DNN處理部23之溫度上升，導致於類比電路202產生之雜訊，故可藉由進行快速地抑制溫度上升之控制進行減少雜訊之對應。
又，如圖14所示，溫度檢測部25亦可設置於成為發熱源之DNN處理部23及成為雜訊產生源之類比電路202之中間位置。藉此，CIS2可基於接近於內部整體之平均溫度之溫度，而非以內部之局部溫度，進行溫度上升之抑制及雜訊之減少。
(4.其他實施形態) 上述各實施形態之處理除上述各實施形態以外亦可利用各種不同形態實施。
例如，於上述實施形態，雖列舉對藉由CIS2拍攝之圖像資料進行處理之資訊處理部為DNN處理部23之情形進行說明，但CIS2具備之資訊處理部亦可為進行DNN處理以外之處理者。例如，資訊處理部亦可為進行自圖像資料去除雜訊之處理或調整圖像之白平衡之處理等者。
於上述實施形態，雖於CIS2之內部進行之被攝體之推定、辨識及判別中使用DNN，但除DNN以外，亦可使用RNN(Recurrent Neural Networks：遞迴類神經網路)或CNN(Convolutional Neural Network：卷積式類神經網路)等各種神經網路。又，不限定於使用DNN等之學習模型，亦可使用由決策樹或支持向量機等其他各種機械學習而學習之學習模型。
又，於上述實施形態，雖對CIS2自AP3取得DNN並由DNN處理部23使用之情形進行說明，但DNN亦可預先記憶於CIS2側。又，於上述第1控制，CIS控制部21雖根據溫度決定由DNN處理部23使用之DNN(14階層或8階層)、或決定1個DNN中DNN處理至哪一階層，但該決定亦可由AP3進行。
於該構成之情形時，CIS2向AP3輸出溫度資訊。AP3向CIS2提供與自CIS2輸入之溫度資訊對應之階層數之DNN，或指示根據溫度資訊DNN處理至哪一階層。
又，於上述第3控制，雖於CIS2之溫度･雜訊異常之情形時，進行將由DNN處理部23進行DNN處理之圖像資料拉長間隔之控制，但例如於溫度超過特定之上限值之情形時，亦可使DNN處理部23之動作停止。
針對包含上述文章中或圖式中所示之處理順序、控制順序、具體之名稱、包含各種資料或參數之資訊，除特別敘述之情形以外可任意變更。又，實施例說明之具體例、分佈、數值等僅為一例，而可任意變更。
又，圖示之各裝置之各構成要件為功能概念者，並非必須如實體圖式般構成。即，各裝置之分散･統合之具體形態不限定於圖示者，可根據各種負荷或使用狀況等，以任意之單位功能性或實體性分散･統合来構成其全部或一部分。例如，亦可統合圖1所示之CIS控制部21與DNN處理部23。
又，上述各實施形態及變化例於不使處理內容矛盾之範圍內可適當組合。
(5.效果) CIS2具有攝像部22、DNN處理部23、溫度檢測部25、CIS控制部21。攝像部22拍攝圖像而產生圖像資料。DNN處理部23對自攝像部22讀取之圖像資料進行處理。溫度檢測部25檢測溫度。CIS控制部21根據藉由溫度檢測部25檢測之溫度變更由DNN處理部23進行之處理。藉此，CIS2於例如溫度上升之情形時，進行縮短DNN處理部23之處理時間，或減少處理量之變更，藉此可抑制溫度上升。
又，CIS2進而具有檢測圖像資料所包含之雜訊之雜訊檢測部26。且，CIS控制部21根據藉由雜訊檢測部26檢測之雜訊，控制DNN處理部23之動作。藉此，CIS2於起因於溫度上升導致雜訊量增大之情形時，進行縮短DNN處理部23之處理時間，或減少處理量之變更，藉此可使DNN處理部23之溫度下降而抑制溫度上升。
又，DNN處理部23係對圖像資料進行使用DNN之DNN處理之處理部。且，CIS控制部21變更由DNN處理部23處理之DNN之階層深度。藉此，CIS2於溫度上升之情形時，使DNN處理部23處理之DNN之階層之深度變淺，藉此可抑制溫度上升。
又，CIS控制部21變更自階層之深度不同之複數個DNN選擇並由DNN處理部23使用之DNN。藉此，CIS2於溫度上升之情形時，藉由使DNN處理部23使用階層之深度較淺之DNN，可抑制溫度上升。
又，CIS控制部21變更由DNN處理部23處理至一個DNN之所有階層中之哪一階層之深度。藉此，CIS2於溫度上升之情形時，減少由DNN處理部23處理之DNN之階層數，藉此可抑制溫度上升。
又，CIS控制部21變更DNN處理部23之動作時脈。藉此，CIS2於溫度上升之情形時，藉由延遲DNN處理部23之動作時脈，可抑制溫度上升。
又，CIS控制部21進行使DNN處理部23處理之圖像資料之拉長間隔。藉此，CIS2藉由減少由DNN處理部23處理之資料量，可抑制溫度上升。
又，CIS控制部21變更由DNN處理部23處理之1訊框之圖像資料之資料量。藉此，CIS2於溫度上升之情形時，藉由減少由DNN處理部23處理之1訊框之圖像資料之資料量，可抑制溫度上升。
又，CIS控制部21變更由DNN處理部23處理之圖像資料之訊框率。藉此，CIS2藉由降低由DNN處理部23處理之圖像資料之訊框率，可抑制溫度上升。
又，CIS2a具有自圖像資料辨識複數個被攝體並算出被攝體之得分之物體辨識部27。且，CIS控制部21a基於被攝體之得分自1訊框之圖像資料取捨選擇由DNN處理部23處理之被攝體之資料。藉此，CIS2a可藉由減少由DNN處理部23處理之資料量而抑制溫度上升。
又，溫度檢測部25設置於成為發熱源之DNN處理部23之附近。藉此，CIS2藉由迅速檢測發熱源之發熱，可抑制溫度資訊。
又，溫度檢測部25設置於成為雜訊產生源之攝像部22之附近。藉此，CIS2藉由迅速地檢測溫度上升所致之雜訊產生，進行快速地抑制溫度上升之控制，藉此可進行減少雜訊之對應。
又，溫度檢測部25設置於CIS2之中央位置。藉此，CIS2可基於接近於整體之平均溫度之溫度，而非以CIS2之局部溫度，進行溫度上升之抑制及雜訊之減少。
又，電子機器1具有CIS2。CIS2具備攝像部22、DNN處理部23、溫度檢測部25、及CIS控制部21。攝像部22拍攝圖像並產生圖像資料。DNN處理部23對自攝像部22讀取之圖像資料進行處理。溫度檢測部25檢測溫度。CIS控制部21根據藉由溫度檢測部25檢測之溫度變更DNN處理部23之動作。藉此，電子機器1於例如溫度上升之情形時，進行縮短DNN處理部23之處理時間，或減少處理量之變更，藉此可抑制溫度上升。
又，攝像方法包含藉由電腦執行之攝像步驟、資訊處理步驟、溫度檢測步驟、及控制步驟。攝像步驟拍攝圖像並產生圖像資料。資訊處理步驟對藉由攝像步驟產生之圖像資料進行處理。溫度檢測步驟檢測溫度。控制步驟根據藉由溫度檢測步驟檢測之溫度變更於資訊處理步驟中進行之處理。藉此，CIS2於例如溫度上升之情形時，藉由進行縮短DNN處理部23之處理時間，或減少處理量之變更，可抑制溫度上升。
又，本說明書所記載之效果僅為例示並非限定者，又亦可具有其他效果。
另，本技術亦可取得以下構成。 (1) 一種攝像裝置，其具有： 攝像部，其拍攝圖像並產生圖像資料； 資訊處理部，其對自上述攝像部讀取之圖像資料進行處理； 溫度檢測部，其檢測溫度；及 控制部，其根據藉由上述溫度檢測部檢測之溫度變更由上述資訊處理部進行之處理。 (2) 如上述(1)之攝像裝置，其進而具有 檢測上述圖像資料所包含之雜訊的雜訊檢測部，且 上述控制部 根據藉由上述雜訊檢測部檢測之雜訊而控制上述資訊處理部之動作。 (3) 如上述(1)或(2)之攝像裝置，其中上述資訊處理部係 對上述圖像資料進行使用DNN(Deep Neural Network)之DNN處理之處理部， 上述控制部變更由上述資訊處理部處理之上述DNN之階層之深度。 (4) 如上述(3)之攝像裝置，其中上述控制部 變更自上述階層之深度不同之複數個上述DNN選擇並由上述資訊處理部使用之上述DNN。 (5) 如上述(3)之攝像裝置，其中上述控制部 變更由上述資訊處理部處理至一個上述DNN之所有階層中之哪一階層之深度。 (6) 如上述(1)至(5)中任一項之攝像裝置，其中上述控制部 變更上述資訊處理部之動作時脈。 (7) 如上述(1)至(6)中任一項之攝像裝置，其中上述控制部 進行由上述資訊處理部處理之上述圖像資料之拉長間隔。 (8) 如上述(1)至(7)中任一項之攝像裝置，其中上述控制部 變更由上述資訊處理部處理之1訊框之上述圖像資料之資料量。 (9) 如上述(1)至(8)中任一項之攝像裝置，其中上述控制部 變更由上述資訊處理部處理之上述圖像資料之訊框率。 (10) 如上述(1)至(9)中任一項之攝像裝置，其具有自上述圖像資料辨識複數個被攝體並算出上述被攝體之得分之辨識部，且 上述控制部 基於上述被攝體之得分自1訊框之上述圖像資料取捨選擇由上述資訊處理部處理之上述被攝體之資料。 (11) 如上述(1)至(10)中任一項之攝像裝置，其中上述溫度檢測部設置於發熱源之附近。 (12) 如上述(1)至(10)中任一項之攝像裝置，其中上述溫度檢測部設置於雜訊產生源之附近。 (13) 如上述(1)至(10)中任一項之攝像裝置，其中上述溫度檢測部設置於攝像裝置之中央位置。 (14) 一種電子機器，其具有攝像裝置，該攝像裝置具備： 攝像部，其拍攝圖像並產生圖像資料； 資訊處理部，其對自上述攝像部讀取之圖像資料進行處理； 溫度檢測部，其檢測溫度；及 控制部，其根據藉由上述溫度檢測部檢測之溫度而變更上述資訊處理部之動作。 (15) 一種攝像方法，其包含藉由電腦執行之以下步驟： 攝像步驟，其拍攝圖像並產生圖像資料； 資訊處理步驟，其對藉由上述攝像步驟產生之圖像資料進行處理； 溫度檢測步驟，其檢測溫度；及 控制步驟，其根據藉由上述溫度檢測步驟檢測之溫度而變更於上述資訊處理步驟中進行之處理。
1:電子機器 1a:電子機器 2:CIS 2a:CIS 3:AP 21:CIS控制部 21a:CIS控制部 22:攝像部 23:DNN處理部 24:通信I/F 25:溫度檢測部 26:雜訊檢測部 27:物體辨識部 28:圖像切出部 31:AP控制部 32:通信I/F 201:CIS邏輯電路 202:類比電路 221:受光部 222:讀取部 S101:步驟 S102:步驟 S103:步驟 S104:步驟 S105:步驟 S106:步驟 S107:步驟 S108:步驟 S109:步驟 S110:步驟 S111:步驟 S112:步驟 S113:步驟 T1:時間間隔 T2:時間間隔 t1:時刻 t2:時刻 t3:時刻 t4:時刻 t11:時刻 t12:時刻 t13:時刻 t21:時刻 t31:時刻 t32:時刻 t41:時刻 t42:時刻 t43:時刻
圖1係顯示第1實施形態之電子機器之概略構成例之方塊圖。 圖2係第1實施形態之第1控制之說明圖。 圖3係第1實施形態之第2控制之說明圖。 圖4係第1實施形態之第3控制之說明圖。 圖5係第1實施形態之第4控制之說明圖。 圖6係第1實施形態之區域映射圖之說明圖。 圖7係第1實施形態之調整資訊之說明圖。 圖8係顯示第1實施形態之CIS控制部執行之處理之一例之流程圖。 圖9係第1實施形態之變化例之控制之說明圖。 圖10係顯示第2實施形態之電子機器之概略構成之方塊圖。 圖11係第2實施形態之控制之說明圖。 圖12係第1及第2實施形態之溫度檢測部之配設位置之說明圖。 圖13係第1及第2實施形態之溫度檢測部之配設位置之說明圖。 圖14係第1及第2實施形態之溫度檢測部之配設位置之說明圖。
1:電子機器
2:CIS
3:AP
21:CIS控制部
22:攝像部
23:DNN處理部
24:通信I/F
25:溫度檢測部
26:雜訊檢測部
31:AP控制部
32:通信I/F
221:受光部
222:讀取部

Claims (17)

  1. 一種攝像裝置，其具有：攝像部，其拍攝圖像而產生圖像資料；資訊處理部，其對自上述攝像部讀取之圖像資料進行使用機械學習之處理；溫度檢測部，其檢測溫度；及控制部，其根據藉由上述溫度檢測部檢測之溫度變更由上述資訊處理部進行之上述使用機械學習之處理。
  2. 如請求項1之攝像裝置，其進而具有檢測上述圖像資料所包含之雜訊的雜訊檢測部，且上述控制部根據藉由上述雜訊檢測部檢測之雜訊控制上述資訊處理部之動作。
  3. 如請求項1之攝像裝置，其中上述控制部係：變更由上述資訊處理部進行之上述使用機械學習之處理。
  4. 如請求項1之攝像裝置，其中上述使用機械學習之處理係使用DNN(Deep Neural Network：深度神經網路)之DNN處理。
  5. 如請求項4之攝像裝置，其中上述控制部變更由上述資訊處理部進行之上述DNN處理之上述DNN之階層之深度。
  6. 如請求項5之攝像裝置，其中上述控制部變更自上述階層之深度不同之複數個上述DNN選擇並由上述資訊處理部使用之上述DNN。
  7. 如請求項5之攝像裝置，其中上述控制部變更由上述資訊處理部處理至一個上述DNN之所有階層中之哪一階層之深度。
  8. 如請求項1之攝像裝置，其中上述控制部變更上述資訊處理部之動作時脈。
  9. 如請求項1之攝像裝置，其中上述控制部進行由上述資訊處理部處理之上述圖像資料之拉長間隔。
  10. 如請求項1之攝像裝置，其中上述控制部變更由上述資訊處理部處理之1訊框之上述圖像資料之資料量。
  11. 如請求項1之攝像裝置，其中上述控制部變更由上述資訊處理部處理之上述圖像資料之訊框率。
  12. 如請求項1之攝像裝置，其具有：自上述圖像資料辨識複數個被攝體並算出上述被攝體之得分之辨識部，且上述控制部基於上述被攝體之得分自1訊框之上述圖像資料取捨選擇由上述資訊處理部處理之上述被攝體之資料。
  13. 如請求項1之攝像裝置，其中上述溫度檢測部設置於發熱源之附近。
  14. 如請求項1之攝像裝置，其中上述溫度檢測部設置於雜訊之產生源之附近。
  15. 如請求項1之攝像裝置，其中上述溫度檢測部設置於攝像裝置之中央位置。
  16. 一種電子機器，其具有如請求項1至15任一項之攝像裝置。
  17. 一種攝像方法，其包含藉由電腦執行之以下步驟：攝像步驟，其拍攝圖像而產生圖像資料；資訊處理步驟，其對藉由上述攝像步驟產生之圖像資料進行使用機 械學習之處理；溫度檢測步驟，其檢測溫度；及控制步驟，其根據藉由上述溫度檢測步驟檢測之溫度變更於上述資訊處理步驟中進行之上述使用機械學習之處理。
TW109104378A 2019-02-19 2020-02-12 攝像裝置、電子機器及攝像方法 TWI744796B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019027882A JP2020136903A (ja) 2019-02-19 2019-02-19 撮像装置および電子機器
JP2019-027882 2019-02-19

Publications (2)

Publication Number Publication Date
TW202040987A TW202040987A (zh) 2020-11-01
TWI744796B true TWI744796B (zh) 2021-11-01

Family

ID=72144405

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109104378A TWI744796B (zh) 2019-02-19 2020-02-12 攝像裝置、電子機器及攝像方法

Country Status (6)

Country Link
US (1) US11889170B2 (zh)
EP (1) EP3930303A4 (zh)
JP (1) JP2020136903A (zh)
CN (1) CN113424518A (zh)
TW (1) TWI744796B (zh)
WO (1) WO2020170890A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022119383A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、半導体基板
JP2022119374A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体
US20240089632A1 (en) * 2022-09-08 2024-03-14 Micron Technology, Inc. Image Sensor with Analog Inference Capability

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4653059B2 (ja) * 2006-11-10 2011-03-16 オリンパス株式会社 撮像システム、画像処理プログラム
JP2010157901A (ja) * 2008-12-26 2010-07-15 Sony Corp 信号処理装置、信号処理方法およびプログラム
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9093573B2 (en) * 2013-09-09 2015-07-28 Semiconductor Components Industries, Llc Image sensor including temperature sensor and electronic shutter function
US9402018B2 (en) * 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
CN103712702B (zh) * 2014-01-11 2016-01-06 西安科技大学 一种机电设备温度预警方法
CN105404331A (zh) * 2014-09-10 2016-03-16 联想(北京)有限公司 一种控制方法、装置及电子设备
US9989980B1 (en) * 2015-08-17 2018-06-05 Amazon Technologies, Inc. System level thermal management
US9983557B2 (en) * 2015-10-13 2018-05-29 Qualcomm Incorporated Adaptive thermal control and power budget
CN105812684A (zh) * 2016-03-31 2016-07-27 联想(北京)有限公司 一种电子设备温漂的控制方法及装置
EP3515057B1 (en) 2016-09-16 2024-02-21 Sony Semiconductor Solutions Corporation Image pickup device and electronic apparatus
US20180183998A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Power reduction and performance improvement through selective sensor image downscaling
CN108012156B (zh) * 2017-11-17 2020-09-25 深圳市华尊科技股份有限公司 一种视频处理方法及控制平台
CN108133085B (zh) * 2017-12-08 2021-12-07 北方工业大学 一种电子设备舱内设备温度预测方法及系统
US11116050B1 (en) * 2018-02-08 2021-09-07 June Life, Inc. High heat in-situ camera systems and operation methods
WO2020116046A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 センサ装置、電子機器、センサシステム及び制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法

Also Published As

Publication number Publication date
TW202040987A (zh) 2020-11-01
WO2020170890A1 (ja) 2020-08-27
CN113424518A (zh) 2021-09-21
EP3930303A4 (en) 2022-04-20
US20220070349A1 (en) 2022-03-03
EP3930303A1 (en) 2021-12-29
JP2020136903A (ja) 2020-08-31
US11889170B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
TWI744796B (zh) 攝像裝置、電子機器及攝像方法
JP5704905B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US9953428B2 (en) Digital camera unit with simultaneous structured and unstructured illumination
JP6184189B2 (ja) 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体
EP3162048B1 (en) Exposure metering based on background pixels
US20060268151A1 (en) Imaging device, camera, and imaging method
JP2011165008A (ja) 画像認識装置および方法
JP2009098317A (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
US10132913B2 (en) Photographing apparatus, photographing method, template creation apparatus, template creation method, and program
JP2017123020A (ja) 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
JP5189913B2 (ja) 画像処理装置
JP2013195577A (ja) 撮像装置、撮像方法及びプログラム
JP2013113922A (ja) 撮像装置
CN116456187A (zh) 聚焦值计算方法、装置、设备及存储介质
JP6525723B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2022045567A (ja) 撮像制御装置、撮像制御方法、及びプログラム
JP2020067534A (ja) 撮像装置
JP5629562B2 (ja) 画像処理装置及びその制御方法、及びプログラム
WO2023106103A1 (ja) 画像処理装置およびその制御方法
US20230276134A1 (en) Information processing apparatus, imaging apparatus, method, and storage medium
US20220078336A1 (en) Control apparatus and method for controlling the same
JP2017198996A (ja) 撮像装置、撮像方法及びプログラム
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム
JP2023086274A (ja) 画像処理装置およびその制御方法
JP2024518453A (ja) ペットの識別のためのオブジェクトを撮影するための方法及び電子装置