TW202101960A - 圖像辨識裝置、固體攝像裝置及圖像辨識方法 - Google Patents

圖像辨識裝置、固體攝像裝置及圖像辨識方法 Download PDF

Info

Publication number
TW202101960A
TW202101960A TW109114153A TW109114153A TW202101960A TW 202101960 A TW202101960 A TW 202101960A TW 109114153 A TW109114153 A TW 109114153A TW 109114153 A TW109114153 A TW 109114153A TW 202101960 A TW202101960 A TW 202101960A
Authority
TW
Taiwan
Prior art keywords
image
unit
subject
recognition
dnn
Prior art date
Application number
TW109114153A
Other languages
English (en)
Other versions
TWI744876B (zh
Inventor
渡部剛史
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202101960A publication Critical patent/TW202101960A/zh
Application granted granted Critical
Publication of TWI744876B publication Critical patent/TWI744876B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明在於提供一種可使被攝體之辨識精度提高之圖像辨識裝置(1)、固體攝像裝置(CIS2)、及圖像辨識方法。本揭示之圖像辨識裝置(1)具有攝像部(4)與辨識部(9)。辨識部(4)於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料。辨識部(9)根據圖像資料之各者辨識被攝體，基於被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。

Description

圖像辨識裝置、固體攝像裝置及圖像辨識方法
本揭示係關於一種圖像辨識裝置、固體攝像裝置及圖像辨識方法。
有一種攝像裝置(例如參照專利文獻1)，其具備於1訊框期間內拍攝感度不同之複數張圖像並合成，藉此產生HDR(High Dynamic Range：高動態範圍)圖像之HDR攝像模式，且根據HDR圖像辨識被攝體。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2014-103643號公報
[發明所欲解決之問題]
然而，於上述先前技術中，有時被攝體之辨識精度降低。因此，於本揭示中，提案一種可使被攝體之辨識精度提高之圖像辨識裝置、固體攝像裝置、及圖像辨識方法。 [解決問題之技術手段]
本揭示之圖像辨識裝置具有攝像部與辨識部。攝像部於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料。辨識部根據上述圖像資料之各者辨識被攝體，基於上述被攝體之辨識結果，辨識映現於1訊框之圖像之被攝體。
於以下，基於圖式對本揭示之實施形態進行詳細地進行說明。另，於以下之各實施形態中，對同一部位標註同一符號，藉此省略重複之說明。
(1.第1實施形態) [1-1.第1實施形態之圖像辨識裝置之構成] 圖1係顯示第1實施形態之圖像辨識裝置1之構成例之圖。如圖1所示，圖像辨識裝置1具有CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)影像感測器(以下，記載為CIS2)、與應用處理器(以下，記載為AP3)。
CIS2為由1晶片構成，且拍攝圖像之固體攝像裝置之一例，除拍攝圖像之功能以外，亦具備辨識攝像圖像中之被攝體並將被攝體之辨識結果向AP3輸出之功能。另，本揭示之固體攝像裝置並非限定於CIS2者，亦可為例如CCD(Charge Coupled Device：電荷耦合器件)影像感測器等其他影像感測器。
AP3具備：CPU(Central Processing Unit：中央處理單元)等處理器之一例即AP控制部31，其執行與圖像辨識裝置1之用途對應之各種應用程式；及通信I/F(Interface：介面)32，其與CIS2之間進行資訊通信。
AP3於例如將圖像辨識裝置1搭載於車輛而作為檢測車輛周邊之物體等之感測器使用之情形時，若藉由CIS2辨識出行人等之被攝體，則進行將其主旨向駕駛者通知，或向自動制動系統通知之處理等。
又，AP3於例如將圖像辨識裝置1用於臉部認證系統之情形時，進行將表示由CIS2辨識出之臉部是否為事先登錄之人之臉部之資訊向臉部認證系統輸出之處理等。如此，AP3針對由CIS2辨識出之被攝體，進行對應於圖像辨識裝置1之用途之處理。
CIS2具備於成為拍攝1訊框之圖像之期間之1訊框期間內，拍攝感度不同之複數張圖像，並對攝像圖像進行HDR(High Dynamic Range)合成，藉此產生HDR圖像之功能與辨識上述之攝像圖像中之被攝體之功能。
具體而言，CIS2具備攝像部4、HDR(High Dynamic Range)合成部5、記憶體6、圖像輸出部7、通信I/F8、及辨識部9。攝像部4具備受光部41、與讀出部42。
受光部41具備例如；光學系統，其具備變焦透鏡、聚焦透鏡、及光圈等；及像素陣列部，其將包含光電二極體等之受光元件之單位像素2維矩陣狀排列。
受光部41藉由光學系統將自外部入射之光成像於像素陣列部之受光面。像素陣列部之各單位像素對入射至受光元件之光進行光電轉換，藉此可讀出地蓄積對應於入射光之光量之電荷。
讀出部42具備：讀出電路，其讀出蓄積於各單位像素之電荷作為像素信號；及ADC(Analog to Digital Converter：類比轉數位轉換器)，其藉由將由讀出電路讀出之類比之像素信號轉換為數位值，而產生數位之圖像資料。
該攝像部4於1訊框期間內，拍攝以較通常之曝光時間更短之曝光時間拍攝之短時間曝光圖像、與以較通常之曝光時間更長之曝光時間拍攝之長時間曝光圖像之感度不同之2張圖像。
藉此，即使為通常之曝光時間下被攝體之亮度過高而過曝之被攝體，攝像部4亦可拍攝清晰映現出被攝體之像之短時間曝光圖像。又，即使為通常之曝光時間下被攝體之亮度過低而欠曝之被攝體，攝像部4亦可拍攝清晰映現出被攝體之像之長時間曝光圖像。攝像部4將拍攝之短時間曝光圖像之圖像資料、與長時間曝光圖像之圖像資料向HDR合成部5輸出。
HDR合成部5包含例如具有CPU(Central Processing Unit：中央處理單元)、ROM(Read Only Memory：唯讀記憶體)、及RAM(Random Access Memory：隨機存取記憶體)等之微電腦或各種電路。
HDR合成部5使CPU將RAM作為作業區域使用而執行記憶於ROM之程式，並對自攝像部4輸入之短時間曝光圖像之圖像資料、與長時間曝光圖像之圖像資料進行HDR合成，藉此產生HDR圖像之圖像資料。
藉此，HDR合成部5即使於在落於1訊框之圖像之畫角內，暗區域與亮區域混存之情形時，亦可產生清晰映現暗區域內之被攝體之像、與亮區域內之被攝體之像的HDR圖像之圖像資料。
另，HDR合成部5亦可由ASIC(Application Specific Integrated Circuit：專供特定用途之積體電路)或FPGA(Field Programmable Gate Array：場可程式化閘陣列)等硬體構成。HDR合成部5將產生之HDR圖像之圖像資料向記憶體6輸出。記憶體6為例如快閃記憶體等記憶器件，且記憶自HDR合成部5輸入之HDR圖像之圖像資料。
圖像輸出部7僅於例如自AP3受理到請求取得HDR圖像之情形時，自記憶體6讀出HDR圖像之圖像資料，並經由通信I/F8向AP3輸出，除此以外之情形時，不將HDR圖像之圖像資料向AP3輸出。
如此，圖像輸出部7除自AP3受理到請求取得HDR圖像之情形以外，不將HDR圖像之圖像資料向外部輸出，故可將CIS2之消耗電力抑制為較低，且可保護安全與隱私。
辨識部9包含例如具有CPU、ROM、RAM等之微電腦或各種電路。辨識部9為處理部，其藉由使CPU將RAM作為作業區域並執行記憶於ROM之程式，而根據攝像圖像之圖像資料辨識被攝體，並經由通信I/F8向AP3輸出被攝體之辨識結果。另，辨識部9亦可將一部分或全部由ASIC或FPGA等硬體構成。
此處，例如於根據HDR圖像之圖像資料辨識被攝體之情形時，有時被攝體之辨識精度降低。具體而言，如上所述，HDR圖像係將短時間曝光圖像、與長時間曝光圖像進行HDR合成而產生。
短時間曝光圖像及長時間曝光圖像係以與通常之曝光時間不同之曝光時間拍攝之圖像，故有時成為亮度或色彩與人觀察到之被攝體稍有不同之圖像。
此種將短時間曝光圖像與長時間曝光圖像進行HDR合成而產生之HDR圖像中，有時會映入實際不存在之二次產生之偽像。因此，於根據HDR圖像之圖像資料辨識被攝體之情形時，起因於偽像，有時無法準確地辨識被攝體，從而被攝體之辨識精度降低。
因此，本揭示之辨識部9根據HDR合成前之不包含偽像之短時間曝光圖像及長時間曝光圖像之圖像資料之各者辨識被攝體，並基於辨識結果辨識映現於1訊框之圖像的被攝體，藉此使被攝體之辨識精度提高。
具體而言，辨識部9具備第1DNN(Deep Neural Network：深度神經網路)部91、第2DNN部92、及辨識結果決定部93。DNN係為了根據圖像資料辨識被攝體之特徵(圖案)而藉由機械學習設計之以人類之腦神經回路(神經網路)為模型之多階層構造之演算法。
第1DNN部91係藉由使用以根據短時間曝光圖像辨識被攝體之方式予以專門化之DNN的DNN處理，根據自攝像部4輸入之短時間曝光圖像之圖像資料辨識被攝體的處理部。
第1DNN部91辨識映現於短時間曝光圖像之被攝體，導出包含被攝體之辨識結果與表示辨識結果之可靠度之DNN得分之辨識結果資訊並向辨識結果決定部93輸出。
如此，第1DNN部91藉由使用專供短時間曝光圖像用之DNN之DNN處理辨識被攝體，故可根據短時間曝光圖像之圖像資料確實地辨識被攝體。
第2DNN部92係藉由使用以根據長時間曝光圖像辨識被攝體之方式予以專門化之DNN的DNN處理，根據自攝像部4輸入之長時間曝光圖像之圖像資料辨識被攝體的處理部。
第2DNN部92辨識映現於長時間曝光圖像之被攝體，導出包含被攝體之辨識結果與表示辨識結果之可靠度之DNN得分之辨識結果資訊並向辨識結果決定部93輸出。
如此，第2DNN部92藉由使用專供長時間曝光圖像用之DNN之DNN處理辨識被攝體，故可根據長時間曝光圖像之圖像資料確實地辨識被攝體。
辨識結果決定部93基於自第1DNN部91及第2DNN部92輸入之辨識結果資訊，辨識映現於1訊框之圖像之被攝體。例如，辨識結果決定部93導出包含DNN得分為特定值以上之被攝體、與被攝體之DNN得分之最終辨識結果資訊，並經由通信I/F8向AP3輸出。
又，辨識結果決定部93根據自第1DNN部91與第2DNN部92輸入之辨識結果資訊所包含之DNN得分，調整攝像部4之曝光時間，以使下一次之後之DNN得分提高。針對該曝光時間調整方法之一例，參照圖3及圖4稍後進行敘述。
另，辨識結果決定部93並非必要之構成要件。辨識部9亦可為將由第1DNN部91導出之辨識結果資訊、與由第2DNN部92導出之辨識結果資訊向AP3輸出之構成。
如此，辨識部9根據HDR合成前之未映入偽像之短時間曝光圖像及長時間曝光圖像之圖像資料之各者辨識被攝體，並基於被攝體之辨識結果，辨識映現於1訊框之圖像之被攝體。藉此，辨識部9較根據映入偽像之HDR圖像辨識被攝體，可使被攝體之辨識精度提高。
[1-2.第1實施形態之圖像辨識裝置之動作例] 其次，對第1實施形態之圖像辨識裝置1之動作例進行說明。圖2係本揭示之第1實施形態之圖像辨識裝置1之動作說明圖。
如圖2所示，攝像部4於1訊框期間t1之期間，拍攝曝光時間為t2之短時間曝光圖像後，拍攝曝光時間長於t2之t3之長時間曝光圖像。接著，攝像部4將短時間曝光圖像之圖像資料向第1DNN部91輸出，將長時間曝光圖像之圖像資料向第2DNN部92輸出。
第1DNN部91根據相對較暗之短時間曝光圖像之圖像資料辨識例如被攝體之車輛10，並將辨識結果資訊D1向辨識結果決定部93輸出。辨識結果資訊D1並非圖像資料，而係包含表示辨識出之被攝體之資訊與上述之DNN得分之元資料。
第2DNN部92根據相對較亮之長時間曝光圖像之圖像資料辨識例如被攝體之車輛10，並將辨識結果資訊D2向辨識結果決定部93輸出。辨識結果資訊D2並非圖像資料，而係包含表示辨識出之被攝體之資訊、與上述之DNN得分之元資料。此時，第1DNN部91及第2DNN部92並行地進行DNN處理。藉此，辨識部9可縮短辨識被攝體之處理所需之時間。
辨識結果決定部93基於辨識結果資訊D1、D2，辨識被攝體之車輛10，並將最終之辨識結果資訊D3向通信I/F8發送。最終之辨識結果資訊D3亦非圖像資料，而係包含表示辨識出之被攝體之資訊、與上述之DNN得分之元資料。
通信I/F8將辨識結果資訊D3向AP3之通信I/F32輸出。如此，因CIS2將非圖像資料之元資料之辨識結果資訊D3向AP3輸出，故與輸出圖像資料之情形相比，可減少消耗電力，且可保護隱私及安全。
[1-3.曝光時間調整方法] 其次，參照圖3及圖4，對辨識結果決定部93進行之曝光時間調整方法之一例進行說明。圖3及圖4係本揭示之第1實施形態之曝光時間調整方法之說明圖。另，圖3及圖4所示之20行或50行係表示曝光時間之長度之指標，行數越多表示曝光時間越長。
如圖3所示，存在例如於初次之1訊框期間t1之期間拍攝之短時間曝光圖像P1之DNN得分為80，長時間曝光圖像P2之DNN得分為60之情形。於該情形時，此時之攝像對象係曝光時間越長DNN得分越低之可能性較高。
因此，辨識結果決定部93於短時間曝光圖像較長時間曝光圖像更高分之情形時(步驟S1)，進行縮短於下1訊框期間內拍攝之短時間曝光圖像及長時間曝光圖像之曝光時間的曝光時間調整(步驟S2)。
例如，辨識結果決定部93將下一次拍攝之短時間曝光圖像P3之曝光時間自20行縮短為10行，將下一次拍攝之長時間曝光圖像P4之曝光時間自50行縮短為40行。藉此，辨識結果決定部93可將下一次拍攝之短時間曝光圖像之DNN得分自例如80提高至85，且可將下一次拍攝之長時間曝光圖像之DNN得分自60提高至70。
又，辨識結果決定部93於長時間曝光圖像較短時間曝光圖像更高分之情形時，進行延長於下1訊框期間拍攝之短時間曝光圖像及長時間曝光圖像之曝光時間的曝光時間調整。
另，若曝光時間過長，或過短，則有時辨識結果決定部93會使DNN得分下降。因此，辨識結果決定部93重複上述之曝光時間調整直至DNN得分落在最高值為止。
例如如圖4所示，辨識結果決定部93於初次以20行之曝光時間拍攝之圖像之DNN得分為50，且第2次將曝光時間延長至30行拍攝之圖像之DNN得分上升至60之情形時，進一步延長第3次曝光時間。
辨識結果決定部93於第3次將曝光時間延長至40行拍攝之圖像之DNN得分上升至70之情形時，第4次將曝光時間延長至50行拍攝圖像。且，辨識結果決定部93於將第4次拍攝之圖像之DNN得分上升至80之情形時，第5次將曝光時間延長至60行拍攝圖像。
此時，辨識結果決定部93於第5次拍攝之圖像之DNN得分降低至60之情形時，判定為以50行之曝光時間拍攝之圖像之DNN得分即80為DNN得分之最高值。
且，辨識結果決定部93於第6次將曝光時間縮短至50行拍攝圖像。其結果，第6次拍攝之圖像之DNN得分上升至最高值之80。隨後，辨識結果決定部93以攝像圖像之DNN得分落在最高值即80之方式將曝光時間維持於50行而拍攝圖像。藉此，辨識部9後續可繼續導出DNN得分為最高值之可靠度較高之被攝體之辨識結果。
[1-4.辨識部執行之處理] 其次，參照圖5，對辨識部9執行之處理之一例進行說明。圖5係顯示揭示之第1實施形態之辨識部9執行之處理之一例之流程圖。辨識部9每當藉由攝像部4拍攝短時間曝光圖像及長時間曝光圖像時，執行圖5所示之處理。
具體而言，辨識部9當藉由攝像部4拍攝短時間曝光圖像及長時間曝光圖像時，自攝像部4取得短時間曝光圖像之圖像資料(步驟S101)，對短時間曝光圖像之圖像資料進行DNN處理(步驟S102)。
又，辨識部9與步驟S101、S102之處理並行地，自攝像部4取得長時間曝光圖像之圖像資料(步驟S103)，對長時間曝光圖像之圖像資料進行DNN處理(步驟S104)。
其次，於辨識部9中，基於短時間曝光圖像之圖像資料之DNN處理結果即被攝體之辨識結果資訊D1、與長時間曝光圖像之圖像資料之DNN處理結果即被攝體之辨識結果資訊D2，辨識被攝體(步驟S105)。
隨後，辨識部9將成為被攝體之辨識結果之最終辨識結果資訊D3經由通信I/F8向AP3輸出(步驟S106)。接著，辨識部9根據辨識結果資訊D1、D2所含之DNN得分，進行使攝像部4拍攝之圖像之曝光時間調整(步驟S107)，並結束處理。
[1-5.圖像辨識裝置之變化例(1)] 其次，對圖像辨識裝置1之變化例(1)進行說明。變化例(1)之圖像辨識裝置與圖1所示之圖像辨識裝置1之不同點在於，辨識部並非具備第1DNN部91及第2DNN部92之2個DNN部，而具備1個DNN，除此以外之構成與圖1所示之圖像辨識裝置相同。
因此，此處，對於變化例(1)之圖像辨識裝置之全體構成，省略重複之說明，而參照圖6對變化例(1)之圖像辨識裝置之動作進行說明。又，此處，針對與圖2所示者為相同者，標註與圖2所示之符號同一之符號，省略重複之說明。
圖6係本揭示之第1實施形態之圖像辨識裝置1之變化例(1)之動作說明圖。如圖6所示，變化例(1)之DNN部90依拍攝之順序自攝像部4取得短時間曝光圖像與長時間曝光圖像。
且，DNN部90以取得1訊框期間內拍攝之短時間曝光圖像及長時間曝光圖像之圖像資料之順序按時間序列進行DNN處理而辨識被攝體。且，DNN部90將對短時間曝光圖像之圖像資料進行DNN處理而導出之辨識結果資訊D1、與對長時間曝光圖像之圖像資料進行DNN處理而導出之辨識結果資訊D2依序經由通信I/F8向AP3輸出。
如此，因變化例(1)之圖像辨識裝置根據不包含偽像之HDR合成前之短時間曝光圖像及長時間曝光圖像之圖像資料辨識被攝體，故可使映現於1訊框之圖像之被攝體之辨識精度提高。
又，因變化例(1)之圖像辨識裝置因辨識部具備1個DNN部90，故可簡化電路構成，藉此可減少製造成本。又，變化例(1)之圖像辨識裝置因DNN部90中使用1種DNN即可，故可削減DNN之設計所需之工夫、時間及成本。
[1-6.1-5.圖像辨識裝置之變化例(2)] 其次，對圖像辨識裝置1之變化例(2)進行說明。變化例(2)之圖像辨識裝置係攝像部中之受光部之構成與圖1所示之圖像辨識裝置1不同，除此以外之構成皆與圖1所示之圖像辨識裝置同樣。
因此，此處，針對變化例(2)之圖像辨識裝置之全體構成省略重複之說明，而參照圖7對變化例(2)之受光部41a之構成進行說明，參照圖8對變化例(2)之圖像辨識裝置之動作進行說明。又，此處，由於對與圖2所示者同一者，標註與圖2所示之符號同一之符號，而省略重複之說明。
圖7係本揭示之第1實施形態之圖像辨識裝置之變化例(2)具備之受光部41a之說明圖。圖8係第1實施形態之圖像辨識裝置之動作說明圖。另，於圖7顯示受光部41a之俯視圖、與以受光部41a之受光區域40中之虛線包圍之一部分之放大圖。
如圖7所示，受光部41a具備：光電轉換元件之小受光元件43，其係受光面積較小；及光電轉換元件之大受光元件44，其係受光面積較大。於受光部41a，沿縱橫方向交替配置例如小受光元件43、與大受光元件44。
該等小受光元件43及大受光元件44因受光面積不同，故於相同之時間曝光之情形時，進行光電轉換蓄積之電荷量不同。即，於曝光時間相同之情形時，小受光元件43較大受光元件44蓄積更少之電荷。
根據該受光部41a，可拍攝能以1次曝光同時拍攝模擬將小受光元件43群設為像素之短時間曝光圖像之第1圖像、與模擬將大受光元件44群設為像素之長時間曝光圖像之第2圖像的單次曝光HDR圖像。
藉此，如圖8所示，於變化例(2)之圖像辨識裝置中，將藉由攝像部於1訊框期間內拍攝之單次曝光HDR圖像所含之第1圖像向第1DNN部91輸入，同時，將第2圖像向第2DNN部92輸入。其結果，第1DNN部91及第2DNN部92可同時開始DNN處理，同時結束DNN處理。
因此，辨識結果決定部93無須如以時間差拍攝短時間曝光圖像與長時間曝光圖像之情形般，輸入第1DNN部91之辨識結果資訊D1後等待輸入第2DNN部92之辨識結果資訊D2。
因此，辨識結果決定部93可縮短導出最終辨識結果資訊D3所需之時間。另，變化例(2)之圖像辨識裝置於導出最終辨識結果資訊D3後，與圖2所示之圖像辨識裝置1之動作同樣，經由通信I/F8將最終辨識結果資訊D3向AP3輸出。
又，變化例(2)之圖像辨識裝置與圖1所示之圖像辨識裝置1同樣，由於根據不包含偽像之HDR合成前之第1圖像及第2圖像之圖像資料辨識被攝體，故可使映現於1訊框之圖像之被攝體之辨識精度提高。
(2.第2實施形態) 其次，參照圖9，對第2實施形態之圖像辨識裝置1a進行說明。圖9係顯示本揭示之第2實施形態之圖像辨識裝置1a之構成例之圖。另，此處，藉由對圖9所示之構成要素中之與圖1所示之構成要素同一之構成要素，標註與圖1所示之符號同一之符號，而省略詳細之說明。
如圖9所示，第2實施形態之圖像辨識裝置1a與圖1所示之圖像辨識裝置1之不同點在於，CIS2a不具備辨識部9，而AP3具備辨識部9，其他構成皆與圖1所示之圖像辨識裝置1相同。
CIS2a之攝像部4拍攝短時間曝光圖像與長時間曝光圖像，將短時間曝光圖像及長時間曝光圖像之圖像資料向HDR合成部5輸出，且亦經由通信I/F8向AP3輸出。
HDR合成部5將對短時間曝光圖像與長時間曝光圖像之圖像資料進行HDR合成產生之HDR圖像向記憶體6輸出。記憶體6記憶自HDR合成部5輸入之HDR圖像。圖像輸出部7僅於自AP3受理到請求取得HDR圖像之情形時，自記憶體6讀出HDR圖像之圖像資料並向AP3輸出。
AP3a之辨識部9進行與第1實施形態之辨識部9同樣之處理。具體而言，第1DNN部91藉由對經由通信I/F32自CIS2a輸入之短時間曝光圖像之圖像資料進行DNN處理，辨識短時間曝光圖像之被攝體，並將被攝體之辨識結果資訊D1向辨識結果決定部93輸出。
第2DNN部92藉由對經由通信I/F32自CIS2a輸入之長時間曝光圖像之圖像資料進行DNN處理，辨識長時間曝光圖像之被攝體，並將被攝體之辨識結果資訊D2向辨識結果決定部93輸出。
辨識結果決定部93基於自第1DNN部91輸入之辨識結果資訊D1、與自第2DNN部92輸入之辨識結果資訊D2，辨識1訊框之圖像所映現之被攝體。
例如，辨識結果決定部93導出包含DNN得分為特定值以上之被攝體、與被攝體之DNN得分之最終辨識結果資訊D3。接著，辨識結果決定部93向AP控制部31輸出。AP控制部31對藉由辨識部9辨識出之被攝體，進行對應於圖像辨識裝置1之用途之處理。
於第2實施形態之圖像辨識裝置1a中，辨識部9亦根據HDR合成前之不包含偽像之短時間曝光圖像及長時間曝光圖像之圖像資料之各者辨識被攝體，並基於辨識結果辨識映現於1訊框之圖像之被攝體。
藉此，圖像辨識裝置1a與根據包含偽像之HDR圖像辨識被攝體之情形相比，可使被攝體之辨識精度提高。另，第2實施形態之辨識部9之構成並非限定於圖9所示之構成者。
又，圖像辨識裝置1a於通常資訊處理能力高於CIS2a之AP3a側進行DNN處理辨識被攝體，故可縮短拍攝圖像後至導出被攝體之辨識結果所需之時間。
例如，第2實施形態之辨識部9亦可為與第1實施形態之變化例(1)之辨識部同樣之構成。又，第2實施形態之受光部41亦可為與第1實施形態之變化例(2)之受光部41a同樣之構成。
(3.對移動體之應用例) 本揭示之技術(本技術)可應用於各種製品。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、腳踏車、個人移動載具、飛機、無人機、船舶、機器人等任一種類之移動體之裝置而實現。
圖10係顯示可應用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例的方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖10所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface)12053。
驅動系統控制單元12010根據各種程式控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之制動裝置等控制裝置發揮功能。
車體系統控制單元12020根據各種程式控制車體所裝備之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙門禁系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈之控制裝置發揮功能。於該情形時，可對車體系統控制單元12020輸入自代替鑰匙之可攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，並控制車輛之門鎖裝置、電動窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛的外部資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收所拍攝之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等物體檢測處理或距離檢測處理。
攝像部12031係接受光並輸出對應於該光之受光量之電氣信號的光感測器。攝像部12031可將電氣信號作為圖像輸出，亦可作為測距之資訊輸出。又，攝像部12031接受之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或注意力集中程度，亦可判斷駕駛者是否在打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含避開車輛碰撞或緩和衝擊、基於車輛距離之追隨行駛、車速維持行駛、車輛之碰撞警告或車輛之車道偏離警告等之ADAS(Advanced Driver Assistance System：先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051可藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不依據駕駛者之操作而自律行駛之自動駕駛為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可根據由車外資訊檢測單元12030檢測出之前方車或對向車之位置控制頭燈，進行將遠光切換成近光等以謀求防眩為目的之協調控制。
聲音圖像輸出部12052將聲音及圖像中之至少一者之輸出信號發送至可對車輛之搭乘者或車外視覺性或聽覺性通知資訊之輸出裝置。於圖10之例中，作為輸出裝置，例示有聲頻揚聲器12061、顯示部12062及儀錶板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。
圖11係表示攝像部12031之設置位置之例之圖。
於圖11中，車輛12100具有作為攝像部12031之攝像部12101、12102、12103、12104、12105。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之前保險桿、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部等位置。前保險桿所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或後門所具備之攝像部12104主要取得車輛12100後方之圖像。以攝像部12101及12105取得之前方圖像主要用於檢測前方車輛或行人、障礙物、號誌機、交通標識或車道線等。
另，於圖11顯示攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設置於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或後門之攝像部12104之攝像範圍。例如，藉由將攝像部12101至12104所拍攝之圖像資料疊加，而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之攝影機，亦可為具有相位差檢測用像素之攝像元件。
例如，微電腦12051基於自攝像部12101至12104取得之距離資訊，求得攝像範圍12111至12114內至各立體物之距離、及該距離之時間變化(相對於車輛12100之相對速度)，藉此，可擷取尤其於車輛12100之行進路上某最近之立體物且在與車輛12100大致相同之方向以特定速度(例如為0 km/h以上)行駛之立體物，作為前方車。進而，微電腦12051可設定前方車之近前應預先確保之車間距離，進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起動控制)等。可如此進行以不依據駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051基於自攝像部12101至12104獲得之距離資訊，將立體物相關之立體物資料分類成二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物並擷取，用於障礙物之自動避開。例如，微電腦12051可將車輛12100周邊之障礙物辨識為車輛12100之駕駛者可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞危險性，碰撞危險性為設定值以上，有可能碰撞之狀況時，經由聲頻揚聲器12061或顯示部12062對駕駛者輸出警報，或經由驅動系統控制單元12010進行強制減速或避開轉向，藉此可進行用以避開碰撞之駕駛支援。
攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而辨識行人。該行人之辨識係根據例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之順序進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人且辨識為行人，則聲音圖像輸出部12052以對該辨識出之行人疊加顯示用以強調之方形輪廓線之方式，控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。
以上，已對可應用本揭示之技術之車輛控制系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之例如車外資訊檢測單元12030、攝像部12031、車內資訊檢測單元12040、及駕駛者狀態檢測部12041等。例如，圖1之圖像辨識裝置1可應用於車內資訊檢測單元12040及駕駛者狀態檢測部12041。藉由對車內資訊檢測單元12040及駕駛者狀態檢測部12041應用本揭示之技術，由於被攝體即駕駛者之辨識精度提高，故可更準確地檢測駕駛者之疲勞程度、注意力集中程度、及是否在打瞌睡等。
(4.效果) 圖像辨識裝置1具有攝像部4、與辨識部9。攝像部4於1訊框期間內拍攝感度不同之複數張圖像產生圖像資料。辨識部9自圖像資料之各者辨識被攝體，並基於被攝體之辨識結果，辨識映現於1訊框之圖像之被攝體。藉此，圖像辨識裝置1藉由根據不包含偽像之HDR合成前之圖像資料辨識被攝體，可使被攝體之辨識精度提高。
又，圖像辨識裝置1具有具備攝像部4與辨識部9之固體攝像裝置之一例即CIS2。藉此，圖像辨識裝置1可不自CIS2向外部輸出圖像資料，而於CIS2之內部辨識被攝體。因此，圖像辨識裝置1可減少CIS2之消耗電力，且保護被攝體之隱私及安全。
又，圖像辨識裝置1a具有具備攝像部4之固體攝像裝置之一例即CIS2a、與具備辨識部9之處理器之一例即AP3a。藉此，圖像辨識裝置1a可使被攝體之辨識精度提高，進而縮短至導出被攝體之辨識結果所需之時間。
又，辨識部9藉由使用DNN(Deep Neural Network)之DNN處理根據圖像資料之各者辨識被攝體。藉此，辨識部9可導出可靠性較高之被攝體之辨識結果。
又，辨識部9按時間序列對1訊框期間內拍攝之複數張圖像之圖像資料進行DNN處理而辨識被攝體。該辨識部9可藉由1種DNN根據複數張圖像辨識被攝體。藉此，圖像辨識裝置1可削減被攝體之辨識所用之DNN之設計所需之工夫、時間、及成本。
又，辨識部9對1訊框期間內拍攝之複數張圖像之圖像資料並行地進行DNN處理而辨識被攝體。藉此，辨識部9可縮短辨識被攝體之處理所需之時間。
又，辨識部9藉由使用依感度不同之每一圖像予以專門化之DNN的DNN處理而辨識被攝體。藉此，圖像辨識裝置1可高精度地辨識與HDR圖像同等之動態範圍之圖像中映現之被攝體。
又，攝像部4拍攝曝光時間不同之複數張圖像。藉此，藉此，圖像辨識裝置1可高精度地辨識與HDR圖像同等之動態範圍之圖像中映現之被攝體。
又，辨識部9根據被攝體之辨識結果之精度調整攝像部4之曝光時間。藉此，圖像辨識裝置1根據以適於辨識被攝體之曝光時間拍攝之圖像而辨識被攝體，藉此，可使被攝體之辨識結果進一步提高。
又，辨識部9重複攝像部4之曝光時間之調整，直至被攝體之辨識結果之精度落在最高值為止。藉此，圖像辨識裝置1根據以最適於辨識被攝體之曝光時間拍攝之圖像而辨識被攝體，藉此，可使被攝體之辨識結果更進一步地提高。
又，攝像部4藉由設置於受光區域40內之受光面積不同之受光元件即小受光元件43及大受光元件44拍攝複數張圖像。藉此，圖像辨識裝置1可高精度地辨識與HDR圖像同等之動態範圍之圖像中映現之被攝體。
固體攝像裝置之一例即CIS2具有攝像部4與辨識部9。攝像部4於1訊框期間內拍攝感度不同之複數張圖像而產生圖像資料。辨識部9根據圖像資料之各者辨識被攝體，基於被攝體之辨識結果，辨識映現於1訊框之圖像之被攝體。藉此，CIS2根據不包含偽像之HDR合成前之圖像資料辨識被攝體，藉此，可使被攝體之辨識精度提高。
圖像辨識方法於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料，根據圖像資料之各者辨識被攝體，基於被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。藉此，圖像辨識方法根據不包含偽像之HDR合成前之圖像資料辨識被攝體，藉此，可使被攝體之辨識精度提高。
另，本說明書所記載之效果僅為例示而非限定者，又可有其他效果。
另，本技術亦可取得如下之構成。 (1) 一種圖像辨識裝置，其具有： 攝像部，其於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料；及 辨識部，其根據上述圖像資料之各者辨識被攝體，基於上述被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。 (2) 如上述(1)記載之圖像辨識裝置，其具有： 固體攝像裝置，其具備上述攝像部與上述辨識部。 (3) 如上述(1)記載之圖像辨識裝置，其具有： 固體攝像裝置，其具備上述攝像部；及 處理器，其具備上述辨識部。 (4) 如上述(1)至(3)中任一項記載之圖像辨識裝置，其中 上述辨識部藉由使用DNN(Deep Neural Network)之DNN處理，根據上述圖像資料之各者辨識被攝體。 (5) 如上述(4)記載之圖像辨識裝置，其中 上述辨識部按時間序列對1訊框期間內拍攝之複數張圖像之圖像資料進行DNN處理而辨識上述被攝體。 (6) 如上述(4)記載之圖像辨識裝置，其中 上述辨識部對1訊框期間內拍攝之複數張圖像之圖像資料並行地DNN處理而辨識上述被攝體。 (7) 如上述(4)至(6)中任一項記載之圖像辨識裝置，其中 上述辨識部藉由使用依上述感度不同之每一圖像予以專門化之DNN的DNN處理而辨識被攝體。 (8) 如上述(1)至(7)中任一項記載之圖像辨識裝置，其中 上述攝像部拍攝曝光時間不同之上述複數張圖像。 (9) 如上述(8)記載之圖像辨識裝置，其中 上述辨識部根據上述被攝體之辨識結果之可靠度調整上述攝像部之上述曝光時間。 (10) 如上述(9)記載之圖像辨識裝置，其中 上述辨識部重複上述攝像部之上述曝光時間之調整，直至上述被攝體之辨識結果的可靠度落在最高值為止。 (11) 如上述(1)至(10)中任一項記載之圖像辨識裝置，其中 上述攝像部藉由設置於受光區域內之受光面積不同之受光元件拍攝上述複數張圖像。 (12) 一種固體攝像裝置，其具有： 攝像部，其於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料；及 辨識部，其根據上述圖像資料之各者辨識被攝體，基於上述被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。 (13) 一種圖像辨識方法，其係於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料，且 根據上述圖像資料之各者辨識被攝體，基於上述被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。
1:圖像辨識裝置 1a:圖像辨識裝置 2:CIS 2a:CIS 3:AP 3a:AP 4:攝像部 5:HDR合成部 6:記憶體 7:圖像輸出部 8:通信I/F 9:辨識部 10車輛 31:AP控制部 32:通信I/F 40:受光區域 41:受光部 41a:受光部 42:讀出部 43:小受光元件 44:大受光元件 90:DNN部 91:第1DNN部 92:第2DNN部 93:辨識結果決定部 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:聲頻揚聲器 12062:顯示部 12063:儀錶板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 D1:辨識結果資訊 D2:辨識結果資訊 D3:辨識結果資訊 P1:短時間曝光圖像 P2:長時間曝光圖像 P3:短時間曝光圖像 P4:長時間曝光圖像 S1:步驟 S2:步驟 S101～S107:步驟 t1:1訊框期間 t2:曝光時間 t3:曝光時間
圖1係顯示本揭示之第1實施形態之圖像辨識裝置之構成例之圖。 圖2係本揭示之第1實施形態之圖像辨識裝置之動作說明圖。 圖3係本揭示之第1實施形態之曝光時間調整方法之說明圖。 圖4係本揭示之第1實施形態之曝光時間調整方法之說明圖。 圖5係顯示本揭示之第1實施形態之辨識部進行之處理之一例之流程圖。 圖6係本揭示之第1實施形態之圖像辨識裝置之變化例(1)之動作說明圖。 圖7係本揭示之第1實施形態之圖像辨識裝置之變化例(2)具備之受光部之說明圖。 圖8係本揭示之第1實施形態之圖像辨識裝置之變化例(2)之動作說明圖。 圖9係顯示本揭示之第2實施形態之圖像辨識裝置之構成例之圖。 圖10係顯示車輛控制系統之概略構成之一例之方塊圖。 圖11係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
1:圖像辨識裝置
2:CIS
3:AP
4:攝像部
5:HDR合成部
6:記憶體
7:圖像輸出部
8:通信I/F
9:辨識部
31:AP控制部
32:通信I/F
41:受光部
42:讀出部
91:第1DNN部
92:第2DNN部
93:辨識結果決定部

Claims (13)

  1. 一種圖像辨識裝置，其具有： 攝像部，其於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料；及 辨識部，其根據上述圖像資料之各者辨識被攝體，基於上述被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。
  2. 如請求項1之圖像辨識裝置，其具有： 固體攝像裝置，其具備上述攝像部與上述辨識部。
  3. 如請求項1之圖像辨識裝置，其具有： 固體攝像裝置，其具備上述攝像部；及 處理器，其具備上述辨識部。
  4. 如請求項1之圖像辨識裝置，其中 上述辨識部藉由使用DNN(Deep Neural Network：深度神經網路)之DNN處理，根據上述圖像資料之各者辨識被攝體。
  5. 如請求項4之圖像辨識裝置，其中 上述辨識部按時間序列對1訊框期間內拍攝之複數張圖像之圖像資料進行DNN處理而辨識上述被攝體。
  6. 如請求項4之圖像辨識裝置，其中 上述辨識部對1訊框期間內拍攝之複數張圖像之圖像資料並行地進行DNN處理而辨識上述被攝體。
  7. 如請求項4之圖像辨識裝置，其中 上述辨識部藉由使用依上述感度不同之每一圖像予以專門化之DNN的DNN處理辨識被攝體。
  8. 如請求項1之圖像辨識裝置，其中 上述攝像部拍攝曝光時間不同之上述複數張圖像。
  9. 如請求項8之圖像辨識裝置，其中 上述辨識部根據上述被攝體之辨識結果之可靠度調整上述攝像部之上述曝光時間。
  10. 如請求項9之圖像辨識裝置，其中 上述辨識部重複上述攝像部之上述曝光時間之調整，直至上述被攝體之辨識結果的可靠度落在最高值為止。
  11. 如請求項1之圖像辨識裝置，其中 上述攝像部藉由設置於受光區域內之受光面積不同之受光元件拍攝上述複數張圖像。
  12. 一種固體攝像裝置，其具有： 攝像部，其於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料；及 辨識部，其根據上述圖像資料之各者辨識被攝體，基於上述被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。
  13. 一種圖像辨識方法，其於1訊框期間拍攝感度不同之複數張圖像而產生圖像資料，且 根據上述圖像資料之各者辨識被攝體，基於上述被攝體之辨識結果，辨識1訊框之圖像中映現之被攝體。
TW109114153A 2019-05-10 2020-04-28 圖像辨識裝置、固體攝像裝置及圖像辨識方法 TWI744876B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019089782A JP2020187409A (ja) 2019-05-10 2019-05-10 画像認識装置、固体撮像装置、および画像認識方法
JP2019-089782 2019-05-10

Publications (2)

Publication Number Publication Date
TW202101960A true TW202101960A (zh) 2021-01-01
TWI744876B TWI744876B (zh) 2021-11-01

Family

ID=73221764

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114153A TWI744876B (zh) 2019-05-10 2020-04-28 圖像辨識裝置、固體攝像裝置及圖像辨識方法

Country Status (6)

Country Link
US (1) US11805330B2 (zh)
EP (1) EP3968273A4 (zh)
JP (1) JP2020187409A (zh)
CN (1) CN113767395A (zh)
TW (1) TWI744876B (zh)
WO (1) WO2020230660A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770642B2 (en) 2021-12-14 2023-09-26 National Tsing Hua University Image sensor integrated with convolutional neural network computation circuit

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202143119A (zh) * 2020-05-07 2021-11-16 瑞典商安訊士有限公司 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
JPWO2022196217A1 (zh) * 2021-03-19 2022-09-22
JP7500527B2 (ja) * 2021-09-24 2024-06-17 キヤノン株式会社 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
WO2023218935A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム
CN117132863B (zh) * 2023-10-25 2023-12-22 罗普特科技集团股份有限公司 一种能够进行数据反馈的车辆系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3675246B2 (ja) 1999-08-13 2005-07-27 Ｋｄｄｉ株式会社 正誤答判定機能を有するニューラルネットワーク手段
JP4139641B2 (ja) 2002-07-19 2008-08-27 富士フイルム株式会社 固体撮像素子
JP2007235640A (ja) * 2006-03-02 2007-09-13 Fujifilm Corp 撮影装置及び方法
JP4492724B2 (ja) * 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2012235332A (ja) 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013172378A (ja) * 2012-02-22 2013-09-02 Ricoh Co Ltd 画像処理装置及び車両
US9292787B2 (en) * 2012-08-29 2016-03-22 Microsoft Technology Licensing, Llc Computer-implemented deep tensor neural network
JP2014103643A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法
US9665823B2 (en) * 2013-12-06 2017-05-30 International Business Machines Corporation Method and system for joint training of hybrid neural networks for acoustic modeling in automatic speech recognition
JP2015192222A (ja) * 2014-03-27 2015-11-02 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像制御方法
DE112016004361T5 (de) * 2015-09-24 2018-06-14 Sony Semiconductor Solutions Corp. Halbleiter-bildsensor und elektronische vorrichtung
US10289825B2 (en) 2016-07-22 2019-05-14 Nec Corporation Login access control for secure/private data
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP2018152777A (ja) 2017-03-14 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像装置および電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770642B2 (en) 2021-12-14 2023-09-26 National Tsing Hua University Image sensor integrated with convolutional neural network computation circuit

Also Published As

Publication number Publication date
US20220232182A1 (en) 2022-07-21
US11805330B2 (en) 2023-10-31
CN113767395A (zh) 2021-12-07
JP2020187409A (ja) 2020-11-19
EP3968273A4 (en) 2022-06-29
WO2020230660A1 (ja) 2020-11-19
EP3968273A1 (en) 2022-03-16
TWI744876B (zh) 2021-11-01

Similar Documents

Publication Publication Date Title
TWI744876B (zh) 圖像辨識裝置、固體攝像裝置及圖像辨識方法
JP6795030B2 (ja) 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
WO2020230636A1 (ja) 画像認識装置および画像認識方法
WO2020241336A1 (ja) 画像認識装置および画像認識方法
WO2020246186A1 (ja) 撮像システム
CN111434105A (zh) 固态成像元件、成像装置和固态成像元件的控制方法
US20240236519A1 (en) Imaging device, electronic device, and light detecting method
TW202129313A (zh) 攝像裝置
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program
WO2020230635A1 (ja) 撮像装置および撮像方法
CN114207472A (zh) 测量装置和测距装置
JPWO2020149094A1 (ja) 撮像装置、撮像システムおよび故障検出方法
WO2021002071A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022075065A1 (ja) 半導体装置、光学構造物
WO2021192459A1 (ja) 撮像装置
US20230062562A1 (en) Sensing system and distance measuring system
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus