TW202101959A - 圖像辨識裝置及圖像辨識方法 - Google Patents

圖像辨識裝置及圖像辨識方法 Download PDF

Info

Publication number
TW202101959A
TW202101959A TW109114004A TW109114004A TW202101959A TW 202101959 A TW202101959 A TW 202101959A TW 109114004 A TW109114004 A TW 109114004A TW 109114004 A TW109114004 A TW 109114004A TW 202101959 A TW202101959 A TW 202101959A
Authority
TW
Taiwan
Prior art keywords
image
subject
image data
recognition
imaging
Prior art date
Application number
TW109114004A
Other languages
English (en)
Other versions
TWI800722B (zh
Inventor
奥池和幸
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202101959A publication Critical patent/TW202101959A/zh
Application granted granted Critical
Publication of TWI800722B publication Critical patent/TWI800722B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本揭示之圖像辨識裝置(圖像辨識系統100)具有攝像部(10)、與辨識部(14)。攝像部(10)使用感度不同之攝像像素，在1訊框期間內於同一曝光開始時序，拍攝複數張圖像並產生圖像資料。辨識部(14)根據圖像資料之各者辨識被攝體。攝像部(10)具有將曝光時間、彩色濾光片之透光率、或受光面積不同之複數個攝像像素2維排列的像素陣列。

Description

圖像辨識裝置及圖像辨識方法
本揭示關於一種圖像辨識裝置及圖像辨識方法。
有一種攝像裝置，其具備藉由於1訊框期間拍攝感度不同之複數張圖像並合成而產生HDR(High Dynamic Range：高動態範圍)圖像之HDR攝像模式，且根據HDR圖像辨識被攝體(例如，參照專利文獻1)。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2014-103643號公報
[發明所欲解決之問題]
然而，於上述先前技術中，有時被攝體之辨識精度降低。因此，於本揭示中，提案一種可提高被攝體之辨識精度之圖像辨識裝置及圖像辨識方法。 [解決問題之技術手段]
本揭示之圖像辨識裝置具有攝像部與辨識部。攝像部使用感度不同之攝像像素，在1訊框期間內，於同一曝光開始時序拍攝複數張圖像並產生圖像資料。辨識部自上述圖像之各者資料辨識被攝體。
於以下，基於圖式詳細說明本揭示之實施形態。另，於以下各實施形態中，藉由對同一部位附註同一符號而省略重複之說明。
(1.第1實施形態) [1-1.第1實施形態之圖像辨識方法之概要] 首先，對本揭示之圖像辨識方法之概要進行說明。於本揭示之圖像辨識方法中，使用感度不同之攝像像素，在1訊框期間內，於同一曝光開始時序拍攝複數張圖像而產生圖像資料，並根據圖像資料之各者辨識被攝體。
於拍攝複數張圖像時，使用拍攝HDR(High Dynamic Range)圖像所用之像素陣列。圖1A係顯示本揭示之第1實施形態之像素陣列之說明圖。例如，如圖1A所示，拍攝HDR圖像所用之像素陣列A1係將高感度攝像像素與低感度攝像像素每2行交替2維排列。
於配置高感度攝像像素及低感度攝像像素之區域，拜耳排列有分別接受紅色光之攝像像素R、接受綠色光之攝像像素Gr、Gb、接受藍色光之攝像像素B。另，於以下，存在將與自攝像像素R、Gr、Gb、B輸出之受光量相應之信號記載為信號R、Gr、Gb、B或像素信號R、Gr、Gb、B之情形。
另，攝像像素Gr為設置於配置攝像像素R之行且接受綠色光之攝像像素。攝像像素Gb為設置於配置攝像像素B之行且接受綠色光之攝像像素。高感度攝像像素及低感度攝像像素之受光面積完全相同且同時開始曝光，但曝光時間不同。
此處之高感度攝像像素為曝光時間較通常更長之攝像像素，即便於周圍較暗之情形，亦可獲得足夠之受光量。藉此，即便如亮度過低且於通常曝光時間內發黑之被攝體，高感度攝像像素亦可拍攝清晰映現被攝體之像之高感度圖像。
又，此處之低感度攝像像素為曝光時間較通常更短之攝像像素，且即便周圍較亮之情形，亦不會飽和。藉此，即便為亮度過高且於通常曝光時間內發白之被攝體，低感度攝像像素亦可拍攝清晰映現被攝體之圖之低感度圖像。
HDR圖像藉由將上述之高感度圖像與低感度圖像進行HDR合成而產生。因此，HDR圖像為清晰映現較暗之被攝體至較亮之被攝體之全體被攝體之圖像的圖像。
另，於圖1A所示之像素陣列A1中，藉由使曝光時間不同，而使受光面積相同之攝像像素作為高感度攝像像素或低感度攝像像素發揮功能，但此為一例。例如，像素陣列A1藉由使積層於各攝像像素之彩色濾光片之透光率不同，即便將曝光時間設為相同，亦可使各攝像像素作為高感度攝像像素或低感度攝像像素發揮功能。
於該情形時，於像素陣列A1中，積層有透光率較高之彩色濾光片之攝像像素為高感度攝像像素，積層有透光率較低之彩色濾光片之攝像像素為低感度攝像像素。藉由該像素陣列A1，因可同時拍攝高感度圖像及低感度圖像，故藉由將兩圖像HDR合成，可拍攝HDR圖像。另，像素陣列A1藉由調整積層於攝像像素之彩色濾光片之透光性，亦可設置中間度攝像像素。
又，藉由使攝像像素之受光面積不同，亦可使彩色濾光片之透光性及曝光時間相同之攝像像素作為高感度攝像像素或低感度攝像像素發揮功能。圖1B係顯示本揭示之第1實施形態之另一像素陣列之說明圖。
如圖1B所示，像素陣列A2具備拜耳排列之受光面積較大之攝像像素R、Gr、Gb、B、及配置於受光面積較大之各攝像像素R、Gr、Gb、B之四個角部之受光面積較窄之攝像像素R、Gr、Gb、B。受光面積較窄之攝像像素R、Gr、Gb、B各者之配置為與拜耳排列相同之配置。
於像素陣列A2中，彩色濾光片之透光性及曝光時間相同之情形時，受光面積較大之攝像像素R、Gr、Gb、B之受光量多於受光面積較窄之攝像像素R、Gr、Gb、B之受光量。
因此，受光面積較大之攝像像素R、Gr、Gb、B為高感度攝像像素，受光面積較窄之攝像像素R、Gr、Gb、B為低感度攝像像素。藉由該像素陣列A2，因可拍攝高感度圖像及低感度圖像，故藉由將兩圖像進行HDR合成，亦可拍攝HDR。
此處，作為根據圖像資料辨識被攝體之方法之一例，有使用DNN(Deep Neural Network：深度神經網路)之圖像辨識方法。DNN係為根據圖像資料辨識被攝體之特徵(圖案)而藉由機械學習設計之以人類之腦神經回路(神經網絡)為模型之多階層構造的演算法。
圖2A係顯示一般DNN之使用例之說明圖。例如，於根據HDR圖像辨識被攝體之情形時，如圖2A所示，若向DNN輸入HDR合成後之HDR圖像中各像素之信號R、G、B(HDR圖像之圖像資料)，則自DNN輸出被攝體之辨識結果。
然而，藉由對HDR圖像進行HDR合成，有時會映入實際不存在之偽像。因此，若向DNN輸入HDR圖像中之各像素之信號R、G、B，則因偽像之弊害，有時會降低DNN對被攝體之辨識精度。
因此，於本揭示中，藉由根據HDR合成前之高感度圖像及低感度圖像之各者辨識被攝體，而排除偽像之影響，提高被攝體之辨識精度。圖2B係顯示本揭示之第1實施形態之DNN之使用例之說明圖。
如圖2B所示，於本揭示中，例如向DNN輸入自高感度攝像像素輸出之高感度信號R、Gr、Gb、B(高感度圖像之圖像資料)及自低感度攝像像素輸出之低感度信號R、Gr、Gb、B(低感度圖像之圖像資料)。
藉此，DNN輸出根據高感度圖像辨識之被攝體之辨識結果、與根據低感度圖像辨識之被攝體之辨識結果。此時，DNN係因根據未含偽像之高感度圖像及低感度圖像而辨識被攝體，故可不受偽像影響地輸出高精度之被攝體之辨識結果。
如此，本揭示之圖像辨識方法係由於可使用感度不同之攝像像素，於1訊框期間內，於同一曝光開始時序拍攝複數張圖像並產生圖像資料，且根據圖像資料之各者辨識被攝體，故可提高被攝體之辨識精度。
[1-2.第1實施形態之圖像辨識系統之構成] 其次，參照圖3說明第1實施形態之圖像辨識系統之構成。圖3係顯示本揭示之第1實施形態之圖像辨識系統之構成例之圖。如圖3所示，第1實施形態之圖像辨識系統100具有圖像辨識裝置之一例即影像感測器1、及應用處理器(以下記載為AP2)。
影像感測器1具備攝像部10、信號處理部13、辨識部14、資料發送判斷部15、選擇器(以下記載為SEL16)、及發送部17。攝像部10具備攝像元件11、及A/D(Analog/Digital：類比/數位)轉換部12。
攝像元件11具備例如圖1B所示之像素陣列A2。另，攝像元件11亦可為圖1A所示之具備受光面積相同且曝光時間不同之攝像像素的像素陣列A1，又可為具備受光面積及曝光時間相同且積層之彩色濾光片之透光性不同之攝像像素的像素陣列。
於以下，有將像素陣列A2具備之受光面積較大之攝像像素稱為大像素，將受光面積較窄之攝像像素稱為小像素的情形。攝像元件11以相同之曝光開始時序及相同之曝光時間對大像素與小像素進行曝光，同時拍攝高感度圖像及低感度圖像。
且，攝像元件11自各大像素及小像素向A/D轉換部12輸出與受光量相應之類比之像素信號。A/D轉換部12將自攝像元件11輸入之類比之像素信號A/D轉換為數位之像素信號，並產生高感度圖像之圖像資料與低感度圖像之圖像資料，且向信號處理部13輸出。
信號處理部13包含具有CPU(Central Processing Unit：中央處理單元)、ROM(Read Only Memory：唯讀記憶體)、RAM(Random Access Memory：隨機存取記憶體)等之微電腦或各種電路。
信號處理部13對自A/D轉換部12輸入之高感度圖像之圖像資料、與低感度圖像之圖像資料，分別執行特定之信號處理，並向辨識部14與SEL16輸出信號處理後之高感度圖像之圖像資料及低感度圖像之圖像資料。
此處，參照圖4對信號處理部13執行之處理流程進行說明。圖4係本揭示之第1實施形態之信號處理部執行之處理之說明圖。如圖4所示，信號處理部13對輸入之圖像資料，首先進行陰影修正，繼而進行混色修正。
其後，信號處理部13對圖像資料進行數位增益調整，繼而進行白平衡增益調整。其後，信號處理部13對圖像資料進行解馬賽克後，最後進行伽馬修正，並輸出伽馬修正後之圖像資料。
另，解馬賽克時，進行藉由周圍之像素顏色插補高感度圖像及低感度圖像之各像素之顏色的處理。因此，解馬賽克前之高感度圖像及低感度圖像之圖像資料為4種像素信號R、Gr、Gb、B，去解賽克後之圖像資料為3種像素信號R、G、B。
回到圖3，辨識部14包含具有CPU、ROM、RAM等之微電腦或各種電路。辨識部14具備：物體辨識部31，其藉由使CPU將RAM作為作業區域使用並執行記憶於ROM之物體辨識程式而發揮功能；及物體辨識用資料記憶部32，其設置於RAM或ROM。
於物體辨識用資料記憶部32記憶有複數個DNN。例如，於物體辨識用資料記憶部32，記憶有根據高感度圖像之圖像資料辨識物體之DNN、及根據低感度圖像之圖像資料辨識物體之DNN。另，於物體辨識用資料記憶部32記憶有按辨識對象之物體種類而分之DNN。
物體辨識部31自物體辨識用資料記憶部32讀出與設定之辨識對象之種類相應之DNN，且向DNN輸入圖像資料向資料發送判斷部15輸出自DNN輸出之被攝體之辨識結果，並向SEL16輸出辨識結果之元資料。
此處，參照圖5A及圖5B，對辨識部14進行之處理流程進行說明。圖5A及圖5B係本揭示之第1實施形態之辨識部執行之處理之說明圖。如圖5A所示，辨識部14首先配合DNN用之尺寸及輸入值將欲輸入之圖像資料之尺寸及輸入值正規化，並向DNN輸入正規化後之圖像資料而進行物體辨識。接著，辨識部14向資料發送判斷部15輸出自DNN輸出之被攝體之辨識結果，且向SEL16輸出辨識結果之元資料。
此時，如圖5B所示，辨識部14向DNN輸入大像素之像素信號R、G、B、及小像素之像素信號R、G、B。此，辨識部14藉由根據無偽像之高感度圖像及低感度圖像之各者辨識被攝體，而可提高被攝體之辨識精度。
回到圖3，資料發送判斷部15根據自辨識部14輸入之辨識結果，向SEL16輸出對自SEL16輸出之資料進行切換的控制信號。資料發送部15於藉由辨識部14辨識出被攝體之情形時，向SEL16輸出使圖像資料與表示辨識結果之元資料輸出至發送部17的控制信號。
又，資料發送判斷部15於未藉由辨識部14辨識出被攝體之情形，向SEL16輸出使表示該主旨之資訊(無資料)輸出至發送部17的控制信號。SEL16根據自資料發送判斷部15輸入之控制信號，向發送部17輸出圖像資料及元資料組或無資料之任一者。
發送部17為與AP2間進行資料通信之通信I/F(介面)，且向AP2發送自SEL16輸入之圖像資料及元資料組或無資料之任一者。
AP2包含具有執行與圖像辨識系統100之用途相應之各種應用程式之CPU、ROM、RAM等的微電腦或各種電路。AP2具備接收部21、認證部22、及認證用資料記憶部23。
於認證用資料記憶部23記憶有用以認證由影像感測器1辨識之被攝體的認證用程式及認證用圖像資料等。接收部21為與影像感測器1之間進行資料通信之通信I/F。接收部21自影像感測器1接收圖像資料及元資料組或無資料之任一者並向認證部22輸出。
認證部22於自接收部21輸入無資料之情形，不啟動，於被輸入圖像資料及元資料組之情形啟動。若認證部22啟動，則自認證用資料記憶部23讀出認證用程式並執行，以認證由影像感測器1辨識之被攝體。
例如，認證部22於被輸入表示被攝體為人之元資料與圖像資料組之情形時，進行對照圖像資料與人之認證用圖像資料，特定所辨識之人是誰的處理等。
此時，認證部22基於由影像感測器1高精度辨識出被攝體為人之無偽像影響之高感度圖像及低感度圖像之圖像資料特定人，藉此可確實地特定所辨識之人是誰。另，上述之第1實施形態為一例，可進行各種變化。其次，對第1實施形態之變化例進行說明。
[1-3.第1實施形態之影像感測器之變化例] 圖6係顯示本揭示之第1實施形態之信號處理部執行之處理之變化例的說明圖。圖7係顯示本揭示之第1實施形態之DNN使用例之變化例之說明圖。
如圖6所示，變化例之信號處理部對輸入之圖像資料進行陰影修正、混色修正、數位增益調整、白平衡增益調整、及伽馬修正，且將信號處理後之圖像資料輸出至辨識部14、與SEL16。
如此，信號處理部可自圖4所示之信號處理省略解馬賽克。於該情形時，辨識部14根據未執行解馬賽克之圖像資料辨識被攝體。如上所述，未執行解馬賽克之高感度圖像及低感度圖像之圖像資料為4種像素信號R、Gr、Gb、B。
因此，如圖7所示，辨識部14向DNN輸入大像素之像素信號R、Gr、Gb、B、與小像素之像素信號R、Gr、Gb、B。該情形時，辨識部14因DNN之輸入通道數增加，故處理量增加，但於DNN中，因個別地輸入高感度圖像及低感度圖像之圖像資料，故可不受偽像影響而高精度地辨識被攝體。
另，於其他變化例中，亦可省略信號處理部自身。該情形時，與圖7所示之例同樣，辨識部14因向DNN輸入大像素之像素信號R、Gr、Gb、B、與小像素之像素信號R、Gr、Gb、B，故處理量增加，但作為影像感測器1全體之處理量大幅減少，且減少量為未進行信號處理之量。
另，於第1實施形態中，資料發送判斷部15於辨識出被攝體之情形時，每次皆使辨識結果之元資料與圖像資料輸出至SEL16，但可根據電池餘量選擇自SEL16輸出之資料。
例如，資料發送判斷部15於藉由辨識部14辨識出被攝體之情形時，於電池餘量充足之通常模式下，使元資料與圖像資料自SEL16輸出。又，資料發送判斷部15於電池餘量不足之低耗電模式下，僅使元資料自SEL16輸出。藉此，資料發送判斷部15於電池餘量不足之情形時，可將影像感測器1之電力消耗抑制為較低。
[1-4.第1實施形態之圖像辨識系統之變化例] 其次，參照圖8，說明第1實施形態之圖像辨識系統之變化例。圖8係顯示本揭示之第1實施形態之圖像辨識系統之變化例的說明圖。
於上述圖像辨識系統100中，影像感測器1根據高感度圖像與低感度圖像辨識被攝體，但於變化例之圖像辨識系統100a中，自影像感測器1a對AP2a發送高感度圖像及低感度圖像，並由AP2進行被攝體辨識。
具體而言，如圖8所示，變化例之圖像辨識系統100a之影像感測器1a拍攝高感度圖像及低感度圖像，且向AP2a發送大像素之像素信號R、Gr、Gb、B、與小像素之像素信號R、Gr、Gb、B。
圖像辨識系統100a之AP2a具備DNN，且向DNN輸入自影像感測器1a接收之大像素之像素信號R、Gr、Gb、B、與小像素之像素信號R、Gr、Gb、B。藉此，AP2a可不受偽像之影響，而根據高感度圖像及低感度圖像高精度地辨識被攝體。
[1-5.第1實施形態之影像感測器執行之處理之第1具體例] 其次，參照圖9及圖10，說明第1實施形態之影像感測器執行之處理之第1具體例。
另，此處，將影像感測器1作為具備圖1A所示之攝像像素之受光面積相同且曝光時間不同之像素陣列A1者，且將曝光時間較長之攝像像素稱為長時間曝光像素，將曝光時間較短之攝像像素稱為短時間曝光像素來進行說明。
又，此處，參照圖9說明影像感測器1根據圖像辨識人時之動作之概要後，參照圖10說明影像感測器1執行之處理之第1具體例。
圖9係顯示本揭示之第1實施形態之影像感測器之第1動作例之說明圖。圖10係顯示本揭示之第1實施形態之影像感測器1執行之處理之第1具體例的流程圖。
如圖9所示，影像感測器1首先拍攝映現出人P之全尺寸圖像D1，且將全尺寸圖像D1藉由像素合併，產生使解析度降低為例如4分之1之第1DNN輸入圖D2。
接著，影像感測器1於從第1DNN輸入圖D2辨識出人P之情形時，自未進行像素合併之全尺寸圖像D1切出人P之部分並產生第2DNN輸入圖D3。
具體而言，如圖9所示，影像感測器1首先以感測器設定1產生第1DNN輸入圖D2之圖像資料(步驟S101)。此處，感測器設定1為低AD位元(ex.4位元)、像素合併(ex.H4V4)、僅使用長時間曝光像素、切出(ex.無)、低FPS(ex.1 fps)。
該情形時，影像感測器1僅使用長時間曝光像素，以1 fps之訊框率拍攝全尺寸圖像D1，並將全尺寸圖像D1之像素信號以4位元進行類比數位轉換。其後，影像感測器1藉由像素合併使全尺寸圖像D1之解析度降低至4分之1，且不進行圖像切出地產生第1DNN輸入圖D2。
繼而，影像感測器1向DNN輸入第1DNN輸入圖D2之圖像資料，並執行第1DNN(步驟S102)。此時，影像感測器1以低精度(accuracy)進行人或物體之檢測。其後，影像感測器1進行是否檢測出人或物體的判定(步驟S103)。
接著，影像感測器1於判定為未檢測出人或物體之情形(步驟S103，否(No))，將處理移行至步驟S102。又，影像感測器1於判定為檢測出人或物體之情形(步驟S103，是(Yes))，將處理移行至步驟S104。
於步驟S104中，影像感測器1以感測器設定2產生第2DNN輸入圖D3之圖像資料。此處，感測器設定2為高AD位元(ex.10位元)、像素合併(ex.無)、使用長/短時間曝光像素、切出(ex.被攝體附近)、高FPS(ex.30 fps)。
此時，影像感測器1使用長時間曝光像素及短時間曝光像素，以30 fps之訊框率拍攝全尺寸圖像D1，且將全尺寸圖像D1之像素信號以10位元進行類比數位轉換。其後，影像感測器1不使全尺寸圖像D1之解析度降低地自全尺寸圖像D1切出被攝體附近之部分而產生第2DNN輸入圖D3。
繼而，影像感測器1向DNN輸入第2DNN輸入圖D3之圖像資料並執行第2DNN(步驟S105)。此時，影像感測器1以高精度進行人認證或物體判別。其後，影像感測器1進行是否檢測出辨識對象即人或物體之判定(步驟S106)。
接著，影像感測器1於判定為未檢測出人或物體之情形時(步驟S106，否)，將處理移行至步驟S101。又，影像感測器1於判定為檢測出人或物體之情形(步驟S106，是)，向AP2進行AP啟動通知(步驟S107)，並結束處理。此時，影像感測器1例如以依據MIPI(Mobile Industry Processor Interface：移動產業處理器介面)規格之通信方式向AP2輸出圖像資料與被攝體之檢測(辨識)結果。
[1-6.第1實施形態之影像感測器執行之處理之第2具體例] 其次，參照圖11～圖13，說明第1實施形態之影像感測器執行之處理之第2具體例。
另，此處，亦將影像感測器1作為具備圖1A所示之攝像像素之受光面積相同且曝光時間不同之像素陣列A1者，且將曝光時間較長之攝像像素稱為長時間曝光像素，將曝光時間較短之攝像像素稱為短時間曝光像素進行說明。
又，此處，參照圖11說明影像感測器1根據圖像辨識前方車輛與號誌機時之動作之概要後，參照圖12，說明影像感測器1執行之處理之第2具體例，其後參照圖13說明第2具體例之作用效果。
圖11係顯示本揭示之第1實施形態之影像感測器之第2動作例之說明圖。圖12係顯示本揭示之第1實施形態之影像感測器1執行之處理之第2具體例之流程圖。圖13係本揭示之第1實施形態之影像感測器之第2動作例之作用效果之說明圖。
如圖11所示，影像感測器1首先拍攝映現出前方車輛C及號誌機S之全尺寸圖像D4，且不對全尺寸圖像D4進行利用像素合併降低解析度，而產生第1DNN輸入圖D5。
接著，影像感測器1於根據第1DNN輸入圖D5辨識出號誌機S之情形時，自全尺寸圖像D4切出號誌機S之部分而產生第2DNN輸入圖D6。又，影像感測器1於根據第1DNN輸入圖D5辨識出前方車輛C之情形時，自全尺寸圖像D4切出上述車輛之部分而產生第3DNN輸入圖D7。
具體而言，如圖12所示，影像感測器1首先以感測器設定1產生第1DNN輸入圖D5之圖像資料(步驟S201)。此處，感測器設定1為AD位元(ex.10位元)、像素合併(ex.無)、使用長/短時間曝光像素、切出(ex.無)、高FPS(ex.30 fps)。
該情形時，影像感測器1使用長時間曝光像素及短時間曝光像素，以30 fps之訊框率拍攝全尺寸圖像D4，並以10位元對全尺寸圖像D4之像素信號進行類比數位轉換。接著，影像感測器1不使全尺寸圖像D4之解析度降低且不進行圖像切出而產生第1DNN輸入圖D5。
繼而，影像感測器1向DNN輸入第1DNN輸入圖D5之圖像資料並執行第1DNN(步驟S202)。此時，影像感測器1以高精度進行物體之檢測。其後，影像感測器1進行是否檢測出物體之判定(步驟S203)。
接著，影像感測器1於判定未檢測到物體時(步驟S203，否)，將處理移至步驟S202。又，影像感測器1於判定檢測到物體之情形(步驟S203，是)，自檢測結果選擇適當之設定。
例如，影像感測器1於檢測(辨識)出號誌機S之情形，以感測器設定2產生第2DNN輸入圖D6之圖像資料(步驟S204)。此處，感測器設定2為低AD位元(ex.8位元)、像素合併(ex.無)、使用長時間曝光像素、切出(ex.被攝體附近)、高FPS(ex.60 fps)。
該情形時，影像感測器1使用長時間曝光像素，以60 fps之訊框率拍攝全尺寸圖像D4，並以8位元對全尺寸圖像D4之像素信號進行類比數位轉換。其後，影像感測器1不使全尺寸圖像D4之解析度降低地自全尺寸圖像D4切出被攝體(號誌機S)附近之部分而產生第2DNN輸入圖D6之圖像資料。
繼而，影像感測器1向DNN輸入第2DNN輸入圖D6之圖像資料並執行第2DNN(步驟S205)。此時，影像感測器1以高精度進行號誌機辨識與循跡。其後，影像感測器1將處理移行至步驟S208。
又，影像感測器1於檢測(辨識)出前方車輛C之情形時，以感測器設定3產生第3DNN輸入圖D7之圖像資料(步驟S206)。此處，感測器設定3為低AD位元(ex.8位元)、像素合併(ex.無)、使用短時間曝光像素、切出(ex.被攝體附近)、高FPS(ex.60 fps)。
該情形時，影像感測器1使用短時間曝光像素，以60 fps之訊框率拍攝全尺寸圖像D4，並以8位元對全尺寸圖像D4之像素信號進行類比數位轉換。其後，影像感測器1不使全尺寸圖像D4之解析度降低地自全尺寸圖像D4切出被攝體(前方車輛C)附近之部分而產生第3DNN輸入圖D7之圖像資料。
繼而，影像感測器1向DNN輸入第3DNN輸入圖D7之圖像資料並執行第3DNN(步驟S207)。此時，影像感測器1以高精度進行前方車輛辨識與循跡。其後，影像感測器1將處理移行至步驟S208。
於步驟S208中，影像感測器1進行是否檢測出辨識對象即號誌機S或前方車輛C之判定。接著，影像感測器1於判定為未檢測出號誌機S或前方車輛C之情形(步驟S208，否)，將處理移行至步驟S201。
又，影像感測器1於判定為檢測出號誌機S或前方車輛C之情形時(步驟S208，是)，向AP2進行ADAS(Advanced Driver Assistance System：先進駕駛輔助系統)通知(步驟S209)，並結束處理。此時，影像感測器1以例如依據MIPI規格之通信方式向AP2輸出圖像資料與被攝體之檢測(辨識)結果。
另，影像感測器1無須於每當辨識被攝體時，每次皆向AP2輸出圖像資料與被攝體之檢測(辨識)結果。例如，影像感測器1亦可僅於自AP2發出請求之情形時，向AP2輸出圖像資料與被攝體之檢測(辨識)結果。
影像感測器1可藉由執行上述處理，高精度地辨識號誌機S之狀態及前方車輛C之位置。具體而言，採用LED(Light Emitting Diode：發光二極體)之號誌機S以微小時間週期產生重複點亮與熄滅之閃爍。
因此，影像感測器1於以短時間曝光像素拍攝號誌機S之情形時，有時攝像圖像中之號誌機S熄滅。因此，影像感測器1為了防止因閃爍引起之被攝體之誤辨識，必須進行至少10 ms以上之曝光。另一方面，影像感測器1於例如前方車輛等不會產生閃爍之被攝體之情形時，為了抑制被攝體之模糊，需要將曝光時間設為較短。
因此，如圖13所示，影像感測器1對藉由長時間曝光像素拍攝之圖像資料執行號誌機辨識用之第2DNN，對藉由短時間曝光像素拍攝之圖像，執行前方車輛辨識用之第3DNN。
藉此，影像感測器1可不受閃爍影響而高精度辨識號誌機S之狀態，且可藉由抑制被攝體之模糊而高精度地辨識前方車輛C之位置。
(2.第2實施形態) 其次，對第2實施形態之圖像辨識系統進行說明。第2實施形態之圖像辨識系統與第1實施形態之不同點在於，影像感測器具備之像素陣列之構成、與影像感測器執行之處理，其他構成皆與第1實施形態同樣。因此，於以下，對與第1實施形態不同之點進行說明。
[2-1.第2實施形態之像素陣列] 圖14係顯示本揭示之第2實施形態之像素陣列之說明圖。圖14所示之像素陣列A3拜耳排列具備接受紅色光之4個像素L、M、M、S之攝像像素R、具備接受綠色光之4個像素L、M、M、S之攝像像素Gr、Gb、具備接受藍色光之4個像素L、M、M、S之攝像像素B。
像素L、M、M、S全體之受光面積相同，但曝光時間不同。像素L為長時間曝光像素。像素M為中時間曝光像素。像素S為短時間曝光像素。該像素陣列A3通常藉由自各像素輸出像素信號而作為解析度超高之像素陣列發揮功能。又，像素陣列A3於周圍變暗之情形時，將2個像素像素合併為1個像素，藉此作為於較暗之場所亦可映現被攝體之像素陣列發揮功能。
第2實施形態之影像感測器藉由像素陣列A3拍攝長時間曝光圖像、中時間曝光圖像、及短時間曝光圖像。且，影像感測器根據長時間曝光圖像、中時間曝光圖像、及短時間曝光圖像之各者辨識被攝體。
圖15係顯示本揭示之第2實施形態之DNN之使用例之說明圖。圖16係顯示本揭示之第2實施形態之DNN之另一使用例之說明圖。第2實施形態之影像感測器具備與圖3所示之影像感測器1相同之構成。
因此，如圖15所示，影像感測器向DNN輸入解馬賽克後之長時間曝光之像素信號R、G、B、中時間曝光之像素信號R、G、B、及短時間曝光之像素信號R、G、B。
自DNN輸出根據長時間曝光圖像、中時間曝光圖像、及短時間曝光圖像之各者辨識被攝體之辨識結果。藉此，影像感測器可根據無偽像之長時間曝光圖像、中時間曝光圖像、及短時間曝光圖像之各者，高精度地辨識高亮度、中亮度、及低亮度之被攝體。
又，第2實施形態之影像感測器與第1實施形態同樣，可省略解馬賽克，亦可省略信號處理部13之信號處理。該情形時，如圖16所示，影像感測器向DNN輸入未進行解馬賽克之長時間曝光之像素信號R、Gr、Gb、B、中時間曝光之像素信號R、Gr、Gb、B、及短時間曝光之像素信號R、Gr、Bb、B。
藉此，因DNN之輸入通道數增加，故處理量增加，但DNN中，因個別地輸入長時間曝光圖像、中時間曝光圖像、及短時間曝光圖像之圖像資料DNN，故可不受偽像影響而高精度地辨識被攝體。
[2-2.第2實施形態之影像感測器執行之處理之具體例] 其次，參照圖17說明第1實施形態之影像感測器執行之處理之具體例。此處，對影像感測器根據圖像辨識前方車輛與號誌機時執行之處理進行說明。
圖17係顯示本揭示之第2實施形態之影像感測器執行之處理之具體例之流程圖。第2實施形態之影像感測器產生與圖11所示之各圖像同樣之全尺寸圖像D4、第1DNN輸入圖D5、第2DNN輸入圖D6、及第3DNN輸入圖D7之圖像資料，但感測器設定1、2、3之內容與第1實施形態不同。
具體而言，如圖17所示，影像感測器首先以感測器設定1產生第1DNN輸入圖D5之圖像資料(步驟S301)。此處，感測器設定1為AD位元(ex.10位元)、像素合併(ex.無)、使用長/中/短時間曝光像素、切出(ex.無)、高FPS(ex.30 fps)。
該情形時，影像感測器使用長時間曝光像素、中時間曝光像素、及短時間曝光像素，以30 fps之訊框率拍攝全尺寸圖像D4，並以10位元對全尺寸像素D4之像素信號進行類比數位轉換。接著，影像感測器不使全尺寸圖像D4之解析度降低且不進行圖像切出而產生第1DNN輸入圖D5。
繼而，影像感測器向DNN輸入第1DNN輸入圖D5之圖像資料並執行第1DNN(步驟S302)。此時，影像感測器以高精度進行物體之檢測。其後，影像感測器進行是否檢測出物體之判定(步驟S303)。
接著，影像感測器於判定為未檢測出物體之情形時(步驟S303，否)，將處理移行至步驟S302。又，影像感測器於判定為檢測出物體之情形時(步驟S303，是)，自檢測結果選擇適當之設定。
例如，影像感測器於檢測(辨識)出號誌機S之情形時，以感測器設定2產生第2DNN輸入圖D6之圖像資料(步驟S304)。此處，感測器設定2為低AD位元(ex.8位元)、像素合併(ex.無)、使用中時間曝光像素、切出(ex.被攝體附近)、高FPS(ex.60 fps)。
該情形時，影像感測器使用中時間曝光像素，以60 fps之訊框率拍攝全尺寸圖像D4，並以8位元對全尺寸圖像D4之像素信號進行類比數位轉換。其後，影像感測器不使全尺寸圖像D4之解析度降低地自全尺寸圖像D4切出被攝體(號誌機S)附近之部分而產生第2DNN輸入圖D6之圖像資料。
繼而，影像感測器向DNN輸入第2DNN輸入圖D6之圖像資料並執行第2DNN(步驟S305)。此時，影像感測器以高精度進行號誌機辨識與循跡。其後，影像感測器將處理移行至步驟S308。
又，影像感測器於檢測(辨識)出前方車輛C之情形時，以感測器設定3產生第3DNN輸入圖D7之圖像資料(步驟S306)。此處，感測器設定3為低AD位元(ex.8位元)、像素合併(ex.無)、使用短時間曝光像素、切出(ex.被攝體附近)、高FPS(ex.60 fps)。
該情形時，影像感測器使用短時間曝光像素，以60 fps之訊框率拍攝全尺寸圖像D4，並以8位元對全尺寸圖像D4之像素信號進行類比數位轉換。其後，影像感測器不使全尺寸圖像D4之解析度降低地自全尺寸圖像D4切出被攝體(前方車輛C)附近之部分而產生第3DNN輸入圖D7之圖像資料。
繼而，影像感測器向DNN輸入第3DNN輸入圖D7之圖像資料並執行第3DNN(步驟S307)。此時，影像感測器以高精度進行前方車輛辨識與循跡。其後，影像感測器將處理移行至步驟S308。
於步驟S308中，影像感測器進行是否檢測出辨識對象即號誌機S或前方車輛C之判定。接著，影像感測器於判定為未檢測出號誌機S或前方車輛C之情形時(步驟S308，否)，將處理移行至步驟S301。
又，影像感測器於判定為檢測出號誌機S或前方車輛C之情形時(步驟S308，是)，向AP2進行ADAS通知(步驟S309)，並結束處理。
另，影像感測器1無須於每當辨識被攝體時，每次皆向AP2輸出圖像資料與被攝體之檢測(辨識)結果。例如，影像感測器1亦可僅於自AP2發出請求之情形時，向AP2輸出圖像資料與被攝體之檢測(辨識)結果。
如此，第2實施形態之影像感測器對藉由中時間曝光像素拍攝之圖像資料執行號誌機辨識用之第2DNN，對藉由短時間曝光像素拍攝之圖像執行前方車輛辨識用之第3DNN。
藉此，影像感測器1可不受閃爍影響而高精度辨識號誌機S之狀態，且可藉由抑制被攝體之模糊而高精度地辨識前方車輛C之位置。
[2-3.第2實施形態之另一像素陣列] 第2實施形態之像素陣列並非限定於圖14所示之像素陣列A3者。其次，參照圖18，說明採用其他像素陣列時之影像感測器之動作例。圖18係顯示採用本揭示之第2實施形態之另一像素陣列之影像感測器之動作例之說明圖。
影像感測器亦可採用圖18之右上方所示之像素陣列A4。像素陣列A4拜耳排列具備接受紅色光之4個像素M、M、M、S之攝像像素R、具備接受綠色光之4個像素M、M、M、S之攝像像素Gr、Gb、具備接受藍色光之4個像素M、M、M、S之攝像像素B。像素M、M、M、S全體之受光面積相同但曝光時間不同。像素M為中時間曝光像素。像素S為短時間曝光像素。
影像感測器於採用像素陣列A3時，按像素陣列A3之每像素M、M、M、S，獨立進行快門控制及像素信號之讀出控制。此處，如上所述，影像感測器為了正確辨識發生閃爍之號誌機之狀態，必須進行10 ms以上之長時間曝光。然而，若影像感測器以通常之像素於白天進行10 ms以上之長時間曝光，則有像素飽和之情形。
因此，影像感測器於採用像素陣列A3之情形，如圖18所示，例如，使3個中時間曝光像素M、M、M按時序順列依序進行各3.3 ms之中時間曝光。藉此，3個之各中時間曝光像素M、M、M未飽和。又，此時，影像感測器同時使短時間曝光像素S進行短時間曝光。
接著，影像感測器對中時間曝光圖像之各圖像資料執行號誌機辨識用之第2DNN，對短時間曝光圖像之圖像資料執行前方車輛辨識用之第3DNN。藉此，影像感測器可不受閃爍影響而高精度辨識號誌機之狀態，可藉由抑制被攝體之模糊而高精度辨識前方車輛之位置。
[2-4.第2實施形態之影像感測器之另一動作例] 其次，參照圖19說明第2實施形態之影像感測器之另一動作例。圖19係第2實施形態之影像感測器之另一動作例之說明圖。另，此處，將影像感測器作為具備圖14所示之像素陣列A3者進行說明。
其中，於圖19所示之像素陣列A3之長時間曝光像素L上設置低透光率之彩色濾光片，於中時間曝光像素M上設置中透光率之彩色濾光片，於短時間曝光像素S上設置高透光率之彩色濾光片。
於該構成之情形，如圖19所示，影像感測器使長時間曝光像素L長時間曝光來產生低感度圖像之圖像資料，並對低感度圖像之圖像資料執行號誌機辨認用之第2DNN。此時，長時間曝光像素L因積層有低透光率之彩色濾光片，故即便長時間曝光亦未飽和。藉此，影像感測器可不受閃爍影響而高精度地辨識號誌機之狀態。
又，影像感測器使中時間曝光像素M進行中時間曝光來產生中感度圖像，使短時間曝光像素S進行短時間曝光產生高感度圖像，並對中感度圖像及高感度圖像之圖像資料各者執行前方車輛辨識用之第3DNN。藉此，影像感測器可藉由抑制被攝體之晃動而高精度地辨識前方車輛之位置。
[3.對移動體之應用例] 本揭示之技術(本技術)可應用於多種製品。例如，本揭示之技術可作為搭載於汽車、電動汽車、油電混合汽車、機車、腳踏車、個人移動載具、飛機、無人機、船舶、機器人等任一種類之移動體之裝置而實現。
圖20係顯示可應用本揭示之技術之移動體控制系統之一例，即車輛控制系統之概略構成例的方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖20所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F (interface)12053。
驅動系統控制單元12010根據各種程式控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用於產生車輛之驅動力之驅動力產生裝置、用於將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之制動裝置等控制裝置而發揮功能。
車體系統控制單元12020根據各種程式控制車體所裝備之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙門禁系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈之控制裝置發揮功能。於該情形時，可對車體系統控制單元12020輸入自代替鑰匙之可攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，並控制車輛之門鎖裝置、電動窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛的外部資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收所拍攝之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等物體檢測處理或距離檢測處理。
攝像部12031係接受光並輸出與該光之受光量相應之電性信號的光感測器。攝像部12031可將電性信號作為圖像輸出，亦可作為測距之資訊輸出。又，攝像部12031接受之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或注意力集中程度，亦可判別駕駛者是否在打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含避開車輛碰撞或緩和衝擊、基於車間距離之追隨行駛、車速維持行駛、車輛之碰撞警告或車輛偏離車道之警告等之ADAS(Advanced Driver Assistance System)之功能為目的之協調控制。
又，微電腦12051可藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不依據駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可根據由車外資訊檢測單元12030檢測出之前方車或對向車之位置控制頭燈，進行將遠光切換成近光等之以謀求防眩為目的之協調控制。
聲音圖像輸出部12052將聲音及圖像中之至少一者之輸出信號發送至可對車輛之搭乘者或車外視覺性或聽覺性通知資訊之輸出裝置。於圖20之例中，作為輸出裝置，例示有聲頻揚聲器12061、顯示部12062及儀表板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。
圖21係顯示攝像部12031之設置位置之例之圖。
於圖21中，車輛12100具有作為攝像部12031之攝像部12101、12102、12103、12104、12105。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之前保險桿、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部等位置。前保險桿所裝備之攝像部12101及車廂內之擋風玻璃之上部所裝備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所裝備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或後門所裝備之攝像部12104主要取得車輛12100後方之圖像。以攝像部12101及12105取得之前方圖像主要用於檢測前方車輛或行人、障礙物、號誌機、交通標識或車道線等。
另，於圖21顯示攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設置於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或後門之攝像部12104之攝像範圍。例如，藉由使攝像部12101至12104所拍攝之圖像資料重疊，而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之攝影機，亦可為具有相位差檢測用像素之攝像元件。
例如，微電腦12051基於自攝像部12101至12104取得之距離資訊，求得攝像範圍12111至12114內之至各立體物之距離、及該距離之時間變化(相對於車輛12100之相對速度)，藉此可擷取尤其於車輛12100之行進路上某最近之立體物且在與車輛12100大致相同之方向以特定速度(例如為0 km/h以上)行駛之立體物，作為前方車。進而，微電腦12051可設定前方車之近前應預先確保之車間距離，進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起動控制)等。可如此地進行以不拘於駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051基於自攝像部12101至12104獲得之距離資訊，將立體物相關之立體物資料分類成二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物並擷取，用於障礙物之自動避開。例如，微電腦12051可將車輛12100周邊之障礙物辨識為車輛12100之駕駛者可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞危險性，碰撞危險性為設定值以上，有可能碰撞之狀況時，經由聲頻揚聲器12061或顯示部12062對駕駛者輸出警報或經由驅動系統控制單元12010進行強制減速或避開轉向，藉此可進行用以避免碰撞之駕駛支援。
攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而辨識行人。該行人之辨識根據例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之順序進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人且辨識為行人，則聲音圖像輸出部12052以對該辨識出之行人重疊顯示用以強調之方形輪廓線之方式，控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。
以上，對可應用本揭示之技術之車輛控制系統一例進行說明。本揭示之技術可應用於以上說明之構成中例如車外資訊檢測單元12030、攝像部12031、車內資訊檢測單元12040、及駕駛者狀態檢測部12041等。例如，圖3之影像感測器1可應用於攝像部12031。藉由將本揭示之技術應用於攝像部12031，例如，因可獲得更易看清之攝影圖像，故可減輕駕駛者之疲勞。
[4.效果] 圖像辨識裝置之一例即影像感測器1具有攝像部10與辨識部14。攝像部10使用感度不同之攝像像素，並於1訊框期間內於同一曝光開始時序拍攝複數張圖像並產生圖像資料。辨識部14根據圖像資料各者辨識被攝體。藉此，影像感測器1藉由排除偽像之影響，可提高被攝體之辨識精度。
又，攝像部10具有將受光面積相同且曝光時間不同之複數個攝像像素2維排列之像素陣列。藉此，影像感測器1可根據長時間曝光圖像與短時間曝光圖像，分別高精度地辨識被攝體。
又，攝像部10具有將受光面積相同且積層之彩色濾光片之透光率不同之複數個攝像像素2維排列之像素陣列。藉此，影像感測器1可根據高感度圖像與低感度圖像，分別高精度地辨識被攝體。
又，攝像部10具有將受光面積不同之複數個攝像像素2維排列之像素陣列。藉此，藉此，影像感測器1可根據大像素之像素信號與小像素之像素信號，分別高精度地辨識被攝體。
又，攝像部10具有將長時間曝光攝像像素、中時間曝光攝像像素、及短時間曝光攝像像素2維排列之像素陣列。藉此，影像感測器1可根據長時間曝光圖像、中時間曝光圖像、短時間曝光圖像分別高精度地辨識被攝體。
又，攝像部10具有將低感度攝像像素、中感度攝像像素、及高感度攝像像素2維排列之像素陣列。藉此，影像感測器1可根據高感度圖像、中間度圖像、低感度圖像分別高精度地辨識被攝體。
又，辨識部14於辨識出被攝體之情形時，向後段之裝置輸出被攝體之辨識結果及圖像資料，於未辨識出被攝體之情形時，向後段之裝置輸出表示其主旨之資訊。藉此，影像感測器1可於未辨識出被攝體之情形時，減少電力消耗。
又，辨識部14根據執行解馬賽克處理後之圖像資料辨識被攝體。藉此，影像感測器1例如藉由減少DNN之輸入通道數，可減少處理負荷，且高精度地辨識被攝體。
又，辨識部14根據未執行解馬賽克處理之圖像資料辨識被攝體。藉此，影像感測器1例如增加DNN之輸入通道數，可高精度地辨識被攝體。
辨識部根據自攝像部輸入之圖像資料辨識被攝體。藉此，影像感測器1因可省略信號處理，故可大幅減少處理負荷且高精度地辨識被攝體。
又，攝像部10於藉由辨識部14檢測出被攝體前，使用低感度之攝像像素，產生以低解析及低訊框率拍攝之圖像全體之圖像資料。攝像部10於藉由辨識部檢測出被攝體後，使用高感度之攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出被攝體之圖像資料。辨識部14於檢測被攝體前，辨識圖像資料中是否存在被攝體，於檢測出被攝體後，辨識被攝體為何者。藉此，影像感測器可減少直至檢測被攝體為止所需之處理負荷及電力消耗。
又，攝像部10於藉由辨識部14檢測出被攝體前，使用低感度之攝像像素及高感度之攝像像素，產生以高解析及高訊框率拍攝之圖像全體之圖像資料。攝像部10於藉由辨識部14檢測出之被攝體為號誌機之情形時，使用低感度之攝像像素，於被攝體為車輛時，使用高感度之攝像像素，並產生自以高解析度及高訊框率拍攝之圖像切出被攝體之圖像資料。辨識部14於檢測被攝體之前，進行根據圖像資料辨識被攝體之處理，於辨識出被攝體後，基於圖像資料進行與被攝體相應之辨識處理。藉此，影像感測器可正確地辨識產生閃爍之號誌機之狀態且高精度地辨識前方車輛之位置。
又，攝像部10於藉由辨識部14檢測被攝體前，使用長時間曝光攝像像素、中時間曝光攝像像素、及短時間曝光攝像像素，產生以高解析及高訊框率拍攝之圖像整體之圖像資料。攝像部10與藉由辨識部14檢測出之被攝體為號誌機之情形時，使用中時間曝光攝像像素，於被攝體為車輛之情形時，使用短時間曝光攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出被攝體之圖像資料。辨識部14於檢測被攝體之前，進行根據圖像資料辨識被攝體之處理，於辨識出被攝體後，基於圖像資料進行與被攝體相應之辨識處理。藉此，影像感測器可正確地辨識產生閃爍之號誌機之狀態且高精度地辨識前方車輛之位置。
又，圖像辨識方法使用感度不同之攝像像素，在1訊框期間內於同一曝光開始時序拍攝複數張圖像並產生圖像資料，且根據圖像資料之各者辨識被攝體。藉此，藉由排除偽像之影響，可提高被攝體之辨識精度。
另，本說明書記載之效果僅為例示而非限定者，亦可具有其他效果。
另，本技術亦可取得以下般構成。 (1) 一種圖像辨識裝置，其具有： 攝像部，其使用感度不同之攝像像素，在1訊框期間內於同一曝光開始時序拍攝複數張圖像並產生圖像資料；及 辨識部，其根據上述圖像資料之各者辨識被攝體。 (2) 如上述(1)記載之圖像辨識裝置，其中 上述攝像部具有將受光面積相同一曝光時間不同之複數個上述攝像像素2維排列之像素陣列。 (3) 如上述(1)記載之圖像辨識裝置，其中 上述攝像部具有將受光面積相同且積層之彩色濾光片之透光率不同之複數個上述攝像像素2維排列的像素陣列。 (4) 如上述(1)記載之圖像辨識裝置，其中 上述攝像部具有將受光面積不同之複數個上述攝像像素2維排列之像素陣列。 (5) 如上述(1)記載之圖像辨識裝置，其中 上述攝像部具有將長時間曝光攝像像素、中時間曝光攝像像素、及短時間曝光攝像像素2維排列的像素陣列。 (6) 如上述(1)記載之圖像辨識裝置，其中 上述攝像部具有將低感度攝像像素、中感度攝像像素、及高感度攝像像素2維排列之像素陣列。 (7) 如上述(1)～(6)中任一項記載之圖像辨識裝置，其中 上述辨識部於辨識出上述被攝體之情形時，向後段裝置輸出上述被攝體之辨識結果及上述圖像資料，於未辨識出上述被攝體之情形時，向後段裝置輸出表示其主旨之資訊。 (8) 如上述(1)～(6)中任一項記載之圖像辨識裝置，其中 上述辨識部根據執行解馬賽克處理後之上述圖像資料辨識上述被攝體。 (9) 如上述(1)～(6)中任一項記載之圖像辨識裝置，其中 上述辨識部根據未執行解馬賽克處理之上述圖像資料辨識上述被攝體。 (10) 如上述(1)～(6)中任一項記載之圖像辨識裝置，其中 上述辨識部根據自上述攝像部輸入之上述圖像資料辨識上述被攝體。 (11) 如上述(1)～(10)中任一項記載之圖像辨識裝置，其中 上述攝像部於藉由上述辨識部檢測出上述被攝體之前，使用低感度之上述攝像像素，產生以低解析及低訊框率拍攝之圖像全體之圖像資料，且 於藉由上述辨識部檢測出上述被攝體後，使用高感度之上述攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出上述被攝體之圖像資料，且 上述辨識部於檢測上述被攝體前，辨識上述圖像資料中是否存在上述被攝體，且於檢測出上述被攝體後，辨識上述被攝體為何者。 (12) 如上述(1)～(10)中任一項記載之圖像辨識裝置，其中 上述攝像部於藉由上述辨識部檢測出上述被攝體之前，使用低感度之上述攝像像素及高感度之上述攝像像素，產生以高解析及高訊框率拍攝之圖像全體之圖像資料， 於藉由上述辨識部檢測出之上述被攝體為號誌機之情形時，使用低感度之上述攝像像素，於上述被攝體為車輛之情形時，使用高感度之上述攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出上述被攝體之圖像資料，且 上述辨識部於檢測上述被攝體前，進行根據上述圖像資料辨識上述被攝體之處理，且於辨識出上述被攝體後，基於上述圖像資料進行與上述被攝體相應之辨識處理。 (13)如上述(5)記載之圖像辨識裝置，其中 上述攝像部於藉由上述辨識部檢測上述被攝體之前，使用上述長時間曝光攝像像素、上述中時間曝光攝像像素、及上述短時間曝光攝像像素，產生以高解析及高訊框率拍攝之圖像全體之圖像資料， 於藉由上述辨識部檢測出之上述被攝體為號誌機之情形時，使用上述中時間曝光攝像像素，於上述被攝體為車輛之情形時，使用上述短時間曝光攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出上述被攝體之圖像資料，且 上述辨識部於檢測上述被攝體前，進行根據上述圖像資料辨識上述被攝體之處理，於辨識出上述被攝體後，基於上述圖像資料進行與上述被攝體相應之辨識處理。 (14)一種圖像辨識方法，其使用感度不同之攝像像素，在1訊框期間內於同一曝光開始時序拍攝複數張圖像並產生圖像資料，且 根據上述各圖像資料之各者辨識被攝體。
1:影像感測器 1a:影像感測器 2:AP 2a:AP 10:攝像部 11:攝像元件 12:A/D轉換部 13:信號處理部 14:辨識部 15:資料發送判斷部 16:SEL 17:發送部 21:接收部 22:認證部 23:認證用資料記憶部 31:物體辨識部 32:物體辨識用資料記憶部 100:圖像辨識系統 100a:圖像辨識系統 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:聲頻揚聲器 12062:顯示部 12063:儀表板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 A1:像素陣列 A2:像素陣列 A3:像素陣列 A4:像素陣列 B:攝像像素 B:像素信號 C:前方車輛 D1:全尺寸圖像 D2:第1DNN輸入圖 D3:第2DNN輸入圖 D4:全尺寸圖像 D5:第1DNN輸入圖 D6:第2DNN輸入圖 D7:第3DNN輸入圖 G:像素信號 Gb:攝像像素 Gr:攝像像素 L:長時間曝光像素 M:中時間曝光像素 P:人 R:攝像像素 R:像素信號 S:短時間曝光像素 S:號誌機 S101～S107:步驟 S201～S209:步驟 S301～S309:步驟
圖1A係顯示本揭示之第1實施形態之像素陣列之說明圖。 圖1B係顯示本揭示之第1實施形態之另一像素陣列之說明圖。 圖2A係顯示一般DNN之使用例之說明圖。 圖2B係顯示本揭示之第1實施形態之DNN之使用例之說明圖。 圖3係顯示本揭示之第1實施形態之圖像辨識系統之構成例之圖。 圖4係本揭示之第1實施形態之信號處理部執行之處理之說明圖。 圖5A係本揭示之第1實施形態之辨識部執行之處理之說明圖。 圖5B係本揭示之第1實施形態之辨識部執行之處理之說明圖。 圖6係顯示本揭示之第1實施形態之信號處理部執行之處理之第1變化例的說明圖。 圖7係顯示本揭示之第1實施形態之DNN之使用例之變化例的說明圖。 圖8係顯示本揭示之第1實施形態之圖像辨識系統之變化例之說明圖。 圖9係顯示本揭示之第1實施形態之影像感測器之第1動作例之說明圖。 圖10係顯示本揭示之第1實施形態之影像感測器執行之處理之第1具體例的流程圖。 圖11係顯示本揭示之第1實施形態之影像感測器之第2動作例之說明圖。 圖12係顯示本揭示之第1實施形態之影像感測器執行之處理之第2具體例的流程圖。 圖13係本揭示之第1實施形態之影像感測器之第2動作例之作用效果之說明圖。 圖14係顯示本揭示之第2實施形態之像素陣列之說明圖。 圖15係顯示本揭示之第2實施形態之DNN之使用例之說明圖。 圖16係顯示本揭示之第2實施形態之DNN之另一使用例之說明圖。 圖17係顯示本揭示之第2實施形態之影像感測器執行之處理之具體例的流程圖。 圖18係顯示採用本揭示之第2實施形態之另一像素陣列之影像感測器之動作例的說明圖。 圖19係第2實施形態之影像感測器之另一動作例之說明圖。 圖20係顯示車輛控制系統之概略構成之一例之方塊圖。 圖21係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
1:影像感測器
2:AP
10:攝像部
11:攝像元件
12:A/D轉換部
13:信號處理部
14:辨識部
15:資料發送判斷部
16:SEL
17:發送部
21:接收部
22:認證部
23:認證用資料記憶部
31:物體辨識部
32:物體辨識用資料記憶部
100:圖像辨識系統

Claims (14)

  1. 一種圖像辨識裝置，其包含： 攝像部，其使用感度不同之攝像像素，在1訊框期間內於同一曝光開始時序，拍攝複數張圖像並產生圖像資料；及 辨識部，其根據上述圖像資料之各者辨識被攝體。
  2. 如請求項1之圖像辨識裝置，其中 上述攝像部包含將受光面積相同曝光時間不同之複數個上述攝像像素2維排列之像素陣列。
  3. 如請求項1之圖像辨識裝置，其中 上述攝像部包含將受光面積相同且積層之彩色濾光片之透光率不同之複數個上述攝像像素2維排列的像素陣列。
  4. 如請求項1之圖像辨識裝置，其中 上述攝像部包含將受光面積不同之複數個上述攝像像素2維排列之像素陣列。
  5. 如請求項1之圖像辨識裝置，其中 上述攝像部包含將長時間曝光攝像像素、中時間曝光攝像像素、及短時間曝光攝像像素2維排列的像素陣列。
  6. 如請求項1之圖像辨識裝置，其中 上述攝像部包含將低感度攝像像素、中感度攝像像素、及高感度攝像像素2維排列的像素陣列。
  7. 如請求項1之圖像辨識裝置，其中 上述辨識部於辨識出上述被攝體之情形時，向後段裝置輸出上述被攝體之辨識結果及上述圖像資料，於未辨識出上述被攝體之情形時，向後段裝置輸出表示其主旨之資訊。
  8. 如請求項1之圖像辨識裝置，其中 上述辨識部根據執行解馬賽克處理後之上述圖像資料，辨識上述被攝體。
  9. 如請求項1之圖像辨識裝置，其中 上述辨識部根據未執行解馬賽克處理之上述圖像資料，辨識上述被攝體。
  10. 如請求項1之圖像辨識裝置，其中 上述辨識部根據自上述攝像部輸入之上述圖像資料，辨識上述被攝體。
  11. 如請求項1之圖像辨識裝置，其中 上述攝像部於藉由上述辨識部檢測出上述被攝體前，使用低感度之上述攝像像素，產生以低解析及低訊框率拍攝之圖像全體之圖像資料，且 於藉由上述辨識部檢測出上述被攝體後，使用高感度之上述攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出上述被攝體之圖像資料，且 上述辨識部於檢測出上述被攝體前，辨識上述圖像資料中是否存在上述被攝體，且於檢測出上述被攝體後，辨識上述被攝體為何者。
  12. 如請求項1之圖像辨識裝置，其中 上述攝像部於藉由上述辨識部檢測出上述被攝體前，使用低感度之上述攝像像素及高感度之上述攝像像素，產生以高解析及高訊框率拍攝之圖像全體之圖像資料， 於藉由上述辨識部檢測出之上述被攝體為號誌機之情形時，使用低感度之上述攝像像素，於上述被攝體為車輛之情形時，使用高感度之上述攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出上述被攝體之圖像資料，且 上述辨識部於檢測出上述被攝體前，進行根據上述圖像資料辨識上述被攝體之處理，於辨識出上述被攝體後，基於上述圖像資料進行與上述被攝體相應之辨識處理。
  13. 如請求項5之圖像辨識裝置，其中 上述攝像部於藉由上述辨識部檢測出上述被攝體前，使用上述長時間曝光攝像像素、上述中時間曝光攝像像素、及上述短時間曝光攝像像素，產生以高解析及高訊框率拍攝之圖像全體之圖像資料， 於藉由上述辨識部檢測出之上述被攝體為號誌機之情形時，使用上述中時間曝光攝像像素，於上述被攝體為車輛之情形時，使用上述短時間曝光攝像像素，產生自以高解析度及高訊框率拍攝之圖像切出上述被攝體之圖像資料，且 上述辨識部於檢測出上述被攝體前，進行根據上述圖像資料辨識上述被攝體之處理，於辨識上述被攝體後，基於上述圖像資料進行與上述被攝體相應之辨識處理。
  14. 一種圖像辨識方法，其使用感度不同之攝像像素，在1訊框期間內於同一曝光開始時序，拍攝複數張圖像並產生圖像資料，且 根據上述圖像資料之各者辨識被攝體。
TW109114004A 2019-05-10 2020-04-27 圖像辨識裝置及圖像辨識方法 TWI800722B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019089917A JP2020188310A (ja) 2019-05-10 2019-05-10 画像認識装置および画像認識方法
JP2019-089917 2019-05-10

Publications (2)

Publication Number Publication Date
TW202101959A true TW202101959A (zh) 2021-01-01
TWI800722B TWI800722B (zh) 2023-05-01

Family

ID=73223010

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114004A TWI800722B (zh) 2019-05-10 2020-04-27 圖像辨識裝置及圖像辨識方法

Country Status (7)

Country Link
US (1) US11710291B2 (zh)
JP (1) JP2020188310A (zh)
KR (1) KR20220006520A (zh)
CN (1) CN113826105A (zh)
DE (1) DE112020002319T5 (zh)
TW (1) TWI800722B (zh)
WO (1) WO2020230636A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202143119A (zh) * 2020-05-07 2021-11-16 瑞典商安訊士有限公司 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
WO2023145698A1 (ja) * 2022-01-28 2023-08-03 ｉ－ＰＲＯ株式会社 カメラ装置および画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456327B2 (en) 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5678804B2 (ja) 2011-05-27 2015-03-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
JP2014103643A (ja) * 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法
JP6514076B2 (ja) 2015-09-11 2019-05-15 株式会社東芝 固体撮像装置
WO2017051722A1 (ja) * 2015-09-24 2017-03-30 ソニー株式会社 固体撮像素子及び電子機器
US10666881B2 (en) * 2015-09-24 2020-05-26 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device
US10362246B2 (en) * 2016-03-31 2019-07-23 Sony Corporation Solid-state image pickup device, method of driving the same, and electronic apparatus
EP3451651B1 (en) * 2016-04-27 2022-06-08 Sony Group Corporation Imaging control device, imaging control method, and imaging apparatus
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
WO2018105474A1 (ja) * 2016-12-08 2018-06-14 パナソニックＩｐマネジメント株式会社 固体撮像装置および撮像装置
JP2018169517A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュールおよび撮像装置の制御方法
KR102385365B1 (ko) * 2017-07-21 2022-04-12 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
EP3462731B1 (en) * 2017-09-29 2021-11-10 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body

Also Published As

Publication number Publication date
JP2020188310A (ja) 2020-11-19
CN113826105A (zh) 2021-12-21
DE112020002319T5 (de) 2022-01-27
US20220207850A1 (en) 2022-06-30
TWI800722B (zh) 2023-05-01
KR20220006520A (ko) 2022-01-17
WO2020230636A1 (ja) 2020-11-19
US11710291B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
JP6795030B2 (ja) 撮像制御装置及び撮像制御方法、並びに撮像装置
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
US9626570B2 (en) Vehicle control system and image sensor
TWI744876B (zh) 圖像辨識裝置、固體攝像裝置及圖像辨識方法
US20180015879A1 (en) Side-view mirror camera system for vehicle
WO2020241336A1 (ja) 画像認識装置および画像認識方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2021060118A1 (ja) 撮像装置
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020230635A1 (ja) 撮像装置および撮像方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
TWI842952B (zh) 攝像裝置
CN113661700B (zh) 成像装置与成像方法
WO2021192459A1 (ja) 撮像装置
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
JP2021129275A (ja) 撮像装置、および撮像方法