TWI830907B - 圖像辨識裝置及圖像辨識方法 - Google Patents

圖像辨識裝置及圖像辨識方法 Download PDF

Info

Publication number
TWI830907B
TWI830907B TW109114166A TW109114166A TWI830907B TW I830907 B TWI830907 B TW I830907B TW 109114166 A TW109114166 A TW 109114166A TW 109114166 A TW109114166 A TW 109114166A TW I830907 B TWI830907 B TW I830907B
Authority
TW
Taiwan
Prior art keywords
image data
image
unit
mentioned
subject
Prior art date
Application number
TW109114166A
Other languages
English (en)
Other versions
TW202113753A (zh
Inventor
奥池和幸
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202113753A publication Critical patent/TW202113753A/zh
Application granted granted Critical
Publication of TWI830907B publication Critical patent/TWI830907B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本發明提供一種可使被攝體之辨識精度提高的圖像辨識裝置及圖像辨識方法。本揭示之圖像辨識裝置(影像感測器1)具有攝像部(10)與辨識部(14)。攝像部(10)使用接受4種以上之波段之光之攝像像素(R、G、B、IR)，拍攝波段不同之複數張圖像而產生圖像資料。辨識部(14)依上述每一波段根據複數個上述圖像資料之各者辨識被攝體。

Description

圖像辨識裝置及圖像辨識方法
本揭示係關於一種圖像辨識裝置及圖像辨識方法。
有一種裝置(例如參照專利文獻1)，其藉由使用接受4種以上之波段之光之攝像像素拍攝波段不同之複數張圖像，並合成攝像圖像之每波長之資料，而產生多光譜圖像。多光譜圖像用於例如辨識肉眼難以辨識之被攝體或推定被攝體之性質等。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2016-032289號公報
[發明所欲解決之問題]
然而，於上述先前技術中，有時被攝體之辨識精度降低。因此，於本揭示中，提案一種可使被攝體之辨識精度提高之圖像辨識裝置及圖像辨識方法。 [解決問題之技術手段]
本揭示之圖像辨識裝置具有攝像部、與辨識部。攝像部使用接受4種以上之波段之光之攝像像素，拍攝波段不同之複數張圖像而產生圖像資料。辨識部依上述每一波段根據複數張上述圖像資料之各者辨識被攝體。
於以下，基於圖式對本揭示之實施形態進行詳細地進行說明。另，於以下之各實施形態中，藉由對同一部位標註同一符號而省略重複之說明。
[1.第1實施形態] [1-1.第1實施形態之圖像辨識方法之概要] 首先，對本揭示之圖像辨識方法之概要進行說明。圖1係顯示本揭示之第1實施形態之圖像辨識方法之概要之說明圖。
於本揭示之圖像辨識方法中，使用接受4種以上之波段之光之攝像像素，例如如圖1所示，拍攝紅外光波段至紫外光波段之波段不同之複數張圖像而產生圖像資料D。
藉由合成該等波段不同之複數張圖像資料D，可產生多光譜圖像。然而，於合成後之多光譜圖像中，有時會映入實際上不存在之偽像。
因此，於根據合成後之多光譜圖像辨識被攝體之情形時，由於偽像之影響，有時被攝體之辨識精度降低。然而，於合成前之各波段之圖像資料D中不包含偽像。因此，於本揭示之圖像辨識方法，依每一波段根據各圖像資料D之各者辨識被攝體。
此處，作為根據圖像資料D辨識被攝體之方法之一例，有使用DNN(Deep Neural Network：深度神經網路)之圖像辨識方法。DNN係為了根據圖像資料辨識被攝體之特徵(圖案)而藉由機械學習設計之以人類之腦神經回路(神經網路)作為模型之多階層構造之演算法。
於本揭示之圖像辨識方法中，將波段不同之複數張圖像資料D向DNN輸入。藉此，自DNN輸出根據各波段之圖像資料D辨識出之被攝體之辨識結果。
如此，於本揭示之圖像辨識方法中，因依不包含偽像之波段不同之複數張圖像資料D之每一者，將圖像資料D向DNN輸入而辨識被攝體，故可使被攝體之辨識精度提高。
[1-2.第1實施形態之圖像辨識系統之構成] 其次，參照圖2，對第1實施形態之圖像辨識系統之構成進行說明。圖2係顯示本揭示之第1實施形態之圖像辨識系統之構成例之圖。如圖2所示，第1實施形態之圖像辨識系統100具有圖像辨識裝置之一例即影像感測器1、與應用處理器(以下，記載為AP2)。
影像感測器1具備攝像部10、信號處理部13、辨識部14、資料發送判斷部15、選擇器(以下，記載為SEL16)、及發送部17。攝像部10具備像素陣列11、與A/D(Analog/Digital：類比/數位)轉換部12。
像素陣列11具備接受4種以上之波段之光且2維排列之複數個攝像像素，藉由攝像像素，拍攝例如紅外光波段至紫外光波段之波段不同之複數張圖像。且，像素陣列11自各攝像像素向A/D轉換部12輸出對應於受光量之類比之像素信號。A/D轉換部12將自像素陣列11輸入之類比之像素信號A/D轉換為數位之像素信號產生圖像資料，並將圖像資料向信號處理部13輸出。
信號處理部13包含具有CPU(Central Processing Unit：中央處理單元)、ROM(Read Only Memory：唯讀記憶體)、及RAM(Random Access Memory：隨機存取記憶體)等之微電腦或各種電路。
信號處理部13對自A/D轉換部12輸入之圖像資料執行特定之信號處理，將信號處理後之圖像之圖像資料向辨識部14、與SEL16輸出。此處，參照圖3，對信號處理部13執行之處理之流程進行說明。
圖3係本揭示之第1實施形態之信號處理部執行之處理之說明圖。如圖3所示，信號處理部13對輸入之圖像資料，進行解馬賽克，隨後進行分光再構成處理，藉此產生多光譜圖像資料，並向辨識部14、與SEL16輸出。
此處，向辨識部14及SEL16輸出之多光譜圖像資料係4種以上之各波段之圖像資料，即合成前之圖1所示之複數張圖像資料D。
返回圖2，辨識部14包含具有CPU、ROM、RAM等之微電腦或各種電路。辨識部14具備：物體辨識部31，其藉由使CPU將RAM作為作業區域使用並執行記憶於ROM之物體辨識程式而發揮功能；及物體辨識用資料記憶部32，其設置於RAM或ROM。於物體辨識用資料記憶部32，按照辨識對象之物體種類記憶有複數個DNN。
物體辨識部31自物體辨識用資料記憶部32讀出對應於設定之辨識對象之種類之DNN。接著，物體辨識部31將圖像資料向DNN輸入並將自DNN輸出之被攝體之辨識結果向資料發送判斷部15輸出，且將辨識結果之元資料向SEL16輸出。
此處，參照圖4及圖5，對辨識部14進行之處理之流程進行說明。圖4及圖5係本揭示之第1實施形態之辨識部執行之處理之說明圖。如圖4所示，首先，辨識部14配合DNN用之尺寸及輸入值將待輸入之多光譜圖像資料之尺寸及輸入值正規化，並將正規化後之圖像資料向DNN輸入而進行物體辨識。
此時，辨識部14如圖5所示，將例如500 nm、600 nm、700 nm、800 nm、900 nm等波段不同之複數張(例如10張)圖像資料向DNN輸入。接著，辨識部14將自DNN依各圖像資料之每一者輸出之被攝體之辨識結果向資料發送判斷部15輸出，並將辨識結果之元資料向SEL16輸出。
如此，由於辨識部14將不包含偽像之波段不同之複數張圖像資料向DNN輸入，並依各圖像資料之每一者辨識被攝體，故可不受偽像之影響，高精度地辨識被攝體。
返回圖2，資料發送判斷部15將根據自辨識部14輸入之辨識結果切換自SEL16輸出之資料之控制信號向SEL16輸出。資料發送判斷部15於藉由辨識部14辨識出被攝體之情形時，向SEL16輸出將圖像資料、與表示辨識結果之元資料向發送部17輸出之控制信號。
又，資料發送判斷部15於未藉由辨識部14辨識出被攝體之情形時，向SEL16輸出將表示其主旨之資訊(無資料)向發送部17輸出之控制信號。SEL16根據自資料發送判斷部15輸入之控制信號，將圖像資料及元資料之組合、或無資料之任一者向發送部17輸出。
發送部17係與AP2之間進行資料通信之通信I/F(Interface：介面)，並將自SEL16輸入之圖像資料及元資料之組合、或無資料之任一者向AP2發送。
AP2包含具有執行與圖像辨識系統100之用途對應之各種應用程式之CPU、ROM、RAM等之微電腦或各種電路。AP2具備接收部21、認證部22、及認證用資料記憶部23。
於認證用資料記憶部23，記憶有用以認證藉由影像感測器1辨識出之被攝體之認證用程式及認證用圖像資料等。接收部21係與影像感測器1之間進行資料通信之通信I/F。接收部21自影像感測器1接收圖像資料及元資料之組合、或無資料之任一者並向認證部22輸出。
認證部22於自接收部21輸入無資料之情形時不啟動，於輸入圖像資料及元資料之組合之情形時啟動。認證部22啟動時，自認證用資料記憶部23讀出並執行認證用程式，認證藉由影像感測器1辨識出之被攝體。
例如，認證部22於被輸入表示被攝體為人之元資料與圖像資料之組合之情形時，對照圖像資料與人之認證用圖像資料，進行特定辨識出之人是誰之處理等。
此時，認證部22於由影像感測器1辨識出被攝體為人時，基於高精度辨識出之無偽像影響之圖像資料特定人，藉此，可確實地特定所辨識之人是誰。另，上述之第1實施形態為一例，可進行各種變化。
例如，影像感測器1亦可省略圖2所示之信號處理部13。圖6係省略本揭示之第1實施形態之信號處理部的情形之辨識部14之動作說明圖。如圖6所示，辨識部14於省略信號處理部13之情形時，將自攝像部10輸出之圖像資料之Raw資料向DNN輸入。
於此情形時，辨識部14對於較由信號處理部13分光再構成處理後之圖像資料更多波段之圖像資料進行DNN處理，從而處理負荷增加，但由於是根據更多之圖像資料辨識被攝體，故可使被攝體之辨識精度進一步提高。
[2.第2實施形態之影像感測器] 其次，對第2實施形態之影像感測器進行說明。第2實施形態之影像感測器之信號處理部13及辨識部14之動作與第1實施形態不同，其他構成則與第1實施形態相同。
因此，此處，對第2實施形態之信號處理部13及辨識部14之動作進行說明，針對其他構成省略重複之說明。圖7係本揭示之第2實施形態之信號處理部及辨識部之動作說明圖。
如圖7所示，於第2實施形態中，信號處理部13於對自攝像部10輸入之圖像資料進行解馬賽克後，進行分光再構成處理，藉此，產生波段不同之複數個多光譜圖像資料。
隨後，信號處理部13將產生之複數個多光譜圖像資料中之紅色光(R)、綠色光(G)、及藍色光(B)之3原色之RGB圖像資料選擇性向辨識部14輸出。
辨識部14將自信號處理部13輸入之RGB圖像向物體辨識用DNN輸入，根據RGB圖像資料之各者辨識被攝體。藉此，辨識部14與根據藉由信號處理部13產生之所有圖像資料辨識被攝體之情形相比，可減少處理負荷。
另，此處，雖已對辨識部14根據RGB圖像資料辨識被攝體之情形進行說明，但辨識部14亦可根據由信號處理部13產生之所有多光譜圖像資料辨識被攝體。藉此，雖辨識部14之處理量增加，但相應地可更準確地辨識被攝體。
隨後，辨識部14將自複數個多光譜圖像資料切出辨識出被攝體之部分之多光譜切出圖像資料向後段之AP2輸出。另，辨識部14於省略信號處理部13之情形時，自藉由攝像部10產生之圖像資料(Raw資料)切出辨識出被攝體之部分之圖像資料並向AP2輸出。
如此，第2實施形態之影像感測器將切出拍攝到之圖像資料中辨識出被攝體之部分的圖像資料向AP2輸出。藉此，例如，AP2於合成自影像感測器1輸入之複數個圖像資料之情形時，只要合成藉由影像感測器1切出之部分之圖像資料即可，故可減少處理負荷。
[3.第3實施形態之影像感測器] 其次，對第3實施形態之影像感測器進行說明。第3實施形態之影像感測器之攝像部10、信號處理部13、及辨識部14之動作與第1實施形態不同，關於其他構成，皆與第1實施形態同樣。
因此，此處，對第3實施形態之攝像部10、信號處理部13、及辨識部14之動作進行說明，關於其他構成，省略重複之說明。圖8係本揭示之第3實施形態之攝像部、信號處理部、及辨識部之動作說明圖。
如圖8所示，於第3實施形態中，信號處理部13對自攝像部10輸入之圖像資料進行解馬賽克後，進行分光再構成處理，藉此，產生波段不同之複數個多光譜圖像資料。隨後，信號處理部13將產生之複數個多光譜圖像資料中之RGB圖像資料選擇性向辨識部14輸出。
辨識部14將自信號處理部13輸入之RGB圖像向物體辨識用DNN輸入，並根據RGB圖像資料之各者辨識被攝體。藉此，辨識部14與根據由信號處理部13產生之所有圖像資料辨識被攝體之情形相比，可減少處理負荷。
另，此處，雖已對辨識部14根據RGB圖像資料辨識被攝體之情形進行說明，但辨識部14亦可根據由信號處理部13產生之所有多光譜圖像資料辨識被攝體。藉此，雖辨識部14之處理量增加，但相應地可更準確地辨識被攝體。
隨後，辨識部14將表示RGB圖像資料中辨識出被攝體之位置之資訊向攝像部10。攝像部10自當前訊框之圖像資料切出與藉由辨識部14根據前一訊框之RGB圖像資料辨識出被攝體之部分對應的部分並向信號處理部13輸出。信號處理部13對自攝像部10輸入之切出辨識出被攝體之部分之圖像資料，進行解馬賽克及分光再構成處理，並向後段之AP2輸出。
藉此，信號處理部13係因解馬賽克及分光再構成處理之計算量減少，故可減少處理負荷。又，AP2於合成自影像感測器1輸入之複數個圖像資料之情形時，僅合成藉由攝像部10切出之部分之圖像資料即可，故可減少處理負荷。
另，辨識部14於省略信號處理部13之情形時，根據藉由攝像部10產生之圖像資料(Raw資料)辨識被攝體，並將表示圖像資料中辨識出被攝體之位置之資訊向攝像部10輸出。
攝像部10自當前訊框之圖像資料切出與藉由辨識部14根據前一個訊框之圖像資料(Raw資料)辨識出被攝體之部分對應的部分並向後段之AP2輸出。
如此，第3實施形態之影像感測器將拍攝到之圖像資料中切出辨識出被攝體之部分之圖像資料向AP2輸出。藉此，AP2於省略信號處理部13之情形時，亦僅合成藉由攝像部10切出之部分之圖像資料即可，故可減少處理負荷。
[4.第4實施形態之影像感測器] 其次，對第4實施形態之影像感測器進行說明。第4實施形態之影像感測器之對AP2輸出之資料、信號處理部13及辨識部14之動作與第1實施形態不同，關於其他構成，皆與第1實施形態同樣。
因此，此處，對第4實施形態之信號處理部13及辨識部14之動作進行說明，關於其他構成省略重複之說明。圖9及圖10係本揭示之第4實施形態之信號處理部及辨識部之動作說明圖。
第4實施形態之影像感測器根據4種以上之波段不同之複數個圖像資料推定例如作為被攝體之性質之一例之被攝體之水果的糖度，並將推定糖度向AP2輸出。具體而言，如圖9所示，首先，信號處理部13對自攝像部10輸入之圖像資料進行解馬賽克後，進行分光再構成處理，藉此產生波段不同之複數個圖像資料。
隨後，信號處理部13將產生之複數個圖像資料中之RGB圖像資料選擇性向辨識部14輸出。辨識部14將自信號處理部13輸入之RGB圖像資料向物體辨識用DNN輸入，並根據RGB圖像資料之各者辨識被攝體。藉此，辨識部14與根據由信號處理部13產生之所有圖像資料辨識被攝體之情形相比，可減少處理負荷。
再者，辨識部14推定與根據RGB圖像資料辨識之被攝體對應之有效波長。例如，辨識部14推定可推定成為被攝體之水果之糖度的特定波段作為有效波長。接著，辨識部14將推定出之有效波長向信號處理部13輸出。
信號處理部13於下一個訊框以後，如圖10所示，將與自辨識部14輸入之有效波長對應之特定波段之圖像資料(特定波段圖像資料)向辨識部14輸出。辨識部14將自信號處理部13輸入之特定波段圖像資料向糖度推定用DNN輸入，並將自糖度推定用DNN輸出之成為被攝體之水果之推定糖度向AP2輸出。
如此，第4實施形態之影像感測器因根據特定波段圖像資料推定水果之糖度，故與根據由信號處理部13產生之所有多光譜圖像資料推定糖度之情形相比，可減少處理負荷。
[5.第5實施形態之影像感測器] 其次，對第5實施形態之影像感測器進行說明。第5實施形態之影像感測器之像素陣列之構成、攝像動作、及物體辨識動作與第1實施形態不同，關於其他構成，皆與第1實施形態同樣。
因此，此處，對第5實施形態之像素陣列之構成、攝像動作、及物體辨識動作進行說明，關於其他構成，省略重複之說明。圖11係顯示本揭示之第5實施形態之像素陣列之說明圖。圖12～圖15係本揭示之第5實施形態之影像感測器之動作說明圖。
如圖11所示，第5實施形態之像素陣列11a具備接受紅色光之攝像像素R、接受綠色光之攝像像素G、接受藍色光之攝像像素B、及接受紅外光之攝像像素IR。
於圖11所示之例中，像素陣列11a將交替配置有攝像像素R及攝像像素G之攝像行、與交替配置有攝像像素B與攝像像素IR之攝像行交替地2維配置。
該像素陣列11a可拍攝3原色之RGB圖像、與IR(Infrared Ray：紅外線)圖像。作為拍攝IR圖像之方法，有例如對被攝體照射紅外光，藉由攝像像素IR接受並拍攝由被攝體反射之紅外光之方法、與藉由攝像像素IR接受並拍攝自然光所含之紅外光之方法。
於採用照射紅外光之方法之情形時，影像感測器具備對被攝體照射紅外光之發光部。於該構成之情形時，影像感測器同時曝光攝像像素R、G、B、與攝像像素IR時，藉由攝像像素R、G、B拍攝紅外光照射之環境，故無法拍攝本來顏色之被攝體。
因此，如圖12所示，第5實施形態之影像感測器藉由發光部間歇性照射紅外光。且，攝像部10於相當於Vsync(垂直同步信號)之1週期之1訊框期間內，於紅外光之非照射期間曝光攝像像素R、G、B拍攝可見光波段之圖像，於紅外光之照射期間曝光攝像素IR拍攝紅外光波段之圖像。
藉此，攝像像素R、G、B係由於在曝光期間未被照射紅外光，故可不受紅外光之影響，而拍攝本來顏色之被攝體。另一方面，攝像像素IR係由於在曝光期間被照射紅外光，故可確實地拍攝IR圖像。
又，辨識部14於紅外光之照射期間，執行RGB用DNN，根據可見光波段之圖像資料辨識被攝體。又，辨識部14於紅外光之非照射期間，執行IR用DNN，根據紅外光波段之圖像資料辨識被攝體。
此時，如圖13所示，辨識部14將藉由攝像像素R、G、B拍攝之圖像資料向RGB用DNN輸入，而從可見光波段之圖像資料辨識被攝體。又，辨識部14將藉由攝像像素IR拍攝之圖像資料向IR用DNN輸入，而從紅外光波段之圖像資料辨識被攝體。藉此，影像感測器可於1訊框期間內，拍攝RGB圖像與IR圖像，且從RGB圖像與IR圖像兩者辨識被攝體。
又，如圖14所示，第5實施形態之影像感測器於採用藉由攝像像素IR接受自然光所含之紅外光而進行拍攝之方法時，攝像部10同時曝光攝像像素R、G、B及攝像像素IR。
藉此，攝像部10可同時拍攝可見光波段之RGB圖像及紅外光波段之IR圖像。且，辨識部14於1訊框期間內，執行RGB-IR用DNN，並於1訊框期間內，根據前一訊框之可見光波段之圖像資料及紅外光波段之圖像資料辨識被攝體。
此時，如圖15所示，辨識部14將藉由攝像像素R、G、B拍攝之圖像資料、與藉由攝像像素IR拍攝之圖像資料同時向RGB-IR用DNN輸入。藉此，辨識部14可從可見光波段之圖像資料、與紅外光波段之圖像資料同時辨識被攝體。
[6.效果] 圖像辨識裝置之一例即影像感測器1具有攝像部10與辨識部14。攝像部10使用接受4種以上之波段之光之攝像像素，拍攝波段不同之複數張圖像而產生圖像資料。辨識部依每一波段根據複數個圖像資料之各者辨識被攝體。藉此，影像感測器可不受偽像之影響而辨識被攝體，藉此，可使被攝體之辨識精度提高。
又，辨識部14自藉由攝像部10產生之圖像資料切出辨識出被攝體之部分之圖像資料並向後段之裝置輸出。藉此，影像感測器1可減少後段之裝置之處理負荷。
又，攝像部10自當前訊框之圖像資料切出與藉由辨識部根據前一訊框之圖像資料辨識出被攝體之部分對應之部分並加以輸出。藉此，影像感測器1可減少後段裝置之處理負荷。
又，辨識部14根據藉由攝像部10產生之圖像資料中之3原色之波段之圖像資料辨識被攝體。藉此，影像感測器1可減少辨識部14之處理負荷。
又，辨識部14基於與根據圖像資料辨識之被攝體對應之特定波段之圖像資料，推定被攝體之性質。藉此，影像感測器1可減少辨識部14之處理負荷，且推定被攝體之性質。
又，圖像辨識裝置之一例即影像感測器1具有對圖像資料進行解馬賽克及分光再構成處理之信號處理部13。辨識部14根據解馬賽克及分光再構成處理後之圖像資料辨識被攝體。藉此，影像感測器1可根據例如藉由信號處理部13去除雜訊成分之圖像資料辨識被攝體，故可使被攝體之辨識精度提高。
又，辨識部14根據自攝像部10輸入之圖像資料(Raw資料)辨識被攝體。藉此，影像感測器1根據資料量多於由信號處理部13產生之圖像資料之Raw資料辨識被攝體，藉此，可使被攝體之辨識精度提高。
又，圖像辨識裝置之一例即影像感測器具有對被攝體間歇性照射紅外光之發光部。攝像部10於紅外光之非照射期間拍攝可見光波段之圖像，於紅外光之照射期間拍攝紅外光波段之圖像。辨識部14於照射期間根據可見光波段之圖像資料辨識被攝體，於非照射期間根據紅外光波段之圖像資料辨識被攝體。藉此，影像感測器可不受紅外光之影響而從所拍攝之可見光波段之圖像資料準確地辨識被攝體，再者，亦可拍攝紅外光波段之圖像，並根據紅外光之圖像資料辨識被攝體。
又，攝像部10同時拍攝可見光波段之圖像及紅外光波段之圖像。辨識部14於拍攝可見光波段之圖像及紅外光波段之圖像之1訊框期間內，根據前一訊框之可見光波段之圖像資料及紅外光波段之圖像資料辨識被攝體。藉此，影像感測器可於1訊框期間內，同時拍攝可見光波段之圖像及紅外光波段之圖像，並根據兩圖像之各者辨識被攝體。
又，圖像辨識方法使用接受4種以上之波段之光之攝像像素，拍攝波段不同之複數張圖像產生圖像資料，並依每一波段根據複數個圖像資料之各者辨識被攝體。根據該圖像辨識方法，可不受偽像之影響而辨識被攝體，藉此，可使被攝體之辨識精度提高。
另，本說明書所記載之效果僅為例示並非限定者，又可具有其他效果。
另，本技術亦可採取如下之構成。 (1) 一種圖像辨識裝置，其具有： 攝像部，其使用接受4種以上之波段之光之攝像像素，拍攝波段不同之複數張圖像而產生圖像資料；及 辨識部，其依上述每一波段根據複數個上述圖像資料之各者辨識被攝體。 (2) 如上述(1)記載之圖像辨識裝置，其中 上述辨識部自藉由上述攝像部產生之圖像資料切出辨識出上述被攝體之部分之圖像資料並向後段之裝置輸出。 (3) 如上述(1)記載之圖像辨識裝置，其中 上述攝像部自當前訊框之圖像資料切出與藉由上述辨識部根據前一訊框之圖像資料辨識出上述被攝體之部分對應的部分並加以輸出。 (4) 如上述(1)至(3)中任一項記載之圖像辨識裝置，其中 上述辨識部根據藉由上述攝像部產生之圖像資料中之3原色之波段之圖像資料辨識上述被攝體。 (5) 如上述(1)至(4)中任一項記載之圖像辨識裝置，其中 上述辨識部基於與根據上述圖像資料辨識之被攝體對應之特定波段之圖像資料，特定上述被攝體之性質。 (6) 如上述(1)至(5)中任一項記載之圖像辨識裝置，其具有： 信號處理部，其對上述圖像資料進行解馬賽克及分光再構成處理；且 上述辨識部根據解馬賽克及分光再構成處理後之圖像資料辨識上述被攝體。 (7) 上述(1)至(5)中任一項記載之圖像辨識裝置，其中 上述辨識部根據輸入自上述攝像部之上述圖像資料辨識上述被攝體。 (8) 如上述(1)至(7)中任一項記載之圖像辨識裝置，其具有： 發光部，其對被攝體間歇性照射紅外光；且 上述攝像部於上述紅外光之非照射期間拍攝可見光波段之圖像，於上述紅外光之照射期間拍攝紅外光波段之圖像， 上述辨識部於上述照射期間根據可見光波段之圖像資料辨識上述被攝體，於上述非照射期間根據紅外光波段之圖像資料辨識上述被攝體。 (9) 如上述(1)至(7)中任一項記載之圖像辨識裝置，其中 上述攝像部同時拍攝可見光波段之圖像及紅外光波段之圖像，且 上述辨識部於拍攝可見光波段之圖像及紅外光波段之圖像之1訊框期間，根據前一訊框之可見光波段之圖像資料及紅外光波段之圖像資料辨識上述被攝體。 (10) 一種圖像辨識方法，其使用接受4種以上之波段之光之攝像像素，拍攝波段不同之複數張圖像而產生圖像資料，且 依上述每一波段根據複數個上述圖像資料之各者辨識被攝體。
1:影像感測器 2:AP 10:攝像部 11:像素陣列 11a:像素陣列 12:A/D轉換部 13:信號處理部 14:辨識部 15:資料發送判斷部 16:SEL 17:發送部 21:接收部 22:認證部 23:認證用資料記憶部 31:物體辨識部 32:物體辨識用資料記憶部 100:圖像辨識系統 B:攝像像素 D:圖像資料 G:攝像像素 IR:攝像像素 R:攝像像素 Vsync:垂直同步信號
圖1係顯示本揭示之第1實施形態之圖像辨識方法之概要之說明圖。 圖2係顯示本揭示之第1實施形態之圖像辨識系統之構成例之圖。 圖3係本揭示之第1實施形態之信號處理部執行之處理之說明圖。 圖4係本揭示之第1實施形態之辨識部執行之處理之說明圖。 圖5係本揭示之第1實施形態之辨識部執行之處理之說明圖。 圖6係省略本揭示之第1實施形態之信號處理部時之辨識部之動作說明圖。 圖7係本揭示之第2實施形態之信號處理部及辨識部之動作說明圖。 圖8係本揭示之第3實施形態之攝像部、信號處理部、及辨識部之動作說明圖。 圖9係本揭示之第4實施形態之信號處理部及辨識部之動作說明圖。 圖10係本揭示之第4實施形態之信號處理部及辨識部之動作說明圖。 圖11係顯示本揭示之第5實施形態之像素陣列之說明圖。 圖12係本揭示第5實施形態之影像感測器之動作說明圖。 圖13係本揭示第5實施形態之影像感測器之動作說明圖。 圖14係本揭示第5實施形態之影像感測器之動作說明圖。 圖15係本揭示第5實施形態之影像感測器之動作說明圖。
1:影像感測器
2:AP
10:攝像部
11:像素陣列
12:A/D轉換部
13:信號處理部
14:辨識部
15:資料發送判斷部
16:SEL
17:發送部
21:接收部
22:認證部
23:認證用資料記憶部
31:物體辨識部
32:物體辨識用資料記憶部
100:圖像辨識系統

Claims (9)

  1. 一種圖像辨識裝置，其具有：攝像部，其使用接受4種以上之波段之光之攝像像素，拍攝波段不同之複數張圖像而產生圖像資料；辨識部，其依上述每一波段根據複數個上述圖像資料之各者辨識被攝體；及發光部，其對被攝體於相當於Vsync(垂直同步信號)之1週期之1訊框期間內之每一者，間歇性照射紅外光；且上述攝像部於上述1訊框期間之每一者，於上述紅外光之非照射期間拍攝可見光波段之圖像，於上述紅外光之照射期間拍攝紅外光波段之圖像；上述辨識部於上述1訊框期間之每一者，於上述照射期間根據可見光波段之圖像資料辨識上述被攝體，於上述非照射期間根據紅外光波段之圖像資料辨識上述被攝體。
  2. 如請求項1之圖像辨識裝置，其中上述辨識部自藉由上述攝像部產生之圖像資料切出辨識出上述被攝體之部分之圖像資料並向後段之裝置輸出。
  3. 如請求項1之圖像辨識裝置，其中上述攝像部自當前訊框之圖像資料切出與藉由上述辨識部根據前一訊框之圖像資料辨識出上述被攝體之部分對應的部分並加以輸出。
  4. 如請求項1之圖像辨識裝置，其中上述辨識部根據藉由上述攝像部產生之圖像資料中之3原色之波段之圖像資料辨識上述被攝體。
  5. 如請求項1之圖像辨識裝置，其中上述辨識部基於與根據上述圖像資料辨識之被攝體對應之特定波段之圖像資料，推定上述被攝體之性質。
  6. 如請求項1之圖像辨識裝置，其中上述辨識部根據輸入自上述攝像部之上述圖像資料辨識上述被攝體。
  7. 如請求項1之圖像辨識裝置，其更具有：信號處理部，其對上述圖像資料進行解馬賽克及分光再構成處理；且上述辨識部根據解馬賽克及分光再構成處理後之圖像資料辨識上述被攝體。
  8. 如請求項1之圖像辨識裝置，其中上述攝像部同時拍攝可見光波段之圖像及紅外光波段之圖像，且上述辨識部於拍攝可見光波段之圖像及紅外光波段之圖像之上述1訊框期間，根據前一訊框之可見光波段之圖像資料及紅外光波段之圖像資料辨識上述被攝體。
  9. 一種圖像辨識方法，其使用接受4種以上之波段之光之攝像像素，拍攝波段不同之複數張圖像而產生圖像資料；依上述每一波段根據複數個上述圖像資料之各者辨識被攝體；對被攝體於相當於Vsync(垂直同步信號)之1週期之1訊框期間內之每一者，間歇性照射紅外光；於上述1訊框期間之每一者，於上述紅外光之非照射期間拍攝可見光波段之圖像，於上述紅外光之照射期間拍攝紅外光波段之圖像；且於上述1訊框期間之每一者，於上述照射期間根據可見光波段之圖像資料辨識上述被攝體，於上述非照射期間根據紅外光波段之圖像資料辨識上述被攝體。
TW109114166A 2019-06-05 2020-04-28 圖像辨識裝置及圖像辨識方法 TWI830907B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-105645 2019-06-05
JP2019105645 2019-06-05

Publications (2)

Publication Number Publication Date
TW202113753A TW202113753A (zh) 2021-04-01
TWI830907B true TWI830907B (zh) 2024-02-01

Family

ID=73652525

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114166A TWI830907B (zh) 2019-06-05 2020-04-28 圖像辨識裝置及圖像辨識方法

Country Status (4)

Country Link
US (1) US20220198791A1 (zh)
CN (1) CN113874911A (zh)
TW (1) TWI830907B (zh)
WO (1) WO2020246401A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790738B (zh) 2020-11-20 2023-01-21 財團法人工業技術研究院 用於防止動暈之圖像顯示系統及圖像顯示方法
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004721A (ja) * 2005-06-27 2007-01-11 Toyota Motor Corp 対象物検出装置、及び対象物検出方法
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
US20190139256A1 (en) * 2017-11-06 2019-05-09 Samsung Electronics Co., Ltd. Electronic device and method for reliability-based object recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113651B2 (en) * 2002-11-20 2006-09-26 Dmetrix, Inc. Multi-spectral miniature microscope array
JP4228745B2 (ja) * 2003-03-28 2009-02-25 株式会社日立製作所 多スペクトル撮像画像解析装置
US8730321B2 (en) * 2007-06-28 2014-05-20 Accuvein, Inc. Automatic alignment of a contrast enhancement system
FR2982393B1 (fr) * 2011-11-09 2014-06-13 Sagem Defense Securite Recherche d'une cible dans une image multispectrale
US9405376B2 (en) * 2012-12-10 2016-08-02 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
US9407838B2 (en) * 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
JP6572696B2 (ja) * 2015-09-11 2019-09-11 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6101878B1 (ja) * 2016-08-05 2017-03-22 株式会社オプティム 診断装置
JP6910792B2 (ja) * 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
JP6917761B2 (ja) * 2017-05-09 2021-08-11 株式会社キーエンス 画像検査装置
JPWO2020080045A1 (ja) * 2018-10-15 2021-09-09 パナソニックＩｐマネジメント株式会社 物体認識方法、車両制御方法、情報表示方法、および物体認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004721A (ja) * 2005-06-27 2007-01-11 Toyota Motor Corp 対象物検出装置、及び対象物検出方法
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
US20190139256A1 (en) * 2017-11-06 2019-05-09 Samsung Electronics Co., Ltd. Electronic device and method for reliability-based object recognition

Also Published As

Publication number Publication date
CN113874911A (zh) 2021-12-31
TW202113753A (zh) 2021-04-01
US20220198791A1 (en) 2022-06-23
WO2020246401A1 (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
CN107800966B (zh) 图像处理的方法、装置、计算机可读存储介质和电子设备
CN109951646B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
US11055824B2 (en) Hybrid machine learning systems
EP3849170B1 (en) Image processing method, electronic device, and computer-readable storage medium
TWI830907B (zh) 圖像辨識裝置及圖像辨識方法
US8199228B2 (en) Method of and apparatus for correcting contour of grayscale image
TWI689892B (zh) 基於前景影像的背景虛化方法與電子裝置
JP6564271B2 (ja) 撮像装置及び画像処理方法、プログラム、並びに記憶媒体
TW200838325A (en) Improved processing of mosaic images
CN110493506A (zh) 一种图像处理方法和系统
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
US11146760B2 (en) Imaging apparatus, imaging method, and computer readable recording medium
JP7039183B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020198470A (ja) 画像認識装置および画像認識方法
JP7144678B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JPWO2021140602A5 (ja) 画像処理システム及びプログラム
JP2009021683A (ja) 撮像装置
JP2005136917A5 (zh)
JPWO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP6462594B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP2012085083A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
US20230230369A1 (en) Trained model conversion method, inference method, trained model conversion apparatus, trained model, and inference apparatus
JP5218634B2 (ja) 擬似濃淡画像生成装置及びプログラム