TWI816903B - 感測器裝置、參數設定方法 - Google Patents
感測器裝置、參數設定方法 Download PDFInfo
- Publication number
- TWI816903B TWI816903B TW108136338A TW108136338A TWI816903B TW I816903 B TWI816903 B TW I816903B TW 108136338 A TW108136338 A TW 108136338A TW 108136338 A TW108136338 A TW 108136338A TW I816903 B TWI816903 B TW I816903B
- Authority
- TW
- Taiwan
- Prior art keywords
- processing
- image
- category
- unit
- threshold value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 109
- 238000012545 processing Methods 0.000 claims abstract description 426
- 238000003384 imaging method Methods 0.000 claims abstract description 117
- 238000001514 detection method Methods 0.000 claims description 348
- 230000008569 process Effects 0.000 claims description 87
- 238000006243 chemical reaction Methods 0.000 claims description 42
- 238000005070 sampling Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000013144 data compression Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 167
- 238000007906 compression Methods 0.000 description 47
- 230000006835 compression Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 28
- 230000006978 adaptation Effects 0.000 description 24
- 230000009467 reduction Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 241001270131 Agaricus moelleri Species 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000005415 magnetization Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 241000269350 Anura Species 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005641 tunneling Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/701—Line sensors
- H04N25/7013—Line sensors using abutted sensors forming a long line
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
- H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Electrophonic Musical Instruments (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Control Of Electric Motors In General (AREA)
Abstract
本發明之感測器裝置具有:陣列感測器,其一維或二維地排列有複數個可見光或非可見光之攝像元件;及圖像處理部,其對於藉由利用陣列感測器之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理。此時,針對自藉由利用前述陣列感測器之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,並利用所選擇之參數進行圖像處理部之處理設定。
Description
本發明係關於一種感測器裝置及參數設定方法,尤其是關於與具備對於利用陣列感測器獲得之圖像信號進行處理之功能之感測器裝置相關之技術領域。
所謂之使用排列有攝像元件之陣列感測器之物體檢測,業已知悉利用陣列感測器進行圖像拍攝,將所拍攝之圖像信號傳送至陣列感測器之外部之處理器,在該處理器側進行物體檢測之計算處理。
在下述非專利文獻1中曾揭示與自圖像之臉部辨識處理之技術。
[先前技術文獻]
[非專利文獻]
[非專利文獻1]河合吉彥 電視影像之臉部辨識技術NHK技研R&D/No.164/2017.8 P23-P30
[發明所欲解決之問題]
迄今為止,包含圖像感測器之陣列感測器以在人觀察到時進行精美之繪製之方式調整畫質。然而,在如圖像辨識般電腦成為進行判斷之主體時,有即便對人而言為精美之畫質,但所拍攝之對象之類別(分類或種類)辨識之精度降低之問題。
如上述非專利文獻1般,針對臉部辨識,在資料取得後之後處理中進行用於提高辨識率之畫質調整,但無自動進行依廣且多之不同類別種類之適切之畫質調整的陣列感測器。
因而,在本發明中,涵蓋廣泛之種類之類別,且以基於該辨識類別而適配化之參數實施圖像處理。
[解決問題之技術手段]
本發明之感測器裝置具備:陣列感測器,其一維或二維地排列有複數個可見光或非可見光之攝像元件;圖像處理部,其對於藉由利用前述陣列感測器之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理;及運算部,其針對自藉由利用前述陣列感測器之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,並利用所選擇之參數進行前述圖像處理部之處理設定。
亦即,針對由陣列感測器獲得之圖像信號,以圖像處理部施以圖像處理,但該圖像處理參數係基於圖像信號之檢測物體之類別辨識而設定。
此外,所謂自圖像信號所檢測到之物體係指在以自圖像之辨識為目的下可能成為檢測對象之物體。任何物體均有可能為此處言及之檢測對象之物體。可將例如人、動物、移動體(汽車、自行車、航空機等)、自然風景(蔬菜、植物等)、工業產品/零件、建築物、設備、山、海、川、星、太陽、雲等所有物體設為對象。
所謂類別係利用圖像辨識所辨識之物體之分類。其係如例如“人”“汽車”“飛機”“船”“卡車”“鳥”“貓”“狗”“鹿”“蛙”“馬”等般對應檢測到之物體予以分類者。
在上述之本發明之感測器裝置中,考量具備將由前述圖像處理部予以圖像處理係圖像信號輸出至外部裝置之輸出部。
亦即,將利用基於類別辨識而選擇之參數予以圖像處理之圖像信號發送輸出至外部裝置。所謂外部裝置可設想例如進行物體檢測之外部處理器或雲端之處理器等。
在上述之本發明之感測器裝置中,考量前述輸出部也進行與針對輸出之圖像信號之類別辨識相關之資訊之發送。
附隨著輸出之圖像信號而輸出與類別辨識相關之資訊、例如所辨識之類別或對象數(物體數)等。
在上述之本發明之感測器裝置中,考量前述運算部進行:物體區域辨識處理,其在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域;類別辨識處理,其進行由前述物體區域辨識處理檢測到之物體區域之物體之類別辨識;及參數選擇處理,其基於前述類別辨識處理之辨識結果進行參數選擇,並進行前述圖像處理部之處理設定。
將自1訊框之圖像成為檢測對象之物體之候補之像素之區域設為物體區域。而且,針對該物體區域進行物體之類別分類之辨識、及基於該結果之參數選擇。
在上述之本發明之感測器裝置中,考量在前述運算部中進行:在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域之物體區域的辨識處理、進行由前述物體區域辨識處理檢測到之物體區域之物體之類別辨識的類別辨識處理、判別在由前述類別辨識處理所辨識之類別中是否存在目標類別的處理、及在存在目標類別時,基於該目標類別之類別辨識結果進行參數選擇,並進行前述圖像處理部之處理設定的參數選擇處理。
所謂目標類別係在類別中於辨識之目的下所指定之類別。在檢測到目標類別之物體時,基於該目標類別進行參數選擇。
在上述之本發明之感測器裝置中,考量可設定複數個前述目標類別,當在1訊框內存在複數個目標類別之物體時,基於所選擇之一個目標類別進行前述參數選擇處理。
例如可自外部處理器指定複數個目標類別。
在上述之本發明之感測器裝置中,考量針對符合前述目標類別之物體區域,算出包圍物體之定界框(Bounding box),在存在複數個目標類別時,利用定界框之面積選擇前述一個目標類別。
根據定界框之面積選擇在訊框內優勢之目標類別。
在上述之本發明之感測器裝置中,考量前述運算部基於所辨識之類別選擇就每一類別而設定之包含複數個參數之參數集。
例如預先記憶將圖像處理部之各種處理之參數予以組合之參數集,選擇該參數集並設定於圖像處理部。
在上述之本發明之感測器裝置中,考量前述參數集係藉由利用符合各類別之物體之圖像的深度學習而獲得之複數個參數之集合。
利用例如將人之圖像用作學習資料之深度學習,求得設為人辨識之圖像辨識率較高者之圖像處理用之參數,將該參數之集合設為符合“人”之類別的參數集。
在上述之本發明之感測器裝置中,考量前述運算部在藉由利用前述陣列感測器之攝像而獲得之圖像信號中以設為關鍵訊框之訊框為對象而進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數。
亦即,運算部依照特定之選擇演算法,選擇成為關鍵訊框之訊框,並進行參數選擇之處理。
在上述之本發明之感測器裝置中,考量前述關鍵訊框設為每隔特定之時間間隔之訊框。
亦即,設為特定訊框數之間隔之訊框。
在上述之本發明之感測器裝置中,考量前述關鍵訊框設為基於來自外部機器之命令之時序之訊框。
根據例如來自圖像輸出目的地之外部處理器等之指示設定關鍵訊框。
在上述之本發明之感測器裝置中,考量前述圖像處理部,進行以下處理之至少一者作為對於圖像信號之圖像處理,即:色修正、伽瑪修正、色灰階處理、增益處理、輪廓強調處理、資料壓縮處理、訊框率轉換、解析度轉換、縱橫比率轉換、對比度調整處理、清晰度調整處理、灰階調整處理、及取樣率變更處理。
亦即,在圖像處理部中,使色、亮度、色相、清晰度、資料大小(解析度或訊框率)等變化。
又,在上述之本發明之感測器裝置中,考量具備輸出部,該輸出部與外部機器之要求相應地,輸出由前述圖像處理部予以圖像處理之圖像信號、所辨識之類別之資訊、所檢測到之物體之數目、有無目標類別之資訊之任一者或全部。
亦即,輸出部與外部機器之要求相應地設定輸出之資訊。
在上述之本發明之感測器裝置中,考量具備臨限值設定部,該限值設定部針對用於前述圖像處理部之圖像處理或前述陣列感測器之與攝像相關之攝像處理的參數之全部或一部分,設定參數之臨限值,並進行利用基於前述臨限值設定之參數之處理。
設定臨限值,基於臨限值可變更圖像處理部或陣列感測器等所使用之參數。
與攝像處理相關之參數,存在例如陣列感測器之曝光時間及自陣列感測器之讀出時序、訊框率等。
與圖像處理相關之參數,存在例如圖像之解析度或色灰階數等。
又,在上述之本發明之感測器裝置中,考量前述臨限值設定部設定與自圖像信號所檢測到之物體之類別相應之前述臨限值。
與例如“人”“汽車”“標識”等之類別相應地設定適切之臨限值。
又,在上述之本發明之感測器裝置中,考量前述臨限值設定部基於對於圖像信號之學習處理設定前述臨限值。
例如在感測器裝置側進行作為局部學習之學習處理而求得臨限值。
又,在上述之本發明之感測器裝置中,考量前述臨限值設定部以獲得特定之比例作為物體檢測之確證性之比例之方式設定前述臨限值。
在針對感測器裝置輸出之圖像信號進行物體檢測、例如人之檢測等時,以例如滿足作為該檢測精度所要求之位準之方式設定臨限值。
又,在上述之本發明之感測器裝置中,考量前述臨限值設定部設置於與前述圖像處理部為同一殼體之裝置內。
例如在作為感測器裝置之單元內、或在包含感測器裝置之終端裝置或攝像裝置內設置臨限值設定部。
本發明之參數設定方法係感測器裝置之參數設定方法,該感測器裝置具有:陣列感測器,其一維或二維地排列有複數個可見光或非可見光之攝像元件;及圖像處理部,其對於藉由利用前述陣列感測器之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理;且該參數設定方法針對自藉由利用前述陣列感測器之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,並利用所選擇之參數進行前述圖像處理部之處理設定。
藉此,進行與物體檢測之目的相應之圖像處理。
又,考量進行臨限值設定處理,該臨限值設定處理針對用於前述圖像處理部之圖像處理或前述陣列感測器之與攝像相關之攝像處理的參數之全部或一部分,設定參數之臨限值,且進行利用基於前述臨限值而被變更之參數之處理。
藉此,與物體檢測之目的、態樣、攝像環境等相應地進行獲得能夠維持所需之性能之圖像信號的圖像處理及攝像處理。
以下,依以下之順序說明實施形態。
<1.感測器裝置之構成>
<2.第1實施形態:分類圖像適配化>
<3.第2實施形態:區域限幅>
<4.第3實施形態:利用AROI之區域限幅>
<5.第4實施形態:智慧壓縮>
<6.第5實施形態:主動取樣>
<7.第6實施形態:由臨限值設定實現之圖像適配化>
<8.第7實施形態:有效區域限幅>
<9.第8實施形態:利用臨限值設定及AROI之區域限幅>
<10.第9實施形態:由臨限值設定實現之主動取樣>
<11.對於移動體之應用例>
<12.總結及變化例>
此外,作為以下所說明之實施形態,舉出作為具有攝像元件陣列且將圖像信號作為檢測信號輸出之圖像感測器的感測器裝置1為例。尤其是,實施形態之感測器裝置1係設為具備由圖像解析實現之物體檢測功能者,係可稱為智能陣列感測器之裝置。
<1.感測器裝置之構成>
在圖1中顯示感測器裝置1之構成例。此外,在圖1中,作為與感測器裝置1進行資料通訊之外部裝置,也顯示處理器11、及外部感測器12。處理器11可設想與感測器裝置1通訊連接之所有處理器。
感測器裝置1具有圖像感測器器件、DRAM(Dynamic Random Access Memory,動態隨機存取記憶體)等之記憶區域、及作為AI(artificial intelligence,人工智慧)功能處理器之構成部位,而作為硬體。而且,將該等3個設為3層積層構造,或設為1層而為所謂之平放構成,或者設為2層(例如DRAM與AI功能處理器為同一層)積層構造等,而設為一體型之器件。
如圖1般,感測器裝置1具有:陣列感測器2、ADC(Analog to Digital Converter,類比數位轉換器))/像素選擇器3、緩衝器4、邏輯部5、記憶體6、介面部7、及運算部8。
ADC/像素選擇器3、緩衝器4、邏輯部5成為為了朝外部輸出由陣列感測器2獲得之檢測信號而進行信號處理之信號處理部30之例。
陣列感測器2之檢測元件採用可見光或非可見光之攝像元件,構成為一維或二維地排列有複數個攝像元件。採用例如在列方向及行方向之二維排列有多數個攝像元件,利用各攝像元件之光電轉換輸出二維圖像信號的構成。
此外,在以下之說明中,陣列感測器2作為圖像感測器輸出二維之圖像信號,但作為感測器裝置1內之陣列感測器2,也有構成為排列有音波檢測元件之感測器陣列模組、及排列有觸覺資訊檢測元件之感測器陣列模組等之情形。
ADC/像素選擇器3將由陣列感測器2予以光電轉換之電氣信號數位資料化,並輸出作為數位資料之圖像信號。
又,藉由具有對於陣列感測器2之像素(攝像元件)的像素選擇之功能,而也可僅針對在陣列感測器2中選擇之像素,讀出光電轉換信號並數位資料化且輸出。
即,ADC/像素選擇器3一般針對構成1訊框之圖像之所有有效之像素進行光電轉換信號之數位資料化輸出,但也可進行僅針對選擇之像素之光電轉換信號之數位資料化輸出。
利用ADC/像素選擇器3以訊框單位讀出圖像信號,但該各訊框之圖像信號被暫時記憶於緩衝器4,以適切之時序被讀出且供邏輯部5之處理用。
在邏輯部5中,對於輸入之各訊框圖像信號進行各種所需之信號處理(圖像處理)。
例如,設想在邏輯部5中,利用色修正、伽瑪修正、色灰階處理、增益處理、輪廓強調處理、對比度調整處理、清晰度調整處理、灰階調整處理等之處理進行畫質調整。
又,也設想在邏輯部5中,進行資料壓縮處理、解析度轉換、訊框率轉換、縱橫比率轉換、取樣率變更等之變更資料大小之處理。
針對該等由邏輯部5進行之各處理,設定用於各個處理之參數。存在例如色或亮度之修正係數、增益值、壓縮率、訊框率、解析度、處理對象之區域、取樣率等之設定值。在邏輯部5中,利用針對各個處理而設定之參數進行所需之處理。在本實施形態中,有如後述般運算部8設定該等參數之情形。
由邏輯部5處理之圖像信號被記憶於記憶體6。
記憶於記憶體6之圖像信號以所需之時序由介面部7發送輸出至處理器11等。
此外,作為記憶體6,可設想DRAM、SRAM(Static Random Access Memory,靜態隨機存取記憶體)、MRAM(Magnetoresistive Random Access Memory,磁性隨機存取記憶體:磁阻記憶體)等。
此外,MRAM係利用磁性記憶資料之記憶體,業已知悉使用TMR元件(tunneling magnetoresistive,穿隧磁阻)來取代磁芯者。TMR元件係由磁性體夾著數原子份額之極薄之絕緣物之層者,根據磁性體之層之磁化之方向而電阻發生變化。TMR元件之磁化之方向即便切斷電源也不發生變化,而為非揮發性記憶體。由於越微細化越需要增大寫入電流,故業已知悉為了使記憶體單元微細化,不使用磁場,而利用流動自旋一致之電子而進行寫入之自旋注入磁化反轉方式(STT:spin torque transfer,自旋移矩)的STT-MRAM。
毋庸置疑,作為記憶體6之具體例,可為其等以外之記憶元件。
在感測器裝置1之外部之處理器11中,針對自感測器裝置1發送而來之圖像信號,進行圖像解析、圖像辨識處理,而執行所需之物體檢測等。
處理器11也可參照外部感測器12之檢測資訊。
此外,考量處理器11以有線或無線與感測器裝置1連接。
考量該處理器11設置於與感測器裝置1共通之殼體。可設想例如設為裝備感測器裝置1之攝像裝置或終端裝置內之處理器。
或,又,處理器11可為設置於與感測器裝置1為個別構體之裝置。可為例如內置於與裝備感測器裝置1之攝像裝置或終端裝置以纜線或無線通訊等連接之資訊處理裝置、終端裝置、圖像編輯裝置、監視器裝置、通訊裝置等者。
再者,處理器11設為例如雲端電腦系統之處理器,可為在與感測器裝置1或內置感測器裝置1之機器之間進行網路通訊者。
運算部8構成為例如1個AI處理器。而且,如圖示般具備關鍵訊框選擇部81、物體區域辨識部82、類別辨識部83、參數選擇部84,而作為可執行之運算功能。此外,該等運算功能可由複數個處理器構成。
關鍵訊框選擇部81與特定之演算法或指示相應地在作為動畫之圖像信號之訊框之內進行選擇關鍵訊框之處理。
又,關鍵訊框選擇部81也有進行切換與訊框率相關之模式(第5實施形態之空閒模式與正常模式)之處理之情形。
物體區域辨識部82對於由陣列感測器2予以光電轉換且由ADC/像素選擇器3讀出之圖像信號之訊框,進行成為檢測之候補之物體之區域之檢測、及針對檢測對象之物體包圍圖像(訊框)內之該物體之區域(定界框)之辨識處理。
所謂自圖像信號所檢測到之物體係指在自圖像之辨識為目的下可能成為檢測對象之物體。與感測器裝置1及處理器11之檢測之目的、處理能力、應用程式種別等相應地,將哪一物體設為檢測對象而不同,但所有物體均有可能設為檢測對象之物體。雖終極而言僅為一部分,但若進行例示,則動物、移動體(汽車、自行車、航空機等)、自然風景(蔬菜、植物等)、工業產品/零件、建築物、設備、山、海、川、星、太陽、雲等所有物體有可能相當於檢測對象之物體。
又,如第2實施形態所說明般,物體區域辨識部82也有基於定界框進行算出顯示應設為處理之對象之區域(關心區域)之區域資訊即ROI(Region of Interest,關注區域)之處理、及基於ROI之對ADC/像素選擇器3之控制等之情形。
類別辨識部83針對物體區域辨識部82檢測到之物體進行類別分類。
所謂類別係利用圖像辨識所辨識之物體之分類。其係如例如“人”“汽車”“飛機”“船”“卡車”“鳥”“貓”“狗”“鹿”“蛙”“馬”等般對應檢測到之物體予以分類者。
參數選擇部84如第1實施形態所說明般預先記憶與各類別相應之信號處理用之參數,利用類別辨識部83所辨識之檢測物體之類別及定界框等,選擇對應之1個或複數個參數。而後,將該1個或複數個參數設定於邏輯部5。
又,參數選擇部84如第3實施形態般,也有進行下述處理之情形,即:預先記憶進階ROI(Advanced ROI:AROI,進階ROI:AROI)之樣板,該憶進階ROI(Advanced ROI:AROI,進階ROI:AROI)之樣板係以依據定界框算出ROI之類別為基礎預先依類別別而算出,並選擇該樣板。
又,也有進行下述處理之情形,即:在參數選擇部84中記憶第5實施形態之空閒模式與正常模式之設定值,基於物體檢測選擇其,而控制信號處理部30。
運算部8之該等功能係一般在陣列感測器內不進行之處理,在本實施形態中,於陣列感測器內執行物體檢測或類別辨識、及基於其等之控制。藉此,將對處理器11供給之圖像信號設為依照檢測目的之適切之圖像信號,實現不降低檢測性能之資料量削減。
此外,介面部7除對處理器11輸出圖像信號以外,還可將由運算部8所檢測到之物體之資訊、類別之資訊、檢測物體數、選擇之參數之資訊等作為例如後設資料與圖像信號一起輸出,或與圖像信號獨立地輸出。又,例如也可僅輸出類別之資訊等。
又,也考量例如處理器11側對於介面部7指示所需之資訊,介面部7輸出與其相應之資訊。
<2.第1實施形態:分類圖像適配化>
作為利用圖1之構成之感測器裝置1可執行之第1實施形態之處理,說明分類圖像適配化之處理。
圖像辨識之精度因畫質調整而不同。例如深度學習之圖像辨識藉由調整畫質而提高精度。
而且,有對圖像辨識而言較理想之畫質、即物體檢測之精度變高之畫質不一定為人進行觀察而感覺精美之畫質的情形。
例如圖2A顯示人進行觀察而感覺為高品質之圖像之例,另一方面,圖2B係因例如減少灰階數等而在人觀察到之感覺下感覺到畫質稍許劣化的圖像。
且說,作為利用神經網路解析圖2A之圖像時之物體檢測結果,將花誤判定為魚(fish),另一方面,對於圖2B之圖像,將花正確地判定為花(flower)。
由該例可知,為了提高圖像辨識之精度,而較理想為進行與以人之美觀為基準之畫質調整不同的畫質調整。
又,此適於物體檢測之畫質並非是利用一律之參數調整之畫質,根據成為檢測對象之物體而不同。例如在檢測人時及檢測汽車時,較理想之畫質調整狀態不同。即,根據檢測對象而用於畫質調整之較理想之參數之值不同。
因而,作為分類圖像適配化處理,就可能成為對象之物體之每一類別預先記憶適切之參數(畫質調整值)。而且,針對由陣列感測器2拍攝之圖像,進行物體檢測及所檢測到之物體之類別辨識,與該所辨識之類別相應地選擇參數並設定於邏輯部5,以針對該圖像之邏輯部5進行利用該參數之處理。
在圖3中顯示此分類圖像適配化處理之概要。此外,圖3係為了進行概要說明而抽出圖1之構成之一部分者。
在感測器裝置1中,利用攝像光學系統40將被攝體光集光至陣列感測器2,並進行圖像攝像。獲得之圖像信號G係由邏輯部5處理,但也被供給至運算部8。
在運算部8中由物體區域辨識部82進行成為候補之物體之檢測及該物體區域之辨識處理。在該物體區域辨識部82中,針對所需之物體區域也進行定界框之計算。
又,在運算部8中,針對所檢測到之物體由類別辨識部83進行類別辨識。在檢測到複數個物體或複數種物體時,針對各者進行類別辨識,並分類為各類別。在例如圖之情形下,以“車”之類別之物體為1個,“人”之類別之物體為5個,“交通信號燈”之類別之物體為1個之方式進行類別辨識及分類。
將該類別之資訊及定界框之資訊提供至參數選擇部84,參數選擇部84在記憶之參數集PR1、PR2・・・中,利用類別之資訊等選擇1個參數集。在圖中顯示例如已選擇參數集PR4之狀態。
此外,所謂參數集係將例如增益設定值、色修正係數、灰階數、壓縮率、訊框率等之邏輯部5之處理所使用之複數個參數之值記憶為1個集合者。
所選擇之參數集PR4在邏輯部5中設定。邏輯部5對於圖像信號G利用該參數集PR4所示之各參數進行各種信號處理。
陣列感測器與處理器11之要求相應地輸出輸出資料(有無圖像信號、類別、物體數、目標類別等)之資料之全部、或任一者。
又,處理器11可對於感測器裝置1發送各種指示。
如此,在感測器裝置1中,運算部8具有基於物體檢測之類別辨識之功能(物體之分類功能),與類別辨識部之輸出相應地,進行適應地設定邏輯部5之參數之分類畫質適配化(自物體檢測選擇與對象種類相配對應之參數選擇)。
針對參數集,藉由深度學習且藉由預先學習預先產生並記憶就每一類別適切之參數(畫質設定值)。
在產生例如“人”之類別之參數集時,如圖4A所示,將多數個人之圖像用作學習資料SD而進行深度學習,產生基於人之辨識之觀點圖像辨識率最高之參數集PR1。
針對其他各類別亦然,同樣地利用深度學習產生圖像辨識率最高之參數集PR2、PR3・・・。
而且,如圖4B般,以參數選擇部84可選擇之方式預先記憶符合產生之各類別的參數集PR1、PR2、PR3。
在圖5中顯示感測器裝置1之分類圖像適配化處理之具體例。一面逐次參照圖6一面進行說明。
圖5顯示當在步驟S100中自陣列感測器2開始1訊框單位之圖像信號之輸出後,由感測器裝置1(主要為運算部8)執行之處理。
在該圖5中,運算部8之處理係由作為圖1所示之關鍵訊框選擇部81、物體區域辨識部82、類別辨識部83、參數選擇部84之各功能執行之處理。此外,此一情形在後述之圖9、圖14、圖16、圖18也同樣。
在步驟S101中,運算部8(關鍵訊框選擇部81)進行以與關鍵訊框選擇演算法相應之時序選擇關鍵訊框之處理。
感測器裝置1藉由自陣列感測器2之像素陣列輸出信號即訊框單位之圖像信號選擇關鍵訊框並進行圖像辨識,而辨識攝影對象之類別。關鍵訊框之選擇係利用關鍵訊框選擇演算法進行,藉此選擇靜止圖像(某一1訊框)。
舉出關鍵訊框選擇演算法之例。
首先,存在就每一指定之時間之間隔選擇1訊框之方法。例如為以30秒間隔將1訊框設為關鍵訊框等。毋庸置疑,30秒為一例。
又,也考量以根據來自感測器裝置1之外部(處理器11等)之命令的時序選擇關鍵訊框。例如設為與來自搭載有感測器裝置1之器件、機器側之指示相應者。例如在將感測器裝置1搭載於汽車之情況下,雖然在停車場停止,但以開始行駛之時序等選擇關鍵訊框等。
又,可根據狀況使關鍵訊框之選擇方法變化。例如在將感測器裝置1搭載於汽車時,於停車時、一般行使時、高速走行時變更關鍵訊框之間隔等。
若選擇關鍵訊框,則步驟S102中,運算部8(物體區域辨識部82)進行關鍵訊框內之成為物體之候補之位置之檢測。
亦即,運算部8在關鍵訊框之圖像中探索應檢測到之物體之候補,求得1個或複數個候補之位置(圖像內之位置座標)。
例如將圖6A之輸入圖像設為關鍵訊框。運算部8檢測在該圖像之中像似應檢測到之物體之部位。例如將圖6B、圖6C之區域設為像似應檢測到之物體之部位。其成為物體之候補。
在圖5之步驟S103中,運算部8(類別辨識部83)進行檢測物體之類別分類。亦即,針對物體之候補各者進行類別辨識,並分類。
如上述般,所謂類別係使用圖像辨識所辨識之物體之分類。
如例如圖6D、圖6E般,進行“人”“花”之類別辨識。
在圖5之步驟S104中,運算部8確認在作為類別辨識結果而獲得之類別內是否存在目標類別。
目標類別係在類別之中由處理器11特別設定之類別。在例如目標類別被設定為“人”時,感測器裝置1在辨識到人時進入所指定之過程。
此外,較理想為目標類別可指定複數個。
在例如將“人”與“花”設為目標類別時,當於在步驟S103中所辨識之類別中存在“人”或“花”時,運算部8將處理自步驟S104進展至S105。
另一方面,若不存在目標類別,則運算部8返回步驟S101,進行下一關鍵訊框之選擇。
在因目標類別之存在而進展至步驟S105時,運算部8(物體區域辨識部82)進行包圍被分類為類別之物體區域的正確的位置座標(定界框)之算出。
在圖6F、圖6G中顯示定界框20。定界框20係由作為X軸上之區域範圍之最小座標值Xmin、最大座標值Xmax、及作為Y軸上之區域範圍之最小座標值Ymin、最大座標值Ymax規定。
在圖5之步驟S106中,運算部8(參數選擇部84)依據物體之類別、數目、定界框20之面積選擇參數集。
在例如存在1個目標類別時,選擇符合該類別的參數集。
當在畫面內存在複數種目標類別之物體時,考量以下之例。
例如,考量選擇符合各類別中物體之數目最多之類別的參數集。
或,當在畫面內存在複數種目標類別之物體時,考量選擇符合定界框20之面積最大之物體之類別的參數集。
或,當在畫面內存在複數種目標類別之物體時,考量就每一類別選擇符合定界框20之面積之總計變為最大之類別的參數集。
或,當在畫面內存在複數種目標類別之物體時,考量根據每一類別之物體之數目與定界框20之面積之總計(或最大值)求得最優先之類別,並選擇符合該類別對應的參數集。
毋庸置疑除此以外存在各種參數集之選擇方法,但無論如何只要選擇與畫面內支配性物體、或應優先檢測之物體之類別相應之參數集即可。
在步驟S107中,運算部8(參數選擇部84)進行將選擇之參數集設定於邏輯部5之處理。
藉此,在邏輯部5中針對以後依序輸入之各訊框之圖像信號,利用所設定之參數集進行各種圖像處理。
經處理之圖像信號、所設定之參數、或所辨識之類別之資訊等被暫時記憶於DRAM 6。
在步驟S108中,感測器裝置1與處理器11之要求相應地輸出圖像信號(靜畫、動畫)、類別辨識資訊(有無類別、對象數、目標類別等)、所使用之參數集等之資訊之全部、或至少任一者。
即,與處理器11之要求相應地由介面部7讀出並發送暫時記憶於DRAM 6之資訊之任一者。
此外,該步驟S108之處理可設為根據運算部8之控制者,但也可為藉由經由介面部7之處理器11對於DRAM 6之存取而執行者。在運算部8不進行介面部7之控制時,作為運算部8之處理,在步驟S107之後返回步驟S101。
根據以上之處理,對處理器11供給與作為圖像中所含之物體的目標類別之存在相應地已進行參數設定之圖像信號。該圖像信號成為已進行適於該目標類別之物體之檢測之圖像處理之圖像信號。
又,若所檢測到之類別(目標類別)及物體數之資訊也被提供至處理器11,則成為對在處理器11之物體檢測處理有用之資訊。
利用其等,可以處理器11進行高精度之物體檢測。
此外,也可使用在感測器裝置1內簡易地進行類別設定且在外部更精細地進行辨識之使用方式。例如也可進行如不是利用感測器裝置1執行而是使處理器11執行直至臉部辨識或車牌辨識之處理。
又,在圖5之處理例中,於步驟S102中檢測像似物體之部位(圖6B、圖6C),在步驟S103中進行類別辨識(圖6D、圖6E),之後在步驟S105中進行定界框20之設定(圖6F、圖6G),但並不限定於該程序。可為例如以下之程序,即:在步驟S102之階段中,若檢測到像似物體之部位則進行定界框20之設定,之後,在步驟S103中進行類別辨識,若存在目標類別則自步驟S104進展至S106。
<3.第2實施形態:區域限幅>
作為利用圖1之構成之感測器裝置1可執行之第2實施形態之處理,說明區域限幅。
針對由陣列感測器2所檢測到之圖像信號,一般考量將各訊框之所有像素之資訊發送至處理器11並執行圖像辨識。
然而,若將所有訊框之全像素之資訊傳送至處理器11,並以處理器11持續進行物體檢測,則尤其是隨著陣列感測器2之攝像圖像之高精細化推進,而傳送資訊量顯著增大,也需要耗費傳送時間。又,在雲端發送時通訊量之增大較大地影響通訊成本、時間。再者,有處理器11或雲端之存儲量之負擔也增加,且解析處理負擔、處理時間也增加,物體檢測性能降低之虞。
因而,在第2實施形態中,若在某一訊框之圖像中辨識到所需之物體,則藉由在下一訊框以後,大致以該物體之區域之像素位準進行圖像信號之取得及傳送,且其他之區域之像素不會作為資訊存在,而謀求處理之效率化。
在圖7中顯示概要。
在圖7A中顯示某一訊框F1之圖像。在將“人”設定為應檢測到之物體時,在訊框F1之圖像內檢測人之區域。而且,將檢測到人之區域設為關心區域即ROI(Region of Interest,關注區域)21。
在以後之訊框F2、F3・・・Fn中,自陣列感測器2僅讀出設為ROI 21之區域內之像素。該圖像為如圖7B般僅包含ROI 21之部分之資訊之圖像。
而且,基於此包含局部像素資訊之圖像信號進行運算部8之解析,或朝處理器11傳送而進行圖像解析。
具體而言,如圖8A中示意性顯示般,將藉由陣列感測器2獲得之圖像信號中針對每N個訊框1張之比例下之某一訊框F1設為包含所有有效像素之資訊的圖像。而後,在運算部8中掃描全畫面而進行對象物之有無及位置之檢測。而後,設定ROI 21。
在取得後續之訊框F2時,如圖8B般取得僅將設為對象區域之ROI 21之像素進行AD轉換之圖像信號。此外,在圖中以格子區劃出之各方形表示像素。
如此,例如就每N個訊框僅對1訊框進行全畫面掃描而進行對象物之檢測,如圖8C般在以後之訊框F2、F3、F4・・・中僅前訊框之對象物之檢測區域進行圖像解析。
藉由進行該過程,而在不降低成為應用程式之對象之物體檢測之精度下,進行解析資料量之削減、通訊資料量之減少,進行感測器裝置1之低耗電化及搭載有感測器裝置1之系統整體之與物體檢測相關之圖像解析之高速化。
在圖9中顯示作為區域限幅解析之感測器裝置1之運算部8之處理例。一面逐次參照圖10一面進行說明。
運算部8(關鍵訊框選擇部81)在步驟S201中判定是否成為物體檢測關鍵訊框記錄時序。
所謂物體檢測關鍵訊框記錄時序係意味著為了物體檢測而在陣列感測器2之所有有效像素區域進行資訊取得之時序。
作為物體檢測關鍵訊框記錄時序,可以例如來自處理器11等之感測器裝置1之外部之命令進行判定。例如可設想根據60 sec之指示,以60 sec之間隔判定物體檢測關鍵訊框記錄時序。
若成為物體檢測關鍵訊框記錄時序,則運算部8進展至步驟S202,在陣列感測器2之所有有效像素區域取得已AD轉換之圖像資料。例如使ADC/像素選擇器3以所有有效像素區域為對象輸出來自陣列感測器2之1訊框之圖像信號。
在步驟S203中,運算部8(物體區域辨識部82)針對取得之圖像進行成為物體之候補之位置之檢測。
如圖10A所示,例如在將訊框F1設為物體檢測關鍵訊框時,在該訊框F1之圖像內檢測物體之候補區域23。此時,將包含“人”及“樹”之圖像之區域設為候補區域23。
在圖9之步驟S204中,運算部8(類別辨識部83)進行被檢測為候補之物體之類別分類。
如例如圖10B般,針對候補區域23之物體進行“人”“樹”等之類別辨識。
在圖9之步驟S205中,運算部8確認在作為類別辨識結果而獲得之類別內是否存在目標類別。
例如在將“人”設為目標類別時,如圖10B般在所辨識之類別中存在目標類別。在此情形下,運算部8將處理自圖9之步驟S205進展至S206。
另一方面,若不存在目標類別,則運算部8返回步驟S201,等待下一物體檢測關鍵訊框記錄時序。
圖9之步驟S206中,運算部8(物體區域辨識部82)進行包圍已分類為設為目標類別之類別之物體之區域的正確的位置座標之定界框20之算出。
例如在圖10C中顯示針對目標類別即人之圖像之定界框20之例。亦即,定界框20被計算為符號目標類別之物體之更正確的區域。
在圖9之步驟S207中,運算部8(物體區域辨識部82)依據定界框20算出ROI。
在圖10D中顯示ROI 21及定界框20。ROI 21將定界框20之縱橫尺寸(x×y)放大(ax×by)而進行計算。放大之比例尺a、b可依縱橫別而設定,放大率可為固定,但也考量由感測器裝置1之外部(例如處理器11等)指定。
運算部8(物體區域辨識部82)將如上述般計算之ROI傳遞至ADC/像素選擇器3。
與此相應地,在ADC/像素選擇器3中,僅陣列感測器2之ROI 21內對應之像素進行AD轉換並輸出。
運算部8在圖9之步驟S208中取得包含僅ROI 21內之像素之資訊之下一訊框之圖像資料。而後,針對取得之訊框進行步驟S203、S204之處理。
在圖10E中示意性顯示所有有效像素中僅ROI 21內之像素進行AD轉換(在各圖中以格子區劃出之方形表示像素)。
利用此AD轉換,由運算部8取得如圖10F般具有僅ROI 21之部分之資訊的訊框F2之圖像。
而後,運算部8在圖9之步驟S203、S204中,對於該訊框F2之圖像進行物體候補之位置之檢測及類別分類,但例如在該圖10F之情形下,由於檢測到人,故進展至步驟S206、S207,重新進行定界框20之算出、及基於定界框20之新的ROI 21之算出。在圖10F中將重新求得之ROI顯示為“ROI 21(新)”。
此外,藉由擴展定界框20而產生ROI 21係緣於對應於被攝體即物體之移動(或攝像裝置之被攝體方向之變化)之故。
例如圖10E之訊框F2之人之位置與圖10A之訊框F1之人之位置相比朝右方向發生變化。然而,藉由寬廣地設定ROI 21,而即便僅為ROI 21內之像素,仍提高在訊框F2中可取得對象之人之圖像之可能性。
此外,如上述般以ROI 21在下一訊框中也可檢測到對象之物體之方式將定界框20擴展,但也考量將縱橫尺寸(x×y)放大(ax×by)時之放大之比例尺a、b設為相應於訊框率者。
例如由於若訊框率較低,則訊框間隔之時間變長,人等之物體之移動量也變大,故考量與訊框率較高之情形相比擴大ROI 21。
且,就每一訊框重新計算ROI 21(產生新的ROI 21(新))也係緣於對應於被攝體即物體之移動(或攝像裝置之被攝體方向之變化)之故。
因人之移動而自圖10F之圖像在ROI 21內之靠右之位置檢測到人。因而,藉由重新計算包圍人之區域之定界框20並取得ROI 21,而如ROI 21(新)般,以持續追隨人之移動之方式持續更新ROI。
運算部8在步驟S207中,將新的ROI 21(新)傳遞至ADC/像素選擇器3。藉此,下一訊框僅將新的ROI 21(新)內之像素AD轉換(參照圖10G)。
而後,同樣地,運算部8在步驟S208中,取得僅ROI 21(新)內之像素之資訊之圖像信號,並進行步驟S203以後之處理。
重複進行此處理直至在步驟S205中判定為不存在目標類別為止。因而,藉由例如與作為被攝體之人相配對應地持續更新ROI 21之位置,而如例如圖10H之訊框Fn般即便人之位置移動,仍可基於以未圖示之前一訊框F(n-1)計算之ROI 21取得包含人之區域之資訊之訊框Fn之圖像信號。
由於假若所檢測到之人脫離訊框而無法檢測到,則無法取得目標類別,故運算部8自步驟S205返回S201,而等待下一物體檢測關鍵訊框記錄時序。
藉由進行如以上之區域限幅解析之處理,而物體檢測關鍵訊框記錄時序之關鍵訊框之圖像信號包含所有有效像素之資料,但在後續之訊框中成為可設為僅物體檢測所需之像素的極度減少資料量之圖像信號且適於目的之物體之檢測之圖像。進而,也可實現因減少陣列感測器2之進行讀出之像素數而引起之消耗電力削減。
此外,在圖9之處理例之情形下,針對每1個目標類別之物體設定ROI 21,與各個物體相應之ROI 21之區域成為自陣列感測器2之讀出對象,但其並不限定於由物體檢測關鍵訊框所檢測到之物體。例如即便以訊框F2、F3之時序出現新的物體(例如人)作為被攝體,仍有可能不會取得該人之圖像。
若為例如欲跟蹤並解析在某一程度之時間間隔之物體檢測關鍵訊框發現之物體之使用目的,則其不成問題,但在例如應用於監視作為被攝體出現之所有人之監視系統等之情形下,針對在物體檢測關鍵訊框以外之訊框出現之物體也欲設為檢測對象。
因而,例如,考量即便持續目標類別之物體之檢測(即,即便於在步驟S205中“是”之判定繼續之情形下),仍必定以特定時間間隔返回步驟S202,而取得所有有效像素之圖像信號。
設計為可自處理器11等指定取得所有有效像素之圖像信號之時間間隔也為較佳。
或,也考量除ROI 21以外預先將圖像之周緣部始終作為AD轉換對象之區域,若物體作為被攝體重新納入訊框而來,則檢測該物體,針對該物體亦然,可設定ROI 21。
已描述ROI 21藉由將定界框20放大而設為矩形之區域之例,但ROI 21並非係限定於矩形之區域者。
可利用例如語義分割、亦即像素位準下之物體區域檢測,自該目標類別之物體之區域計算ROI 21。
圖11顯示基於語義分割之ROI 21。其係將作為物體(例如人物)之像素區域擴展而設為非矩形之ROI 21之例。
存在例如具有突起物之卡車、騎乘自行車之人等之一部分未包含於矩形之ROI 21中、或形成過大之狀態之情形。若與像素位準之物體位置相應地產生非矩形之ROI 21,則可提高成為能夠兼顧削減資料量及取得所需之資訊之兩者之ROI 21的可能性。
此外,藉由將以上之第2實施形態之區域限幅與第1實施形態之分類圖像適配化處理組合而執行,而可更有效地獲得削減資料量及提高檢測精度之效果。
<4.第3實施形態:利用AROI之區域限幅>
作為利用圖1之構成之感測器裝置1可執行之第3實施形態之處理,說明利用進階ROI(也記述為“AROI”)之區域限幅。
所謂AROI係利用與類別相應地設定之樣板而設定之ROI。
在陣列感測器2(圖像感測器)中,由光電轉換消耗之電力最大。因而,為了削減消耗電力,而欲儘量減少光電轉換之像素。
又,由陣列感測器2獲得之圖像信號由於用於圖像解析而並非供人觀察,故無須在人觀察下可辨識出,或無須為精美之圖像。換言之,重要的是為可高精度地進行物體檢測之圖像。
例如在上述之第2實施形態中,針對檢測到之物體進行類別辨識,但若如上述般進行類別辨識,則只要將與類別相應之用於辨識之最低限之區域設定為ROI即可。因而,設定如圖12、圖13所示之AROI 22。
圖12顯示對於人之圖像區域利用符合“人”之類別的樣板產生之AROI 22。圖之格子為像素(pixel),較深之像素係由AROI指定之像素。
例如符合“人”之類別的樣板設為如將臉部之部分高密度地作為必要像素配置,將身體部分之必要像素低密度地配置而可覆蓋整體者。
又,圖13顯示利用符合“汽車”之類別的樣板產生之AROI 22。在此例中係與汽車之背面圖像相適應者,設為如將例如車牌位處之部分高密度地作為必要像素,除此以外之區域低密度地配置必要像素而可覆蓋整體者。
實際上,也考量“人”之類別也細分化,而將樣板細分化為“朝橫向之人”“朝正面之人”“就坐之人”等,針對“汽車”之類別,將樣板細分化為“側面圖像”“正面圖像”“背面圖像”等。
如上述般選擇與類別相應之樣板,與實際之訊框內之區域尺寸相配對應地將樣板放大縮小而產生AROI 22。
在圖14中顯示利用AROI 22之處理例。
此外,步驟S201至S206由於為與圖9同樣之處理,故避免重複說明。
運算部8(物體區域辨識部82)當在以物體檢測關鍵訊框記錄時序獲得之所有有效像素之圖像信號中存在目標類別之物體時,在步驟S206中算出定界框20。
而後,運算部8(參數選擇部84)在步驟S210中選擇依據類別預先算出並記憶之AROI用之樣板。
例如在“人”為目標類別,且在圖像內存在人時,選擇“人”用之樣板。
在步驟S211中,運算部8(物體區域辨識部82)基於定界框20算出AROI 22。
例如將與定界框20之尺寸相應地調整了樣板之尺寸者設為AROI 22。
而後,運算部8(物體區域辨識部82)將該AROI 22(AROI之圖案及區域)傳遞至ADC/像素選擇器3。
與此相應地,在ADC/像素選擇器3中,僅陣列感測器2之AROI 22內對應之像素AD進行轉換並輸出。
運算部8在步驟S212中取得包含僅AROI 22內之像素之資訊之下一訊框之圖像資料。而後,針對取得之訊框進行步驟S203、S204之處理。
以後之處理之流程與圖9中所說明之流程同樣。
藉由如上述般利用與類別相應地設定之樣板產生AROI 22,而即便大幅度減少光電轉換之像素,仍可獲得可與類別相應地確實地進行物體檢測之資訊。
此外,第2實施形態中所言及之物體檢測關鍵訊框記錄時序必定以某一時間間隔產生、及將圖像之周緣部始終設為AD轉換對象之區域在該第3實施形態中也可應用。
又,藉由將以上之第3實施形態之利用AROI 22之區域限幅與第1實施形態之分類圖像適配化處理組合而執行,而可更有效地獲得削減資料量及提高檢測精度之效果。
<5.第4實施形態:智慧壓縮>
作為利用圖1之構成之感測器裝置1可執行之第4實施形態之處理,說明智慧壓縮之處理。
所謂智慧壓縮係指特定檢測之對象物,且以低壓縮率對對象物施加壓縮,以高壓縮率對對象物以外施加壓縮。
在圖15中顯示具體例。
圖15A顯示在自某一訊框之圖像檢測到目標類別即“汽車”之類別時,與各汽車之區域對應地產生ROI 21之狀態。
圖15B係以低壓縮率壓縮該ROI 21之區域,以高壓縮率壓縮其以外之區域之圖像信號。
藉此,在不降低成為物體檢測之應用程式之對象的物體之檢測精度下,進行解析資料量之削減及通訊資料量之減少。
又,也謀求感測器裝置1之低耗電化、及搭載有感測器裝置1之系統整體之與物體檢測相關之圖像解析之高速化。
在圖16中顯示進行智慧壓縮之處理例。
此外,步驟S201至S206係與圖9同樣之處理。惟,由於存在若干個事態與前文所說明之區域限幅之情形不同之方面,故也言及該等處理。
運算部8(關鍵訊框選擇部81)在步驟S201中判定是否成為物體檢測關鍵訊框記錄時序。
若成為物體檢測關鍵訊框記錄時序,則運算部8進展至步驟S202,在陣列感測器2之所有有效像素區域取得經AD轉換之圖像資料。
惟,在智慧壓縮之情形下,ADC/像素選擇器3就每一訊框進行自陣列感測器2讀出所有像素之信號(AD轉換)。
運算部8(物體區域辨識部82)針對在步驟S201中取得之圖像進行成為物體之候補之位置之檢測。而後,在步驟S204中,運算部8(類別辨識部83)進行被檢測為候補之物體之類別分類。
在步驟S205中,運算部8確認在作為類別辨識結果而獲得之類別內是否存在目標類別。
運算部8(物體區域辨識部82)當在以物體檢測關鍵訊框記錄時序獲得之所有有效像素之圖像信號中存在目標類別之物體時,在步驟S206中算出定界框20。
在步驟S220中,運算部8(物體區域辨識部82)依據定界框20算出ROI。此時亦然,考量例如將定界框20放大而設定ROI 21。
運算部8(物體區域辨識部82)將如上述般計算之ROI 21傳遞至邏輯部5。
與此相應地,在邏輯部5中於步驟S221中,對於自陣列感測器2讀出之圖像信號,針對ROI 21內對應之像素區域以低壓縮率進行壓縮處理,其他像素區域以高壓縮率進行壓縮處理。
經壓縮處理之圖像信號之後被寫入DRAM 6,並由介面部7傳送至處理器11。
在處理器11中,由於由ROI 21指定之必要之區域被設為低壓縮率,而充分地存在資訊,故可進行高精度之物體檢測。
作為運算部8之處理,在步驟S220之後,返回步驟S203,進行針對下一訊框之物體候補之位置之檢測,並在步驟S204中進行檢測物體之類別辨識。
在該第4實施形態中,來自陣列感測器2之讀出為在各訊框中被設為所有有效像素者,因而,於在步驟S220、S211之後返回步驟S203之情形下亦然,運算部8可在步驟S203中掃描所有有效像素之範圍而進行物體之候補之檢測。藉由掃描所有有效像素之範圍而進行物體之候補之檢測,而也可始終對應於在關鍵訊框記錄時序之間之新的目標類別之物體之出現。
然而,此時,若運算部8僅在ROI 21內之區域進行物體之候補之檢測,則可削減運算部8之處理負擔。
運算部8與確認目標類別之存在相應地,在步驟S206、S220中持續更新ROI 21。
因而,在邏輯部5中以低壓縮率壓縮之區域也與各訊框之物體之位置相應地被持續更新。
假若在步驟S205中判定為不存在目標類別,則運算部8之處理返回步驟S202,等待物體檢測關鍵訊框記錄時序。
根據以上之圖16之處理,進行以低壓縮率對解析所需之部位、亦即目標類別之物體存在之ROI 21內予以壓縮處理,以高壓縮率對其以外之區域壓予以縮處理的智慧壓縮之處理。
此外,第2實施形態中所言及之物體檢測關鍵訊框記錄時序必定以某一時間間隔產生、及產生基於語義分割之ROI在該第4實施形態中也可應用。
又,藉由將以上之第4實施形態之智慧壓縮之處理與第1實施形態之分類圖像適配化處理組合而執行,而可更有效地獲得削減資料量及提高檢測精度之效果。
<6.第5實施形態:主動取樣>
作為利用圖1之構成之感測器裝置1可執行之第5實施形態之處理,說明主動取樣。
主動取樣係指根據有無對象物使訊框率動態地變化之處理。可謂是與有無對象物相應之時間軸方向之資料量之壓縮。又,也可謀求感測器裝置1之電力消耗之削減。
利用圖17說明主動取樣之概要。
此時,將目標類別設為“人”,自攝像圖像進行人之檢測。設想例如自建築物之中通過玄關對外部以監視相機進行拍攝之情形。
圖17A顯示攝像圖像中不包含人之狀態。此時,將訊框率設為低訊框率、例如1 fps。
圖17B顯示在攝像圖像內檢測到人之狀態。此時,將訊框率變更為高訊框率、例如100 fps。
亦即,藉由限定檢測對象而使訊框率動態地變化,而在並非特別必要時(在未檢測到人時),降低訊框率,在必要時(在檢測到人時),提高訊框率而使資訊量密集。
在圖18中顯示主動取樣之處理例。
在步驟S301中,運算部8(關鍵訊框選擇部81)依照例如預先記憶於運算部8內之空閒模式之設定,對ADC/像素選擇器3進行動畫攝像之設定。
例如在運算部8內於參數選擇部84中記憶有空閒模式之設定及正常模式之設定。
對於主動取樣設置有空閒模式及正常模式,空閒模式係確定目標類別之物體進入攝像畫面內之前之模式。
在該空閒模式中,以較正常模式為慢之訊框率進行動畫攝像。
空閒模式考量以來自感測器裝置1之外部之命令開始。又,空閒模式可相應於來自感測器裝置1之外部的空閒模式用資料取得時序間隔之命令。例如在存在60 sec之指示時,每隔60 sec之間隔成為物體檢測關鍵訊框記錄時序。
正常模式係一般之動畫攝像模式。例如相應於來自感測器裝置1之外部的正常模式用資料取得時序間隔之命令。
由於一般以較空閒模式為快之訊框率進行動畫攝影,故在存在例如0.01 sec之指示時,成為以0.01 sec之間隔(100 fps)進行攝像之模式。
因而,藉由在步驟S301中運算部8對ADC/像素選擇器3指示空閒模式,而假定空閒模式之設定為1 fsp,則動畫攝像以例如1 sec間隔進行。
此外,空閒模式之設定與正常模式之設定不一定被記憶於運算部8內,可被記憶於運算部8之外部記憶體。
毋庸置疑,空閒模式、正常模式之訊框率為一例。
又,較理想為空閒模式、正常模式之設定值可自處理器11等之外部裝置被覆寫。
在步驟S302中,運算部8(物體區域辨識部82)針對取得之圖像進行成為物體之候補之位置之檢測。
在步驟S303中,運算部8(類別辨識部83)進行被檢測為候補之物體之類別分類。
在步驟S304中,運算部8確認在作為類別辨識結果而獲得之類別內是否存在目標類別。
若不存在目標類別,則運算部8進行步驟S301、S302、S303之處理。亦即,取得作為空閒模式之下一訊框之圖像,同樣地,進行成為物體之候補之位置之檢測及類別辨識。此時,若以例如1 fps進行攝像,則針對1秒後之圖像進行該等處理。
在例如將“人”設為目標類別時,當“人”作為在所辨識之類別存在時,運算部8將處理自步驟S304進展至S305。
運算部8(關鍵訊框選擇部81)依照所記憶之正常模式之設定,對ADC/像素選擇器3進行動畫攝像之設定,指示正常模式之攝像。
因而,假定正常模式之設定為100 fsp,則動畫攝像以例如0.01 sec間隔進行。
如上述般在切換為正常模式之狀態下,運算部8進行步驟S302、S303之處理。
而且,只要在所拍攝之圖像內存在目標類別,則繼續進行正常模式,另一方面,若目標類別不復存在,則返回步驟S301而切換為空閒模式。
如以上般進行作為主動取樣之處理。藉此,尤其是不存在目標類別之期間降低訊框率進行資料量壓縮,且藉此削減消耗電力。
此外,運算部8對ADC/像素選擇器3指示訊框率變更而使訊框率可變,但可對邏輯部5指示訊框率轉換。
例如自陣列感測器2之讀出始終以100 fps進行,在空閒模式之情形下,對邏輯部5指示訊框省略減少。藉此,可削減與朝處理器11之傳送相關之資料量。
此外,藉由將此種主動取樣之處理與第2、第3、第4實施形態組合,而在不降低檢測精度下獲得更有效之資料量削減效果。
又,藉由將主動取樣之處理與第1實施形態之分類圖像適配化處理組合,而除有效之資料量削減以外,還可提高檢測精度。
<7.第6實施形態:由臨限值設定實現之圖像適配化>
作為第6實施形態之處理,說明圖像適配化之處理。此處說明之例係進一步將與臨限值設定相應之參數變更之觀點添加至第1實施形態之分類圖像適配化之處理之例。
作為此處言及之參數之一例,設想用於邏輯部5之圖像處理之參數,以例如滿足在感測器裝置1內設定之臨限值之方式設定(調整、變更)邏輯部5所利用之圖像處理之參數。
又,所謂參數也設想在ADC/像素選擇器3之信號讀出及在陣列感測器2之曝光動作等之攝像處理所使用之參數。以例如滿足在感測器裝置1內設定之臨限值之方式設定(調整、變更)ADC/像素選擇器3及陣列感測器2之攝像處理動作之控制參數等。
在上述之第1實施形態中,與類別辨識相應地選擇邏輯部5所使用之參數,但也可基於臨限值設定(調整、變更)該選擇之參數。
或,不一定限定於基於類別辨識所選擇之參數,若為邏輯部5、ADC/像素選擇器3、及陣列感測器2所使用之參數,則考量基於臨限值設定。
顯示與如上述般基於臨限值自動地設定之攝像處理相關之參數及與圖像處理相關之參數之具體例。
如下述般例示例如與圖像處理相關之參數。
・圖像之縱橫比率
・解析度
・色灰階數(色數、或位元數)
・對比度調整值
・清晰度調整值
・灰階調整值
・伽瑪修正值
・取樣率轉換比
图像之纵横比率及解析度之参数也反映在ROI 21。
色灰階數、對比度調整值、清晰度調整值、灰階調整值、伽瑪修正值、解析度成為與畫質相關之參數。
取樣率轉換比成為時間解析度之參數。
又,作為與攝像處理相關之參數,存在下述參數等:
・取樣率
・解析度(例如在ADC/像素選擇器3之讀出時點設定之解析度)
・陣列感測器2之快門速度(曝光時間)。
毋庸置疑,基於臨限值自動地設定之參數也存在上述例舉以外之參數。
此種與參數之臨限值相應之設定,在例如以處理器11基於利用深度神經網路(DNN:Deep Neural Network)之學習進行物體檢測時,為了一面針對該物體檢測之輸出確保可實用之精度,一面謀求資料量削減、處理之高速化、低耗電化等而進行。
亦即,變更解析度或色數等之參數而減少攝像資料量,但即便如此,物體檢測之精度仍被維持為所需之位準。
在圖19中說明基於臨限值之參數設定之觀點。
例如當在感測器裝置1中拍攝到人時,在該輸出圖像中,具有陣列感測器2之所有像素(所有有效像素)之資訊,例如作為訊框率以60 fps(frames per second,每秒框數)輸出全彩之圖像資料。
而且,在針對此種圖像資料以例如處理器11進行物體檢測時,置信率CR=0.98,可以98%之比例正確地檢測人。所謂置信率係可正確地判別且檢測物體之確證性之比例。
另一方面,在輸出將解析度降低若干、將色之灰階數降低若干、將訊框率設為30 fps的圖像資料時,置信率CR=0.92。
又,在輸出進一步降低輸出解析度、也進一步降低色之灰階數、將訊框率設為15 fps的圖像資料時,置信率CR=0.81。
進而,在輸出大幅度降低解析度、也大幅度降低色之灰階數、將訊框率設為10 fps的圖像資料時,置信率CR=0.58。
以上終極而言僅為說明上之例,但藉由如上述般進行解析對象之圖像資料之解析度或色數、及時間解析度等之與攝像或畫質相關之參數之變更而置信率變動。即,圖像解析及物體檢測之精度改變。
且說,物體檢測之置信率不會過高,但實際上並非始終要求最高之置信率。
在例如考量欲自如圖7A般對公園進行俯瞰攝像之圖像粗略地檢測人之數目時,並不要求如此之正確性。在求得例如數人、10人左右、20人左右等之檢測結果時,即便置信率CR=0.6左右也或許為充分。
另一方面,在如欲以防止犯罪相機等嚴密監視人之侵入等之情形下,也有要求置信率CR=0.95左右之情形。
且,也可能有下述期望,即:白天可為置信率CR=0.70,夜間欲設為置信率CR=0.90左右。
即,作為物體檢測之精度所要求之置信率CR為根據針對該檢測之目的、對象、機器/應用程式之種別、時期、地域等多種要素而不同者。
再者,置信率根據處理器11之解析能力、學習程度也變動,且根據檢測對象、類別也變動。
因此,藉由例如以所要求之適切之置信率為基準決定臨限值,與此相應地變更參數,而可進行與物體檢測等之要求吻合之圖像信號之輸出。
此時,在圖19之例中謀求置信率CR=0.80以上。
此時,計算如作為置信率CR之臨限值成為0.80以上的參數,並設定邏輯部5等所使用之參數。尤其是設定如臨限值更高但資料量比較少之參數。
設定例如圖示之置信率CR=0.81之解析度、色灰階數、訊框率等之參數。
如是,與例如以置信率CR=0.98之方式設定參數並輸出圖像信號之情形相比,大幅度削減資料量,而且可維持所需之物體檢測精度。
此外,所謂“臨限值”也可考量作為置信率之所要求之值,但在為了調整參數而算出之臨限值之含義下,也可考量為用於求得作為所要求之“臨限值”之置信率的參數之值。
即,在技術性含義下,“設定參數之臨限值,並進行利用基於臨限值設定之參數的處理”之處理可設想如以下之[1][2]之處理方法。
[1]算出適於使用態樣或使用環境之置信率等之指標值之臨限值,設定實際使用之參數作為獲得超過該指標值之臨限值之指標值之參數值。即,基於物體檢測之指標值之觀點設定參數之臨限值。
[2]算出用於獲得作為置信率等之指標值之所要求之值的參數之臨限值,基於該臨限值設定實際使用之參數。即,基於參數本身之值之觀點設定參數之臨限值。
在本實施形態中,例如依據置信率如上述之[1]或[2]般設定臨限值,實際使用之參數設為已適配化之參數以儘量減少圖像資料量。即時(例如在攝像中定期地等)算出此參數,並動態地進行參數變更。
例如藉由與感測器裝置1之用途、目標類別或攝像環境相配對應地利用DNN處理算出適切之臨限值及與其相應之參數,並進行參數變更,而進行與應用程式等相適應之高速化、低耗電化、高精度化。
尤其是,在作為第6實施形態進行說明之例中,參數調整設置根據物體檢測之置信率之臨限值,以儘量接近臨限值且不低於臨限值之方式算出參數之設定值。
且,臨限值及與其相應之參數較適切的是就每一類別進行。
圖20A顯示作為類別分類為“人之臉部”之圖像,圖20B顯示作為類別分類為“路標(標識)”之圖像。
在圖20A中顯示,在為人之臉部之情形下,在將圖像信號設為8位元RGB資料之16777216色、資料量1.5 MB時置信率CR=0.99,在將圖像信號設為8位元灰度之256色、資料量540 KB時置信率CR=0.75,在將圖像信號設為白黑2色、資料量180 KB時置信率CR=0.58。
在例如該情形下,在針對人之臉部將臨限值設為置信率CR=0.74時,右側之圖像並不適切,作為參數設定,中央圖像之參數適合。
在圖20B中顯示,在為路標之情形下,在將圖像信號設為8位元RGB資料之16777216色、資料量1.4 MB時置信率CR=0.99,在將圖像信號設為8位元灰度之256色、資料量520 KB時置信率CR=0.95,在將圖像信號設為白黑2色、資料量110 KB時置信率CR=0.88。
在例如該情形下,在針對路標將臨限值設為置信率CR=0.85時,任一圖像均適切。作為參數設定,右側之圖像之參數適用。
例如,如此,由於根據物體之類別,對於圖像信號之品質之檢測精度及所要求之精度不同,故較適切的是進行與類別相應之臨限值設定及參數變更。
以下,說明第6實施形態之具體例。
首先,在圖21中顯示感測器裝置1之構成例。惟,針對與圖1相同之構成要素賦予同一符號,且避免重複說明。
該圖21之構成與圖1相比,例如設置臨限值設定部85作為構成為AI處理器之運算部8內之運算功能之方面不同。
臨限值設定部85具有作為DNN引擎之功能,進行針對用於邏輯部5之圖像處理或陣列感測器2之與攝像相關之攝像處理(陣列感測器2及ADC/像素選擇器3之處理)的參數之全部或一部分,設定參數之臨限值之處理。
又,臨限值設定部85在邏輯部5、陣列感測器2、ADC/像素選擇器3之全部或一部分中進行利用基於臨限值被變更之參數之處理。
具體而言,臨限值設定部85基於臨限值變更例如在邏輯部5中用於圖像處理之參數,並將已變更之參數設定於邏輯部5。
又,或,臨限值設定部85基於臨限值變更用於例如在陣列感測器2之曝光動作或ADC/像素選擇器3之讀出處理、AD轉換處理等之攝像處理的參數,並將已變更之參數設定於陣列感測器2及ADC/像素選擇器3。
在圖22中顯示此感測器裝置1之運算部8之處理例。圖22設為將上述之臨限值設定部85之處理添加至圖5之分類圖像適配化之處理之例。在圖22中與圖5相同之處理賦予同一步驟編號且省略說明。
在該圖22中,於圖5之處理追加作為臨限值設定部85之處理之步驟S150、S151。
在步驟S150中,運算部8判定是否為臨限值算出時序,若為臨限值算出時序則進展至步驟S151,若並非是臨限值算出時序則進展至步驟S101。
臨限值算出時序設為例如以下之時序。
a.每隔特定之時間間隔:例如自攝像開始起每隔1小時
b.每個特定之設定時刻:例如每個時刻0:00 am
c. 每特定之目標類別之出現次數:例如目標類別每出現1000次
d.每特定之目標類別攝像時間:例如拍攝目標類別之時間每經過5小時
e.由來自外部之命令指定之時序:例如來自處理器11等之搭載有感測器裝置1之器件/機器側之指示
例如在步驟S150中判定該等時序等,若成為臨限值算出時序,則運算部8在步驟S151中依照臨限值算出原則進行臨限值算出。即,決定臨限值,並設定與臨限值相應之參數。
該臨限值算出原則(臨限值)因在算出臨限值時關注之攝像處理、或圖像處理之參數之種類或思維方式而被分為若干個原則,且根據應用程式而不同。以下舉出其例。
・利用置信率之下降曲線之拐點
有若持續降低解析度則資料大小減小,計算成本也降低之優點,但一般而言,相反地,置信率持續下降。
在圖23A中,橫軸表示解析度,縱軸表示置信率。
如圖示般,置信率之下降在成為某一解析度(拐點)以下之低解析度時大幅度下降。因而,求得例如變更解析度下之置信率與解析度之關係之曲線之拐點。進行如將該拐點或拐點附近考量為臨限值而降低解析度的參數設定。
・利用置信率之最大值
物體檢測之類別分類根據該類別,不一定色數較多者置信率更高,而存在根據成為對象之類別,置信率變為最大之最佳之色數。
在圖23B中,橫軸表示色灰階之數目,縱軸表示置信率。
如圖示般在觀測到置信率之峰值時,基於該最大值計算臨限值。例如將最大值(置信率與色灰階數之關係之曲線之峰值)考量為臨限值,或將接近最大值之特定範圍(使特定%之置信率降低之值等)考量為臨限值。而且,與臨限值相應地設定色灰階數之參數。
・利用電池餘量
求得可依據電池餘量進行N小時攝像之參數設定,其中以置信率變為最高之方式(或以成為特定以上之方式)設定參數。
考量例如以獲得儘量長之攝像時間之方式使置信率等之臨限值與電池餘量相應地降低,進行與該置信率相應之參數設定。
・利用可維持對象追蹤之時間解析度
所謂對象追蹤係在連續之圖像信號之訊框中以訊框進行方向跟蹤辨識特定之檢測物體(對象)。
一般而言,若降低圖像信號之時間解析度,則對象追蹤所耗費之計算成本變高。
將可維持此對象追蹤之參數設為臨限值,在優先考量對象追蹤之低計算成本下決定時間解析度及其他參數。
採用如例如以上之例之原則之任一者,以特定之演算法進行臨限值算出。在圖24中顯示運算部8之臨限值算出處理之例。
該圖24之運算部8之處理係由作為圖21所示之物體區域辨識部82、類別辨識部83、臨限值設定部85之各功能執行之處理。
運算部8在步驟S160中自陣列感測器2取得1訊框單位之圖像信號。
在步驟S161中,運算部8(物體區域辨識部82)進行取得之訊框內之成為物體之候補之位置之檢測。
亦即,運算部8在訊框圖像中探索應檢測到之物體之候補,求得1個或複數個候補之位置(圖像內之位置座標)。
在步驟S162中,運算部8(類別辨識部83)進行檢測物體之類別分類。亦即,針對物體之候補各者進行類別辨識,並分類。
在步驟S163中,運算部8確認在作為類別辨識結果而獲得之類別內是否存在目標類別。
目標類別係如上述般例如由處理器11設定之類別。亦即,設想設為在處理器11之物體檢測之對象的類別。
若存在目標類別,則運算部8返回步驟S160,進行下一訊框之圖像資料之取得。
在存在目標類別時,運算部8將處理自步驟S163進展至S164。
在進展至步驟S164時,運算部8(物體區域辨識部82)進行包圍被分類為類別之物體區域的正確的位置座標(定界框)之算出。針對定界框20係如利用圖6F、圖6G等所說明般。
在步驟S165中,運算部8(臨限值設定部85)一面依照預設之臨限值算出原則變更針對由定界框20包圍之目標類別的攝像處理或圖像處理所使用之參數,一面算出臨限值及參數。
在步驟S166中,運算部8(臨限值設定部85)將在步驟S165中算出之臨限值、參數、目標類別、及臨限值算出原則之資訊建立對應關係並予以記錄。
例如記錄於運算部8內部之記錄區域,或記錄於記憶體6之特定區域,或是傳送至處理器11而記錄。
藉此,設定與目標類別相應之臨限值及參數。
在圖22之步驟S151中,如例如以上般設定臨限值及參數。因而,每當成為臨限值算出時序時,變更針對某一目標類別之參數集。
例如若人為目標類別,則與臨限值相應地變更與人對應之參數集之全部或一部分之參數。
由於圖22之步驟S101至S107與圖5同樣,故此時,與目標類別相應地選擇參數集。而後,在步驟S107中將參數集設定於邏輯部5。
設定於該邏輯部5之參數集係與目標類別相適應之參數集,但為基於在上述步驟S151之處理中算出之臨限值而變更之參數集。
運算部8(臨限值設定部85)以如上述般變更邏輯部5所使用之參數之方式,進行所需之處理、例如參數朝邏輯部5之傳送或變更指示。
藉此,將與圖像處理及攝像處理相關之參數基於臨限值設為圖像資料量儘量減少之值。
因而,自介面部7輸出之圖像信號為可維持由處理器11所需之物體檢測之精度之畫質等,而且可設為資料量較少者。
此外,以上之圖22之處理例係在圖5之分類圖像適配化之例添加基於臨限值設定之參數變更之觀點者,但可不一定與分類圖像適配化之處理組合。
也考量例如僅有步驟S150、S151、S107、S108之處理例(在圖22中不設步驟S101至S107之處理例)。
亦即,在邏輯部5中用於圖像處理所使用之參數、或在陣列感測器2或ADC/像素選擇器3中使用之攝像處理所使用之參數係基於步驟S151之臨限值算出而設定。
而且,在步驟S107之時點,將與臨限值相應地設定之參數設定於邏輯部5、陣列感測器2及ADC/像素選擇器3。
即,運算部8(臨限值設定部85)將與臨限值相應地設定之參數朝邏輯部5、陣列感測器2、ADC/像素選擇器3之一部分或全部傳送,或進行變更指示。
此時,在不基於利用與類別相應之參數集之觀點下,可實現如例如基於臨限值算出逐次變更在邏輯部5、陣列感測器2、ADC/像素選擇器3中例如在預設下設定之參數的處理。
具有臨限值設定部85之構成並不限定於圖21,也考量如例如圖25、圖26之構成例。
圖25係與感測器裝置1為個別構體地設置運算部8而作為終端裝置100之構成例。此外,作為終端裝置100,考量資訊處理終端、攝像裝置終端等各種終端。
運算部8設為與感測器裝置1不同之晶片且設置於終端裝置100內,可經由介面部7與感測器裝置1通訊。
而且,運算部8具備成為用於臨限值設定之DNN引擎的臨限值設定部85。
藉此,圖25之運算部8也可進行與上述圖22之情形同樣之處理。
此外,如該圖25之構成例也可應用於第1至第5實施形態之圖1之構成例。運算部8可與感測器裝置1為個別構體。
圖26之構成例係成為用於臨限值設定之DNN引擎的臨限值算出部85由與感測器裝置1及運算部8獨立之處理器等形成之情形下之例。
例如為具有感測器裝置1(包含運算部8)、處理器11、外部感測器12、及臨限值設定部85而作為終端裝置100之構成。
此時亦然,臨限值設定部85可經由介面部7與感測器裝置1通訊,可與運算部8協作地進行與上述圖22同樣之處理。
再者,雖省略圖示,但如圖26般,在感測器裝置1與運算部8為個別構體之構成中,可進一步由個別構體之處理器等構成臨限值設定部85。
此外,針對關鍵訊框選擇部81、物體區域辨識部82、類別辨識部83、參數選擇部84等亦然,也考量與臨限值設定部85同樣地,採用配置於感測器裝置1之外、或運算部8之外之構成。此方面在圖1之構成之變化例中也可應用。
<8.第7實施形態:有效區域限幅>
作為第7實施形態,說明利用上述之第2實施形態之ROI實現更有效率之處理之例。
此外,以下之第7實施形態之處理即便為圖1、圖21、圖25、圖26之任一構成也可應用。
在上述之第2實施形態中,曾描述如圖7、圖8所例示般針對檢測對象之物體設定ROI 21,自陣列感測器2僅讀出設為ROI 21之區域內之像素之例。
此處著眼於存在設為ROI 21之區域集中於圖像內之特定之區域之情形。
圖27A舉出例如在建物內之監視相機之圖像為例。將人設為檢測對象而設定ROI 21。在圖中顯示在過去特定期間內設定之成為ROI 21之本源的定界框20之圖像內的位置。
例如,此時,在過去之特定期間內,定界框20(及ROI 21)之設定位置在圖像內為接近地板之區域。
換言之,可謂由於在圖像內之接近天花板之區域未出現人,故針對天花板附近之圖像區域可不進行人之檢測處理。
因而,例如將如圖27B所示般顯示檢測對象之“人”之區域、即有在過去特定期間內設定有定界框20之實績之區域設為有效區域RA,將未顯示檢測對象之“人”之區域、即在過去特定期間內未設定定界框20之區域設為非有效區域DA。
圖28A舉出例如在高速公路上以車為檢測對象而進行監視之監視相機之圖像之例,顯示在過去特定期間內設定之定界框20之位置。
此時亦然,由於車出現在路面附近,故如圖27B般可設定有效區域RA及非有效區域DA。
如以上之圖27B、圖28B之例般設定有效區域RA,自陣列感測器2之攝像像素之有效區域RA之檢測信號進行物體檢測。而且,與第2實施形態同樣地,將基於物體之檢測而產生之ROI 21作為與檢測信號之取得或檢測信號之信號處理相關之區域對於信號處理部30指示。
即,針對物體檢測關鍵訊框,基於物體檢測之履歷資訊局部地進行光電轉換而進行物體檢測,而非全畫面掃描。
此外,所謂物體檢測關鍵訊框係在第2實施形態之處理中為了物體檢測而在陣列感測器2之所有有效像素區域內進行資訊取得的訊框。在該關鍵訊框中僅在有效區域RA之像素區域內進行資訊取得成為第7實施形態之處理。
顯示圖29之運算部8之處理例。此外,針對與圖9相同之處理賦予同一步驟編號。
運算部8在步驟S250中判定是否成為針對關鍵訊框之有效區域之算出時序,若為算出時序則進展至步驟S161,若並非係臨限值算出時序則進展至步驟S201。
針對關鍵訊框,有效區域RA之算出時序考量如例如下述般。
a.每隔特定之時間間隔:例如自攝像開始起每1小時
b.每個特定之設定時刻:例如每個時刻0:00 am
c.每特定之目標類別之出現次數:例如目標類別每出現1000次
d.每特定之目標類別攝影時間:例如拍攝目標類別之時間每變為5個小時
e.由來自外部之命令指定之時序:例如來自處理器11等之搭載有感測器裝置1之器件/機器側之指示
當為算出時序而進展至步驟S161時,運算部8進行針對關鍵訊框之有效區域RA之算出。
在圖30中顯示針對關鍵訊框之有效區域RA之算出處理例
運算部8(物體區域辨識部82)在步驟S271中算出在過去之特定期間內出現目標類別之定界框20的陣列感測器2上之出現區域之像素。
此時,出現之各個定界框20內之所有像素成為出現區域之像素,但可設定包絡地包圍出現之所有定界框20之範圍,將該範圍內之所有像素設為出現區域之像素。
再者,可將包絡地包圍出現之所有定界框20之範圍朝周圍方向擴展,將該範圍內之所有像素設為出現區域之像素。
包含如上述般算出之定界框20之出現區域之全部的像素範圍成為有效區域RA。
在步驟S272中,運算部8(物體區域辨識部82)將算出之像素區域與類別名稱一起記錄為針對關鍵訊框之有效區域RA。例如記錄於運算部8內部之記錄區域,或記錄於記憶體6之特定區域,或是傳送至處理器11而記錄。
藉此,設定與目標類別相應之有效區域RA。
在圖29之步驟S201中,運算部8(關鍵訊框選擇部81)在步驟S201中判定是否成為物體檢測關鍵訊框記錄時序。
與第2實施形態(圖9)同樣地,所謂物體檢測關鍵訊框記錄時序係為了物體檢測而自陣列感測器2進行資訊取得之時序。
作為物體檢測關鍵訊框記錄時序,可以來自例如處理器11等之感測器裝置1之外部之命令進行判定。例如可設想根據60 sec之指示,以60 sec之間隔判定為物體檢測關鍵訊框記錄時序。
若成為物體檢測關鍵訊框記錄時序,則運算部8進展至步驟S252,針對陣列感測器2之有效區域RA之像素取得經AD轉換之圖像資料。例如在ADC/像素選擇器3中,以有效區域RA為對象輸出來自陣列感測器2之1訊框之圖像信號。
在步驟S203中,運算部8(物體區域辨識部82)針對取得之圖像進行成為物體之候補之位置之檢測。該步驟S203至S208與圖9同樣。
根據以上之圖29之處理,可僅在有效區域RA進行步驟S203之物體檢測,而非在1訊框之所有有效像素區域中進行。而且,有效區域RA係可進行目標類別之物體檢測之區域。換言之,有效區域RA以外係幾乎不可能進行目標類別之物體檢測之區域。
因而,因物體檢測關鍵訊框之讀出像素數之削減、檢測範圍之縮小,而可實現處理之效率化、消耗電力削減等。
此外,在以上之例中,基於定界框20之履歷設定有效區域RA,但可基於ROI 21之履歷設定有效區域RA。此時,也考量包含就每一訊框移動之ROI(圖10中所說明之ROI 21(新))之像素位置之履歷。
<9.第8實施形態:利用臨限值設定及AROI之區域限幅>
作為第8實施形態,說明使利用作為第3實施形態顯示之AROI 22之區域限幅更效率化之處理例。此外,該第8實施形態之處理可在圖21、圖25、圖26之任一構成中實施。
該第8實施形態在利用使用樣板之AROI 22時,針對檢測之對象之物體(類別)及部位等,基於設定之臨限值設定參數。即,引入第6實施形態之臨限值之觀點,依據DNN之算出之物體檢測之正解率決定臨限值,而設定參數。
例如與利用置信率而設定之臨限值相應地決定AROI 22內之關注區域之解析度之分佈。
在圖31示意性顯示例子。在將人設為目標類別時,針對以臉部為目標類別之情形進行考量。
第1解析度>第2解析度>第3解析度。
作為臉部檢測之置信率CR在第1解析度下為0.95,在第2解析度下為0.86,在第3解析度下為0.66。
作為人(身體)檢測之置信率CR在第1解析度下為0.98,在第2解析度下為0.81,在第3解析度下為0.65。
在將作為臉部檢測之臨限值thF設為0.85時,選擇第2解析度作為以圖像資料量儘量減少之方式適配化之參數,進行針對樣板內之像素之圖像處理。
又,在將作為人檢測之臨限值thP設為0.80時,選擇第2解析度作為以圖像資料量儘量減少之方式適配化之參數,進行針對樣板內之像素之圖像處理。
此時,第2解析度均合用,但也設想,在某種情形下,在為臉部檢測之情形下臨限值thF設為0.94而設定第1解析度,或針對人檢測,將臨限值thP設定為0.60而設定第3解析度。
即,在利用AROI 22時,就每一目標類別設定臨限值,而設定對於AROI 22內之像素之圖像處理及讀出處理等之參數。
在圖32中顯示運算部8之處理例。
圖32之步驟S250、S251與圖29之步驟S250、S251同樣,運算部8以關鍵訊框之有效區域RA之檢測時序進行有效區域RA之算出(圖30之處理)。
步驟S260、S261與圖22之步驟S150、S151同樣。亦即,在步驟S260中,運算部8(臨限值設定部85)判定是否為臨限值算出時序,若為臨限值算出時序則在步驟S261中進行臨限值算出(圖24之處理)。
在此時之圖24之臨限值算出處理中,運算部8(物體區域辨識部82)與上述同樣地進行步驟S160至S164。而後,運算部8(臨限值設定部85)在步驟S165中,一面針對由定界框20包圍之目標類別變更解析度,一面算出基於來自與作為樣板之AROI模式對應之像素區域之資料之置信率的臨限值,並基於該臨限值設定參數。
此時,針對作為與類別相應之樣板之AROI模式,設定與臨限值相應之參數。審定例如針對AROI模式上之區域之解析度。
而後,在步驟S166中,將臨限值、目標類別、AROI模式與所需之參數、及臨限值算出原則之資訊建立對應關係並予以記錄。例如記錄於運算部8內部之記錄區域,或記錄於記憶體6之特定區域,或是傳送至處理器11而記錄。
在圖32之步驟S201中,運算部8判定是否成為物體檢測關鍵訊框記錄時序,若成為物體檢測關鍵訊框記錄時序,則運算部8進展至步驟S252,針對陣列感測器2之有效區域RA之像素取得經AD轉換之圖像資料。例如使ADC/像素選擇器3中以有效區域RA為對象輸出來自陣列感測器2之1訊框之圖像信號。
在步驟S203中,運算部8(物體區域辨識部82)針對取得之圖像進行成為物體之候補之位置之檢測。該步驟S203至S206與圖9同樣。
若步驟S206中算出定界框20,則運算部8(參數選擇部84)在步驟S262中選擇依據臨限值而算出並予以記錄之AROI模式。
在步驟S211中,運算部8(物體區域辨識部82)基於定界框20算出實際之AROI 22。即,求得與選擇之AROI模式對應之實際之像素區域。例如將與定界框20之尺寸相應地調整了樣板之尺寸者設為AROI 22。
而後,運算部8(物體區域辨識部82)將該AROI 22(AROI之圖案及區域)傳遞至ADC/像素選擇器3。
與此相應地,在ADC/像素選擇器3中,陣列感測器2之AROI 22內僅對應之像素進行AD轉換並輸出。
運算部8在步驟S212中取得包含僅AROI 22內之像素之資訊之下一訊框之圖像資料。而後,針對取得之訊框進行步驟S203、S204之處理。
如此,藉由針對AROI 22也進行例如與置信率相應之參數設定,而設定解析度等之參數,而可一面維持物體檢測精度一面使攝像處理及圖像處理效率化。
<10.第9實施形態:由臨限值設定實現之主動取樣>
作為第9實施形態,說明在第5實施形態所說明之主動取樣之方法中,添加基於DNN之算出之物體檢測之正解率決定時間解析度之方法之例。
亦即,進行依據目標類別之每單位時間之平均移動量使訊框率動態地變化之處理。
此外,該第9實施形態之處理可在圖21、圖25、圖26之任一構成中實施。
在上述之第5實施形態中,準備正常模式及空閒模式,在攝像圖像內未檢測到目標類別之存在之期間作為空閒模式而採用低訊框率。而且,若確認目標類別之存在,則作為正常模式提高訊框率,而使資訊量密集。
在第9實施形態中,除該處理以外,還與目標類別相應地設定正常模式之訊框率。
圖32A係感測器裝置1用於在高速公路上進行攝像之監視相機中之情形下之圖像之例。將目標類別設為車,顯示定界框20。虛線箭頭表示某一車之移動方向。
圖32B將所拍攝之車之移動量顯示為在連續之訊框之定界框20之圖像上之位置(像素位置)之變化。若在多數個車中考量此移動量,則平均的移動量假定為1152像素/秒。
此時,若算出可維持對象追蹤(在連續之訊框圖像上之對象物之跟蹤)之取樣率,則為46 fps。
其次,圖33A係感測器裝置1在建物內之監視相機中使用之情形下之圖像之例。將目標類別設為人,顯示定界框20。虛線箭頭表示某一人之移動方向。
圖32B將所拍攝之人之移動量顯示為在連續之訊框之定界框20之圖像上之位置(像素位置)之變化。若在多數個人中考量此移動量,則平均的移動量假定為192像素/秒。
此時,若算出可維持對象追蹤之訊框率,則為5 fps。
例如在如以上般目標類別為車時、及為人時,可維持對象追蹤之訊框率不同。
如是,與目標類別相應地利用DNN求得可維持對象追蹤之訊框率,若求得該臨限值(所容許之訊框率下限),則可一面設為儘量少之資料量,一面跟蹤對象物且維持檢測之物體檢測之精度。
此外,訊框率係由陣列感測器2之讀出時序之設定、或ADC/像素選擇器3之取樣率之設定而決定。
在圖35中顯示運算部8之處理例。
步驟S350、S351與圖22之步驟S150、S151同樣。亦即,在步驟S350中,運算部8(臨限值設定部85)判定是否為臨限值算出時序,若為臨限值算出時序則在步驟S351中進行臨限值算出(圖24之處理)。
在此時之圖24之臨限值算出處理中,運算部8(物體區域辨識部82)與上述同樣地進行步驟S160至S164。而後,運算部8(臨限值設定部85)在步驟S165中,針對由定界框20包圍之目標類別一面變更訊框率一面算出可維持對象追蹤之臨限值(成為臨限值之訊框率)。
之後,在步驟S166中,運算部8(臨限值設定部85)將在步驟S165中算出之臨限值與目標類別、及臨限值算出所使用之臨限值算出原則之資訊建立對應關係並予以記錄。例如記錄於運算部8內部之記錄區域,或記錄於記憶體6之特定區域,或是傳送至處理器11而記錄。
藉此,例如以基於與目標類別相應之臨限值之參數、亦即可維持對象追蹤之訊框率設定儘量低之訊框率之值。
圖35之步驟S301至S106與圖18同樣。
在步驟S301中,運算部8(關鍵訊框選擇部81)依照例如預先記憶於運算部8內之空閒模式之設定,對ADC/像素選擇器3進行動畫攝像之設定。
因而,假定空閒模式之設定為1 fsp,則動畫攝像以例如1 sec間隔進行。
在步驟S302中,運算部8(物體區域辨識部82)針對取得之圖像進行成為物體之候補之位置之檢測。
在步驟S303中,運算部8(類別辨識部83)進行被檢測為候補之物體之類別分類。
在步驟S304中,運算部8確認在作為類別辨識結果而獲得之類別內是否存在目標類別。
若不存在目標類別,則運算部8經由步驟S350、S351重複進行步驟S301、S302、S303之處理。
在此期間內,若成為臨限值算出時序,則進行步驟S351之處理。
當在步驟S304中判定為存在目標類別時,運算部8將處理自步驟S304進展至S352。
運算部8(關鍵訊框選擇部81)對在步驟S351之處理中記憶之參數進行正常模式之設定,對ADC/像素選擇器3進行動畫攝像之設定,指示正常模式之攝像。
在例如目標類別為人,如圖34C般可以5 fps維持對象追蹤,訊框率=5 fps之情形下,正常模式之訊框率設定成為5 fsp。
如上述般在切換為正常模式之狀態下,運算部8進行步驟S302、S303之處理。
而且,只要在所拍攝之圖像內存在目標類別,則繼續進行正常模式,另一方面,若目標類別不復存在,則經由步驟S350、S351返回步驟S301而切換為空閒模式。
如以上般進行作為主動取樣之處理。藉此,尤其是不存在目標類別之期間降低訊框率進行資料量壓縮,且藉此削減消耗電力。
又,由於即便設為正常模式,仍以與目標類別相應地經適配化之訊框率進行處理,故根據類別而設為相當低之訊框率(上述之5 fps等)。因而,即便在正常模式下仍進行資料量壓縮及消耗電力削減。
此外,運算部8對ADC/像素選擇器3指示訊框率變更而使訊框率可變,但可對邏輯部5指示訊框率轉換。
例如自陣列感測器2之讀出始終以100 fps進行,但與在空閒模式及正常模式下設定之參數相應地,對邏輯部5指示訊框省略減少。藉此,可削減與朝處理器11之傳送相關之資料量。
<11.對於移動體之應用例>
本發明之技術可應用於各種產品。例如,本發明揭示之技術可實現為搭載於汽車、電動汽車、油電混合汽車、自動二輪車、自行車、個人移動性裝置、飛機、無人機、船舶、機器人等任一種類之移動體之裝置。
圖36係顯示作為可應用本發明揭示之技術之移動體控制系統之一例之車輛控制系統之概略構成例之方塊圖。
車輛控制系統12000具備經由通訊網路12001連接之複數個電子控制單元。在圖36所示之例中,車輛控制系統12000具備:驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及綜合控制單元12050。又,作為綜合控制單元12050之功能構成,圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface,介面)12053。
驅動系統控制單元12010依照各種程式控制與車輛之驅動系統相關聯之裝置之動作。例如,驅動系統控制單元12010作為內燃機或驅動用馬達等之用於產生車輛之驅動力之驅動力產生裝置、用於將驅動力朝車輪傳遞之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等的控制裝置而發揮功能。
車體系統控制單元12020依照各種程式控制裝備於車體之各種裝置之動作。例如,車體系統控制單元12020作為無鑰匙進入系統、智慧型鑰匙系統、動力車窗裝置、或前照燈、尾燈、煞車燈、方向指示燈或霧燈等之各種燈之控制裝置而發揮功能。此時,對於車體系統控制單元12020,可輸入有自代替鑰匙之可攜式裝置發出之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入,而控制車輛之車門鎖閉裝置、動力車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載車輛控制系統12000之車輛之外部之資訊。例如,在車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像,且接收所拍攝之圖像。車外資訊檢測單元12030可基於所接收之圖像,進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接收光且輸出與該光之受光量相應之電信號之光感測器。攝像部12031既可將電信號作為圖像輸出,亦可作為測距之資訊輸出。又,攝像部12031所接收之光既可為可見光,也可為紅外線等之非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機,車內資訊檢測單元12040基於自駕駛者狀態檢測部12041輸入之檢測資訊,既可算出駕駛者之疲勞度或集中度,亦可判別駕駛者是否打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊,運算驅動力產生裝置、轉向機構或制動裝置之控制目標值,且對驅動系統控制單元12010輸出控制指令。例如,微電腦12051可進行以實現包含車輛之碰撞避免或衝擊緩和、基於車距之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道脫離警告等的ADAS(Advanced Driver Assistance Systems,先進駕駛輔助系統)之功能為目的之協調控制。
又,微電腦12051藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛之周圍之資訊控制驅動力產生裝置、轉向機構或制動裝置等,而可進行以在不依賴於駕駛者之操作下自主地行駛之自動駕駛等為目的之協調控制。
又,微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊,對車體系統控制單元12030輸出控制指令。例如,微電腦12051與由車外資訊檢測單元12030檢測到之前方車或對向車之位置相應地控制前照燈,而可進行將遠光切換為近光等之以謀求防眩為目的之協調控制。
聲音圖像輸出部12052朝可針對車輛之乘客或車外視覺性或聽覺性通知資訊之輸出裝置發送聲音及圖像中之至少一者之輸出信號。在圖36之例中,例示有音訊揚聲器12061、顯示部12062及儀錶板12063作為輸出裝置。顯示部12062例如可包含機上顯示器及抬頭顯示器之至少一者。
圖37係顯示攝像部12031之設置位置之例之圖。
在圖37中,作為攝像部12031,具有攝像部12101、12102、12103、12104、12105。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之前端突出部、側視鏡、後保險杠、後背門及車廂內之擋風玻璃之上部等之位置。前端部所具備之攝像部12101及車室內之擋風玻璃之上部所具備之攝像部12105主要獲得車輛12100之前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100之側方之圖像。後保險杠或後背門所具備之攝像部12104主要取得車輛12100之後方之圖像。車廂內之擋風玻璃之上部所具備之攝像部12105主要用於前方車輛、或行人、障礙物、信號燈、交通標誌或車道等之檢測。
此外,在圖37中,顯示攝像部12101至12104之攝影範圍之一例。攝像範圍12111顯示設置於前端突出部之攝像部12101之攝像範圍,攝像範圍12112、12113顯示分別設置於側視鏡之攝像部12102、12103之攝像範圍,攝像範圍12114顯示設置於後保險杠或後背門之攝像部12104之攝像範圍。例如,藉由重疊由攝像部12101至12104拍攝之圖像資料,而可取得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少1者可具有取得距離資訊之功能。例如,攝像部12101至12104之至少1個既可為包含複數個攝像元件之立體照相機,亦可為具有相位差檢測用之像素之攝像元件。
例如,微電腦12051藉由基於自攝像部12101至12104取得之距離資訊,求得至攝像範圍12111至12114內之各立體物之距離、及該距離之時間性變化(對於車輛12100之相對速度),而可在尤其是位於車輛12100之前進路上之最近之立體物中,將朝與車輛12100大致相同之方向以特定之速度(例如,0 km/h以上)行進之立體物作為前方車抽出。進而,微電腦12051設定針對前方車之近前預設應確保之車距,而可進行自動制動控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起步控制)等。如此般可進行以在不依賴於駕駛者之操作下自主地行駛之自動駕駛等為目的之協調控制。
例如,微電腦12051可基於自攝像部12101至12104取得之距離資訊,將與立體物相關之立體物資料分類為2輪車、普通車輛、大型車輛、行人、電線桿等其他之立體物並提取,且用於障礙物之自動躲避。例如,微電腦12051將車輛12100之周邊之障礙物識別為車輛12100之駕駛員能夠視認之障礙物及難以視認之障礙物。然後,微電腦12051判斷表示與各障礙物之碰撞之危險度之碰撞風險,在碰撞風險為設定值以上而有碰撞可能性之狀況時,藉由經由音訊揚聲器12061或顯示部12062對駕駛員輸出警報,或經由驅動系統控制單元12010進行強制減速或躲避操舵,而可進行用於避免碰撞之駕駛支援。
攝像部12101至12104之至少1者可為檢測紅外線之紅外線相機。例如,微電腦12051可藉由判定在攝像部12101至12104之攝像圖像中是否有行人而辨識行人。如此之行人之辨識藉由例如提取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之程序、針對表示物體之輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之程序而進行。微電腦12051當判定在攝像部12101至12104之攝像圖像中有行人,且辨識為行人時,聲音圖像輸出部12052以針對該被辨識出之行人重疊顯示用於強調之方形輪廓線之方式控制顯示部12062。又,聲音圖像輸出部12052亦可以將顯示行人之圖標等顯示於所期望之位置之方式控制顯示部12062。
以上,針對可應用本發明之技術之車輛控制系統之一例進行了說明。本發明之技術可應用於以上所說明之構成中之例如攝像部12031。具體而言,將本發明之感測器裝置1用作搭載於攝像部12031之圖像感測器,可執行分割圖像適配化、區域限幅、智慧壓縮、主動取樣之一部分或全部。藉此,可實現應用於車外資訊檢測之圖像處理、及由不降低檢測精度之資訊量之適切的削減引起之處理負擔之降低等。
<12.總結及變化例>
在以上之實施形態中獲得如以下之效果。
如第1、第6實施形態所說明般,感測器裝置1具備:陣列感測器2,其一維或二維地排列有複數個可見光或非可見光之攝像元件;邏輯部5(圖像處理部),其對於藉由利用陣列感測器2之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理;及運算部8。運算部8針對自藉由利用陣列感測器2之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,並利用所選擇之參數進行邏輯部5之處理設定。
亦即,針對由陣列感測器2獲得之圖像信號以邏輯部5施以圖像處理,但該圖像處理參數係基於圖像信號之檢測物體之類別辨識而設定。
在進行自圖像之物體檢測時,在人觀察下高品位之圖像不一定成為辨識精度變高之圖像。且,根據辨識之物體之類別而較佳之畫質不同。即,在視認上成為高畫質之一般之施以利用參數設定之圖像處理的圖像不一定為適於物體檢測之畫質。又,與辨識之物體之類別相應地,較佳之圖像處理參數不同。
因而,預先就每一類別保持參數集,在攝像圖像中與檢測物體之類別辨識相應地選擇使用之參數集。藉此,進行適於設為目標之物體之檢測之圖像處理。根據已進行此圖像處理之圖像,可實現提高物體檢測之精度。
又,由於針對物體檢測較理想之畫質調整與令人感覺到精美之畫質調整不同,故例如不使用用於使美觀優先之擴散濾波器等。因此設定之參數以帶來處理之低負載化者居多。
又,根據與類別相應之參數(例如與灰階變更及壓縮相關之參數等)而減少資料量之情形也較多,此時,也可避免因處理器11側之計算成為高負載而處理延遲,或系統整體之消耗電力上升之事態。
各實施形態之感測器裝置1具備將由邏輯部5(圖像處理部)予以圖像處理之圖像信號輸出至外部裝置之介面部7(輸出部)。
感測器裝置1利用內部之邏輯部5進行與物體之類別相應之圖像處理,並將其發送輸出至處理器11(圖5之步驟S108),但藉此無須在處理器11中進行用於提高物體檢測之畫質調整。因而,減輕在處理器11之處理負擔,且可進行高精度之物體檢測。
又,基於類別辨識所選擇之參數集不一定為用於獲得人之視認上之最高畫質之參數集。也有在某種情形下減少經處理之圖像之資料量之情形。即,也有下述情形,即:為輸出不一定為人觀察到時之最高畫質但適於處理器所欲辨識之物體之畫質者,可減少發送之圖像信號之資料量。
藉此,可在不降低物體檢測之精度下削減通訊成本。也改善在雲端進行計算處理時之傳送之延遲。
曾描述實施形態之介面部7(輸出部)也進行與針對輸出之圖像信號之類別辨識相關之資訊之發送(圖5之步驟S108)。
藉此,在輸出目的地之處理器11及雲端之AI處理器等中,可在辨識出類別後進行物體檢測,而可進行更高精度之物體檢測。
在第1、第6實施形態中,曾描述運算部8進行:物體區域辨識處理,其在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域;類別辨識處理,其進行由物體區域辨識處理檢測到之物體區域之物體之類別辨識;及參數選擇處理,其基於類別辨識處理之辨識結果進行參數選擇,並進行邏輯部5之處理設定 (參照圖1、圖5)。
亦即,運算部8具備:進行物體區域辨識處理之物體區域辨識部82、進行類別辨識處理之類別辨識部83、及進行參數選擇處理之參數選擇部84,藉此可自圖像信號之1訊框實現基於物體候補之檢測、類別辨識、類別辨識的參數選擇。
在第1、第6實施形態中,運算部8進行:物體區域辨識處理,其在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域;類別辨識處理,其進行由物體區域辨識處理檢測到之物體區域之物體之類別辨識;判別在由類別辨識處理所辨識之類別中是否存在目標類別的處理;及參數選擇處理,其在存在目標類別時,基於該目標類別之類別辨識結果進行參數選擇,並進行邏輯部5之處理設定 (參照圖1、圖5、圖22)。
藉由進行目標類別之存在判定,而可高效率地執行基於設為圖像辨識之目標之物體之類別之參數選擇。換言之,藉由不進行基於非目標之物體之檢測之參數選擇,而不進行無用之參數選擇,使處理效率化,且不進行不適切之參數設定,藉而可提高設為目標之物體之圖像辨識精度。
在第1、第6實施形態中,可設定複數個目標類別,當在1訊框內存在複數個目標類別之物體時,基於所選擇之一個目標類別進行參數選擇處理(參照圖5及圖22之步驟S106)。
藉由可設定複數個目標類別,則可對應於以跨複數個類別之物體為對象之圖像辨識。
又,當在1訊框內存在複數個目標類別之物體時,藉由選擇例如支配性或優勢之目標類別等,基於一個目標類別進行參數選擇,而可實現適切之參數集。
又,在第1、第6實施形態(圖5及圖22之步驟S105、S106)中,舉出在針對符號目標類別之物體區域,算出包圍物體之定界框20,且在存在複數個目標類別之情形下,利用定界框20之面積選擇一個目標類別之例。
在存在複數個目標類別之物體時,藉由利用定界框20規定各物體之區域,並求得各目標類別之物體之1訊框內之支配面積,而可判定應優先之目標類別。藉此可進行適切之參數選擇。
在第1、第6實施形態中,曾描述運算部8基於所辨識之類別選擇就每一類別而設定之包含複數個參數之參數集。亦即,預先記憶將邏輯部之各種處理之參數予以組合之參數集,選擇該參數集並設定於邏輯部(參照圖4、圖5及圖22之步驟S107)。
藉此,可設定與對象之類別(目標類別)相適應之複數個參數而作為與邏輯部5之各種圖像處理相應之參數。
在第1實施形態中,舉出參數集係藉由利用符合各類別之物體之圖像的深度學習而獲得之複數個參數之集合之例。
利用例如將人之圖像用作學習資料之深度學習,求得設為人辨識之圖像辨識率較高者之圖像處理用之參數,將該參數之集合設為符合“人”之類別的參數集(參照圖4)。
藉此,可準備與各類別相適應之參數集,根據該選擇,可進行與目標之圖像辨識相適應之參數選擇。
在第1、第6實施形態中,曾描述運算部8在藉由利用陣列感測器2攝像而獲得之圖像信號中以設為關鍵訊框之訊框為對象而進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數之例(參照圖5及圖22之步驟S101、S102)。
藉由以關鍵訊框而非所有訊框為對象,而運算部8之處理負擔不會變得過大。又,藉由基於適切之選擇演算法選擇關鍵訊框,而可維持進行適切之參數選擇之狀態。
在第1、第6實施形態中,舉出關鍵訊框設為每隔特定之時間間隔之訊框之例。
藉此,定期地進行參數選擇。藉由例如每30秒將1訊框設為關鍵訊框等,而運算部8之處理不會變得過大,且可維持適切之參數設定。
此外,關鍵訊框之間隔較理想為與設為圖像辨識之目標之物體、感測器裝置1之使用環境、使用目的、搭載有感測器裝置1之機器之種別等各種事態相應地設定。
又,也舉出關鍵訊框設為基於來自外部機器之命令之時序之訊框之例。
根據例如來自圖像輸出目的地之處理器11等之指示設定關鍵訊框。藉此,可進行與圖像信號及類別辨識相關之資訊之輸出目的地之機器的辨識處理之目的等相應之關鍵訊框選擇及參數選擇。例如與搭載有感測器裝置1之機器之種別、目的等相應地設定關鍵訊框。
該情形下,若設想例如車載機器,則也可以汽車開始行駛之時序對關鍵訊框設定緊密之間隔。
各實施形態之邏輯部5,進行色修正、伽瑪修正、色灰階處理、增益處理、輪廓強調處理、資料壓縮處理、訊框率轉換、解析度轉換、縱橫比率轉換、對比度調整處理、清晰度調整處理、灰階調整處理、及取樣率變更處理等作為對於圖像信號之圖像處理。
藉此進行畫質調整及資料量轉換,但藉由進行用於該等處理之參數設定,而執行與應辨識之物體之類別相適應之畫質調整及資料大小調整(解析度及訊框率等)。其結果為,設為適於目標類別之物體檢測之圖像及資料大小,也可抑制不必要之高畫質化及資料量之增大,而有助於通訊成本之降低、處理速度之提高、及物體檢測精度之提高等。
曾描述各實施形態之介面部7(輸出部)與外部機器之要求相應地,輸出由邏輯部5予以圖像處理之圖像信號、所辨識之類別之資訊、所檢測到之物體之數目、有無目標類別之資訊之任一者或全部。其成為針對第1至第5實施形態而共通之動作。
亦即,介面部7與來自處理器11及雲端之處理器等之要求相應地,輸出由邏輯部5予以處理之圖像信號、由運算部8所辨識之類別之資訊、對象數、有無目標類別之資訊中由處理器11所需之資訊。藉此,避免傳送不必要之資訊,可削減通訊量,而也實現消耗電力之降低。
又,可提供與處理器11等之處理相應之資訊。
此外,在各實施形態中以圖像信號為對象,但也可設想將陣列感測器2設為音波檢測元件陣列或觸覺感測器元件陣列。此時,介面部7與外部機器之要求相應地輸出該等檢測信號(邏輯部5之處理後之檢測信號)。
如第2、第3、第4、第7、第8實施形態所說明般,感測器裝置1具備:陣列感測器2,其呈一維或二維地排列有複數個檢測元件;及信號處理部30,其取得陣列感測器2之檢測信號,並進行信號處理;且運算部8自陣列感測器2之檢測信號進行物體檢測,將基於物體之檢測而產生之區域資訊(ROI 21及AROI 22)作為與來自陣列感測器2之檢測信號之取得或檢測信號之信號處理相關之區域資訊對信號處理部30指示。
亦即,針對由陣列感測器2獲得之檢測信號,以信號處理部30施以信號處理並自介面部7輸出,但信號處理部30之與自陣列感測器2之檢測信號之取得或信號處理相關之區域資訊係基於物體檢測而設定。
在如實施形態般進行自圖像之物體檢測時,並非始終需要各訊框之所有像素之資訊。例如在檢測人時,只要在訊框內存在拍攝到人之區域之檢測資訊即可。因而,在運算部8中基於物體檢測產生ROI 21及AROI 22,信號處理部30之處理、亦即ADC/像素選擇器3之自陣列感測器2之檢測信號之取得、及邏輯部5之壓縮處理係利用ROI 21及AROI 22進行。
藉此,可實現處理對象之資料量之削減、及處理速度之提高,且可獲得如不降低檢測精度之圖像信號。
此外,並不限定於像信號,對於作為音波檢測信號、觸覺檢測信號等而自陣列感測器獲得之檢測信號也進行物體檢測,也可將基於物體之檢測而產生之區域資訊作為與自陣列感測器之檢測信號之取得或檢測信號之信號處理相關之區域資訊對信號處理部指示。
藉此,在利用音波感測器陣列、接觸感測器陣列時亦然,獲得下述效果,即:可實現處理對象之資料量之削減、處理速度之提高,且獲得如不降低檢測精度之檢測信號。
在第2、第3、第4、第7、第8實施形態之情形下,介面部7(輸出部)朝外部裝置輸出由信號處理部30予以信號處理之檢測信號。
由於將利用ROI 21及AROI 22僅將一部分之像素AD轉換之圖像信號、及利用ROI 21就每一區域改變壓縮率之圖像信號輸出至處理器11等,故顯著地削減傳送之資料量。藉此,實現通訊成本之降低及傳送時間之縮短。此外,由於包含物體檢測所需之資訊,故處理器11等之物體檢測之精度不降低。又,藉由削減資料量而也減輕在處理器11之處理負擔。
又,也避免因處理器11側之計算變為高負載為處理延遲,或系統整體之消耗電力上升之事態。
在各實施形態中,信號處理部30具有針對陣列感測器2之檢測元件選擇性地取得檢測信號之ADC/像素選擇器3(取得部)。
而且,在第2、第3、第7、第8實施形態中,ADC/像素選擇器3取得基於來自運算部8之ROI 21及AROI 22而選擇之檢測元件之檢測信號,而作為檢測信號之1訊框(參照圖9、圖14、圖29、圖32)。
ADC/像素選擇器3藉由自經物體檢測之下一訊框僅在由ROI 21及AROI 22指定之範圍內將光電轉換信號予以AD轉換並取得,而可大幅度削減1訊框之資料量。此外,藉由基於物體檢測設定ROI 21及AROI 22,而可適切地獲得物體檢測所需之像素之資訊。
在第2、第3、第7、第8實施形態中曾描述下述之例,即:運算部8在ADC/像素選擇器3(取得部)未進行利用區域資訊(ROI 21、AROI 22)之檢測元件之選擇之狀態下對於自陣列感測器2取得之檢測信號進行物體檢測,將基於物體之檢測而產生之ROI 21及AROI 22作為用於ADC/像素選擇器3之自陣列感測器2之後續訊框之檢測信號之取得的區域資訊對信號處理部30指示(參照圖9、圖14、圖29、圖32)。
藉由自包含1訊框之所有有效像素之圖像信號進行物體檢測,而可確實地檢測在所拍攝像之圖像內應檢測到之物體。此外,藉由產生基於所檢測到之物體之ROI 21及AROI 22,並提供至ADC/像素選擇器3,而可自下一訊框取得僅物體檢測所需之像素之資訊。因而,可取得削減資料量且適切之檢測資訊(所需之像素之資訊)。
在第2、第3、第7、第8實施形態中,曾描述運算部8在ADC/像素選擇器3未進行利用ROI 21及AROI 22之檢測元件之選擇之狀態下對於自陣列感測器2取得之檢測信號進行物體檢測,基於物體之檢測再產生區域資訊,並將其作為用於ADC/像素選擇器3之自陣列感測器2之後續訊框之檢測信號之取得的區域資訊對信號處理部30指示(參照圖9、圖14、圖29、圖32之步驟S203、及圖10)。
藉由自僅包含一部分之像素之資訊之圖像信號之訊框也進行物體檢測,而可與物體之位置之變化相應地持續修正ROI 21及AROI 22。藉此,在後續訊框中,追隨圖像內之物體(例如人)之移動,而使由ADC/像素選擇器3取得之區域變化。即,即便對象之物體為就每一訊框而在圖像內之位置變化者,仍可就每一訊框在追隨該變化之位置選擇並讀出像素。因而,即便訊框行進仍可持續削減資料量且進行適切之檢測資訊(像素資訊)之狀態。
在第2、第3、第7、第8實施形態中,運算部8在ADC/像素選擇器3未進行利用ROI 21及AROI 22之檢測元件之選擇之狀態下對於自陣列感測器2取得之檢測信號進行物體檢測,在未檢測到目標之物體時,於後續訊框中,以在ADC/像素選擇器3未進行利用ROI 21及AROI 22之檢測元件之選擇之狀態下自陣列感測器2取得檢測信號之方式進行指示(參照圖9、圖14、圖29、圖32之步驟S205、S201、S202)。
亦即,運算部8當在自陣列感測器2僅取得一部分之檢測元件之資訊之訊框中不再檢測到目標之物體後,將檢測信號在取得部之取得返回一般之狀態。
藉此,可返回自包含1訊框之所有有效像素之圖像信號進行物體檢測之狀態,再次在所拍攝之圖像之整體上進行目標之物體檢測。即,成為可監視圖像整體之狀態。
在第2、第3、第4、第7、第8實施形態中,曾描述運算部8求得包圍自陣列感測器2之檢測信號所檢測到之物體之區域的定界框20,基於定界框20產生作為區域資訊之ROI 21及AROI 22之例(參照圖9、圖14、圖16、圖29、圖32)。
藉由利用物體檢測產生定界框20,並自該定界框20產生ROI 21及AROI 22,而可產生與圖像內之目標之物體之位置相應之ROI 21及AROI 22。藉此也可適切地選擇下一訊框內之讀出像素。
在第2、第4、第7、第8實施形態中,運算部8將定界框20放大而產生ROI 21(參照圖9、圖16、圖29、圖32)。
定界框20係包圍當前訊框內之物體之區域者,但在後續之訊框中物體之位置有可能發生變化。因而,將定界框20放大而產生ROI 21。
藉此,可提高作為下一訊框中取得之資訊(經AD轉換之像素之信號)包含物體之可能性。即,可儘量持續包含所需之資訊之像素讀出。
在第2實施形態之說明中,曾描述運算部8針對所檢測到之物體以檢測元件單位判定區域並產生區域資訊之例(參照圖11)。
亦即,基於語義分割產生ROI 21。藉此,也產生非矩形之ROI 21。
有在根據物體以矩形進行限幅時資訊缺損之情形。例如具有突起物之卡車、或騎乘自行車之人等若為矩形則產生露出之部分,或在覆蓋其時ROI 21不必要地變大,而資料削減效果降低。因而,可以像素位準選擇必要之區域。藉此,可以最小限之資料量取得所需之資訊。
此基於語義分割之ROI 21在第4實施形態中於設定採用低壓縮率之區域時也為有用。
在第2、第3、第4、第7、第8實施形態中,運算部8在自陣列感測器2獲得之檢測信號中以物體檢測關鍵訊框記錄時序之訊框(關鍵訊框)為對象,而進行物體檢測,並基於物體之檢測產生區域資訊(參照圖9、圖14、圖16、圖29、圖32之步驟S201)。
藉由以關鍵訊框而非所有訊框為對象,而運算部8之處理負擔不會變得過大。又,藉由基於適切之選擇演算法選擇關鍵訊框,而可維持可進行適切之物體檢測之狀態。
此時亦然,關鍵訊框設為每隔特定之時間間隔之訊框,或設為基於來自外部機器之命令之時序之訊框。
例如若與搭載有感測器裝置1之機器之種別、目的等相應地設定關鍵訊框,則可以機器及應用程式所需之時序,以訊框之像素整體為對象而進行物體檢測,在其以後之訊框中削減資料量。
在第2、第3、第4、第7、第8實施形態中,運算部8針對從自陣列感測器2獲得之檢測信號所檢測到之物體進行類別辨識,判定所辨識之類別是否為目標類別,並與目標類別之物體對應地產生區域資訊(ROI 21及AROI 22)(參照圖9、圖14、圖16、圖29、圖32之步驟S204、S205)。
藉由進行目標類別之存在判定,並產生用於目標類別之物體區域之ROI 21及AROI 22,則可確實地產生用於取得設為檢測目標之物體之資訊之區域資訊。
在第3、第8實施形態中,曾描述運算部8針對從自陣列感測器2獲得之檢測信號所檢測到之物體進行類別辨識,並利用符合所辨識之類別的樣板產生與該物體對應之區域資訊(AROI 22)之例(參照圖14之S210、S211、圖32之S262、S211)。
藉由利用符合類別的樣板,而可產生如與就每一類別而不同之重要區域相適應之AROI 22。
尤其是,在陣列感測器2由攝像元件構成時,光電轉換下之消耗電力最大。此時,欲儘量減少光電轉換之像素。藉由依照樣板縮限光電轉換之像素,而可在對檢測精度不造成影響下削減有效之資料量。尤其是,重要的是,圖像並不供人觀察,係與人感覺到精美之圖像相比,處理器11可更確實地辨識物體之圖像。利用樣板指定光電轉換及數位資料化之像素之圖像為以較少之資料量適於有效之物體檢測者。
又,樣板係就每一類別顯示檢測信號之取得區域者。
例如樣板係與“人”“汽車”等之各類別相應地在陣列感測器之檢測元件中顯示應取得檢測資訊之檢測元件者(參照圖12、圖13)。
藉由利用與類別對應地指定應讀出之像素之樣板,而可就每一類別自陣列感測器2讀出適切之資訊。尤其是,藉由如圖12、圖13之例般將一部分(臉部之部分或車牌之部分)高密度化,而也可就每一類別,集中地取得特別需要之部分之資訊。
在第4實施形態中,曾描述於信號處理部30中,以邏輯部5對來自陣列感測器2之檢測信號予以壓縮處理,邏輯部5基於來自運算部8之區域資訊進利用就每一區域而不同之壓縮率之壓縮處理之例(參照圖16)。
藉此,信號處理部30(邏輯部5)藉由使壓縮率在訊框內重要之區域、及並不如此重要之區域內不同,而可實現不削減重要之資訊之資料壓縮。
又,邏輯部5在由區域資訊指定之區域中,以低壓縮率進行壓縮處理,其他區域以高壓縮率進行壓縮處理(參照圖16)。
信號處理部30(邏輯部5)自經物體檢測之下一訊框,在由ROI 21指定之區域中以低壓縮率進行壓縮處理,其他區域以高壓縮率削減資料量。由於與物體檢測相應地產生ROI 21,故由ROI 21顯示之區域為對利用處理器11之物體檢測也重要之區域,該區域採用藉由低壓縮率而不削減資訊。藉此不降低檢測精度。另一方面,由ROI 21顯示之區域以外由於成為不會過度影響物體檢測之區域,故以高壓縮率進行壓縮而有效率地削減資料量。
如第5、第9實施形態所說明般,感測器裝置1具備:陣列感測器2,其呈一維或二維地排列有複數個檢測元件;信號處理部30,其取得陣列感測器2之檢測信號,並進行信號處理;及運算部8,其自陣列感測器2之檢測信號進行物體檢測,並基於物體之檢測可變地指示來自陣列感測器2之檢測信號之訊框率。
在如實施形態般進行自圖像之物體檢測時,並非始終需要較高之訊框率之圖像信號。例如在檢測人時,在未拍攝到人之訊框中,即便訊框率較低也不成問題。相反,在人出現之期間內,藉由訊框率變高,而資訊量變豐富,也可增加物體(人)檢測、及附隨於其且可辨識之資訊。
即,藉由與物體之檢測相應地使訊框率變化,而可適應地在需要時增加資料量,在不需要時削減資料量,從而可在不降低物體檢測性能下削減處理資料量及傳送資料量。
此外,並不限定於圖像信號,也可對於作為音波檢測信號、觸覺檢測信號等而自陣列感測器獲得之檢測信號也進行物體檢測,並基於物體之檢測可變地指示來自陣列感測器之檢測信號之訊框率。藉此,即便在利用音波感測器陣列、接觸感測器陣列時,仍可適應地在需要時增加資料量,則不需要時削減資料量,從而獲得可在不降低物體檢測性能下削減處理資料量及傳送資料量之效果。
所謂訊框,在陣列感測器為攝像元件陣列時係圖像之訊框,但在為音波檢測元件或觸覺感測器元件時也為相同之含義,為無關於陣列感測器之種別,在自陣列感測器之複數個檢測元件之1次讀出期間讀出之資料單位。訊框率成為此訊框之單位時間內之密度。
在第5、第9實施形態之情形下,將由信號處理部30予以信號處理之檢測信號輸出至外部裝置之介面部7(輸出部)將基於物體檢測之結果而訊框率發生變化之檢測信號輸出至處理器11等。
因而,顯著削減傳送之資料量。藉此,實現通訊成本之降低及傳送時間之縮短。此外,由於不包含設為目標之物體檢測所需之資訊,故處理器11等之物體檢測之精度不降低。又,藉由削減資料量而也減輕在處理器11之處理負擔。
又,也避免因處理器11側之計算變為高負載而處理延遲,或系統整體之消耗電力上升之事態。
在第5、第9實施形態中,運算部8至少記憶有用於第1模式(空閒模式)之訊框率之設定值、及用於第2模式(正常模式)之訊框率之設定值,與物體檢測之結果相應地進行利用第1模式與第2模式之任一者之設定值之控制(參照圖18、圖35)。
藉此,根據物體檢測之結果、亦即有無目標類別之物體,可以選擇設定值之簡易之處理實現作為主動取樣之控制。
第5、第9實施形態之用於第1模式之訊框率之設定值與用於第2模式之訊框率之設定值之一者或兩者較理想為可自外部裝置覆寫。例如與外部處理器之用途、處理能力、應用程式之用途等相應地使設定值可變。
若可自處理器11等將設定值覆寫,則也可進行與處理器11及該應用程式之目的相應之訊框率設定。
在第5、第9實施形態中,曾描述運算部8藉由指示陣列感測器2之檢測信號之讀出間隔而使訊框率可變之例(參照圖18、圖35)。
例如運算部8(關鍵訊框選擇部81)對陣列感測器2及ADC/像素選擇器3指示空閒模式/正常模式之切換,藉由變更陣列感測器2及ADC/像素選擇器3之圖像信號之讀出間隔而進行訊框率切換。
此時,在降低訊框率之空閒模式下,擴大自陣列感測器2之光電轉換及讀出本身之間隔。由於在陣列感測器2中因光電轉換所致之消耗電力為大,故擴大在陣列感測器2中之讀出間隔的降低消耗電力之效果較大。
在第5、第9實施形態之說明中,運算部8可對信號處理部30(邏輯部5)指示訊框率變更而使訊框率可變。
亦即,利用信號處理過程中之訊框率轉換執行訊框率之切換。
也可以邏輯部5進行訊框率轉換。例如藉由進行訊框省略減少處理而可降低訊框率。此時,藉由陣列感測器2始終以較高之訊框率進行讀出,而不產生陣列感測器2之消耗電力削減效果,但在該情形下也獲得朝處理器11傳送之資料量之削減效果。
在第5、第9實施形態中,曾描述運算部8針對從自陣列感測器2獲得之檢測信號所檢測到之物體進行類別辨識,判定所辨識之類別是否為目標類別,並與判定結果相應地進行訊框率之可變指示之例(參照圖18之S304、S305、S301、圖35之S304、S352、S301)。
進行目標類別之存在判定,因目標類別之物體之存在,而提高訊框率而設為正常模式。在未檢測到目標類別之物體時,降低訊框率而設為空閒模式。藉此,可與設為檢測目標之物體之存在相應地確實地進行檢測。
例如在監視人之用途等下,藉由檢測作為目標類別之人而提高訊框率,藉此可進行精細之監視,且除此以外,還可進行消耗電力之削減及資料量之削減而設為空閒模式。
在各實施形態中,陣列感測器2之檢測元件為攝像元件。亦即,陣列感測器2之檢測信號設為由攝像(光電轉換)實現之圖像信號。
因而,在利用攝像圖像之物體檢測中,可實現可維持物體檢測精度之適切之資料量之削減、附隨於其之處理負擔之減輕、及傳送成本之降低等。
在實施形態中,設想感測器裝置1採用具有作為運算部8之AI晶片及DRAM晶片之一體型之感測模組構成。
相對於此,也考量採用將作為運算部8之AI晶片及DRAM晶片設於陣列感測器2之外部之構成,利用其外部之運算部進行各實施形態中所說明之讀出及信號處理之控制之例。
又,也考量將作為運算部8之AI晶片與陣列感測器2一體化,利用外部之DRAM晶片之例。
在第6實施形態中,具備臨限值設定部85,該臨限值設定部85針對用於邏輯部5(圖像處理部)之圖像處理或陣列感測器2之與攝像相關之攝像處理的參數之全部或一部分,設定參數之臨限值,並進行利用基於臨限值設定之參數之處理。
藉由利用臨限值設定(變更)參數,而針對例如圖像信號,可作為用於物體檢測等之處理之所需最小限之品質等(例如所需最小限之解析度等)而輸出。因而,也可削減輸出之圖像信號之資料量,且不降低後段之處理(物體檢測等)之處理之性能、精度等。
且,藉此也可實現低耗電化、處理之高速化。
此外,第6實施形態中所說明之圖22之處理例設為運算部8針對自藉由利用陣列感測器2之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數集,並利用所選擇之參數進行邏輯部5之處理設定,與臨限值相應地設定(調整)該選擇之參數之例。因而,進一步與臨限值相應地調整設定與每一類別相適應之參數集之一部分或全部之參數,除與類別相適應以外,可進一步維持物體檢測等之檢測精度且設為所需之充分之資料量。由於進一步調整與類別相適應之參數集,故可進一步推進減少資料量,也可推進低耗電化、及處理之高速化。
惟,並不限定於如該圖22之例,可基於臨限值僅變更並非根據類別而設定之參數之全部或一部分。此時亦然,可一面維持針對物體檢測等所要求之性能、精度,一面實現圖像信號之資料量之削減、低耗電化、處理之高速化。
在第6實施形態中,臨限值設定部85設定與自圖像信號所檢測到之物體之類別相應之臨限值。相應於例如“人”“汽車”“標識”等之類別而設定適切之臨限值。
為了物體檢測等而對圖像所要求之解析度與檢測精度之關係根據類別而不同。因而,藉由與類別相應地設定臨限值,且變更自邏輯部5輸出之圖像信號之解析度等,而可與類別相應地進行根據所需最小限之解析度等之輸出。即,與類別相應地將解析度等之參數最佳化,可維持為取得物體檢測精度等之位準,且可實現資料削減、低耗電化、處理之高速化等。
在第6實施形態中,臨限值設定部85基於對於圖像信號之學習處理設定臨限值。例如在感測器裝置1側進行作為局部學習之學習處理而求得臨限值。藉由進行對於圖像信號之學習處理,而將較理想之值判定為臨限值及與其相應之參數。藉此,與攝像環境或攝像圖像內容、檢測對象物等相應地適應地進行參數設定。
又,在感測器裝置1內、或包含感測器裝置1之終端裝置100內進行此局部學習,而也可算出適於在該感測器裝置1中求得之圖像精度等的臨限值。
又,藉由利用每一類別之局部學習設定臨限值,而進一步利用與類別相適應之參數設定實現輸出之圖像信號之解析度等之最佳化。
在第6實施形態中,臨限值設定部85設定臨限值以獲得特定之比例而作為置信率(物體檢測之確證性之比例)。
作為自圖像之物體檢測之精度而求得之置信率,針對該檢測,除目的、對象、機器/應用程式以外,還根據時期、地域等而不同。
例如若確證性在80%下為較佳,則只要以獲得80%以上之確證性之方式設定臨限值,並設定與其相應之參數既可。又,若求得95%以上之確證性,則只要提高臨限值而設定參數既可。
因而,藉由臨限值之設定(甚至參數之設定)係基於針對物體檢測所求得之置信率而設定,而作為與該處理之實施相應之適配化,可實現較佳之圖像信號之品質、及與其相應之資料削減、低耗電化、處理高速化等。
曾舉出第6實施形態之臨限值設定部85設置於與邏輯部5為同一殼體之裝置內之例(參照圖21、圖25、圖26)。例如在作為感測器裝置1之單元內、或包含感測器裝置1之終端裝置100內設置臨限值設定部85。而且,臨限值設定部85進行局部學習而設定臨限值及與其相應之參數。其意味著學習與該感測器裝置1或作為終端裝置100之機器相適應之狀態而進行臨限值之設定。藉此,可進行實現作為感測器裝置1或終端裝置100所要求之輸出之適切的臨限值設定。
在第7、第8實施形態中,運算部8基於與過去之區域資訊相關之資訊(成為區域資訊之本源之物體之檢測區域定界框20、及作為區域資訊之本身之ROI 21及AROI 22),設定針對自陣列感測器2取得之檢測信號之有效區域RA(圖29、圖32之S251)。
而後,自有效區域RA之檢測信號進行物體檢測,將基於物體之檢測而產生之ROI 21及AROI 22作為與自陣列感測器2之檢測信號之取得或檢測信號之信號處理相關之區域資訊對信號處理部30指示。
藉此,顯著降低用於設定ROI 21及AROI 22之物體檢測之處理負擔。具體而言,減輕步驟S203之處理。因而,可獲得處理負擔削減、高速化、消耗電力之削減之效果。
在第7、第8實施形態中,運算部8以包含基於過去之ROI 21及AROI 22之物體檢測之檢測區域、亦即包含定界框20之方式設定有效區域RA。
有藉由持續處理而完全未設定定界框20之區域存在於圖像上之情形。此區域可設為未檢測到目標之物體之非有效區域DA,相反,可將其以外之區域設為有效區域RA、及有可能檢測到物體檢測之區域。
藉由基於過去之複數個定界框20而可容易且適切地設定有效區域RA。又,也可進行與攝像環境、攝像方向等也相適之有效區域RA之設定。
在第7、第8實施形態中,運算部8在ADC/像素選擇器3已進行利用ROI 21及AROI 22之檢測元件之選擇之狀態下對於自陣列感測器2取得之檢測信號進行物體檢測,在未檢測到目標之物體時,於後續訊框中,ADC/像素選擇器3以自前述陣列感測器取得有效區域之檢測信號之方式進行指示(參照圖29、圖32值S205、S201、S252)。
亦即,運算部8若在自陣列感測器2僅取得一部分之檢測元件之資訊之訊框中不再檢測到目標之物體,則將利用取得部之檢測信號之取得返回一般之狀態。
藉此,可返回自1訊框之有效區域之圖像信號進行物體檢測之狀態,再次在所拍攝之圖像中於所需之範圍內進行目標之物體檢測。事實上,成為可監視圖像整體之狀態。
在第7、第8實施形態中,曾描述運算部8在自陣列感測器2獲得之檢測信號中以關鍵訊框為對象,基於自有效區域RA之檢測信號之物體檢測產生區域資訊之例(參照圖29、圖32之S201、S252)。
藉由以關鍵訊框而非所有訊框為對象,而運算部8之處理負擔不會變得過大。又,藉由基於適切之選擇演算法選擇關鍵訊框,而可維持可進行適切之物體檢測之狀態。
此時亦然,考量關鍵訊框被設為每隔特定之時間間隔之訊框,或被設為基於來自處理器11等之外部之命令的時序之訊框。
在第8實施形態中,運算部8針對從自陣列感測器2獲得之檢測信號所檢測到之物體進行類別辨識,利用符合所辨識之類別的樣板產生與該物體對應之區域資訊(AROI 22)。此時,利用依據臨限值算出並記錄有解析度等之參數之AROI 22(參照圖32之S262、S211)。
藉由利用臨限值設定(變更)由AROI 22顯示之取得區域之參數,而針對例如圖像信號,可作為用於物體檢測等之處理之所需最小限之品質等(例如所需最小限之解析度等)而輸出。
又,利用樣板指定光電轉換及數位資料化之像素之圖像以較少之資料量適於有效之物體檢測。
因而,藉由利用樣板、及利用臨限值設定例如解析度等之參數,而也可削減輸出之圖像信號之資料量,且不降低後段之處理(物體檢測等)之處理之性能、精度等。且,藉此也可實現低耗電化、處理之高速化。
又,藉由樣板係就“人”“汽車”等之每一類別而顯示檢測信號之取得區域者,而也可就每一類別集中取得尤其所需之部分之資訊。
在第9實施形態中具備臨限值設定部85,該臨限值設定部85與針對從自陣列感測器2獲得之檢測信號所檢測到之物體所辨識的類別相應地設定訊框率之臨限值,並進行利用基於臨限值設定之訊框率之處理(參照圖35)。
藉由利用臨限值設定(變更)訊框率,而可應用與檢測對象之類別相應之訊框率。具體而言,可不降低檢測對象之類別之物體檢測之性能,且藉由降低訊框率而可實現圖像信號之資料量之削減、低耗電化、處理之高速化。
在第9實施形態中,臨限值設定部85將臨限值設定為可維持自圖像之對象追蹤之訊框率。
藉此,可一面進行自圖像之對象追蹤一面維持進行之物體檢測精度,且實現與類別相應之資料削減、低耗電化、處理之高速化等。
在第9實施形態中,運算部8將臨限值設定部85設定之訊框率用作訊框率變高之第2模式(正常模式)之訊框率。藉此,在訊框率變高時,與類別相應地利用比較低之訊框率。
第1、第2、第3、第4、第5、第6、第7、第8、第9各實施形態可分別適宜地組合。
藉由組合而可增大各實施形態之效果。亦即,可維持自圖像之物體檢測等之處理之精度,且進一步增大圖像信號之資料量之削減、低耗電化、處理之高速化等之效果。
此外,本說明書中所記載之效果終極而言僅為例示而並非被限定者,且可具有其他之效果。
此外,本發明亦可採用如以下之構成。
(1)
一種感測器裝置,其具備:
陣列感測器,其一維或二維地排列有複數個可見光或非可見光之攝像元件;
圖像處理部,其對於藉由利用前述陣列感測器之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理;及
運算部,其針對自藉由利用前述陣列感測器之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,並利用所選擇之參數進行前述圖像處理部之處理設定。
(2)
如上述(1)之感測器裝置,其具備將由前述圖像處理部予以圖像處理之圖像信號輸出至外部裝置的輸出部。
(3)
如上述(2)之感測器裝置,其中前述輸出部也進行與針對輸出之圖像信號之類別辨識相關之資訊之發送。
(4)
如上述(1)至(3)中任一項之感測器裝置,其中前述運算部進行:
物體區域辨識處理,其在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域;
類別辨識處理,其進行由前述物體區域辨識處理所檢測到之物體區域之物體之類別辨識;及
基於前述類別辨識處理之辨識結果進行參數選擇處理,並進行前述圖像處理部之處理設定的參數選擇處理。
(5)
如上述(1)至(4)中任一項之感測器裝置,其中在前述運算部中進行:
物體區域辨識處理,其在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域;
類別辨識處理,其進行由前述物體區域辨識處理所檢測到之物體區域之物體之類別辨識;
判別在由前述類別辨識處理所辨識之類別中是否存在目標類別的處理;及
參數選擇處理,其當存在目標類別時,基於該目標類別之類別辨識結果進行參數選擇,並進行前述圖像處理部之處理設定。
(6)
如上述(5)之感測器裝置,其中前述目標類別可設定複數個;且
當在1訊框內存在複數個目標類別之物體時,基於所選擇之一個目標類別進行前述參數選擇處理。
(7)
如上述(6)之感測器裝置,其中針對符合前述目標類別之物體區域算出包圍物體之定界框;且
在存在複數個目標類別時,利用定界框之面積選擇前述一個目標類別。
(8)
如上述(1)至(7)中任一項之感測器裝置,其中前述運算部,
基於所辨識之類別選擇就每一類別而設定之包含複數個參數之參數集。
(9)
如上述(8)之感測器裝置,其中前述參數集係藉由利用符合各類別之物體之圖像的深度學習而獲得之複數個參數之集合。
(10)
如上述(1)至(9)中任一項之感測器裝置,其中前述運算部,
在藉由利用前述陣列感測器之攝像而獲得之圖像信號中以設為關鍵訊框之訊框為對象而進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數。
(11)
如上述(10)之感測器裝置,其中前述關鍵訊框設為每隔特定之時間間隔之訊框。
(12)
如上述(10)之感測器裝置,其中前述關鍵訊框設為基於來自外部機器之命令之時序之訊框。
(13)
如上述(1)至(12)中任一項之感測器裝置,其中前述圖像處理部,
進行色修正、伽瑪修正、色灰階處理、增益處理、輪廓強調處理、資料壓縮處理、訊框率轉換、解析度轉換、縱橫比率轉換、對比度調整處理、清晰度調整處理、灰階調整處理、及取樣率變更處理之至少一者作為對於圖像信號之圖像處理。
(14)
如上述(1)至(13)中任一項之感測器裝置,其具備輸出部,該輸出部與外部機器之要求相應地,輸出由前述圖像處理部予以圖像處理之圖像信號、所辨識之類別之資訊、所檢測到之物體之數目、有無目標類別之資訊之任一者或全部。
(15)
如上述(1)至(14)中任一項之感測器裝置,其具備臨限值設定部,該限值設定部針對用於前述圖像處理部之圖像處理或前述陣列感測器之與攝像相關之攝像處理的參數之全部或一部分,設定參數之臨限值,並進行利用基於前述臨限值設定之參數之處理。
(16)
如上述(15)之感測器裝置,其中前述臨限值設定部設定與自圖像信號所檢測到之物體之類別相應之前述臨限值。
(17)
如上述(15)或(16)之感測器裝置,其中前述臨限值設定部基於對於圖像信號之學習處理設定前述臨限值。
(18)
如上述(15)至(17)中任一項之感測器裝置,其中前述臨限值設定部以獲得特定之比例作為物體檢測之確證性之比例之方式設定前述臨限值。
(19)
如上述(15)至(18)中任一項之感測器裝置,其中前述臨限值設定部設置於與前述圖像處理部為同一殼體之裝置內。
(20)
一種參數設定方法,其係感測器裝置之參數設定方法,該感測器裝置具有:陣列感測器,其一維或二維地排列有複數個可見光或非可見光之攝像元件;及圖像處理部,其對於藉由利用前述陣列感測器之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理;且
該參數設定方法針對自藉由利用前述陣列感測器之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,利用所選擇之參數進行前述圖像處理部之處理設定。
(21)
如上述(20)之參數設定方法,其進行臨限值設定處理,該臨限值設定處理針對用於前述圖像處理部之圖像處理或前述陣列感測器之與攝像相關之攝像處理的參數之全部或一部分,設定參數之臨限值;且
進行利用基於前述臨限值而變更之參數之處理。
1:感測器裝置
2:陣列感測器
3:ADC/像素選擇器
4:緩衝器
5:邏輯部
6:記憶體/DRAM
7:介面部
8:運算部
11:處理器
12:外部感測器
20:定界框
21:ROI
22:AROI
23:候補區域
30:信號處理部
40:攝像光學系統
81:關鍵訊框選擇部
82:物體區域辨識部
83:類別辨識部
84:參數選擇部
85:臨限值設定部/臨限值算出部
12000:車輛控制系統
12001:通訊網路
12010:驅動系統控制單元
12020:車體系統控制單元
12030:車外資訊檢測單元
12031:攝像部
12040:車內資訊檢測單元
12041:駕駛者狀態檢測部
12050:綜合控制單元
12051:微電腦
12052:聲音圖像輸出部
12053:車載網路I/F
12061:音訊揚聲器
12062:顯示部
12063:儀錶板
12100:車輛
12101:攝像部
12102:攝像部
12103:攝像部
12104:攝像部
12105:攝像部
12111:攝像範圍
12112:攝像範圍
12113:攝像範圍
12114:攝像範圍
100:終端裝置
CR:置信率
DA:非有效區域
F1:訊框
F2:訊框
F3:訊框
F4:訊框
F5:訊框
Fn:訊框
G:圖像信號
PR1~PR6:参数
RA:有效區域
S100~S108:步驟
SD:學習資料
thP:臨限值
Xmax:最大座標值
Xmin:最小座標值
Ymax:最大座標值
Ymin:最小座標值
圖1係可應用於本發明之第1至第5、第7實施形態之感測器裝置之方塊圖。
圖2A、B係圖像辨識精度與畫質之關係之說明圖。
圖3係第1實施形態之分類圖像適配化處理之概要之說明圖。
圖4A、B係第1實施形態之畫質參數集之說明圖。
圖5係第1實施形態之分類圖像適配化處理之流程圖。
圖6A~G係第1實施形態之物體檢測之過程之說明圖。
圖7A、B係第2實施形態之經區域限幅之訊框之說明圖。
圖8A~C係第2實施形態之區域限幅解析之概要之說明圖。
圖9係第2實施形態之區域限幅解析之流程圖。
圖10A~H係自第2實施形態之定界框算出ROI(Region of Interest,關注區域)之說明圖。
圖11係第2實施形態之ROI之另一例之說明圖。
圖12係第3實施形態之進階ROI之說明圖。
圖13係第3實施形態之進階ROI之說明圖。
圖14係利用第3實施形態之進階ROI之區域限幅解析之流程圖。
圖15A、B係第4實施形態之智慧壓縮之說明圖。
圖16係第4實施形態之智慧壓縮之流程圖。
圖17A、B係第5實施形態之主動取樣之說明圖。
圖18係第5實施形態之主動取樣之流程圖。
圖19係第6實施形態之用於圖像適配化處理之臨限值設定之說明圖。
圖20A、B係第6實施形態之根據類別之臨限值設定之說明圖。
圖21係可應用於第6至第9實施形態之感測器裝置之方塊圖。
圖22係與第6實施形態之臨限值相應之參數設定之處理之流程圖。
圖23A、B係第6實施形態之臨限值設定之說明圖。
圖24係第6實施形態之臨限值算出之流程圖。
圖25係可應用於第6至第9實施形態之另一構成例之方塊圖。
圖26係可應用於第6至第9實施形態之又一構成例之方塊圖。
圖27A、B係第7實施形態之有效區域限幅之說明圖。
圖28A、B係第7實施形態之有效區域限幅之說明圖。
圖29係第7實施形態之有效區域限幅之流程圖。
圖30係第7實施形態之關鍵訊框有效區域算出之流程圖。
圖31係第8實施形態之進階ROI(Advanced ROI:AROI,進階ROI:AROI)之臨限值設定之說明圖。
圖32係利用第8實施形態之進階ROI之區域限幅解析之流程圖。
圖33A~C係第9實施形態之主動取樣之說明圖。
圖34A~C係第9實施形態之主動取樣之說明圖。
圖35係第9實施形態之主動取樣之流程圖。
圖36係顯示車輛控制系統之概略構成之一例之方塊圖。
圖37係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
S100~S108:步驟
Claims (21)
- 一種感測器裝置,其具備:陣列感測器,其一維或二維地排列有複數個可見光或非可見光之攝像元件;圖像處理部,其對於藉由利用前述陣列感測器之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理而輸出作為用於圖像辨識之圖像信號;及運算部,其針對自藉由利用前述陣列感測器之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,並利用所選擇之參數進行前述圖像處理部之處理設定。
- 如請求項1之感測器裝置,其具備將由前述圖像處理部予以圖像處理之圖像信號輸出至外部裝置的輸出部。
- 如請求項2之感測器裝置,其中前述輸出部也進行與針對輸出之圖像信號之類別辨識相關之資訊之發送。
- 如請求項1之感測器裝置,其中前述運算部進行:物體區域辨識處理,其在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域;類別辨識處理,其進行由前述物體區域辨識處理所檢測到之物體區域之物體之類別辨識;及 參數選擇處理,其基於前述類別辨識處理之辨識結果進行參數選擇,並進行前述圖像處理部之處理設定。
- 如請求項1之感測器裝置,其中在前述運算部中進行:物體區域辨識處理,其在圖像信號之1訊框內,檢測成為檢測對象之物體之候補之物體區域;類別辨識處理,其進行由前述物體區域辨識處理所檢測到之物體區域之物體之類別辨識;判別在由前述類別辨識處理所辨識之類別中是否存在目標類別的處理;及參數選擇處理,其當存在目標類別時,基於該目標類別之類別辨識結果進行參數選擇,並進行前述圖像處理部之處理設定。
- 如請求項5之感測器裝置,其中前述目標類別可設定複數個;且當在1訊框內存在複數個目標類別之物體時,基於所選擇之一個目標類別進行前述參數選擇處理。
- 如請求項6之感測器裝置,其中針對符合前述目標類別之物體區域算出包圍物體之定界框;且在存在複數個目標類別時,利用定界框之面積選擇前述一個目標類別。
- 如請求項1之感測器裝置,其中前述運算部, 基於所辨識之類別選擇就每一類別而設定之包含複數個參數之參數集。
- 如請求項8之感測器裝置,其中前述參數集係藉由利用符合各類別之物體之圖像的深度學習而獲得之複數個參數之集合。
- 如請求項1之感測器裝置,其中前述運算部,在藉由利用前述陣列感測器之攝像而獲得之圖像信號中以設為關鍵訊框之訊框為對象而進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數。
- 如請求項10之感測器裝置,其中前述關鍵訊框設為每隔特定之時間間隔之訊框。
- 如請求項10之感測器裝置,其中前述關鍵訊框設為基於來自外部機器之命令之時序之訊框。
- 如請求項1之感測器裝置,其中前述圖像處理部,進行色修正、伽瑪修正、色灰階處理、增益處理、輪廓強調處理、資料壓縮處理、訊框率轉換、解析度轉換、縱橫比率轉換、對比度調整處理、清晰度調整處理、灰階調整處理、及取樣率變更處理之至少一者作為對於圖像信號之圖像處理。
- 如請求項1之感測器裝置,其具備輸出部,該輸出部對應於外部機器之要求,輸出由前述圖像處理部予以圖像處理之圖像信號、所辨識之類別之資訊、所檢測到之物體之數目、有無目標類別之資訊之任一者或全部。
- 如請求項1之感測器裝置,其具備臨限值設定部,該臨限值設定部針對前述圖像處理部之圖像處理或與前述陣列感測器之攝像相關之攝像處理所用的參數之全部或一部分,設定參數之臨限值,並進行利用基於前述臨限值設定之參數之處理。
- 如請求項15之感測器裝置,其中前述臨限值設定部設定與自圖像信號所檢測到之物體之類別相應之前述臨限值。
- 如請求項15之感測器裝置,其中前述臨限值設定部基於對於圖像信號之學習處理設定前述臨限值。
- 如請求項15之感測器裝置,其中前述臨限值設定部以獲得特定之比例作為物體檢測之確證性之比例之方式設定前述臨限值。
- 如請求項15之感測器裝置,其中前述臨限值設定部設置於與前述圖像處理部為同一殼體之裝置內。
- 一種參數設定方法,其係感測器裝置之參數設定方法,該感測器裝置具有:陣列感測器,其一維或二維地排列有複數個可見光或非可見光之 攝像元件;及圖像處理部,其對於藉由利用前述陣列感測器之攝像而獲得之圖像信號,進行利用所指示之參數之圖像處理而輸出作為用於圖像辨識之圖像信號;且該參數設定方法針對自藉由利用前述陣列感測器之攝像而獲得之圖像信號所檢測到之物體進行類別辨識,基於所辨識之類別選擇用於圖像處理之參數,利用所選擇之參數進行前述圖像處理部之處理設定。
- 如請求項20之參數設定方法,其進行臨限值設定處理,該臨限值設定處理針對前述圖像處理部之圖像處理或與前述陣列感測器之攝像相關之攝像處理所用的參數之全部或一部分,設定參數之臨限值;且進行利用基於前述臨限值而變更之參數之處理。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018197495 | 2018-10-19 | ||
JP2018-197495 | 2018-10-19 | ||
JP2019111091A JP6705533B2 (ja) | 2018-10-19 | 2019-06-14 | センサ装置、パラメータ設定方法 |
JP2019-111091 | 2019-06-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202036377A TW202036377A (zh) | 2020-10-01 |
TWI816903B true TWI816903B (zh) | 2023-10-01 |
Family
ID=70388532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108136338A TWI816903B (zh) | 2018-10-19 | 2019-10-08 | 感測器裝置、參數設定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210192692A1 (zh) |
JP (1) | JP6705533B2 (zh) |
KR (1) | KR20210075991A (zh) |
CN (1) | CN112970243B (zh) |
TW (1) | TWI816903B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7279533B2 (ja) * | 2019-06-14 | 2023-05-23 | ソニーグループ株式会社 | センサ装置、信号処理方法 |
JP2021149446A (ja) * | 2020-03-18 | 2021-09-27 | 株式会社日立製作所 | 注視物体認識システム及び方法 |
KR20210152221A (ko) * | 2020-06-08 | 2021-12-15 | 현대자동차주식회사 | 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 |
JP2022018997A (ja) * | 2020-07-17 | 2022-01-27 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、情報処理システム |
JP2022034720A (ja) * | 2020-08-19 | 2022-03-04 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
CN114666521B (zh) * | 2020-12-07 | 2024-02-27 | 旭景科技股份有限公司 | 具有用于影像取样的可调整参数的影像感测装置 |
JP7347464B2 (ja) * | 2021-03-16 | 2023-09-20 | トヨタ自動車株式会社 | 画像処理装置 |
JP7259880B2 (ja) | 2021-03-24 | 2023-04-18 | いすゞ自動車株式会社 | 積載率推定装置 |
KR102405726B1 (ko) * | 2021-09-08 | 2022-06-07 | 에이엠스퀘어 주식회사 | 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법 |
WO2023149188A1 (ja) * | 2022-02-02 | 2023-08-10 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
WO2024047794A1 (ja) * | 2022-08-31 | 2024-03-07 | 日本電気株式会社 | 映像処理システム、映像処理装置及び映像処理方法 |
WO2024128490A1 (en) * | 2022-12-15 | 2024-06-20 | Samsung Electronics Co., Ltd. | Systems and methods for adjusting camera configurations in a user device |
CN116485626B (zh) * | 2023-04-10 | 2024-03-12 | 北京辉羲智能科技有限公司 | 一种对传感器数据转储的自动驾驶SoC芯片 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100284568A1 (en) * | 2009-05-11 | 2010-11-11 | Canon Kabushiki Kaisha | Object recognition apparatus and object recognition method |
TW201426161A (zh) * | 2012-12-27 | 2014-07-01 | Ind Tech Res Inst | 深度影像擷取裝置、其校正方法與量測方法 |
JP2015104057A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社ニコン | 撮像装置、画像処理方法、および画像処理プログラム |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000295468A (ja) * | 1999-04-01 | 2000-10-20 | Toshiba Corp | 画像処理装置 |
US6845487B1 (en) * | 1999-11-30 | 2005-01-18 | Sony Corporation | Method and an apparatus for implementing a key frame |
US6578040B1 (en) * | 2000-06-14 | 2003-06-10 | International Business Machines Corporation | Method and apparatus for indexing of topics using foils |
JP2004342003A (ja) * | 2003-05-19 | 2004-12-02 | Fuji Photo Film Co Ltd | 画像処理方法及び装置並びに画像処理システム |
EP1901225A1 (en) * | 2005-05-10 | 2008-03-19 | Olympus Corporation | Image processing device, image processing method, and image processing program |
JP2009010616A (ja) * | 2007-06-27 | 2009-01-15 | Fujifilm Corp | 撮像装置および画像出力制御方法 |
JP5532561B2 (ja) * | 2008-08-25 | 2014-06-25 | 株式会社ニコン | 撮像装置、画像再生装置、画像変換装置、画像再生プログラム |
JP4962460B2 (ja) * | 2008-10-03 | 2012-06-27 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
JP5178662B2 (ja) * | 2009-07-31 | 2013-04-10 | 富士フイルム株式会社 | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
JP4850278B2 (ja) * | 2009-11-20 | 2012-01-11 | 株式会社ソニー・コンピュータエンタテインメント | コンテンツ作成支援装置、コンテンツ作成支援方法、およびシナリオファイル生成方法 |
US8509982B2 (en) * | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
US8195394B1 (en) * | 2011-07-13 | 2012-06-05 | Google Inc. | Object detection and classification for autonomous vehicles |
JP2013050879A (ja) * | 2011-08-31 | 2013-03-14 | Sony Corp | 画像出力装置、画像出力装置の制御方法およびプログラム |
US20130097552A1 (en) * | 2011-10-18 | 2013-04-18 | Microsoft Corporation | Constructing an animation timeline via direct manipulation |
JP6035842B2 (ja) * | 2012-04-25 | 2016-11-30 | ソニー株式会社 | 撮像装置、撮像処理方法、画像処理装置および撮像処理システム |
CN102944224B (zh) * | 2012-11-09 | 2014-08-27 | 大连理工大学 | 一种无人驾驶车的自动环境感知系统的工作方法 |
US8861847B2 (en) * | 2012-12-21 | 2014-10-14 | Intel Corporation | System and method for adaptive skin tone detection |
WO2014138842A1 (en) * | 2013-03-15 | 2014-09-18 | Burnett Sean | Remote trespassing detection and notification system and method |
US9355123B2 (en) * | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
US9654738B1 (en) * | 2013-08-07 | 2017-05-16 | Waymo Llc | Using multiple exposures to improve image processing for autonomous vehicles |
WO2015030126A1 (ja) * | 2013-08-30 | 2015-03-05 | 株式会社ニコン | 画像処理装置、および画像処理プログラム |
EP3041714B1 (en) * | 2013-09-05 | 2018-05-30 | Autoliv Development AB | System for controlling the deployment of an external safety device |
US9158971B2 (en) * | 2014-03-03 | 2015-10-13 | Xerox Corporation | Self-learning object detectors for unlabeled videos using multi-task learning |
US10341544B2 (en) * | 2014-07-23 | 2019-07-02 | Orcam Technologies Ltd. | Determining a matching score between users of wearable camera systems |
KR20160051390A (ko) * | 2014-11-03 | 2016-05-11 | 삼성전자주식회사 | 전자장치 및 전자장치의 필터 제공 방법 |
US11120478B2 (en) * | 2015-01-12 | 2021-09-14 | Ebay Inc. | Joint-based item recognition |
US10089532B2 (en) * | 2015-02-23 | 2018-10-02 | Kodak Alaris Inc. | Method for output creation based on video content characteristics |
CN105049714B (zh) * | 2015-06-30 | 2019-02-05 | Oppo广东移动通信有限公司 | 一种人物图像预览方法和装置 |
US9989965B2 (en) * | 2015-08-20 | 2018-06-05 | Motionloft, Inc. | Object detection and analysis via unmanned aerial vehicle |
BR112018077145A2 (pt) * | 2016-06-27 | 2019-04-30 | Nissan Motor Co., Ltd. | método de rastreamento de objeto e dispositivo de rastreamento de objeto |
US9769612B1 (en) * | 2016-08-18 | 2017-09-19 | Wowza Media Systems, LLC | Streaming at target locations |
WO2018057714A1 (en) * | 2016-09-21 | 2018-03-29 | The General Hospital Corporation | Systems, methods and media for automatically generating a bone age assessment from a radiograph |
JP2018159605A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社日立ビルシステム | エレベーターシステムおよび内部調整パラメータ算出方法 |
US10311326B2 (en) * | 2017-03-31 | 2019-06-04 | Qualcomm Incorporated | Systems and methods for improved image textures |
US10474988B2 (en) * | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
US20190122082A1 (en) * | 2017-10-23 | 2019-04-25 | Motionloft, Inc. | Intelligent content displays |
US11004209B2 (en) * | 2017-10-26 | 2021-05-11 | Qualcomm Incorporated | Methods and systems for applying complex object detection in a video analytics system |
US10643059B2 (en) * | 2018-01-10 | 2020-05-05 | Trax Technology Solutions Pte Ltd. | Inspecting store shelf capacity |
CN108555908B (zh) * | 2018-04-12 | 2020-07-28 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
KR102558166B1 (ko) * | 2018-08-08 | 2023-07-24 | 삼성전자주식회사 | 복수의 객체들을 포함하는 이미지를 보정하는 전자 장치 및 그 제어 방법 |
KR102661983B1 (ko) * | 2018-08-08 | 2024-05-02 | 삼성전자주식회사 | 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치 |
CN112106064A (zh) * | 2018-10-15 | 2020-12-18 | 松下知识产权经营株式会社 | 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置 |
JP6705534B2 (ja) * | 2018-10-19 | 2020-06-03 | ソニー株式会社 | センサ装置、信号処理方法 |
US11699213B2 (en) * | 2018-10-23 | 2023-07-11 | Samsung Electronics Co., Ltd. | Image-capturing device and method for controlling same |
-
2019
- 2019-06-14 JP JP2019111091A patent/JP6705533B2/ja active Active
- 2019-10-04 KR KR1020217010477A patent/KR20210075991A/ko not_active Application Discontinuation
- 2019-10-04 US US17/272,826 patent/US20210192692A1/en active Pending
- 2019-10-04 CN CN201980067269.2A patent/CN112970243B/zh active Active
- 2019-10-08 TW TW108136338A patent/TWI816903B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100284568A1 (en) * | 2009-05-11 | 2010-11-11 | Canon Kabushiki Kaisha | Object recognition apparatus and object recognition method |
TW201426161A (zh) * | 2012-12-27 | 2014-07-01 | Ind Tech Res Inst | 深度影像擷取裝置、其校正方法與量測方法 |
JP2015104057A (ja) * | 2013-11-27 | 2015-06-04 | 株式会社ニコン | 撮像装置、画像処理方法、および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20210075991A (ko) | 2021-06-23 |
CN112970243A (zh) | 2021-06-15 |
JP6705533B2 (ja) | 2020-06-03 |
JP2020068008A (ja) | 2020-04-30 |
CN112970243B (zh) | 2023-09-05 |
US20210192692A1 (en) | 2021-06-24 |
TW202036377A (zh) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI816903B (zh) | 感測器裝置、參數設定方法 | |
JP6683280B1 (ja) | センサ装置、信号処理方法 | |
KR102556560B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템 | |
JP6705534B2 (ja) | センサ装置、信号処理方法 | |
US20200363534A1 (en) | Imaging device and electronic device | |
WO2020250584A1 (ja) | センサ装置、信号処理方法 | |
WO2020080139A1 (ja) | センサ装置、パラメータ設定方法 | |
WO2020080141A1 (ja) | センサ装置、信号処理方法 | |
US12003845B2 (en) | Sensor apparatus having array sensor for sensor-equipped device, sensor equipped device provided with sensor apparatus having array sensor, and contol method for sensor apparatus having array sensor for sensor-equipped device | |
TWI845547B (zh) | 感測器裝置、信號處理方法 |