TW202021333A

TW202021333A - 感測器裝置及信號處理方法

Info

Publication number: TW202021333A
Application number: TW108134793A
Authority: TW
Inventors: 高塚進; 矢島史; 鉄川弘樹
Original assignee: 日商索尼股份有限公司
Priority date: 2018-10-19
Filing date: 2019-09-26
Publication date: 2020-06-01
Also published as: EP3869784A1; US11785183B2; JP7424140B2; JP6683280B1; US11495008B2; WO2020080140A1; CN113039777B; KR20210075988A; JP2020108172A; US20230124921A1; TWI821417B; JP2020068521A; US20210256286A1; CN113039777A; EP3869784A4

Abstract

本發明之感測器裝置具有：陣列感測器，其呈一維或二維地排列有複數個檢測元件；信號處理部，其獲取陣列感測器之檢測信號而進行信號處理；及運算部。運算部根據陣列感測器之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給信號處理部。

Description

感測器裝置及信號處理方法

本技術係關於一種感測器裝置及信號處理方法，尤其係關於一種具備對藉由陣列感測器所獲得之檢測信號進行處理之功能的感測器裝置之技術領域。

例如，作為使用排列有攝像元件之陣列感測器實施之物體檢測，已知有如下技術：藉由陣列感測器進行圖像拍攝，將拍攝所得之圖像信號發送至陣列感測器之外部之處理器，於該處理器側進行物體檢測之計算處理。於下述專利文獻1中，揭示了一種包含藉由影像感測器進行攝像之區域內之感興趣區域設定之技術。 [先前技術文獻] [專利文獻]

[專利文獻1]日本專利特開2014-225868號公報

[發明所欲解決之問題]

於使用影像感測器實施之物體檢測中，不拘於被拍攝對象之類別(範疇或類項)，將拍攝所得之圖像資訊發送至進行物體檢測之外部之處理器，於處理器側進行所有物體檢測之計算處理。該程序依賴於通用處理器側之處理能力，未能採用限定於物體檢測對象之高效、最佳之資料壓縮方法。其結果，存在外部處理器側之計算負荷較高而導致處理延遲之問題。如專利文獻1所記載，存在以矩形指定感興趣區域(ROI：Region of Interest)而進行資料讀出之方法，但其並不會進行變更按類別優化後之形狀與讀出像素之密度之操作。因此，於本發明中，提出根據物體檢測之類別而變更ROI之形狀、密度(疏密)之方案。 [解決問題之技術手段]

本技術之感測器裝置具備：陣列感測器，其呈一維或二維地排列有複數個檢測元件；信號處理部，其獲取上述陣列感測器之檢測信號而進行信號處理；及運算部，其根據上述陣列感測器之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。即，使用信號處理部對藉由陣列感測器所獲得之檢測信號實施信號處理並將其自輸出部輸出，與信號處理部中之自陣列感測器獲取檢測信號之操作或信號處理相關之區域資訊基於物體檢測而設定。再者，所謂根據檢測信號而檢測之物體，係指作為物體檢測對象之物體，一切物體皆有可能被作為此處之檢測對象物體。例如，可將人、動物、移動體(汽車、自行車、航空器等)、自然物(蔬菜、植物等)、工業製品/零件、建築物、設施、山、海、川、星、太陽、雲等一切物體作為對象。又，陣列感測器之檢測元件假定為可見光或非可見光之攝像元件、檢測音波之音波檢測元件、或檢測觸覺之觸覺感測器元件等。

於上述本技術之感測器裝置中，可設想如下構成：具備將於上述信號處理部中經信號處理後之檢測信號輸出至外部裝置之輸出部。即，將使用區域資訊加以處理後之檢測信號發送輸出至外部裝置。所謂外部裝置，例如，假定為進行物體檢測之外部處理器、或雲端之處理器等。

於上述本技術之感測器裝置中，可設想如下構成：上述信號處理部具有針對上述陣列感測器之檢測元件選擇性地獲取檢測信號之獲取部，且上述獲取部獲取基於來自上述運算部之區域資訊所選擇之檢測元件之檢測信號作為檢測信號之1個圖框。即，信號處理部使用區域資訊，僅獲取陣列感測器之一部分檢測元件之輸出。

於上述本技術之感測器裝置中，可設想如下構成：於上述獲取部未藉由區域資訊選擇檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為用以供上述獲取部自上述陣列感測器獲取後續圖框之檢測信號之區域資訊，而指示給上述信號處理部。即，運算部根據正常1個圖框之資訊進行物體檢測，然後將與物體檢測相應之區域資訊提供至信號處理部。

於上述本技術之感測器裝置中，可設想如下構成：於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，並基於物體之檢測，再生成區域資訊，將該區域資訊作為用以供上述獲取部自上述陣列感測器獲取後續圖框之檢測信號之區域資訊，而指示給上述信號處理部。即，運算部針對自陣列感測器僅獲取一部分檢測元件之資訊之圖框，亦根據該1個圖框之資訊進行物體檢測，然後生成與物體檢測相應之區域資訊，並將其提供至信號處理部。

於上述本技術之感測器裝置中，可設想如下構成：於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：於上述獲取部未藉由區域資訊選擇檢測元件之狀態下，自上述陣列感測器獲取檢測信號。即，運算部若於自陣列感測器僅獲取一部分檢測元件之資訊之圖框中未檢出目標物體，則將獲取部對檢測信號之獲取恢復至正常狀態。

於上述本技術之感測器裝置中，可設想如下構成：上述運算部求出將根據上述陣列感測器之檢測信號而檢出之物體之區域包圍之邊框，並基於該邊框，生成區域資訊。例如，藉由基於將所檢出之物體之區域包圍之邊框，生成區域資訊，例如，將會生成與圖像內之物體之位置相應之區域資訊。又，於上述本技術之感測器裝置中，可設想如下構成：上述運算部將上述邊框放大而生成區域資訊。即，生成指定放大後區域之區域資訊，該放大後區域係放大將所檢出之物體之區域包圍之邊框後所得者。

於上述本技術之感測器裝置中，可設想如下構成：上述運算部對所檢出之物體以檢測元件為單位判定區域而生成區域資訊。並不限於矩形，例如，以像素為單位判定物體之區域，藉此生成區域資訊。

於上述本技術之感測器裝置中，可設想如下構成：上述運算部將自上述陣列感測器所獲得之檢測信號中被設定為關鍵圖框之圖框作為對象，進行物體檢測，並基於物體之檢測，生成區域資訊。即，運算部按照特定選擇演算法，選擇作為關鍵圖框之圖框，並進行區域資訊生成處理。又，可設想如下構成：上述關鍵圖框被設定為每間隔特定時間之圖框。即，設定為間隔特定圖框數之圖框。或，可設想如下構成：上述關鍵圖框被設定為基於來自外部機器之命令而確定之時序之圖框。例如，藉由來自圖像輸出目的地之外部處理器等之指示，設定關鍵圖框。

於上述本技術之感測器裝置中，可設想如下構成：上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並對所識別出之類別是否為目標類別進行判定，對應於目標類別物體而生成區域資訊。所謂類別，係指利用圖像辨識而辨識出之物體之範疇。例如，按照「人」、「汽車」、「飛機」、「船」、「軌道」、「鳥」、「貓」、「狗」、「鹿」、「蛙」、「馬」等對應檢出物體劃分類別。所謂目標類別，係指類別中被指定為辨識目標之類別。

於上述本技術之感測器裝置中，可設想如下構成：上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並使用與所識別出之類別對應之模板，生成與該物體對應之區域資訊。例如，準備與類別相應之區域資訊之模板，根據類別識別，加以選擇使用。又，於上述本技術之感測器裝置中，可設想如下構成：上述模板係針對各類別分別表示有檢測信號之獲取區域者。例如，模板係根據「人」、「汽車」等各類別，表示出陣列感測器之檢測元件中應獲取檢測資訊之檢測元件者。

於上述本技術之感測器裝置中，可設想如下構成：具備根據外部機器之要求，輸出於上述信號處理部中經處理後之檢測信號、所識別出之類別之資訊、所檢出之物體之數量、有無目標類別之資訊中任一者或全部之輸出部。即，輸出部根據外部機器之要求，設定所要輸出之資訊。

於上述本技術之感測器裝置中，可設想如下構成：上述信號處理部具有對來自上述陣列感測器之檢測信號進行壓縮處理之壓縮處理部，且上述壓縮處理部基於來自上述運算部之區域資訊，於各區域分別以不同之壓縮率進行壓縮處理。即，信號處理部使用區域資訊，於各區域分別設定壓縮率。又，於上述本技術之感測器裝置中，可設想如下構成：上述壓縮處理部於藉由區域資訊而指定之區域內，以低壓縮率進行壓縮處理，於其他區域內，以高壓縮率進行壓縮處理。即，將藉由區域資訊而指定之區域作為重要區域，不太削減資料量。又，於上述本技術之感測器裝置中，可設想如下構成：上述陣列感測器之檢測元件為攝像元件。即，陣列感測器之檢測信號為藉由攝像(光電轉換)而產生之圖像信號。

於上述本技術之感測器裝置中，可設想如下構成：上述運算部對基於與歷史區域資訊相關之資訊而自上述陣列感測器獲取之檢測信號設定工作區域，且根據上述工作區域之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。即，藉由被設定為工作區域之區域之資訊而非來自陣列感測器之全部區域之資訊，進行用以生成區域資訊之物體檢測。再者，所謂與區域資訊相關之資訊，係指作為區域資訊源頭之物體之檢測區域之資訊、或區域資訊本身等。又，於上述本技術之感測器裝置中，可設想如下構成：上述運算部對在歷史特定期間內生成之複數個區域資訊，以包含供各區域資訊所依據之物體檢測中之檢測區域之方式，設定上述工作區域。即，為了生成區域資訊而進行物體檢測，將出現該檢測對象物體之區域設定為工作區域。又，於上述本技術之感測器裝置中，可設想如下構成：上述信號處理部具有針對上述陣列感測器之檢測元件選擇性地獲取檢測信號之獲取部，且上述獲取部獲取基於來自上述運算部之區域資訊所選擇之檢測元件之檢測信號作為檢測信號之1個圖框，於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：上述獲取部自上述陣列感測器獲取上述工作區域之檢測信號。即，運算部若於自陣列感測器僅獲取一部分檢測元件之資訊之圖框中未檢出目標物體，則將獲取部對檢測信號之獲取恢復至將工作區域作為對象之狀態。又，於上述本技術之感測器裝置中，可設想如下構成：上述運算部將自上述陣列感測器所獲得之檢測信號中被設定為關鍵圖框之圖框作為對象，根據上述工作區域之檢測信號，進行物體檢測，並基於物體之檢測，生成區域資訊。即，運算部按照特定選擇演算法，選擇作為關鍵圖框之圖框，並進行工作區域設定處理。又，於上述本技術之感測器裝置中，可設想如下構成：上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並使用對應於所識別出之類別而表示有檢測信號之獲取區域之模板，生成與該物體對應之區域資訊，且具備閾值設定部，該閾值設定部針對上述圖像處理部之圖像處理或上述陣列感測器之與攝像相關之攝像處理中使用之參數之全部或一部分，設定參數之閾值；對上述模板所示之獲取區域實施之處理之參數基於上述閾值而設定。設定閾值，基於閾值，可變更模板所示之獲取區域之處理之參數。

本技術之信號處理方法係具有陣列感測器及信號處理部之感測器裝置中之信號處理方法，該陣列感測器呈一維或二維地排列有複數個檢測元件，該信號處理部獲取上述陣列感測器之檢測信號而進行信號處理，且該信號處理方法係根據上述陣列感測器之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。藉此，指定讀出區域或信號處理對象區域。又，於上述本技術之信號處理方法中，可設想如下操作：對基於歷史區域資訊而自上述陣列感測器獲取之檢測信號設定工作區域，且根據作為上述陣列感測器之檢測信號之上述工作區域之檢測信號，進行物體檢測。藉由採用工作區域之思路，而將處理高效化。

以下，按如下順序對實施形態進行說明。＜1.感測器裝置之構成＞＜2.第1實施形態：分類圖像適應化＞＜3.第2實施形態：區域剪裁＞＜4.第3實施形態：使用AROI實施之區域剪裁＞＜5.第4實施形態：智慧壓縮＞＜6.第5實施形態：主動取樣＞＜7.第6實施形態：藉由閾值設定實施之圖像適應化＞＜8.第7實施形態：工作區域剪裁＞＜9.第8實施形態：閾值設定與使用AROI實施之區域剪裁＞＜10.第9實施形態：藉由閾值設定實施之主動取樣＞＜11.應用於移動體之示例＞＜12.總結及變化例＞再者，作為以下所說明之實施形態，列舉作為影像感測器之感測器裝置1為例，該影像感測器具有攝像元件陣列，且輸出圖像信號作為檢測信號。尤其是，實施形態之感測器裝置1具備藉由圖像解析實現之物體檢測功能，係可稱為智慧陣列感測器之裝置。

＜1.感測器裝置之構成＞於圖1中，表示出了感測器裝置1之構成例。再者，於圖1中，作為與感測器裝置1進行資料通信之外部裝置，亦表示出了處理器11、外部感測器12。處理器11假定為與感測器裝置1通信連接之一切處理器。

作為感測器裝置1之硬體，具有影像感測裝置、DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)等記憶區域、作為AI(artificial intelligence，人工智能)功能處理器之構成部位。而且，該等三者為3層積層構造，或於1層為所謂之橫置構成，或為2層(例如，DRAM與AI功能處理器位於同一層)積層構造等，而成為一體型器件。

如圖1所示，感測器裝置1具有陣列感測器2、ADC(Analog to Digital Converter，類比至數位轉換器)/像素選擇器3、緩衝器4、邏輯部5、記憶體6、介面部7、運算部8。 ADC/像素選擇器3、緩衝器4、邏輯部5係對藉由陣列感測器2所獲得之檢測信號進行信號處理以便將其輸出至外部之信號處理部30之示例。

陣列感測器2係將檢測元件設定為可見光或非可見光之攝像元件，且將複數個攝像元件呈一維或二維地排列而構成。例如，形成為如下構成：於列方向及行方向兩個維度排列有複數個攝像元件，藉由各攝像元件中之光電轉換，輸出二維圖像信號。再者，於以下說明中，陣列感測器2作為影像感測器，輸出二維圖像信號，但作為感測器裝置1內之陣列感測器2，亦存在構成為排列有音波檢測元件之感測器陣列模組、或排列有觸覺資訊檢測元件之感測器陣列模組等之情形。

ADC/像素選擇器3將藉由陣列感測器2加以光電轉換後之電氣信號數位資料化，輸出作為數位資料之圖像信號。又，藉由具有對陣列感測器2之像素(攝像元件)之像素選擇功能，亦可於陣列感測器2中，僅對所選擇之像素讀出光電轉換信號，再將其數位資料化並輸出。即，ADC/像素選擇器3通常係對構成1個圖框之圖像之全部有效像素進行光電轉換信號之數位資料化輸出，但亦可僅對所選擇之像素進行光電轉換信號之數位資料化輸出。

藉由ADC/像素選擇器3，以圖框為單位讀出圖像信號，各圖框之圖像信號臨時記憶於緩衝器4，於適當時序讀出以供給邏輯部5處理。

於邏輯部5中，對所輸入之各圖框圖像信號進行各種必要信號處理(圖像處理)。例如，於邏輯部5中，假定藉由顏色修正、伽瑪修正、色階處理、增益處理、輪廓增強處理、對比度調整處理、銳度調整處理、灰階調整處理等處理，進行畫質調整。又，亦假定於邏輯部5中進行資料壓縮處理、解像度轉換、圖框速率轉換、縱橫比率轉換、取樣頻率變更等變更資料尺寸之處理。關於該等在邏輯部5中進行之各處理，設定用於各個處理之參數。例如，有顏色或亮度之修正係數、增益值、壓縮率、圖框速率、解像度、處理對象區域、取樣頻率等之設定值。於邏輯部5中，使用對各個處理設定之參數進行必要處理。於本實施形態中，存在如下所述由運算部8設定該等參數之情形。

於邏輯部5中經處理後之圖像信號記憶於記憶體6。記憶體6中記憶之圖像信號於必要時序藉由介面部7發送輸出至處理器11等。再者，作為記憶體6，假定為DRAM、SRAM(Static Random Access Memory：動態隨機存取記憶體)、MRAM(Magnetoresistive Random Access Memory：磁阻記憶體)等。再者，MRAM係藉由磁性記憶資料之記憶體，已知有使用TMR(tunneling magnetoresistive，隧道磁阻)元件取代磁線圈者。TMR元件係於磁性體中夾入數原子量之極薄絕緣物層者，電阻根據磁性體層之磁化方向而變化。即便切斷電源，TMR元件之磁化方向亦不變化，而成為非揮發性之記憶體。因越微細化越要增大寫入電流，故為了將記憶單元微細化，已知有STT-MRAM，其不使用磁場，而採用流通並寫入自旋一致之電子之自旋注入磁化反轉方式(STT：spin torque transfer)。當然，作為記憶體6之具體例，亦可為其等以外之記憶元件。

於感測器裝置1之外部之處理器11中，對自感測器裝置1發送而至之圖像信號，進行圖像解析、圖像辨識處理，執行必要物體檢測等。處理器11亦可參照外部感測器12之檢測資訊。再者，可考慮使處理器11以有線或無線方式與感測器裝置1連接。可考慮將該處理器11設置於與感測器裝置1共通之殼體。例如，假定為裝備感測器裝置1之攝像裝置或終端裝置內之處理器。或又，處理器11亦可設置於與感測器裝置1為不同個體之裝置。例如，亦可內置於藉由纜線或以無線通信等方式與裝備感測器裝置1之攝像裝置或終端裝置連接之資訊處理裝置、終端裝置、圖像編輯裝置，監視器裝置、通信裝置等。進而，處理器11例如亦可為雲計算系統中之處理器，與感測器裝置1或內置感測器裝置1之機器之間進行網路通信。

運算部8例如構成為1個AI處理器。而且，作為所能執行的運算功能，如圖所示，具備關鍵圖框選擇部81、物體區域辨識部82、類別識別部83、參數選擇部84。再者，該等運算功能亦可由複數個處理器構成。

關鍵圖框選擇部81進行如下處理：根據特定演算法或指示，於作為動態圖像之圖像信號之圖框內，選擇關鍵圖框。又，亦存在如下情形：關鍵圖框選擇部81進行切換與圖框速率相關之模式(第5實施形態中之空轉模式與普通模式)之處理。

物體區域辨識部82對在陣列感測器2中加以光電轉換且藉由ADC/像素選擇器3而讀出之圖像信號之圖框，進行作為檢測候補之物體之區域之檢測，或對檢測對象物體，進行圖像(圖框)內之包圍該物體之區域(邊框)之辨識處理。所謂根據圖像信號而檢測之物體，係指以根據圖像而進行辨識為目的，有可能成為檢測對象之物體。根據感測器裝置1或處理器11之檢測目的、處理能力、應用種類等，會被作為檢測對象之物體不同，一切物體皆有可能被作為此處之檢測對象物體。例示其中之一部分，有動物、移動體(汽車、自行車、航空器等)、自然物(蔬菜、植物等)、工業製品/零件、建築物、設施、山、海、川、星、太陽、雲等一切物體皆有可能符合。又，如第2實施形態中所說明，亦存在如下情形：物體區域辨識部82基於邊框，計算表示應作為處理對象之區域(感興趣區域)之區域資訊即ROI(Region of Interest)之處理，或基於ROI對ADC/像素選擇器3進行控制等。

類別識別部83對物體區域辨識部82所檢出之物體進行類別分類。所謂類別，係指利用圖像辨識而辨識出之物體之範疇。例如，按照「人」、「汽車」、「飛機」、「船」、「軌道」、「鳥」、「貓」、「狗」、「鹿」、「蛙」、「馬」等對應檢出物體劃分類別。

參數選擇部84如第1實施形態中所說明，記憶與各類別相應之信號處理用之參數，或使用類別識別部83所識別出之檢出物體之類別或邊框等，選擇對應之1個或複數個參數。然後，對邏輯部5設定該1個或複數個參數。又，亦存在如下情形：如第3實施形態所述，參數選擇部84記憶有高級ROI(Advanced ROI：AROI)之模板，而進行選擇該模板之處理，該高級ROI(Advanced ROI：AROI)之模板係基於根據邊框而算出ROI之類別，預先按類別算出者。又，亦存在如下情形：參數選擇部84記憶有第5實施形態中之空轉模式與普通模式之設定值，而進行基於物體檢測，選擇該等設定值，控制信號處理部30之處理。

運算部8之該等功能通常係於陣列感測器內未進行之處理，本實施形態中，於陣列感測器內執行物體檢測或類別辨識、及基於其等實施之控制。藉此，可使向處理器11供給之圖像信號成為符合檢測目的之適當者，從而實現不會導致檢測性能降低之資料量削減。

再者，介面部7除了可將圖像信號輸出至處理器11以外，亦可將藉由運算部8而檢出之物體之資訊、類別之資訊、檢出物體數、所選擇之參數之資訊等例如作為元資料連同圖像信號一併輸出，或獨立於圖像信號而輸出。又，例如，亦可實現僅輸出類別之資訊等之操作等。又，例如，亦可設想如下情形：處理器11側對介面部7指示必要資訊，介面部7輸出與其相應之資訊。

＜2.第1實施形態：分類圖像適應化＞作為藉由圖1之構成之感測器裝置1所能執行的第1實施形態之處理，對分類圖像適應化處理進行說明。

圖像辨識之精度藉由畫質調整而變得不同。例如，藉由深度運行而實施之圖像辨識之精度藉由調整畫質而提高。而且，對於圖像辨識而言較理想之畫質，即，物體檢測精度較高之畫質，未必為讓人看了覺得美麗之畫質。例如，圖2A表示讓人看了覺得品質高之圖像之示例，另一方面，圖2B例如表示因色階數較少等原因而讓人看了感覺畫質略有劣化之圖像。但，作為藉由神經網路解析圖2A之圖像之情形時之物體檢測結果，將花錯誤判定為魚(fish)，而對於圖2B之圖像，將花正確判定為花(flower)。自該示例可知，要提高圖像辨識精度，較理想為進行與以人之美觀為基準而進行之畫質調整不同之畫質調整。

又，此種適於物體檢測之畫質，並非藉由相同之參數加以調整之畫質，而係指因作為檢測對象之物體而異之畫質。例如，於檢測人之情形與檢測汽車之情形中，理想之畫質調整狀態不同。即，用以調整畫質之理想之參數值因檢測對象而異。

因此，作為分類圖像適應化處理，預先記憶有可能成為對象之物體之各類別之適當參數(畫質調整值)。然後，對藉由陣列感測器2拍攝所得之圖像，進行物體檢測及所檢出之物體之類別識別，根據所識別出之類別，選擇參數並對邏輯部5設定，於邏輯部5中，對該圖像以該參數進行處理。

於圖3中，表示出了此種分類圖像適應化處理之概要。再者，於圖3中，為了進行概要說明，提取了圖1之構成之一部分。於感測器裝置1中，藉由攝像光學系統40將被攝體光聚集於陣列感測器2，而進行圖像拍攝。所獲得之圖像信號G於邏輯部5中進行處理，但亦供給至運算部8。於運算部8中，藉由物體區域辨識部82進行候補物體之檢測及該物體區域之辨識處理。於該物體區域辨識部82中，對必要物體區域亦進行邊框之計算。又，於運算部8中，藉由類別識別部83對所檢出之物體進行類別識別。於檢出複數個物體或複數種物體之情形時，對其等分別進行類別識別，並分類為各類別。例如，於圖式之情形時，按照類別為「車」之物體有1個，類別為「人」之物體有5個，類別為「交通信號燈」之物體有1個，進行類別識別及分類。

將該類別之資訊或邊框之資訊提供給參數選擇部84，參數選擇部84利用類別之資訊等，於所記憶之參數組PR1、PR2…中，選擇1個參數組。於圖中，例如，表示出了選擇參數組PR4之狀態。再者，所謂參數組，係指將例如增益設定值、顏色修正係數、色階數、壓縮率、圖框速率等邏輯部5之處理中使用之複數個參數之值設為1組而記憶者。

所選擇之參數組PR4於邏輯部5中得到設定。邏輯部5使用該參數組PR4所示之各參數，對圖像信號G進行各種信號處理。

陣列感測器根據處理器11之要求，輸出輸出資料(圖像信號、類別、物體數、目標類別之有無等)之資料之全部或某一者。又，處理器11可對感測器裝置1發送各種指示。

如此，於感測器裝置1中，運算部8具有基於物體檢測而識別類別之功能(物體之範疇劃分功能)，從而進行分類畫質適應化(根據物體檢測，選擇符合對象類項之參數)，即，根據類別識別部之輸出，適應性地設定邏輯部5之參數。

關於參數組，藉由事前學習預先生成並記憶採用深度運行而對各類別分別適當之參數(畫質設定值)。例如，於生成類別「人」之參數組之情形時，如圖4A所示，使用多個人類之圖像作為學習資料SD進行深度運行，以辨識人之觀點，生成圖像辨識率最高之參數組PR1。關於其他各類別，亦同樣地採用深度運行，生成圖像辨識率最高之參數組PR2、PR3…。然後，如圖4B所示，預先記憶所生成之與各類別對應之參數組PR1、PR2、PR3…，以供參數選擇部84選擇。

於圖5中，表示出了感測器裝置1中之分類圖像適應化處理之具體例。逐次參照圖6，進行說明。於圖5中，表示出了於作為步驟S100而開始自陣列感測器2輸出1個圖框為單位之圖像信號後，由感測器裝置1(主要為運算部8)執行之處理。於該圖5中，運算部8之處理係藉由作為圖1所示之關鍵圖框選擇部81、物體區域辨識部82、類別識別部83、參數選擇部84之各功能而執行之處理。再者，於下述圖9、圖14、圖16、圖18中，亦同樣如此。

運算部8(關鍵圖框選擇部81)於步驟S101中，進行於與關鍵圖框選擇演算法相應之時序，選擇關鍵圖框之處理。感測器裝置1根據陣列感測器2之像素陣列輸出信號即圖框為單位之圖像信號，選擇關鍵圖框，進行圖像辨識，藉此辨識攝影對象之類別。關鍵圖框之選擇係藉由關鍵圖框選擇演算法而進行，藉此選擇靜態圖像(某1個圖框)。可列舉關鍵圖框選擇演算法為例。首先，存在每間隔指定時間選擇1個圖框之方法。例如，每間隔30秒將1個圖框設定為關鍵圖框等。當然，30秒僅為一例。又，亦可考慮在基於來自感測器裝置1之外部(處理器11等)之命令而確定之時序，選擇關鍵圖框。例如，遵照來自搭載有感測器裝置1之器件、機器側之指示。例如，在感測器裝置1搭載於汽車之案例中，雖停止於停車場，但於開始行駛之時序等選擇關鍵圖框等。又，亦可根據狀況，改變關鍵圖框之選擇方法。例如，在感測器裝置1搭載於汽車之情形時，於停車時、正常行駛時、高速行駛時，變更關鍵圖框之間隔等。

選擇關鍵圖框後，運算部8(物體區域辨識部82)於步驟S102中，進行關鍵圖框內之物體之候補位置之檢測。即，運算部8於關鍵圖框之圖像中探索應檢出物體之候補，求出1個或複數個候補位置(圖像內之位置座標)。例如，將圖6A之輸入圖像設定為關鍵圖框。運算部8檢測於該圖像中應檢出之疑似物體之部位。例如，將圖6B、圖6C之區域設定為應檢出之疑似物體之部位。其成為候補物體。

運算部8(類別識別部83)於圖5之步驟S103中，進行檢出物體之類別分類。即，對各候補物體分別進行類別識別並加以分類。如上所述，所謂類別，係指利用圖像辨識而辨識出之物體之範疇。例如，如圖6D、圖6E所示，進行「人」、「花」等類別之識別。

運算部8於圖5之步驟S104中，對作為類別識別結果而獲得之類別內是否存在目標類別進行確認。目標類別係被處理器11於類別中特別設定之類別。例如，於目標類別被設定為「人」之情形時，感測器裝置1於辨識出人時進入指定程序。再者，目標類別較理想為可指定複數種。

例如，於「人」與「花」被設定為目標類別，且在步驟S103中識別出之類別內存在「人」或「花」之情形時，運算部8將處理自步驟S104推進至S105。另一方面，若不存在目標類別，則返回至步驟S101，運算部8進行下一個關鍵圖框之選擇。

在由於存在目標類別而進入步驟S105之情形時，運算部8(物體區域辨識部82)算出將類屬於類別之物體之區域包圍之正確位置座標(邊框)。於圖6F、圖6G中，表示出了邊框20。邊框20由作為X軸上之區域範圍之最小座標值Xmin、最大座標值Xmax、及作為Y軸上之區域範圍之最小座標值Ymin、最大座標值Ymax規定。

運算部8(參數選擇部84)於圖5之步驟S106中，基於物體之類別、數量、邊框20之面積，選擇參數組。例如，於存在1種目標類別之情形時，選擇與該類別對應之參數組。於畫面內存在複數種目標類別物體之情形時，可設想以下示例。例如，可設想選擇與各類別中物體數量最多之類別對應之參數組。或，於畫面內存在複數種目標類別物體之情形時，可設想選擇與邊框20之面積最大之物體之類別對應的參數組。或，於畫面內存在複數種目標類別物體之情形時，可設想選擇與各類別之邊框20之合計面積最大之類別對應的參數組。或，於畫面內存在複數種目標類別物體之情形時，可設想根據各類別之物體數量與邊框20之合計面積(或最大值)求出最優先之類別，而選擇與該類別對應之參數組。當然，除此以外，亦存在各種參數組之選擇方法，但無論是哪一種方法，只要選擇與畫面內具有支配性之物體、或應優先檢測之物體之類別相應之參數組即可。

運算部8(參數選擇部84)於步驟S107中，進行對邏輯部5設定所選擇之參數組之處理。藉此，於邏輯部5中，以後，使用所設定之參數組，對依序輸入之各圖框之圖像信號進行各種圖像處理。經處理後之圖像信號或所設定之參數、或所識別出之類別之資訊等臨時記憶於DRAM6。

感測器裝置1於步驟S108中，根據處理器11之要求，輸出圖像信號(靜態圖像、動態圖像)、類別識別資訊(類別、標的物數量、目標類別之有無等)、所使用之參數組等全部資訊或至少任一者。即，臨時記憶於DRAM6之資訊中之任一者根據處理器11之要求，被介面部7讀出並發送。再者，該步驟S108之處理可藉由運算部8之控制而進行，亦可藉由處理器11經由介面部7對DRAM6實施存取而執行。於運算部8不進行介面部7之控制之情形時，作為運算部8之處理，於步驟S107之後，返回至步驟S101。

藉由以上處理，若存在作為圖像中所包含之物體之目標類別，則將被設定參數後之圖像信號供給至處理器11。該圖像信號成為被實施過適於檢測該目標類別物體之圖像處理後之圖像信號。又，若將所檢出之類別(目標類別)或物體數量之資訊亦提供給處理器11，則成為對處理器11中之物體檢測處理有用之資訊。藉此，可於處理器11中進行高精度之物體檢測。再者，亦可採用如下方法：於感測器裝置1內簡易地進行類別設定，於外部更仔細地進行辨識。例如，於人臉辨識或車牌辨識中，亦可為不藉由感測器裝置1加以執行，而使處理器11加以執行之處理。又，如圖5之處理例，於步驟S102中檢測疑似物體之部位(圖6B、圖6C)，於步驟S103中進行類別識別(圖6D、圖6E)，其後，於步驟S105中進行邊框20之設定(圖6F、圖6G)，但並不限於該順序。例如，亦可為如下順序：於步驟S102之階段，先檢測疑似物體之部位，然後進行邊框20之設定，其後，於步驟S103中進行類別識別，若存在目標類別，則自步驟S104推進至S106。

＜3.第2實施形態：區域剪裁＞作為藉由圖1之構成之感測器裝置1所能執行的第2實施形態之處理，對區域剪裁進行說明。

關於藉由陣列感測器2而檢出之圖像信號，通常可設想如下情形：將各圖框之全部像素之資訊發送至處理器11，使其執行圖像辨識。但若將全圖框之全部像素之資訊發送至處理器11，而於處理器11中進行物體檢測，則尤其是隨著陣列感測器2之拍攝圖像之高精細化發展，發送資訊量會顯著增大，亦要耗費發送時間。又，於雲傳輸之情形時，通信量之增大會大大影響通信成本、時間。進而，有處理器11或雲端之儲存量之負擔亦增加，且解析處理負擔、處理時間亦增加，從而物體檢測性能降低之風險。因此，於第2實施形態中，在某個圖框之圖像中辨識出必要物體後，下一個圖框以後要大致以該物體之區域之像素位準，進行圖像信號之獲取或發送，且使其他區域之像素不作為資訊而存在，藉此實現處理之高效化。

於圖7中，表示出了概要。於圖7A中，表示出了某圖框F1之圖像。於設定「人」作為應檢出物體之情形時，於圖框F1之圖像內檢測人之區域。然後，將檢出人之區域設定為感興趣區域即ROI(Region of Interest)21。於以後之圖框F2、F3…Fn中，自陣列感測器2，僅讀出被設定為ROI21之區域內之像素。如圖7B所示，該圖像成為僅包含ROI21部分資訊之圖像。而且，基於此種包含部分像素資訊之圖像信號，於運算部8中進行解析，或發送至處理器11而進行圖像解析。

具體而言，如圖8A模式性所示，設定為如下圖像：對藉由陣列感測器2所獲得之圖像信號中作為N個圖框中存在1張之比率之某圖框F，包含全部有效像素資訊。然後，於運算部8中，掃描全部畫面，進行對象物之有無與位置之檢測。然後，設定ROI21。獲取後續之圖框F2時，如圖8B所示，獲取僅對被設定為對象區域之ROI21之像素加以AD轉換後之圖像信號。再者，於圖中，以格子分隔出之各方形表示像素。如此，例如，每N個圖框僅對1個圖框掃描全部畫面，進行對象物之檢測，如圖8C所示，於以後之圖框F2、F3、F4…中，僅對前一個圖框之對象物之檢測區域進行圖像解析。藉由進行該程序，可不降低作為應用對象之物體檢測之精度地，削減解析資料量，減少通信資料量，且可實現感測器裝置1之低耗電化、及搭載有感測器裝置1之系統整體之與物體檢測相關的圖像解析之高速化。

於圖9中，表示出了作為區域剪裁解析之感測器裝置1之運算部8之處理例。逐次參照圖10，進行說明。

運算部8(關鍵圖框選擇部81)於步驟S201中，對是否已成為物體檢測關鍵圖框記錄時序進行判定。所謂物體檢測關鍵圖框記錄時序，係指為了實施物體檢測而於陣列感測器2之全部有效像素區域內進行資訊獲取之時序。作為物體檢測關鍵圖框記錄時序，例如，可遵照來自處理器11等感測器裝置1之外部之命令進行判定。例如，假定為如下情形：根據60 sec之指示，每間隔60 sec便判定為物體檢測關鍵圖框記錄時序。

成為物體檢測關鍵圖框記錄時序後，運算部8進入步驟S202，於陣列感測器2之全部有效像素區域內獲取經AD轉換後之圖像資料。例如，使ADC/像素選擇器3將全部有效像素區域作為對象，輸出來自陣列感測器2之1個圖框之圖像信號。

於步驟S203中，運算部8(物體區域辨識部82)對所獲取之圖像進行物體之候補位置之檢測。如圖10A所示，例如，將圖框F1設定為物體檢測關鍵圖框時，於該圖框F1之圖像內，檢測物體候補區域23。於該情形時，包含「人」或「樹」之圖像之區域被設定為候補區域23。

運算部8(類別識別部83)於圖9之步驟S204中，進行作為候補而檢出之物體之類別分類。例如，如圖10B所示，對候補區域23之物體進行「人」、「樹」等類別識別。

運算部8於圖9之步驟S205中，對作為類別識別結果而獲得之類別內是否存在目標類別進行確認。例如，於「人」被設定為目標類別之情形時，如圖10B所示，所識別出之類別中存在目標類別。於此種情形時，運算部8將處理自圖9之步驟S205推進至S206。另一方面，若不存在目標類別，則返回至步驟S201，運算部8等待下一個物體檢測關鍵圖框記錄時序。

運算部8(物體區域辨識部82)於圖9之步驟S206中，算出將類屬於被設定為目標類別之類別之物體區域包圍的正確位置座標之邊框20。例如，於圖10C中，表示出了作為目標類別之人之圖像之邊框20的示例。即，邊框20被作為與目標類別相符之物體之更正確之區域而計算。

運算部8(物體區域辨識部82)於圖9之步驟S207中，根據邊框20，算出ROI。於圖10D中，表示出了ROI21與邊框20。ROI21係將邊框20之縱橫尺寸(x×y)放大(ax×by)而計算。放大之比例尺a、b可按縱橫分別設定，放大率可固定，但亦可考慮由感測器裝置1之外部(例如，處理器11等)指定。運算部8(物體區域辨識部82)將如此計算所得之ROI傳送至ADC/像素選擇器3。

據此，於ADC/像素選擇器3中，僅對與陣列感測器2中之ROI21內相當之像素進行AD轉換並將其輸出。運算部8於圖9之步驟S208中，獲取僅包含ROI21內像素資訊之下一個圖框之圖像資料。然後，對所獲取之圖框進行步驟S203、S204之處理。

於圖10E中，模式性地表示出了僅對全部有效像素中ROI21內之像素進行AD轉換(於各圖中，以格子分隔出之方形表示像素)。藉由此種AD轉換，如圖10F所示，運算部8獲取僅具有ROI21部分資訊之圖框F2之圖像。然後，運算部8於圖9之步驟S203、S204中，對該圖框F2之圖像進行物體之候補位置之檢測與類別分類，例如，於該圖10F之情形時，檢測人，因此進入步驟S206、S207，計算新的邊框20，或基於邊框20，計算新的ROI21。將於圖10F中求出之新的ROI標記為「ROI21(NEW)」。

再者，藉由放大邊框20而生成ROI21對應於作為被攝體之物體之動向(或攝像裝置之被攝體方向之變化)。例如，圖10E之圖框F2之人之位置相較於圖10A之圖框F1之人之位置朝向右方向變化。但藉由將ROI21設定得較大，即便為僅ROI21內之像素，亦可提高能於圖框F2中獲取對象人物之圖像之可能性。再者，如上所述，ROI21係以於下一個圖框內亦可檢測對象物體之方式將邊框20放大，但將縱橫尺寸(x×y)放大(ax×by)時之放大之比例尺a、b亦可考慮為與圖框速率相應者。例如，可設想如下情形，若圖框速率較低，則圖框間隔之時間變長，人等物體之移動量亦變大，因此相較於圖框速率較高之情形時，ROI21更大。

又，針對各圖框，分別重新計算ROI21(生成新的ROI21(NEW))亦對應於作為被攝體之物體之動向(或攝像裝置之被攝體方向之變化)。隨著人之移動，會自圖10F之圖像於ROI21內之靠右之位置檢出人。因此，藉由重新計算包圍人之區域之邊框20，求出ROI21，而如ROI21(NEW)般，以追隨於人之動向之方式，更新ROI。運算部8於步驟S207中，將新的ROI21(NEW)傳送至ADC/像素選擇器3。藉此，下一個圖框僅對新的ROI21(NEW)內之像素進行AD轉換(參照圖10G)。然後，同樣地，運算部8於步驟S208中，僅獲取ROI21(NEW)內像素資訊之圖像信號，進行步驟S203以後之處理。

此種處理要反覆進行，直至於步驟S205中判定為不存在目標類別為止。因此，例如，ROI21之位置會根據作為被攝體之人而不斷更新，藉此例如，即便如圖10H之圖框Fn般人之位置有所移動，亦可基於藉由未圖示之前之圖框F(n－1)而計算所得之ROI21，獲取包含人之區域資訊之圖框Fn之圖像信號。若所檢出之人出框而無法再檢出，則無法再獲取到目標類別，因此自步驟S205返回至S201，運算部8等待下一個物體檢測關鍵圖框記錄時序。

藉由進行如上之區域剪裁解析處理，物體檢測關鍵圖框記錄時序之關鍵圖框之圖像信號包含全部有效像素之資料，但於後續之圖框中，僅包含物體檢測必要像素，即資料量降得極低之圖像信號，並且成為適於檢測目標物體之圖像。進而，亦可藉由減少於陣列感測器2中進行讀出之像素數而削減耗電。

再者，於圖9之處理例之情形時，針對每1種目標類別物體分別設定ROI21，與各個物體相應之ROI21之區域成為自陣列感測器2讀出之對象，但其並不限於物體檢測關鍵圖框內所檢出之物體。例如，即便於圖框F2、F3之時序作為被攝體出現新的物體(例如，人)，亦存在獲取不到該人之圖像之可能性。例如，使用目的亦可在於跟蹤並解析於某種程度之時間間隔之物體檢測關鍵圖框內發現之物體，例如，在應用於監視作為被攝體而出現之所有人之監視系統等之情形時，亦希望將物體檢測關鍵圖框以外之圖框內出現之物體作為檢測對象。因此，例如，可設想如下情形：即便連續檢測目標類別物體(即，於步驟S205中連續判定為「是」之情形時)，亦必須以特定時間間隔返回至步驟S202，獲取全部有效像素之圖像信號。可由處理器11等指定獲取全部有效像素之圖像信號之時間間隔亦較佳。

或，亦可設想如下情形：將圖像之周緣部區別於ROI21地始終作為AD轉換對象區域，若作為被攝體有新的物體入框，則檢測該物體，對該物體亦可設定ROI21。

對藉由將邊框20放大而使ROI21成為矩形區域之示例進行了敍述，但ROI21並不限於矩形區域。例如，亦可採用語義分割，即像素位準下之物體區域檢測，根據該目標類別物體之區域，計算ROI21。於圖11中，表示出了基於語義分割之ROI21。其係將作為物體(例如，人)之像素區域放大，而設定非矩形之ROI21之示例。例如，具有突起物之軌道、乘坐於自行車之人等會成為於矩形之ROI21中部分缺失、或變得過大之狀態。若根據像素位準之物體位置，生成非矩形之ROI21，則可提高成為能兼具資料量削減與必要資訊獲取之ROI21之可能性。

再者，藉由將以上第2實施形態之區域剪裁與第1實施形態之分類圖像適應化處理組合執行，可獲得更有效地削減資料量及提高檢測精度之效果。

＜4.第3實施形態：使用AROI實施之區域剪裁＞作為藉由圖1之構成之感測器裝置1所能執行的第3實施形態之處理，對使用高級ROI(亦記作「AROI」)之區域剪裁進行說明。

所謂AROI，係指使用根據類別而設定之模板進行設定之ROI。於陣列感測器2(影像感測器)中被光電轉換所消耗之電力最大。因此，為了削減耗電，希望儘量減少要進行光電轉換之像素。又，藉由陣列感測器2所獲得之圖像信號係用以解析圖像而非供人觀看，故而，無需其可供人觀看、辨識，或成為漂亮圖像。換言之，其成為可精度良好地檢測物體之圖像係重點所在。例如，於上述第2實施形態中，對所檢出之物體進行類別識別，但若以此方式進行類別識別，則只要將與類別相應之用於辨識之最低限度之區域設定為ROI即可。因此，設定如圖12、圖13所示之AROI22。

於圖12中，表示出了對人之圖像區域使用與類別「人」對應之模板而生成之AROI22。圖中之格子為像素(pixel)，深色像素為藉由AROI而指定之像素。例如，與類別「人」對應之模板被設定為對人臉部分高密度地配置必要像素，對身體部分低密度地配置必要像素，從而可覆蓋整體者。又，於圖13中，表示出了使用與類別「汽車」對應之模板而生成之AROI22。於該示例中，其係適應於汽車之背面圖像者，例如，被設定為對車牌所處之部分高密度地配置必要像素，對除此以外之部分低密度地配置必要像素，從而可覆蓋整體者。實際上，亦可設想如下情形：關於類別「人」，進一步細分化，例如按照「橫穿之人」、「直行之人」、「坐下之人」等將模板細分化，或關於類別「汽車」，按照「側面圖像」、「正面圖像」、「背面圖像」等將模板細分化。

如此，根據類別，選擇模板，結合實際之圖框內之區域尺寸，將模板放大或縮小，生成AROI22。

於圖14中，表示出了使用AROI22之處理例。再者，步驟S201至S206為與圖9相同之處理，因此不再重複說明。

於在物體檢測關鍵圖框記錄時序獲得之全部有效像素之圖像信號中存在目標類別物體之情形時，運算部8(物體區域辨識部82)於步驟S206中，算出邊框20。然後，運算部8(參數選擇部84)於步驟S210中，選擇根據類別預先算出並記憶之AROI用之模板。例如，於「人」為目標類別且圖像內存在人之情形時，選擇「人」用之模板。

運算部8(物體區域辨識部82)於步驟S211中，基於邊框20，算出AROI22。例如，將根據邊框20之尺寸而調整模板之尺寸所得者設定為AROI22。然後，運算部8(物體區域辨識部82)將該AROI22(AROI之圖案與區域)傳送至ADC/像素選擇器3。

據此，於ADC/像素選擇器3中，僅對與陣列感測器2中之AROI22內相當之像素進行AD轉換並將其輸出。運算部8於步驟S212中，獲取僅包含AROI22內像素資訊之下一個圖框之圖像資料。然後，對所獲取之圖框進行步驟S203、S204之處理。以後之處理流程與圖9中所說明者相同。

如此，使用根據類別而設定之模板，生成AROI22，藉此即便大幅減少要進行光電轉換之像素，亦可獲得能根據類別而切實地進行物體檢測之資訊。再者，第2實施形態中所提及之物體檢測關鍵圖框記錄時序每間隔某段時間必然發生之態樣、或始終將圖像之周緣部設定為AD轉換對象區域之態樣亦可應用於該第3實施形態。又，藉由將以上第3實施形態之使用AROI22之區域剪裁與第1實施形態之分類圖像適應化處理組合執行，可獲得更有效地削減資料量及提高檢測精度之效果。

＜5.第4實施形態：智慧壓縮＞作為藉由圖1之構成之感測器裝置1所能執行的第4實施形態之處理，對智慧壓縮處理進行說明。

所謂智慧壓縮，係指特定出檢測之對象物，以低壓縮率壓縮對象物，以高壓縮率壓縮對象物以外之物體。於圖15中，表示出了具體例。於圖15A中，表示出了如下狀態：於根據某1個圖框之圖像而檢出作為目標類別之類別「汽車」之情形時，對應於各汽車之區域而生成ROI21。圖15B係以低壓縮率壓縮該ROI21之區域，以高壓縮率壓縮其他區域所得之圖像信號。藉此，可不降低物體檢測之作為應用對象之物體之檢測精度地，削減解析資料量及減少通信資料量。又，亦可實現感測器裝置1之低耗電化、及搭載有感測器裝置1之系統整體之與物體檢測相關的圖像解析之高速化。

於圖16中，表示出了進行智慧壓縮之處理例。再者，步驟S201至S206為與圖9相同之處理。但與上文所說明之區域剪裁之情形時存在若干狀況不同之處，因此說明時亦會提及該等處理。

運算部8(關鍵圖框選擇部81)於步驟S201中，對是否成為物體檢測關鍵圖框記錄時序進行判定。若成為物體檢測關鍵圖框記錄時序，則運算部8進入步驟S202，於陣列感測器2之全部有效像素區域內獲取經AD轉換後之圖像資料。但於智慧壓縮之情形時，ADC/像素選擇器3係針對各圖框，分別自陣列感測器2讀出(AD轉換)全部像素之信號。

運算部8(物體區域辨識部82)對在步驟S201中獲取之圖像進行物體之候補位置之檢測。然後，運算部8(類別識別部83)於步驟S204中，進行作為候補而檢出之物體之類別分類。運算部8於步驟S205中，對作為類別識別結果而獲得之類別內是否存在目標類別進行確認。

於在物體檢測關鍵圖框記錄時序獲得之全部有效像素之圖像信號中存在目標類別物體之情形時，運算部8(物體區域辨識部82)於步驟S206中，算出邊框20。

運算部8(物體區域辨識部82)於步驟S220中，根據邊框20，算出ROI21。於該情形時，例如，亦可考慮將邊框20放大而設定ROI21。運算部8(物體區域辨識部82)將如此計算所得之ROI21傳送至邏輯部5。

據此，邏輯部5於步驟S221中，針對自陣列感測器2讀出之圖像信號，以低壓縮率對與ROI21內相當之像素區域進行壓縮處理，以高壓縮率對其他像素區域進行壓縮處理。其後，將經壓縮處理後之圖像信號寫入至DRAM6，並藉由介面部7發送至處理器11。於處理器11中，藉由ROI21而指定之必要區域被設定為低壓縮率，充分存在資訊，藉此可進行良好精度之物體檢測。

作為運算部8之處理，於步驟S220之後，返回至步驟S203，對下一個圖框進行物體之候補位置之檢測，於步驟S204中，進行檢出物體之類別識別。於該第4實施形態中，自陣列感測器2之讀出係於各圖框中讀出全部有效像素，因此即便為於步驟S220、S211之後返回至步驟S203之情形，運算部8亦可於步驟S203中，掃描全部有效像素之範圍，進行候補物體之檢測。藉由掃描全部有效像素之範圍，進行候補物體之檢測，可隨時應對在關鍵圖框記錄時序之間出現新的目標類別物體之情況。但於該情形時，若運算部8僅於ROI21內之區域進行候補物體之檢測，則可削減運算部8之處理負擔。

運算部8一旦確認到目標類別之存在，便於步驟S206、S220中更新ROI21。因此，於邏輯部5中以低壓縮率加以壓縮之區域亦會根據各圖框之物體之位置而更新。

於在步驟S205中判定不存在目標類別之情形時，返回至步驟S202，運算部8之處理等待物體檢測關鍵圖框記錄時序。

藉由以上圖16之處理，進行智慧壓縮處理，即：於解析所需之部位即存在目標類別物體之ROI21內，以低壓縮率進行壓縮處理，於除此以外之部位，以高壓縮率進行壓縮處理。

再者，第2實施形態中所提及之物體檢測關鍵圖框記錄時序每間隔某段時間必然發生之態樣、或基於語義分割而生成ROI之態樣亦可應用於該第4實施形態。又，藉由將以上第4實施形態之智慧壓縮處理與第1實施形態之分類圖像適應化處理組合執行，可獲得更有效地削減資料量及提高檢測精度之效果。

＜6.第5實施形態：主動取樣＞作為藉由圖1之構成之感測器裝置1所能執行的第5實施形態之處理，對主動取樣進行說明。主動取樣係指根據對象物之有無而使圖框速率動態變化之處理。可將其說成是與對象物之有無相應之時間軸方向之資料量壓縮。又，亦可削減感測器裝置1之耗電。

藉由圖17，對主動取樣之概要進行說明。將目標類別設定為「人」，根據拍攝圖像進行人之檢測。例如，假定為使用監視相機自樓房之中穿過玄關拍攝外部之情形。於圖17A中，表示出了拍攝圖像中不含人之狀態。於此種情形時，將圖框速率設定為較低之速率例如1 fps。於圖17B中，表示出了於拍攝圖像內檢出人之狀態。於此種情形時，將圖框速率變更為較高之速率例如100 fps。即，限定檢測對象而使圖框速率動態變化，藉此尤其是於認為無必要時(未檢出人時)，降低圖框速率，於認為必要時(檢出人時)，提高圖框速率，使資訊量變密。

於圖18中，表示出了主動取樣之處理例。運算部8(關鍵圖框選擇部81)於步驟S301中，例如，按照運算部8內預先記憶之空轉模式之設定，對ADC/像素選擇器3進行動態圖像拍攝之設定。例如，於運算部8內之參數選擇部84，記憶有空轉模式之設定與普通模式之設定。

主動取樣中設置有空轉模式與普通模式，空轉模式係指確定目標類別物體已進入拍攝畫面內之前之模式。於該空轉模式下，以較普通模式慢之圖框速率進行動態圖像拍攝。空轉模式可設想為遵照來自感測器裝置1之外部之命令而開始。又，空轉模式亦可遵照來自感測器裝置1之外部之空轉模式用資料獲取時序間隔之命令而運行。例如，於有60 sec之指示之情形時，每間隔60 sec便成為物體檢測關鍵圖框記錄時序。

普通模式係指正常之動態圖像拍攝模式。例如，其遵照來自感測器裝置1之外部之普通模式用資料獲取時序間隔之命令而運行。普通模式通常以較空轉模式快之圖框速率進行動態圖像拍攝，例如，於有0.01 sec之指示之情形時，每間隔0.01 sec(100 fps)便成為進行攝像之模式。

因此，運算部8於步驟S301中，對ADC/像素選擇器3指示空轉模式，藉此若空轉模式之設定為1 fsp，則例如以1 sec間隔進行動態圖像拍攝。再者，空轉模式之設定與普通模式之設定未必記憶於運算部8內，亦可記憶於運算部8之外部記憶體中。當然，空轉模式、普通模式之圖框速率僅為一例。又，空轉模式、普通模式之設定值較理想為可自處理器11等外部裝置進行改寫。

運算部8(物體區域辨識部82)於步驟S302中，對所獲取之圖像進行物體之候補位置之檢測。運算部8(類別識別部83)於步驟S303中，進行作為候補而檢出之物體之類別分類。運算部8於步驟S304中，對作為類別識別結果而獲得之類別內是否存在目標類別進行確認。若不存在目標類別，則運算部8進行步驟S301、S302、S303之處理。即，獲取處於空轉模式下之下一個圖框之圖像，同樣地進行物體之候補位置之檢測及類別識別。於該情形時，例如，若以1 fps進行攝像，則對1秒後之圖像進行該等處理。

例如，於「人」被設定為目標類別且存在「人」作為所識別出之類別之情形時，運算部8將處理自步驟S304推進至S305。運算部8(關鍵圖框選擇部81)按照所記憶之普通模式之設定，對ADC/像素選擇器3進行動態圖像拍攝之設定，指示普通模式之攝像。因此，若普通模式之設定為100 fsp，則例如以0.01 sec間隔進行動態圖像拍攝。如此，於切換至普通模式之狀態下，運算部8進行步驟S302、S303之處理。

繼而，只要拍攝所得之圖像內存在目標類別，便繼續普通模式，而若不存在目標類別，則返回至步驟S301，切換至空轉模式。

如上所述，進行作為主動取樣之處理。藉此，尤其是於不存在目標類別之期間，可降低圖框速率，進行資料量壓縮，又，藉此可削減耗電。再者，運算部8係對ADC/像素選擇器3指示圖框速率變更而使圖框速率可變，但亦可對邏輯部5指示圖框速率轉換。例如，始終以100 fps進行自陣列感測器2之讀出，於空轉模式之情形時，對邏輯部5指示圖框間隙留置。藉此，可削減向處理器11傳輸之資料量。

再者，藉由將此種主動取樣處理與第2、第3、第4實施形態組合，可獲得不降低檢測精度而更有效地削減資料量之效果。又，藉由將主動取樣處理與第1實施形態之分類圖像適應化處理組合，除了有效地削減資料量以外，亦可提高檢測精度。

＜7.第6實施形態：藉由閾值設定實施之圖像適應化＞作為第6實施形態之處理，對圖像適應化處理進行說明。此處所說明之示例係於第1實施形態之分類圖像適應化處理中進而添加與閾值設定相應之參數變更之思路之示例。

作為此處之參數之一例，假定為用於邏輯部5中之圖像處理之參數，邏輯部5中使用之圖像處理之參數例如以滿足感測器裝置1內所設定之閾值之方式進行設定(調整、變更)。又，作為參數，亦假定為用於ADC/像素選擇器3中之信號讀出或陣列感測器2中之曝光動作等攝像處理之參數。ADC/像素選擇器3或陣列感測器2之攝像處理動作之控制參數等例如以滿足感測器裝置1內所設定之閾值之方式進行設定(調整、變更)。

於上述第1實施形態中，邏輯部5中使用之參數係根據類別識別而選擇，但所選擇之參數亦可基於閾值而設定(調整、變更)。或，並不限定為基於類別識別所選擇之參數，只要為邏輯部5、ADC/像素選擇器3或陣列感測器2中使用之參數即可，可考慮基於閾值而設定。

以下將例示如此地基於閾值而自動設定之與攝像處理相關之參數或與圖像處理相關之參數之具體例。例如，與圖像處理相關之參數如下所示：・圖像之縱橫比率・解像度・色階數(色數或位元數) ・對比度調整值・銳度調整值・灰階調整值・伽瑪修正值・取樣頻率轉換比。

圖像之縱橫比率或解像度之參數亦反映於ROI21。色階數、對比度調整值、銳度調整值、灰階調整值、伽瑪修正值、解像度係與畫質相關之參數。取樣頻率轉換比係時間解像度之參數。

又，作為與攝像處理相關之參數，有如下所列參數等：・取樣頻率・解像度(例如，於ADC/像素選擇器3之讀出時點設定之解像度) ・陣列感測器2之快門速度(曝光時間)。

當然，基於閾值而自動設定之參數亦有上述列舉以外之參數。

進行此種參數之與閾值相應之設定之目的在於，例如，於在處理器11中，基於使用深度神經網路(DNN：Deep Neural Network)實施之學習，進行物體檢測之情形時，既可確保該物體檢測之輸出具有足以實用之精度，又可實現資料量之削減、處理之高速化、低耗電化等。即，變更解像度或色數等參數，會減少攝像資料量，藉此亦會將物體檢測精度維持於必要水準。

於圖19中，對基於閾值而設定參數之思路進行說明。例如，於藉由感測器裝置1拍攝人之情形時，作為其輸出圖像，具有陣列感測器2之全部像素(全部有效像素)之資訊，例如，將圖框速率設定為60 fps(frames per second，圖框/每秒)而輸出全彩之圖像資料。而且，例如，於藉由處理器11對此種圖像資料進行物體檢測之情形時，置信率CR＝0.98，能以98%之比率正確地檢出人。所謂置信率，係指可正確地判別並檢出物體之確證性之比率。

另一方面，於將解像度若干降低，將顏色之階數若干減少，將圖框速率設定為30 fps而輸出圖像資料之情形時，置信率CR＝0.92。又，於將解像度進一步降低，將顏色之階數亦進一步減少，將圖框速率設定為15 fps而輸出圖像資料之情形時，置信率CR＝0.81。進而，於將解像度大幅降低，將顏色之階數亦大幅減少，將圖框速率設定為10 fps而輸出圖像資料之情形時，置信率CR＝0.58。以上所述終歸僅為用於說明之示例，如上所述，藉由變更解析對象之圖像資料之解像度、色數或時間解像度等與攝像或畫質相關之參數，而使置信率變動。即，使圖像解析或物體檢測之精度改變。

但物體檢測之置信率未曾過高，實際上並非始終要求最高速率。例如，如圖7A所示，於想要根據俯拍公園所得之圖像大致檢出人數等之情形時，對於正確性不會要求太高。例如，於要求數人、10人左右、20人左右等檢測結果之情形時，也許置信率CR＝0.6左右便足矣。另一方面，亦存在如下情形：於想要藉由防盜相機等嚴密監視人之侵入等之情形時，要求置信率CR＝0.95左右。又，白天時，置信率CR＝0.70即可，但夜間時，有可能希望置信率CR＝0.90左右。

即，作為物體檢測精度而被要求之置信率CR因檢測目的、對象、機器/應用程式之種類、時期、地域等各種要素而異。進而，置信率會視處理器11之解析能力、學習程度而變動，亦會視檢測對象、類別而變動。因此，例如，以所要求之適當之置信率為基準決定閾值，並據此變更參數，藉而可輸出符合物體檢測等之要求之圖像信號。

此時，於圖19之示例中，要求置信率CR＝0.80以上。於該情形時，計算作為置信率CR之閾值為0.80以上之參數，設定邏輯部5等中使用之參數。尤其要設定高於閾值但資料量相對較少之參數。例如，設定圖示之置信率CR＝0.81時之解像度、色階數、圖框速率等參數。如此，例如，與以使置信率CR＝0.98之方式設定參數而輸出圖像信號之情形時相比，可大幅削減資料量，並且可維持必要物體檢測精度。再者，所謂「閾值」，亦可當成作為置信率而被要求之值，於為了調整參數而算出之閾值之含義中，亦可當成用以獲得所被要求之作為「閾值」之置信率的參數之值。即，於技術含義中，關於「設定參數之閾值，並使用基於閾值所設定之參數進行處理」之處理，假定如下[1]、[2]所述之處理方法。 [1]算出適於使用態樣或使用環境之置信率等指標值之閾值，設定實際使用之參數，作為獲得超過該指標值之閾值之指標值之參數值。即，以物體檢測之指標值之觀點，設定參數之閾值。 [2]算出用以獲得作為置信率等指標值而被要求之值之參數之閾值，基於該閾值，設定實際使用之參數。即，以參數本身之值之觀點，設定參數之閾值。

於本實施形態中，例如，根據置信率，以上述[1]或[2]之方式，設定閾值，實際使用之參數為以使圖像資料量儘量變少之方式加以適應化後之參數。實時(例如，於攝像過程中定期地等)算出此種參數，動態進行參數變更。例如，結合感測器裝置1之用途、目標類別或攝像環境，藉由DNN處理，算出適當閾值及其相應之參數，並進行參數變更，藉此實現適應於應用等之高速化、低耗電化、高精度化。尤其是，於作為第6實施形態而說明之示例中，參數調整係設置由物體檢測之置信率表示之閾值，算出儘量接近該閾值且低於閾值之參數之設定。值。

又，閾值及其相應之參數宜針對各類別分別設定。於圖20A中，表示出了被分類為「人臉」類別之圖像，於圖20B中，表示出了被分類為「路標(標識)」類別之圖像。

於圖20A中，表示出了如下情形：於人臉之情形時，將圖像信號設定為8位元RGB資料之16777216色且1.5 MB資料量時，置信率CR＝0.99，將圖像信號設定為8位元灰調之256色且540 KB資料量時，置信率CR＝0.75，將圖像信號設定為白黑2色且180 KB資料量時，置信率CR＝0.58。

例如，於該情形時，若對人臉將閾值設定為置信率CR＝0.74，則右側圖像並不適當，作為參數設定，中央圖像之參數較為適當。

於圖20B中，表示出了如下情形：於路標之情形時，將圖像信號設定為8位元RGB資料之16777216色且1.4 MB資料量時，置信率CR＝0.99，將圖像信號設定為8位元灰調之256色且520 KB資料量時，置信率CR＝0.95，將圖像信號設定為白黑2色且110 KB資料量時，置信率CR＝0.88。

例如，於該情形時，若對路標將閾值設定為置信率CR＝0.85，則任一圖像皆適當。作為參數設定，右側圖像之參數較為適當。

例如，如此，視物體之類別不同，相對於圖像信號品質之檢測精度或所要求之精度有可能不同，因此宜進行與類別相應之閾值設定或參數變更。

以下，對第6實施形態之具體例進行說明。首先，於圖21中，表示出了感測器裝置1之構成例。但對與圖1相同之構成要素標註了相同符號，避免重複說明。該圖21之構成與圖1比較而言，例如有如下不同點：作為構成為AI處理器之運算部8內之運算功能，設置有閾值設定部85。

閾值設定部85具有作為DNN引擎之功能，進行如下處理：對用於邏輯部5之圖像處理或與陣列感測器2之攝像相關之攝像處理(陣列感測器2及ADC/像素選擇器3之處理)之參數之全部或一部分，設定參數之閾值。

又，閾值設定部85於邏輯部5、陣列感測器2、ADC/像素選擇器3之全部或一部分中，使用基於閾值而變更之參數進行處理。具體而言，例如，閾值設定部85基於閾值，變更在邏輯部5中用於圖像處理之參數，並對邏輯部5設定經變更後之參數。又或，例如，閾值設定部85基於閾值，變更用於陣列感測器2中之曝光動作、ADC/像素選擇器3之讀出處理、或AD轉換處理等攝像處理之參數，並對陣列感測器2或ADC/像素選擇器3設定經變更後之參數。

於圖22中，表示出了此種感測器裝置1之運算部8之處理例。圖22係於圖5之分類圖像適應化處理中添加上述閾值設定部85之處理之示例。於圖22中，對與圖5相同之處理標註了相同之步驟編號並省略說明。於該圖22中，對圖5之處理追加了作為閾值設定部85所實施之處理之步驟S150、S151。

運算部8於步驟S150中，對是否為閾值計算時序進行判定，若為閾值計算時序，則進入步驟S151，若非閾值計算時序，則進入步驟S101。

閾值計算時序例如為以下時序： a.每間隔特定時間：例如，自開始攝像起每間隔1個小時 b.每當特定設定時刻：例如，每當時刻0：00am c.每當特定目標類別出現次數：例如，每當目標類別出現1000次 d.每當特定目標類別攝像時間：例如，每當拍攝目標類別之時間經過5個小時 e.基於來自外部之命令而確定之時序：例如，來自處理器11等搭載有感測器裝置1之器件/機器側之指示

例如，該等時序等係於步驟S150中加以判定，成為閾值計算時序後，運算部8於步驟S151中按照閾值計算方針進行閾值計算。即，決定閾值，設定與閾值相應之參數。

該閾值計算方針(閾值)按照計算閾值時所關注之攝像處理或圖像處理之參數之種類或抓取方法，分為若干方針，因應用而異。以下列舉示例。

・使用置信率之下降曲線之變曲點若降低解像度，則有資料尺寸減小，計算成本亦降低之優點，但一般而言，置信率會下降。於圖23A中，橫軸表示解像度，縱軸表示置信率。如圖所示，若成為某解像度(變曲點)以下之低解像度，則置信率大幅下降。因此，例如，一面變更解像度，一面求出置信率與解像度之關係之曲線之變曲點。將該變曲點或變曲點附近視為閾值而進行降低解像度之參數設定。

・使用置信率之最大值關於物體檢測之類別分類，視其類別不同，未必色數越多置信率越高，根據作為對象之類別，存在使置信率最大之最佳色數。於圖23B中，橫軸表示色階數，縱軸表示置信率。如圖所示，於觀測到置信率之峰值之情形時，基於該最大值，計算閾值。例如，將最大值(置信率與色階數之關係之曲線之峰值)視為閾值，或將接近最大值之特定範圍(使特定百分比之置信率降低後之值等)視為閾值。然後，根據閾值，設定色階數之參數。

・使用電池餘量根據電池餘量，求出可進行N個小時攝像之參數設定，以其中使置信率最高之方式(或使其成為特定以上之方式)設定參數。例如，可設想如下情形：以獲得儘量長之攝像時間之方式，根據電池餘量，降低置信率等閾值，進行與該置信率相應之參數設定。

・使用可維持標的物追蹤之時間解像度所謂標的物追蹤，係指沿著圖框行進方向於連續圖像信號之圖框中跟蹤辨識既定檢出物體(標的物)。一般而言，若降低圖像信號之時間解像度，則標的物追蹤所耗費之計算成本增高。將可維持該標的物追蹤之參數作為閾值，以標的物追蹤之低計算成本化作為優先考慮，決定時間解像度及其他參數。

例如，採用以上示例方針中之任一者，藉由特定演算法進行閾值計算。於圖24中，表示出了運算部8之閾值計算處理之示例。該圖24之運算部8之處理係藉由作為圖21所示之物體區域辨識部82、類別識別部83、閾值設定部85之各功能而執行之處理。

運算部8於步驟S160中，自陣列感測器2獲取1個圖框為單位之圖像信號。

運算部8(物體區域辨識部82)於步驟S161中，進行所獲取之圖框內之物體之候補位置之檢測。即，運算部8於圖框圖像中探索應檢出物體之候補，求出1個或複數個候補位置(圖像內之位置座標)。

運算部8(類別識別部83)於步驟S162中，進行檢出物體之類別分類。即，對各候補物體分別進行類別識別並加以分類。

運算部8於步驟S163中，對作為類別識別結果而獲得之類別內是否存在目標類別進行確認。如上所述，例如，目標類別為由處理器11設定之類別。即，假定為被作為處理器11中之物體檢測對象之類別。

若不存在目標類別，則返回至步驟S160，運算部8進行下一個圖框之圖像資料之獲取。於存在目標類別之情形時，運算部8將處理自步驟S163推進至S164。

於進入步驟S164之情形時，運算部8(物體區域辨識部82)算出將類屬於類別之物體區域包圍之正確位置座標(邊框20)。關於邊框20，參見使用圖6F、圖6G等所說明者。

運算部8(閾值設定部85)於步驟S165中，一面按照預先設定之閾值計算方針，變更被邊框20包圍之目標類別之攝像處理或圖像處理中使用之參數，一面算出閾值及參數。

運算部8(閾值設定部85)於步驟S166中，將在步驟S165中算出之閾值、參數、目標類別、及閾值計算方針之資訊建立對應關係加以記錄。例如，記錄至運算部8內部之記錄區域，或記錄至記憶體6之特定區域，或發送並記錄至處理器11。藉此，設定與目標類別相應之閾值或參數。

於圖22之步驟S151中，例如，如上所述設定閾值及參數。因此，每當成為閾值計算時序時，便對某目標類別變更參數組。例如，於人為目標類別時，根據閾值，變更與人對應之參數組之全部或一部分參數。

圖22之步驟S101至S107與圖5相同，因此於該情形時，根據目標類別，選擇參數組。然後，於步驟S107中，對邏輯部5設定參數組。該對邏輯部5設置之參數組係適應於目標類別之參數組，將成為基於在上述步驟S151之處理中算出之閾值而變更後之參數組。運算部8(閾值設定部85)以如此地使邏輯部5中使用之參數變更之方式，進行必要處理，例如，將參數發送至邏輯部5，或進行變更指示。

藉此，與圖像處理或攝像處理相關之參數成為基於閾值而使圖像資料量儘量變少之值。因此，自介面部7輸出之圖像信號可成為畫質等能於處理器11中維持必要之物體檢測精度並且資料量較少者。

再者，以上圖22之處理例係於圖5之分類圖像適應化處理中添加基於閾值設定而變更參數之思路者，但未必要與分類圖像適應化處理組合。例如，亦可考慮僅有步驟S150、S151、S107、S108之處理例(於圖22中，去掉步驟S101至S107之處理例)。

即，在邏輯部5中用於圖像處理之參數、或者在陣列感測器2或ADC/像素選擇器3中用於攝像處理之參數係基於步驟S151之閾值計算而設定。然後，於步驟S107之時點，對邏輯部5或者陣列感測器2或ADC/像素選擇器3設定根據閾值而設定之參數。即，運算部8(閾值設定部85)將根據閾值而設定之參數發送至邏輯部5、陣列感測器2、ADC/像素選擇器3之一部分或全部，或進行變更指示。於該情形時，並不拘於使用與類別相應之參數組之思路，例如，亦可實現如下處理：於邏輯部5、陣列感測器2、ADC/像素選擇器3中，基於閾值計算，逐次變更例如缺省設定之參數。

具有閾值設定部85之構成並不限於圖21，例如，亦可考慮如圖25、圖26所示之構成例。圖25係作為終端裝置100，與感測器裝置1為不同個體地設置有運算部8之構成例。再者，作為終端裝置100，可考慮資訊處理終端、攝像裝置終端等各種裝置。運算部8與感測器裝置1成為不同晶片，而設置於終端裝置100內，可經由介面部7與感測器裝置1通信。而且，運算部8具備用以設定閾值之作為DNN引擎之閾值設定部85。藉此，圖25之運算部8亦可進行與上述圖22之情形時相同之處理。

再者，如該圖25所示之構成例亦可應用於第1至第5實施形態之圖1之構成例。運算部8亦可與感測器裝置1為不同個體。

圖26之構成例係用以設定閾值之作為DNN引擎之閾值算出部85由獨立於感測器裝置1或運算部8之處理器等形成之情形時之示例。例如，作為終端裝置100，為具有感測器裝置1(包含運算部8)、處理器11、外部感測器12及閾值設定部85之構成。於該情形時，閾值設定部85同樣可經由介面部7與感測器裝置1通信，且可與運算部8協作而進行與上述圖22相同之處理。

進而，雖省略了圖示，但如圖26所示，於感測器裝置1與運算部8為不同個體之構成中，進而，閾值設定部85亦可由與其為不同個體之處理器等構成。

再者，關於關鍵圖框選擇部81、物體區域辨識部82、類別識別部83、參數選擇部84等，亦與閾值設定部85同樣地，可考慮配置於感測器裝置1之外、或運算部8之外之構成。該點亦可作為圖1之構成之變化例而應用。

＜8.第7實施形態：工作區域剪裁＞作為第7實施形態，對如下示例進行說明：使用上述第2實施形態之ROI，實現更高效之處理。再者，以下第7實施形態之處理亦可應用於圖1、圖21、圖25、圖26之任一構成。

於上述第2實施形態中，對如下示例進行了敍述：如圖7、圖8所例示，對檢測對象物體設定ROI21，自陣列感測器2僅讀出被設定為ROI21之區域內之像素。以下將著眼於如下情形：存在此處被設定為ROI21之區域集中於圖像內之既定區域之情形。

於圖27A中，例如，列舉了建築物內之監視相機之圖像為例。將人作為檢測對象而設定ROI21。於圖中，表示出了在歷史特定期間內設定之作為ROI21之依據的邊框20於圖像內之位置。例如，該情形時，於歷史特定期間內，邊框20(及ROI21)之設定位置為圖像內靠近底板之區域。換言之，於圖像內之靠近頂板之區域未出現人，因此對頂板附近之圖像區域可不進行人物檢測處理。

因此，例如，如圖27B所示，將出現檢測對象「人」之區域，即於歷史特定期間內有設定邊框20之實績之區域設定為工作區域RA，將未出現檢測對象「人」之區域，即於歷史特定期間內未曾設定邊框20之區域設定為非工作區域DA。

於圖28A中，例如，列舉了在高速公路上將車作為檢測對象而加以監視之監視相機之圖像為例，且表示出了於歷史特定期間內設定之邊框20之位置。於該情形時，車出現於路面附近，因此如圖27B所示，可設定工作區域RA與非工作區域DA。

如以上圖27B、圖28B所例示，設定工作區域RA，根據陣列感測器2之攝像像素中之工作區域RA之檢測信號，進行物體檢測。然後，與第2實施形態同樣地，將基於物體之檢測所生成之ROI21作為與檢測信號之獲取或檢測信號之信號處理相關之區域，而指示給信號處理部30。

即，對於物體檢測關鍵圖框，並非加以全部畫面掃描，而是基於物體檢測之歷史資訊，部分進行光電轉換，實施物體檢測。再者，所謂物體檢測關鍵圖框，係指於第2實施形態之處理中為了實施物體檢測而在陣列感測器2之全部有效像素區域內進行了資訊獲取之圖框。若於該關鍵圖框中僅在工作區域RA之像素區域進行資訊獲取，便成為第7實施形態之處理。

於圖29中，表示出了運算部8之處理例。再者，對與圖9相同之處理標註了相同之步驟編號。

運算部8於步驟S250中，對是否已成為關鍵圖框之工作區域之計算時序進行判定，若為計算時序，則進入步驟S161，若非閾值計算時序，則進入步驟S201。

關鍵圖框之工作區域RA之計算時序例如可設想為如下情形： a.每間隔特定時間：例如，自開始攝像起每1個時間 b.每當特定設定時刻：例如，每當時刻0：00am c.每當特定目標類別出現次數：例如，每當目標類別出現1000次 d.每當特定目標類別攝像時間：例如，每當拍攝目標類別之時間達到5個小時 e.基於來自外部之命令而確定之時序：例如，來自處理器11等搭載有感測器裝置1之器件/機器側之指示

於為計算時序而進入步驟S161之情形時，運算部8進行關鍵圖框之工作區域RA之計算。

於圖30中，表示出了關鍵圖框之工作區域RA之計算之處理例運算部8(物體區域辨識部82)於步驟S271中，算出在歷史特定期間內出現目標類別之邊框20的陣列感測器2上之出現區域之像素。於該情形時，所出現之各個邊框20內之全部像素成為出現區域之像素，只要以包絡地包圍所出現之所有邊框20之方式設定範圍，將該範圍之全部像素作為出現區域之像素即可。進而，亦可將以包絡地包圍所出現之所有邊框20之範圍沿著周圍方向放大，將該範圍之全部像素作為出現區域之像素。如此，包含所算出之邊框20之全部出現區域之像素範圍成為工作區域RA。

運算部8(物體區域辨識部82)於步驟S272中，將所算出之像素區域連同類別名一併作為關鍵圖框之工作區域RA加以記錄。例如，記錄至運算部8內部之記錄區域，或記錄至記憶體6之特定區域，或發送並記錄至處理器11。藉此，設定與目標類別相應之工作區域RA。

於圖29之步驟S201中，運算部8(關鍵圖框選擇部81)對在圖29之步驟S201是否已成為物體檢測關鍵圖框記錄時序進行判定。與第2實施形態(圖9)同樣地，所謂物體檢測關鍵圖框記錄時序，係指為了實施物體檢測而自陣列感測器2進行資訊獲取之時序。作為物體檢測關鍵圖框記錄時序，例如，可遵照來自處理器11等感測器裝置1之外部之命令進行判定。例如，假定為如下情形：根據60 sec之指示，每間隔60 sec便判定為物體檢測關鍵圖框記錄時序。

成為物體檢測關鍵圖框記錄時序後，運算部8進入步驟S252，獲取對陣列感測器2之工作區域RA之像素加以AD轉換後之圖像資料。例如，使ADC/像素選擇器3將工作區域RA作為對象而輸出來自陣列感測器2之1個圖框之圖像信號。

運算部8(物體區域辨識部82)於步驟S203中，對所獲取之圖像進行物體之候補位置之檢測。該步驟S203至S208與圖9相同。

根據以上圖29之處理，可僅於工作區域RA而非1個圖框之全部有效像素區域內進行步驟S203之物體檢測。而且，工作區域RA係有可能檢出目標類別物體之區域。換言之，工作區域RA以外之區域係基本不可能檢出目標類別物體之區域。因此，藉由削減物體檢測關鍵圖框之讀出像素數，縮小檢測範圍，可實現處理之高效化、耗電之削減等。再者，於以上示例中，基於邊框20之歷史，設定工作區域RA，但亦可基於ROI21之歷史，設定工作區域RA。於該情形時，亦可考慮於各圖框中分別包含移動ROI(圖10中所說明之ROI21(NEW))之像素位置之歷史。

＜9.第8實施形態：閾值設定與使用AROI實施之區域剪裁＞作為第8實施形態，對如下處理例進行說明：使作為第3實施形態而例示之使用AROI22實施之區域剪裁更高效化。再者，該第8實施形態之處理可於圖21、圖25、圖26之任一構成中實施。

該第8實施形態係於採用使用模板之AROI22之情形時，對檢測對象物體(類別)或部位等，基於所設定之閾值，設定參數。即，引入第6實施形態之閾值之思路，根據DNN所算出之物體檢測正解率，決定閾值，設定參數。

例如，根據使用置信率而設定之閾值，決定AROI22內之關注區域之解像度之分佈。於圖31中，模式性地表示出了示例。設想將人設定為目標類別之情形、及將人臉設定為目標類別之情形。

設定：第1解像度＞第2解像度＞第3解像度。關於作為人臉檢測之置信率CR，於第1解像度下為0.95，於第2解像度下為0.86，於第3解像度下為0.66。關於作為人物(身體)檢測之置信率CR，於第1解像度下為0.98，於第2解像度下為0.81，於第3解像度下為0.65。

於將作為人臉檢測之閾值thF設定為0.85之情形時，選擇第2解像度作為以使圖像資料量儘量變少之方式加以適應化後之參數，對模板內之像素進行圖像處理。又，於將作為人物檢測之閾值thP設定為0.80之情形時，選擇第2解像度作為以使圖像資料量儘量變少之方式加以適應化後之參數，對模板內之像素進行圖像處理。於該情形時，兩者皆為第2解像度較佳，但視情況不同，亦可假定為如下情形：於人臉檢測之情形時，將閾值thF設定為0.94，而設定第1解像度，於人物檢測之情形時，將閾值thP設定為0.60，而設定第3解像度。

即，於使用AROI22之情形時，針對各目標類別分別設定閾值，設定對AROI22內之像素實施之圖像處理或讀出處理等之參數。

於圖32中，表示出了運算部8之處理例。圖32之步驟S250、S251與圖29之步驟S250、S251相同，運算部8於關鍵圖框之工作區域RA之檢測時序，進行工作區域RA之計算(圖30之處理)。

步驟S260、S261與圖22之步驟S150、S151相同。即，運算部8(閾值設定部85)於步驟S260中，對是否為閾值計算時序進行判定，若為閾值計算時序，則於步驟S261中進行閾值計算(圖24之處理)。

作為該情形時之圖24之閾值計算處理，運算部8(物體區域辨識部82)與上文所述同樣地，執行步驟S160至S164。然後，運算部8(閾值設定部85)於步驟S165中，一面對被邊框20包圍之目標類別變更解像度，一面基於來自與作為模板之AROI圖案相當之像素區域之資料的置信率，算出閾值，並基於該閾值，設定參數。

於該情形時，對作為與類別相應之模板之AROI圖案，根據閾值，設定參數。例如，對AROI圖案上之區域設定解像度。然後，於步驟S166中，將閾值、目標類別、AROI圖案、必要參數、及閾值計算方針之資訊建立對應關係加以記錄。例如，記錄至運算部8內部之記錄區域，或記錄至記憶體6之特定區域，或發送並記錄至處理器11。

運算部8於圖32之步驟S201中，對是否已成為物體檢測關鍵圖框記錄時序進行判定，若已成為物體檢測關鍵圖框記錄時序，則運算部8進入步驟S252，獲取對陣列感測器2之工作區域RA之像素加以AD轉換後之圖像資料。例如，使ADC/像素選擇器3將工作區域RA作為對象而輸出來自陣列感測器2之1個圖框之圖像信號。

運算部8(物體區域辨識部82)於步驟S203中，對所獲取之圖像進行物體之候補位置之檢測。該步驟S203至S206與圖9相同。

於步驟S206中算出邊框20後，運算部8(參數選擇部84)於步驟S262中，選擇根據閾值而算出並記錄之AROI圖案。運算部8(物體區域辨識部82)於步驟S211中，基於邊框20，算出實際之AROI22。即，求出與所選擇之AROI圖案對應之實際之像素區域。例如，將根據邊框20之尺寸而調整模板之尺寸所得者設定為AROI22。然後，運算部8(物體區域辨識部82)將該AROI22(AROI之圖案與區域)傳送至ADC/像素選擇器3。

據此，於ADC/像素選擇器3中，僅對與陣列感測器2中之AROI22內相當之像素進行AD轉換並將其輸出。運算部8於步驟S212中，獲取僅包含AROI22內像素資訊之下一個圖框之圖像資料。然後，對所獲取之圖框進行步驟S203、S204之處理。

如此，對AROI22亦進行例如與置信率相應之參數設定，並設定解像度等參數，藉此既可維持物體檢測精度，又可使攝像處理或圖像處理高效化。

＜10.第9實施形態：藉由閾值設定實施之主動取樣＞作為第9實施形態，對如下示例進行說明：於第5實施形態中所說明之主動取樣之方法中，添加根據DNN所算出之物體檢測正解率而決定時間解像度之方法。即，進行如下處理：根據目標類別之每單位時間之平均移動量，使圖框速率動態變化。再者，該第9實施形態之處理可於圖21、圖25、圖26之任一構成中實施。

於上述第5實施形態中，準備普通模式與空轉模式，於在拍攝圖像內未檢出目標類別之存在之期間，切換至空轉模式，設定為較低之圖框速率。然後，一旦確認到目標類別之存在，便切換至普通模式，提高圖框速率，使資訊量變密。於第9實施形態中，除了該處理以外，亦會根據目標類別，設定普通模式下之圖框速率。

圖32A係將感測器裝置1用於拍攝高速公路上之狀況之監視相機中之情形時的圖像之示例。將目標類別設定為車，且圖示出了邊框20。虛線箭頭表示某車之移動方向。於圖32B中，作為連續圖框中之邊框20之圖像上的位置(像素位置)之變化，表示出了被拍攝車輛之移動量。若將此種移動量設想成複數輛車之移動量，則假設平均移動量為1152像素/秒。於該情形時，算出可維持標的物追蹤(連續圖框圖像上之對象物之跟蹤)之取樣頻率為46 fps。

其次，圖33A係將感測器裝置1用於建築物內之監視相機中之情形時的圖像之示例。將目標類別設定為人，且圖示出了邊框20。虛線箭頭表示某人之移動方向。於圖32B中，作為連續圖框中之邊框20之圖像上的位置(像素位置)之變化，表示出了被拍攝人物之移動量。若將此種移動量設想成複數個人之移動量，則假設平均移動量為192像素/秒。於該情形時，算出可維持標的物追蹤之圖框速率為5 fps。

例如，如上所述，於目標類別為車之情形時與目標類別為人之情形時，可維持標的物追蹤之圖框速率不同。因此，若根據目標類別，藉由DNN，求出可維持標的物追蹤之圖框速率，並求出其閾值(被容許之圖框速率下限)，則既可使資料量儘量少，又可維持一面跟蹤對象物一面進行檢測之物體檢測之精度。再者，圖框速率係藉由設定陣列感測器2之讀出時序、或設定ADC/像素選擇器3之取樣頻率而決定。

於圖35中，表示出了運算部8之處理例。步驟S350、S351與圖22之步驟S150、S151相同。即，運算部8(閾值設定部85)於步驟S350中，對是否為閾值計算時序進行判定，若為閾值計算時序，則於步驟S351中進行閾值計算(圖24之處理)。

作為該情形時之圖24之閾值計算處理，運算部8(物體區域辨識部82)與上文所述同樣地，執行步驟S160至S164。然後，運算部8(閾值設定部85)於步驟S165中，一面對被邊框20包圍之目標類別變更圖框速率，一面算出可維持標的物追蹤之閾值(作為閾值之圖框速率)。其後，運算部8(閾值設定部85)於步驟S166中，將在步驟S165中算出之閾值、目標類別、及閾值計算中使用之閾值計算方針之資訊建立對應關係加以記錄。例如，記錄至運算部8內部之記錄區域，或記錄至記憶體6之特定區域，或發送並記錄至處理器11。藉此，例如設定基於與目標類別相應之閾值而確定之參數，即可維持標的物追蹤之圖框速率中儘量低之圖框速率之值。

圖35之步驟S301至S106與圖18相同。運算部8(關鍵圖框選擇部81)於步驟S301中，例如，按照運算部8內預先記憶之空轉模式之設定，對ADC/像素選擇器3進行動態圖像拍攝之設定。因此，假如空轉模式之設定為1 fsp，則例如以1 sec間隔進行動態圖像拍攝。

運算部8(物體區域辨識部82)於步驟S302中，對所獲取之圖像進行物體之候補位置之檢測。運算部8(類別識別部83)於步驟S303中，進行作為候補而檢出之物體之類別分類。運算部8於步驟S304中，對作為類別識別結果而獲得之類別內是否存在目標類別進行確認。若不存在目標類別，則運算部8經由步驟S350、S351重複執行步驟S301、S302、S303之處理。期間，若成為閾值計算時序，則進行步驟S351之處理。

於在步驟S304中判定存在目標類別之情形時，運算部8將處理自步驟S304推進至S352。運算部8(關鍵圖框選擇部81)將於步驟S351之處理中記憶之參數作為普通模式之設定，對ADC/像素選擇器3進行動態圖像拍攝之設定，指示普通模式之攝像。

例如，於目標類別為人，並如圖34C所示能以5 fps維持標的物追蹤，且圖框速率＝5 fps之情形時，普通模式之圖框速率設定為5 fsp。如此，於切換至普通模式之狀態下，運算部8進行步驟S302、S303之處理。

繼而，只要拍攝所得之圖像內存在目標類別，便繼續普通模式，而若不存在目標類別，則經由步驟S350、S351，返回至步驟S301，切換至空轉模式。

如上所述，進行作為主動取樣之處理。藉此，尤其是於不存在目標類別之期間，降低圖框速率，進行資料量壓縮，並藉此，削減耗電。又，即便切換至普通模式，亦根據目標類別，以經適應化後之圖框速率進行處理，因此視類別不同，圖框速率可能會被設定得很低(上述5 fps等)。因此，於普通模式下，亦壓縮資料量及削減耗電。

再者，運算部8係對ADC/像素選擇器3指示圖框速率變更而使圖框速率可變，但亦可對邏輯部5指示圖框速率轉換。例如，自陣列感測器2之讀出始終係以100 fps進行，但亦可根據於空轉模式或普通模式下設定之參數，對邏輯部5指示圖框間隙留置。藉此，可削減向處理器11傳輸之資料量。

＜11.應用於移動體之示例＞本發明之技術可應用於各種製品。例如，本發明之技術亦能以搭載於汽車、電動汽車、油電混合車、機車、自行車、個人移動工具、飛機、無人機、船舶、機器人等任一種移動體之裝置而實現。

圖36係表示作為可應用本發明之技術之移動體控制系統的一例之車輛控制系統之概略構成例之方塊圖。

車輛控制系統12000具備經由通信網路12001而連接之複數個電子控制單元。於圖36所示之例中，車輛控制系統12000具備驅動系統控制單元12010、主體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及綜合控制單元12050。又，作為綜合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052及車載網路I/F(Interface，介面)12053。

驅動系統控制單元12010依照各種程式，控制與車輛之驅動系統相關之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之轉向角之轉向機構、及產生車輛之制動力之制動裝置等之控制裝置而發揮功能。

主體系統控制單元12020按照各種程式，控制車體上裝備之各種裝置之動作。例如，主體系統控制單元12020作為無鑰匙進入系統、智慧鑰匙系統、電動窗裝置、或者頭燈、尾燈、煞車燈、轉向燈或霧燈等各種燈之控制裝置而發揮功能。於該情形時，可對主體系統控制單元12020輸入自代替鑰匙之手機發送之電波或各種開關之信號。主體系統控制單元12020受理該等電波或信號之輸入，控制車輛之門鎖裝置、電動窗裝置、燈等。

車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛之外部之資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，並且接收拍攝所得之圖像。車外資訊檢測單元12030亦可基於所接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。

攝像部12031係接收光，並輸出與該光之接收量相應之電氣信號之光感測器。攝像部12031可將電氣信號以圖像形式輸出，亦可將其以測距資訊形式輸出。又，攝像部12031所接收之光可為可見光，亦可為紅外線等非可見光。

車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040，例如連接有檢測駕駛員之狀態之駕駛員狀態檢測部12041。駕駛員狀態檢測部12041例如包含拍攝駕駛員之相機，車內資訊檢測單元12040基於自駕駛員狀態檢測部12041輸入之檢測資訊，可算出駕駛員之疲勞度程度或集中程度，亦可判別出駕駛員是否未打盹。

微電腦12051可基於藉由車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車內外之資訊，對驅動力產生裝置、轉向機構或制動裝置之控制目標值進行運算，而對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包括車輛之碰撞避免或衝擊緩和、基於車間距離進行之跟蹤行駛、定速行駛、車輛之碰撞警告、或車輛之車道脫離警告等在內之ADAS(Advanced Driver Assistance System，高級駕駛輔助系統)的功能為目的之協調控制。

又，微電腦12051藉由基於利用車外資訊檢測單元12030或車內資訊檢測單元12040所取得之車輛之周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，可進行以不依賴駕駛員之操作而自主行駛之自動駕駛等為目的之協調控制。

又，微電腦12051可基於藉由車外資訊檢測單元12030所取得之車外之資訊，對主體系統控制單元12030輸出控制指令。例如，微電腦12051根據藉由車外資訊檢測單元12030所檢出之先行車或對向車之位置，控制頭燈，從而可進行將遠光切換成近光等以防眩為目的之協調控制。

聲音圖像輸出部12052對車輛之搭乘者或車外，向可於視覺或聽覺上通知資訊之輸出裝置發送聲音及圖像中之至少一者之輸出信號。於圖36之例中，作為輸出裝置，例示有音響揚聲器12061、顯示部12062及儀表板12063。顯示部12062例如亦可包含車載顯示器及頭戴式顯示器中之至少一者。

圖37係表示攝像部12031之設置位置之例之圖。

於圖37中，作為攝像部12031，具有攝像部12101、12102、12103、12104、12105。

攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前鼻、側鏡、後保險杠、後門及車艙內之前玻璃之上部等位置。前鼻具備之攝像部12101及車艙內之前玻璃之上部具備之攝像部12105主要取得車輛12100之前方之圖像。側鏡具備之攝像部12102、12103主要取得車輛12100之側方之圖像。後保險杠或後門具備之攝像部12104主要取得車輛12100之後方之圖像。車艙內之前玻璃之上部具備之攝像部12105主要用於檢測先行車輛、行人、障礙物、信號機、交通標識或車線等。

再者，於圖37中，示有攝像部12101至12104之攝影範圍之一例。攝像範圍12111表示設置於前鼻之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設置於側鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險杠或後門之攝像部12104之攝像範圍。例如，藉由使利用攝像部12101至12104拍攝所得之圖像資料重合，可獲得自上方觀察車輛12100之俯瞰圖像。

攝像部12101至12104中之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104中之至少一者可為包含複數個攝像元件之立體相機，亦可為具有相位差檢測用像素之攝像元件。

例如，微電腦12051可藉由基於自攝像部12101至12104獲得之距離資訊，求出距攝像範圍12111至12114內之各立體物之距離、該距離之時間性變化(相對於車輛12100之相對速度)，而抽取朝與車輛12100大致相同之方向以特定速度(例如，0 km/h以上)行駛之立體物，尤其是位於車輛12100之行駛車道上之最近立體物，作為先行車。進而，微電腦12051可於先行車之前方預先設定應予以確保之車間距離，而進行自動制動控制(亦包括跟蹤停止控制)或自動加速控制(亦包括跟蹤啟動控制)等。如此可進行以不依賴駕駛員之操作而自主行駛之自動駕駛等為目的之協調控制。

例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，將與立體物相關之立體物資料分為兩輪車、普通車輛、大型車輛、行人、電線桿等其他立體物而抽取，並將其用於障礙物之自動避讓。例如，微電腦12051將車輛12100之周邊之障礙物按車輛12100之驅動器所能視認之障礙物與難以視認之障礙物加以識別。然後，微電腦12051對表示與各障礙物碰撞之危險度之碰撞風險進行判斷，於碰撞風險為設定值以上而存在碰撞可能性之狀況時，可經由音響揚聲器12061或顯示部12062對驅動器輸出警報，或者經由驅動系統控制單元12010進行強制減速或避讓轉向，藉此進行用以避免碰撞之駕駛輔助。

攝像部12101至12104中之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由對攝像部12101至12104之攝像圖像中是否存在行人進行判定而辨識行人。該行人之辨識例如藉由如下程序而進行：抽取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點；對表示物體之輪廓之一系列特徵點進行圖案匹配處理，判別是否為行人。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人而辨識行人，則聲音圖像輸出部12052以於該被辨識之行人重疊顯示用以強調之方形輪廓線之方式，控制顯示部12062。又，聲音圖像輸出部12052亦能以使表示行人之圖標等顯示於所希望之位置之方式，控制顯示部12062。

以上，對可應用本發明之技術之車輛控制系統之一例進行了說明。本發明之技術於以上所說明之構成下，例如，可應用於攝像部12031。具體而言，作為搭載於攝像部12031之影像感測器，可應用本發明之感測器裝置1，而執行分割圖像適應化、區域剪裁、智慧壓縮、主動取樣之一部分或全部。藉此，可實現適應於車外資訊檢測之圖像處理，或不降低檢測精度地適當削減資訊量，從而減輕處理負擔等。

＜12.總結及變化例＞於以上實施形態中，可獲得如下效果。如第1、第6實施形態中所說明，感測器裝置1具備：陣列感測器2，其呈一維或二維地排列有複數個可見光或非可見光之攝像元件；邏輯部5(圖像處理部)，其使用所指示之參數，對藉由陣列感測器2中之攝像所獲得之圖像信號進行圖像處理；及運算部8。運算部8對根據藉由陣列感測器2中之攝像所獲得之圖像信號而檢測之物體進行類別識別，基於所識別出之類別，選擇用於圖像處理之參數，並以所選擇之參數進行邏輯部5之處理設定。即，於邏輯部5中對藉由陣列感測器2所獲得之圖像信號實施圖像處理，該圖像處理之參數係基於圖像信號中之檢出物體之類別識別而設定。於根據圖像而進行物體檢測之情形時，供人觀看之高品級圖像未必為辨識精度較高之圖像。又，理想畫質因所辨識之物體之類別而異。即，藉由可使視認畫質較高之正常參數設定而被實施圖像處理後之圖像未必為適於物體檢測之畫質。又，理想圖像處理參數因所辨識之物體之類別而異。因此，預先針對各類別分別保持參數組，於拍攝圖像中，根據檢出物體之類別識別，選擇所使用之參數組。藉此，進行適於檢測作為目標之物體之圖像處理。根據被實施過此種圖像處理之圖像，可提高物體檢測精度。又，對物體檢測較為理想之畫質調整與讓人感覺美麗之畫質調整不同，因此不使用例如以美感優先之濾鏡等。因此，多數情形下，所設定之參數會帶來處理之低負荷化。又，視與類別相應之參數(例如，與色階變更或壓縮相關之參數等)不同，亦存在較多使資料量減少之情形，於該情形時，處理器11側計算負荷變高，因此處理延遲、或系統整體耗電之上升亦得以避免。

各實施形態之感測器裝置1具備將於邏輯部5(圖像處理部)中經圖像處理後之圖像信號輸出至外部裝置之介面部7(輸出部)。感測器裝置1藉由內部之邏輯部5，進行與物體之類別相應之圖像處理，然後將其發送輸出至處理器11(圖5之步驟S108)，藉此無需於處理器11中進行用以提高物體檢測之畫質調整。因此，既可減輕處理器11中之處理負擔，又可實現高精度之物體檢測。又，基於類別辨識所選擇之參數組未必為用以獲得供人視認之最高畫質之參數組。視情況不同，亦可能會使被處理圖像之資料量減少。即，亦存在如下情形：未必輸出供人觀看之情形時之最高畫質之圖像，而輸出適於處理器所欲辨識之物體之畫質之圖像，從而可減少所發送之圖像信號之資料量。藉此，可不降低物體檢測精度地，削減通信成本。雲計算處理之情形時之發送之延遲亦得到改善。

上文對如下內容進行了敍述：實施形態之介面部7(輸出部)對所輸出之圖像信號，亦進行與類別識別相關之資訊之發送(圖5之步驟S108)。藉此，可於輸出目的地之處理器11或雲端之AI處理器等中，在辨識出類別之基礎上進行物體檢測，從而可實現更高精度之物體檢測。

於第1、第6實施形態中，對如下情形進行了敍述，即，運算部8於圖像信號之1個圖框內，進行如下處理：物體區域辨識處理，其係對檢測對象物體之候補物體區域進行檢測；類別識別處理，其係對藉由物體區域辨識處理而檢出之物體區域之物體進行類別識別；及參數選擇處理，其係基於類別識別處理之識別結果，選擇參數，進行邏輯部5之處理設定(參照圖1、圖5)。即，運算部8具備進行物體區域辨識處理之物體區域辨識部82、進行類別識別處理之類別識別部83、進行參數選擇處理之參數選擇部84，藉此可自圖像信號之1個圖框檢出候補物體，進行類別識別，及基於類別識別而選擇參數。

於第1、第6實施形態中，運算部8於圖像信號之1個圖框內，進行如下處理：物體區域辨識處理，其係對檢測對象物體之候補物體區域進行檢測；類別識別處理，其係對藉由物體區域辨識處理而檢出之物體區域之物體進行類別識別；判別處理，其係對藉由類別識別處理而識別出之類別中是否存在目標類別進行判別；及參數選擇處理，其係於存在目標類別之情形時，基於該目標類別之類別辨識結果，選擇參數，進行邏輯部5之處理設定(參照圖1、圖5、圖22)。藉由進行目標類別之存在判定，可效率良好地基於作為圖像辨識目標之物體之類別而選擇參數。換言之，藉由基於檢出了非目標物體之理由而不進行參數選擇，可不進行無用之參數選擇，從而使處理高效化，且藉由不進行不適當之參數設定，可提高作為目標之物體之圖像辨識精度。

於第1、第6實施形態中，可將目標類別設定為複數種，於1個圖框內存在複數種目標類別物體之情形時，基於所選擇之一種目標類別，進行參數選擇處理(參照圖5與圖22之步驟S106)。由於能將目標類別設定為複數種，故而可應對以跨及複數種類別之物體為對象之圖像辨識。又，於1個圖框內存在複數種目標類別物體之情形時，例如，藉由選擇具有支配性或優勢之目標類別等，而基於一種目標類別，進行參數選擇，可獲得適當之參數組。又，於第1、第6實施形態(圖5與圖22之步驟S105、S106)中，列舉了如下情形為例：對與目標類別相符之物體區域，算出包圍物體之邊框20，於存在複數種目標類別之情形時，使用邊框20之面積，選擇一種目標類別。於存在複數種目標類別物體之情形時，藉由利用邊框20規定各物體之區域，求出各目標類別物體之1個圖框內之支配面積，可判定應優先之目標類別。藉此，可選擇適當參數。

於第1、第6實施形態中，對如下示例進行了敍述：運算部8基於所識別出之類別，選擇針對各類別分別設定之包含複數個參數之參數組。即，預先記憶使邏輯部之各種處理之參數成組之參數組，選擇該參數組並對邏輯部設定該參數組(參照圖4、圖5、圖22之步驟S107)。藉此，作為與邏輯部5之各種圖像處理相應之參數，可設定適於對象類別(目標類別)之複數個參數。

於第1實施形態中，關於參數組，列舉了其為藉由使用與各類別相符之物體之圖像實施之深度運行所獲得的複數個參數組為例。例如，藉由使用人之圖像作為學習資料之深度運行，求出使人物辨識之圖像辨識率較高之圖像處理用之參數，將該參數組作為與類別「人」對應之參數組(參照圖4)。藉此，可準備適於各類別之參數組，藉由對其之選擇，可選擇適於目標圖像辨識之參數。

於第1、第6實施形態中，對如下示例進行了敍述：運算部8將藉由陣列感測器2中之攝像所獲得之圖像信號中被設定為關鍵圖框之圖框作為對象，進行類別識別，並基於所識別出之類別，選擇用於圖像處理之參數(參照圖5與圖22之步驟S101、S102)。藉由將關鍵圖框而非全部圖框作為對象，可避免運算部8之處理負擔過大。又，藉由基於適當之選擇演算法，選擇關鍵圖框，可維持進行適當之參數選擇之狀態。

於第1、第6實施形態中，列舉了關鍵圖框被設定為每間隔特定時間之圖框為例。藉此，定期地進行參數選擇。例如，藉由每30秒將1個圖框設定為關鍵圖框等，可避免運算部8之處理負擔過大，且可維持適當之參數設定。再者，關鍵圖框之間隔較理想為根據作為圖像辨識目標之物體、感測器裝置1之使用環境、使用目的、搭載有感測器裝置1之機器之種類等各種狀況而設定。又，亦列舉了關鍵圖框被設定為基於來自外部機器之命令而確定之時序之圖框為例。例如，藉由來自圖像輸出目的地之處理器11等之指示，設定關鍵圖框。藉此，可根據圖像信號或與類別識別相關之資訊之輸出目的地之機器的辨識處理之目的等，進行關鍵圖框選擇及參數選擇。例如，根據搭載有感測器裝置1之機器之種類、目的等，設定關鍵圖框。於該情形時，例如，若假定為車載機器，則亦可於汽車開始行駛之時序，使關鍵圖框之間隔變密。

作為對圖像信號實施之圖像處理，各實施形態之邏輯部5執行顏色修正、伽瑪修正、色階處理、增益處理、輪廓增強處理、資料壓縮處理、圖框速率轉換、解像度轉換、縱橫比率轉換、對比度調整處理、銳度調整處理、灰階調整處理、取樣頻率變更處理等。藉此，進行畫質調整或資料量轉換，藉由進行用於該等處理之參數設定，執行適於應辨識物體之類別之畫質調整或資料尺寸調整(解像度或圖框速率等)。作為結果，形成適於目標類別物體檢測之圖像及資料尺寸，亦抑制不必要之高畫質化或資料量之增大，有助於通信成本之降低、處理速度之提高、物體檢測精度之提高等。

上文對如下情形進行了敍述：各實施形態之介面部7(輸出部)根據外部機器之要求，輸出於邏輯部5中經圖像處理後之圖像信號、所識別出之類別之資訊、所檢出之物體之數量、有無目標類別之資訊中之任一者或全部。於第1至第5實施形態中，此為共通動作。即，介面部7根據來自處理器11或雲處理器等之要求，輸出於邏輯部5中經處理後之圖像信號、於運算部8中識別出之類別之資訊、標的物數量、有無目標類別之資訊中為處理器11所需之資訊。藉此，避免不必要之資訊之發送，從而可削減通信量，亦可降低耗電。又，可實現與處理器11等中之處理相應之資訊提供。再者，於各實施形態中，將圖像信號作為對象，但亦可假定陣列感測器2為音波檢測元件陣列或觸覺感測器元件陣列。於該情形時，介面部7根據外部機器之要求，輸出其等之檢測信號(邏輯部5之處理後之檢測信號)。

如第2、第3、第4、第7、第8實施形態中所說明，感測器裝置1具備：陣列感測器2，其呈一維或二維地排列有複數個檢測元件；及信號處理部30，其獲取陣列感測器2之檢測信號而進行信號處理；運算部8根據陣列感測器2之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊(ROI21或AROI22)作為與自陣列感測器2獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給信號處理部30。即，於信號處理部30中，對藉由陣列感測器2所獲得之檢測信號實施信號處理，並將其自介面部7輸出，信號處理部30中之與自陣列感測器2獲取檢測信號之操作或信號處理相關之區域資訊係基於物體檢測而設定。如實施形態所述，於根據圖像而進行物體檢測之情形時，並非始終需要各圖框之全部像素之資訊。例如，於檢測人之情形時，只要圖框內有拍攝到人之區域之檢測資訊即可。因此，於運算部8中，基於物體檢測，生成ROI21或AROI22，並使用ROI21或AROI22，進行信號處理部30之處理，即ADC/像素選擇器3自陣列感測器2獲取檢測信號之處理、或邏輯部5中之壓縮處理。藉此，可削減處理對象之資料量，提高處理速度，並且可獲得不降低檢測精度之圖像信號。再者，並不限於圖像信號，亦可對作為音波檢測信號、觸覺檢測信號等而自陣列感測器所獲得之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給信號處理部。藉此，於使用音波感測器陣列、接觸感測器陣列之情形時，亦可獲得如下效果：可削減處理對象之資料量，提高處理速度，並且可獲得不降低檢測精度之檢測信號。

於第2、第3、第4、第7、第8實施形態之情形時，介面部7(輸出部)將於信號處理部30中經信號處理後之檢測信號輸出至外部裝置。將使用ROI21或AROI22僅對一部分像素加以AD轉換後之圖像信號、或使用ROI21於各區域分別改變壓縮率後之圖像信號輸出至處理器11等，因此，所傳輸之資料量顯著削減。藉此，可降低通信成本及縮短傳輸時間。在此基礎上，包含物體檢測必要資訊，因此處理器11等中之物體檢測精度不會降低。又，藉由削減資料量，處理器11中之處理負擔亦得到減輕。又，處理器11側計算負荷變高，因此處理延遲、或系統整體耗電之上升亦得以避免。

於各實施形態中，信號處理部30具有針對陣列感測器2之檢測元件選擇性地獲取檢測信號之ADC/像素選擇器3(獲取部)。而且，於第2、第3、第7、第8實施形態中，ADC/像素選擇器3獲取基於來自運算部8之ROI21或AROI22所選擇之檢測元件之檢測信號作為檢測信號之1個圖框(參照圖9、圖14、圖29、圖32)。 ADC/像素選擇器3自物體檢出之下一個圖框起，僅於藉由ROI21或AROI22而指定之範圍內對光電轉換信號進行AD轉換，然後獲取該信號，藉此可大幅削減1個圖框之資料量。在此基礎上，基於物體檢測而設定ROI21或AROI22，藉此可適當獲得物體檢測必要像素之資訊。

於第2、第3、第7、第8實施形態中，對如下示例進行了敍述：於ADC/像素選擇器3(獲取部)未藉由區域資訊(ROI21、AROI22)選擇檢測元件之狀態下，運算部8對自陣列感測器2所獲取之檢測信號，進行物體檢測，並將基於物體之檢測所生成之ROI21或AROI22作為用以供ADC/像素選擇器3自陣列感測器2獲取後續圖框之檢測信號之區域資訊，而指示給信號處理部30(參照圖9、圖14、圖29、圖32)。藉由根據包含1個圖框之全部有效像素之圖像信號，進行物體檢測，可於拍攝所得之圖像內切實地檢出應檢出物體。在此基礎上，基於所檢出之物體，生成ROI21或AROI22，並將其供給至ADC/像素選擇器3，藉此可自下一個圖框起，僅獲取物體檢測必要像素之資訊。因此，既可削減資料量，又可獲得適當之檢測資訊(必要像素之資訊)。

於第2、第3、第7、第8實施形態中，對如下情形進行了敍述：於ADC/像素選擇器3藉由ROI21或AROI22選擇了檢測元件之狀態下，運算部8對自陣列感測器2所獲取之檢測信號，進行物體檢測，並基於物體之檢測，再生成區域資訊，將該區域資訊作為用以供ADC/像素選擇器3自陣列感測器2獲取後續圖框之檢測信號之區域資訊，而指示給信號處理部30(參照圖9、圖14、圖29、圖32之步驟S203及圖10)。藉由根據僅包含一部分像素資訊之圖像信號之圖框，進行物體檢測，可根據物體之位置之變化，修正ROI21或AROI22。藉此，於後續圖框中，追隨於圖像內之物體(例如，人)之動向，藉由ADC/像素選擇器3而獲取之區域變化。即，即便對象物體在圖像內之位置於各圖框中分別變化，亦可於各圖框中，在追隨於該變化之位置，選擇並讀出像素。因此，即便圖框行進，亦可繼續保持一面削減資料量一面獲得適當之檢測資訊(像素資訊)之狀態。

在第2、第3、第7、第8實施形態中，於ADC/像素選擇器3藉由ROI21或AROI22選擇了檢測元件之狀態下，運算部8對自陣列感測器2所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：於ADC/像素選擇器3未藉由ROI21或AROI22選擇檢測元件之狀態下，自陣列感測器2獲取檢測信號(參照圖9、圖14、圖29、圖32之步驟S205、S201、S202)。即，運算部8若於自陣列感測器2僅獲取一部分檢測元件資訊之圖框中未檢出目標物體，則將獲取部中之檢測信號之獲取恢復至正常狀態。藉此，可恢復至根據包含1個圖框之全部有效像素之圖像信號而進行物體檢測之狀態，而再次於拍攝所得之圖像之整體進行目標物體之檢測。即，成為可監視圖像整體之狀態。

於第2、第3、第4、第7、第8實施形態中，對如下示例進行了敍述：運算部8求出將根據陣列感測器2之檢測信號而檢出之物體之區域包圍之邊框20，並基於邊框20，生成作為區域資訊之ROI21或AROI22(參照圖9、圖14、圖16、圖29、圖32)。藉由物體檢測，生成邊框20，根據該邊框20，生成ROI21或AROI22，藉此可生成與圖像內之目標物體之位置相應之ROI21或AROI22。藉此，亦可適當選擇下一圖框內之讀出像素。

於第2、第4、第7、第8實施形態中，運算部8將邊框20放大而生成ROI21(參照圖9、圖16、圖29、圖32)。邊框20係將當前圖框內之物體之區域包圍者，但於後續圖框內，物體之位置有可能發生變化。因此，將邊框20放大而生成ROI21。藉此，作為於下一圖框內獲取之資訊(加以AD轉換之像素之信號)，可提高使其包含物體之可能性。即，可儘量繼續讀出包含必要資訊之像素。

於第2實施形態之說明中，對如下示例進行了敍述：運算部8對所檢出之物體以檢測元件為單位判定區域而生成區域資訊(參照圖11)。即，基於語義分割，生成ROI21。藉此，亦生成非矩形之ROI21。視物體不同，亦存在若呈矩形進行剪裁則資訊缺失之情形。例如，具有突起物之軌道等、乘坐於自行車上之人等若為矩形，則會產生伸出部分，若將其覆蓋，則ROI21會非必要地變大，從而資料削減效果降低。因此，要使其能以像素位準選擇必要區域。藉此，能以最小限度之資料量獲取必要資訊。此種基於語義分割而產生之ROI21於在第4實施形態中設定低壓縮率區域之情形時亦有用。

於第2、第3、第4、第7、第8實施形態中，運算部8將自陣列感測器2所獲得之檢測信號中之物體檢測關鍵圖框記錄時序之圖框(關鍵圖框)作為對象，進行物體檢測，並基於物體之檢測，生成區域資訊(參照圖9、圖14、圖16、圖29、圖32之步驟S201)。藉由將關鍵圖框而非全部圖框作為對象，可避免運算部8之處理負擔過大。又，藉由基於適當之選擇演算法，選擇關鍵圖框，可維持能進行適當之物體檢測之狀態。於該情形時，同樣關鍵圖框被設定為每間隔特定時間之圖框，或被設定為基於來自外部機器之命令而確定之時序之圖框。例如，只要根據搭載有感測器裝置1之機器之種類、目的等，設定關鍵圖框，便可於需要機器或應用之時序，將圖框之像素整體作為對象，進行物體檢測，從而可於其以後之圖框中削減資料量等。

於第2、第3、第4、第7、第8實施形態中，運算部8對根據自陣列感測器2所獲得之檢測信號而檢測之物體進行類別識別，並對所識別出之類別是否為目標類別進行判定，對應於目標類別物體而生成區域資訊(ROI21或AROI22)(參照圖9、圖14、圖16、圖29、圖32之步驟S204、S205)。藉由進行目標類別之存在判定，並用於目標類別物體區域，而生成ROI21或AROI22，可切實地生成用以獲取作為檢測目標之物體之資訊之區域資訊。

於第3、第8實施形態中，對如下示例進行了敍述：運算部8對根據自陣列感測器2所獲得之檢測信號而檢測之物體進行類別識別，並使用與所識別出之類別對應之模板，生成與該物體對應之區域資訊(AROI22)(參照圖14之S210、S211、圖32之S262、S211)。藉由使用與類別對應之模板，可生成適應於各類別分別不同之重要區域之AROI22。尤其是，於陣列感測器2由攝像元件構成之情形時，光電轉換之耗電最大。於該情形時，希望儘量減少要進行光電轉換之像素。按照模板，減縮要進行光電轉換之像素，藉此可不對檢測精度造成影響地有效削減資料量。尤其重要為，圖像並非供人觀看之圖像，相較於讓人感覺漂亮之圖像，其更偏向於可供處理器11切實地辨識物體之圖像。使用模板指定了要進行光電轉換及數位資料化之像素之圖像係以較少之資料量適於有效物體檢測者。又，模板係針對各類別分別表示有檢測信號之獲取區域者。例如，模板係根據「人」、「汽車」等各類別，表示陣列感測器之檢測元件中應獲取檢測資訊之檢測元件者(參照圖12、圖13)。藉由使用對應於類別而指定應讀出像素之模板，可針對各類別分別自陣列感測器2讀出適當資訊。尤其是，如圖12、圖13所例示，藉由使一部分(人臉部分或車牌部分)高密度化，可針對各類別分別集中獲取必要部分之資訊。

於第4實施形態中，對如下示例進行了敍述：於信號處理部30中，藉由邏輯部5對來自陣列感測器2之檢測信號進行壓縮處理，且邏輯部5基於來自運算部8之區域資訊，於各區域分別以不同之壓縮率進行壓縮處理(參照圖16)。藉此，信號處理部30(邏輯部5)使圖框內之重要區域與不太重要之區域之壓縮率不同，從而可不削減重要資訊地壓縮資料。又，邏輯部5於藉由區域資訊而指定之區域中，以低壓縮率進行壓縮處理，於其他區域中，以高壓縮率進行壓縮處理(參照圖16)。信號處理部30(邏輯部5)自物體檢出之下一個圖框起，於藉由ROI21而指定之區域中，以低壓縮率進行壓縮處理，於其他區域中，以高壓縮率削減資料量。ROI21係根據物體檢測而生成，因此ROI21所示之區域係對於處理器11中之物體檢測而言亦重要之區域，該區域被設定為低壓縮率，因此不會削減資訊。藉此，不會降低檢測精度。另一方面，ROI21所示之區域以外之區域成為對物體檢測不太有影響之區域，因此以高壓縮率進行壓縮而高效地削減資料量。

如第5、第9實施形態中所說明，感測器裝置1具備：陣列感測器2，其呈一維或二維地排列有複數個檢測元件；信號處理部30，其獲取陣列感測器2之檢測信號而進行信號處理；及運算部8，其根據陣列感測器2之檢測信號，進行物體檢測，並基於物體之檢測，可變指示來自陣列感測器2之檢測信號之圖框速率。如實施形態所述，於根據圖像而進行物體檢測之情形時，並非始終需要高圖框速率之圖像信號。例如，於檢測人之情形時，未拍攝到人之圖框之圖框速率可較低。相反，於出現人之期間，圖框速率變高，藉此資訊量變得豐富，亦可使物體(人)檢測或隨附於其而能辨識之資訊增加。即，藉由根據物體之檢測而使圖框速率變化，可適應性地於必要時增加資料量，於不必要時削減資料量，從而可不降低物體檢測性能地削減處理資料量或發送資料量。

再者，並不限於圖像信號，亦可對作為音波檢測信號、觸覺檢測信號等而自陣列感測器所獲得之檢測信號，進行物體檢測，並基於物體之檢測，可變指示來自陣列感測器之檢測信號之圖框速率。藉此，於使用音波感測器陣列、接觸感測器陣列之情形時，亦可獲得如下效果：可適應性地於必要時增加資料量，於不必要時削減資料量，從而可不降低物體檢測性能地削減處理資料量或發送資料量。所謂圖框，於陣列感測器為攝像元件陣列之情形時，為圖像之圖框，於陣列感測器為音波檢測元件或觸覺感測器元件之情形時，含義相同，不拘於陣列感測器之種類，為自陣列感測器之複數個檢測元件於1次讀出期間讀出之資料單位。圖框速率為此種圖框之單位時間內之密度。

於第5、第9實施形態之情形時，將信號處理部30中經信號處理後之檢測信號輸出至外部裝置之介面部7(輸出部)將基於物體檢測之結果而使圖框速率變化之檢測信號輸出至處理器11等。因此，所傳輸之資料量顯著削減。藉此，可降低通信成本及縮短傳輸時間。在此基礎上，包含作為目標之物體檢測所必需之資訊，因此處理器11等中之物體檢測精度不會降低。又，藉由削減資料量，處理器11中之處理負擔亦得到減輕。又，處理器11側計算負荷變高，因此處理延遲、或系統整體耗電之上升亦得以避免。

於第5、第9實施形態中，運算部8至少預先記憶用於第1模式(空轉模式)之圖框速率之設定值、及用於第2模式(普通模式)之圖框速率之設定值，根據物體檢測之結果，以第1模式與第2模式任一者之設定值進行控制(參照圖18、圖35)。藉此，根據物體檢測之結果，即目標類別物體之有無，以選擇設定值之簡易處理便可實現作為主動取樣之控制。

於第5、第9實施形態中，用於第1模式之圖框速率之設定值與用於第2模式之圖框速率之設定值中之一者或兩者較理想為可自外部裝置改寫。例如，根據外部處理器之用途、處理能力、應用之用途等，使設定值可變。若可自處理器11等改寫設定值，則亦可設定與處理器11或其應用之目的相應之圖框速率。

於第5、第9實施形態中，對如下示例進行了敍述：運算部8藉由指示陣列感測器2之檢測信號之讀出間隔，而使圖框速率可變(參照圖18、圖35)。例如，運算部8(關鍵圖框選擇部81)對陣列感測器2及ADC/像素選擇器3指示空轉模式/普通模式之切換，變更陣列感測器2及ADC/像素選擇器3之圖像信號之讀出間隔，藉此進行圖框速率切換。該情形時，於圖框速率降低之空轉模式下，自陣列感測器2之光電轉換及讀出本身之間隔放大。於陣列感測器2中，光電轉換之耗電較大，因此將陣列感測器2中之讀出間隔放大而帶來的耗電降低效果較大。

於第5、第9實施形態之說明中，運算部8亦可對信號處理部30(邏輯部5)指示圖框速率變更而使圖框速率可變。即，藉由信號處理過程中之圖框速率轉換，執行圖框速率之切換。亦可於邏輯部5中進行圖框速率轉換。例如，可藉由進行圖框間隙留置處理，而降低圖框速率。於該情形時，陣列感測器2始終以高圖框速率進行讀出，因此不會產生陣列感測器2中之耗電削減效果，但於該情形時依然可獲得向處理器11發送之資料量之削減效果。

於第5、第9實施形態中，對如下示例進行了敍述：運算部8對根據自陣列感測器2所獲得之檢測信號而檢測之物體進行類別識別，並對所識別出之類別是否為目標類別進行判定，根據判定結果，進行圖框速率之可變指示(參照圖18之S304、S305、S301、圖35之S304、S352、S301)。進行目標類別之存在判定，若存在目標類別物體，則於普通模式下提高圖框速率。當未檢出目標類別物體時，於空轉模式下降低圖框速率。藉此，可根據作為檢測目標之物體之存在與否，切實地進行檢測。例如，於監視人之用途等中，若檢出作為目標類別之人，則提高圖框速率，藉此可實現精細監視，並且除此以外，可於空轉模式下削減耗電及削減資料量。

於各實施形態中，陣列感測器2之檢測元件為攝像元件。即，陣列感測器2之檢測信號為藉由攝像(光電轉換)所獲得之圖像信號。因此，於使用拍攝圖像實施之物體檢測中，可實現能維持物體檢測精度且適當之資料量之削減、及隨附於其之處理負擔之減輕、發送成本之降低等。

於實施形態中，感測器裝置1假定為具有作為運算部8之AI晶片或DRAM晶片之一體型感測模組構成。與此相對地，亦可設想如下示例：構成為將作為運算部8之AI晶片或DRAM晶片設置於陣列感測器2之外部，藉由該外部之運算部，進行各實施形態中所說明之讀出或信號處理之控制。又，亦可設想將陣列感測器2與作為運算部8之AI晶片一體化，而使用外部之DRAM晶片之示例。

於第6實施形態中，具備閾值設定部85，該閾值設定部85對用於邏輯部5(圖像處理部)之圖像處理或與陣列感測器2之攝像相關之攝像處理之參數之全部或一部分，設定參數之閾值，並基於閾值，使用所設定之參數進行處理。藉由使用閾值設定(變更)參數，例如，可將圖像信號以用於物體檢測等處理之必要最小限度之品質等(例如，必要最小限度之解像度等)輸出。因此，既可削減所輸出之圖像信號之資料量，又可避免後段處理(物體檢測等)之處理性能、精度等降低。又，藉此亦可實現低耗電化、處理之高速化。

再者，第6實施形態中所說明之圖22之處理例為如下示例：運算部8對根據藉由陣列感測器2中之攝像所獲得之圖像信號而檢測之物體進行類別識別，基於所識別出之類別，選擇用於圖像處理之參數組，並以所選擇之參數進行邏輯部5之處理設定，根據閾值，設定(調整)所選擇之參數。因此，各類別所適應之參數組中之一部分或全部之參數成為進而根據閾值加以調整設定者，在適應於類別之基礎上，既可進而維持物體檢測等之檢測精度，又可保持必要充分之資料量。會進而調整適應於類別之參數組，因此可進一步推進資料量減少，亦可推進低耗電化、處理之高速化。

但並不限於如該圖22所示之示例，亦可不僅根據類別而基於閾值，變更所設定之參數之全部或一部分。於該情形時，亦可既維持針對物體檢測等而要求之性能、精度，又實現圖像信號之資料量之削減、低耗電化、處理之高速化。

於第6實施形態中，閾值設定部85設定與根據圖像信號而檢測之物體之類別相應之閾值。例如，根據「人」、「汽車」、「標識」等類別，設定適當閾值。為了實施物體檢測等而對圖像要求之解像度與檢測精度之關係因類別而異。因此，根據類別，設定閾值，變更自邏輯部5輸出之圖像信號之解像度等，藉此可根據類別，輸出必要最小限度之解像度等。即，可根據類別，優化解像度等參數，既可將物體檢測精度等維持於被要求之水準，又可實現資料削減、低耗電化、處理之高速化等。

於第6實施形態中，閾值設定部85基於對圖像信號之學習處理，設定閾值。例如，於感測器裝置1側進行作為本地運行之學習處理而求出閾值。藉由進行對圖像信號之學習處理，判定作為閾值及其相應之參數較為理想之值。藉此，根據攝像環境或拍攝圖像內容、檢測對象物等，適應性地進行參數設定。又，藉由於感測器裝置1內、或包含感測器裝置1之終端裝置100內實施此種本地運行，可算出適於該感測器裝置1中所要求之圖像精度等之閾值。又，藉由各類別之本地運行而設定閾值，藉此進而藉由適應於類別之參數設定，實現所輸出之圖像信號之解像度等之優化。

於第6實施形態中，閾值設定部85以作為置信率(物體檢測之確證性之比率)可獲得特定比率之方式設定閾值。作為根據圖像而檢測物體之精度，所被要求之置信率因檢測目的、檢測對象、機器/應用程式之不同、時期、地域等而異。例如，若確證性為80%即可，則只要以可獲得80%以上之確證性之方式設定閾值，並設定其相應之參數即可。又，若要求95%以上之確證性，則只要提高閾值而設定參數即可。因此，閾值之設定(乃至於參數之設定)係基於針對物體檢測而要求之置信率所設定，藉此作為與該處理之實施相應之適應化，可實現理想之圖像信號品質、其相應之資料削減、低耗電化、處理之高速化等。

於第6實施形態中，列舉了閾值設定部85與邏輯部5設置於同一殼體之裝置內為例(參照圖21、圖25、圖26)。例如，於作為感測器裝置1之單元內、或包含感測器裝置1之終端裝置100內設置有閾值設定部85。而且，閾值設定部85進行本地運行而設定閾值及其相應之參數。其含義為，學習適應於該感測器裝置1或作為終端裝置100之機器之狀態而進行閾值之設定。藉此，可設定作為感測器裝置1或終端裝置100而被要求之輸出之適當閾值。

於第7、第8實施形態中，運算部8基於與歷史區域資訊相關之資訊(作為區域資訊來源之物體之檢測區域邊框20或作為區域資訊本身之ROI21或AROI22)，對自陣列感測器2獲取之檢測信號設定工作區域RA(圖29、圖32之S251)。然後，根據工作區域RA之檢測信號，進行物體檢測，並將基於物體之檢測所生成之ROI21或AROI22作為與自陣列感測器2獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給信號處理部30。藉此，用以設定ROI21或AROI22之物體檢測之處理負擔顯著減輕。具體而言，步驟S203之處理得到減輕。因此，可獲得處理負擔削減、高速化、耗電削減之效果。

於第7、第8實施形態中，運算部8基於歷史ROI21或AROI22，設定物體檢測之檢測區域，即，以包含邊框20之方式，設定工作區域RA。藉由繼續實施處理，而有完全未設定邊框20之區域存在於圖像上之情形。可將此種區域設定為未檢出目標物體之非工作區域DA，反之，可將除此以外之區域設定為工作區域RA，即，有可能檢出物體之區域。藉由基於歷史複數個邊框20，可容易且適當地設定工作區域RA。又，亦可進行符合攝像環境、攝像方向等之工作區域RA之設定。

在第7、第8實施形態中，於ADC/像素選擇器3藉由ROI21或AROI22選擇了檢測元件之狀態下，運算部8對自陣列感測器2所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：ADC/像素選擇器3自上述陣列感測器獲取工作區域之檢測信號(參照圖29、圖32之S205、S201、S252)。即，運算部8若於自陣列感測器2僅獲取一部分檢測元件資訊之圖框中未檢出目標物體，則將獲取部中之檢測信號之獲取恢復至正常狀態。藉此，可恢復至根據1個圖框之工作區域之圖像信號而進行物體檢測之狀態，而再次於拍攝所得之圖像中之必要範圍內進行目標物體之檢測。成為事實上可監視圖像整體之狀態。

於第7、第8實施形態中，對如下示例進行了敍述：運算部8將自陣列感測器2所獲得之檢測信號中之關鍵圖框作為對象，基於來自工作區域RA之檢測信號之物體檢測，生成區域資訊(參照圖29、圖32之S201、S252)。藉由將關鍵圖框而非全部圖框作為對象，可避免運算部8之處理負擔過大。又，藉由基於適當之選擇演算法，選擇關鍵圖框，可維持能進行適當之物體檢測之狀態。於該情形時，同樣關鍵圖框被設定為每間隔特定時間之圖框，或被設定為基於來自處理器11等外部之命令而確定之時序之圖框。

於第8實施形態中，運算部8對根據自陣列感測器2所獲得之檢測信號而檢測之物體進行類別識別，使用與所識別出之類別對應之模板，生成與該物體對應之區域資訊(AROI22)。於該情形時，使用根據閾值計算並記錄有解像度等參數之AROI22(參照圖32之S262、S211)。藉由使用閾值設定(變更)AROI22所示之獲取區域之參數，例如，可將圖像信號以用於物體檢測等處理之必要最小限度之品質等(例如，必要最小限度之解像度等)輸出。又，使用模板指定了要進行光電轉換及數位資料化之像素之圖像係以較少之資料量適於有效物體檢測者。因此，藉由使用模板、及藉由閾值而設定例如解像度等參數，既可削減所輸出之圖像信號之資料量，又可避免後段處理(物體檢測等)之處理性能、精度等降低。又，藉此亦可實現低耗電化、處理之高速化。又，模板係針對「人」、「汽車」等各類別分別表示有檢測信號之獲取區域者，因此可針對各類別分別集中獲取必要部分之資訊。

於第9實施形態中，具備閾值設定部85，該閾值設定部85根據對根據自陣列感測器2所獲得之檢測信號而檢測之物體進行識別所得之類別，設定圖框速率之閾值，並基於閾值，使用所設定之圖框速率進行處理(參照圖35)。藉由使用閾值設定(變更)圖框速率，可應用適於檢測對象類別之圖框速率。具體而言，既可避免檢測對象類別之物體檢測之性能降低，又可藉由降低圖框速率而實現圖像信號之資料量之削減、低耗電化、處理之高速化。

於第9實施形態中，閾值設定部85設定閾值作為可維持根據圖像之標的物追蹤之圖框速率。藉此，既可維持一面根據圖像而進行標的物追蹤一面進行之物體檢測精度，又可實現與類別相應之資料之削減、低耗電化、處理之高速化等。

於第9實施形態中，運算部8使用閾值設定部85所設定之圖框速率，作為圖框速率提高之第2模式(普通模式)之圖框速率。藉此，於圖框速率提高之情形時，根據類別，使用相對較低之圖框速率。

第1、第2、第3、第4、第5、第6、第7、第8、第9各實施形態可分別適當組合。藉由組合，可增大各實施形態之效果。即，既可維持根據圖像而檢測物體等處理之精度，又可進一步增強圖像信號之資料量之削減、低耗電化、處理之高速化等效果。

再者，本說明書所記載之效果終歸僅為例示而非加以限定者，又，亦可為其他效果。

再者，本技術亦可採用以下所述之構成。 (1) 一種感測器裝置，其具備：陣列感測器，其呈一維或二維地排列有複數個檢測元件；信號處理部，其獲取上述陣列感測器之檢測信號而進行信號處理；及運算部，其根據上述陣列感測器之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。 (2) 如上述(1)所記載之感測器裝置，其具備將於上述信號處理部中經信號處理後之檢測信號輸出至外部裝置之輸出部。 (3) 如上述(1)或(2)所記載之感測器裝置，其中上述信號處理部具有針對上述陣列感測器之檢測元件選擇性地獲取檢測信號之獲取部，且上述獲取部獲取基於來自上述運算部之區域資訊所選擇之檢測元件之檢測信號作為檢測信號之1個圖框。 (4) 如上述(3)所記載之感測器裝置，其中於上述獲取部未藉由區域資訊選擇檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為用以供上述獲取部自上述陣列感測器獲取後續圖框之檢測信號之區域資訊，而指示給上述信號處理部。 (5) 如上述(4)所記載之感測器裝置，其中於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，並基於物體之檢測，再生成區域資訊，將該區域資訊作為用以供上述獲取部自上述陣列感測器獲取後續圖框之檢測信號之區域資訊，而指示給上述信號處理部。 (6) 如上述(5)所記載之感測器裝置，其中於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：於上述獲取部未藉由區域資訊選擇檢測元件之狀態下，自上述陣列感測器獲取檢測信號。 (7) 如上述(1)至(6)中任一項所記載之感測器裝置，其中上述運算部求出將根據上述陣列感測器之檢測信號而檢出之物體之區域包圍之邊框，並基於該邊框，生成區域資訊。 (8) 如上述(7)所記載之感測器裝置，其中上述運算部將上述邊框放大而生成區域資訊。 (9) 如上述(1)至(6)中任一項所記載之感測器裝置，其中上述運算部對所檢出之物體以檢測元件為單位判定區域而生成區域資訊。 (10) 如上述(1)至(9)中任一項所記載之感測器裝置，其中上述運算部將自上述陣列感測器所獲得之檢測信號中被設定為關鍵圖框之圖框作為對象，進行物體檢測，並基於物體之檢測，生成區域資訊。 (11) 如上述(10)所記載之感測器裝置，其中上述關鍵圖框被設定為每間隔特定時間之圖框。 (12) 如上述(10)所記載之感測器裝置，其中上述關鍵圖框被設定為基於來自外部機器之命令而確定之時序之圖框。 (13) 如上述(1)至(12)中任一項所記載之感測器裝置，其中上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並對所識別出之類別是否為目標類別進行判定，對應於目標類別物體而生成區域資訊。 (14) 如上述(1)至(13)中任一項所記載之感測器裝置，其中上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並使用與所識別出之類別對應之模板，生成與該物體對應之區域資訊。 (15) 如上述(14)所記載之感測器裝置，其中上述模板係針對各類別分別表示有檢測信號之獲取區域者。 (16) 如上述(13)所記載之感測器裝置，其具備根據外部機器之要求，輸出於上述信號處理部中經處理後之檢測信號、所識別出之類別之資訊、所檢出之物體之數量、有無目標類別之資訊中任一者或全部之輸出部。 (17) 如上述(1)至(16)中任一項所記載之感測器裝置，其中上述信號處理部具有對來自上述陣列感測器之檢測信號進行壓縮處理之壓縮處理部，且上述壓縮處理部基於來自上述運算部之區域資訊，於各區域分別以不同之壓縮率進行壓縮處理。 (18) 如上述(17)所記載之感測器裝置，其中上述壓縮處理部於藉由區域資訊而指定之區域內，以低壓縮率進行壓縮處理，於其他區域內，以高壓縮率進行壓縮處理。 (19) 如上述(1)至(18)中任一項所記載之感測器裝置，其中上述陣列感測器之檢測元件為攝像元件。 (20) 如上述(1)、(2)、(3)、(5)、(7)、(8)、(9)、(13)中任一項所記載之感測器裝置，其中上述運算部對基於與歷史區域資訊相關之資訊而自上述陣列感測器獲取之檢測信號設定工作區域，且根據上述工作區域之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。 (21) 如上述(20)所記載之感測器裝置，其中上述運算部對在歷史特定期間內生成之複數個區域資訊，以包含供各區域資訊所依據之物體檢測中之檢測區域之方式，設定上述工作區域。 (22) 如上述(20)或(21)所記載之感測器裝置，其中上述信號處理部具有針對上述陣列感測器之檢測元件選擇性地獲取檢測信號之獲取部，且上述獲取部獲取基於來自上述運算部之區域資訊所選擇之檢測元件之檢測信號作為檢測信號之1個圖框，於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：上述獲取部自上述陣列感測器獲取上述工作區域之檢測信號。 (23) 如上述(20)至(22)中任一項所記載之感測器裝置，其中上述運算部將自上述陣列感測器所獲得之檢測信號中被設定為關鍵圖框之圖框作為對象，根據上述工作區域之檢測信號，進行物體檢測，並基於物體之檢測，生成區域資訊。 (24) 如上述(1)至(23)中任一項所記載之感測器裝置，其中上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並使用對應於所識別出之類別而表示有檢測信號之獲取區域之模板，生成與該物體對應之區域資訊，且具備閾值設定部，該閾值設定部針對上述圖像處理部之圖像處理或上述陣列感測器之與攝像相關之攝像處理中使用之參數之全部或一部分，設定參數之閾值；對上述模板所示之獲取區域實施之處理之參數基於上述閾值而設定。 (25) 一種信號處理方法，其係具有陣列感測器及信號處理部之感測器裝置中之信號處理方法，該陣列感測器呈一維或二維地排列有複數個檢測元件，該信號處理部獲取上述陣列感測器之檢測信號而進行信號處理，且該信號處理方法係根據上述陣列感測器之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。 (26) 如上述(26)所記載之信號處理方法，其中對基於歷史區域資訊而自上述陣列感測器獲取之檢測信號設定工作區域，且根據作為上述陣列感測器之檢測信號之上述工作區域之檢測信號，進行物體檢測。

1:感測器裝置 2:陣列感測器 3:ADC/像素選擇器 4:緩衝器 5:邏輯部 6:記憶體 7:介面部 8:運算部 11:處理器 12:外部感測器 20:邊框 21:ROI 22:高級ROI(AROI) 23:候補區域 30:信號處理部 81:關鍵圖框選擇部 82:物體區域辨識部 83:類別識別部 84:參數選擇部 85:閾值設定部 100:終端裝置 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:主體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛員狀態檢測部 12050:綜合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路介面 12061:音響揚聲器 12062:顯示部 12063:儀表板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 F1:圖框 F2:圖框 F3:圖框 Fn:圖框

圖1係可應用於本技術之第1至第5、第7實施形態之感測器裝置之方塊圖。圖2A、B係圖像辨識精度與畫質之關係之說明圖。圖3係第1實施形態之分類圖像適應化處理之概要之說明圖。圖4A、B係第1實施形態之畫質參數組之說明圖。圖5係第1實施形態之分類圖像適應化處理之流程圖。圖6A～G係第1實施形態之物體檢測之程序之說明圖。圖7A、B係第2實施形態之經區域剪裁後之圖框之說明圖。圖8A～C係第2實施形態之區域剪裁解析之概要之說明圖。圖9係第2實施形態之區域剪裁解析之流程圖。圖10A～H係第2實施形態之出自邊框之ROI(Region of Interest，感興趣區域)之計算的說明圖。圖11係第2實施形態之ROI之另一例之說明圖。圖12係第3實施形態之高級ROI之說明圖。圖13係第3實施形態之高級ROI之說明圖。圖14係第3實施形態之使用高級ROI實施之區域剪裁解析之流程圖。圖15A、B係第4實施形態之智慧壓縮之說明圖。圖16係第4實施形態之智慧壓縮之流程圖。圖17A、B係第5實施形態之主動取樣之說明圖。圖18係第5實施形態之主動取樣之流程圖。圖19係第6實施形態之用於圖像適應化處理之閾值設定之說明圖。圖20A、B係第6實施形態之按類別設定閾值之說明圖。圖21係可應用於第6至第9實施形態之感測器裝置之方塊圖。圖22係第6實施形態之與閾值相應之參數設定處理之流程圖。圖23A、B係第6實施形態之閾值設定之說明圖。圖24係第6實施形態之閾值計算之流程圖。圖25係可應用於第6至第9實施形態之另一構成例之方塊圖。圖26係可應用於第6至第9實施形態之又一構成例之方塊圖。圖27A、B係第7實施形態之工作區域剪裁之說明圖。圖28A、B係第7實施形態之工作區域剪裁之說明圖。圖29係第7實施形態之工作區域剪裁之流程圖。圖30係第7實施形態之關鍵圖框工作區域計算之流程圖。圖31係第8實施形態之高級ROI(Advanced ROI：AROI)之閾值設定之說明圖。圖32係第8實施形態之使用高級ROI實施之區域剪裁解析之流程圖。圖33A～C係第9實施形態之主動取樣之說明圖。圖34A～C係第9實施形態之主動取樣之說明圖。圖35係第9實施形態之主動取樣之流程圖。圖36係表示車輛控制系統之概略構成之一例之方塊圖。圖37係表示車外資訊檢測部及攝像部之設置位置之一例之說明圖。

20:邊框

21:ROI

23:候補區域

F1:圖框

F2:圖框

F3:圖框

Fn:圖框

Claims

一種感測器裝置，其具備：陣列感測器，其呈一維或二維地排列有複數個檢測元件；信號處理部，其獲取上述陣列感測器之檢測信號而進行信號處理；及運算部，其根據上述陣列感測器之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。
如請求項1之感測器裝置，其具備將於上述信號處理部中經信號處理後之檢測信號輸出至外部裝置之輸出部。
如請求項1之感測器裝置，其中上述信號處理部具有針對上述陣列感測器之檢測元件選擇性地獲取檢測信號之獲取部，且上述獲取部獲取基於來自上述運算部之區域資訊所選擇之檢測元件之檢測信號作為檢測信號之1個圖框。
如請求項3之感測器裝置，其中於上述獲取部未藉由區域資訊選擇檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為用以供上述獲取部自上述陣列感測器獲取後續圖框之檢測信號之區域資訊，而指示給上述信號處理部。
如請求項4之感測器裝置，其中於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，並基於物體之檢測，再生成區域資訊，將該區域資訊作為用以供上述獲取部自上述陣列感測器獲取後續圖框之檢測信號之區域資訊，而指示給上述信號處理部。
如請求項5之感測器裝置，其中於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：於上述獲取部未藉由區域資訊選擇檢測元件之狀態下，自上述陣列感測器獲取檢測信號。
如請求項1之感測器裝置，其中上述運算部求出將根據上述陣列感測器之檢測信號而檢出之物體之區域包圍之邊框，並基於該邊框，生成區域資訊。
如請求項7之感測器裝置，其中上述運算部將上述邊框放大而生成區域資訊。
如請求項1之感測器裝置，其中上述運算部對所檢出之物體以檢測元件為單位判定區域而生成區域資訊。
如請求項1之感測器裝置，其中上述運算部將自上述陣列感測器所獲得之檢測信號中被設定為關鍵圖框之圖框作為對象，進行物體檢測，並基於物體之檢測，生成區域資訊。
如請求項10之感測器裝置，其中上述關鍵圖框被設定為每間隔特定時間之圖框。
如請求項10之感測器裝置，其中上述關鍵圖框被設定為基於來自外部機器之命令而確定之時序之圖框。
如請求項1之感測器裝置，其中上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並對所識別出之類別是否為目標類別進行判定，對應於目標類別物體而生成區域資訊。
如請求項1之感測器裝置，其中上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並使用與所識別出之類別對應之模板，生成與該物體對應之區域資訊。
如請求項14之感測器裝置，其中上述模板係針對各類別分別表示有檢測信號之獲取區域者。
如請求項13之感測器裝置，其具備根據外部機器之要求，輸出於上述信號處理部中經處理後之檢測信號、所識別出之類別之資訊、所檢出之物體之數量、有無目標類別之資訊中任一者或全部之輸出部。
如請求項1之感測器裝置，其中上述信號處理部具有對來自上述陣列感測器之檢測信號進行壓縮處理之壓縮處理部，且上述壓縮處理部基於來自上述運算部之區域資訊，於各區域分別以不同之壓縮率進行壓縮處理。
如請求項17之感測器裝置，其中上述壓縮處理部於藉由區域資訊而指定之區域內，以低壓縮率進行壓縮處理，於其他區域內，以高壓縮率進行壓縮處理。
如請求項1之感測器裝置，其中上述陣列感測器之檢測元件為攝像元件。
如請求項1之感測器裝置，其中上述運算部對基於與歷史區域資訊相關之資訊而自上述陣列感測器獲取之檢測信號設定工作區域，且根據上述工作區域之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。
如請求項20之感測器裝置，其中上述運算部對在歷史特定期間內生成之複數個區域資訊，以包含供各區域資訊所依據之物體檢測中之檢測區域之方式，設定上述工作區域。
如請求項20之感測器裝置，其中上述信號處理部具有針對上述陣列感測器之檢測元件選擇性地獲取檢測信號之獲取部，且上述獲取部獲取基於來自上述運算部之區域資訊所選擇之檢測元件之檢測信號作為檢測信號之1個圖框，於上述獲取部藉由區域資訊選擇了檢測元件之狀態下，上述運算部對自上述陣列感測器所獲取之檢測信號，進行物體檢測，當未檢出目標物體時，於後續圖框中，指示如下操作：上述獲取部自上述陣列感測器獲取上述工作區域之檢測信號。
如請求項20之感測器裝置，其中上述運算部將自上述陣列感測器所獲得之檢測信號中被設定為關鍵圖框之圖框作為對象，根據上述工作區域之檢測信號，進行物體檢測，並基於物體之檢測，生成區域資訊。
如請求項1之感測器裝置，其中上述運算部對根據自上述陣列感測器所獲得之檢測信號而檢測之物體進行類別識別，並使用對應於所識別出之類別而表示有檢測信號之獲取區域之模板，生成與該物體對應之區域資訊，且具備閾值設定部，該閾值設定部針對上述圖像處理部之圖像處理或上述陣列感測器之與攝像相關之攝像處理中使用之參數之全部或一部分，設定參數之閾值，並基於上述閾值，設定對上述模板所示之獲取區域實施之處理之參數。
一種信號處理方法，其係具有陣列感測器及信號處理部之感測器裝置中之信號處理方法，該陣列感測器呈一維或二維地排列有複數個檢測元件，該信號處理部獲取上述陣列感測器之檢測信號而進行信號處理，且該信號處理方法係根據上述陣列感測器之檢測信號，進行物體檢測，並將基於物體之檢測所生成之區域資訊作為與自上述陣列感測器獲取檢測信號之操作或檢測信號之信號處理相關之區域資訊，而指示給上述信號處理部。
如請求項25之信號處理方法，其中對基於歷史區域資訊而自上述陣列感測器獲取之檢測信號設定工作區域，且根據作為上述陣列感測器之檢測信號之上述工作區域之檢測信號，進行物體檢測。