TWI763769B - 單一處理器電腦視覺硬體控制及應用執行之裝置及方法 - Google Patents

Abstract

本發明提出一種用於對基於場景之發生反應之裝置、方法及系統。此裝置可包含專用電腦視覺(CV)計算硬體，其經組態以自一感測器陣列接收感測器資料，該感測器陣列包含複數個感測器像素且能夠使用來自該感測器陣列之相鄰感測器像素的讀數計算一或多個CV特徵。該裝置可進一步包含一第一處理單元，其經組態以控制該專用CV計算硬體之操作。該第一處理單元可經進一步組態以執行一或多個應用程式，且與該一或多個應用程式之執行一起，與至少一個輸入/輸出(I/O)器件控制器通信，以實現一I/O操作以反應於基於對該一或多個經計算之CV特徵而執行之操作所產生的一事件。

Description

單一處理器電腦視覺硬體控制及應用執行之裝置及方法

許多器件提供不充分之功能性，此係歸因於以下事實：其必須在有限功率環境中操作，諸如，依賴於電池電力之環境。此等器件之實例大量存在，且其包括諸如玩具、物聯網(IoT)器件及類似者之種類。舉例而言，玩具可為電池操作式，且可不易於定期地再充電，且可具有有限之或不具有經再充電之能力。雖然將此等器件之功能性限制於完全最小確實延長電池壽命，但此粗魯之方法常常導致低劣之效能及令人乏味的使用者體驗。

本發明提出用於對基於場景之發生反應之裝置、方法及系統。此裝置可包含專用電腦視覺(CV)計算硬體，其經組態以自一感測器陣列接收感測器資料，該感測器陣列包含複數個感測器像素且能夠使用來自該感測器陣列之相鄰感測器像素的讀數計算一或多個CV特徵。該裝置可進一步包含一第一處理單元，其經組態以控制該專用CV計算硬體之操作。該第一處理單元可經進一步組態以執行一或多個應用程式，且與該一或多個應用程式之執行一起，與至少一個輸入/輸出(I/O)器件控制器通信，以實現 一I/O操作以反應於基於對該一或多個經計算之CV特徵而執行之操作所產生的一事件。

該裝置可進一步包含一分類器，其經組態以接收該專用CV計算硬體之一輸出，及基於該一或多個計算之CV特徵執行該等操作。該事件可回應於該分類器之一輸出而產生。在一些實施例中，該事件為一面部偵測事件。

視情況，該專用CV計算硬體可經組態以回應於由該第一處理單元進行之輪詢，將該事件之一指示提供至該第一處理單元。在某些實施例中，該事件由該第一處理單元產生。此外，該第一處理單元可經組態以藉由指定與該一或多個CV特徵之該計算相關聯及影響該一或多個CV特徵之該計算之參數來控制該專用CV計算硬體之操作。

在一個實施例中，該第一處理單元包含一核心及一第二核心。該第一核心可經組態以控制該專用CV計算硬體之該操作。該第二核心可經組態以執行該一或多個應用程式。在一個實施例中，該第一處理單元包含一軟體環境。該軟體環境可支援該一或多個應用程式。

在一些實施例中，該I/O器件控制器包含一媒體器件控制器。該媒體器件控制器可經組態以產生一音訊輸出、一視覺輸出或類似者。在一些實施例中，該I/O器件控制器包含一比例-積分-導數(PID)控制器。該PID控制器可經組態以產生一控制信號以將一可移動部件調整至一所要的位置。

隨後描述僅提供實施例，且並不意欲限制本發明之範疇、可適用性或組態。相反，實施例之隨後描述將為熟習此項技術者提供用於實施實施例之啟發性描述。應理解，在不脫離本發明之範疇的情況下可進行元件之功能及配置的各種改變。圖 1 說明使用者130可與併有本文中描述之特徵及技術的行動器件105互動之一實例設置100。此處，使用者130可至少部分經由具有如本文中以下所描述之一專用相機、專用電腦視覺(CV)計算硬體及一專用低功率微處理器的一感測器系統與行動器件105互動。此等特徵使行動器件105能夠偵測、追蹤、辨識及/或分析對象(諸如，使用者130)及在相機之視野105內的其他物件及場景。感測器系統使用包括之嵌入式處理器處理自相機擷取之資訊，且僅當需要時或如由應用程式定義及組態，發送用於主處理器之「事件」(或一或多個參考發生已發生之指示)。在一些實施例中，感測器系統可藉由在偵測到一特徵時產生表示「事件」之信號且將其發送至主處理器來起始動作。該感測器系統可在無主處理器之任何提示之情況下如此進行。在其他實施例中，主處理器可輪詢感測器系統(例如，週期性地、基於按需要等)，且感測器系統可用是否已偵測到一特徵之指示來回應輪詢。在此類實施例中，對輪詢之回應可構成「事件」。 如本文中所描述的「事件」之使用允許通用微處理器(其通常相對高速且高功率以支援多種應用程式)在習知之多數時間停留在低功率(例如，睡眠模式)中，而僅當自感測器系統接收到事件時變得在作用中。雖然參照行動器件105說明及描述，但應理解，能夠執行物件偵測、辨識等之智慧型感測器可用於包括物聯網(IoT)應用之多種應用中。 如本文中所描述，專用CV計算硬體至少部分基於與相鄰感測器元件相關聯之信號計算或能夠計算感測器陣列單元中之每一感測器元件或像素之CV特徵，或局部化CV特徵。(本文中，術語「局部」或「局部化」指基於一或多個相鄰感測器元件而非全部影像之統計或其他數學評估來計算之特徵)。如本文中所描述，包括主體感測器元件及相對靠近主體感測器元件之其他感測器元件的感測器元件可被稱作相鄰感測器元件。在本發明之某些態樣中，相鄰感測器元件可包括主體感測器元件及緊鄰主體感測器元件之感測器元件。在本發明之某些其他方面中，相鄰感測器元件亦可包括相對靠近主體感測器元件且不緊鄰之感測器元件。舉例而言，在某些情況下，當感測器之數目之寬度或高度為六十四個感測器元件時，在距主體感測器元件三個感測器元件內之感測器元件可仍然被考慮為相鄰感測器元件。 如本文中所描述，CV特徵或局部化之CV特徵可指偵測低等級電腦視覺標記或指示符，諸如，與感測器之每一感測器元件或像素相關聯的標籤。如下進一步詳細地指示，此等CV特徵可包括諸如帶正負號之梯度之直方圖(HSG)及/或局部二進位圖案(LBP)之輸出。LBP計算可基於相鄰感測器元件，例如，參考或主體感測器像素及其八個緊鄰之相鄰感測器像素。LBP計算可對參考像素之緊鄰的相鄰像素中之每一者基於其各別強度差來評分。(將使用用於不同色彩通道(例如，紅、藍及綠)之不同LBP來處理色彩)。HSG計算亦使用相鄰感測器元件(例如，參考像素及一或多個緊鄰的相鄰像素)偵測場景內之各種特徵。 舉例而言，在圖1之設置100中，使用者130可已拾取行動器件105，同時該行動器件之通用微處理器處於睡眠模式中。然而，行動器件105之感測器系統可保持在作用中，且可能能夠(例如)辨識使用者130之面部、手示意動作、場景中之其他物件及/或類似者。在辨識到某一參考發生已發生後——在此情況下，使用者130之特定面部特徵在感測器系統之視野110內，感測器系統可將指示使用者130之面部特徵已經辨識及/或使行動器件之通用微處理器退出低功率模式且變得完全在作用中的事件發送至行動器件之通用微處理器。 取決於所要的功能性，使感測器系統將事件發送至行動器件之通用微處理器的參考發生可包括多種可CV檢測之發生中之任一者。此等發生可包括(例如)面部及/或物件偵測、面部及/或物件辨識、示意動作辨識及/或類似者。在一些實施例中，一或多個參考發生可為可由使用者130組態。本文中以下提供參考發生之額外實例。 因為專用相機專用於感測器系統，所以其可不主要意欲用於拍相片或拍視訊。因此，該專用相機可不產出基於強度之影像。取而代之，該專用相機可包括像素級電腦視覺特徵計算，如用於所述特徵之基於低功率硬體之計算的LBP、梯度、邊緣、HSG及/或使用來自專用相機之相鄰感測器像素的讀數計算CV特徵之其他操作。 亦即，雖然可使用包含一專用相機之感測器系統人，但實施例不受如此限制。更廣泛言之，感測器系統可包括一感測器陣列單元，其包括用於感測化學、視覺、聽覺、生物、機械及/或其他類型之輸入的感測器單元。 另外，雖然圖1及其他實施例描述感測器系統經併入至行動器件內，但實施例不受如此限制。由本文中描述之技術及特徵帶來之省電可對行動器件(諸如，行動電話、平板電腦、膝上型電腦、攜帶型媒體播放器及/或類似者)具有特定益處，但其他器件(諸如，電視、桌上型電腦及/或通常可能不被考慮為行動之其他器件)可利用本文所描述之特徵及技術。圖 2A 為說明根據一個實施例的感測器系統210 (在本文中亦被稱作「智慧型感測器」)可經組態以在主處理器220可在低功率(例如，「睡眠」或「待用」)模式中操作時實現高階感測操作的方式之方塊圖。圖2A之組件可併入至較大電子器件內。以下關於圖5描述可併有感測器系統210的行動器件之一實例。 又，應理解，替代性實施例可與圖2A中展示之組件有變化。舉例而言，如下所述，感測器系統210之實施例可或可不包括周邊電路214、微處理器216及/或記憶體218。另外或替代地，取決於所要的功能性，實施例可組合、分開、添加、省略及/或重排圖2A之組件。舉例而言，在感測器系統210包含一感測器陣列(例如，像素陣列或相機)之情況下，可利用一些光學器件對輸入(例如，光)在其到達感測器陣列前操縱。應注意，雖然本文中之實施例描述「影像陣列」之使用，但實施例不受如此限制，且可更廣泛地利用未必產生或擷取影像之感測器陣列。(以下更詳細地描述之圖2B說明根據一個實施例的具有一感測器陣列單元212、微處理器216及實例周邊電路214之感測器系統210。) 如圖2A中所說明，接收輸入之感測器系統210可包括一感測器陣列單元212、周邊電路214、微處理器216及/或記憶體218。電子感測器可經由有線或無線連接而與電子器件之主處理器220 (諸如，行動電話之應用程式處理器)通信耦接，該主處理器可提供對感測器系統210之查詢且自感測器系統210接收事件及/或其他觸發事件。在一些實施例中，「主處理器」220可僅對應於比微處理器216大(例如，在處理能力方面大及/或在電力上大)的處理單元。在一些實施中，微處理器216可對應於專用微處理器或第一處理單元，且可經組態以消耗比可對應於第二處理單元之主處理器220少的功率。 取決於電子感測器之所要的功能性，利用的感測器陣列單元212之類型可變化。如前指示，感測器陣列單元212可包括用於感測化學、視覺、聽覺、生物、機械及/或其他類型之輸入的一陣列(例如，一維或二維陣列)感測器單元。舉例而言，感測器陣列單元212可包括一相機感測器或其他視覺及/或感測器陣列，其中多個感測器單元形成像素網格。 在一些實施例中，感測器陣列單元212可包括一「智慧型」陣列，其包括某一額外記憶體及/或可執行對感測器單元之一或多個輸出的操作所藉之邏輯電路。在一些實施例中，感測器陣列中之每一感測器像素可與可或可不為周邊電路214 (以下更詳細地論述)之部分的記憶體及/或邏輯電路耦接。感測器陣列單元212及/或周邊電路之輸出可包括作為感測器單元之原始感測器讀數之添加或替代的輸出。舉例而言，在一些實施例中，感測器陣列單元212及/或周邊電路可包括專用CV計算硬體，其經組態以自感測器陣列單元212之包含多於一個感測器像素的感測器陣列接收影像資料。CV特徵可接著由專用CV計算硬體使用來自感測器陣列之相鄰感測器像素的讀數計算或提取，從而提供諸如計算之HSG及/或LBP特徵、標籤或描述符的輸出。在一些實施例中，無影像信號處理電路可安置於感測器陣列單元212與專用CV計算硬體之間。換言之，專用CV計算硬體可在對原始感測器資料執行任何影像信號處理前自感測器陣列單元212接收原始感測器資料。基於包括邊緣偵測、拐角偵測、尺度恆定特徵變換(或SIFT)、加速穩固特徵(SURF)、定向梯度之直方圖(HOG)、局部三進位圖案(LTP)等以及以上各者中的任一者之擴展的其他CV計算算法。 感測器陣列單元212之同步性(或非同步性)亦可取決於所要的功能性。舉例而言，在一些實施例中，感測器陣列單元212可包含具有讀出電路之傳統(亦即，「基於圖框」)相機，該讀出電路經計時以基於某些時序要求提供每一像素之週期性取樣。在一些實施例中，感測器陣列單元212可包含一事件驅動陣列，當感測器讀數或其他輸出達到某一臨限值及/或按某一臨限值改變而非遵照一特定採樣率(或作為對一特定採樣率之添加)時，可藉由該事件驅動陣列判定感測器輸出。對於如上所論述之一「智慧型」陣列，該感測器讀數或其他輸出可包括額外記憶體及/或邏輯之輸出(例如，來自智慧型感測器陣列之HSG或LBP輸出)。在一個實施例中，智慧型感測器陣列可包括動態視覺感測器(DVS)，其中對於智慧型感測器陣列中之每一像素，當一像素值自一先前值按一臨限量改變時，非同步地輸出該值。在一些實施中，該感測器陣列單元212可為混合圖框事件驅動陣列，其按一給定圖框速率讀出值，但藉由僅讀出陣列中自從先前讀出已改變的元件之值而省電。 取決於電子感測器之所要的功能性，周邊電路214亦可變化。周邊電路214可經組態以自感測器陣列單元212接收信息。在一些實施例中，周邊電路214可自感測器陣列單元212內之一些或所有像素、感測器陣列單元212的像素級電路(實施有顯著的像素級電路)中之一些或所有或兩者接收信息。舉例而言，對於感測器陣列單元212提供同步化之輸出的實施例，周邊電路可提供對感測器陣列單元輸出之計時及/或控制操作(例如，執行基於圖框及/或類似之計時)。由周邊電路214提供之其他功能性可包括事件排入佇列及/或處理操作、類比處理、類比至數位轉換、整合操作(例如，像素值之一維或二維整合)、CV特徵計算、物件分類(例如，基於級聯分類器之分類或基於直方圖之分類)，或直方圖操作、記憶體緩衝或其任何組合、「像素區塊值求和」、「相鄰像素值比較及定限」、「向量內積計算」及類似者。在各種實施中，用於執行此功能性之構件可包括(例如)周邊電路214。在一些實施例中，周邊電路214耦接至感測器陣列單元212之感測器電池輸出端，且不包括微處理器或其他處理單元。本文中以下關於圖2B，包括周邊電路214之一些實例。 亦即，一些實施例可進一步包括耦接至周邊電路214之輸出端的一微處理器216。微處理器216通常可包括相對於主處理器220在相對低功率上操作之一處理單元。在一些實施中，微處理器216可進一步使用其自身程式(例如，基於軟體)及資料記憶體執行電腦視覺及/或機器學習演算法(其可基於圖框及/或事件)。因此，微處理器216能夠基於當主處理器220在低功率模式中操作時由感測器陣列單元212接收之輸入執行電腦視覺及/或機器學習功能。當微處理器216判定需要輸出至主處理器220的事件已發生時，微處理器216可將事件傳達至主處理器220，該事件可使主處理器220離開其低功率模式且至正常操作模式內。 視情況，在一些實施例中，微處理器216之輸出可進一步提供至記憶體218，隨後中繼至主處理器220。基於哪些事件或觸發事件經發送至主處理器220，記憶體218可包括由微處理器216維護之工作記憶體及/或資料結構。舉例而言，可在儲存影像、追蹤偵測之物件及/或執行如下文關於圖2B更詳細地論述之其他操作時利用記憶體。另外或替代地，記憶體218可包括主處理器220可向感測器系統210查詢之資訊。主處理器220可執行應用軟體、演算法等222，其中之一些可進一步利用自感測器系統210接收到之資訊。 如前指出，感測器系統210獨立於主處理器220執行某些功能(諸如，影像處理及/或電腦視覺功能)之能力可提供電子器件中之大量的功率、速度及記憶體節省，否則，電子器件將必須利用主處理器220執行感測器系統210之功能中之一些或所有。詳言之，感測器陣列單元212、周邊電路214與微處理器216之組合允許能夠在由影像陣列擷取之動態改變場景中偵測發生之場景理解。 在一個實例中，具有圖2A中展示之組態的行動電話可使用面部偵測退出待用模式。在此實例中，行動電話進入至行動電話之顯示器斷電之待用模式，且主處理器220在低功率睡眠模式上操作。然而，具有作為感測器陣列單元212之影像陣列的感測器系統210繼續操作，在物件進入及退出影像陣列之視野時，處理來自感測器陣列單元212之資料。當面部進入影像陣列之視野時(諸如，在圖1中，當使用者130之面部進入至行動器件105之視野110內時)，其可由感測器陣列單元212、周邊電路214、微處理器216或其任何組合偵測到。若偵測到之面部保持在影像陣列之視野中達臨限值時間週期(例如，0.5秒、1秒、2秒等)，則微處理器216可將指示已發生面部偵測之面部偵測事件發送至主處理器220。行動電話之主處理器220及顯示器可接著切換回至正常操作模式。 如本文中其他處所指出，事件可為一或多個參考發生已發生之指示。更一般而言，事件可包括與參考發生有關之資料。取決於所要的功能性，事件中包括之資料可指示偵測到之參考物件、與參考物件有關之位置資訊、參考物件之數目、與偵測到之參考物件相關聯的移動及類似者。可按多種方式中之任一者傳送此資料。舉例而言，在物件偵測之情況下，事件可為簡單的二進位輸出，其中「0」意謂尚未偵測到參考物件，且「1」意謂已偵測到參考物件。 事件可包括不同於已發生參考發生之指示的資訊。舉例而言，事件亦可包括與參考發生相關聯之一些資料。在一些實施例中，事件可包括n位元/位元組訊息或多欄位訊息，其中每一位元或欄位映射至一條特定資料。舉例而言，事件可包括以下輸出：第一位元/欄位指示是否已偵測到物件、第二位元/欄位指示物件是在移動還是靜止、第三位元/欄位係關於物件之位置(或與位置有關之資訊，諸如，界限物件的最小框之四個拐角，或物件之拐角之位置等)、第四位元/欄位係關於偵測到多少物件等。一般而言，在僅有之參考發生之上，事件可以與參考發生相關聯之任一方式(包括與參考發生有關之量測或計算)包括任何資料，包括硬體計算之CV特徵或影像。 取決於所要的功能性，參考發生可包括多種觸發事件中之任一者，諸如，面部或其他物件偵測事件、示意動作事件、面部及/或參考物件偵測及/或辨識、眼睛或虹膜偵測及類似者。亦可偵測到特定面部特徵，諸如，眼睛、鼻子或耳朵。面部偵測或面部特徵偵測可用以推斷其他特徵之位置，例如，鼻子之偵測可推斷眼睛之位置或反之亦然。可使用多種面部偵測演算法中之任一者實施的面部偵測可包括進入人類面部或非人類動物面部(例如，狗、貓或其他寵物)之視界，或進入人體或非人類動物身體之視界。此「進入物件之視界」可為物件之移動及/或相機之移動的結果。參考發生可超出面部偵測以自指示表現的各種面部特徵及/或彼等特徵之位置的分析判定人類面部之表情或其他表現。另外或替代地，參考發生可包括偵測及/或辨識額外物件及/或物件移動，諸如，進入人手之視界、手示意動作、進入參考物件(諸如，某一物件、標識或其他參考物件)之視界及類似者。在一些實施例中，感測器系統210可經預先組態以偵測某些參考物件。另外或替代地，用於由感測器系統210偵測及/或辨識之物件可為可由使用者及/或由主處理器220執行之應用程式選擇。參考發生可包括偵測之環境改變(諸如，自室內環境至室外環境之改變)、參考移動、場景中之快速移動(例如，指示下落)、朝向物件之運動(例如，指示碰撞之風險)、場景中指示危險之移動或物件(例如，用於火偵測之火)或其任何組合。在一些實施中，參考發生可與參考物件之偵測有關，或基於參考物件之偵測，如以下在圖2B中及本文中其他處進一步詳細地描述。在一些實施中，一旦在影像圖框中偵測到參考物件，則微處理器216可檢查看看隨後在後續影像圖框中是否偵測到同一物件。微處理器216可使用自周邊電路214接收到或由微處理器216自身產生的與偵測到之物件相關聯之位置資訊及其他資料判定參考發生之發生，該發生可基於參考物件之偵測。再次參照先前段落中的面部偵測之實例，若面部(參考物件)之偵測保持在影像陣列之視野中達臨限值時間週期，則面部偵測(參考發生)可發生，從而導致對應的面部偵測事件經發送至主處理器220。 圖2B說明一實例實施感測器系統(諸如，圖2A之感測器系統210)，其包括一感測器陣列單元、CV計算硬體及包括用於與第二微處理器之通信的一介面之微處理器。感測器陣列單元212可包括相關二重取樣電路。感測器陣列單元212亦可包括在將信號輸出至行緩衝器230前將感測器元件或像素信號或值組合、求和或平均之電路，例如，在使用組合像素值或較低解析度改良CV計算之實施中。行緩衝器230可包括一或多個行緩衝器以將表示來自感測器陣列單元212的影像或影像之部分之信號轉移至視覺感測器之其他部分。在一些實施中，感測器元件陣列212不同於更習知之感測器陣列單元，可不包括用於影像信號處理(ISP)之電路，且因此，圖2B說明在無插入ISP電路之情況下連接感測器陣列單元212與CV計算硬體242的實施，因此，在一些實施中，無ISP電路安置於感測器陣列單元212與硬體掃描窗陣列238或專用CV計算硬體242之間。舉例而言，在一些實施中，由CV計算硬體242自感測器陣列單元212接收到之信號可不經歷ISP，例如，信號尚未經歷缺陷校正、白平衡、色彩平衡、自動聚焦、鏡頭滾降、去馬賽克、去拜耳色彩轉換(debayering)或影像銳化或其任何組合。然而，在一些此等無ISP之實施中，一些處理(諸如，對焦或自動曝光校正)可能發生。尚未經歷ISP之此等信號可被稱作原始信號或原始感測器讀數或原始感測器資料。原始信號、原始感測器讀數或原始感測器資料可經轉換至數位，整合以形成整體影像，儲存於掃描窗及專用CV計算硬體中，可經組態以接收原始信號、原始感測器讀數或原始感測器資料，即使應理解，原始信號、原始感測器讀數或原始感測器資料已經歷一些資料操縱(包括求和或積分)，但尚未經歷ISP。在一個實施中，感測器陣列單元212為無ISP電路之四分之一視訊圖形陣列(QVGA)相機感測器，其中陣列包含216×240個感測器元件。 在各種實施中，CV計算硬體242可在數位或類比域中執行CV計算。因此，視情況，在數位實施中，類比至數位轉換器(ADC) 234可安置於行緩衝器230與CV計算硬體242之間。在一些實施中，CV計算硬體242在其為經設計以具有極少或不具有不同於計算CV特徵、標籤或描述符之功能性的硬體之意義上為專用CV計算硬體。 在一些實施中，CV計算硬體242可使用與感測器元件或像素之區塊相關聯的信號之組合、總和或平均值。在此等實施中，在輸入至CV計算硬體242內前，積分影像可用於計算此等組合、總和或平均值。舉例而言，為了將多於四個像素(例如，對於大於2×2之區塊，諸如，3×3或11×11)求和，求和可比使用積分影像快得多，此係由於僅需要添加或減去四個值以判定積分影像中的像素值之總和，而非對用於各別3×3或11×11影像區塊之9或121個值求和。因此，視情況，視覺感測器亦可包括用於基於表示由感測器陣列單元中的感測器元件(例如，像素)之至少一子集取樣之影像的信號之至少一子集計算影像之至少一部分之積分影像的二維整合硬體236。如所說明，二維整合計算硬體236可與專用CV計算硬體242通信。如前指出，與直接添加信號值相比，表示由感測器陣列單元取樣之影像的積分影像及/或由感測器陣列單元取樣的影像之一部分之積分影像可用以更快速地對用於感測器元件之區塊的信號值組合、求和或平均。二維整合硬體236可包括能夠基於來自感測器陣列單元212之原始信號產生表示由感測器陣列單元在數位或類比域中取樣的影像之所有或一部分之積分影像的信號之電路。在一些實施中，由二維整合硬體236產生之積分影像(其可為由感測器陣列單元取樣的影像之僅一部分或樣本窗之積分影像)可儲存於硬體掃描窗陣列238中，如圖2B中所說明。舉例而言，硬體掃描窗陣列可包括隨機存取記憶體(RAM)陣列或用於儲存積分影像的其他形式之類比或數位記憶體。在計算對應於感測器元件之區塊的信號之組合、總和或平均值並不有用之實施(諸如，像素級LBP)中，應理解，可不包括二維整合硬體236，且因此包括來自感測器陣列單元230之類比原始信號或來自ADC 234之轉換至數位原始信號的樣本窗可直接儲存於硬體掃描窗陣列238中。此外，應理解，在一些實施中，二維整合硬體236亦可或取而代之執行一維整合。類似地，硬體掃描窗陣列238可儲存對應於由感測器陣列230擷取的影像之樣本窗之一維積分影像。一維積分影像之使用可允許計算多區塊LBP，例如，使用經旋轉區塊以便偵測旋轉之參考物件，例如，面部。視情況，圖框緩衝器(未說明)可在二維整合硬體236前或後使用。在其中圖框緩衝器安置於二維整合硬體236前之實施中，全部圖框或影像可自感測器陣列單元212轉移至圖框緩衝器內。二維整合硬體236可接著產生儲存於圖框緩衝器中的影像之部分或窗之積分影像，且將此等窗儲存於硬體掃描窗陣列238中。替代地，二維整合硬體236可對全部影像積分且將全部積分影像儲存於安置於二維整合硬體236與硬體掃描窗陣列238之間的圖框緩衝器中，在此情況下，儲存於圖框緩衝器中的積分影像之窗可儲存於掃描窗陣列238中。然而，應理解，圖框緩衝器係可選的，且二維整合硬體236可接收對應於來自感測器陣列單元212的影像之窗或部分之資料，且在運作中將窗或部分積分且將此等積分影像窗儲存於硬體掃描窗陣列238中。 視覺感測器亦可包括CV計算硬體242。在一些實施中，CV計算硬體可至少部分基於與最接近感測器元件之區塊的複數個相鄰感測器元件相關聯之信號計算一或多個主體感測器元件之區塊之局部化CV特徵。舉例而言，在CV計算硬體之局部二進位圖案(LBP)實施中，CV計算硬體可包括接收對應於(例如，使用積分影像產生之)原始影像信號或原始影像信號之組合、總和或平均值之信號值的硬體，且基於原始影像信號產生數位LBP標記或向量。在計算多區塊LBP之實施中，一或多個主體感測器元件之區塊可包括m乘n個感測器元件(例如，11乘11個感測器元件)之區塊。亦應理解，在為其計算局部化CV特徵之一或多個主體感測器元件的區塊為單一主體感測器元件之情況下，亦可進行像素級LBP計算。雖然以上描述提及CV計算硬體312為與專用微處理器320分開，但應理解，在一些實施中，可按在專用微處理器320內之硬體來實施專用CV計算硬體312。 與計算處理器(例如，通用處理器，諸如，應用程式處理器或甚至微處理器216)中之CV特徵相比，在專用硬體中產生CV特徵(諸如，以上論述之LBP標籤)可減小視覺感測器之功率。然而，該視覺感測器仍然可包括耦接至CV計算硬體242之一微處理器216，以執行不同於CV特徵計算之功能(諸如，CV有關之運算或不同於CV特徵計算之計算)，或以執行相對於使用CV特徵計算硬體242執行之計算的額外CV特徵計算。微處理器216自CV計算硬體238接收硬體計算之CV特徵，且可執行較高層級電腦視覺操作，諸如，物件類別偵測(其中面部偵測可被視為特定情況，其他實例包括上部軀體、行人及汽車)，其中在各電腦視覺操作當中，任務為發現影像中屬於給定類別的所有物件之位置及大小。此外，微處理器216可將控制信號提供至行緩衝器230、ADC 234、二維整合硬體236、硬體掃描窗陣列238及CV計算硬體242。在一些實施中，為了執行物件類別偵測或其他電腦視覺操作，微處理器216可使用一級聯分類器演算法執行物件類別偵測，例如面部偵測。在一可選實施中，藉由在硬體中實施級聯分類器以進一步減小微處理器216上之計算負擔，進一步的省電係可能的。 可選級聯分類器硬體244包括一級聯分類器之一硬體實施。在一些實施中，使用關於影像之資料集的機器學習技術來訓練級聯分類器，包括將訓練級聯分類器偵測或分類的參考物件之實例，及非物件之實例，例如，面部及非面部之影像，或汽車及非汽車之影像，或上部軀體及非上部軀體之影像等。舉例而言，在一第一級，級聯分類器硬體可請求CV計算硬體242計算儲存於(例如)硬體掃描窗陣列238中的某一數目l 個主體感測器元件之LBP特徵。此外，主體感測器元件之位置{(x₁₁ , y₁₁ )、……、(x_1l , y_1l )}亦將由級聯分類器硬體244提供。一旦CV計算硬體242計算及提供所請求之LBP特徵(其可被視為向量值)，則級聯分類器硬體執行LBP特徵中之每一者與一或多個權數之內積的求和，以產生第一加權之純量和值。一般而言,每一LBP特徵(LBP₁₁ 、……、LBP_1l )將乘以一給定權數(w₁₁ 、……、w_1l )，其中之每一者可不同。接著將第一加權之純量和值與第一臨限值比較。若純量和小於臨限值，則對於一給定機率，在由儲存於硬體掃描窗陣列238中的信號表示之影像之部分中不存在參考物件，且因此級聯分類器硬體244將一信號發送至硬體掃描窗陣列238，且視情況發送至視覺感測器之其他組件(諸如，行緩衝器230及感測器陣列單元212)，以指示硬體掃描窗陣列238應繼續掃描及添加一或多個新行及/或列且移除一或多個舊行及/或列。在影像之後續窗或對應於感測器陣列單元之感測器元件之後續子集的後續複數個信號儲存於中硬體掃描窗陣列238中之情況下，程序可再次開始。應理解，影像之後續窗可能大部份與影像之先前窗重疊。在一些實施中，自左至右掃描影像，且一旦到達感測器陣列單元212之末端，則在向下移動一或多列後可再次自左至右掃描影像。在另一實施中，在向下移位一或多列後，可自右至左掃描影像，其可允許增大與先前影像之重疊。 若純量和取而代之大於第一臨限值，則級聯分類器硬體244移動至下一級。在下一(在此實例中，第二)級中，級聯分類器硬體再次請求CV計算硬體242提供在儲存於硬體掃描窗陣列238中之位置{(x₂₁ , y₂₁ )、……、(x_2m , y_2m )}處之m 個主體感測器元件的LBP特徵。一旦CV計算硬體242計算且提供請求之LBP特徵(LBP₂₁ 、……、LBP_2m )，則級聯分類器硬體244執行LBP特徵中之每一者與一或多個權數(w₂₁ 、……、w_2m )之內積的另一求和，以產生第二加權之純量和值。接著將第二加權之純量和值與第二臨限值比較。若該純量和小於第二臨限值，則存在參考物件存在於由儲存於硬體掃描窗陣列238中之信號表示之影像之部分中的低可能性，且級聯分類器發送信號至視覺感測器陣列中之另一組件以繼續掃描並移動至影像之下一部分。若第二加權之純量和值大於第二臨限值，則該程序如上所述繼續第三級。在最後級之末尾，例如，在N級級聯分類器中之第N級，若第N個加權之純量和值大於第N個臨限值，則在儲存於硬體掃描窗陣列238中的影像之部分中偵測到一參考物件。該級聯分類器硬體244可接著對微處理器216指示已偵測到參考物件，且可進一步視情況指示偵測到參考物件或參考物件之部分的影像之部分之位置。一般而言，級聯分類器硬體244可經組態以將偵測到參考物件之指示連同與參考物件相關聯之資料(諸如，在偵測參考物件之程序中計算的CV特徵中之所有或一些、在彼等CV特徵之影像內的位置或與由CV計算硬體242及/或級聯分類器硬體244執行之計算或操作相關聯的任何其他資料)一起發送至微處理器216。 硬體掃描窗陣列238內待在每一級計算LBP特徵、標籤或向量的主體感測器元件之數目及位置通常經程式化至級聯分類器硬體244內，且自上文所論述之機器學習訓練產生。類似地，對LBP特徵中之每一者倍增之權數亦通常在機器學習訓練期間判定，且接著經程式化至級聯分類器硬體244內。級之數目亦自訓練產生，且經程式化至級聯分類器硬體244內。在一些實施中，級聯分類器可包括1個與31個之間的級，例如，16個級。在一些實施中，級聯分類器可包括1個與31個之間的級，例如，16個級。在一些實施中，級聯分類器硬體244可被考慮為專用級聯分類器硬體，意為其為經設計以執行級聯分類器功能以及極少至無其他重要功能之硬體。雖然上文所描述之實施係關於基於實驗室中之先前訓練及機器學習基於經程式化權數及臨限值以產生模型之級聯分類器，但應理解，經設計以基於自CV計算硬體242接收之經硬體計算CV特徵執行CV操作的級聯分類器硬體244或周邊電路中之其他硬體可經設計以實地執行機器學習。 在剛剛描述之實施中，微處理器216可接著判定如何處理(例如)偵測到參考物件事件。舉例而言，其可發送事件至第二微處理器。在一些實施中，微處理器216及第二微處理器可對應於圖2A之微處理器216及主處理器220。如圖2B中所說明，微處理器216包括用於與第二微處理器通信之介面246。另外或替代地，微處理器216可隨著時間的過去追蹤偵測到之參考物件之位置(例如，在多個影像上)以判定(例如)示意動作移動辨識、碰撞風險、危險及/或其他事件。 更一般而言，一些實施例可藉由首先偵測物件、接著確定其他特徵來啟用廣泛範圍之功能性。關於此等實施例，可經由周邊電路(例如，級聯分類器硬體244及/或其他專用硬體)進行物件偵測，且額外操作可由微處理器216執行。舉例而言，可首先藉由物件之偵測、接著(例如，使用微處理器)判定物件已在相機之視野中達臨限值時間週期，來判定進入物件之視界。如上所指出，可藉由偵測示意動作控制物件(例如，手)，接著判定手之移動，來進行示意動作偵測。可藉由偵測物件及判定指示與該物件碰撞之風險的移動(例如，藉由相機、藉由在相機之視野內的第二物件等)來作出碰撞之風險。一般熟習此項技術者將認識到，可包括以上特徵之任何組合，及/或關於此等特徵之變化。 雖然以上描述將級聯分類器硬體244提及為與微處理器216分開，但應理解，在一些實施中，級聯分類器硬體244可按硬體實施於微處理器216內。又，在一些實施中，可對級聯分類器硬體244給予某一控制功能性以允許其(如所說明)控制CV計算硬體242及硬體掃描窗陣列238。因而，級聯分類器硬體242可自主地偵測來自微處理器216之特徵，且因此微處理器216可在級聯分類器硬體244執行其功能時處於低功率狀態中。因而，智慧型感測器可基於一或多個計算之CV特徵執行較低功率操作，且當(例如)偵測到物件時，級聯分類器硬體242可將事件(包括諸如感測器讀數之資料)提供至微處理器216，以喚醒微處理器216。微處理器216可接著判定下一個動作程序，例如，經由介面246將事件發送至第二微處理器。應理解，甚至在低功率狀態中，在一些實施中，微處理器216可仍然將控制信號提供至感測器陣列單元212、行緩衝器230等，或替代地或另外，此等控制信號可由較低功率控制邏輯提供。替代地，級聯分類器可作為軟體演算法在微處理器216上執行。此外，代替級聯分類器，可使其他軟體演算法在微處理器上執行。舉例而言，參考物件偵測可使用直方圖來執行，如在圖11C中所描述。在一些此等實施中，可將針對儲存於掃描窗陣列238中之影像之樣本窗計算的所有LBP標籤之直方圖與參考直方圖比較以偵測儲存於掃描窗陣列238中的樣本窗中之面部之存在。在一些實施中，可實施專用硬體以使用直方圖偵測(例如)面部。代替級聯分類器硬體244，或除了級聯分類器硬體244之外，此實施亦可包括此專用硬體。 在圖2B中所說明之實施中，行緩衝器230、ADC 234、二維整合硬體236、硬體掃描窗陣列238、CV計算硬體242、級聯分類器硬體244或其任何組合中之一或多者可被考慮為周邊電路，意即，在感測器陣列單元212周邊且可對應於圖2A之周邊電路214的電路。亦應理解，可將剛剛所列出之各種組件或其任何組合取而代之實施為感測器陣列單元212內之像素級電路。 圖3A至圖3C為說明可利用感測器系統210之組件提供低功率感測器處理的方式之方塊圖。此處，僅說明某些組件。應理解，感測器系統可具有額外組件，如圖2A及圖2B中所展示。在圖 3A 中，周邊電路214與感測器陣列單元212之複數個感測器電池輸出端耦接。感測器陣列單元212及/或周邊電路214包括專用CV計算硬體以使用複數個感測器電池輸出中之至少一子集執行特徵偵測計算，其中該複數個感測器電池輸出中之該子集對應於感測器陣列單元212 (例如，影像陣列)之包含相鄰感測器單元或像素的區域。因此，周邊電路214之輸出(至少部分)基於特徵偵測計算。此特徵偵測計算可包括使用感測器陣列單元212之可提供特徵偵測(例如，邊緣偵測、行偵測等)的相鄰感測器單元或像素之多種計算中之任一者。此等特徵偵測計算包含(例如) LBP、HSG及類似者。在一些實施例中，專用CV計算硬體可包含一積體電路。 在圖 3B 中，第一處理單元217與智慧型影像陣列213之一或多個輸出端通信耦接，其中多個感測器像素與記憶體及/或邏輯電路耦接。此處，第一處理單元217可對應於圖2A及圖2B之微處理器216，且智慧型影像陣列213可對應於圖2A及圖2B之感測器陣列單元212。智慧型影像陣列213可包括用於計算使用來自相鄰感測器像素之讀數計算的CV特徵之專用CV計算硬體，如上關於圖3A及/或圖2B所描述。如圖2A及圖2B中所展示，此等兩個組件可不直接彼此耦接，但可具有插入電路。第一處理單元217處理自智慧型影像陣列之一或多個輸出端接收到之信號以偵測參考發生。第一處理單元217接著產生指示參考發生之事件，以由第二處理單元(例如，圖2A之主處理器220)接收。 可基於自基於一或多個計算之CV特徵的操作產生之處理信號而產生。在一些實施中，此等操作可包括由級聯分類器(例如，圖2B之級聯分類器硬體244)執行以偵測面部之操作或計算。正基於自彼等操作產生之處理信號產生的事件可因此包括微處理器處理偵測到參考物件之信號，諸如，來自級聯分類器之指示。指示可包括與偵測到之物件相關聯的資料，諸如，位置、相關聯之LBP特徵及其位置及/或影像資料自身。此使微處理器能夠藉由當未偵測到參考物件時不分析影像資料來保存能量。 在圖 3C 中，設置類似於圖3B。此處，第一處理單元217與影像陣列216之一或多個輸出端通信耦接。再次，第一處理單元217可與圖2A及/或圖2B之微處理器216對應，且影像陣列216可類似地與圖2A及/或圖2B之感測器陣列單元212對應。然而，在此實施例中，第一處理單元217判定已偵測到面部，且針對第二處理單元產生面部偵測事件。取決於所要的功能性，第一處理單元217可為可操作的以使用自影像陣列216之一或多個輸出端接收到之一或多個信號偵測面部。雖然圖2A、圖2B、圖3B及圖3C中說明之實施描述發送至主處理器或第二處理單元之一事件，但在以下參看圖12至圖17進一步描述之一些替代性實施中，專用微處理器(諸如，參照圖2A及圖2B之微處理器216及參照圖3B及圖3C之第一處理單元217)可與傳統上將不被考慮為處理器之電路(諸如，I/O器件控制器)介面連接。此等實施可被稱作單處理器實施。如下文進一步描述，在替代性實施例中，I/O器件控制器亦可實施於專用微處理器內。圖 4 為說明根據一實施例的感測基於動態場景之發生之方法400之流程圖。如同本文中所提供之其他圖，圖4作為一非限制性實例提供。替代性實施例可包括圖中所展示之額外功能性，及/或圖中區塊中之一或多者中展示的功能性可被省略、組合、分開及/或同時執行。用於執行區塊之功能性之構件可包括電子器件之一或多個硬體及/或軟體組件，諸如，圖5中所說明且以下描述的行動器件之一或多個組件。一般熟習此項技術者將認識到許多變化。 方法400可開始於區塊410，其中專用CV計算硬體自感測器陣列接收影像資料。該影像資料可包括來自感測器陣列之複數個影像像素的感測器讀數。如前指示，專用CV計算硬體可實施於圖2A之感測器陣列單元212及/或周邊電路214中及/或併入至圖2A之感測器陣列單元212及/或周邊電路214內。(該感測器陣列可包括於感測器陣列單元212中。) 在區塊420處，一或多個CV特徵由專用CV計算硬體使用來自感測器陣列之相鄰感測器像素的讀數計算。此處，CV特徵可包括可使用(例如) LBP、HSG及/或其他計算而計算之邊緣、行及類似者。專用CV計算硬體之使用可實現快速且高效計算，而不需要使用比較起來較高之能量及/或處理能力。 在區塊425處，基於一或多個CV特徵執行一或多個CV操作。如前指出，此等操作可發生於周邊電路中。舉例而言，如關於圖2B所描述，級聯分類器可執行偵測面部或其他物件之操作，且將指示面部或其他物件之偵測的信號提供至一微處理器。然而，如下所指出，基於一或多個CV特徵執行CV操作可由周邊電路(例如，專用硬體)及/或微處理器中之任一者或兩者執行。執行CV操作之硬體及/或軟體組件可產生輸出信號(例如，級聯分類器之輸出、指示直接自CV計算HW接收的LBP計算之信號、在微處理器內內部產生之信號等)。該微處理器可使用此等信號中之一或多者判定參考發生(例如，面部偵測)已發生。 在區塊430處，判定一參考發生已發生。如先前所指示，參考發生可包括多種事件中之一或多者。此等可包括(例如)進入人面部之視界、人面部上表達之表情、進入非人類動物面部之視界、進入人手之視界、手示意動作、進入參考物件之視界、自室內環境至室外環境之改變、參考移動、指示下落的場景中之快速移動、指示碰撞之風險的朝向一物件之運動、指示危險的場景中之移動或物件或其任何組合。在一些實施例中，此等參考發生可為預定義的及/或可使用者組態。 在區塊440處，產生用於一第二處理單元之一事件，其中該事件指示參考發生。如本文中所使用，術語「事件」描述指示一參考發生的提供至一處理單元之資訊。此處，將該事件提供至一第二處理單元。在一些實施例中，該事件可簡單地包括一參考發生已發生之一指示。在一些實施例中，該事件可進一步包括偵測到的參考發生之類型之指示。該事件可由第一處理單元產生且發送至第二處理單元。在一些實施例中，在第一與第二處理單元之間可存在插入電路。 可注意到，取決於所要的功能性，由圖4中所說明之各種區塊執行的功能性可由感測器系統(例如，圖2A及圖2B之感測器系統210)之各種組件執行。舉例而言，區塊410及420之功能性可由像素級或周邊電路(例如，CV計算硬體)執行。舉例而言，區塊425之功能性可由一微處理器或專用硬體(例如，級聯分類器或其他專用硬體)執行。在一些實施例中，區塊425、430及440之功能性可皆由一微處理器執行。替代地，一些實施例可用周邊電路執行區塊425之功能性，且用一微處理器執行區塊430及440之功能性。一般熟習此項技術者將認識到若干變化。 再次參看圖2A，本文中描述的感測器系統210之實施例可進一步執行不同類型之功能，諸如，較低功率操作及較高功率操作，其係關於在各別較低功率及較高功率模式中使用之功率或能量消耗。舉例而言，在較高功率模式中，感測器系統可藉由利用如本文中所描述之專用CV計算硬體在感測器系統210自身內提供影像處理能力。應理解，本文中「較低功率」及「較高功率」之使用意欲為相對的。換言之，甚至在較高功率模式中，描述之感測器系統仍然可能能夠基於硬體計算之CV特徵使用比用以軟體執行CV演算法之一微處理器執行彼等相同基於CV之計算少的功率執行強大的基於CV之計算。如先前詳述，專用CV計算硬體可包括整合至感測器陣列單元212內之像素級電路(其可包括用於一些或所有像素之電路)，其能夠對每一各別像素執行處理，諸如，偵測相對於一或多個相鄰像素的感測之光強度、基於感測之光關於相鄰像素的色彩或強度之差異偵測物件之邊緣，及/或進行LBP、HSG及/或其他CV計算。除了像素級電路外或替代像素級電路，專用CV計算硬體可進一步包括周邊電路214，以執行此等計算中之一些或所有。當不需要較高功率操作時，實施例可停用或另外在低功率模式中操作感測器系統210之此專用CV計算硬體中之一些或所有，此可省電。因此，如本文中所描述，較高功率操作涉及專用CV計算硬體(例如，感測器陣列單元212及/或周邊電路214中之像素級電路)，而當專用CV計算硬體中之一些或所有經停用或在減小之功率狀態中時，執行較低功率操作。 在一個實例中感測器系統210可組態感測器陣列單元212以作為一單一像素操作。在此情況下，感測器系統210可停用所有像素級電路及/或周邊電路214。在此配置中，該陣列中之個別像素中之每一者對全部感測器陣列之單一感測值有影響。圖 5 展示圖2A之感測器陣列單元212之簡化說明。在感測器陣列單元212中，像素510按列及行排列且置放於接收光學器件之焦平面中以提供影像擷取。(為了清晰起見，圖5中僅少數像素510具有數字標籤)。應理解，感測器陣列單元之特徵(諸如，像素大小、縱橫比、解析度及類似者)可取決於所要的功能性而變化。舉例而言，圖5之簡化說明展示10×10像素陣列，但實施例可具有數百、數千或數百萬個像素(或更多)。 如前指示，每一像素510可包括一感測器以及像素級電路以針對像素510執行CV計算。另外或替代地，可包括周邊電路以針對該像素執行CV計算，如在本文中其他處所指示。繼續以上實例，感測器陣列單元212之像素級電路及/或周邊電路中的一或多個組件可停用以使感測器陣列單元212能夠以有功率效率方式對(例如)一轉所有像素而非一個像素執行較低功率操作，或讀取及組合來自所有像素之感測值以有效地作為僅一單一像素操作(被稱作「單一像素模式」。在此組態中，感測器系統210經組態以執行一或多個較低功率操作，諸如，環境光感測(ALS)、接近性偵測(PD)、對參考物件之接近性偵測或運動偵測。在一些情況下，可使用具有僅一單一像素之一感測器陣列充分執行此等功能中之每一者。 另外或替代地，感測器陣列單元212可按較低解析度實現感測器陣列單元212可作為複數個像素操作而非有效地作為僅一單一像素操作之組態。如圖 6 中所展示，感測器陣列單元212之像素510之子群組610可各自按類似於以上描述之單一像素模式之方式操作，藉此有效地作為具有多個像素之感測器操作(在圖6之組態中，四個子群組610有效地形成2×2像素陣列)。再次，舉例而言，在此模式期間可停用感測器系統210之專用CV計算硬體中之一些或所有(例如，周邊電路214及/或感測器陣列單元212之像素級電路)。在此組態中，感測器系統210可執行一或多個較低功率操作，諸如，ALS、PD、改變偵測(CD)或運動偵測(MD)。且雖然圖 6 之實例使用2×2個像素之表觀解析度，但可組態其他降低之解析度。再次，此等降低之解析度可包括聚集多個個別像素510以共同地作為較少數目個像素操作，或可包括停用感測器陣列單元212中的像素510中之一或多者，使得像素在其經停用時不感測光或不提供輸出。 如同關於圖3A至圖3C描述之操作，感測器系統210可經組態以在其正在較低功率操作中執行時偵測一或多個參考發生且產生一或多個對應的事件。舉例而言，感測器系統210可併入至行動電話內，且經組態以當用於單一像素310之感測值指示由感測器系統210偵測到的光之量之顯著增大時偵測到參考發生。偵測到的光之量之此改變可指示已自使用者之口袋取回行動電話或已自桌面或床頭櫃拾取行動電話。感測器系統210當在較低功率操作中時可判定此參考發生已發生且產生指示針對主處理器220之參考發生的事件。在偵測到此事件後，感測器系統210可進一步啟動專用CV計算硬體以使較高功率操作能夠執行不同類型之CV操作，諸如，面部偵測及面部辨識。圖 7 為說明用於使用作為光學感測器之感測器系統之一實例方法700之簡化流程圖。如同本文中所提供之其他圖，將圖7作為一非限制性實例提供。另外，方法700可廣泛應用於本文中描述之實施例，包括圖4中展示的感測基於動態場景之發生之方法400。用於執行圖7中所說明的區塊之功能性之構件可包括感測器系統(諸如，圖2A之感測器系統210)之一或多個硬體組件。在一些實施例中，構件可進一步包括一主處理器，諸如，圖2A之主處理器220。且雖然以下將方法500描述為由圖2A之感測器系統210執行，但實施例不限於此感測器系統。 方法700可開始於區塊710，此時，感測器系統210起始較低功率操作。舉例而言，在一個態樣中，感測器系統210起始ALS操作、PD操作、CD操作或MD操作中之一者。在此態樣中，感測器系統210藉由停用專用CV計算硬體而起始較低功率操作，且組態感測器陣列單元212以按降低之解析度操作。如上所論述，在不同實例中，降低之解析度可包括一單一像素模式。在一些實施例中，感測器系統210可起始複數個較低功率操作，諸如，ALS操作及PD操作兩者、CD操作及MD操作，或ALS操作、PD操作、CD操作及MD操作中之所有四個。在起始較低功率操作後，方法700繼續進行至區塊720。 在區塊720處，當執行較低功率操作時，感測器系統210偵測參考發生。在感測器系統210經組態以執行ALS功能之一個實例中，感測器系統210產生至少一個較低功率光學感測器讀數，其可用以偵測參考發生。舉例而言，較低功率光學感測器讀數可指示環境光量之改變，且當感測的光之等級按高於參考臨限值之速率改變或按高於參考臨限值之速率改變色彩時，感測器系統210可基於較低功率光學感測器讀數偵測參考發生。 在另一實例中，感測器系統210經組態以執行PD功能。在此實例中，感測器系統210進一步包括一光發射器(諸如，發光二極體(LED))，且感測器陣列單元212經組態以偵測反射的光之量。當偵測到的反射之光量超過一臨限值時，感測器系統210偵測到參考發生。舉例而言，感測器系統210可偵測到指示物件在感測器系統210附近之一參考發生。在一個態樣中，當偵測到的反射之光量低於一臨限值時，感測器系統210可偵測到一參考發生。舉例而言，感測器系統210可偵測到物件不再在感測器系統210附近之一事件。 在一個實例中，感測器系統210經組態以執行CD功能。改變偵測可偵測超過一臨限值的場景之改變，其中此場景改變對應於一參考發生，例如，如在圖7之區塊720中所描述。參看圖2B，在一些實施中，硬體掃描窗陣列238、CV計算硬體242、級聯分類器244及/或專用微處理器216或其任何組合可經停用或處於低功率模式中。如此處所使用，停用意欲指示此組件處於減小之功率狀態中，此係因為其功能性未被正利用，或與其正常操作相比，其功能性急劇地減少。因此，在此狀態中，與涉及CV特徵計算及後續CV操作之正常操作相比，感測器系統可在較低功率模式中操作。用於感測器陣列單元212中的像素之大區塊(例如，如圖6中所說明，對應於子群組610之區塊)之像素值可求和以得到表示每一區塊中之所有像素值的一單一值。此求和可使用由二維整合硬體236提供之積分影像來計算，且儲存於(例如)積分影像圖框緩衝器(圖2B中未展示)中。接著可及時地將不同各圖框之區塊總和比較。在一給定區塊中，若與前一圖框相比，來自當前圖框的總和值之改變大於一參考改變臨限值，則可偵測到場景改變參考發生。在一替代性實施例中，僅當參考最小數目個區塊登記此改變時，將偵測到場景改變參考發生。舉例而言，在具有劃分成81個區塊(像素分群成9乘9陣列，其中9乘9陣列中之每一區塊包括像素子陣列)之感測器元件陣列的系統中，可如上所述偵測每一區塊之改變，且可僅在三個、四個或另一數目個區塊登記改變時，觸發場景改變參考發生。在偵測到場景改變後，感測器系統210可進一步啟動硬體掃描窗陣列238、CV計算硬體242、級聯分類器244及/或專用微處理器216之任何組合。應理解，以上描述之CD操作可在不使用積分影像或二維整合硬體之情況下實施，但可使用其他硬體判定求和之區塊值。 在一個實例中，感測器系統210可經組態以執行MD功能。在此實例中，感測器系統210組態感測器陣列單元212以具有大於2×2像素解析度但小於感測器陣列單元212中的像素之最大解析度的降低之解析度。在此實例中，感測器系統210經組態以偵測在不同有效像素處的感測之光之相對改變。在此實例中，感測器系統210分析在有效像素(例如，如圖6中所展示之子群組610)中之每一者處感測的光之量，判定在每一有效像素處相對於至少一個其他有效像素感測的光之量之間的第一差集合。感測器系統210接著偵測在有效像素中之每一者處感測的光之第二量，及判定在每一有效像素處相對於至少一個其他有效像素感測的光之量之間的第二差集合。感測器系統210接著基於第一集合及第二集合判定差之改變。若差之改變超過一參考運動臨限值，則感測器系統210偵測到一參考發生。在一個態樣中，若第一有效像素指示感測到的光相對於第二有效像素之正改變，且隨後第一有效像素指示感測到的光相對於第二有效像素之負改變，則感測器系統210可偵測到一運動事件。 在區塊720處的參考發生之偵測可接著觸發至少一個較高功率操作之起始。在區塊730中，感測器系統210藉由啟用專用CV計算硬體來起始較高功率操作。舉例而言，感測器系統210可起始面部偵測操作或面部辨識操作，或示意動作辨識操作。替代地，感測器系統210可起始物件偵測操作以偵測參考物件在由感測器系統210擷取之影像中之存在。 在觸發較高功率操作之參考發生為PD操作之情形中，在由感測器系統210擷取之影像中的參考物件之偵測可指示參考物件之接近性。因此，在此實例方法中，較高功率操作係基於較低功率操作與較高功率操作之間的單向相依性關係。在此實例中之單向相依性關係係關於僅在較低功率操作偵測到參考發生後發生之較高功率操作。 另外，較高功率操作可基於評估至少一個較低功率光學感測器讀數。舉例而言，如上所論述，感測器系統210可執行較低功率ALS操作及起始較高功率操作。在一些實例中，較高功率操作亦可評估來自較低功率ALS操作之感測器讀數。舉例而言，較高功率操作可包括面部偵測或辨識功能。在一個態樣中，感測器系統210可評估ALS感測器讀數以判定環境光位準，及當執行面部辨識功能時調整曝光時間或孔隙大小。或在一些態樣中，PD功能可產生一感測器讀數，較高功率操作可評估該感測器讀數以判定對偵測之物件的估計範圍。在一些態樣中，感測器系統210可起始其他或多個較高功率操作。在一些態樣中，感測器系統210可重複執行方法700。舉例而言，在執行較高功率操作後，感測器系統210可重新開始方法700，且藉由起始較低功率操作來執行區塊710處之功能性。舉例而言，在偵測到場景改變後，感測器系統210可進一步啟動額外組件(例如，硬體掃描窗陣列238、CV計算硬體242、級聯分類器244及/或微處理器216)之任何組合以執行一或多個較高功率操作。一旦執行較高功率操作，則感測器系統210可接著回復到較低功率模式。 雖然已將圖7之方法700描述為一連串較低功率及較高功率操作，但在一些實例中，感測器系統210可實質上同時執行較低功率及較高功率兩個操作。舉例而言，在區塊730處，在執行較高功率操作後，感測器系統210可起始較低功率操作，但繼續執行較高功率操作。因此，在一些實例中，在區塊710處，在感測器系統210正執行較低功率操作時，感測器系統210亦可執行額外功能(諸如，較高功率操作)，且藉由起始較低功率操作，感測器系統210可不獨佔地執行較低功率操作。另外，當感測器系統210在區塊730處起始較高功率操作時，在一些實例中，感測器系統210可繼續執行較低功率操作。圖 8 展示用於將感測器系統用作光學感測器之一實例方法800。再次，將關於圖2A中展示之實例感測器系統210論述方法800，但該方法不限於此感測器系統。 該方法800開始於區塊810，其中感測器系統210起始一較低功率操作，如上關於圖7之方法700所論述。在區塊820處，當執行較低功率操作時，感測器系統210偵測到一參考發生，如上關於圖7之方法700所論述。在偵測到參考發生後，該方法800繼續進行至區塊830。 在區塊830處，感測器系統210提供用於一較高功率操作之一參數值。在一個實例中，感測器系統210將環境光之一位準作為用於一較高功率操作之一組態設定提供。在此實例中，感測器系統210可將參數值作為與光強度或自動曝光參數相關聯之一組態設定提供，或給參數值提供用於一影像之一積分時間。在另一實例中，感測器系統210提供至一物件的估計之距離。在一個此實例中，若感測器系統210執行PD操作且偵測到一物件，則感測器系統210提供至該物件的估計之距離或偵測到的反射光之量。在另一實例中，感測器系統210將運動方向提供至較高功率操作。在一個此實例中，感測器系統210可經組態以執行較低功率MD操作及/或區塊登記改變之移動(見以上CD之論述)，且基於感測到之光隨著時間的過去之相對量之改變，偵測運動方向。可將運動之方向提供至一較高功率操作，諸如，示意動作偵測操作。 在一些實施例中，感測器系統210可經組態以提供指示由感測器系統210檢視之場景是否有可能為室內場景或室外場景之一參數。舉例而言，若環境光之位準高於一預定義之臨限值，則感測器系統210可提供指示該場景為室外場景之一參數，而若環境光低於第二預定義之臨限值，則感測器系統210可提供指示該場景為室內場景之一參數。在一些實例中，可基於按一或多個頻率偵測到之峰值強度進行室內/室外判定。 在一些實施例中，感測器系統210可經組態以提供指示場景中之所關注區域之參數參數。在一個實例中，感測器系統210已組態感測器陣列單元212以按3×3個有效像素之降低之解析度操作。在此實例中，感測器系統210可判定所關注之有效像素，其可基於偵測到的環境光之改變、接近性偵測參考發生、有效像素中之一或多者中的改變偵測及/或偵測到之運動方向。在一個實例中，感測器系統210可經組態以提供與參考發生頻率相關聯之一參數。在此實例中，感測器系統210偵測一事件之多個發生且判定該事件發生之頻率。 根據一些實施例，可使用一參數判定一較高功率操作。在一個實例中，一參數可指示CV特徵選擇操作。舉例而言，該參數可基於光之強度指示是否使用LBP功能、HSG功能或CV功能。在感測器系統210提供參數後，該方法繼續進行至區塊840。 在區塊840處，感測器系統210使用如上所論述之參數(在區塊830處提供)起始一較高功率操作。 如上關於圖7之方法700所論述，雖然圖8之方法800已經描述為一連串較低功率及較高功率操作，但在一些實例中，感測器系統210可實質上同時執行較低功率及較高功率兩個操作。舉例而言，在區塊840處，在執行較高功率操作後，感測器系統210可起始較低功率操作，但繼續執行較高功率操作。因此，在一些實例中，在區塊810處，在感測器系統210正執行較低功率操作時，感測器系統210亦可執行額外功能(諸如，較高功率操作)，且藉由起始較低功率操作，感測器系統210可不獨佔地執行較低功率操作。另外，當感測器系統210在區塊840處起始較高功率操作時，在一些實例中，感測器系統210可繼續執行較低功率操作。此處，並不停用專用CV計算硬體以執行較低功率操作，感測器系統210可繼續用啟用之專用CV計算硬體操作。然而，較低功率操作可簡單地不利用專用CV計算硬體。圖 9 展示用於將感測器系統用作光學感測器之一實例方法。如同本文中描述之其他方法，將關於圖2A中展示之實例感測器系統論述方法900，但該方法不限於此感測器系統。 方法900開始於區塊910，其中感測器系統210起始一較高功率操作，如上所論述。在區塊920處，感測器系統210基於在區塊910處之較高功率操作而偵測一參考發生，諸如，面部偵測或面部辨識。在偵測到參考發生後，該方法900繼續進行至區塊930。 在區塊930處，感測器系統210提供用於一較低功率操作之一參數值。在一個實施例中，較高功率操作可偵測在感測器系統210附近之一物件，且在一些實例中，系統亦可判定至該物件之一估計距離。感測器系統210可將指示物件之存在的包含一參數之一事件提供至較低功率操作，或亦可(或取而代之)提供指示至該物件之距離的一參數。此參數可由較低功率操作用以輔助或增強PD功能。舉例而言，PD功能可能能夠基於該參數更準確地偵測在感測器附近之物件，諸如，藉由確立或調整臨限強度等級。 在一些實施例中，感測器系統210可提供指示至光源之方向的一參數。舉例而言，較高功率操作可偵測一經照射之物件或一反射性物件，及物件之位置或至該物件之方向。感測器系統210可基於較高功率操作提供指示至光源之方向的一參數。較低功率操作可使用此參數，例如，在執行ALS時。在一個實例中，較高功率操作可判定由感測器系統210檢視之場景為室內或室外場景。感測器系統210可將一參數提供至該較低功率操作。舉例而言，該參數可輔助或增強較低功率操作，諸如，藉由經由提供與用於偵測環境照明之改變的一臨限值相關聯之資訊來輔助ALS功能。 在一些實施例中，實例感測器系統210提供指示房間之佔用或在由感測器系統210檢視之場景中可見的人之數目之一指示符的一參數。舉例而言，一較高功率操作可偵測由感測器系統210檢視之場景中的一或多個面部或一或多個人。感測器系統210可接著提供指示場景中的人或面部之數目之一參數，或一區之佔用等級之一指示符。在一個實例中，諸如MD功能之較低功率操作可使用此資訊更好地偵測運動，或減小MD功能對運動之敏感性。舉例而言，若感測器系統210提供指示高佔用率之一參數，則MD功能可切換至需要更強運動指示之一預定臨限值，且因此MD功能對運動不太敏感。替代地，若感測器系統210提供指示低佔用率之一參數，則MD功能可在偵測運動事件時增大其敏感性。在另一實例中，較高功率操作可設定用於以上描述之CD操作的區塊之臨限值及/或最小數目。 在區塊940處，感測器系統210使用該參數起始一較低功率操作。舉例而言，感測器系統210可如上關於圖7及圖8所描述起始一較低功率操作。在此實例中，該較低功率操作在起始後經組態以使用該參數。舉例而言，如上所論述，一PD功能可能能夠基於該參數更準確地偵測在感測器附近之一物件，諸如藉由確立或調整一臨限強度等級。在一個實例中，該參數可輔助或增強較低功率操作，諸如，藉由藉由提供與用於偵測環境照明之改變的一臨限值相關聯之資訊來輔助ALS功能。 一些實施例可重複執行方法900。舉例而言，在執行較高功率操作後，感測器系統210可重新開始方法900且在區塊910處起始一較低功率操作。 如上關於圖7及圖8之方法700、800所論述，雖然已將圖9之方法900描述為一連串較高功率及較低功率操作，但在一些實例中，感測器系統210可實質上同時執行較低功率及較高功率兩個操作。舉例而言，在區塊940處，在執行較低功率操作後，感測器系統210可起始較高功率操作，但繼續執行較低功率操作。因此，在一些實例中，在區塊910處，在感測器系統210正執行較高功率操作時，感測器系統210亦可執行額外功能(諸如，較低功率操作)，且藉由起始較高功率操作，感測器系統210可不獨佔地執行較高功率操作。另外，當感測器系統210在區塊940處起始較低功率操作時，在一些實例中，感測器系統210可繼續執行較高功率操作。 在一些實施例中，可組合一或多個方法。舉例而言，圖7或圖8之方法可與圖9之方法組合。舉例而言，在完成圖7之方法700之區塊730後，該方法可繼續進行至圖9之方法900之區塊920。在一個實例中，在完成圖8之方法800之區塊840後，該方法可繼續進行至圖9之方法900之區塊920。亦預料到再另外的組合。圖 10A 展示可由感測器系統210執行的電腦視覺計算及較低功率光學感測器讀數之一實例狀態圖。圖10A包括兩個狀態——較低功率操作狀態1010及較高功率操作狀態1020。在較低功率操作狀態1010中，感測器系統210經組態以執行一或多個較低功率操作且可獲得一或多個感測器讀數。在較高功率操作狀態1020中，感測器系統210經組態以執行一或多個較高功率操作(諸如，電腦視覺計算及操作)，且可獲得一或多個感測器讀數。在一些實施例中，感測器系統210經組態以在較低功率操作狀態1010或較低功率操作狀態1020中，但不同時在兩者中。在一個此實例中，感測器系統210經組態以基於感測器讀數自一個狀態轉變至另一狀態，此可建立該等狀態之間的單向相依性關係。舉例而言，在一個實例中，較高功率操作之執行取決於來自較低功率操作之感測器讀數，或較低功率操作之執行取決於來自較高功率操作之感測器讀數。 然而，在一些實例中，感測器系統210可經組態以實質上同時在兩個狀態1010、1020中操作。舉例而言，在一個實例中，感測器系統210可包含複數個感測器陣列單元212，其中之一者可經組態以執行較低功率操作，且其中之另一者可經組態以執行較高功率操作。在一些實例中，210可細分感測器陣列單元212，使得感測器陣列單元212之一部分經組態以執行較低功率(或操作)，而感測器陣列單元212之另一部分經組態以執行較高功率操作(或多個操作)。在感測器系統210經組態以實質上同時在兩個狀態1010、1020中操作之一個實例中，可基於來自該等狀態中之一者的引起在另一狀態中的一特定操作之起始或引起在另一狀態中的操作之重新組態之一感測器讀數建立單向相依性關係。在一些實施例中，在一個狀態中之操作可提供可由在另一狀態中之一操作使用的一或多個參數值，諸如，可在圖10B中看出。圖 10B 展示用於可該感測器系統210執行的電腦視覺計算及較低功率光學感測器讀數之一實例狀態圖。圖 10B 包括以上關於圖10A描述之狀態，並且亦包括回應於在狀態1010、1020中之一或兩者中之事件偵測在狀態1010、1020之間穿過的狀態轉變或資訊。如同圖10A中之狀態圖，感測器系統210可依序在兩個狀態1010、1020之間轉變，或可同時在兩個狀態1010、1020中操作。感測器系統210可經組態以在該等狀態中之每一者中偵測事件。參考發生之實例較早先在本發明中描述。如圖10B中所展示，感測器系統210基於自一個狀態中之功能至另一狀態中之一或多個功能的偵測之事件，提供一或多個參數值。 舉例而言，若感測器系統210正在較低功率操作狀態1010中執行PD操作且在感測器系統210附近偵測到一物件，則感測器系統210在較高功率操作狀態1020中將一參數值(諸如，指示偵測到物件或至該物件之一估計範圍之一旗標值)提供至電腦視覺功能，諸如，面部偵測功能。在一些情形中，感測器系統210亦可自較低功率操作狀態1010轉變至較高功率操作狀態1020；然而，感測器系統210可使用該一或多個參數值啟動或繼續執行在較高功率操作狀態1020中之操作。感測器系統210亦可在較高功率操作狀態1020中偵測事件，且將一或多個參數值提供至一較低功率操作，且感測器系統可轉變至較低功率操作狀態，或使用該一或多個參數值啟動或繼續執行在較低功率操作狀態1020中之操作。 圖11A、圖11B及圖11C說明根據一些實施例的將來自複數個感測器元件之感測器讀數轉換至CV特徵之程序。圖 11A 說明來自一感測器陣列單元(例如，圖2A或圖2B之感測器陣列單元212)之複數個感測器元件的一群感測器讀數(窗1102)，其經考慮用於產生直方圖及偵測特徵。圖 11B 說明產生用於中心感測器元件1104之二進位臨限值以用於產生一LBP標籤的程序。圖2B之CV計算硬體242可包括用於計算LBP標籤之硬體。針對中心感測器元件產生之標籤可由二進位值1111000表示。類似地，針對來自窗1102之九個感覺元件中之每一者產生一LBP標籤。每一標籤可自主體感測器元件之角度提供一CV特徵之指示。可針對對應於感測器陣列中之多個主體感測器元件的信號重複產生標籤之定限。圖11B中所說明之像素級LBP可擴大以包括多區塊LBP，其中藉由比較對應於一或多個主體感測器元件之一區塊與其相鄰感測器元件區塊之一值(諸如，與區塊中之一或多個主體感測器元件相關聯的值之總和)，針對一或多個主體感測器元件中之該區塊產生說明之二進位臨限值。可藉由計算一積分影像來有助於對應於感測器元件之區塊中之每一者的值之計算。類似地，應理解，亦可類似地計算LBP之擴展，諸如，局部三進位圖案(LTP)，其取決於主體感測器元件與相鄰感測器元件之間的差提供三個輸出。舉例而言，在LTP之一個實施中，若對應於相鄰感測器元件之信號大於對應於主體感測器元件之信號加一臨限值，則輸出為一，若與對應於主體感測器元件之信號相比，對應於相鄰感測器元件之信號在臨限值內，則輸出為零，且若對應於相鄰感測器元件之信號小於對應於主體感測器元件之信號減該臨限值，則輸出為負一。圖 11C 說明用於一窗之正規化直方圖，例如，表示來自一感測器元件陣列的感測器元件之某一子集之窗，其自用於來自該窗之感測器元件中之每一者的複數個標籤產生，該窗例如儲存於圖2B之硬體掃描窗陣列238中的一樣本窗。如圖11C中所展示，用於來自窗1102之感測器讀數的LBP標籤中之每一者可落在具有(例如)256個槽之直方圖上任何處。因此，舉例而言，當比較一主體感測器元件與其八個相鄰者時，將產生一8位元數，其意謂256個不同LBP標籤係可能的。直方圖可表示給定LBP標籤中之每一者實際上在該窗中產生之次數。為了判定一面部存在於窗中，在一個實施中，可將產生之直方圖與面部之參考直方圖比較。為計算產生之直方圖與參考直方圖之間的相交，且可自相交之總和產生純量和。若純量和大於一臨限值，則對於一給定機率，在該窗內偵測到一面部。參考直方圖及臨限值通常使用關於(在此實例中)樣本面部及樣本非面部之數據集及其LBP直方圖的機器學習演算法在訓練階段中判定。一旦參考直方圖及臨限值在訓練階段中判定了，則對於同一架構，其可在(例如)圖2A或圖2B之微處理器216中程式化，或替代地，以上直方圖程序可由用於計算對於一影像內之一給定窗的直方圖且判定面部或其他物件是否存在於窗內(類似於在以上圖2B中論述之級聯分類器硬體244)之專用硬體執行。應理解，替代將LBP標籤用於直方圖產生或除了將LBP標籤用於直方圖產生外，LBP標籤亦可由級聯分類器用於物件偵測，如在圖2B中所論述。用於 CV 計算硬體 控制及應用執行之單處理器系統 圖 12 描繪根據本發明之一實施例的用於部署用於處置電腦視覺硬體控制及應用程式執行之一低功率、單處理器系統之一應用環境1200。此低功率、單處理器系統良好地適合於許多不同類型之應用。此處，展示一玩具泰迪熊1210，其中一使用者(亦即，兒童) 1220正接近該泰迪熊1210。在泰迪熊1210內部之一低功率、單處理器系統處理來自一相機(例如，位於泰迪熊之眼睛內部)之影像，且執行基於影像之特徵偵測以偵測人臉。當偵測到人臉時，泰迪熊1210播放音樂曲調，或開始說話。可由玩具或其他器件回應於偵測到人臉而採取的可能動作之其他實例可包括將燈接通、移動機械組件及/或其他I/O操作。 雖然在圖12中描繪之實例中論述面部偵測，但亦可實施其他形式的參考發生之基於影像之偵測，如本文中其他處所描述。本文中揭示之基於視覺之系統可用以偵測廣泛多種不同類型之目標物件或參考/物件出現。一些非限制性實例包括：(1)人偵測，亦即，偵測人外形/身體(例如，如與動物或非生物物件相反)，(2)偵測特定種類之動物(例如，大型動物、小寵物等)，(3)偵測特定種類之物件(例如，桌子、椅子等)，(4)偵測某一玩具或某一類型之玩具(例如，「寵物」玩偶)，及許多其它。 應用環境1200之一重要態樣為可用於電腦系統之有限功率資源。舉例而言，展示泰迪熊1210未經由電纜或電線連接至電源。一般而言，諸如泰迪熊1210之玩具在其正常操作中依賴於電池電力。此為許多玩具應用、物聯網(IoT)應用及其他I/O器件應用之典型情境。意即，功率資源可很有限，且常常基於電池。 基於視覺之偵測與有限功率資源之組合對在應用環境1200中展示之電腦系統造成顯著的難題。基於視覺之偵測(例如，以偵測人臉)通常需要複雜之影像處理。利用一典型通用處理器進行軟體例程及演算法以實施此影像處理將需要大功率消耗，此不適合於在延長之時間週期內僅有限功率資源可用之應用類型。同時，為了電腦系統廣泛地可適應於各種類型之應用(諸如，不同玩具應用、物聯網(IoT)應用及其他I/O器件應用及類似者)，系統較佳地可程式化且足夠靈活以執行不同應用程式。圖 13A 為根據本發明之一實施例的在利用多個軟體組件用於處置電腦視覺硬體控制及應用程式執行之低功率、單處理器系統1300中的組件之方塊圖。如所展示，單處理器系統1300包含一視覺感測器系統1310，其通信耦接至一I/O器件控制器1340。視覺感測器系統1310包含一視覺感測器陣列單元1312、周邊電路1314、一專用微處理器1320及記憶體1330。 視覺感測器系統1310可類似於圖2A之感測器系統210或圖2B之感測器系統。視覺感測器系統1310接收包含在可見光譜中之光的視覺輸入。視覺輸入由視覺感測器陣列單元1312按一或多個影像之形式擷取。視覺感測器陣列單元1312包含按陣列排列之複數個像素。視覺感測器陣列單元1312可為進一步包含實體透鏡及其他組件的一感測器之部分。周邊電路1314對由視覺感測器陣列單元1312擷取之影像資料操作。周邊電路1314可包括諸如圖2B中所說明之子系統的子系統，諸如，ADC 234、2D整合硬體236、硬體掃描窗陣列238、CV計算硬體242及級聯分類器硬體244。 視覺感測器系統1310之子系統可對該影像資料執行電腦視覺操作(諸如，LBP及其他操作)，以便偵測在由視覺感測器陣列單元1312擷取之一或多個影像中的特徵。某一特徵偵測操作可涉及計算隨著時間的過去之統計(例如，針對運動)、已改變的面積之量(例如，像素之數目)等。如所論述，可基於在一所擷取圖像內計算之電腦視覺特徵的一類物件偵測包括面部偵測，但可實施其他類型之物件偵測。結果可輸出及/或儲存於記憶體1330中。藉由使用CV計算硬體(諸如包括於周邊電路1314中之CV計算硬體)執行CV操作及利用專用處理器1320控制CV硬體操作，視覺感測器系統1310按很低之功率消耗操作。 專用微處理器1320支援包括一作業系統(OS)、應用軟體等之一軟體環境1322。專用微處理器1320可能能夠在不同模式中操作，包括(例如)較低功率模式(例如，睡眠模式、斷電模式等)及較高功率模式(例如，喚醒模式、正常模式等)。專用微處理器1320充當雙角色：(1)控制電腦視覺硬體之操作，及(2)執行應用程式以實現專用I/O操作，例如，基於諸如基於CV操作的參考發生之偵測的結果。 如圖中所展示，專用微處理器1320利用不同軟體組件用於處置電腦視覺硬體控制及應用程式。一個此軟體組件為CV硬體控制器1324。軟體實施之CV硬體控制器1324可建置為在專用微控制器1320之軟體環境內執行的OS、驅動程式及/或應用程式之部分。CV硬體控制器1324可控制影響CV計算硬體(諸如，周邊電路1314)之操作的一或多個參數。 此參數之一實例為有限搜尋區參數，其可包含識別由視覺感測器陣列單元1312擷取之影像之視野內的一有限搜尋區之一或多個值，以有助於更高效地搜尋一特定特徵(例如，人臉)。以下結合圖14進一步詳細地描述此有限搜尋區。影響CV計算硬體之操作的參數之其他實例可包括影響計算極限、解析度、速度、效率及類似者之參數。此等CV計算參數包括偵測之物件大小、目標真實肯定及假警報率、取樣密度及資料之預處理/調節。舉例而言，減小之物件大小可減少執行時間，此係因為搜尋目標特徵將按更有限之規模發生。影響CV計算硬體之操作的其他參數包含(例如)用於機器學習(ML)模型之值。參數及/或MC模型值之實例包括待由LBP或LTP計算硬體使用之臨限值、用於產生以上參照圖2B之級聯分類器244論述之純量加權平均值之權數、將純量加權平均值與之比較的臨限值、級聯分類器244之級數。參數之其他實例可包括用於根據在圖11C中描述之實施偵測參考物件之存在的參考直方圖。係關於ML模型化的參數之額外實例包括用於調諧模型複雜性之參數、訓練參數及正與負訓練參數等。CV計算硬體可在特徵之偵測中併有機器學習。此處，ML模型之值可自訓練獲得，且可由製造商及/或由使用者(若實施使用者訓練)提供。然而，更一般而言，專用微處理器1320控制CV計算硬體，例如，藉由載入模型，模型可包括待用於CV特徵計算之臨限值。另外或替代地，專用微處理器1320直接地或間接地藉由指導CV計算硬體來控制CV計算硬體(如在圖2B中所描述，其中級聯分類器244控制CV計算HW 242，但級聯分類器244可由專用微處理器1320指導)，以在自視覺感測器陣列單元1312接收到圖框後執行參考物件偵測。 展示為專用微處理器1320之部分的另一軟體組件為應用程式1326。應用程式1326依賴於基於CV計算硬體之操作產生的事件(例如，面部偵測事件或指示參考發生之偵測的其他事件)之結果。應用程式1326亦指定待發生之回應，詳言之，待回應於偵測到之事件而執行之I/O操作。應用程式1326可與I/O器件控制器1340通信以實現所要的I/O操作。舉例而言，返回參看圖12中展示之泰迪熊1210，泰迪熊1210之製造商可指定一應用程式1326且將其載入至記憶體1330內，該記憶體可包括諸如EEPROM之非揮發性記憶體或快閃記憶體，快閃記憶體可為可程式化的，或由包括應用程式之經預程式化記憶體實體替換。應用程式1326可在自周邊電路1314接收到事件後控制泰迪熊1210之回應。在此情況下，當偵測到人臉時，泰迪熊1210播放音樂音調。音樂音調可為可由耦接至I/O器件控制器1340之音訊揚聲器(未圖示)播放之預定數位音訊檔案。此處，I/O器件控制器可為包含各種組件(諸如，記憶體、編解碼器、數位至類比(D/A)轉換器等)之音訊控制器。 專用微處理器1320主要地專用於控制CV計算硬體及執行回應於基於CV操作產生之事件的應用程式之任務。藉由將CV操作卸載至CV計算硬體且朝向CV硬體操作之控制及影響I/O操作的特定應用程式之執行引導專用微處理器1320之可用處理能力，圖13A中展示之低功率、單處理器系統1300能夠平衡對於減小之功率消耗連同進行不同應用程式且支援廣泛範圍之I/O操作的需求。 雖然專用微處理器1320在圖13A中展示為能夠支援包括作業系統(OS)及應用程式之軟體環境的處理器，但在其他實施例中，專用微處理器可包含支援更基本功能性之更簡單電路。僅作為一實例，可使用支援功能及/或回叫之簡單狀態機。在某些情境中(例如，在低端系統中)，可不存在對於作業系統(OS)之支援。根據本發明之各種實施例，此更簡單電路可用以降價成本及複雜性，同時仍伺服控制電腦視覺計算硬體之操作以及控制一或多個I/O器件之操作的雙重任務。圖 13B 為根據本發明之一實施例的在利用多個硬體核心用於處置電腦視覺硬體控制及應用程式執行之單處理器系統1350中的組件之方塊圖。單處理器系統1350以與圖13A中展示之單處理器系統1300類似的方式操作，惟以下情況除外，在單處理器系統1350中，使用兩個不同硬體核心執行控制CV計算硬體及執行應用程式之雙重功能。如所展示，單處理器系統1350包含通信耦接至一I/O器件控制器1340之一視覺感測器系統1360。視覺感測器系統1310包含一視覺感測器陣列單元1312、周邊電路1314、一專用微處理器1370及記憶體1330。此等組件中之多數在其操作上與圖13A中展示之對應組件相當。然而，展示專用處理器1370包含至少兩個硬體核心，即，CV硬體控制器核心1372及應用程式處理器核心1374。CV硬體控制器核心1372經組態以控制包括(例如)周邊電路1314的CV計算硬體之各種操作。應用程式處理器核心1374可支援包括作業系統(OS)、應用軟體等之軟體環境。詳言之，應用程式處理器核心1374經組態以執行應用程式(此應用程式由諸如玩具熊1210 (圖12中展示)的器件之製造商安裝)，以回應於基於CV操作產生之事件(例如，面部偵測事件)執行I/O操作。在其他實施例中，應用程式處理器核心1374及/或CV硬體控制器核心1372可使用更簡單的電路來實施。舉例而言，可使用支援功能及/或回叫之基本狀態機。根據本發明之各種實施例，此更簡單電路可用以降價成本及複雜性，同時仍伺服控制電腦視覺計算硬體之操作以及控制一或多個I/O器件之操作的雙重任務。圖 14 展示根據某些實施例的經指定以流線化特徵偵測之一有限搜尋區1404之一實例。該圖描繪對應於完全影像圖框之一全部視野1402。此完全影像圖框可為至視覺感測器系統1310及1360 (分別在圖13A及圖13B中)之視覺輸入。在某些應用中，針對一參考物件搜尋全部影像圖框可能並非必要的。舉例而言，在安裝於一機器人(例如，圖16C)中之一應用程式中，在機器人板上的相機之視野可足夠大以擷取天花板或天空之部分。然而，在此特定應用中，機器人在影像之上部部分中搜尋人臉可能並非必要的。因此，應用程式可將物件偵測(亦即，面部偵測)限制於對應於影像之下部部分的有限搜尋區1404。如此進行消除了在影像之某些區域中執行的計算集中性然而不必要的CV操作。 有限搜尋區1404可由基於軟體之CV硬體控制器1324 (圖13A)或CV硬體控制器核心(圖13B)指定。此為由單處理器系統用以控制CV計算硬體之操作的一或多個參數之一實例。取決於應用，有限搜尋區1404之形狀、位置及/或大小可不同。舉例而言，在某些情境中，可使用圓形或橢圓形有限搜尋區。有限搜尋區之位置可在全部視野之中心、在視野之上部部分中、在拐角中及類似者。又，可變化有限搜尋區之大小。有限搜尋區之形狀、位置及/或大小可使用預設設定來定義。另外或替代地，有限搜尋區之形狀、位置及/或大小可基於應用程式之推斷或明確要求來判定。圖 15 展示可回應於基於CV操作偵測到之一事件而操作的一I/O器件(亦即，一致動器)之一個實例。如該圖中所展示，單處理器視覺感測器系統1310 (先前在圖13A中展示)耦接至一I/O器件控制器1340。根據本發明之實施例，可利用許多不同類型之I/O器件控制器1340。此處，I/O器件控制器1340為致動器控制器，其產生用於控制電至機械致動器1510之位置/移動的控制信號。可使用各種類型之致動器控制器。舉例而言，一類致動器控制器可為比例-積分-導數(PID)控制器，其併有一控制迴路，該控制迴路連續地監視一誤差值且應用變數校正，以朝向所要的設定點控制致動器。亦可使用其他類型之致動器控制器，包括未併有控制迴路之更簡單控制器。致動器1510機械連結至可移動至「睜眼」位置1520或「閉眼」位置1522內之一玩具眼睛。可回應於基於CV操作的事件之偵測控制安裝在諸如泰迪熊或玩偶之玩具中的一玩具眼睛或一組玩具眼睛睜開或閉上。 圖15展示I/O器件控制器1340為與單處理器視覺系統1310分開之一截然不同的組件(如圖13A及圖13B之情況)之一實施例。然而，在其他實施例中，I/O器件控制器可為單處理器視覺系統1310之部分。此外，在控制I/O器件之功能性經建置至單處理器視覺系統1310內之情況下，I/O器件控制器1340亦可被簡單地視為一接腳，例如，單處理器視覺系統1310之通用輸入/輸出(GPIO)接腳。此GPIO接腳可實施有或未實施提昇信號振幅之一伴隨的放大器電路。在此實施中，在I/O器件控制器待實施於視覺感測器系統1310內(例如，在分別參看圖13A及圖13B之專用處理器1320或1370內)之情況下，在視覺感測器之處理器內的I/O器件控制器之程式化可如上參照在圖13A之論述中的應用程式1326至記憶體1330內之載入所描述而達成。 舉例而言，參看圖 16A ，玩具玩偶1610可安裝有一對如所描述的可機械調整之眼睛。玩具玩偶1610可為電池操作式，且裝備有一單處理器視覺感測器系統1310，其能夠操作CV計算硬體以產生面部偵測事件，執行由玩具玩偶之製造商提供的應用程式，及產生面部偵測事件。取決於應用程式，面部偵測事件可觸發I/O操作以控制致動器將玩偶之眼睛在睜開與閉上位置之間機械移動。舉例而言，玩具玩偶1610可使其眼睛一開始就閉上。當使用者1620接近時，玩具玩偶1610內之單處理器系統偵測到使用者1620之面部，且與應用程式一起，回應於使用者1620之存在，使玩具玩偶1610之眼睛睜開且「喚醒」。當不再偵測到面部時，例如，當使用者1620移動遠離玩具玩偶1610時，玩具玩偶1610之眼睛可閉上。圖 16B 展示基於面部偵測自動解鎖及/或打開的門1630之一實例。門1630可按如先前所論述之類似方式裝備有一單處理器視覺感測器系統1310。舉例而言，單處理器系統可安裝在門1630之門框或頂部區中。單處理器視覺感測器系統1310可能能夠操作CV計算硬體以產生面部偵測事件，執行由門之製造商提供的應用程式，及產生面部偵測事件。取決於應用程式，面部偵測事件可觸發I/O操作以控制致動器機械移動鎖定機構及/或為門1630之部分的門打開機構。僅作為一實例，若使用者1640自門1630之室內/內部側接近，則應用程式可操作以控制一或多個致動器(1)解鎖門1630，及(2)打開門1630。此等操作可基於在由定位於門1630之門框或頂部區上且面向房間之內部的相機擷取之影像中的人臉之偵測。在門1630之外部側上，應用程式可不同地操作。舉例而言，在於門1630之室外/外部側上偵測到人臉後，應用程式可觸發使用者鑑認常式，以在解鎖及/或打開門1630前驗證使用者之身分。圖 16C 展示又一實例——能夠基於面部偵測與使用者1660互動的玩具機器人1650之實例。玩具機器人1650可按如先前所論述之類似方式裝備有一單處理器視覺感測器系統1310。單處理器視覺感測器系統1310可能能夠操作CV計算硬體以產生面部偵測事件，執行由玩具機器人之製造商提供的應用程式，及產生面部偵測事件。取決於應用程式，面部偵測事件可觸發I/O操作以控制機器人之各種操作以有助於與使用者1660之互動。舉例而言，玩具機器人1650可經程序化以執行「跟隨人」任務。假定有藉由控制I/O操作來視覺偵測人臉且反應之能力，則應用程式可「追蹤」偵測到的人臉之位置且使用玩具機器人1650之可機械移動零件跟隨人臉之位置。舉例而言，玩具機器人之手指/手1652可指向偵測到面部之方向。詳言之，單一處理器可基於面部偵測事件(基於CV操作而判定)判定偵測到的面部之位置。單一處理器可基於偵測到的面部之判定之位置控制機器人之手指/手之移動。隨著使用者1660移動，玩具機器人之手指/手1652可經由由在單處理器系統1310之指引下操作之I/O控制器且與應用程式一起控制之致動器而移動，以當其相對於玩具機器人1650移動時追蹤使用者1660之面部之位置。僅為了說明性目的而提出此及先前實例。可使用基於能夠控制CV計算硬體及執行應用程式之單處理器系統提出之平台來實施其他類型之移動及操作，以與應用程式執行一起與I/O器件控制器通信。圖 17 為說明用於對基於場景之發生反應之一程序1700之流程圖。在步驟1702，該程序涉及在專用電腦視覺(CV)計算硬體處自包含複數個感測器像素之一感測器陣列接收感測器資料。在步驟1704，該程序涉及在該專用CV計算硬體處使用來自該感測器陣列之相鄰感測器像素的讀數計算一或多個CV特徵。在步驟1706，該程序涉及使用第一處理單元控制與專用CV計算硬體之操作相關聯的一或多個參數，以影響一或多個CV特徵之計算。在步驟1708，該程序涉及在該第一處理單元處執行一或多個應用程式。在步驟1710，該程序涉及在該第一處理單元處且與一或多個應用程式之執行一起，與至少一個輸入/輸出(I/O)器件控制器通信，以實現一I/O操作以反應於基於該一或多個經計算之CV特徵所產生之一事件。 圖18為根據一實施例的可利用本文中描述之技術及特徵的一行動器件105 (諸如，玩具、IoT器件或其他器件)之內部組件之方塊圖。應注意，圖18僅意謂提供各種組件之一般化說明，可適當的利用該等組件中之任一者或所有。可注意，在一些情況下，由圖18所說明之組件可局部化至單一實體器件及/或分佈於各種網路化器件之間，該等網路化器件可安置於不同實體位置處。 展示器件105包含可經由匯流排1805電耦接(或可在適當時以其他方式通信)之硬體元件。硬體元件可包括一處理單元1810，該處理單元可包括(不限於)一或多個通用處理器、一或多個專用處理器(諸如，數位信號處理(DSP)晶片、圖形加速處理器、特殊應用積體電路(ASIC)及/或類似者)及/或其他處理結構或構件。該以上描述之實施例中，處理單元1810可對應於圖2A之主處理器220及/或關於圖4描述之第二處理單元。如圖18中所展示，取決於所要的功能性，一些實施例可具有單獨的DSP 1820。該器件105亦可包括一或多個輸入器件1870，其可包括(不限於)觸碰螢幕、觸控板、麥克風、按鈕、撥號盤、開關及/或類似者；及一或多個輸出器件1816，其可包括(不限於)顯示器、發光二極體(LED)、揚聲器及/或類似者。 器件105亦可包括一無線通信介面1830，其可包括(不限於)數據機、網路卡、紅外線通信器件、無線通信器件及/或晶片組(諸如，Bluetoothä器件、IEEE 802.11器件、IEEE 802.16.4器件、WiFi器件、WiMax器件、蜂巢式通信設施等)及/或類似者。無線通信介面1830可准許與網路、無線存取點、其他電腦系統及/或本文中所描述之任何其他電子器件交換資料。可經由發送及/或接收無線信號1834之一或多個無線通信天線1832進行通信。 取決於所要的功能性，無線通信介面1830可包括與基地收發器台(例如，蜂巢式網路之基地台)及/或存取點通信之單獨收發器。此等不同資料網路可包括各種網路類型。另外，無線廣域網路(WWAN)可為分碼多重存取(CDMA)網路、分時多重存取(TDMA)網路、分頻多重存取(FDMA)網路、正交分頻多重存取(OFDMA)網路、單載波分頻多重存取(SC-FDMA)網路、WiMax (IEEE 802.16)等等。CDMA網路可實施一或多個無線電存取技術(RAT)，諸如，cdma2000、寬頻CDMA (W-CDMA)等等。cdma2000包括IS-95、IS-2000及/或IS-856標準。TDMA網路可實施全球行動通信系統(GSM)、數位進階型行動電話系統(D-AMPS)或某一其他RAT。OFDMA網路可使用LTE、進階型LTE等等。在來自3GPP之文件中描述LTE、進階型LTE、GSM及W-CDMA。cdma2000描述於來自命名為「第三代合作夥伴計劃2」(3GPP2)之協會的文件中。3GPP和3GPP2文件可公開獲得。無線區域網路(WLAN)亦可為IEEE 802.11x網路，且無線個人區域網路(WPAN)可為藍芽網路、IEEE 802.16x或某一其他類型之網路。本文中所描述之技術亦可用於WWAN、WLAN及/或WPAN之任何組合。 器件105可進一步包括感測器1840。此感測器可包括(不限於)一或多個加速度計、陀螺儀、相機、磁力計、高度計、麥克風、接近性感測器、光感測器及類似者。另外或替代地，感測器1840可包括圖2A或圖2B之感測器系統210及/或類似電子感測器。因此，本文中描述之實施例可包括在感測器1840之感測器系統210中的第一處理器(例如，圖2A或圖2B中之微處理器216)，其為包括於圖18之處理單元1810 (對應於圖2A之主處理器220)中的第二處理單元產生一事件。在一些實施例中，感測器1840之第一處理單元(例如，圖2A或圖2B中之感測器系統210之微處理器216)可自接收自一影像陣列(例如，圖2A或圖2B之感測器陣列單元212)之一或多個輸出端的一或多個信號判定已偵測到一面部，且回應於該判定，為第二處理單元(例如，圖18之處理單元1810)產生一面部偵測事件。在一些實施例中，處理單元1810可在低功率模式中操作，且感測器1840之第一處理單元(例如，圖2A或圖2B中之感測器系統210之微處理器216)可操作以當處理單元2010正在低功率模式中操作時產生待由處理單元1810接收之事件及/或將一事件傳達至處理單元1810。 器件之實施例亦可包括一衛星定位系統(SPS)接收器1880，其能夠使用一SPS天線1882自一或多個SPS衛星接收信號1884。SPS接收器1880可使用習知技術自SPS系統之衛星提取該器件之位置，SPS系統諸如全球導航衛星系統(GNSS) (例如，全球定位系統(GPS))、伽利略(Galileo)、格洛納斯(Glonass)、指南針(Compass)、日本之準天頂(Quasi-Zenith)衛星系統(QZSS)、印度之印度地區導航衛星系統(IRNSS)、中國之北斗及/或類似者。此外，各種擴增系統(例如，基於衛星之擴增系統(SBAS))可使用SPS接收器1880，該等擴增系統可與一或多個全球及/或地區性導航衛星系統相關聯或以其他方式經啟用以與一或多個全球及/或地區性導航衛星系統一起使用。以實例說明而非限制，SBAS可包括提供完整資訊、微分校正等之擴增系統(諸如，廣域增強系統(WAAS)、歐洲地球同步導航擴增服務(EGNOS)、多功能衛星擴增系統(MSAS)、GPS輔助式地理擴增導航或GPS及地理擴增導航系統(GAGAN)及/或類似者)。因此，如本文中所使用，SPS可包括一或多個全球及/或地區性導航衛星系統及/或擴增系統之任何組合，且SPS信號可包括SPS、類SPS及/或與此一或多個SPS相關聯之其他信號。 器件105可進一步包括一記憶體1860及/或與其通信。記憶體1860可包括(不限於)本端及/或網路可存取儲存器、磁碟機、驅動陣列、光學儲存器件、可為可程式化之固態儲存器件(諸如，隨機存取記憶體(「RAM」)及/或唯讀記憶體(「ROM」)、可更新快閃記憶體及/或類似者。此等儲存器件可經組態以實施任何適當資料儲存，其包括(不限於)各種檔案系統、資料庫結構及/或類似者。取決於所要的功能性，圖2A之記憶體218 (其可包括先前列出的記憶體類型中之任一者)可包括於記憶體1860中或可與記憶體1860截然不同。 器件105之記憶體1860亦可包含軟體元件(未圖示)，包括作業系統、器件驅動器、可執行程式庫及/或內嵌於電腦可讀媒體中之其他程式碼(諸如，一或多個應用程式)，該等軟體元件可包含由各種實施例提供之電腦程式，及/或可經設計以實施由其他實施例提供之方法及/或組態由其他實施例提供之系統，如本文中所描述。在一態樣中，接著，此程式碼及/或指令可用以組態及/或調適通用電腦(或其他器件)以根據所描述之方法執行一或多個操作。 熟習此項技術者將顯而易見，可根據特定要求作出實質變化。舉例而言，亦可使用定製硬體，及/或特定元件可以硬體、軟體(包含攜帶型軟體，諸如，小程式等)或兩者來實施。另外，可使用至其他計算器件(例如，網絡輸入/輸出器件)之連接。 參看附圖，可包括記憶體之組件可包括非暫時性機器可讀媒體。如本文中所使用，術語「機器可讀媒體」及「電腦可讀媒體」指參與提供使機器以特定方式操作之資料之任何儲存媒體。在上文所提供之實施例中，各種機器可讀媒體可能涉及將指令/程式碼提供至處理單元及/或其他器件以供執行。另外或可替代地，機器可讀媒體可用以儲存及/或攜載此等指令/程式碼。在許多實施中，電腦可讀媒體為實體及/或有形儲存媒體。此媒體可呈許多形式，包括(但不限於)非揮發性媒體、揮發性媒體及傳輸媒體。普通形式之電腦可讀媒體包括(例如)磁性及/或光學媒體、打孔卡片、紙帶、具有孔圖案之任何其他實體媒體、RAM、PROM、EPROM、FLASH-EPROM、任何其他記憶體晶片或筒、如下文中所描述之載波，或電腦可自其讀取指令及/或程式碼之任何其他媒體。 本文中論述之方法、系統及器件為實例。各種實施例可恰當地省略、取代或添加各種程序或組件。舉例而言，可在各種其他實施例中組合關於某些實施例描述之特徵。可以類似方式組合實施例之不同態樣及元件。本文中所提供之圖的各種組件可以硬體及/或軟體體現。又，技術發展，且因此，許多元件為實例，該等實例並不將本發明之範疇限制於彼等特定實例。 大體上出於普通使用之原因，已證實有時將此類信號稱作位元、資訊、值、元素、符號、字元、變數、項、數字、編號或類似者為方便的。然而，應理解，此等或類似術語中之所有者欲與適當實體量相關聯且僅為方便的標籤。除非另有特定陳述，否則自以上論述顯而易見，應理解，貫穿本說明書，利用諸如「處理」、「計算」、「演算」、「判定」、「確定」、「識別」、「關聯」、「量測」、「執行」或類似者之論述指一特定裝置(諸如，專用電腦或類似專用電子計算器件)之動作或程序。因此，在本說明書之上下文中，專用電腦或類似專用電子計算器件能夠操縱或轉換信號，該等信號通常表示為專用電腦或類似專用電子計算器件之記憶體、暫存器或其他資訊儲存器件、傳輸器件或顯示器件內的物理電子、電氣或磁性量。 如本文中所使用，術語「及」及「或」可包括多種含義，該等含義亦預期至少部分取決於使用此等術語之上下文。通常，「或」若用以關聯一個列表(諸如，A、B或C)，則意欲意謂A、B及C (此處以包括性意義使用)，以及A、B或C(此處以排它性意義使用)。此外，如本文中所使用之術語「一或多個」可用於以單數形式描述任何特徵、結構或特性，或可用以描述特徵、結構或特性之某一組合。然而，應注意，此僅為一說明性實例且所主張之標的不限於此實例。此外，術語「中之至少一者」若用以關聯列表(諸如，A、B或C)，則可解釋為意謂A、B及/或C之任何組合(諸如，A、AB、AA、AAB、AABBCCC等)。 在已描述若干實施例後，可在不脫離本發明之精神的情況下使用各種修改、替代性構造及等效物。舉例而言，以上元件可僅為較大系統之一組件，其中其他規則可優先於本發明之應用或另外修改本發明之應用。又，可在考慮以上元件前、期間或後進行許多步驟。因此，以上描述並不限制本發明之範疇。

100‧‧‧實例設置105‧‧‧行動器件110‧‧‧感測器系統之視野130‧‧‧使用者210‧‧‧感測器系統212‧‧‧感測器陣列單元213‧‧‧智慧型影像陣列214‧‧‧周邊電路215‧‧‧影像陣列216‧‧‧微處理器217‧‧‧第一處理單元218‧‧‧記憶體220‧‧‧主處理器222‧‧‧應用軟體、演算法等230‧‧‧行緩衝器234‧‧‧類比至數位轉換器(ADC)236‧‧‧二維整合硬體238‧‧‧硬體掃描窗陣列242‧‧‧專用CV計算硬體244‧‧‧級聯分類器硬體246‧‧‧介面400‧‧‧感測基於動態場景之發生之方法510‧‧‧像素610‧‧‧子群組700‧‧‧明用於使用作為光學感測器之感測器系統之一實例方法800‧‧‧用於將感測器系統用作光學感測器之一實例方法900‧‧‧用於將感測器系統用作光學感測器之一實例方法1010‧‧‧較低功率操作狀態1020‧‧‧較高功率操作狀態1102‧‧‧窗1104‧‧‧中心感測器元件1200‧‧‧應用環境1210‧‧‧泰迪熊1220‧‧‧使用者1300‧‧‧單處理器系統1310‧‧‧視覺感測器系統1312‧‧‧視覺感測器陣列單元1314‧‧‧周邊電路1320‧‧‧專用微處理器1322‧‧‧軟體環境1324‧‧‧CV硬體控制器1326‧‧‧應用程式1330‧‧‧記憶體1340‧‧‧I/O器件控制器1350‧‧‧單處理器系統1360‧‧‧視覺感測器系統1370‧‧‧專用處理器1372‧‧‧CV硬體控制器核心1374‧‧‧應用程式處理器核心1402‧‧‧全部視野1404‧‧‧有限搜尋區1510‧‧‧電至機械致動器1520‧‧‧「睜眼」位置1522‧‧‧「閉眼」位置1610‧‧‧玩具玩偶1620‧‧‧使用者1630‧‧‧門1640‧‧‧使用者1650‧‧‧玩具機器人1652‧‧‧玩具機器人之手指/手1660‧‧‧使用者1700‧‧‧用於對基於場景之發生反應之程序1805‧‧‧匯流排1810‧‧‧處理單元1815‧‧‧輸出器件1820‧‧‧數位信號處理器(DSP)1830‧‧‧無線通信介面1832‧‧‧無線通信天線1834‧‧‧無線信號1840‧‧‧感測器1860‧‧‧記憶體1870‧‧‧輸入器件1880‧‧‧衛星定位系統(SPS)接收器1882‧‧‧SPS天線1884‧‧‧SPS衛星接收信號

可參照以下圖來實現對各種實施例之本質及優點之理解。

圖1說明使用者可與併有本文中描述之特徵及技術的行動器件互動之一實例設置。

圖2A為根據一個實施例的包含一感測器系統及主處理器之一組態之方塊圖。 圖2B為根據一個實施例的具有一感測器陣列單元、微處理器及實例周邊電路214之感測器系統之方塊圖。 圖3A至圖3C為根據一些實施例的說明可利用感測器系統之組件提供低功率感測器處理的方式之方塊圖。 圖4為根據一實施例的感測基於動態場景之發生之方法之流程圖。 圖5為一實例感測器陣列之簡化說明。 圖6為圖5之感測器陣列之一實例配置之簡化說明。 圖7至圖9為說明用於使用感測器系統用於電腦視覺計算及較低功率光學感測器讀數之實例方法之流程圖。 圖10A至圖10B為說明用於電腦視覺計算及較低功率光學感測器讀數的感測器系統之實例狀態之狀態圖。 圖11A至圖11C說明根據一些實施例的將來自複數個感測器元件之感測器讀數轉換至CV特徵之程序。 圖12描繪根據本發明之一實施例的用於部署用於處置電腦視覺硬體控制及應用程式執行之一低功率、單處理器系統之一應用環境。 圖13A為根據本發明之一實施例的在利用多個軟體組件用於處置電腦視覺硬體控制及應用程式執行之低功率、單處理器系統中的組件之方塊圖。 圖13B為根據本發明之一實施例的在利用多個硬體核心用於處置電腦視覺硬體控制及應用程式執行之單處理器系統中的組件之方塊圖。 圖14展示根據某些實施例的經指定以流線化特徵偵測之一有限搜尋區之一實例。 圖15展示可回應於基於CV操作偵測到之一事件而操作的一I/O器件(亦即，一致動器)之一個實例。 圖16A展示可安裝有一對基於面部偵測操作之可機械調整之眼睛的玩具玩偶之一實例。 圖16B展示基於面部偵測自動打開的門之一實例。 圖16C展示又一實例——能夠基於面部偵測與使用者互動的玩具機器人之實例。 圖17為說明用於對基於場景之發生反應之一程序之流程圖。 圖18為根據一實施例的可利用本文中描述之技術及特徵的一行動器件之內部組件之方塊圖。

1200:應用環境

1210:泰迪熊

1220:使用者

Claims (25)

1. 一種用於對基於場景之發生反應之裝置，該裝置包含：專用電腦視覺(CV)計算硬體，其經組態以自一感測器陣列接收感測器資料，該感測器陣列包含複數個感測器像素且能夠使用來自該感測器陣列之相鄰感測器像素的讀數計算一或多個CV特徵；及第一處理單元，其經組態以藉由指定與該一或多個CV特徵之該計算相關聯及影響該一或多個CV特徵之該計算之參數來控制該專用CV計算硬體之操作，其中，當該專用CV計算硬體使用來自該感測器陣列之該相鄰感測器像素的讀數計算該一或多個CV特徵時，該第一處理單元經組態以在低功率狀態操作，及其中該第一處理單元經進一步組態以執行一或多個應用程式，且與該一或多個應用程式之執行一起，與至少一個輸入/輸出(I/O)器件控制器通信，以實現一音訊或視覺I/O操作以反應於基於對該一或多個經計算之CV特徵而執行之操作所產生的一面部偵測事件。
2. 如請求項1之裝置，其進一步包含：一分類器，其經組態以接收該專用CV計算硬體之一輸出及基於該一或多個計算之CV特徵執行該等操作，且其中該面部偵測事件係回應於該分類器之一輸出而產生。
3. 如請求項1之裝置，其中該專用CV計算硬體經組態以回應於由該第一處理單元進行之輪詢，將該面部偵測事件之一指示提供至該第一 處理單元。
4. 如請求項1之裝置，其中該面部偵測事件由該第一處理單元產生。
5. 如請求項1之裝置，其中該第一處理單元包含一第一核心及一第二核心，其中該第一核心經組態以控制該專用CV計算硬體之該操作；且其中該第二核心經組態以執行該一或多個應用程式。
6. 如請求項1之裝置，其中該第一處理單元支援一軟體環境；且其中該軟體環境支援該一或多個應用程式。
7. 如請求項1之裝置，其中該I/O器件控制器包含一媒體器件控制器。
8. 如請求項7之裝置，其中該媒體器件控制器經組態以產生一音訊輸出。
9. 如請求項7之裝置，其中該媒體器件控制器經組態以產生一視覺輸出。
10. 如請求項1之裝置，其中該I/O器件控制器包含一比例-積分-導數(PID)控制器。
11. 如請求項10之裝置，其中該PID控制器經組態以產生一控制信號以將一可移動部件調整至一所要的位置。
12. 一種用於對基於場景之發生反應之方法，該方法包含：在專用電腦視覺(CV)計算硬體處自包含複數個感測器像素之一感測器陣列接收感測器資料；在該專用CV計算硬體處使用來自該感測器陣列之相鄰感測器像素的讀數計算一或多個CV特徵；使用一第一處理單元藉由指定與該一或多個CV特徵之該計算相關聯及影響該一或多個CV特徵之該計算之參數來控制該專用CV計算硬體之操作，其中，當該一或多個CV特徵是在該專用CV計算硬體處使用來自該感測器陣列之該相鄰感測器像素的讀數計算時，該第一處理單元在低功率狀態被操作；在該第一處理單元處執行一或多個應用程式；及在該第一處理單元處且與該一或多個應用程式之執行一起，與至少一個輸入/輸出(I/O)器件控制器通信，以實現一音訊或視覺I/O操作以反應於基於對該一或多個經計算之CV特徵而執行之操作所產生之一面部偵測事件。
13. 如請求項12之方法，其進一步包含：在一分類器處接收該專用CV計算硬體之一輸出及基於該一或多個計算之CV特徵執行該等操作，且其中該面部偵測事件係回應於該分類器之一輸出而產生。
14. 如請求項12之方法，其中該專用CV計算硬體回應於由該第一處理單元進行之輪詢，將該面部偵測事件之一指示提供至該第一處理單元。
15. 如請求項12之方法，其中該I/O器件控制器包含一媒體器件控制器。
16. 如請求項15之方法，其中該媒體器件控制器經組態以產生一音訊輸出。
17. 如請求項15之方法，其中該媒體器件控制器經組態以產生一視覺輸出。
18. 如請求項12之方法，其中該I/O器件控制器包含一比例-積分-導數(PID)控制器。
19. 如請求項18之方法，其中該PID控制器經組態以產生一控制信號以將一可移動部件調整至一所要的位置。
20. 一種用於對基於場景之發生反應之裝置，該裝置包含：專用電腦視覺(CV)計算硬體，其經組態以自一感測器陣列接收感測器資料，該感測器陣列包含複數個感測器像素且能夠使用來自該感測器陣列之相鄰感測器像素的讀數計算一或多個CV特徵；及一第一處理單元，其經組態以藉由指定與該一或多個CV特徵之該 計算相關聯及影響該一或多個CV特徵之該計算之參數來控制該專用CV計算硬體，其中，當該專用CV計算硬體使用來自該感測器陣列之該相鄰感測器像素的讀數計算該一或多個CV特徵時，該第一處理單元經組態以在低功率狀態操作，及其中該第一處理單元經進一步組態以與至少一個器件控制器通信，以控制一音訊或視覺器件以反應於基於該一或多個經計算之CV特徵所產生之一面部偵測事件。
21. 如請求項20之裝置，其進一步包含：一分類器，其經組態以接收該專用CV計算硬體之一輸出及基於該一或多個計算之CV特徵執行操作，及其中該面部偵測事件係回應於該分類器之一輸出而產生。
22. 如請求項20之裝置，其中該面部偵測事件由該第一處理單元產生。
23. 如請求項20之裝置，其中該器件控制器包含一比例-積分-導數(PID)控制器。
24. 如請求項23之裝置，其中該PID控制器經組態以產生一控制信號以控制該致動器器件，及將耦接至該致動器器件之一可移動部件調整至一所要的位置。
25. 一種用於對基於場景之發生反應之方法，該方法包含：在專用電腦視覺(CV)計算硬體處自包含複數個感測器像素之一感測器陣列接收感測器資料；在該專用CV計算硬體處使用來自相鄰感測器像素之讀數計算一或多個CV特徵；使用一第一處理藉由指定與該一或多個CV特徵之該計算相關聯及影響該一或多個CV特徵之該計算之參數來控制該專用CV計算硬體，其中，當該一或多個CV特徵是在該專用CV計算硬體處使用來自該感測器陣列之該相鄰感測器像素的讀數計算時，該第一處理單元在低功率狀態被操作；及使用該第一處理單元與至少一個器件控制器通信，以控制一音訊或視覺器件以反應於基於該一或多個經計算之CV特徵所產生之一面部偵測事件。

Images