TWI498772B - 用於處理原始視訊串流的系統、包含其之成像裝置與顯示器、使用原始視訊串流的電腦導航方法，及非暫時性電腦可讀取媒體 - Google Patents

用於處理原始視訊串流的系統、包含其之成像裝置與顯示器、使用原始視訊串流的電腦導航方法，及非暫時性電腦可讀取媒體 Download PDF

Info

Publication number
TWI498772B
TWI498772B TW102140267A TW102140267A TWI498772B TW I498772 B TWI498772 B TW I498772B TW 102140267 A TW102140267 A TW 102140267A TW 102140267 A TW102140267 A TW 102140267A TW I498772 B TWI498772 B TW I498772B
Authority
TW
Taiwan
Prior art keywords
processing
gesture
pixel
phase
stage
Prior art date
Application number
TW102140267A
Other languages
English (en)
Other versions
TW201435652A (zh
Inventor
Jeremy Burr
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/713,849 external-priority patent/US8805017B2/en
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201435652A publication Critical patent/TW201435652A/zh
Application granted granted Critical
Publication of TWI498772B publication Critical patent/TWI498772B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

用於處理原始視訊串流的系統、包含其之成像裝置與顯示器、使用原始視訊串流的電 腦導航方法，及非暫時性電腦可讀取媒體 參考相關申請案
本案係為美國專利申請案第13/713,849號申請日2012年12月13日名稱「視訊串流的手勢前置處理以減低平台功耗」的連續部分。此外，本案係有關於美國專利申請案第13/801,111號，申請日2013年3月13日及名稱「利用膚色檢測之視訊串流的手勢前置處理」。此等申請案各自係爰引於此並融入本說明書之揭示。
本發明係有關於使用經標記區域之視訊串流的手勢前置處理技術。
 發明背景
終端用戶使用電腦大部分係將該終端用戶連結至網際網路，且係透過瀏覽介面進行。常見用途及活動例如包括以搜尋引擎為基礎的瀏覽、電子郵件、社交網絡、內容消費(例如新聞及觀賞視訊)、內容分享(例如照片、音樂等)、線上購物及採買、及地圖及方向，只列舉其中數者。 此等常見網際網路用途通常涉及某種形式的以使用者基礎的導航，諸如典型地使用滑鼠或觸控墊及關鍵字完成者。
意圖改良使用者導航經驗，已經萌出以手勢為基礎的導航技術。更明確言之，使用者手的移動可藉所謂的網路攝影機記錄下及轉譯成指標器移動。典型的以手勢為基礎的導航應用結合網路攝影機操作，能夠模仿通常使用常規滑鼠或觸控墊執行的動作：點擊、雙點擊、拖曳、及捲動。使用者也可利用頭部移動來控制電腦或以其它方式影像導航。使用相機實施人體姿勢有兩項基本方法：使用具有所謂的標記之物體的姿勢(於該處標記係部署在與相機感測器互動的視野)，及無標記的姿勢(諸如無標記的手勢)。無標記的姿勢技術可使用三維或3D相機(具有Z深度)實施，典型地用以觀察約3至5米(m)範圍之距離，或二維或2D相機(從2D資訊解譯3D運動)實施，典型地用以觀察約0.5米(m)範圍之距離。
於運算環境諸如桌上型電腦或工作站、膝上型電腦或平板電腦、或遊戲機臺內的圖形處理通常涉及大量複雜的操作。此等操作包括例如為了確保影像係經妥當地定時地渲染者，以及手勢辨識之操作。於此等操作之脈絡中出現許多重要議題。
依據本發明之一實施例，係特地提出一種用於處理原始視訊串流的系統，其包含：一臨界檢測階段，其受組配成可判定該視訊串流之一目前圖框是否具有相較於該視訊串流之一前一圖框的足夠差異，並且該臨界檢測階段可反應於該目前圖框並不具有相較於該前一圖框的足夠差 異而受到進一步組配以阻止該目前圖框受到後續階段的進一步處理；一目標存在階段，其受組配成可判定該目前圖框是否含有膚色像素，並且該目標存在階段可反應於該目前圖框並不含有膚色像素而受到進一步組配以阻止該目前圖框受到後續階段的進一步處理；以及一手勢處理階段，其受組配成可對由該臨界檢測階段和該目標存在階段所傳遞過來的圖框內部之影像資料進行空間性解譯和時間性解譯其中至少一者。
1300‧‧‧系統
1302‧‧‧平台
1305‧‧‧晶片組
1310‧‧‧處理器
1312‧‧‧記憶體
1314‧‧‧儲存裝置
1315‧‧‧圖形次系統
1316‧‧‧軟體應用程式
1318‧‧‧無線電
1320、1404‧‧‧顯示器
1322、1410‧‧‧使用者介面
1330‧‧‧內容服務裝置
1340‧‧‧內容傳遞裝置
1350‧‧‧導航控制器
1360‧‧‧網路
1400‧‧‧裝置
1402‧‧‧殼體
1406‧‧‧輸入/輸出(I/O)裝置
1408‧‧‧天線
1412‧‧‧導航特性件
圖1a圖解示例說明依據此處揭示之技術的一實施例一種進行一視訊串流的手勢前置處理以減低平台功耗的步進分散式方法。
圖1b示例說明依據一實施例圖1a之該步進分散式處理程序之流程圖。
圖2a示例說明依據此處揭示之技術的一實施例，一種經組配內以進行一視訊串流的步進及分散式手勢前置處理以減少平台功耗的系統之方塊圖。
圖2b描述依據一實施例，來自圖2a系統之不同階段的控制及資料流程圖。
圖2c示例說明依據此處揭示之技術的一實施例，給定一特定電腦系統配置，針對各個處理之一典型CPU利用率，如此驗證藉使用一視訊串流處理之步進、分散式手勢前置處理可能獲得改良潛力。
圖2d顯示依據此處揭示之技術的一實施例，減低平台 功耗的膚色臨界檢測之方法之一實施例。
圖2e顯示依據此處揭示之技術的一實施例，減低平台功耗的膚色臨界檢測之方法之另一實施例。
圖3a示例說明依據此處揭示之技術的一實施例，組配以進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的一電腦系統之使用情況實施例。
圖3b-e各自示例說明依據此處揭示之技術的一實施例針對相機及GP電路之一配置實施例。
圖4示例說明依據此處揭示之技術的一實施例，組配以進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的一電腦系統之方塊圖。
圖5示例說明依據此處揭示之技術的另一實施例，組配以進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的一電腦系統之方塊圖。
圖6示例說明依據此處揭示之技術的另一實施例，組配以進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的一電腦系統之方塊圖。
圖7示例說明依據此處揭示之技術的一實施例如何能夠減低平台功耗之一實施例。
圖8示例說明依據此處揭示之技術的另一實施例，組配以進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的一應用程式規劃介面(API)之方塊圖。
圖9a-b各自示例說明依據此處揭示之技術的一實施例，可用以控制一電腦系統的一手勢視訊處理系統在視野 內部的經標記區域之一實施例。
圖9c示例說明依據此處揭示之技術的一實施例目標存在的經標記臨界值之方法。
圖10a-f示例說明依據此處揭示之技術的一實施例，可用以控制一電腦系統的手勢實施例。
圖11a-f示例說明依據此處揭示之技術的一實施例，一手勢視訊處理系統如何以六個移動軸分析在該視野內部的一給定手勢。
圖12示例說明依據此處揭示之技術的一實施例一種分析手勢視訊之方法。
圖13示例說明依據此處揭示之技術的一實施例經組配的一媒體系統。
圖14示例說明依據此處揭示之技術的一實施例經組配的一行動電腦系統。
 較佳實施例之詳細說明
揭示藉採用步進及分散式管線處理，用以處理一視訊串流以減少平台電力之技術，其中選擇性地執行CPU密集處理。依據若干實施例，該等技術特別良好地適用於一視訊串流的有效以手為主的導航手勢處理。該項處理的步進及分散式本質許可在影像處理之前，減少從一給定相機傳輸影像資料至記憶體所需電力。例如，於一個實施例中，該等技術係在一使用者的電腦系統實施，其中初始臨界檢測(影像擾動)及選擇性地，使用者存在(手部影像)處理 組件係在該系統的相機近處或在相機內部，及該相機係位在該系統的主顯示器內部或近處。於若干實施例中，為了進一步協助減低功耗，位在一經標記區域外部的多個處理階段中之至少部分間的影像處理及像素資訊傳達被消去或以其它方式遏止。該經標記區域可為一給定視野的一子集，及於若干實施例中，該經標記區域係對齊一滑鼠墊或指定桌面區或一使用者輸入裝置諸如鍵盤，其中該經標記區域係由該滑鼠墊、桌面區、輸入裝置之周邊所界定。為了進一步節省處理電力，由該系統評估的像素數目可限於該經標記區域之一子集。於又其它實施例中，該經標記區域係為一給定視野的一使用者可組配的子集。電腦系統例如可為具有在系統內部及/或外部的一顯示器及相機的任何行動或固定運算系統。
概略綜論
如先前解說，於圖形處理脈絡中，特別就手勢辨識而言有許多非瑣碎議題。舉例言之，針對手勢辨識執行典型2D及3D視訊影像處理的工作負荷耗用相當大量輸出入(IO)電力，而透支了中央處理單元(CPU)利用及平台熱設計功率(偶爾稱作為TDP)預算。於下述應用中此等問題更為惡化，於該處相機為「經常性啟用」而提供處理影像，因而即便在視覺影像內部沒有發生任何相關情況仍然耗電。舉例言之，拍攝影像資訊及推送至CPU進行處理易耗用超過10瓦電力，即便只是個簡單手勢或其它運算上簡單的工作亦復如此。大部分影像處理工作負荷典型地涉及運算上 複雜的工作，及在或接近在最大可用視訊處理功率操作，及本質上受CPU利用率及功率預算所限。因此，影像處理應用可能耗用全部可用的CPU週期，沒有留下任何或否則留下不足的CPU處理能力給其它用途使用。相機本身的電力係占在影像處理之前將該影像資料從該相機傳輸至記憶體所需視訊拍攝功率的相對小分量(包括平台控制器中樞器(PCH)、CPU、及記憶體功率)。影像處理演算法有效地受此等因素的自限性，若為可資利用則將耗用遠更多電力。舉例言之，典型演算法自限性畫面更新率為每秒15圖框(FPS)，當使用更高FPS時則獲得更佳的辨識。因此，可能最大平台功率係耗用在視訊影像處理，即便並無關注影像(例如比手勢等)有待分析時亦復如此。
如此，及依據此處揭示之技術之實施例，揭示處理一視訊串流以減低平台功耗的技術。雖然該等技術可用於處理任何型別的視訊內容，但依據若干實施例，該等技術特別良好地適用於一視訊串流的有效以手為主的導航手勢處理。手勢實施例提供於此處。該等技術可以步進及分散式方式實施，使得在影像處理之前，從一給定相機傳輸影像資料至記憶體所需的電力大減。例如，於一個實施例中，該等技術係在一使用者的電腦系統實施，其中前置處理組件係在該系統的相機近處或在相機內部，及該相機係位在該系統的主顯示器內部或近處。該電腦系統例如可為膝上型電腦或筆記型電腦(其中該顯示器為蓋型顯示器)，或為桌上型電腦或工作站電腦或遊戲機臺(其中該顯示器為 外部顯示器)，或為平板電腦或智慧型手機(其中該顯示器為該電腦系統的使用者介面及機殼的內部部件)。顯示器例如可為LCD或CRT，或觸控螢幕顯示器，且可與運算裝置整合(例如平板電腦、膝上型電腦、行動電話)或在該運算裝置外部(例如桌上型電腦、膝上型電腦、或平板電腦)。該相機可為例如單一2D相機或網路攝影機，但可使用任一種合宜相機技術，包括3D相機或所謂立體相機對，且可與運算裝置及/或顯示器整合或在其外部。
依據一個具體實施例，該等前置處理組件包括一臨界檢測階段、一目標存在階段、一分段階段、一手剖析器階段、及一手勢辨識階段。該臨界檢測階段通常係受組配成可判定一視訊圖框是否為有效地空白。若該圖框並非空白或已以有效方式從上個圖框改變，則處理過渡至該目標存在階段，該階段係受組配成可找出目標像素色彩，特別色彩匹配膚色特性的像素。若找到有足夠膚色像素以提示為存在有一根手指，則處理過渡至該分段階段，該階段係受組配成可區分關注像素與非關注像素，因而操作為一適應性膚色檢測階段(膚色/非膚色邊緣檢測)。於一個組態實施例中，此一階段將一彩色視訊圖框變換成為一斑塊影像，其可編碼為一單色或灰階影像。斑塊用以表示膚色像素區。依據若干具體實施例，此一階段也可受組配成可使用侵蝕及膨脹變形法，校正相機雜訊及燈光差異，且平滑化該等斑塊。
該手剖析器階段係受組配成可執行由該分段階 段所產生的斑塊資料之空間解譯，且試圖匹配斑塊資料至人類解剖幾何形狀。依據一實施例，該等相關性選擇係大為取決於該使用情況及有關顯示該等導航手勢者的相機視角之假設。取決於情況而定，偶爾只需要邊緣資料，偶爾需要填空斑塊資料，及偶爾需要有關節手模式。如將瞭解，取決於被成像的身體部分的複雜度，解剖專一性剖析可能難以通用化，因而難以置於固定功能的解決方案。但於本使用情況下，例如藉分析手斑塊邊緣，可在手剖析器階段檢測手指。舉例言之，手剖析器階段可受組配成可比較邊緣的斜率以識別尖峰(指尖)位置。依據若干具體實施例，從手斑塊內部可定位拇指及食指，而拇指及食指可用作為手勢辨識工作的目標。依據一具體實施例，能藉手剖析器階段檢測的一個特定手勢之實施例乃卵形手勢，諸如當一使用者手的拇指與食指彼此接觸，或類似的手勢但末端開啟使得拇指及食指不相接觸。該手勢辨識階段係受組配成可執行由手剖析器階段所產生的解剖/手資料之時間性解譯。舉例言之，若該手勢辨識階段係用以檢測滑鼠相當的操作，則可尋找該使用者的指尖及/或手的位置變化。於一個此種實施例之情況下，卵形手勢可用以模擬滑鼠移動以及點擊與釋放動作(單次點擊、雙點擊等)。此等手勢可在一經標記區域內部分析。
注意此等五個前置處理階段並非全部皆須在電腦系統的相機近處或內部。也非全部皆須在電腦系統的顯示器近處或內部以節電。舉例言之，若臨界檢測階段及目 標存在階段乃在該顯示器近處的相機感測器中實施的階段，及其餘階段係在CPU中實施(例如作為手勢API的一部分，容後詳述)，則此一實施例仍將達成顯著節電，鑑於本文揭示將更為明瞭。又，不同的使用模型可指示不同的實施策略。舉例言之，可能期望有兩個操作模型：2D模型用於網際網路導航(涉及相對低複雜度手勢的更為隨性用途)，及3D模型用於更為強力的應用(例如涉及相對高複雜度手勢的CAD操弄、圖像處理軟體(Photoshop))。於此等實施例中，2D模型可全然在相機感測器內執行(代價為相機成本增高)，3D模型可在相機感測器內執行首二或三個階段及然後，將原始影像資料傳送至手勢API以供藉該電腦系統的CPU執行手勢處理步驟(或將原始影像資料傳送至特定軟體應用程式)。於2D及3D兩個模型中達成節電，特別當在該相機的視野(FOV)內部未存在任何關注內容時尤為如此。
於若干實施例中，各個步進及分散式前置處理組件的邏輯連結至該電腦系統係被實施為一手勢應用程式規劃介面(後文稱作為「手勢API」)。依據若干實施例，該手勢API可呈現為例如一擴延通用串列匯流排人類介面(USB HID)類別裝置。一般而言，該手勢API有效地揭露得自多個前置處理階段(臨界檢測階段、目標存在階段、分段階段、手剖析器階段、及手勢辨識階段)的資訊，使得若有所需，此等資訊可由電腦系統的其它部件利用。於若干實施例中，該API可進一步經規劃或以其它方式組配以包括安全性/私密性策略，以免被來自該視訊串流的不安全資訊入侵該 電腦系統的CPU或其它資源。
鑑於本文揭示將瞭解，此處提供的手勢前置處理視訊串流技術可用於任何數目的應用，包括改良以手勢為基礎的網際網路導航以及以手勢為基礎的電腦導航。該等技術能夠應用的一個此種特定應用為使用2D相機在約半米距離之無標記的手勢辨識。但若有所需，該等技術可應用於包括以3D為基礎的應用之無數其它應用。鑑於本文揭示無數使用模式為顯然易知，諸如筆記型電腦或小筆電用在桌面或使用者的膝上或公園長椅，桌上型電腦或筆記型電腦或小筆電附有一或多個外部顯示器在家或辦公室使用，桌上型電腦或筆記型電腦或小筆電用在工作/小隔間環境，筆記型電腦或小筆電用在咖啡廳桌台，筆記型電腦或小筆電用在會議室桌面，筆記型電腦或小筆電用在飛機托盤頂，及網咖(例如附有一或多個外部顯示器的桌上型電腦)，只列舉少數。
鑑於本文揭示將更進一步瞭解，在電腦系統內部的視訊處理工作之功耗理想上地須與得自電腦系統的相機感測器的原始影像資料之摘要程度相當。換言之，原始影像資料消耗極低電力，判定影像臨界值耗用的電力遞增，檢測影像存在耗用又更多電力等。依據一實施例，為了達成此項目的，該等前置處理組件有效地採用了一步進或漸層式操作序列，於該處於該進程中的各個階段消耗遞增電力以產生在該視訊串流的影像內部之更高階相關資訊或意義。但須注意若干實施例可能具有若干中間階段，其使用 的電力比稍後階段更多，及本文揭示並非意圖限於具有任何特定功耗進程的階段。舉例言之，於若干實施例中，分段階段比另四階段的組合更為運算密集。總計該等前置處理組件能夠集合地及有效地分析一原始(未經壓縮的)視訊串流或視訊串流的子集，以判定在該視訊串流的影像內部的意義或相關性。前置處理組件例如可於硬體(例如暫存器傳送語言諸如硬體描述語言(Verilog)或VHDL、或其它閘層級邏輯或特製半導體)或軟體/韌體(例如於微控制器內執行的微碼)實施。
系統架構
圖1a圖解示例說明依據此處揭示之技術的一實施例一種進行一視訊串流的手勢前置處理以減低平台功耗的步進分散式方法。如圖可知，有五個區分的資料摘要層級，其可有交地在分散式效能基元與電腦系統的CPU間劃分。此等層級包括原始資料、臨界值、存在、指令、及辨識。如圖進一步可知，與此等資料摘要層級各自相聯結的處理可在(或接近)相機，或在圖形處理單元(GPU)硬體加速，或在CPU上執行的應用程式軟體進行。
原始資料例如可為編碼視訊串流或原始影像串流。原始資料通常指示未經壓縮的影像資料，而編碼視訊串流典型地係已壓縮。壓縮演算法典型地係用以匹配大量資料通過低頻寬通訊頻道，典型地係在相機感測器晶片內部進行。資料壓縮典型地減低影像的保真度且使得影像處理更困難。在臨界值層級，可完成臨界值以檢測影像中的 擾動，因而粗略地鑒別使用者活動的存在。舉例言之，此種粗略鑒別將檢測從無使用者存在的一資料框串流過渡至有使用者存在的一資料框串流，使用者的存在如使用者移動(視訊內容)及/或使用者語音(音訊內容)指示。如於此一具體實施例可知，原始資料及臨界值層級各自可於相機內部或否則接近相機處理。
一旦在臨界值層級做出此種粗略鑒別，然後可在存在層級鑒別內容中特定使用者特徵的存在。舉例言之，該特定使用者特徵可包括一使用者臉部及/或手部。如更進一步參考圖1a描繪的具體實施例可知，於某些情況下，此一特殊處理層級可於相機內部或否則接近相機進行，或於其它情況下藉GPU作為加速處理進行，取決於涉及的影像分析之複雜度(例如臉部分析比手部分析更複雜)。
一旦做出特定使用者特徵存在於該內容串流的精製鑒別，然後通常可在指令層級評估該等使用者特徵的手勢。舉例言之，臉及/或手部活動通常可評估為一類似指令手勢，例如打手勢或轉頭。如更進一步參考圖1a描繪的具體實施例可知，此一特殊處理層級可藉GPU作為加速處理進行。於某些情況下，GPU例如可與CPU共同定位，或可透過匯流排結構操作式耦接至CPU。於後述情況下，GPU可與CPU位在同一片主機板上，或可在主機板外(例如在操作式耦接至主機板的一專用圖形處理卡上，或在透過一通訊埠而操作式耦接至電腦系統的一外部圖形處理裝置上)。
一旦鑒別一類似指令手勢，則該手勢可在辨識層 級評估為一特定指令。該指令例如可為一使用者導航指令用以導引使用者正在執行的線上購物程序。舉例言之，有關視訊內容，基於臉部的手勢可接受臉部辨識，及/或基於手部的手勢可接受遵照美式手語(ASL)的分析以鑒別手勢，藉此識別一給定指令。如更進一步參考圖1a描繪的具體實施例可知，此一特定處理層級可藉在CPU上執行的應用軟體進行。
圖1b示例說明依據一實施例圖1a之該步進分散式處理程序之流程圖。如於本具體實施例可知，視訊攝影機係用以在一給定電腦設備產生使用者手部活動的原始影像資料。於其它實施例中，欲處理的視訊內容可包括使用者的臉部活動。與內容型別獨立無關，鑑於本文揭示將瞭解，此處提供的用於前置處理媒體內容之該等步進及分散式技術可以類似方式同等應用。
流程始於從感測器接收原始影像資料串流，該感測器可包括一或多個相機。若使用多於一個相機，如此處討論各個視訊串流可據此處理。在臨界值層級，該視訊串流經分析以檢測視訊串流的擾動。於一個具體實施例中，若目前視訊圖框與前一視訊圖框的差異大於10%，則可發出一檢測信號。臨界值可為一個實施例與下個實施例相異(例如5%或以上，或50%或以上等)，而可設定為如所期望的給定因數，諸如針對一給定電腦系統(使用情況)設備觀察得的特定環境，及對該環境/系統的變化期望的敏感程度。若未超過預先確立的粗臨界值，則該處理程序繼續接收與 監視原始影像資料。若超過該粗臨界值，則該處理程序繼續於存在層級，檢測影像中的一使用者手。於若干實施例中，如先前解說，在臨界值及存在層級的前置處理可於相機電路進行，或在專用電路進行，該專用電路係受組配成可部署於相機近處且在相對短距離操作式耦接至該相機(例如少於0.1米，諸如0.05米或以下，或透過匯流排結構或其它合宜通訊埠而直接地耦接至相機機殼)，使得IO功率相較於若來自相機的全部影像內容係提供給在CPU上執行的應用程式軟體時使用的IO功率減低。如所瞭解，本文揭示並非意圖囿限於該專用電路與該給定相機感測器間的任何特定距離範圍；反而此處提出的運用一步進分散式前置處理方案的構想可在任一種組態實施。若該影像並不包括任何可被辨識為使用者手的內容，則該處理程序繼續進行接受及監視原始影像資料。
但若該影像確實包括任何可被辨識為使用者手的內容，則該處理程序繼續進行或否則朝向指令層級進行，將該成像手與一已知手勢相聯結的有關節手模式對映。於若干此等具體實施例中，將該成像手與多個此等模式作比較，針對各個模式判定相似度分數。該處理程序於指令層級繼續進行，判定該影像是否包括做出一已知手勢的手。於若干此種情況下，舉例言之，獲得最高相似度分數的模式可被鑒別為匹配。於其它情況下，遭遇的第一模式為具有相似度分數超過一預先確立的臨界值之情況可被鑒別為匹配(故並非必要測試全部模式)。如前文解說，於若 干實施例中，此一指令層級前置處理可進行作為GPU加速處理。若在指令層級判定該影像不包括做出一已知手勢的手，則該處理返回存在層級，繼續視訊串流的分析判定影像中是否有一使用者手。如鑑於本文揭示將瞭解，指令層級可將其發現(例如無斑塊資料)通知存在層級，故於存在層級的處理將以教育訓練方式進行。
但若在指令層級判定該影像確實包括做出一已知手勢的手，則該處理繼續將手勢資料傳遞給該應用程式軟體用以在辨識層級處理。如前文解說，此一處理層級傾向於為CPU密集。進一步注意於本實施例情況下，手勢資料係透過USB HID API(手勢API)向上傳遞通過該堆疊。此一API又將參考圖8作說明。如進一步將瞭解，指令層級判定可足以確切識別一已知手勢，及無需進行隨後在以CPU為基礎的辨識層級的處理，藉此更進一步節省在以CPU為基礎的功耗。
如此，藉由在相機內部或否則相機附近執行至少某個程度的一視訊串流之手勢前置處理，實質上能夠減低功耗，此點對行動運算裝置(例如膝上型電腦、小筆電、平板電腦、智慧型手機等)特別有助益。此點之原因在於一般而言，大部分視訊處理涉及相對低複雜度的處理，其可在分散式電路進行，該分散式電路係受組配成可且定位以減低IO活動及CPU工作負荷；而其餘百分比的處理係涉及較高複雜度的處理，其可傳遞至GPU作為原始資料進行加速處理及/或傳遞至GPU的驅動程式(應用程式軟體)進行處 理。如此表示此處提供的技術減少藉由使用專用的分散式效能基元或硬體功能在相機及GPU內部(或近處)跑而讓以軟體為基礎的演算法在通用CPU核心執行的需要。
圖2a示例說明依據此處揭示之技術的一實施例，一種經組配內以進行一視訊串流的步進及分散式手勢前置處理以減少平台功耗的系統之方塊圖。如圖可知，該系統為手勢處理管線，其係受組配成可多個分散式組件(於本實施例情況為5個)。於此一具體實施例中，該等組件中之二者亦即臨界檢測階段及目標存在階段，係經實施為手勢前置處理(GP)電路，其係在相機及GPU內部或近處。如鑑於本文揭示將瞭解，若該GP電路實際上係直接地整合於相機電路內部或否則充分地接近相機，則該GP電路可視為與該相機「共同定位」，只要該GP電路係足夠接近相機感測器因而減低IO功率及縮短CPU處理時間即可，或否則比CPU更靠近相機即可。另一個組件亦即分段階段係藉GPU加速。另二組件亦即手剖析器階段及手勢辨識階段係在電腦系統的CPU執行。於本具體實施例中，此二階段可用於以卵形為基礎的手勢處理，如將參考圖9a至12討論。鑑於本文揭示顯然易知在此步進及分散式架構上的變化，於該處任何此等步進及分散式架構許可最佳化作用中及閒置中的功率狀況。更明確言之，與相機及GPU共同定位的視訊處理組件有效地更具固定功能，因而比較傳統CPU解出相同運算問題需要的功率更少。
如此處使用，「GP電路」係指受組配成可進行圖 2a所示五個階段中之一或多者的一積體電路，該電路係在被提供以欲分析的視訊串流之相機內部實施，或該電路係實施為一專用電路係受組配成可如前文解說藉相當短的連結而直接地耦接至該相機(例如比較習知技術，於該處全部視訊皆係從相機傳遞至以CPU為基礎的驅動程式，可減少IO功耗及CPU週期)。共同定位的GP電路及相機各自可整合於顯示器內部，或顯示器外部，或某個合宜組合。舉例言之，於若干特定具體實施例中，該GP電路可實施在行動運算裝置(例如膝上型電腦、小筆電等)的鉸接顯示器蓋內部且係在相機電路近處，該電路也係埋設在該蓋內部。於若干其它此等實施例以蓋為基礎的顯示器情況下，該GP電路可實施為直接地在該埋設式相機內部。於其它實施例情況下，該GP電路可實施為直接地在一外部相機內部，該相機係受組配成可卡接或以其它方式操作式耦接至例如一電腦系統(例如桌上型電腦、膝上型電腦等)的以蓋為基礎的或外部顯示器。於又其它實施例情況下，該GP電路可實施為離散封裝體且係受組配成可操作式耦接至此種外部相機。於又其它具體實施例中，該GP電路可堆設在一外部顯示器的殼體內部且在也埋設於該顯示器內部的一相機電路近處。於又其它此等外部顯示器實施例情況下，該GP電路可實施為直接地在埋設式相機本身內部。鑑於本文揭示將瞭解，該GP電路與相機電路間的整合或近處程度愈高，則在該相機與GP電路影像處理次系統間之IO功率所達成的節電愈大。
臨界檢測階段為該管線中的第一階段且係受組配成可粗略地判定一視訊圖框是否為有效空白。若目前視訊圖框係與前一圖框充分地相似，則該圖框被視為空白。依據一個此種實施例，此點例如可使用低功耗晶片達成，該晶片實施一簡單演算法其加總與比較該亮度通道。若該視訊使用RGB色彩空間，則用綠成分取代，原因在於一YUV像素的亮度成分大部分係含在針對一RGB像素的綠成分。若目前與先前間之差值係高於一給定臨界值，則將觸發而移動至下個階段。否則，當使用者不做手勢時，空白圖框不傳遞至下個階段，協助作電力管理。於若干實施例中，臨界檢測階段只檢驗在一經標記區域內部的像素，該經標記區域為該成像系統的總視野的一子集，而在此經標記區域外部的像素被關閉或以其它方式忽略不計。該經標記區域例如可由該使用者的鍵盤或滑鼠墊或在一使用者提供手勢的邏輯位置視野內部的若干其它可檢測區的周邊加以界定。於若干此等實施例中，該使用者區可為使用者可組配(例如藉以一給定系統的視野而畫界一給定區，及校正/組配該相機電路而藉關閉在該區域外部的像素而在特定處理階段期間只成像該被畫界區段)。於又進一步實施例中，只有在一臨界值事件區域，其為該經標記區域的一子集，內部的像素係藉該臨界檢測階段分析。鑑於本文揭示將瞭解，只許可藉該臨界檢測階段分析相當小的檢測區，節省處理功耗且為使用者存在的可靠預測器，更明確言之，給定一以鍵盤為基礎的經標記區域或其它此等區域，其在預期的 手勢週期期間直覺地由該使用者的手所突破。如將進一步瞭解，橫跨以該使用者的鍵盤為基礎的經標記區域之一臨界值事件區域能夠用以進一步減低處理功耗，及進一步消除偽陽性臨界值事件(例如當一使用者可能突破一以鍵盤為基礎的經標記區域的手掌停靠區但非意圖比手勢時，則該使用者將較不可能突破橫跨該等A-GH-L鍵的一臨界值事件區域或該以鍵盤為基礎的經標記區域，除非意圖進入比手勢週期)。
依據一實施例，該目標存在階段係受組配成可實施一相對低複雜度方法以找出標靶像素色彩。於某些情況下，此一階段尋找其它彩匹配膚色特性的像素。匹配膚色例如可於晶片進行，該晶片係受組配成可將RGB(或YUV)資料串流轉換成HSV像素。人類膚色在色調中占據相當有限範圍，許可快速的低功耗固定功能轉換與比較。注意目標存在階段不要求前一圖框的任何資料儲存或資訊。若在一掃描線找到足量的膚色像素，提示可能存在有一根手指，則處理過渡至下個階段。否則不存在有目標的或膚色像素不足量的訊框將不傳遞至下個階段，其輔助當使用者不執行手勢時管理電力。恰如同先前就臨界檢測階段說明，該目標存在階段可受組配成可只分析在一指定經標記區域(例如以鍵盤為基礎的經標記區域)或該經標記區域的一臨界值事件區域(例如該等A-GH-L鍵或以鍵盤為基礎的經標記區域)內部的像素，及該討論也同等適用於止處。於其它實施例中，可採用簡化膚色檢測程序，容後詳述。
依據一實施例，該分段階段係受組配成可接收來自該目標存在階段的目標存在圖框，及區分關注像素與非關注像素。於一個實施例情況下，此一階段實施一適應性膚色檢測演算法，該演算法將一彩色視訊圖框變換成一斑塊影像，可編碼成一單色或灰階影像。舉例言之，以灰階影像為例，非零像素可用以表示一斑塊像素，而黑像素可用以表示一非斑塊像素。大致言之，斑塊係用以表示膚色像素區。適應性膚色檢測根據該圖框資料而調整皮膚色調的下限及上限。除了使用侵蝕及膨脹變形法平滑化該等物體外，如此也消除了因相機雜訊及燈光所致之分散像素。如已知，變形法乃根據形狀處理數位影像的數學方法。膨脹變形通常係指擴大或填空一目標物體的操作。侵蝕變形涉及類似方法，但係在影像背景上操作而非在物體操作。鑑於本文揭示將瞭解，許多GPU具有指令，該等指令可經槓桿化處理獲得分段階段的最佳化實施。
依據一實施例，手剖析器階段係受組配成可進行斑塊資料的空間解譯。於一個特定實施例情況下，取決於所評估的目標手勢，該階段試圖將該斑塊資料對映至人體解剖幾何形狀，諸如人手模式或人體模式。鑑於本文揭示將瞭解，手剖析器階段試圖將斑塊資料與人體部件/姿勢相關聯的方式大為取決於使用情況及環繞相機對該人視角的假設。斑塊的解譯方式也有差異。於若干實施例情況下，只利用邊緣判定人體幾何形狀即足。於其它情況下，填空斑塊為更適宜。於某些情況下，來自於分段階段的斑塊資 料可能需要額外處理以去除對正確地剖析斑塊為有害的斑塊上的視覺缺陷，及手剖析器階段可受組配成可去除此等缺陷。以一相機受組配成可觀看該使用者手為例，藉分析一手斑塊邊緣可檢測手指。比較在不同邊緣取樣點的斜率，可提示尖峰(例如指尖)位置。進一步分析該等尖峰狀斑塊(就各個像素間距及斜率而言)，可揭露該指尖係附接至指幹。若有所需，此一階段試圖繪出整個人手，包括全部五個指尖位置。於某些情況下，檢測單一手指即足。如此表示使用模式判定所需分析量。如前文指示，解剖上專一的剖析(例如手剖析)難以普及化，因而難以置於固定功能晶片。因此，於若干實施例中，手剖析器階段係由CPU執行。依據一具體實施例，手勢能夠藉手剖析器階段檢測的一個特定實施例乃以卵形為基礎的手勢，諸如當一使用者手的拇指與食指接觸結合在一起(類似OK手勢，但另三指較為摺疊於食指後方)，或為類似手勢但末端開放使得拇指與食指不相接觸。圖10a-f及11a-f顯示此種封閉及部分封閉的以卵形為基礎的手勢實施例，容後詳述。
依據一實施例，手勢辨識階段係受組配成可執行解析/手資料(接收自手剖析器階段的斑塊資料)的時間性解譯。舉例言之，若該階段係用以分析滑鼠或觸控面板操作，則可尋找一或多個指尖位置的改變。於一個此種實施例之情況下，以卵形為基礎的手勢可用以模擬滑鼠移動以及點擊與釋放動作(單點、雙點等)，容後參考圖10a-f及11a-f詳細說明。此等手勢可在一經標記區域內部分析，諸如圖9a 或9b所示。於某些情況下，原先相機影像的移動模糊使得手剖析器階段難以描繪人解剖。於此等情況下，手勢辨識階段可探勘有關使用情況的假設以改良手勢解譯的可靠性。例如，若手剖析器階段成功地檢知在一個圖框中的一完整手指，但在下個圖框只能判定指尖位置(例如無法證實指尖係附接至一「合宜的」手指)，則該手勢辨識階段可推定下個圖框的手指係同一根手指。
一般而言，分段、手剖析器、及手勢辨識等階段可受組配成可傳遞回授給臨界檢測階段或目標存在階段。舉例言之，且如圖2a之具體實施例可知，若手剖析器階段實際上找到一個夠大的斑塊可能為一隻手，則可傳訊給臨界檢測階段而將前一圖框的亮度/綠計數器復置為零，藉此迫使下個圖框指示該圖框為非空白圖框。於一個特定具體實施例中，此型傳訊可透過在GP電路的臨界檢測階段晶片上的單一接腳/導線實施，例如可從驅動程式控制。另外，依據另一實施例，也可透過USB完成。如此輔助防止下述情況，於該處手部不移動造成臨界檢測階段認為該手乃靜態背景的一部分。另一個回授迴路實施例的景況係當檢測得一個夠大的斑塊時(如圖2a描繪及標示為目標存在-資料流)，迫使系統將資料從相機直接受至分段階段，而不將資料傳遞至臨界檢測階段及目標存在階段。此型表現藉由去除不必要的臨界值相關處理可改良功耗。但須注意雖然此種回授機制可提供進一步最適化程度，但並非全部實施例皆有必要。例如若此等技術的實施成本貴得驚人，則替代 解決方案落回每一兩秒的該目標存在階段以檢驗是否連續地存在有目標。於此種情況下，付出的犧牲係喪失一個手勢指令資料框。
圖2b描述依據一實施例，來自圖2a系統之不同階段的控制及資料。依據一個具體實施例，針對所提示的劃分，GP電路可受組配成可臨界檢測階段及目標存在階段，且可進一步組配以控制一資料多工器及判定是否傳遞上行資料(用於分段)以喚醒該系統。依據若干此等實施例，運用此種應需傳遞資料辦法，可達成顯著節省平台功耗，唯有需被喚醒時才叫醒電腦系統。
如圖可知，來自一起始圖框的原始資料係供給臨界值狀態，係受組配成可針對該關注區域，檢測一給定圖框比較前一圖框的變化。若不符合改變臨界值，則可減低FPS，及處理程序繼續監視訊框的原始資料。依據若干具體實施例，若滿足該臨界值，則該原始資料被傳遞至目標存在狀態，其係受組配成可尋找在一關注色調範圍內部的目標存在。色調範圍例如可使用由多個樣本所收集的實驗性資料判定。於其它實施例中，色調範圍可判定為量測一給定使用者的膚色之初始設定或校正程序的一部分。鑑於本文揭示(例如圖2d及2e)，無數其它膚色檢測程序實施例將為顯然易知。任何此等情況下，若沒找到一適當目標，則控制可回送給臨界值狀態。於若干實施例中，臨界值狀態及目標存在狀態可有效地組合成一個狀態。否則，若在該給定畫面更新率(例如內設整率或如此本控制迴路中精製者) 找到一適當目標，則控制可傳遞給分段處理狀態，進行適應性膚色檢測，說明如前。於若干實施例中，也發現如前文說明，於某些情況下諸如當檢測得一個夠大斑塊時(如圖2b描繪及標示為於處理狀態期間資料/控制流)，系統可從相機直接傳遞原始資料給分段處理狀態，而不將原始資料傳遞至臨界值狀態及目標存在狀態。
於任何此等情況下，分段處理狀態係受組配成可進行適應性膚色檢測而將影像分段。於若干實施例中，利用變形法，可消除雜訊及平滑化影像。適應性皮膚影像資訊係提供給手剖析器狀態，該狀態係受組配成可對映斑塊資料至人體解剖幾何形狀，於本實施例之情況諸如為人手模式。若手剖析器狀態無法證實一給定斑塊係與一手相關聯，則控制回送給目標存在狀態(未檢測得斑塊)。但若手剖析器狀態證實一給定斑塊係與一手相關聯，則控制傳遞給手勢辨識狀態(找到斑塊)。然後，手勢辨識狀態分析手資料的特定指令，諸如使用者提供的導航指令。當分析完成時，針對該圖框的處理流程完成，則可據此控制在電腦系統上執行的該給定應用程式。
圖2c顯示針對可在該GP電路上實施的五項處理程序各自的一典型CPU利用，給定一特定設備包括2-2.33GHZ CPU及提供640x480視訊資料像素框的USB相機。如圖可知，分段做了最大利用，較少迭代重複變化，分段乃可被加速的良好候選者。依據一實施例，經GPU加速的適應性膚色檢測演算法將有助於改良系統整體的效能及功率效 率。由於工作負荷可由CPU/GPU分擔，如此也確保資料框的處理而無遺漏任何圖框。典型最惡劣情況手剖析器利用率出現在當找到較大的斑塊及周長較長時。依據若干具體實施例，在如此處描述的劃分處理(例如，於該處臨界檢測及目標存在係分散於USB相機內部或否則在相機附近，及分段係經GPU加速)後，總CPU利用率將為低於10%。
簡化膚色臨界檢測
鑑於本文揭示將瞭解，多個精製可用以進一步減低功耗。舉例言之，一個具體實施例許可在目標存在階段進行一簡化膚色臨界檢測以減低前置處理期間的平台功耗。概略言之，膚色檢測通常係在非RGB色彩空間進行，諸如HSV、YUV、或YCbCr，因而要求在此等色彩空間間之色彩空間轉換。依據一實施例，人類膚色檢測占用色調的一有限範圍，許可快速的低功耗的固定功能轉換及比較。一般而言，若在一掃描線找到足夠的膚色像素以提示可能存在有一手指或一手，則處理可過渡至下個階段，亦即分段階段。但須注意在初始臨界值階段(在藉臨界檢測階段檢測得擾動之後)膚色檢測絲毫也不要求色彩空間轉換或任何像素資料加強。反而依據一實施例，相機感測器的原始RGB資料可透過ADD函數運算，藉此獨立地加總在該經標記區域內部的期望區域/像素掃描線/等的像素串流之R、G、及B值，及該系統可進一步組配以檢測隨著時間於加總色值(積分)的粗略差異。舉例言之，當此等和值出現某個百分比的變化時，指示膚色相較於背景-鍵盤色之比的變 化，則發生臨界值事件，處理可過渡至下個階段(分段階段)。類似先前討論的使用色調之膚色檢測技術，此一使用RGB膚色檢測技術不要求任何來自前一視訊影像圖框的資料儲存或資訊，原因在於處理後的視訊串流資料可被拋棄故。單一暫存器可用以儲存臨界值(例如於該掃描線中的膚色百分比或比值須被超過以觸發一臨界值事件)。如此，此一臨界值評估的簡單及節電可藉比較膚色色值與背景色值(諸如鍵盤色彩)達成。此種方式的簡單在於涉及比較膚色與非膚色，而非比較非膚色與某個任意的色差。
圖2d顯示依據一實施例減低平台功耗的膚色臨界檢測之方法之一實施例。鑑於本文揭示將瞭解，可實現功耗的減低，原因在於該演算法容易在例如相機(或GP電路)中的暫存器傳送語言(RTL)或軟體實施，因而不涉及CPU處理週期。如圖可知，於本具體實施例中，目標存在的臨界值係利用在單一像素掃描線(例如橫跨鍵盤的A-GH-L鍵)內部的膚色檢測進行，而目標之評估可在整個經標記區域(例如鍵盤)執行。該方法包括將臨界值事件區域(例如掃描線或A-GH-L鍵上沿線或否則在該線上的部分掃描線或像素)內部的像素串流之R、G、及B值加總。
該方法繼續判定在該臨界值事件區域內部的膚色擾動是否已被檢測(藉由比較加總的R-G-B值與一給定臨界值)。若該比較指出未檢測得膚色擾動，則該處理繼續針對各個接續圖框尋找落入於該臨界值事件區域的有限像素區內部之膚色擾動。但若已檢測得在一個給定圖框之該臨 界值事件區域內部的膚色擾動，則該方法繼續傳遞一中斷指示目標存在，及執行手勢前置處理(於若干實施例中，其可包括藉分段、手剖析器及手勢辨識階段的處理)及/或任何其它手勢處理工作。針對各個下一圖框，該方法包括運用先前討論的以色調為基礎的技術，判定於經標記區域是否存在有膚色像素，及若是，則繼續訊框的處理。反應於於一給定圖框內未檢測得膚色，該方法繼續傳遞一中斷指示目標不再存在，及中止任何進一步手勢前置處理及/或手勢處理工作。此時，該方法有效地重複及繼續監視接續圖框的臨界值事件區域之膚色擾動，藉加總臨界值事件區域的R-G-B值，瞭解是否已經出現膚色相較於背景鍵盤色彩之比值變化。
圖2e顯示依據另一實施例，用於膚色臨界檢測以減低平台功耗之方法之一實施例。使用參考圖2d討論的以RGB為基礎的膚色檢測演算法所達成的節電能進一步改良。更明確言之，膚色色調(及亮度)係由綠色主控。如此來自掃描線(或其它合宜臨界值事件區域)的綠像素之測試可用以更快速地且更加功率有效地提供相同資訊。無需色彩空間轉換或膚色對映/比較，只操作綠像素。因而色彩空間資訊減少達三分之二(例如相機可省電紅及藍像素)。如先前註明，鍵盤色彩可經選擇以強調膚色相較於鍵盤色差。如此，藉由加總得自單色(綠色)視訊串流內部的原始像素資料，可達成簡化膚色臨界檢測，以在手勢辨識前置處理期間減低平台功耗。注意於某些情況下，色彩空間資訊可減 少達75%，原因在於各個像素典型地設計有Rx1、Gx2、及Bx1感測器，故相機販售商可只留下Gx1操作而在像素Rx1、Gx1、Bx1的其它色彩感測器節電。如此，於此處揭示技術之若干實施例中，臨界檢測及膚色檢測(臨界檢測階段及目標存在階段)可減少至單一加總/檢測功能作用在得自一臨界值事件區域(例如單一/部分掃描線或單一像素)內部的一有限像素集合之色像素資料的極低頻寬視訊串流。如虛線框顯示，此一替代實施例呈示於圖2e。當檢測得膚色時，相機可電力儲備未使用的像素及像素-色彩-感測器，故系統可過渡至下個階段或處理(例如分段階段)。依據若干實施例，此種初級膚色檢測功能例如可擴延以使用手勢提供低功耗使用者喚醒事件。於一個此等實施例中，當於擱置/待機或其它低功耗模式中時整個電腦系統的全部其它系統可節電，而極端低功耗膚色臨界值演算法可受組配成可等候來自該使用者手勢的喚醒事件。給定該使用者的從待機喚醒的時間性預期，該相機的(或GP電路的)臨界值決策可以極慢每秒圖框數(FPS)影像(例如1-4 FPS，比較相機感測器典型可利用30+FPS)做出，其可更進一步減低功耗。
如參考圖2d之方法實施例之先前解說，圖2e之方法也能實現在例如在相機的(或GP電路)RTL或軟體內部實施的演算法。如圖可知，於此一具體實施例中，目標存在的臨界值係使用在單一像素掃描線(例如橫跨鍵盤的A-GH-L鍵)內部的膚色檢測執行，而目標評估可在完整經標記區域(例如鍵盤)進行。該方法包括只加總在該臨界值事件 區域內部(例如掃描線或A-GH-L鍵上沿線或否則在該線上的部分掃描線或像素)的像素串流之綠像素值。該方法繼續判定是否檢測得在該臨界值事件區域內部的膚色擾動(藉比較綠像素和值與一給定臨界值)。若該比較指出未檢測得膚色擾動，則該處理繼續針對各個接續圖框尋找落入於該臨界值事件區域的有限像素區內部之膚色擾動。但若已檢測得在一個給定圖框之該臨界值事件區域內部的膚色擾動，則該方法繼續傳遞一中斷指示目標存在，及執行手勢前置處理(於若干實施例中，其可包括藉分段、手剖析器及手勢辨識階段的處理)及/或任何其它手勢處理工作。針對各個下一圖框，該方法包括運用先前討論的以色調為基礎的技術，判定於經標記區域是否存在有膚色像素，及若是，則繼續訊框的處理。反應於於一給定圖框內未檢測得膚色，該方法繼續傳遞一中斷指示目標不再存在，及中止任何進一步手勢前置處理及/或手勢處理工作。此時，該方法有效地重複及繼續監視接續圖框的臨界值事件區域之膚色擾動，藉只加總臨界值事件區域的綠像素值(而排除紅及藍像素)，瞭解是否已經出現膚色相較於背景鍵盤色彩之比值變化。
使用情況及系統組態實施例
圖3a示例說明依據一實施例，組配以進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的一電腦系統之使用情況實施例。如圖可知，一位使用者正以常見的典型方式坐在電腦系統前方。本實施例之電腦系統顯然 為具有外部顯示器的桌上型電腦配置，但如將瞭解可為任一種合宜電腦系統，諸如使用基於蓋之顯示器的膝上型電腦或小筆電或其它此等行動運算裝置，或使用外部顯示器的行動運算裝置，或觸控螢幕裝置諸如平板電腦或智慧型手機。
於任何此等情況下，本具體實施例之系統進一步組配以一相機及GP電路。相機可用以拍攝使用者的姿勢諸如手勢。於圖3a描繪的此一實施例情況下，相機及GP電路係埋設在顯示器頂部，因而提供一視野，該視野係包括使用者手部將使用例如電腦系統的鍵盤、滑鼠、觸控螢幕、或其它此等輸入裝置活動區。但須注意給定如此處描述的系統之手勢解譯能力，該使用者無需實際上接觸此等輸入裝置。反而，該使用者可單純在該視野內的指定使用者輸入區移動手部，因而使用以手為基礎的手勢(討論如文)與該電腦系統有效地通訊。圖3b-e示例說明針對相機及GP電路的各個實施例配置。
圖3b示例說明實施例情況，於該處該GP電路係整合或否則涵括於該相機的成像積體電路(矽晶片或其它)內部，藉消除相機感測器與該影像處理功能中之至少部分間的IO功耗而進一步減低平台功耗。於本實施例情況(以及圖3c-3e顯示的實施例情況)下，該GP電路包括至少臨界檢測電路及目標存在電路，及若有所需，可能包括此處提供的手勢前置處理電路中之其它者。圖3c示例說明另一個實施例情況，於該處相機及GP電路係彼此區分地實施，但雖 言如此位在彼此近處且藉一相當短的通訊匯流排操作式耦接，於本具體實施例中該匯流排為USB匯流排。如將瞭解，可使用任何數目的其它合宜通訊埠及匯流排結構。圖3d示例說明另一個實施例情況，於該處該GP電路係整合或否則涵括於該相機的成像積體電路內部，及相機係埋設於顯示器內。圖3e示例說明另一個實施例情況，於該處該GP電路係經組配成孤立裝置，其係受組配成可操作式耦接至該裝置的USB埠，因而接取埋設於其中的相機。於如圖3a-e指示的任何此等實施例情況中，該顯示器例如可為外部顯示器、觸控螢幕顯示器、或以蓋為基礎的顯示器。
圖4示例說明依據一實施例，組配以進行一視訊串流的步進分散式手勢前置處理以減低平台功耗之膝上型電腦系統的方塊圖。如圖可知，本實施例具有膝上型電腦的典型形狀因數，及包括一底板部，底板係藉鉸鏈而操作式耦接至一顯示器部。顯示器可具有觸控螢幕能力，但也可為例如LED顯示器。一般而言，所示架構及功能性大半可使用期望的習知或客製化技術實施，但與視訊內容之步進分散式手勢前置處理相關的架構及功能性除外，後者係依據本文揭示之技術實施例實施，容後詳述。
於此一實施例情況下，該GP電路係含括於顯示器電路的感測器資料處理區塊，該區塊係透過相對應行動工業處理器介面-相機串列介面(MIPI-CSI)而操作式耦接至二整合相機。一個相機係聚焦在第一使用者輸入區因而拍攝使用者手勢，而另一相機係聚焦在第二使用者輸入區因 而拍攝使用者頭臉姿勢。如將瞭解，該手GP電路係受組配成可臨界檢測階段及目標存在階段用於使用者手勢處理，該頭臉GP電路係受組配成可臨界檢測階段及目標存在階段用於使用者頭部及/或面部姿勢處理。如此於本實施例情況下，該GP電路可有效地分叉成兩個特定姿勢方塊。於其它具體實施例中，若有所需，一部相機可結合機械透鏡總成，其有效地許可單一相機拍攝兩個目標使用者輸入區。於此種情況下，該GP電路可實施為單一方塊，能夠處理涉及的各個手勢型別。
如將瞭解該GP電路可以類似方式針對手及頭臉各自實施。如先前解說，與解剖標的無關，該GP電路的臨界檢測階段可以受組配成可例如加總及比較各個圖框的亮度通道之閘層級邏輯或其它特製半導體實施，及若目前圖框與前一圖框的資料係高於一給定臨界值(例如>3%變化，或>5%變化，或>10%變化)，則可產生一使用者檢測信號，藉此觸發原始資料傳遞至目標存在階段。否則無變化圖框或否則空白圖框有效地遏止此種檢測信號，藉此於無手勢時間節電。以類似方式且與解剖目標無關，該目標存在階段GP電路可以閘層級邏輯或其它特製半導體實施，該邏輯或半導體係受組配成可例如將RGB(或YUV)資料串流掃描線轉換成HSV像素，及比較其中表示的像素色調值與膚色色調之相當有限範圍。於其它實施例中，該目標存在階段GP電路可以受組配成可加總像素值的閘層級邏輯或其它特製半導體實施，如前文參考圖2d-e之說明。若膚色像素出 現於掃描線以提示可能存在有手指或臉，則處理過渡至分段階段。否則不存在有目標或膚色像素數目不足的訊框未傳遞至下個階段或否則被遏止，故於無手勢時間節電。於其它實施例中，目標存在階段可於GPU實施，給定其功能的平行本質(例如針對在一給定掃描線內部的各個像素之平行色調分析)。但於此種情況下，如將瞭解，將影像資料從相機傳遞至GPU通常的IO功率成本較高。雖言如此，使用GPU仍可避免在驅動程式層級處理影像資料所相聯結的CPU週期。
如前文解說，於此一具體實施例中的分段階段係與CPU共同定位，偶爾係如此，但其它實施例可利用與CPU通訊的一區分GPU。依據一個具體實施例，該分段階段係受組配成可將所接收的彩色視訊的各個圖框變換成一斑塊影像，其中非零像素表示斑塊像素，及黑像素指示非斑塊像素。於此種情況下，例如斑塊可用以表示膚色像素區。藉此方式，分段階段適用以或否則更清晰地界定在一給定圖框內部的以膚色色調為基礎的斑塊邊界，藉此有效地減低一給定影像的複雜度成為二進制排列(斑塊及非斑塊)。此種以掃描線為基礎的處理工作遵從並列處理使得該分段階段變成GPU實施的理想候選者。
於其它實施例中，以類似目標存在階段之方式，該分段階段可在具有閘層級邏輯或其它特製半導體的該GP電路實施。但界定斑塊資料的邊界通常要求處理更大量掃描線，可能提高目標存在階段的複雜度。但此項複雜度例 如可藉使用適合目標解剖特徵及合理外推程度的假設加以抵消。舉例言之，假設做出和平手語的手乃目標解剖特徵，處理手影像的三或四條掃描線。第一掃描線例如顯示橫跨和平手語的V字型部分上部的非膚色像素(三群)及膚色像素(二群)的交替群。同理，第二掃描線例如顯示橫跨和平手語的V字型部分下部的非膚色像素(三群)及膚色像素(二群)的交替群，但但兩個膚色像素部分間之非膚色像素部分的長度將為較短。第三掃描線可顯示橫跨手的本體部的非膚色像素(二群)及膚色像素(一群)的交替群，及第四掃描線可顯示橫跨手腕部的非膚色像素(二群)及膚色像素(一群)的交替群，其中手的本體部的膚色像素群係比手腕部的膚色像素群更長。如此，若例如此等三或四條掃描線的特性可使用以邏輯為基礎的比較加以證實，則與介入掃描線相聯結的手資料可經解譯或以其它方式估計，及據此可指定總膚色斑塊的邊界。如將瞭解，類似的處理可用以檢測全部包圍的卵形及部分包圍的卵形，諸如於圖10a-c及11a-f(全部包圍)及圖10d-f(部分包圍)之手勢實施例中顯示者。於若干此等實施例中，及將就圖9a-b討論，影像處理可限於一經標記區域，諸如使用者的鍵盤(圖9a)或滑鼠墊(圖9b)，於電腦/網際網路導航情況下可能在其上方打手勢，其中由該目標存在階段處理的一或多個掃描線以界定斑塊資料邊界，可設定在橫向通過鍵盤中央的該臨界值均等區域。
手剖析器階段及手勢辨識階段可由在基板的CPU執行作為應用程式驅動程式的一部分，但唯有藉如此 處描述的稍早階段作動。再度，依據若干實施例，此項處理可交替地在GPU或甚至在該GP電路執行。為了達成此項目的，前置處理功能的集積入GPU及/或GP電路的程度可根據例如成本效益分析，該分析(一方面)平衡此種集積的費用/成本與(另一方面)功耗及CPU週期的節省。鑑於本文揭示將瞭解，藉由在該GP電路實施臨界檢測階段及目標存在階段，在GPU實施分段階段，及許可手剖析器階段及手勢辨識階段在CPU上執行，可實現相對低成本的顯著節省。進一步集積入該GP電路的成本可能並不合理或否則不合所需，但本文揭示並非意圖受此所限。
進一步參考圖4，SRAM快取記憶體可用以儲存與視訊的有效處理相聯結的參數，且可以任何其它型別的合宜記憶體技術實施。舉例言之，於若干實施例中，記憶體可用以儲存典型地包括由使用者所提供的手勢之一圖框內部的座標。此等座標例如可根據實驗分析隨著時間建立及/或精製或可由使用者組配。此等座標例如也可根據在相機視野內部的該經標記區域之相對位置的改變而定期精製或以其它方式更新。總而言之，此等座標可由該GP電路(及若有所需，其它組件)用以有效地進一步減低影像處理負荷。在這種意義上，可分析視訊串流之一子集。記憶體也可包括與特定使用者設備相聯結的膚色範圍。此項資料例如可根據實驗分析隨著時間建立或可由使用者組配。如將瞭解，無數其它型別的資訊及資料可儲存於記憶體。
效能基元為可提供以支援該GP電路功能的選擇 性組件，且可於硬體及/或軟體實施。適合用以處理手勢視訊的效能基元實施例例如可為矩陣乘法或加法模組。另一個功能實施例可為富利葉變換模組，以將一影像從空間域轉換成頻域以協助處理。在更通用的意義上，可由以CPU為基礎的驅動程式處理所使用的任何影像處理工具將在該等效能基元中實施以輔助分散式前置處理功能。選擇性的私密性及安全性模組可受組配成可提供對惡意行為的保護，及可經實施以執行一或多個安全性策略，諸如與可信任裝置處理環境相聯結的策略。舉例言之，私密性及安全性策略模組可強制執行策略，諸如以使用者為基礎的策略(例如有些使用者可能不想啟動相機)及以平台為基礎的策略(例如唯有可信任平台模組(TPM)裝置可透過USB埠而連結至平台控制器中樞器(PCH))。
圖4顯示的其它顯示器及基板組件部分可如典型方式或否則以期望方式實施。圖5示例說明依據另一實施例，受組配成可進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的小筆電電腦系統之方塊圖。如圖可知，該系統的顯示器部分係類似圖4所示膝上型電腦系統的顯示器部分，前文相關討論也同等適用於此。基板區段也相似，但因屬小筆電組態故組配略有差異。如此，如前文解說，CPU例如可為適用於小筆電、桌上型小筆電及其它此等低功耗微型電腦系統的英特爾(Intel®)原子(AtomTM )CPU或其它此等處理器。
圖6示例說明依據另一實施例，具有一外部顯示 器及受組配成可進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的電腦系統之方塊圖。該電腦系統例如可為桌上型或膝上型(有對接或無對接者，利用電池電力運轉)。如圖可知，該系統的顯示器及基板部分可類似圖4及5所示該系統的顯示器/基板部分，前文相關討論也同等適用於此。可使用無數其它電腦系統架構及組態，及本文揭示並非意圖限於任何特定者。
圖7指示依據一實施例，藉將視訊前置處理移出核心/非核心之外及移入相機模組所達成的節電。總功率差值為高於平台待機功率所耗用的電力。如鑑於本文揭示將瞭解，當影像中不存在有任何內容時，可實質上減少視訊操作的CPU C0%占用。如進一步將可瞭解，雖然將影像處理從核心移至非核心節省約1.4瓦電力(來自減少CPU週期)，但當在相機感測器本身內部執行前置處理(諸如臨界檢測及目標存在狀態)，藉此消除I/O功率時可達成約3.6瓦的額外節電。
可用於網際網路導航的手勢實施例通常係仰賴粗粒度手勢(例如上/下捲取、次一/前一頁、雙點擊等)，例如單一細粒度手勢典型地用於滑鼠移動。當進入特定紋理資訊時，只須在鍵盤上打字。典型內文類別包括URL、使用者名稱、密碼、搜尋字(包括街名等)。於許多情況下，極少需要或無需移動滑鼠。如此，手勢簡單進一步許可在相機本身內部實施手勢辨識作為一分散式處理。
手勢API
圖8示例說明依據此處揭示技術之另一實施例，顯示一應用程式規劃介面(API)受組配成可進行一視訊串流的步進分散式手勢前置處理以減低平台功耗的電腦系統之方塊圖。於本實施例情況下，手勢API乃在本特定系統可利用的一或多個API(感測器API、脈絡API)。原始感測器資料係透過感測器API處理，及手勢API前置處理原始感測器資料，且暴露來自臨界檢測及目標存在狀態的資訊(存在及臨界值資料)，以及來自分段階段、手剖析器階段、及/或手勢辨識階段的資訊(手勢資料)，而與該運算是否在相機感測器內部/附近執行，或在該CPU/主記憶體上跑的軟體驅動程式執行無關。如將進一步瞭解，該手勢API可包括私密性及安全性策略，諸如以使用者為基礎的策略(例如有些使用者可能不想啟動相機)及以平台為基礎的策略(例如唯有可信任平台模組(TPM)裝置可透過USB埠而連結至平台控制器中樞器(PCH))。如前文解說，該手勢API前置處理原始視訊，及呈現為一擴延USB HID類別裝置。此原始資料不受影響而呈現為一標準USB視訊資料類別裝置。
手勢API可經規劃或以其它方式受組配成可傳達狀態資訊給相機裡的手勢裝置端點，諸如包含使用者輸入區的像素(例如鍵盤/滑鼠區，如圖3a所示)。外部顯示器的相機之處理程序係與筆記型電腦的整合式顯示器相機之處理程序相同。於一個實施例情況下，該處理程序包括：定位視訊串流的視野中的鍵盤；以關注像素(虛擬標記)形式，傳達鍵盤資訊給相機/GP電路；在相機感測器/GP電路內開 始手勢前置處理工作；視需要更新鍵盤位置；及透過手勢API呈示手勢處理資訊給平台。在多顯示器或多鍵盤系統中，該使用者的可指出哪個顯示器或鍵盤為主要。任何合宜的選項數目皆可用在此處。
也如前文解說，由手勢API所解譯的手勢可用以擴大其它互補輸入模態，諸如由鍵盤及/或滑鼠所接收的使用者輸入。多種搜尋引擎目前結合無數滑鼠/觸摸手勢，使用者可使用該等手勢作為捷徑以改良其瀏覽經驗。該使用者可作動/解除作動特定捷徑，及增加新的客製捷徑。此種系統的一項缺點(除了缺乏標準化之外)全部的捷徑集合加總成為可能數量驚人的手勢，造成心理上困惑而無可避免地妨礙了廣為人採用。依據一個實施例，提供相對容易且精簡的以手勢為基礎的指令列表，其可視需要修正/擴延。可能期望有些規劃能力，原因在於大部分勤奮的使用者可能希望擴延手勢列表，及大部分使用者可能希望增加個人化手勢給例如在「我的最愛」中列出的網址。典型地大部分使用者經常一再地重複相同網頁(例如谷歌、G郵件、臉書等)。減少此系列鍵盤/滑鼠指令給單一手勢(或短系列手勢)可改善使用上的容易程度及加速使用者的翻頁時間。
此外，可考慮若干手勢所要求的「中性回復」。「中性位置」為當不執行手勢時統計上手的平均位置。舉例言之，手掌停靠在手掌座上，而手指置放在下列鍵上：Q-E-R-G-空格鍵-空格鍵-H-U-I-P。中性回復係將手放置回中性位置(例如在執行一個手勢之後而在開始下個手勢之 前)。在大部分電腦系統使用模型中，雙手係維持在中性位置。期望最小化粗略手勢，在手勢期間讓手掌留在相同實體位置。如此簡化了影像處理，原因在於影像處理演算法將忽略不計在該相機視野外部的全部視覺活動。
如鑑於本文揭示將瞭解，圖8顯示的其它組件及特徵先前係就圖4-6討論，或否則可典型地完成實施。
於2D有細粒度手勢辨識的經標記區域
如前文解說，手勢辨識階段可受組配成可執行由手剖析器階段所產生的解剖/手資料的時間性解譯。舉例言之，若手勢辨識階段係用於檢測滑鼠相當的操作，則可尋找使用者指尖及/或手的位置變化。於若干實施例中，手勢辨識可使用下述技術進行，以在一視訊串流的視野內部產生虛擬標記以減低在手勢前置處理期間的平台功耗。於一個此種實施例中，一經標記區域包括或否則對齊在視訊串流影像內部的該使用者的鍵盤。可去除在經標記區域外部的像素資訊之影像處理及電腦系統內部通訊，因而減低處理負荷。於又進一步實施例中，評估的像素數目可減至此經標記區域的一子集，該子集例如可小至一像素掃描線、一部分像素掃描線、或一單一像素。
為了達成此項目的，及如前文解說，參考臨界檢測階段及目標存在階段，圖9a示例說明依據一實施例，可用以控制一電腦系統的一手勢視訊處理系統，在視野內部的以鍵盤為基礎的經標記區域之一實施例。如圖可知，在相機的視訊影像內部的該經標記區域係以實線指示，大致 上係相對應於該使用者的鍵盤周邊，及在此經標記區域內部的一臨界值事件區域(水平通過鍵盤中區的虛線，大致上相對應於A-GH-L鍵)。在藉臨界檢測階段及目標存在階段做初步評估中，可一或多次通過(例如掃描線或部分掃描線或甚至一像素)此臨界值事件區域。在目標經標記區域外部的像素可被忽略，及於若干實施例中，在此初始階段期間在臨界值事件區域外部的像素可被忽略。如將瞭解，臨界值事件區域可位在經標記區域內部的其它區，諸如接近鍵盤的空格鍵，原因在於使用者手部不太可能從最頂像素(例如功能鍵)打破該經標記區域的平面。雖然顯示外部鍵盤單元，但其它實施例可用於整合鍵盤，諸如與膝上型電腦或筆記型電腦相聯結，或平板電腦其係受組配成可對接或以其它方式用於實體外部鍵盤。使用者手相對於電腦系統的鍵盤之位置乃電腦使用活動的良好指標，及從此區打手勢乃使用者的直覺處理。
一旦被作動(例如在臨界檢測階段判定該視訊串流之一目前圖框是否與該視訊串流之前一圖框有足夠差異，及該目標存在階段判定該目前圖框包括膚色像素之後)，隨後影像處理階段方便識別鍵盤的經標記區域及搜尋此區域內部的手。臨界值事件可由在該相機的觀察影像內部的該經標記區域內部的手之存在判定，及此事件可由例如在經標記區域內部(或臨界值事件區域內部)出現夠大視覺擾動界定。影像中反映的在經標記區域外部的活動(包括可能被誤判為打手勢的錯誤指標)被忽略。舉例言之及依據 若干實施例，顯示器與鍵盤傾向於長時間相對於彼此位在固定位置(此點對膝上型電腦或筆記型電腦配置特別為真，但也可應用至具有外部鍵盤的桌上型設備)，因此在相機感測器的視覺影像中鍵盤-標記的相對位置也傾向於相當固定。如此，依據若干實施例，影像處理可下載特定關注像素(諸如相對應於該經標記區域或該經標記區域的一子集的該等像素，諸如相對應於臨界值事件區域的該等像素)至在該相機感測器內部(或否則如此處描述在該GP電路中)的該影像前置處理次系統，及相機感測器可斷電在此目標經標記區域外部的其它像素以節電。同理，當傳達像素至CPU進行手勢辨識工作(手剖析器階段及手勢辨識階段)時，在此經標記區域外部的像素資訊為不相關，及無需傳送至CPU，更進一步節電。注意無需在鍵盤上使用實體「標記」，原因在於跨越全部販售商、文化、年齡族群，鍵盤典型地係以極為一致的工業設計製作，因而易與人手區別。例如，鍵盤典型地為單色，簡化了膚色檢測工作，原因在於其為(或否則可為)與膚色有高度差異。
於使用以鍵盤為基礎的經標記區域之若干實施例中，該經標記鍵盤區域將要求定期更新傳遞至該GP電路(例如相機感測器)，原因在於顯示器-鍵盤的相對位置可改變(根據使用者活動、膝上型電腦蓋角度的移動、外部鍵盤的移動等)，結果修正相機視野影像中期望的像素區域，藉此修正該影像內部的鍵盤標記位置。視訊圖形陣列(VGA)技術針對大部分影像處理形式提供足夠的像素解析度以供 手勢辨識。如鑑於本文揭示將瞭解，雖然高畫質相機在平台上已變得更為標準，但用以監視手勢無需額外影像解析度。反而依據如此處揭示技術之一實施例，藉開窗一關注的目標經標記區域，該手勢影像處理系統可受組配成可供電最少數像素而準確地拍攝該等手勢，而針對更高畫質的影像解析度要求的任何額外像素可被斷電以節省IO及運算工作的功耗。
如此，藉判斷使用者手部將如何與經標記區域互動，可顯著地減少功耗。為了達成此項目的，依據一個實施例之一目標係減少在各個前置處理階段被評估為最少數的像素數目以節約電池壽命。有關哪些像素適合評估可做其它判定，例如評估一臨界值事件區域包括例如與空格鍵排齊的像素之單一掃描線。舉例言之，於若干此等情況下，使用者的手不可能打破空格鍵本身上方的平面，原因在於該使用者的實體人體測量術係將雙手置於空格鍵的兩側。就更加概略性意義言之，判定有關使用者與經標記區域及臨界值事件區域之互動可將評估的像素數目減至此經標記區域的一子集，該子集例如可小至一像素掃描線、一部分像素掃描線、或一單一像素。當出現臨界值事件時，臨界檢測階段可報告該事件給該系統及/或可傳遞控制給影像處理階段的下個階段(藉目標存在階段檢測膚色)。以類似方式，當出現膚色檢測時，該目標存在階段可報告該事件給系統及/或可傳遞控制給影像處理階段的下個階段(藉分段階段的適應性膚色檢測)。
依據若干實施例，注意於操作期間該系統可使用多個標記定義。舉例言之，用於臨界值及/或目標存在檢測的該經標記區域可小於用於斑塊辨識或用於手勢辨識的該經標記區域。於若干實施例情況下，該經標記區域可包括鍵盤及鍵盤的手掌靠墊。但為了引發手勢(亦即為了發生臨界值事件)，手須打破在A-GH-L鍵軸線上方的該水平面，如圖9a顯示。
於另一具體實施例中，該經標記區域可為滑鼠墊或一指定桌面區，如圖9b顯示。鑑於本文揭示其它此等經標記區域將為顯然易知，諸如其它輸入裝置(例如軌跡墊、觸控螢幕)或指定區。於又其它實施例中，經標記區域可可指定於內部，其中該系統係受組配成可自動地排除視野的一周邊區域。於若干此等實施例中，視野周邊除外的厚度為使用者可組配。藉此方式，使用者可有效地校準其系統至期望的使用者設定值。如鑑於本文揭示將進一步瞭解，依據一實施例，此等經標記區域及臨界值事件區域的使用可用以輔助運用單一2D相機及膚色檢測演算法而執行電腦或網際網路導航的低成本、低功耗、細粒度手勢辨識技術。於若干實施例中，該等技術可擴延至3D物體操弄的作動。
目標存在之經標記臨界值方法
圖9c示例說明依據一實施例，目標存在之經標記臨界值之一方法。本方法可於硬體或軟體或其組合實施，於一個具體實施例中係藉五個前置處理階段進行，該等階段如本文描述可以步進及分散式執行。該經標記區域例如 可為使用者的鍵盤，及該臨界值事件區域可橫跨該鍵盤的一部分。於一個特定具體實施例中，目標存在之臨界值係使用橫跨該等A-GH-L鍵(臨界值事件區域)的一像素-掃描線進行，而隨後目標的評估係在全部經標記區域上方進行。但無數變化及實施例鑑於本文揭示將顯然易知，及此處提供之標記分析技術可以任一種合宜方式實施。
該方法包括判定是否已經檢測得臨界值事件區域內部的擾動。若否，則該處理繼續尋找各個接續圖框之落在臨界值事件的有限像素區內部之一者。但若在給定圖框內已經檢測得臨界值事件區域內部的擾動，則該方法繼續傳遞一中斷指示目標存在，故處理可前進至下個階段於本實施例情況下，該下個階段係涉及膚色檢測。更明確言之，取決於處理階段，該方法繼續判定在經標記區域或在臨界值事件區域是否已經檢測得膚色。舉例言之，於一個實施例情況下，若處理剛從臨界檢測階段傳遞至目標存在階段，則只分析臨界值事件區域內部的像素之膚色，及若在目標存在階段發訊一使用者存在之後處理接續訊框，則整個經標記區域皆可被掃描是否有膚色像素。
於任一情況下，若判定在該目標經標記區域中不存在有任何膚色像素，則該方法繼續傳遞一中斷指示該目標為不存在，及停止任何進一步手勢前置處理及/或手勢處理工作。此時，該方法有效地復置及如前文解說，繼續監測接續圖框的臨界值事件區域是否有擾動。但若判定在該經標記區域的子集中存在有膚色像素，該方法繼續進行手 勢前置處理，於若干實施例中可包括藉分段、手剖析器及手勢辨識階段處理及/或任何其它手勢處理工作。
針對各個接續圖框，評估整個經標記區域的膚色像素，及手勢前置處理/處理針對各圖框繼續，直到判定在該目標經標記區域中不存在有任何膚色像素為止。此時，該方法繼續傳遞一中斷指示該目標為不存在，及停止任何進一步手勢前置處理及/或手勢處理工作，及然後繼續監測接續圖框的臨界值事件區域是否有擾動。該處理視需要可重複進行。
細粒度以卵形為基礎的手勢
如前文解說，相當簡單的手勢可用於電腦或網際網路導航，且只有單一細粒度手勢要求，亦即模仿滑鼠移動及活動。任何數目的合宜手勢皆可用以模擬常用於導航的滑鼠按鈕的壓下與釋放。舉例言之及依據一實施例，可用以指示滑鼠按鈕的按壓之一個手勢係涉及拇指與食指形成卵形，如圖10a所示。如圖可知，在使用者的拇指與食指間可辨識為鍵盤色彩的卵形。可由具有一以鍵盤為基礎的經標記視野之一視訊手勢處理系統所檢測的該卵形可用以指示滑鼠按鈕正在被按壓。依據一實施例，如圖10b所示，當該卵形被打破(藉區分拇指與食指)時，指示可用以指示滑鼠按鈕被釋放。
利用此二簡單手勢，當針對非膚色鍵盤-背景色評估時，影像處理演算法(諸如於手勢辨識階段)可經規劃或否則受組配成可檢測膚色形狀。舉例言之，歷經滑鼠按鈕 被按壓的時間週期(存在有卵形)，由手勢辨識階段執行的手勢處理可受組配成可利用卵形質心，以判定X-Y游標移動藉此模仿滑鼠的游標移動以追蹤卵形的X-Y移動。於此一實施例情況下，該等X-Y軸可藉鍵盤的X-Y軸而界定於視覺影像內部。於一個特定具體實施例中，使用±1.5像素的膚色/非膚色邊緣檢測，如此處描述，發現可沿X-Y軸充分準確地追蹤卵形質心。如鑑於本文揭示將瞭解，取決於期望準確度，可差異地組配其它實施例。
可用的另一個滑鼠功能為滑鼠雙點擊，其可辨識為拇指與另四指快速漸進區分，延伸略微超過拇指加食指的中性位置。更明確言之，此一滑鼠雙點擊手勢可如圖10d-f所示進行，於該處初始中性位置係如圖10d所示，接著為拇指與另四指快速漸進區分，如圖10f所示，從初始中性位置過渡至區分位置有1至2秒的延遲，及然後從區分位置過渡至初始中性位置過渡至區分位置有另外1至2秒的延遲。此等特定實施例許可相對於手斑塊中心維持近完整卵形(偶爾於此處稱作為部分封閉卵形)。如鑑於本文揭示將瞭解，其它合宜手勢亦屬可能。
擴延至3D物體操弄
目前可用的手勢辨識技術大半係聚焦在3DZ深度相機，咸信此等解決方案可提供置於相機的視野內部的物體之更佳空間解析度所推動。但如此需要大量運算能力，及消耗大量電池電力。此外，目前可得的多個解決方案試圖將2D相機影像對映至有關節手模型，然後藉解譯手 模型的關節之相對移動而知覺手勢。但此等解決方案可能相當複雜。
如此且依據一實施例，此處提供的利用2D相機進行針對網際網路及電腦導航的細粒度手勢控制之以卵形為基礎的技術方便地擴延至3D空間裡的物體操弄。如前文參考圖10a-f解說，該使用者的手在該相機的影像中產生一卵形非膚色元體，其可在時間性分析X-Y游標移動。如鑑於本文揭示將瞭解，當該使用者移動他/她的手通過六個移動軸(X-Y-Z及節距-轉動-偏轉)時，卵形形狀的比例係以可預測方式改變。依據一實施例，當該使用者移動通過六個移動軸時，藉評估環繞該卵形的膚色比例，可獲得額外資訊。
舉例言之，及參考圖11a-f，轉動(圖11d)及節距(圖11e)手部移動的影像顯示於此等特定手部移動期間，第3/4/5指如何或多或少為可見，但在X(圖11a)及Y(圖11b)及Z(圖11c)及偏轉(圖11f)手部移動期間，其比例為相當類似。另一項細微的但仍可檢測及因而仍可動作的區別為比較該手勢的向下部分，Z移動手勢傾向於在該手勢的向上部分顯示較多的指甲。同理，比較手勢的其餘部分，偏轉移動手勢傾向於在該手勢的一個部分顯示手指的向上仰視角。不似可利用如此處討論的質心追蹤之2D X-Y游標移動，手部的3D追蹤也須將手部及腕部更複雜的關節活動列入考慮。舉例言之，簡單橫向X移動實際上可包括垂直Y移動及轉動移動成分。在典型3D處理下，此等須經校正以只獲得該使用者的意圖X成分。
以卵形為基礎的手勢方法
圖12示例說明依據一實施例一種分析手勢視訊之方法。本方法可在硬體或軟體或其組合實施，及於一個具體實施例中，係藉如前文描述的手剖析器階段及手勢辨識階段進行，依據若干實施例，其可在主機電腦系統的CPU上執行。舉例言之，於若干此等實施例中，該手剖析器階段可受組配成可運用由該分段階段所產生的斑塊資料之空間解譯而做出初始判定有關在一膚色區域內部是否存在有卵圓狀非膚色區域。若是，則處理遞交給手勢辨識階段，其可受組配成可執行斑塊資料之時間解譯而瞭解一個視訊圖框與下個視訊圖框之改變。但如鑑於本文揭示將顯然易知無數變化及實施例，及此處提供的手勢分析技術可在任何合宜模組或模組集合實施。
如圖可知，該方法包括判定是否已經檢測得在一膚色區域內部的一全封閉非膚色區域(卵形)。憶起手剖析器階段可受組配成可執行斑塊資料之空間解譯，及斑塊像素(例如非零或「灰」像素)易與非斑塊像素(例如黑像素)區別。若檢測得在一膚色區域內部並無任何卵形非膚色區域，則處理繼續尋找一者。如圖2a顯示，此時處理可回送至目標存在階段。
當藉手剖析器階段(或其它模組/階段)檢測得在一給定圖框的一膚色區域內部之非膚色卵形時，該方法繼續界定與X-Y對準鍵盤經標記區域參考有關的卵形質心及其它相關標記。相關標記之實施例例如包括皮膚皺摺、指 節泛紅、指節計數、靜脈、毛髮、及人手典型的其它此等可識別特徵。如將瞭解，知曉卵形質心的所在將許可做其它量測以評比該手勢的進一步細節(包括於六個移動軸中之任一者的移動)。
該方法繼續量測在此一初圖框內拍攝得的環繞卵形之膚色厚度。如將瞭解，注意當述及圖12中的第一圖框時並非必然表示該視訊串流的第一圖框，反而係表示該視訊串流的第一圖框於該處已經檢測得在一膚色區域內部之非膚色卵形。總而言之，此等厚度測量值然後可用在進一步評估串流之一或多個接續圖框拍攝得的手勢本質。舉例言之，於此一特定實施例中，該方法繼續就X-Y平面，估計卵形的質心、標記、及周圍膚色厚度的維度及角度變化而分析下個圖框。如前文解說，此等變化例如可藉評估圖11a-f描繪的特徵而予量測，該等特徵有效地特徵化在該等六軸的手部移動。除了追蹤在X-Y平面內部的卵形質心之移動與量測有關非膚色卵形的膚色厚度之外，任何數目的特徵鑒別技術皆可採用以進一步提高評估的穩健程度(例如與偏轉移動相聯結的於橫向之指節識別與追蹤；與Z移動相聯結的於縱向之指甲識別及追蹤)。至於量測膚色厚度，例如注意在轉動或節距移動中該卵形左側的膚色厚度隨著轉動的開始而有顯著改變。
如參考圖12進一步可知，該方法可用以提供2D分析，於該處估計X-Y位移(根據在X-Y移動中估計得的變化)，或提供3D分析於該處估計6-軸位移(根據在X-Y-Z及節 距-轉動-偏轉移動中估計得的變化)。然後，該方法繼續傳達計算得的位移估值給主機處理器(例如圖形處理系統的CPU)。於本實施例情況下，給定由鍵盤的經標記區域所提供之限制，可以相對有效方式完成此等位移的計算。
該方法繼續前進至下個圖框，及判定在該膚色區域內部的完全封閉非膚色卵形是否仍然維持完好。若是，則針對下個圖框重複處理以進一步評比該手勢係如何從前一圖框的手勢進展，及任何相關位移可就二軸(用於2D處理)或六軸(用於3D處理)的移動運算且傳送給主機處理器，然後該主機處理器對所接收的導航指令動作(例如點擊瀏覽器返回鈕或我的最愛鏈結；選擇超鏈結；開啟下拉選單，最小化一視窗，發出一瀏覽器應用程式等)。
但若判定在該膚色區域內部的完全封閉非膚色卵形不再完好(原因在於該使用者已經區分拇指與食指而開啟該卵形，諸如滑鼠按鈕的釋放)，則該方法繼續停止將位移估值傳達給CPU，及繼續監控接續訊框之在一膚色區域內部一新非膚色卵形的存在，及處理程序據此重複。
如鑑於本文揭示無數變化將為顯然易明。舉例言之，該方法可同等應用以檢測在一膚色區域內部一部分非膚色卵形(諸如圖10s-10f所示)用處理滑鼠雙點擊。進一步須注意，假設該使用者有雙手，也可能解譯在相機影像中兩個相對應區分的卵形非膚色元體(左手、右手)的互動。此種雙手處理例如可應用於增益應用及其它高階應用，而基本電腦及網際網路導航手勢可只使用單手進行。
系統實施例
圖13示例說明依據若干實施例，可進行如此處描述的視訊內容之步進與分散式手勢前置處理的系統1300之實施例。於若干實施例中，系統1300可為媒體系統，但系統1300並非限於本脈絡。舉例言之，系統1300可結合至個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控面板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置、機上盒、遊戲機臺、或能夠執行圖形渲染操作的其它此等運算環境。
於若干實施例中，系統1300包含耦接至一顯示器1320的一平台1302。平台1302可接收來自內容裝置的內容，諸如內容服務裝置1330或內容傳遞裝置1340或其它類似的內容來源。包含一或多個導航特性件的一導航控制器1350可用以與平台1302及/或顯示器1320互動，因而補充該使用者所打的導航手勢(諸如此處描述的完整及部分以卵形為基礎的手勢)。此等組件實施例各自容後詳述。
於若干實施例中，平台1302可包含晶片組1305、處理器1310、記憶體1312、儲存裝置1314、圖形次系統1315、應用程式1316及/或無線電1318中之任一項組合。晶片組1305可提供處理器1310、記憶體1312、儲存裝置1314、圖形次系統1315、應用程式1316及/或無線電1318間之內部 通訊。舉例言之，晶片組1305可包括能夠提供與儲存裝置1314內部通訊的一儲存裝置配接器(圖中未顯示)。
處理器1310例如可實施為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集可相容處理器、多核心、或任何其它微處理器或中央處理單元(CPU)。於若干實施例中，處理器1310可包含雙核心處理器、雙核心行動處理器等。記憶體1312可實施為例如依電性記憶體裝置，諸如但非僅限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)或靜態RAM(SRAM)。儲存裝置1314可實施為例如非依電性儲存裝置，諸如但非僅限於磁碟機、光碟機、磁帶機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池後備SDRAM(同步DRAM)及/或網路可接取儲存裝置。於若干實施例中，例如當含括多個硬碟機時，儲存裝置1314可含括技術以提高針對有價值的數位媒體之儲存效能的保護提升。
圖形次系統1315可執行影像諸如用於顯示的靜像或視訊的處理。圖形次系統1315例如可為圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可用以通訊式耦接圖形次系統1315及顯示器1320。舉例言之，該介面可為高畫質多媒體介面、顯示埠、無線HDMI及/或無線HD技術中之任一者。圖形次系統1315可整合入處理器1310或晶片組1305。圖形次系統1315可為通訊式耦接晶片組1305的孤立卡。此處描述的步進及分散式圖形及/或視訊處理技術可於各種硬體架構實施(例如於相機近處的相機感測器 中的GP電路)。於又另一實施例中，圖形及/或視訊功能包括分散式前置處理階段中之部分(例如手剖析器及手勢辨識)可藉通用處理器含多核心處理器實施。於又其它情況下，可使用共同定位的或區分的GPU處理器(例如分段階段)。
無線電1318可包括能夠使用各項合宜無線通訊技術而傳遞與接收信號的一或多個無線電。此等技術可涉及跨越一或多個無線網路的通訊。無線網路之實施例包括(但非僅限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、小區式網路及衛星網路。於跨越此等網路之通訊中，無線電無線電1318可依據一或多個適用標準的任何版本操作。
於若干實施例中，顯示器1320可包含任何電視或電腦型監視器或顯示器。顯示器1320例如可包含液晶顯示器(LCD)螢幕、電泳顯示器(EPD)或液體紙顯示器、平板顯示器、觸控螢幕顯示器、電視狀裝置及/或電視。顯示器1320可為數位及/或類比。於若干實施例中，顯示器1320可為全像或三維顯示器。又，顯示器1320可為可接收視覺投影的一透明表面。此種投影可傳遞各型資訊、影像及/或物體。舉例言之，此種投影可為行動增強實境(MAR)應用的視覺疊加。在一或多個軟體應用程式1316的控制之下，平台1302可顯示在顯示器1320上的一使用者介面1322。
於若干實施例中，內容服務裝置1330可由任何國家、國際及/或獨立服務所掌控，如此例如可透過網際網路 或其它網路而可接取平台1302。內容服務裝置1330可耦接至平台1302及/或顯示器1320。平台1302及/或內容服務裝置1330可耦接至網路1360以傳達(例如傳遞及/或接收)媒體資訊至及自網路1360。內容傳遞裝置1340也可耦接至平台1302及/或顯示器1320。內容服務裝置1330可包含一有線電視盒、個人電腦、網路、電話、能夠傳遞數位資訊及/或內容的網際網路作動裝置或設施、及能夠透過網路1360或直接地在內容提供業者與平台1302及/或顯示器顯示器1320間單向地或雙向地傳達內容的任何其它類似裝置。須瞭解該內容可透過網路1360單向地或雙向地傳達至及自系統1300中之組件中之任一者與一內容提供業者。內容之實施例可包括任何媒體資訊，包括例如視訊、音樂、圖形、文字、醫學及遊戲內容等。
內容服務裝置1330接收內容，諸如有線電視節目表包含媒體資訊、數位資訊及/或其它內容。內容提供業者之實施例可包括任何有線或衛星電視或無線電或網際網路內容提供業者。所提出的實施例並不限於本文揭示。於若干實施例中，平台1302可從具有一或多個導航特性件的導航控制器1350接收控制信號。該控制器1350的導航特性件可用以例如與使用者介面1322互動。於若干實施例中，導航控制器1350可為一指標裝置，其可為電腦硬體組件(特別人機介面裝置)其許可使用者將空間(例如連續及多維)資料輸入電腦。如將瞭解，如此處描述的導航手勢可用作為此種導航控制器1350的替代之道，或用以加強此種使用者輸 入模。如此鑑於本文揭示將瞭解，就導航控制器1350而言的各個此處揭示可同等地應用於此種導航手勢(但處理途徑針對控制器1350輸入相對於手勢輸入為不同)。許多系統諸如圖形使用者介面(GUI)及電視及監視器許可使用者利用實體手勢來控制與提供資料給電腦或電視。
控制器1350的導航特性件之移動可藉指標器、游標、聚焦環、或顯示在一顯示器上的其它視覺指標而回應在該顯示器(例如顯示器1320)上。舉例言之，於軟體應用程式1316之控制之下，位在導航控制器1350上的導航特性件例如可對映顯示在使用者介面1322上的虛擬導航特性件。於若干實施例中，控制器1350可能非為區分組件，反而可整合入平台1302及/或顯示器1320。但如將瞭解，實施例並不限於此處所顯示的或所描述的元件或內文。
於若干實施例中，驅動程式(圖中未顯示)可包含技術例如當被作動時於初步啟動之後，以使得使用者藉觸摸按鈕以瞬間開關平台1302，例如電視。當平台被「關閉」時，節目邏輯許可平台1302串流化內容至媒體配接器或其它內容服務裝置1330或內容傳遞裝置1340。此外，晶片組1305可包含硬體及/或軟體例如支援5.1環繞音效音訊及/或高傳真7.1環繞音效音訊。驅動程式可包括集積圖形平台的圖形驅動程式。於若干實施例中，圖形驅動程式可包含周邊組件互連(PCI)快速繪圖卡。
於多個實施例中，可整合系統1300中顯示的該等組件中之任一者或多者。舉例言之，可整合平台1302及內 容服務裝置1330，或可整合平台1302及內容傳遞裝置1340，或可整合平台1302、內容服務裝置1330、及內容傳遞裝置1340。於多個實施例中，平台1302及顯示器1320可為整合單元。例如，顯示器1320與內容服務裝置1330可整合，或顯示器1320與內容傳遞裝置1340可整合。此等實施例絕非意圖限制本文揭示。
於多個實施例中，系統1300可實施為無線系統、有線系統、或二者的組合。當實施為無線系統時，系統1300可包括適用以透過一無線分享媒體通訊的組件及介面，諸如一或多個天線、發射器、接收器、收發器、擴大器、濾波器、控制邏輯等。無線分享媒體之實施例可包括無線頻譜之一部分，諸如RF頻譜等。當實施為有線系統時，系統1300可包括適用以透過有線通訊媒體通訊的組件及介面，諸如輸入/輸出(I/O)配接器、連結該I/O配接器與一相對應有線通訊媒體的實體連接器、網路介面卡(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通訊媒體之實施例可包括導線、纜線、金屬引線、印刷電路板(PCB)、背板、交換架構、半導體材料、雙絞線、同軸纜線、光纖等。
平台1302可建立一或多個邏輯或實體頻道以傳達資訊。該資訊可包括媒體資訊及控制資訊。媒體資訊可指呈示有意義內容給一使用者的任何資料。內容實施例可包括例如得自語音對話、視訊會議、串流化視訊、電子郵件或簡訊、語音信箱訊息、文數符號、圖形、影像、視訊、文字等的資料。控制資訊可指對一自動化系統為有意義的 任何資料表示指令、指示或控制字元。舉例言之，控制資訊可用以將媒體資訊安排路徑通過一系統，或指示一節點以預定方式處理該媒體資訊(例如此處描述，使用硬體輔助違反特權存取)。但實施例並不限於圖13所顯示的或所描述的元件或內文。
如前文描述，系統1300可以各種實體樣式或形狀因數實施。圖14示例說明其中可實施系統1300的小形狀因數裝置1400之實施例。於若干實施例中，例如裝置1400可實施為具有無線能力的行動運算裝置。一行動運算裝置可指具有處理系統及行動電源或電源供應器諸如一或多個電池的任何裝置。
如先前描述，一行動運算裝置之實施例可包括個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控面板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置等。
行動運算裝置之實施例也可包括配置成由使用者穿戴的電腦，諸如腕電腦、指電腦、戒指電腦、眼鏡電腦、皮帶扣電腦、臂章電腦、鞋電腦、衣電腦、及其它可穿戴的電腦。於若干實施例中，例如，一行動運算裝置可實施為能夠執行電腦應用以及語音通訊及/或資料通訊的智慧型手機。雖然若干實施例例如係以實施為智慧型手機的行動運算裝置說明，但須瞭解其它實施例也可使用其它 無線行動運算裝置實施。該等實施例並不限於本脈絡。
如圖14所示，裝置1400可包含一殼體1402、一顯示器1404、一輸入/輸出(I/O)裝置1406、及一天線1408。裝置1400也可包含導航特性件1412。顯示器1404也可包含適合行動運算裝置用以顯示資訊的任一種合宜顯示單元。I/O裝置1406可包含用以將資訊載入行動運算裝置的任何合宜I/O裝置。I/O裝置1406之實施例可包括文數鍵盤、數字小鍵盤、觸控墊、輸入鍵、按鈕、相機、開關、搖擺開關、麥克風、揚聲器、語音辨識裝置及軟體等。資訊也可藉麥克風而載入裝置1400。此種資訊可藉語音辨識裝置數位化。實施例並不限於本脈絡。
多個實施例可使用硬體元件、軟體元件或二者的組合實施。硬體元件之實施例可包括處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、可現場程式規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體之實施例可包括軟體組件、程式、小應用程式、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程式、軟體介面、應用程式規劃介面(API)、指令集、運算碼、電腦碼、碼節段、電腦碼節段、字元、數值、符號或其任一項組合。是否使用硬體元件及/或軟體元件可根據多項因素而在不同實施例間變異，諸如期望運 算速率、功率位準、熱耐受度、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速度、及其它設計或效能限制。
依據一實施例，若干實施例例如可使用一機器可讀取媒體或物體實施，其中可儲存一指令或一指令集，該指令或指令集當由一機器執行時可使得該機器進行一方法及/或操作。此種機器例如可包括任一種合宜處理平台、運算平台、運算裝置、處理裝置、運算系統、處理系統、電腦、處理器等，且可使用硬體與軟體的任一種合宜組合實施。該機器可讀取媒體或物體例如可包括任何合宜型別的非過渡記憶體單元、記憶體裝置、記憶體物體、記憶體媒體、儲存裝置、儲存物體、儲存媒體及/或儲存單元，例如，記憶體、活動式或非活動式媒體、可抹除或非可抹除媒體、可寫式或可重寫式媒體、數位或類比媒體、硬碟、軟碟、光碟-唯讀記憶體(CD-ROM)、可錄式光碟(CD-R)、可重寫式光碟(CD-RW)、光碟、磁性媒體、磁光媒體、活動式記憶卡或碟、各型數位影音碟(DVD)、磁帶、卡匣等。指令可包括使用任何合宜高階、低階、物體導向、視覺、彙編及/或解譯程式語言實施的任何合宜型別之可執行碼。
額外具體實施例
下列實施例係有關於進一步實施例，由此將更為彰顯無數置換及組態。
實施例1係為一種用於處理一原始視訊串流之系統，包含：一臨界檢測階段受組配成可判定該視訊串流之 一目前圖框是否與該視訊串流之一前一圖框有足夠差異，及反應於該目前圖框係非與該前一圖框有足夠差異，該臨界檢測階段係進一步受組配成可停止該目前圖框藉一後續階段的進一步處理；一目標存在階段受組配成可判定該目前圖框是否含括膚色像素，及反應於該目前圖框不含括膚色像素，該目標存在階段係進一步受組配成可停止該目前圖框藉一後續階段的進一步處理；及一手勢處理階段受組配成可進行由該等臨界檢測及目標存在階段所傳送的圖框內部之影像資料的空間性及時間性解譯中之至少一者。
實施例2包括實施例1之主旨，其中位在一經標記區域外部的像素資訊之影像處理及傳達係經免除或否則經遏止。
實施例3包括實施例2之主旨，其中該經標記區域係為一給定視野之一子集。
實施例4包括實施例2之主旨，其中該經標記區域係與一使用者輸入裝置對準。於若干此等情況下，該經標記區域係由該使用者輸入裝置之一周邊所界定。
實施例5包括實施例4之主旨，其中該使用者輸入裝置係為一鍵盤。於若干此等情況下，該經標記區域係由該鍵盤之一周邊所界定。
實施例6包括實施例2之主旨，其中該經標記區域係與一滑鼠墊對準。於若干此等情況下，該經標記區域係由該滑鼠墊之一周邊所界定。
實施例7包括實施例2-6中任一者之主旨，其中由 該系統評估之像素數目係為該經標記區域之一子集。
實施例8包括實施例7之主旨，其中該子集係為一像素掃描線及一部分像素掃描線中之一者。
實施例9包括實施例7之主旨，其中該子集係為一單一像素。
實施例10包括實施例1-9中任一者之主旨，其中位在一經標記區域外部的像素資訊之影像處理及傳達係經免除或否則經遏止，及該經標記區域係為一給定視野之一使用者可組配子集。
實施例11包括實施例1-10中任一者之主旨，其中該手勢處理階段係進一步受組配成可只對在一給定視野的一經標記區域內部之影像資料進行空間性及時間性解譯中之至少一者。
實施例12包括實施例11之主旨，其中該經標記區域係與一鍵盤或一滑鼠墊或一桌面區對準。於若干此等情況下，該經標記區域係由該鍵盤、滑鼠墊、或桌面區之一周邊所界定。
實施例13包括實施例12之主旨，其中位在該經標記區域外部的像素資訊之影像處理及傳達係經免除或否則經遏止。
實施例14包括實施例13之主旨，其中經評估之像素數目係為該經標記區域之一子集。
實施例15包括實施例1-14中任一者之主旨，其中該臨界檢測階段係受組配成可加總及比較該目前圖框之一 亮度通道與該前一圖框的一亮度通道，及若該等目前與前一圖框間之該差值係高於一給定臨界值，則該目前圖框之資料係傳送至該目標存在階段用於進一步處理。
實施例16包括實施例1-15中任一者之主旨，其中該目標存在階段係受組配成可將該目前圖框之資料轉換成一或多個HSV像素，及若找到足夠數目之膚色像素，則該目前圖框之資料傳遞至下一處理階段。
實施例17包括實施例16之主旨，其中該下一處理階段係為一分段階段受組配成可區分關注像素與非關注像素，其中關注像素係表示為斑塊，及非關注像素係藉非斑塊表示。
實施例18包括實施例17之主旨，其中該分段階段係受組配成可免除因相機雜訊及/或照明所致之分散像素中之至少一者，及/或使用侵蝕及膨脹變形法處理成像資料。
實施例19包括實施例17或18之主旨，其中該分段階段係係在一圖形處理單元(GPU)實施。
實施例20包括實施例17-19中任一者之主旨，其中該手勢處理階段係包括一剖析器階段，其係受組配成可進行接收自該分段階段的斑塊資料之空間性解譯。
實施例21包括實施例20之主旨，其中該剖析器階段係受組配成可藉將該斑塊資料對映至一目標人類解剖幾何形狀模型而進行空間性解譯。
實施例22包括實施例21之主旨，其中該目標人類 解剖幾何形狀係為一手。
實施例23包括實施例20-22中任一者之主旨，其中該剖析器階段係受組配成可進行該斑塊資料之空間性解譯以識別在一膚色區域內部之一非膚色卵形區的存在。
實施例24包括實施例23之主旨，其中在一膚色區域內部之該非膚色卵形區係為完全封閉或部分封閉中之一者。
實施例25包括實施例20-24中任一者之主旨，其中該手勢處理階段係進一步包含一手勢辨識階段，其係受組配成可進行接收自該剖析器階段的該斑塊資料之時間性解譯。
實施例26包括實施例25之主旨，其中該等分段、剖析器、及/或手勢辨識階段中之至少一者係受組配成可傳遞回授給該等臨界檢測及/或目標存在階段中之至少一者。
實施例27包括實施例25及26之主旨，其中該等臨界檢測及目標存在階段中之至少一者係在可部署於一第一位置的一相機內部或近處實施，及該相機係具有包括一使用者輸入區的一視野，及該等分段、剖析器及手勢辨識階段係位在與該第一位置不同的一或多個位置。
實施例28包括實施例17-27中任一者之主旨，其中該分段階段係於一圖形處理單元實施，及該等剖析器及手勢辨識階段係藉應用程式軟體實施。
實施例29包括實施例1-28中任一者之主旨，其中該等臨界檢測及目標存在階段係在一顯示器內部實施。
於實施例30中，實施例1-29中任一者之主旨可選 擇性地包括一應用程式規劃介面(API)以操作式耦接至該等階段中之一或多者至其中該系統係受組配成可操作的一運算平台。
實施例31a包括實施例30之主旨，其中該API係經呈示為一擴延通用串列匯流排人機介面(USB HID)類別裝置。
實施例31b包括實施例30或30a之主旨，其中該API係包括安全性/私密性策略。
實施例32包含一種成像裝置，其係包括實施例1至31b中任一者之主旨及操作式耦接至該系統之一相機。
實施例33包括實施例32之主旨，其中該臨界檢測階段及該目標存在階段中之至少一者係在該相機的感測器電路內部實施。
實施例34係包含一顯示器其係包括實施例1至31b中任一者之主旨。
實施例35包括實施例34之主旨，其中該臨界檢測階段及該目標存在階段中之至少一者係在整合於該顯示器內部的一相機的感測器電路內部實施。
實施例36包括一種使用一原始視訊串流的電腦導航方法，包含：於一第一處理階段，判定該視訊串流之一目前圖框是否與該視訊串流之一前一圖框有足夠差異，及反應於該目前圖框係非與該前一圖框有足夠差異，停止該目前圖框藉一後續階段的進一步處理；於一第二處理階段，判定該目前圖框是否含括膚色像素，及反應於該目前 圖框不含括膚色像素，停止該目前圖框藉一後續階段的進一步處理；於一第三處理階段，接收來自該目前圖框的資料及區分關注像素與非關注像素，其中關注像素係表示為斑塊，及非關注像素係藉非斑塊表示；於一第四處理階段，藉將接收自該第三處理階段的斑塊資料對映至人手幾何形狀而進行該斑塊資料的空間性解譯；於一第五處理階段，進行接收自該第四處理階段的斑塊資料之時間性解譯以識別一使用者導航手勢；及根據該使用者導航手勢導引一運算系統；其中該等處理階段係以一步進及分散式配置組配，及免除在一經標記區域外部的像素資訊之影像處理及傳達。
實施例37包括實施例36之主旨，其中該經標記區域係為一給定視野之一子集。
實施例38包括實施例36-37中任一者之主旨，其中由至少一個該等處理階段評估的像素數目係為該經標記區域之一子集。
實施例39包括實施例38之主旨，其中該經標記區域之該子集係為一像素掃描線、一部分像素掃描線、或一單一像素中之一者。
實施例40包括實施例36-39中任一者之主旨，其中該經標記區域係與一鍵盤或一滑鼠墊或一桌面區對準。於若干此等情況下，該經標記區域係由該鍵盤、滑鼠墊、或桌面區之一周邊所界定。
實施例41包括實施例36-39中任一者之主旨，其 中該經標記區域係為一使用者可組配的一給定視野之子集。
實施例42係為以指令編碼之一非暫時性電腦可讀取媒體或電腦程式產品，該等指令當由一或多個處理器執行時將造成使用一原始視訊串流進行一導航方法。該方法例如可包括實施例36-41中任一者之主旨，或如實施例1-35中描述的任一項電腦可實施功能。
已經呈示前文具體實施例之詳細說明部分以供示例說明及描述。但絕非意圖排他地或限制本文揭示於所揭露的精確形式。鑑於本文揭示可能做出許多修正及改變。意圖本文揭示之範圍並非受本詳細說明部分所限，反而係由隨附之申請專利範圍各項界定。未來提出申請的請求本案之優先權的申請案可以不同方式請求所揭示的主旨，及概略地可包括如此處揭示各異地或以其它方式驗證的一或多個限制之任何集合。

Claims (25)

  1. 一種用於處理原始視訊串流的系統，其包含：一臨界檢測階段，其受組配成可判定該視訊串流之一目前圖框是否具有相較於該視訊串流之一前一圖框的足夠差異，並且該臨界檢測階段可反應於該目前圖框並不具有相較於該前一圖框的足夠差異而受到進一步組配以阻止該目前圖框受到後續階段的進一步處理；一目標存在階段，其受組配成可判定該目前圖框是否含有膚色像素，並且該目標存在階段可反應於該目前圖框並不含有膚色像素而受到進一步組配以阻止該目前圖框受到後續階段的進一步處理；以及一手勢處理階段，其受組配成可對由該臨界檢測階段和該目標存在階段所傳遞過來的圖框內部之影像資料進行空間性解譯和時間性解譯其中至少一者。
  2. 如請求項1之系統，其中，對於位在一經標記區域外之像素資訊的影像處理和傳達係受到免除，並且該經標記區域係一給定視野的一子集。
  3. 如請求項2之系統，其中，該經標記區域係與一使用者輸入裝置、或一滑鼠墊、或一桌面區對準。
  4. 如請求項2之系統，其中，該經標記區域與一鍵盤對準且係藉由該鍵盤之一周邊界定。
  5. 如請求項2之系統，其中，該經標記區域與一滑鼠墊對準且係藉由該滑鼠墊之一周邊界定。
  6. 如請求項2之系統，其中，由該系統評估的一些像素係該經標記區域的一子集。
  7. 如請求項6之系統，其中，該子集係下列其中一者：一像素掃描線、一部分像素掃描線、和一單一像素。
  8. 如請求項1之系統，其中，對於位在一經標記區域外之像素資訊的影像處理和傳達係受到免除，並且該經標記區域係一給定視野的一使用者可組配子集。
  9. 3、4、5、6、7或8之系統，其中，該手勢處理階段係進一步受組配成只對在一給定視野之一經標記區域內之影像資料進行空間性解譯和時間性解譯其中至少一者。
  10. 3、4、5、6、7或8之系統，其中，該目標存在階段受組配成可將該目前圖框之資料轉換成一或多個HSV像素，並且，若有足夠數目的膚色像素被找到，則該目前圖框之資料會被傳遞至一分段階段，該分段階段受組配成可區分關注像素與非關注像素，其中，關注像素係以斑塊表示，而非關注像素係以非斑塊表示。
  11. 如請求項10之系統，其中，該分段階段係實施在一圖形處理單元(GPU)中。
  12. 如請求項10之系統，其中，該手勢處理階段包括一剖析器階段，其受組配成可對接收自該分段階段的斑塊資料進行空間性解譯。
  13. 如請求項12之系統，其中，該剖析器階段受組配成可對 該斑塊資料進行空間性解譯以識別出在一膚色區域內的一非膚色卵形區之存在，並且其中，在一膚色區域內的該非膚色卵形區係一完全封閉區或一部分封閉區。
  14. 如請求項12之系統，其中，該手勢處理階段係進一步包括一手勢辨識階段，其受組配成可對接收自該剖析器階段的斑塊資料進行時間性解譯。
  15. 如請求項14之系統，其中，該臨界檢測階段和該目標存在階段其中至少一者係實施於一相機之內部或鄰近處，該相機可被部署在一第一位置且具有包括一使用者輸入區的一視野，並且，該分段階段、該剖析器階段和該手勢辨識階段係位在不同於該第一位置的一或多個位置。
  16. 如請求項14之系統，其中，該分段階段係實施於一圖形處理單元中，並且該剖析器階段和該手勢辨識階段係藉由應用程式軟體實施。
  17. 3、4、5、6、7或8之系統，其進一步包含：一應用程式規劃介面(API)，用以將該等階段中之一或多者操作式耦接至一運算平台，該系統係受組配成可在該運算平台中運作。
  18. 一種成像裝置，其包含：如請求項1、2、3、4、5、6、7或8之系統，以及一相機，其操作式耦接至該系統，其中，該臨界檢測階段和該目標存在階段其中至少 一者係實施在該相機之感測器電路內部。
  19. 一種顯示器，其包含：如請求項1、2、3、4、5、6、7或8之系統，其中，該臨界檢測階段和該目標存在階段其中至少一者係實施在整合於該顯示器內的一相機之感測器電路內部。
  20. 一種使用原始視訊串流的電腦導航方法，該方法包含下列步驟：於一第一處理階段，判定該視訊串流之一目前圖框是否具有相較於該視訊串流之一前一圖框的足夠差異，並反應於該目前圖框並不具有相較於該前一圖框的足夠差異而阻止該目前圖框受到後續階段的進一步處理；於一第二處理階段，判定該目前圖框是否含有膚色像素，並反應於該目前圖框並不含有膚色像素而阻止該目前圖框受到後續階段的進一步處理；於一第三處理階段，接收來自該目前圖框的資料，並區分關注像素與非關注像素，其中，關注像素係以斑塊表示，而非關注像素係以非斑塊表示；於一第四處理階段，藉由將接收自該第三處理階段的斑塊資料對映至人手幾何形狀而對該斑塊資料進行空間性解譯；於一第五處理階段，對接收自該第四處理階段的斑塊資料進行時間性解譯以識別一使用者導航手勢；以及 根據該使用者導航手勢而導引一運算系統；其中，該等處理階段係藉由為步進式且為分散式的一配置方式而組配，並且，對於位在一經標記區域外之像素資訊的影像處理和傳達係受到免除。
  21. 如請求項20之方法，其中，該經標記區域係一給定視野的一子集且與一鍵盤或一滑鼠墊或一桌面區對準，並且，由至少一個該等處理階段評估的一些像素係該經標記區域的一子集。
  22. 一種以指令編碼的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時會致使一導航方法使用原始視訊串流而受到執行，該方法包含下列步驟：於一第一處理階段，判定該視訊串流之一目前圖框是否具有相較於該視訊串流之一前一圖框的足夠差異，並反應於該目前圖框並不具有相較於該前一圖框的足夠差異而阻止該目前圖框受到後續階段的進一步處理；於一第二處理階段，判定該目前圖框是否含有膚色像素，並反應於該目前圖框並不含有膚色像素而阻止該目前圖框受到後續階段的進一步處理；於一第三處理階段，接收來自該目前圖框的資料，並區分關注像素與非關注像素，其中，關注像素係以斑塊表示，而非關注像素係以非斑塊表示；於一第四處理階段，藉由將接收自該第三處理階段的斑塊資料對映至人手幾何形狀而對該斑塊資料進行 空間性解譯；於一第五處理階段，對接收自該第四處理階段的斑塊資料進行時間性解譯以識別一使用者導航手勢；以及根據該使用者導航手勢而導引一運算系統；其中，對於在一經標記區域外之像素資訊的影像處理和傳達係受到免除。
  23. 如請求項22之電腦可讀取媒體，其中，該經標記區域係一給定視野的一子集且與一鍵盤對準，並係藉由該鍵盤之一周邊而界定。
  24. 如請求項23之電腦可讀取媒體，其中，由至少一個該等處理階段評估的一些像素係該經標記區域的一子集。
  25. 如請求項22之電腦可讀取媒體，其中，該經標記區域係一給定視野的一使用者可組配子集。
TW102140267A 2012-12-13 2013-11-06 用於處理原始視訊串流的系統、包含其之成像裝置與顯示器、使用原始視訊串流的電腦導航方法，及非暫時性電腦可讀取媒體 TWI498772B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/713,849 US8805017B2 (en) 2012-12-13 2012-12-13 Gesture pre-processing of video stream to reduce platform power
US13/800,910 US8761448B1 (en) 2012-12-13 2013-03-13 Gesture pre-processing of video stream using a markered region

Publications (2)

Publication Number Publication Date
TW201435652A TW201435652A (zh) 2014-09-16
TWI498772B true TWI498772B (zh) 2015-09-01

Family

ID=50930283

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102140267A TWI498772B (zh) 2012-12-13 2013-11-06 用於處理原始視訊串流的系統、包含其之成像裝置與顯示器、使用原始視訊串流的電腦導航方法，及非暫時性電腦可讀取媒體

Country Status (5)

Country Link
US (4) US8761448B1 (zh)
EP (2) EP2932471A4 (zh)
CN (3) CN107272883B (zh)
TW (1) TWI498772B (zh)
WO (1) WO2014093347A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866481B2 (en) 2018-05-31 2020-12-15 E Ink Holdings Inc. Electrophoretic display system and developing method

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691219B2 (en) * 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) * 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US9292103B2 (en) 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
EP2824913A1 (en) * 2013-07-09 2015-01-14 Alcatel Lucent A method for generating an immersive video of a plurality of persons
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US10127428B2 (en) * 2014-08-26 2018-11-13 Gingy Technology Inc. Fingerprint identification method and fingerprint identification device
EP3364851A4 (en) * 2015-10-22 2019-05-15 Covidien LP SYSTEMS AND METHODS FOR AMPLIFYING CHANGES IN A REGION OF INTEREST IN A SURGICAL ENVIRONMENT
US10048769B2 (en) * 2015-11-18 2018-08-14 Ted Selker Three-dimensional computer-aided-design system user interface
CN105678211A (zh) * 2015-12-03 2016-06-15 广西理工职业技术学院 一种人体动态特征的智能识别系统
US9805240B1 (en) * 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
WO2018004536A1 (en) * 2016-06-28 2018-01-04 Intel Corporation Gesture embedded video
WO2018007978A1 (fr) * 2016-07-07 2018-01-11 Guenat Sa Montres Valgine Procédé et système de mesure et d'affichage de données liées à l'activité physique d'une personne
CN109923501A (zh) * 2016-11-01 2019-06-21 香港科技大学 用于设备交互的空中手指指向检测
US10782796B2 (en) * 2016-11-16 2020-09-22 Magic Leap, Inc. Mixed reality system with reduced power rendering
CN110178368B (zh) * 2017-01-31 2021-12-14 惠普发展公司，有限责任合伙企业 基于所接收的信息的视频变焦控制
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
EP3559853B1 (en) * 2017-07-06 2024-03-13 Hewlett-Packard Development Company, L.P. Controlling operations of cameras based on power state transitions
CN107688389B (zh) * 2017-08-25 2021-08-13 北京金恒博远科技股份有限公司 Vr抓取动作的优化方法及装置
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
US11675617B2 (en) 2018-03-21 2023-06-13 Toshiba Global Commerce Solutions Holdings Corporation Sensor-enabled prioritization of processing task requests in an environment
US10990840B2 (en) * 2019-03-15 2021-04-27 Scenera, Inc. Configuring data pipelines with image understanding
CN115119004B (zh) * 2019-05-13 2024-03-29 阿里巴巴集团控股有限公司 数据处理方法、信息显示方法、装置、服务器及终端设备
US11048922B2 (en) * 2019-05-24 2021-06-29 Intel Corporation Gesture detection using color segmentation
CN110337027A (zh) * 2019-07-11 2019-10-15 北京字节跳动网络技术有限公司 视频生成方法、装置及电子设备
CN112241670B (zh) * 2019-07-18 2024-03-01 杭州海康威视数字技术股份有限公司 图像处理方法及装置
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
WO2023154045A1 (en) * 2022-02-09 2023-08-17 Innopeak Technology, Inc. Real-time 3d hand data collection and marking
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201113819A (en) * 2009-10-13 2011-04-16 Tatung Co Embedded device capable real-time recognizing the unspecific gesture and its recognizing method
US20110299774A1 (en) * 2008-04-22 2011-12-08 Corey Mason Manders Method and system for detecting and tracking hands in an image
US20120069168A1 (en) * 2010-09-17 2012-03-22 Sony Corporation Gesture recognition system for tv control
US20120262486A1 (en) * 2011-04-15 2012-10-18 Sony Computer Entertainment Europe Limited System and method of user interaction for augmented reality

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4724543A (en) * 1985-09-10 1988-02-09 Beckman Research Institute, City Of Hope Method and apparatus for automatic digital image analysis
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JPH06503695A (ja) * 1991-10-07 1994-04-21 イーストマン コダック カンパニー 映画製作用の特殊効果ジョブの構成要素を配列するための合成インタフェース
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
JP3823333B2 (ja) * 1995-02-21 2006-09-20 株式会社日立製作所 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム
JPH0954883A (ja) * 1995-08-11 1997-02-25 Toshiba Corp 既知物体の進入検出方法およびその進入検出装置
US5715325A (en) * 1995-08-30 1998-02-03 Siemens Corporate Research, Inc. Apparatus and method for detecting a face in a video image
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US5892856A (en) * 1996-12-23 1999-04-06 Intel Corporation Method of presence detection using video input
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
US6067125A (en) * 1997-05-15 2000-05-23 Minerva Systems Structure and method for film grain noise reduction
US7196720B2 (en) * 1998-03-06 2007-03-27 Intel Corporation Method and apparatus for powering on an electronic device with a video camera that detects motion
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6404900B1 (en) * 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
JP3828349B2 (ja) * 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US7242421B2 (en) * 2000-11-10 2007-07-10 Perceptive Network Technologies, Inc. Methods of establishing a communications link using perceptual sensing of a user's presence
US20020085738A1 (en) * 2000-12-28 2002-07-04 Peters Geoffrey W. Controlling a processor-based system by detecting flesh colors
FR2820927B1 (fr) * 2001-02-15 2003-04-11 Thomson Multimedia Sa Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement
US7181081B2 (en) * 2001-05-04 2007-02-20 Legend Films Inc. Image sequence enhancement system and method
US7027054B1 (en) 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7274387B2 (en) * 2002-10-15 2007-09-25 Digicomp Research Corporation Automatic intrusion detection system for perimeter defense
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4401727B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
EP1671216B1 (en) * 2003-10-09 2016-12-07 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
NZ536913A (en) * 2003-12-03 2006-09-29 Safehouse Internat Inc Displaying graphical output representing the topographical relationship of detectors and their alert status
AU2004233453B2 (en) * 2003-12-03 2011-02-17 Envysion, Inc. Recording a sequence of images
JP4227561B2 (ja) 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
US7436981B2 (en) * 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
US7796827B2 (en) * 2004-11-30 2010-09-14 Hewlett-Packard Development Company, L.P. Face enhancement in a digital video
US9760214B2 (en) * 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
US7996771B2 (en) * 2005-06-17 2011-08-09 Fuji Xerox Co., Ltd. Methods and interfaces for event timeline and logs of video streams
US8553084B2 (en) * 2005-09-12 2013-10-08 3Vr Security, Inc. Specifying search criteria for searching video data
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
CN101341494B (zh) 2005-10-05 2013-03-06 高通股份有限公司 基于视频帧运动的自动关注区检测
CN101346990B (zh) 2005-12-28 2011-07-27 富士通株式会社 电视电话功能的拍摄图像处理切换装置
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
JP4618166B2 (ja) * 2006-03-07 2011-01-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
WO2008053433A2 (en) * 2006-11-02 2008-05-08 Koninklijke Philips Electronics N.V. Hand gesture recognition by scanning line-wise hand images and by extracting contour extreme points
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7831063B2 (en) * 2007-02-19 2010-11-09 Laughlin Richard H Small event detector in presence of clutter
TWI377055B (en) 2007-08-10 2012-11-21 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
JP4492697B2 (ja) * 2007-12-28 2010-06-30 カシオ計算機株式会社 撮像装置、及び、プログラム
US8284249B2 (en) * 2008-03-25 2012-10-09 International Business Machines Corporation Real time processing of video frames for triggering an alert
CN101359367B (zh) * 2008-09-11 2010-09-29 西安理工大学 一种基于四边形骨架结构的静态手势特征描述方法
DE102008052928A1 (de) * 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
US8428311B2 (en) * 2009-02-25 2013-04-23 Honda Motor Co., Ltd. Capturing and recognizing hand postures using inner distance shape contexts
CN101551732A (zh) 2009-03-24 2009-10-07 上海水晶石信息技术有限公司 带有交互功能的增强现实的方法及其系统
US8848979B2 (en) * 2009-03-31 2014-09-30 Nec Corporation Tracked object determination device, tracked object determination method and tracked object determination program
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US20100295782A1 (en) * 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8428368B2 (en) 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
US8625973B2 (en) * 2009-10-30 2014-01-07 Verint Systems, Inc. Method and apparatus for operating a video system
WO2011066343A2 (en) * 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US8405736B2 (en) 2010-04-07 2013-03-26 Apple Inc. Face detection using orientation sensor data
US8379098B2 (en) * 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
US8594482B2 (en) * 2010-05-13 2013-11-26 International Business Machines Corporation Auditing video analytics through essence generation
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
KR101167784B1 (ko) 2010-07-09 2012-07-25 성균관대학교산학협력단 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법
US8792722B2 (en) 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
CN101917626A (zh) * 2010-08-20 2010-12-15 浙江大学 一种基于自适应冗余片嵌入的容错性视频转码方法
US8582834B2 (en) * 2010-08-30 2013-11-12 Apple Inc. Multi-image face-based image processing
CN102081918B (zh) * 2010-09-28 2013-02-20 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US8817087B2 (en) 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
WO2012139242A1 (en) 2011-04-11 2012-10-18 Intel Corporation Personalized program selection system and method
JP2011165204A (ja) * 2011-04-19 2011-08-25 Fujifilm Corp 顔検出方法およびこれを用いた撮影装置
CN102184021B (zh) 2011-05-27 2013-06-12 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN102270348B (zh) * 2011-08-23 2013-08-07 中国科学院自动化研究所 基于视频流的对变形手势进行跟踪的方法
US8811675B2 (en) * 2012-03-30 2014-08-19 MindTree Limited Circular object identification system
US8855369B2 (en) * 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
US8885885B2 (en) * 2012-10-05 2014-11-11 International Business Machines Corporation Multi-cue object association
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US8805017B2 (en) * 2012-12-13 2014-08-12 Intel Corporation Gesture pre-processing of video stream to reduce platform power
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) * 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US9036866B2 (en) * 2013-01-28 2015-05-19 Alliance For Sustainable Energy, Llc Image-based occupancy sensor
US9129155B2 (en) * 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9158381B2 (en) * 2013-02-25 2015-10-13 Honda Motor Co., Ltd. Multi-resolution gesture recognition
US9292103B2 (en) * 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
KR101480750B1 (ko) * 2014-06-26 2015-01-12 (주)유디피 모션 검출 장치 및 방법
US9245187B1 (en) * 2014-07-07 2016-01-26 Geo Semiconductor Inc. System and method for robust motion detection
US20160073029A1 (en) * 2014-09-07 2016-03-10 Guy MARKOVITZ Method and system for creating a video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299774A1 (en) * 2008-04-22 2011-12-08 Corey Mason Manders Method and system for detecting and tracking hands in an image
TW201113819A (en) * 2009-10-13 2011-04-16 Tatung Co Embedded device capable real-time recognizing the unspecific gesture and its recognizing method
US20120069168A1 (en) * 2010-09-17 2012-03-22 Sony Corporation Gesture recognition system for tv control
US20120262486A1 (en) * 2011-04-15 2012-10-18 Sony Computer Entertainment Europe Limited System and method of user interaction for augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866481B2 (en) 2018-05-31 2020-12-15 E Ink Holdings Inc. Electrophoretic display system and developing method
TWI749236B (zh) * 2018-05-31 2021-12-11 元太科技工業股份有限公司 電泳顯示器系統及開發方法

Also Published As

Publication number Publication date
US8761448B1 (en) 2014-06-24
CN104798104A (zh) 2015-07-22
CN108958487B (zh) 2023-04-14
WO2014093347A1 (en) 2014-06-19
US20170205893A1 (en) 2017-07-20
US9720507B2 (en) 2017-08-01
US20140168084A1 (en) 2014-06-19
CN107272883B (zh) 2021-03-23
EP2932471A1 (en) 2015-10-21
US10261596B2 (en) 2019-04-16
EP3217359A1 (en) 2017-09-13
CN108958487B8 (zh) 2023-06-23
EP2932471A4 (en) 2016-10-26
CN107272883A (zh) 2017-10-20
US20150015480A1 (en) 2015-01-15
CN104798104B (zh) 2018-08-21
US10146322B2 (en) 2018-12-04
CN108958487A (zh) 2018-12-07
TW201435652A (zh) 2014-09-16
US20180314340A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
TWI498772B (zh) 用於處理原始視訊串流的系統、包含其之成像裝置與顯示器、使用原始視訊串流的電腦導航方法，及非暫時性電腦可讀取媒體
TWI525475B (zh) 使用膚色檢測的視訊串流的姿勢預處理
TWI516099B (zh) 用以降低平台電力之帶有延遲期間的視訊串流之手勢前置處理技術
US8805017B2 (en) Gesture pre-processing of video stream to reduce platform power
TWI618409B (zh) 視頻中之局部變化偵測技術
TWI428798B (zh) Information processing devices, information processing methods and program products
US11017739B2 (en) Method for supporting user input and electronic device supporting the same
CN112329740B (zh) 图像处理方法、装置、存储介质和电子设备
US20090284469A1 (en) Video based apparatus and method for controlling the cursor
EP4012607A1 (en) Face liveness detection method and related apparatus
JP2018519573A (ja) 人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体
Yin et al. CamK: Camera-based keystroke detection and localization for small mobile devices
KR200392744Y1 (ko) 지문인식 마우스
CN112989198A (zh) 推送内容的确定方法、装置、设备及计算机可读存储介质
Pawar et al. Mouse Control using a Web Camera and Hand Gestures with Colour Tapes
CN113706371A (zh) 一种特效效果校验方法、装置和电子设备