TW202401211A - 經由自腕指向相機系統之皮下組織之影像捕獲之手勢偵測 - Google Patents

經由自腕指向相機系統之皮下組織之影像捕獲之手勢偵測 Download PDF

Info

Publication number
TW202401211A
TW202401211A TW112121356A TW112121356A TW202401211A TW 202401211 A TW202401211 A TW 202401211A TW 112121356 A TW112121356 A TW 112121356A TW 112121356 A TW112121356 A TW 112121356A TW 202401211 A TW202401211 A TW 202401211A
Authority
TW
Taiwan
Prior art keywords
user
wrist
gesture
electromagnetic radiation
radiation
Prior art date
Application number
TW112121356A
Other languages
English (en)
Inventor
申東翼
安德莉亞 柯拉科
史蒂芬 基爾拉姆 佛朗科斯 莫凡
亞當 詹姆斯 班菲爾德
沙赫拉姆 伊扎迪
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW202401211A publication Critical patent/TW202401211A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作一AR系統之技術包含基於自一近紅外線相機獲取之穿過一使用者的腕之皮膚之一個二維影像序列判定由該使用者形成之手勢。具體地，安置在佩戴於一使用者的腕上之一腕帶上之一影像捕獲裝置包含：一電磁輻射源，例如在紅外線(IR)波長帶中之將輻射發射至該使用者的腕中之發光二極體；及一IR偵測器，其產生該使用者的腕中之一真皮層內之一區之該二維影像序列。自此序列，手勢偵測電路基於一經訓練模型判定一生物流動度量之值，例如在該序列之圖框之間灌注指數(PI)之一變化，該經訓練模型自該序列產生該度量。最後，該手勢偵測電路將該生物流動度量之該等值映射至判定一手勢之特定手/手指移動。

Description

經由自腕指向相機系統之皮下組織之影像捕獲之手勢偵測
本描述係關於判定在擴增實境(AR)系統中用於控制物件之手勢。
擴增實境(AR)係一真實世界環境之一互動式體驗，其中藉由電腦產生之感知資訊(有時跨多種感官模態，包含視覺、聽覺及/或觸覺)來增強存在於真實世界中之物件。一些AR系統使用智慧型眼鏡來提供此一互動式體驗，該等智慧型眼鏡可經由安裝於一框架上之一相機以及框架中之波導及鏡片提供視覺資訊，及經由框架提供音訊及觸覺資訊。
本文中所描述之實施方案係關於識別擴增實境(AR)系統之基於手勢之輸入。例如，AR系統之使用者可能希望捏縮一虛擬物件(例如，一鉛筆)以使該虛擬物件在一顯示場中四處移動。因此，一手勢偵測系統可需要識別一捏縮運動。一些AR系統可區分手勢運動之細微差別。此之一實例將為食指-拇指捏縮與中指-拇指捏縮之間的一區分。更進一步而言，一手指上之不同位置可能指示一顯示器上之不同物件選擇。此手勢區分對於習知方法而言可能係困難的。然而，經改良技術係基於在腕處光學量測之灌注指數(PI)之變化可提供關於手及手指移動的資訊之觀察。此外，PI之全二維成像可以足夠準確度精確定位此等變化以執行手勢之間的細微區分。
在一個一般態樣中，一種方法可包含捕獲穿過一使用者的腕之皮膚之一影像序列。該方法亦可包含基於該影像序列判定一生物流體流動度量。該方法可進一步包含基於該生物流體流動度量判定由該使用者形成之一手勢。該方法可進一步包含基於該手勢觸發與在一擴增實境(AR)系統中顯示一物件相關的一命令之執行。
在另一一般態樣中，一種擴增實境(AR)系統包含經組態以捕獲穿過一使用者的腕之皮膚之一影像序列之一影像捕獲裝置。該AR系統亦包含耦合至一記憶體之手勢偵測電路。該手勢偵測電路經組態以基於該影像序列判定一生物流體流動度量。該手勢偵測電路亦經組態以基於該生物流體流動度量判定由該使用者形成之一手勢。該手勢偵測電路進一步經組態以基於該手勢觸發與在一擴增實境(AR)系統中顯示一物件相關的一命令之執行。
在另一一般態樣中，一種電腦程式產品包括一非暫時性儲存媒體，該電腦程式產品包含程式碼，該程式碼在由處理電路執行時引起該處理電路執行一方法。該方法可包含捕獲穿過一使用者的腕之皮膚之一影像序列。該方法亦可包含基於該影像序列判定一生物流體流動度量。該方法可進一步包含基於該生物流體流動度量判定由該使用者形成之一手勢。該方法可進一步包含基於該手勢觸發與在一擴增實境(AR)系統中顯示一物件相關的一命令之執行。
在隨附圖式及下文描述中闡述一或多個實施方案之細節。將從描述及圖式且從發明申請專利範圍明白其他特徵。
相關申請案之交叉參考
本申請案係2022年6月29日申請之美國申請案第17/809,772號之一接續申請案且主張其優先權，該案揭示內容之全文以引用的方式併入本文中。
AR系統之一挑戰係提供智慧型眼鏡100與使用者之間之一穩健介面。一些介面利用使用者手勢來實現各種命令。一穩健介面可能夠區別一拇指-食指捏縮與一拇指-中指捏縮。
用以提供一穩健AR介面之一習知方法包含使用安裝於一智慧型眼鏡框架上之一面向世界RGB相機來提供影像，自此，一骨架手追蹤用於完整手/手指互動及手勢推斷。然而，可能存在與一面向世界RGB相機之使用有關之一些問題。例如，安裝於智慧型眼鏡之一框架上(通常在一鉸鏈附近)之此一面向世界RGB相機具有消耗相對大量功率之一相機感測器及一影像堆疊處理器(ISP)。歸因於此大功率消耗，使用來自面向世界RGB相機之RBG影像來推斷使用者手勢之一技術問題係僅可少量使用面向世界RGB相機。
上述技術問題之一技術解決方案包含基於自一紅外線(即，近紅外線)相機獲取之穿過一使用者的腕之皮膚之一影像序列判定由該使用者形成之手勢。在論述此技術解決方案之細節之前，在圖1A至圖1D中綜述一例示性AR系統。
圖1A繪示佩戴用於一擴增實境(AR)系統中之一例示性頭戴式可穿戴裝置之一使用者。在此實例中，出於論述及繪示之目的，例示性頭戴式可穿戴裝置100係呈包含顯示能力及運算/處理能力之例示性智慧型眼鏡之形式。待在本文中描述之原理可適用於具有及不具有顯示能力及/或運算/處理能力兩者之其他類型之眼鏡。圖1B係圖1A中所展示之例示性頭戴式可穿戴裝置100之一前視圖，圖1C係一後視圖，且圖1D係一透視圖。如上文所述，在一些實例中，例示性頭戴式可穿戴裝置100可採取一副智慧型眼鏡或擴增實境眼鏡之形式。
如圖1B至圖1D中所展示，例示性頭戴式可穿戴裝置100包含一框架102。框架102包含由包圍呈鏡片107之形式之各自光學部分的邊緣部分103界定之一前框架部分，其中一橋接部分109連接邊緣部分103。臂部分105係藉由鉸鏈部分110在各自邊緣部分103處耦合(例如，可樞轉地或可旋轉地耦合)至前框架。在一些實例中，鏡片107可為矯正/處方鏡片。在一些實例中，鏡片107可為包含不一定併有矯正/處方參數之玻璃及/或塑膠部分之一光學材料。
一顯示裝置104可耦合於框架102之一部分中。在圖1B及圖1C中所展示之實例中，顯示裝置104係耦合於框架102之臂部分105中。在顯示裝置104耦合於臂部分105中之情況下，一可視區(eye box) 140朝向(若干)鏡片107延伸，用於在一輸出耦合器144處輸出內容，在輸出耦合器144處使用者可看見由顯示裝置104輸出之內容。在一些實例中，輸出耦合器144可與(若干)鏡片107實質上重合。在一些實例中，頭戴式可穿戴裝置100亦可包含一音訊輸出裝置106 (舉例而言，諸如一或多個揚聲器)、一照明裝置108、一感測系統111、一控制系統112、至少一個處理器114及一影像捕獲裝置116或相機116。相機(或影像捕獲裝置) 116可經由一快門觸發器或按鈕捕獲影像；快門觸發器經組態以引起一快門打開以允許自一場景反射或散射朝向影像捕獲裝置116之光入射於一光偵測器(例如，一電荷耦合裝置(CCD)陣列、一光電倍增管、鹵化銀照相軟片及類似者)上。
在一些實例中，顯示裝置104可包含一透視近眼顯示器。例如，顯示裝置104可經組態以將來自一顯示源之光投影至以一角度(例如，30度至45度)座落之用作一光束分離器之提詞機玻璃之一部分上。光束分離器可允許反射及透射值，而允許來自顯示源之光被部分反射而剩餘光被透射。此一光學設計可允許一使用者例如透過鏡片107看見世界上之實體品項其次由顯示裝置104產生之內容(例如，數位影像、使用者介面元件、虛擬內容及類似者)兩者。在一些實施方案中，波導光學器件可用來描繪顯示裝置104上之內容。
在一些實例中，頭戴式可穿戴裝置100可包含一視線追蹤裝置120，視線追蹤裝置120包含例如一或多個感測器125以偵測及追蹤視線方向及移動。可處理由該(等)感測器125捕獲之資料以偵測及追蹤視線方向及移動作為一使用者輸入。在一些實例中，感測系統111可包含各種感測裝置，且控制系統112可包含各種控制系統裝置，包含例如可操作地耦合至控制系統112之組件之一或多個處理器114。在一些實例中，控制系統112可包含提供頭戴式可穿戴裝置100與其他外部裝置之間的通信及資訊交換之一通信模組。
如上文所提及之AR系統之挑戰係提供智慧型眼鏡100與使用者之間之一穩健介面。一些介面利用使用者手勢來實現各種命令。一穩健介面可能夠區別一拇指-食指捏縮與一拇指-中指捏縮。例如，不同手勢可能指示一智慧型眼鏡顯示器上之不同圖示之啟動或不同物件在一顯示場內移動之指示。
用以提供一穩健AR介面之一習知方法包含使用安裝於一智慧型眼鏡框架上之一面向世界RGB相機來提供影像，自此，一骨架手追蹤用於完整手/手指互動及手勢推斷。即，安裝於一框架鉸鏈上之RGB相機將追蹤一使用者的手之手及/或手指運動且藉此推斷一手勢並實現與該手勢相關聯之一命令。
然而，可能存在與一面向世界RGB相機之使用有關之問題。例如，安裝於智慧型眼鏡之一框架上(通常在一鉸鏈附近)之此一面向世界RGB相機具有消耗相對大量功率之一相機感測器及一影像堆疊處理器(ISP)。歸因於此大功率消耗，使用來自面向世界RGB相機之RBG影像來推斷使用者手勢之一技術問題係僅可少量使用面向世界RGB相機。例如，使用面向世界RGB相機，基於相機之功率消耗，板載感測器可能每天僅偵測手勢幾次。此外，在具有一高延時之操作中，圖框速率(其應係約30個圖框每秒以獲得細微手移動差別之解析度種類)可能小於5個圖框每秒。
此外，即使可克服高功率消耗之技術問題，亦存在涉及一窄視場內之可能遮擋之另一技術問題；若手及/或手指在顯示場內不可見，則手勢偵測將不起作用。
在繼續之前，一生物流體流動度量被定義為體內之一生物流體之一流動之一量測。此一度量可基於產生一影像序列之非侵入式光學量測來判定。
存在一灌注指數(PI) (脈動血流速率與非脈動血流速率之一比率)之變化之光學量測含有關於手及手指移動的有用資訊之一些證據。圖2A至圖2B中呈現此證據。商品智慧型手錶中容易獲得之LED光電二極體(PD)對可提供一空間稀疏的PI變化量測，該PI變化量測可用來區別從一互動視角來看相隔甚遠、易於區別之一些手勢，例如，捏縮對揮手。然而，此稀疏光學陣列不具備提供此處所尋求之細微差別的能力。
根據本文中所描述之實施方案，上述技術問題之一技術解決方案包含基於自一近紅外線相機獲取之穿過一使用者的腕之皮膚之一影像序列判定由該使用者形成之手勢。具體地，安置在佩戴於一使用者的腕上之一腕帶上之一影像捕獲裝置包含：一電磁輻射源，例如在紅外線(IR)波長帶(例如，約850 nm左右之一窄帶)中之將輻射發射至使用者的腕中之發光二極體(LED)；及一IR偵測器，其產生使用者的腕中之一真皮層內之一區之二維影像序列。自此序列，手勢偵測電路基於一經訓練模型判定一生物流體流動度量之值(例如，在序列之圖框之間灌注指數(PI)之一變化)，該經訓練模型自序列產生度量。最後，手勢偵測電路將生物流動度量之值映射至判定一手勢之特定手及/或手指移動。
在一些實施方案中，經訓練模型包含一卷積(convolutional)迴歸神經網路，該卷積迴歸神經網路係基於包含二維影像序列及生物度量之對應值(例如，PI變化)之一資料集進行訓練。
在一些實施方案中，電磁輻射源(例如，LED)係配置於偵測器之任一側(例如，左側及右側)上。在一些實施方案中，偵測器形成用於自電磁輻射源(LED)發射的輻射之一左通道及一右通道。如此，二維影像序列包含自其判定PI變化之一左序列及一右序列。
在一些實施方案中，一IR電磁輻射源係定位於亦包含偵測器之一相機上。
技術解決方案之一技術優點係與習知方法相比，使用足夠低的功率使得影像捕獲裝置始終可用且能夠提供一高圖框速率(例如，30個圖框每秒)及低延時(例如，約10毫秒)。此外，由於照明及偵測器係定位成距腕幾毫米，所以遮擋不再係問題。具體地，影像捕獲裝置安裝於其上之一腕帶之一z深度係由影像捕獲裝置之z深度而非比如在智慧型眼鏡框架上之一安裝高度控制。
在描述經組態以基於一使用者的腕之一內部之一個二維影像序列判定一手勢之影像捕獲裝置及手勢偵測電路之前，說明操作原理將有所幫助。圖2A至圖2B中說明此原理。
圖2A係繪示運用一紅外線(IR)發光二極體(LED) 210對皮下組織236中之一毛細血管240之一例示性照明之一圖200。如圖2A中所展示，IR LED發射在IR波長帶(例如，約850 nm左右之一窄帶)中之輻射212。輻射212經組態以行進穿過皮膚表面230、角質層232及表皮234，而亮度不會過度下降，即，比爾-朗伯(Beer-Lambert)係數足夠小。
如圖2A中所展示，輻射212係入射於一毛細血管240上。亦如圖2A中所展示，毛細血管240含有流動血液。流動血液含有紅血球246，例如，可吸收輻射212之血紅蛋白分子。輻射212係從毛細血管240反射以產生反射輻射242，反射輻射242傳播穿過真皮236、表皮234、角質層232及皮膚表面230而至一IR偵測器220，IR偵測器220接著以一指定取樣率對由反射輻射242產生之一信號進行取樣。例如，IR偵測器220係一光體積變化描記圖法(photoplethysmography) (PPG)感測器。
圖2B係繪示由PPG感測器220產生之一例示性信號260之一圖250。如圖2B中所展示，信號260之強度取決於一毛細血管270、280中之紅血球密度。具體地，因為紅血球吸收IR輻射，所以具有一低紅血球密度之毛細血管270產生一信號峰值，因為很少輻射212已被吸收。相比之下，具有一高紅血球密度之毛細血管280產生一信號谷值，因為大部分輻射212已被吸收。
此外，存在手及手指移動引起毛細血管中之不同紅血球密度之進一步證據。例如，一抓取運動可引起毛細血管中之紅血球密度之一增加，此被視為一PPG偵測器處之信號強度之一下降。此指示IR輻射信號強度可指示手及/或手指移動，且此等移動可定義由一AR系統之使用者形成之手勢。
此外，進一步分析已表明，信號強度/輻射強度與手/手指移動之間的此等關係可使用現成相機中之光學偵測器(諸如在經改變用途用於腕上感測之Intel® RealSense Depth Camera D435中找到之光學偵測器)來捕獲。使用此一相機而非諸如一PPG偵測器之一小像素偵測器之一優點在於相機可產生較大場之二維影像序列。此等影像提供細微手及手指運動差別所需之解析度。
圖3係繪示一例示性腕戴式影像捕獲裝置300之一圖。腕戴式影像捕獲裝置300包含一LED驅動器310、一LED微控制器320、一底座330、一相機340及一可調整彈性腕帶350。如圖3中所展示，腕戴式影像捕獲裝置300包含或經連接至手勢偵測電路360。此僅僅係一影像捕獲裝置之一個實例且並不意謂係限制性的。
LED驅動器310經組態以將一電流提供至LED輻射源使得經發射輻射之亮度相對穩定。此穩定性可透過將一恆定電流提供至LED使得在例如電力供應下降之情況下強度不會變化來實現。為抑制輻射強度之雜訊變動，保持亮度穩定係重要的。此等變動可能致使難以判定生物流體流動度量(例如，圖框之間的PI變化)。一例示性LED驅動器310係來自Adafruit Industries公司之一Adafruit 12通道16位元PWM LED驅動器。
LED微控制器320經組態以根據一指定型樣或排程控制LED輻射之發射。例如，為實現一個二維影像序列之產生，LED微控制器320可引起LED輻射源在一指定頻率下閃爍(例如，30次每秒，以產生一所所要圖框速率)。一例示性LED微控制器320使用來自Adafruit Industries公司之一Adafruit QT Py 0 SAMD21 Dev Board。
底座330係經組態以將相機340固持於影像捕獲裝置300內之適當位置中之一3D列印固持器。在一些實施方案中，底座330係使用兩個M3螺絲附接至相機340。底座330亦包含一凹槽，腕帶350可透過該凹槽滑動及鎖定至適當位置中。再次，此僅僅係一個實例且不應係限制性的。
相機340經組態以接收來自使用者的腕之內部之反射輻射且在一指定視場(例如，90度乘60度)內產生圖框或二維影像。在一些實施方案中，指定視場在任一維度(例如，x或y)上顯著大於從相機至使用者的腕之內部之距離之一角範圍。一例示性相機340係由Intel公司製造之一Intel® RealSense Depth Camera D435。在一些實施方案中，影像係經格式化用於圖框之間的比較(例如，用於絕對差異)之原始影像。在此等實施方案中，影像可經正規化以防止或最小化強度值隨時間之漂移。關於圖4展示相機340之進一步細節。
圖4係繪示腕戴式影像捕獲裝置300內用於偵測一對通道中之輻射之相機340之一圖。如圖4中所展示，相機340包含一右成像器410、一IR投影儀420、一左成像器430及一RGB模組440。
左成像器430及右成像器410各自經組態以接收自腕內部反射之輻射且在偵測器上形成各自影像。在一些實施方案中，左成像器430及右成像器410各自包含經組態以將經接收輻射聚焦至各自偵測器上之光學器件。在一些實施方案中，光學器件及偵測器經組態用於IR輻射，例如850 nm左右之一窄帶。在一些實施方案中，左成像器430及右成像器410 (即，左及右通道偵測器)實質上同時捕獲其等各自影像。此允許自雙手進行更準確手勢偵測。
IR投影儀420係與左成像器430及右成像器410共置於一單個外殼(即，一相機外殼)中，且經組態以將IR輻射發射至使用者的腕上及中以用於背反射。在一些實施方案中，IR投影包含在IR中(例如，在850 nm左右之一窄帶中)發射之一雷射。在一些實施方案中，IR投影儀420經組態以將IR輻射發射至左成像器430或右成像器410之一者中。在一些實施方案中，IR投影儀420包含一分離器使得IR輻射被反射回至左投影儀430及右投影儀410兩者。在一些實施方案中，IR投影儀420係與左投影儀430及右投影儀410焊接至同一電路板。
RGB模組440經組態以產生及/或偵測在可見光譜中之照明。在一些情況下，在可見光譜之紅色端中之輻射可在腕之內部中具有顯著亮度(即，足夠小的比爾-朗伯係數)。因此，RGB模組440可提供用於產生圖框以進行手勢偵測之一替代影像平台。
應注意，如上文所描述之相機340僅為一個實例且並不意謂係限制性的。例如，相機340不需要包含RGB模組440。
圖5係繪示腕戴式影像捕獲裝置300之一仰視圖500之一圖。如圖5中所展示，腕戴式影像捕獲裝置300進一步包含一輻射擋板510以及IR LED對520及522。
輻射擋板510經組態以阻止輻射透過腕戴式影像捕獲裝置300洩漏。在一些實施方案中，輻射擋板510係由一篩分(sift)聚氨酯發泡體構造而成，以令使用者在佩戴腕戴式影像捕獲裝置300時感到舒適。在一些實施方案中，輻射擋板510係約四分之一英寸厚且對於用於與使用者的皮膚接觸而言係安全的。
IR LED對520及522經組態以將IR輻射發射至使用者的腕之內部中以用於分別背反射至左成像器430及右成像器410中。腕戴式影像捕獲裝置300中所使用之IR LED之一實例係由Vishay Semiconductors製造之以850 nm為中心之GaAlAs雙異質高速IR發射二極體。應注意，輻射可由IR LED 520及/或522及/或IR投影儀420提供。圖6中展示關於IR LED之組態之進一步細節。
圖6係繪示例示性腕戴式影像捕獲裝置300之一平面側視圖之一圖，其中輻射由IR LED對520及522提供。圖6中所繪示之圖僅展示LED對520及522以及其等發射之各自輻射束612及616。
假定在圖6中，LED對520及522相對於彼此對稱地放置使得LED對520之組態之描述亦適用於LED對522。如圖6中所展示，LED對520中之LED與腕戴式影像捕獲裝置300之外殼330對準。因此，由於外殼330之幾何形狀，LED對520之各LED具有相對於輻射擋板510之一表面之一法線以一角度620定向之一對稱軸線。在一些實施方案中，角度620實質上等於35度。
輻射束612具有由LED對520所發射之輻射相對於沿著對稱軸線發射之強度最大值之一半強度定義之一半發散角630。在一些實施方案中，一全發散角(即，半發散角630之兩倍)實質上等於22度。角度620及630對於IR偵測器相對於LED對520及522之放置係重要的。
返回圖3且如先前所陳述，腕戴式影像捕獲裝置300包含手勢偵測電路360。手勢偵測電路360經組態以判定一生物流體流動度量，例如跨圖框之一PI變化，且因此基於生物流體流動度量判定一手勢。關於圖7展示關於手勢偵測電路360之進一步細節。
圖7係繪示連接至腕戴式影像捕獲裝置300或嵌入於腕戴式影像捕獲裝置300中之例示性手勢偵測電路360之一圖。手勢偵測電路360經組態以自相機340接收一個二維影像序列，且判定在產生該影像序列時由使用者形成之一手勢。
手勢偵測電路360包含一網路介面722、一或多個處理單元724及非暫時性記憶體726。網路介面722包含例如用於將自網路接收之電子及/或光學信號轉換為電子形式以供手勢偵測電路360使用之乙太網路配接器、符記環配接器及類似者。該組處理單元724包含一或多個處理晶片及/或總成。記憶體726包含揮發性記憶體(例如，RAM)及非揮發性記憶體(諸如一或多個ROM、磁碟機、固態驅動機及類似者)兩者。該組處理單元724及記憶體726一起形成控制電路，該控制電路經組態且經配置以實行如本文中所描述之各種方法及功能。
在一些實施方案中，手勢偵測電路360之組件之一或多個者可為或可包含經組態以處理儲存於記憶體726中之指令之處理器(例如，處理單元724)。如圖7中所描繪之此等指令之實例包含一影像管理器730、一灌注指數模型管理器740、一手勢模型管理器750及一基於手勢之命令管理器760。此外，如圖7中所繪示，記憶體726經組態以儲存各種資料，此係關於使用此資料之各自管理器進行描述。
影像管理器730經組態以自腕戴式影像捕獲裝置300之相機340獲得影像資料732。在一些實施方案中，影像管理器730經由網路介面722透過一網路獲得影像資料732。在一些實施方案中，影像管理器730透過一直接連接獲得影像資料732。在一些實施方案中，影像管理器730自一本端儲存裝置裝置獲得影像資料732。
影像資料732表示由腕戴式影像捕獲裝置300捕獲之一個二維影像序列732(1)、732(2)、…、732(N)。在一些實施方案中，影像資料732表示在一使用者的腕之內部中之一指定場內拍攝之影像樣本。在一些實施方案中，序列732(1)、732(2)、…、732(N)之各者採取指示一生物流體流動度量之值(例如，指定場內之各個關鍵點處之灌注指數)之一熱圖之形式。
在一些實施方案中，由腕戴式影像捕獲裝置300捕獲之序列732(1)、732(2)、…、732(N)表示在一指定時期內例如以一指定圖框速率拍攝之二維影像。在一些實施方案中，圖框速率係30個圖框每秒，即，序列732(1)、732(2)、…、732(N)中之圖框係相隔1/30秒拍攝。一較高圖框速率提供判定關鍵點處之生物流體流動度量的變化之更佳時間解析度。此外，若序列732(1)、732(2)、…、732(N)係以低延時捕獲，則即時地準確判定手勢。在圖7中，生物流體流動速率被展示為灌注指數(PI)，或更具體地，圖框之間PI之變化。
在一些實施方案中，序列732(1)、732(2)、…、732(N)包含一個以上獨立通道，例如，來自相機340中之左偵測器430及右偵測器410之一左通道及右通道。在此等實施方案中，來自不同通道之圖框係彼此獨立地模型化。
PI模型管理器740經組態以產生由PI模型資料742表示之一PI模型，該PI模型將影像資料732映射至PI隨時間之一變化。如圖7中所展示，PI模型係一監督式模型，具體地一卷積迴歸因子神經網路，或具有迴歸因子之一卷積神經網路。在此內容背景中，一迴歸因子係二維影像序列732(1)、732(2)、…、732(N)中之一組關鍵點，在該等關鍵點處對PI進行評估。如此處所描述之模型僅為一個實例且不應被理解為限制性的。PI模型管理器740包含一PI模型訓練管理器741。
PI模型訓練管理器741經組態以基於PI模型訓練資料743產生CNN迴歸因子資料744。PI模型訓練資料743包含二維影像序列746(1)、…、746(T)及對應PI資料747(1)、…、747(T)之一語料庫，對應PI資料747(1)、…、747(T)表示PI值，或在相鄰圖框之間在由關鍵點資料745表示之關鍵點處的PI值之變化。PI模型訓練管理器741使用PI模型訓練資料743及一歐幾里德(Euclidean)損失函數來產生由卷積層資料748表示之在一些實施方案中具有彙集層及/或跳躍連接的隱藏層之參數。接著，PI模型管理器740預測由PI/FC層資料749表示之一最終全連接層處之PI值。
手勢模型管理器750經組態以使用手勢模型資料752 (例如，表示相鄰圖框之間如取自FC層資料749的PI變化之增量PI資料754)來預測在捕獲影像資料732時由一使用者形成之一或若干手勢。
在一些實施方案中且如圖7中所展示，手勢模型管理器750基於手勢映射資料756之一增量PI來預測手勢。在一些實施方案中，映射資料756包含一查找表，該查找表包含增量PI之值以及手及手指移動之識別符，例如「右手抓取」、「左手拇指-食指捏縮」等。在一些實施方案中，識別符係數字。
在一些實施方案中，手勢模型管理器750使用利用PI值及對應手指/手運動訓練之一監督式神經網路來預測手勢。在一些實施方案中，手指/手運動被表示為嵌入項，即，低維向量。
基於手勢之命令管理器760基於由手勢模型管理器750預測之一手勢執行一動作。例如，一抓取運動可引起基於手勢之命令管理器760在其視場內搜尋AR顯示之一物件以抓取，且接著透過視場根據手勢之移動使物件移動。
手勢偵測電路360之組件(例如，模組、處理單元724)可經組態以基於可包含一或多種類型之硬體、軟體、韌體、作業系統、運行時間程式庫等等之一或多個平台(例如，一或多個類似或不同平台)來操作。在一些實施方案中，手勢偵測電路360之組件可經組態以在一裝置叢集(例如，一伺服器群)內操作。在此一實施方案中，手勢偵測電路360之組件之功能性及處理可分佈至裝置叢集之數個裝置。
手勢偵測電路360之組件可為或可包含經組態以處理屬性之任何類型之硬體及/或軟體。在一些實施方案中，圖7中之手勢偵測電路360之組件中所展示之組件之一或多個部分可為或可包含一基於硬體之模組(例如，一數位信號處理器(DSP)、一場可程式化閘陣列(FPGA)、一記憶體)、一韌體模組及/或一基於軟體之模組(例如，一電腦程式碼模組、可在一電腦處執行之一組電腦可讀指令)。例如，在一些實施方案中，手勢偵測電路360之組件之一或多個部分可為或可包含經組態用於由至少一個處理器(未展示)執行之一軟體模組。在一些實施方案中，組件之功能性可包含於不同於圖7中所展示之模組及/或組件之模組及/或組件中，包含將繪示為兩個組件之功能性組合成一單個組件。
儘管未展示，但在一些實施方案中，手勢偵測電路360之組件(或其部分)可經組態以在例如一資料中心(例如，一雲端運算環境)、一電腦系統、一或多個伺服器/主機裝置等等內操作。在一些實施方案中，手勢偵測電路360之組件(或其部分)可經組態以在一網路內操作。因此，手勢偵測電路360之組件(或其部分)可經組態以在可包含一或多個裝置及/或一或多個伺服器裝置之各種類型之網路環境內運作。例如，網路可為或可包含一區域網路(LAN)、一廣域網路(WAN)等等。網路可為或可包含使用例如閘道器裝置、橋接器、交換機等等實施之一無線網路及/或有線網路。網路可包含一或多個段及/或可具有基於各種協定(諸如網際網路協定(IP)及/或一專有協定)之部分。網路可包含網際網路之至少一部分。
在一些實施方案中，搜尋系統之組件之一或多者可為或可包含經組態以處理儲存於一記憶體中之指令之處理器。例如，影像管理器730 (及/或其之一部分)、一PI模型管理器740 (及/或其之一部分)、手勢模型管理器750 (及/或其之一部分)及基於手勢之命令管理器760 (及/或其之一部分)係此等指令之實例。
在一些實施方案中，記憶體726可為任何類型之記憶體，諸如一隨機存取記憶體、一磁碟機記憶體、快閃記憶體等等。在一些實施方案中，記憶體726可被實施為與手勢偵測電路360之組件相關聯之一個以上記憶體組件(例如，一個以上RAM組件或磁碟機記憶體)。在一些實施方案中，記憶體726可為一資料庫記憶體。在一些實施方案中，記憶體726可為或可包含一非本端記憶體。例如，記憶體726可為或可包含由多個裝置(未展示)共用之一記憶體。在一些實施方案中，記憶體726可與一網路內之一伺服器裝置(未展示)相關聯且經組態以伺服手勢偵測電路360之組件。如圖7中所繪示，記憶體726經組態以儲存各種資料，包含影像資料732、PI模型資料742及手勢模型資料752。
圖8係描繪基於一使用者的腕之一內部之一個二維影像序列判定手勢的一例示性方法800之一流程圖。方法800可由結合圖7所描述之軟體建構來執行，該等軟體建構駐留於手勢偵測電路360之記憶體726中且係由該組處理單元724運行。
在802，影像捕獲裝置300捕獲穿過一使用者的腕之皮膚之一影像序列(例如，二維影像序列732(1)、732(2)、…、732(N))。例如，在由使用者形成一手勢時，影像捕獲裝置300引起一輻射源(例如，IR LED 520、522)照明使用者的腕之內部內(即，在其中血液在毛細血管中流動之一真皮層中)之一區。輻射經背反射朝向IR偵測器(例如，偵測器430及410)而形成二維影像。序列係由例如以一指定圖框速率使LED閃爍開啟及關閉之一LED微控制器320形成。
在804，PI模型管理器740基於影像序列732(1)、732(2)、…、732(N)判定一生物流體流動度量(例如，在序列之圖框之間PI之變化或增量PI)。模型係具有迴歸因子之一卷積神經網路，其接收表示迴歸因子之關鍵點之關鍵點資料745且預測二維影像序列732(1)、732(2)、…、732(N)之圖框之間PI之一變化。
在806，手勢模型管理器750基於生物流體流動度量(例如，二維影像序列732(1)、732(2)、…、732(N)之圖框之間PI之變化)判定由使用者形成之一手勢。此判定可使用例如一查找表或一監督式預測模型來進行。
在808，基於手勢之命令管理器760基於手勢觸發與在一AR系統中顯示一物件相關的一命令之執行。
圖9繪示一通用電腦裝置900及一通用行動電腦裝置950之一實例，通用電腦裝置900及通用行動電腦裝置950可與此處所描述之技術一起使用。電腦裝置900係圖7之手勢偵測電路360之一個例示性組態。
如圖9中所展示，運算裝置900意欲表示各種形式之數位電腦，諸如膝上型電腦、桌上型電腦、工作站、個人數位助理、伺服器、刀鋒伺服器、大型主機及其他適當電腦。運算裝置950意欲表示各種形式之行動裝置，諸如個人數位助理、蜂巢式電話、智慧型電話及其他類似運算裝置。此處所展示之組件、其等連接及關係以及其等功能僅意謂著係實例，且並不意謂限制本文件中所描述及/或主張之本發明之實施方案。
運算裝置900包含一處理器902、記憶體904、一儲存裝置906、連接至記憶體904及高速擴展埠910之一高速介面908以及連接至低速匯流排914及儲存裝置906之一低速介面912。組件902、904、906、908、910及912之各者係使用各種匯流排來互連，且可安裝於一共同主機板上或適當地以其他方式安裝。處理器902可處理用於在運算裝置900內執行之指令，包含儲存於記憶體904中或儲存裝置906上之指令，以在一外部輸入/輸出裝置(諸如耦合至高速介面908之顯示器916)上顯示一GUI之圖形資訊。在其他實施方案中，可適當地使用多個處理器及/或多個匯流排，連同多個記憶體及多種類型之記憶體。再者，可連接多個運算裝置900，其中各裝置提供必要操作之部分(例如，作為一伺服器組、一刀鋒伺服器群組或一個多處理器系統)。
記憶體904儲存運算裝置900內之資訊。在一個實施方案中，記憶體904係一或若干揮發性記憶體單元。在另一實施方案中，記憶體904係一或若干非揮發性記憶體單元。記憶體904亦可為另一形式之電腦可讀媒體，諸如一磁碟或光碟。
儲存裝置906能夠為運算裝置900提供大容量儲存。在一個實施方案中，儲存裝置906可為或含有一電腦可讀媒體，諸如一軟碟裝置、一硬碟裝置、一光碟裝置或一磁帶裝置、一快閃記憶體或其他類似固態記憶體裝置，或一裝置陣列，包含呈一儲存區域網路或其他組態之裝置。一電腦程式產品可有形地體現於一資訊載體中。電腦程式產品亦可含有指令，該等指令在被執行時執行一或多種方法，諸如上文所描述之方法。資訊載體係一電腦或機器可讀媒體，諸如記憶體904、儲存裝置906或處理器902上之記憶體。
高速控制器908管理運算裝置900之頻寬密集型操作，而低速控制器912管理較低頻寬密集型操作。此功能分配僅為實例。在一個實施方案中，高速控制器908係耦合至記憶體904、顯示器916 (例如，透過一圖形處理器或加速器)，且耦合至高速擴展埠910，高速擴展埠910可接受各種擴展卡(未展示)。在實施方案中，低速控制器912係耦合至儲存裝置906及低速擴展埠914。可包含各種通信埠(例如，USB、藍牙、乙太網路、無線乙太網路)之低速擴展埠可例如透過一網路配接器耦合至一或多個輸入/輸出裝置，諸如一鍵盤、一指向裝置、一掃描器或一網路裝置，諸如一交換機或路由器。
運算裝置900可以若干不同形式實施，如圖中所展示。例如，其可被實施為一標準伺服器920，或在此等伺服器之一群組中實施多次。其亦可被實施為一機架伺服器系統924之部分。另外，其可在諸如一膝上型電腦922之一個人電腦中實施。替代地，來自運算裝置900之組件可與一行動裝置(未展示) (諸如裝置950)中之其他組件組合。此等裝置之各者可含有運算裝置900、950之一或多者，且整個系統可由彼此通信之多個運算裝置900、950組成。
運算裝置950包含一處理器952、記憶體964、諸如一顯示器954之一輸入/輸出裝置、一通信介面966及一收發器968，以及其他組件。裝置950亦可具備一儲存裝置，諸如一微型硬碟或其他裝置，以提供額外儲存。組件950、952、964、954、966及968之各者係使用各種匯流排互連，且數個組件可安裝於一共同主機板上或適當地以其他方式安裝。
處理器952可執行運算裝置950內之指令，包含儲存於記憶體964中之指令。處理器可被實施為包含單獨及多個類比及數位處理器之晶片之一晶片組。例如，處理器可提供裝置950之其他組件之協調，諸如對使用者介面、由裝置950運行之應用程式及裝置950之無線通信的控制。
處理器952可透過耦合至一顯示器954之控制介面958及顯示介面956與一使用者通信。顯示器954可為例如一TFT LCD (薄膜電晶體液晶顯示器)或一OLED (有機發光二極體)顯示器，或其他適當顯示技術。顯示介面956可包括用於驅動顯示器954以向一使用者呈現圖形及其他資訊之適當電路。控制介面958可自一使用者接收命令且轉換該等命令以用於提交給處理器952。另外，可提供與處理器952通信之一外部介面960，以實現裝置950與其他裝置之近區通信。外部介面960可例如在一些實施方案中提供有線通信，或在其他實施方案中提供無線通信，且亦可使用多個介面。
記憶體964儲存運算裝置950內之資訊。記憶體964可被實施為一或若干電腦可讀媒體、一或若干揮發性記憶體單元或一或若干非揮發性記憶體單元之一或多者。擴展記憶體974亦可被提供且透過擴展介面972連接至裝置950，擴展介面972可包含例如一SIMM (單列直插式記憶模組)卡介面。此擴展記憶體974可為裝置950提供額外儲存空間，或亦可儲存裝置950之應用程式或其他資訊。具體地，擴展記憶體974可包含實行或補充上文所描述之程序之指令，且亦可包含安全資訊。因此，例如，擴展記憶體974可被提供為裝置950之一安全模組，且可用容許安全使用裝置950之指令進行程式化。另外，可經由SIMM卡提供安全應用程式以及額外資訊，諸如以一不可破解方式將識別資訊放置於SIMM卡上。
記憶體可包含例如快閃記憶體及/或NVRAM記憶體，如下文所論述。在一個實施方案中，一電腦程式產品係有形地體現於一資訊載體中。電腦程式產品含有指令，該等指令在被執行時執行一或多種方法，諸如上文所描述之方法。資訊載體係可例如透過收發器968或外部介面960接收之一電腦或機器可讀媒體，諸如記憶體、擴展記憶體974或處理器952上之記憶體。
裝置950可透過通信介面966進行無線通信，通信介面966必要時可包含數位信號處理電路。通信介面966可提供各種模式或協定下之通信，諸如GSM語音呼叫、SMS、EMS或MMS訊息傳遞、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。此通信可例如透過射頻收發器968發生。另外，可發生短程通信，諸如使用一藍牙、WiFi或其他此收發器(未展示)。另外，GPS (全球定位系統)接收器模組970可將額外導航及位置相關無線資料提供至裝置950，該資料可由在裝置950上運行之應用程式適當地使用。
裝置950亦可使用音訊編解碼器960進行音可聽通信，音訊編解碼器960可接收來自一使用者之口語資訊且將其轉換為可用數位資訊。音訊編解碼器960同樣可為一使用者產生可聽聲音，諸如透過一揚聲器，例如在裝置950之一手機中。此聲音可包含來自語音電話呼叫之聲音，可包含經記錄聲音(例如，語音訊息、音樂檔案等)且亦可包含由在裝置950上操作之應用程式產生之聲音。
運算裝置950可以若干不同形式實施，如圖中所展示。例如，其可被實施為一蜂巢式電話980。其亦可被實施為一智慧型電話982、個人數位助理或其他類似行動裝置之部分。
圖10展示一通用電腦系統1000之一實例，其可為圖7之手勢偵測電路360，其可與此處所描述之技術一起使用。運算系統1000意欲表示大規模資料處理裝置之各種實例形式，諸如伺服器、刀鋒伺服器、資料中心、大型主機及其他大規模運算裝置。運算系統1000可為具有多個處理器之一分佈式系統，可能包含由一或多個通信網路互連之網路附接儲存節點。此處所展示之組件、其等連接及關係以及其等功能僅意謂著係實例，且並不意謂限制本文件中所描述及/或主張之本發明之實施方案。
運算系統1000可包含任何數目個運算裝置1080a至1080d。運算裝置1080a至1080d可包含透過一區域或廣域網路、專用光學鏈路、數據機、橋接器、路由器、交換機、有線或無線網路等進行通信之一伺服器或機架伺服器、大型主機等。
在一些實施方案中，各運算裝置可包含多個機架。例如，運算裝置1080a包含多個機架1058a至1058n。各機架可包含一或多個處理器，諸如處理器1052a至1052n及1062a至1062n。處理器可包含資料處理器、網路附接儲存裝置及其他電腦控制裝置。在一些實施方案中，一個處理器可作為一主控處理器操作且控制排程及資料分配任務。處理器可透過一或多個機架交換機1062a至1062n互連，且一或多個機架可透過交換機1078連接。交換機1078可處置多個經連接運算系統1000之間的通信。
各機架可包含記憶體，諸如記憶體1054及記憶體1064，以及儲存器，諸如1056及1066。儲存器1056及1066可提供大容量儲存且可包含揮發性或非揮發性儲存器，諸如網路附接磁碟、軟碟、硬碟、光碟、磁帶、快閃記憶體或其他類似固態儲存器裝置，或一裝置陣列，包含呈一儲存區域網路或其他組態之裝置。儲存器1056或1066可在多個處理器、多個機架或多個運算裝置之間共用，且可包含儲存可由該等處理器之一或多者執行之指令之一電腦可讀媒體。記憶體1054及1064可包含例如一或若干揮發性記憶體單元、一或若干非揮發性記憶體單元及/或其他形式之電腦可讀媒體，諸如一磁碟或光碟、快閃記憶體、快取區、隨機存取記憶體(RAM)、唯讀記憶體(ROM)及其等之組合。諸如記憶體1054之記憶體亦可在處理器1052a至1052n之間共用。諸如一索引之資料結構可例如跨儲存器1056及記憶體1054儲存。運算系統1000可包含未展示之其他組件，諸如控制器、匯流排、輸入/輸出裝置、通信模組等。
整個系統可由彼此通信之多個運算裝置1000組成。例如，裝置1080a可與裝置1080b、1080c及1080d通信，且此等可統稱為運算裝置1000。作為另一實例，圖7之手勢偵測電路360可包含一或多個運算裝置1000。一些運算裝置可能在地理上靠近彼此定位，而其他運算裝置可能在地理上遙遠地定位。系統1000之佈局僅為一實例且系統可呈現其他佈局或組態。
此處所描述之系統及技術之各種實施方案可在數位電子電路、積體電路、經專門設計之ASIC (特定應用積體電路)、電腦硬體、韌體、軟體及/或其等之組合中實現。此各種實施方案可包含可在包含至少一個可程式化處理器之一可程式化系統上執行及/或解譯的一或多個電腦程式中之實施方案，該至少一個可程式化理器可為專用的或通用的，經耦合以自一儲存系統、至少一個輸入裝置及至少一個輸出裝置接收資料及指令以及將資料及指令傳輸至該儲存系統、該至少一個輸入裝置及該至少一個輸出裝置。
此等電腦程式(亦稱為程式、軟體、軟體應用程式或程式碼)包含一可程式化處理器之機器指令，且可以一高階程序及/或物件導向程式設計語言及/或以組合/機器語言實施。如本文中所使用，術語「機器可讀媒體」、「電腦可讀媒體」指代用來將機器指令及/或資料提供至一可程式化處理器之任何電腦程式產品、設備及/或裝置(例如，磁碟、光碟、記憶體、可程式化邏輯裝置(PLD))，包含接收機器指令作為一機器可讀信號之一機器可讀媒體。術語「機器可讀信號」指代用來將機器指令及/或資料提供至一可程式化處理器之任何信號。
為提供與一使用者之互動，此處所描述之系統及技術可在一電腦上實施，該電腦具有用於向使用者顯示資訊之一顯示裝置(例如，一CRT (陰極射線管)或LCD (液晶顯示器)監視器)，以及使用者可藉由其將輸入提供至電腦之一鍵盤及一指向裝置(例如，一滑鼠或一軌跡球)。亦可使用其他種類之裝置來提供與一使用者之互動；例如，提供給使用者之回饋可為任何形式之感官回饋(例如，視覺回饋、聽覺回饋或觸覺回饋)；且可以任何形式接收來自使用者之輸入，包含聲音、語音或觸覺輸入。
此處所描述之系統及技術可在一運算系統中實施，該運算系統包含一後端組件(例如，作為一資料伺服器)，或包含一中介軟體組件(例如，一應用程式伺服器)，或包含一前端組件(例如，具有一圖形使用者介面或一網頁瀏覽器之一用戶端電腦，一使用者可透過該用戶端電腦與此處所描述之系統及技術之一實施方案互動)，或此等後端、中介軟體或前端組件之任何組合。系統之組件可由數位資料通信之任何形式或媒體(例如，一通信網路)互連。通信網路之實例包含一區域網路(「LAN」)、一廣域網路(「WAN」)及網際網路。
運算系統可包含用戶端及伺服器。一用戶端及伺服器通常彼此遠離且通常透過一通信網路互動。用戶端與伺服器之關係憑藉在各自電腦上運行且彼此具有一用戶端-伺服器關係之電腦程式產生。
已描述若干實施方案。然而，將理解，可在不脫離本說明書之精神及範疇之情況下進行各種修改。
亦將理解，當一元件被稱為在另一元件上、連接至、電連接至、耦合至或電耦合至另一元件時，該元件可直接在該另一元件上、直接連接或耦合至該另一元件，或可存在一或多個中介元件。相比之下，當一元件被稱為直接在另一元件上、直接連接至或直接耦合至另一元件時，不存在中介元件。儘管術語直接在…上、直接連接至或直接耦合至可能未貫穿[實施方式]使用，但被展示為直接在…上、直接連接或直接耦合之元件可如此稱呼。可修正本申請案之發明申請專利範圍以敘述本說明書中所描述或圖中所展示之例示性關係。
雖然已如本文中所描述般闡釋所描述實施方案之特定特徵，但熟習此項技術者現在將想到許多修改、置換、改變及等效物。因此，應理解，隨附發明申請專利範圍意欲涵蓋如落入實施方案之範疇內之所有此等修改及改變。應理解，其等僅以實例而非限制之方式呈現，且可在形式及細節上進行各種改變。本文中所描述之設備及/或方法之任何部分可以任何組合進行組合，惟互斥組合除外。本文中所描述之實施方案可包含所描述之不同實施方案之功能、組件及/或特徵之各種組合及/或子組合。
另外，圖中所描繪之邏輯流程不要求所展示之特定順序或循序順序以達成所要結果。另外，可提供其他步驟，或可自所描述流程消除步驟，且可將其他組件添加至所描述系統或自所描述系統移除。因此，其他實施方案係在以下發明申請專利範圍之範疇內。
100:智慧型眼鏡/頭戴式可穿戴裝置 102:框架 103:邊緣部分 104:顯示裝置 105:臂部分 106:音訊輸出裝置 107:鏡片 108:照明裝置 109:橋接部分 110:鉸鏈部分 111:感測系統 112:控制系統 114:處理器 116:影像捕獲裝置/相機 120:視線追蹤裝置 125:感測器 140:可視區 144:輸出耦合器 200:圖 210:紅外線(IR)發光二極體(LED) 212:輻射 220:紅外線(IR)偵測器/光體積變化描記圖法(PPG)感測器 230:皮膚表面 232:角質層 234:表皮 236:皮下組織/真皮 240:毛細血管 242:反射輻射 246:紅血球 250:圖 260:信號 270:毛細血管 280:毛細血管 300:腕戴式影像捕獲裝置 310:發光二極體(LED)驅動器 320:發光二極體(LED)微控制器 330:底座/外殼 340:相機 350:腕帶 360:手勢偵測電路 410:右成像器/右投影儀/偵測器 420:紅外線(IR)投影儀 430:左成像器/左投影儀/左偵測器 440:RGB模組 500:仰視圖 510:輻射擋板 520:紅外線(IR)發光二極體(LED)對/紅外線(IR)發光二極體(LED) 522:紅外線(IR)發光二極體(LED)對/紅外線(IR)發光二極體(LED) 612:輻射束 616:輻射束 620:角度 630:半發散角/角度 722:網路介面 724:處理單元 726:非暫時性記憶體 730:影像管理器 732:影像資料 732(1)至732(N):二維影像序列 740:灌注指數(PI)模型管理器 741:灌注指數(PI)模型訓練管理器 742:灌注指數(PI)模型資料 743:灌注指數(PI)模型訓練資料 744:CNN迴歸因子資料 745:關鍵點資料 746(1)至746(T):二維影像序列 747(1)至747(T):灌注指數(PI)資料 748:卷積層資料 749:灌注指數(PI)/FC層資料 750:手勢模型管理器 752:手勢模型資料 754:增量灌注指數(PI)資料 756:手勢映射資料 760:基於手勢之命令管理器 800:方法 802:影像捕獲裝置捕獲穿過使用者的腕之皮膚之影像序列 804:PI模型管理器基於影像序列判定生物流體流動度量 806:手勢模型管理器基於生物流體流動度量判定由使用者形成之手勢 808:基於手勢之命令管理器基於手勢觸發與在AR系統中顯示物件相關的命令之執行 900:通用電腦裝置/運算裝置 902:處理器 904:記憶體 906:儲存裝置 908:高速介面/高速控制器 910:高速擴展埠 912:低速介面/低速控制器 914:低速匯流排/低速擴展埠 916:顯示器 920:伺服器 922:膝上型電腦 924:機架伺服器系統 950:通用行動電腦裝置/運算裝置 952:處理器 954:顯示器 956:顯示介面 958:控制介面 960:外部介面/音訊編解碼器 966:通信介面 968:收發器 970:全球定位系統(GPS)接收器模組 972:擴展介面 974:擴展記憶體 980:蜂巢式電話 982:智慧型電話 1000:通用電腦系統/運算系統/運算裝置 1052a至1052n:處理器 1054:記憶體 1056:儲存器 1058a至1058n:機架 1062a至1062n:處理器/機架交換機 1064:記憶體 1066:儲存器 1078:交換機 1080a至1080d:運算裝置
圖1A繪示根據本文中所描述之實施方案之一例示性系統。
圖1B係根據本文中所描述之實施方案之圖1A中所展示的例示性頭戴式可穿戴裝置之一前視圖，圖1C係一後視圖，且圖1D係一透視圖。
圖2A係繪示運用一紅外線(IR)發光二極體(LED)對皮下組織中之一毛細血管之一例示性照明之一圖。
圖2B係繪示其中強度取決於一毛細血管中之紅血球密度之一例示性信號之一圖。
圖3係繪示一例示性腕戴式影像捕獲裝置之一圖。
圖4係繪示腕戴式影像捕獲裝置內用於偵測一對通道中之IR及/或RGB照明一之例示性相機之一圖。
圖5係繪示例示性腕戴式影像捕獲裝置之一仰視圖之一圖。
圖6係繪示例示性腕戴式影像捕獲裝置之一側視圖之一圖，其中照明由IR LED提供。
圖7係繪示例示性手勢偵測電路之一圖。
圖8係繪示根據所揭示實施方案之一例示性方法之一流程圖。
圖9係繪示可用來實施所描述技術之一電腦裝置及一行動電腦裝置之一實例之一圖。
圖10係繪示可用來實施所描述技術之一分佈式電腦裝置之一實例之一圖。
100:智慧型眼鏡/頭戴式可穿戴裝置
102:框架
103:邊緣部分
105:臂部分
107:鏡片
109:橋接部分

Claims (20)

  1. 一種方法，其包括： 捕獲穿過一使用者的腕之皮膚之一影像序列； 基於該影像序列判定一生物流體流動度量； 基於該生物流體流動度量判定由該使用者形成之一手勢；及 基於該手勢觸發與在一擴增實境(AR)系統中顯示一物件相關的一命令之執行。
  2. 如請求項1之方法，其中判定由該使用者形成之該手勢包含： 應用將該影像序列映射至該生物流體流動度量之一第一模型；及 應用將該生物流體流動度量映射至該手勢之一第二模型。
  3. 如請求項2之方法，其中該第一模型包含一卷積迴歸神經網路；及 其中該方法進一步包括： 基於包含影像序列及該生物流體流動度量之對應值之一資料集訓練該卷積迴歸神經網路。
  4. 如前述請求項中任一項之方法，其中該生物度量包含在該影像序列之圖框之間一灌注指數之變化。
  5. 如前述請求項中任一項之方法，其中捕獲穿過該使用者的腕之該皮膚之該二維影像序列包含： 將來自一輻射源之電磁輻射發射至該使用者的腕之一內部中； 將自該使用者的腕之該內部反射之該電磁輻射接收至一輻射偵測器中；及 藉由以一指定圖框速率對自該使用者的腕之該內部反射至該輻射偵測器中之該電磁輻射進行取樣來形成該影像序列。
  6. 如請求項5之方法，其中該輻射源包含安裝於一相機中之一紅外線(IR)投影儀，該相機包含該輻射偵測器。
  7. 如請求項5或6之方法，其中該輻射源包含一左輻射源及一右輻射源；及 其中將來自該輻射源之該電磁輻射發射至該使用者的腕之該內部中包含： 將來自該左輻射源之電磁輻射發射至該使用者的腕之該內部之一第一部分中，及將來自一右輻射源之電磁輻射發射至該使用者的腕之該內部之一第二部分中。
  8. 如請求項7之方法，其中該左輻射源及該右輻射源之各者包含一對各自紅外線(IR)發光二極體(LED)。
  9. 如請求項5至8中任一項之方法，其中該輻射偵測器包含一左通道偵測器及一右通道偵測器；及 其中將自該使用者的腕之該內部反射之該電磁輻射接收至該輻射偵測器中包含： 在該左通道偵測器及該右通道偵測器處接收自該使用者的腕之該內部反射之電磁輻射。
  10. 如請求項9之方法，其中對自該使用者的腕之該內部反射之該電磁輻射進行取樣包含： 在該左通道偵測器及該右通道偵測器之各者處實質上同時捕獲一各自影像。
  11. 一種擴增實境(AR)系統，其包括： 一影像捕獲裝置，其經組態以捕獲穿過一使用者的腕之皮膚之一影像序列；及 手勢偵測電路，其耦合至一記憶體，該手勢偵測電路經組態以： 基於該影像序列判定一生物流體流動度量； 基於該生物流體流動度量判定由該使用者形成之一手勢；及 基於該手勢觸發與在一擴增實境(AR)系統中顯示一物件相關的一命令之執行。
  12. 如請求項11之AR系統，其中該影像捕獲裝置係安置在佩戴於該使用者的腕上之腕帶上。
  13. 如請求項11或12之AR系統，其中該影像捕獲裝置包含： 一電磁輻射源，該源經組態以發射在一紅外線(IR)波長帶中之電磁輻射；及 一偵測器，其經組態以偵測自該使用者的腕之一內部反射之該電磁輻射，該偵測器經組態以偵測在該IR波長帶中之電磁輻射。
  14. 如請求項13之AR系統，其進一步包括： 一IR控制器，其經組態以根據一排程控制由該電磁輻射之該源對該電磁輻射之發射。
  15. 如請求項13或14之AR系統，其中該電磁輻射源及該偵測器係共置於一單個外殼中。
  16. 如請求項13至15中任一項之AR系統，其中該偵測器包含一左通道偵測器及一右通道偵測器；及 其中該電磁輻射源包含一第一對IR發光二極體(LED)及一第二對IR LED，該第一對IR LED經組態以發射該電磁輻射使得在該左通道偵測器處接收該電磁輻射，該第二對IR LED經組態以發射該電磁輻射使得在該右通道偵測器處接收該電磁輻射。
  17. 一種包括一非暫時性儲存媒體之電腦程式產品，該電腦程式產品包含程式碼，該程式碼在由處理電路執行時引起該處理電路執行一方法，該方法包括： 捕獲穿過一使用者的腕之皮膚之一影像序列； 基於該影像序列判定一生物流體流動度量； 基於該生物流體流動度量判定由該使用者形成之一手勢；及 基於該手勢觸發與在一擴增實境(AR)系統中顯示一物件相關的一命令之執行。
  18. 如請求項17之電腦程式產品，其中判定由該使用者形成之該手勢包含： 應用將該二維影像序列映射至該生物流體流動度量之第一模型；及 應用將該生物流體流動度量映射至該手勢之一第二模型。
  19. 如請求項18之電腦程式產品，其中該第一模型包含一卷積迴歸神經網路；及 其中該方法進一步包括： 基於包含二维影像序列及該生物流體流動度量之對應值之一資料集訓練該卷積迴歸神經網路。
  20. 如請求項17至19中任一項之電腦程式產品，其中該生物度量包含在該二維影像序列之圖框之間一灌注指數之變化。
TW112121356A 2022-06-29 2023-06-08 經由自腕指向相機系統之皮下組織之影像捕獲之手勢偵測 TW202401211A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/809,772 2022-06-29
US17/809,772 US11934586B2 (en) 2022-06-29 2022-06-29 Gesture detection via image capture of subdermal tissue from a wrist-pointing camera system

Publications (1)

Publication Number Publication Date
TW202401211A true TW202401211A (zh) 2024-01-01

Family

ID=87003304

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112121356A TW202401211A (zh) 2022-06-29 2023-06-08 經由自腕指向相機系統之皮下組織之影像捕獲之手勢偵測

Country Status (3)

Country Link
US (1) US11934586B2 (zh)
TW (1) TW202401211A (zh)
WO (1) WO2024006603A1 (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9081417B2 (en) * 2012-11-30 2015-07-14 Blackberry Limited Method and device for identifying contactless gestures
US20170000392A1 (en) * 2015-07-01 2017-01-05 Rememdia LC Micro-Camera Based Health Monitor
KR102570068B1 (ko) * 2015-11-20 2023-08-23 삼성전자주식회사 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치
US10105608B1 (en) * 2015-12-18 2018-10-23 Amazon Technologies, Inc. Applying participant metrics in game environments
US10698497B2 (en) 2017-09-29 2020-06-30 Apple Inc. Vein scanning device for automatic gesture and finger recognition
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10466783B2 (en) 2018-03-15 2019-11-05 Sanmina Corporation System and method for motion detection using a PPG sensor
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
US11754824B2 (en) * 2019-03-26 2023-09-12 Active Medical, BV Method and apparatus for diagnostic analysis of the function and morphology of microcirculation alterations
US20200375513A1 (en) 2019-06-03 2020-12-03 Rajesh S. Kasbekar Pulse oximeter sensors with reduced sensitivity to motion artifacts
US11422623B2 (en) 2019-10-23 2022-08-23 Interlake Research, Llc Wrist worn computing device control systems and methods
WO2021091604A1 (en) * 2019-11-08 2021-05-14 Apple Inc. Machine-learning based gesture recognition using multiple sensors
US20220233096A1 (en) * 2021-01-27 2022-07-28 Covidien Lp Systems and methods for non-contact respiratory monitoring
CN112783326A (zh) 2021-01-28 2021-05-11 唐庆圆 手势识别装置和手势识别系统

Also Published As

Publication number Publication date
US11934586B2 (en) 2024-03-19
US20240004476A1 (en) 2024-01-04
WO2024006603A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
CN110352364B (zh) 多光谱照射和传感器模块
US9304594B2 (en) Near-plane segmentation using pulsed light source
US9710973B2 (en) Low-latency fusing of virtual and real content
US9285872B1 (en) Using head gesture and eye position to wake a head mounted device
CN105917292B (zh) 利用多个光源和传感器的眼睛注视检测
US9710130B2 (en) User focus controlled directional user input
US11256336B2 (en) Integration of artificial reality interaction modes
CN108700932A (zh) 能够进行眼睛追踪的可穿戴设备
US20160131902A1 (en) System for automatic eye tracking calibration of head mounted display device
CN116027894A (zh) 纤细形状因子的无源光学和惯性跟踪
CN104749777B (zh) 可穿戴智能设备的互动方法
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
US20210365535A1 (en) Eye scanner for user identification and security in an eyewear device
CN108279496B (zh) 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
US20180075294A1 (en) Determining a pointing vector for gestures performed before a depth camera
WO2021047331A1 (zh) 控制方法、电子装置和存储介质
US10475415B1 (en) Strobe tracking of head-mounted displays (HMDs) in virtual, augmented, and mixed reality (xR) applications
CN112639687B (zh) 使用反向偏置发光二极管器件的眼睛跟踪
Czuszynski et al. Septic safe interactions with smart glasses in health care
US11934586B2 (en) Gesture detection via image capture of subdermal tissue from a wrist-pointing camera system
US11663793B2 (en) Geospatial image surfacing and selection
JP2024520999A (ja) 外部の視線検出による光漏れの低減