TW202102978A - 基於生理量測之延展實境調整技術 - Google Patents

基於生理量測之延展實境調整技術 Download PDF

Info

Publication number
TW202102978A
TW202102978A TW109115742A TW109115742A TW202102978A TW 202102978 A TW202102978 A TW 202102978A TW 109115742 A TW109115742 A TW 109115742A TW 109115742 A TW109115742 A TW 109115742A TW 202102978 A TW202102978 A TW 202102978A
Authority
TW
Taiwan
Prior art keywords
physiological parameter
processor
application
physiological
extended reality
Prior art date
Application number
TW109115742A
Other languages
English (en)
Other versions
TWI753428B (zh
Inventor
米薩拉 凡吉普瑞
拉菲爾 巴拉葛斯
凱文 史馬特斯
Original Assignee
美商惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商惠普發展公司有限責任合夥企業 filed Critical 美商惠普發展公司有限責任合夥企業
Publication of TW202102978A publication Critical patent/TW202102978A/zh
Application granted granted Critical
Publication of TWI753428B publication Critical patent/TWI753428B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6806—Gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

在實例實現方式中，提供了一種裝置。該裝置包括一生理感測器、一記憶體、以及一處理器。該生理感測器將測量一生理參數。該記憶體將儲存一延展實境應用程式及用於該生理參數的一基準線準位。該處理器與該生理感測器及該記憶體進行通信。該處理器將執行該延展實境應用程式。回應於該生理參數超過該基準線準位達一差異臨界值，該處理器將調整該延展實境應用程式。

Description

基於生理量測之延展實境調整技術
發明領域
本發明係有關於基於生理量測之延展實境調整技術。
發明背景
虛擬實境(VR)應用程式為使用者提供了新的體驗。VR應用程式可提供經由軟體所產生的一人工環境。該等VR系統可以包括一系列的硬體。例如，該VR系統可以包括一整個外殼，當該外殼移動時該使用者可以感覺到移動，或者可包括可由該使用者佩戴的一頭戴式顯示器。
發明概要
依據本發明之一實施例，係特地提出一種裝置，其包含有：一生理感測器用以測量一生理參數；一記憶體用以儲存一延展實境應用程式及用於該生理參數之一基準線準位；以及一處理器，其與該生理感測器及該記憶體進行通信，該處理器用以執行該延展實境應用程式並當該生理參數超過該基準線準位達一差異臨界值時調整該延展實境應用程式。
較佳實施例之詳細說明 本文所描述的實例提供一XR系統或HMD，其可以基於生理量測做出XR調整。在一個實例中，可以把延展實境(XR)定義為包括虛擬實境(VR)裝置及應用程式、擴增實境(AR)裝置及應用程式、混合實境(MR)裝置及應用程式、等等。
如上所討論的，VR應用程式為使用者提供了新的體驗。一些VR系統包括一頭戴式顯示器，該頭戴式顯示器可與提供控制之手套一起被使用。
某些VR應用程式可為一使用者提供一種逼真的體驗。該VR系統可以提供觸覺反饋以及音訊及視訊效果，使得該VR環境可對該使用者呈現出真實並使該使用者感受到真實。但是，某些VR體驗對於該使用者而言可能過分真實，並導致該使用者感到不適。
某些VR應用程式可受益於使用生理或生物統計資料。該生理資料可能有助於即時對該VR應用程式做出調整。另外，該生理資料可以允許該VR應用程式為每一位使用者來個人化該VR體驗。
本文的實例提供了一XR系統或HMD，其包括可以測量生理參數或生物統計資料的生理感測器。該等感測器可被包括在該等手套、該等控制器、該HMD、等等之中。
在一些實例中，一校準應用程式可被包括在該XR應用程式中，以收集生理資料來為各種生理參數產生一基準線準位。該等生理參數可以包括心率、皮膚電導反應(GSR)、肌電圖(EMG)資料、等等。該等生理感測器可以在該XR體驗期間測量該使用者的該等生理參數以判定該使用者之該等生理參數的任一是否超過在該校準應用程式過程中所建立的該基準線準位。
當該等基準線準位被超過時，則該XR系統可以調整該XR應用程式或體驗。例如，該XR系統可調整觸覺反饋的一準位、調整視覺效果、調整音訊效果、等等。因此，該XR體驗可被客制化來達到一使用者的一舒適度，該舒適度可能與其他使用者的該等舒適度不同。
圖1圖示出本發明的一實例XR系統100。如以上所述，XR可以包括VR、AR、或MR。在一個實例中，該XR系統100可以包括一XR頭戴式顯示器(HMD)102及一手套116。儘管在圖1中僅圖示出一單一手套116，應被注意的是也可以部署兩個手套116。在一個實例中，該XR系統100可以包括一背包或分開的控制器(圖中未示出)，該背包或分開的控制器被通信地耦合到該XR HMD 102及該手套116。該分開的控制器可以從該XR HMD 102卸載處理以允許該XR HMD 102可以有一較小的佔用面積及設計。
在一個實例中，該XR HMD 102可以包括一顯示器108以及揚聲器110及112。該顯示器108係可允許用於VR應用程式及擴增實境(AR)應用程式的一穿透式顯示器。該顯示器108可展示出由該XR系統100所執行之該等XR環境或應用程式。該等揚聲器110及112可播放與該等XR環境或應用程式相關聯的音訊。
在一個實例中，該XR HMD 102可以包括一感測器114以測量一使用者的一生理參數。該感測器114可以是一生理感測器，諸如可以接觸一使用者的皮膚並收集生理資訊的一電極。例如，該感測器114可以監測或測量諸如心率、皮膚電導反應(GSR)、肌電圖(EMG)資料、等等的生理參數。
如在下面會被進一步詳細討論的，該等生理參數可以提供指出一使用者如何回應該XR應用程式的資訊。例如，基於所測量到的該等生理參數，該等視覺資訊、音訊資訊、觸覺反饋、等等的量可能會被判定為對於一使用者而言太過刺激。作為回應，可以根據所測量到的該等生理參數來為使用者調整該XR應用程式(例如，該等視訊效果、音訊效果、及/或觸覺反饋)。
在一個實例中，該XR HMD 102可以包括一處理器104及一記憶體106。該處理器104可被通信地耦合到該記憶體106、該顯示器108、該等揚聲器110及112、以及該感測器114。該處理器104可以接收由該感測器114所測量到的該等生理參數，並控制該顯示器108、該等揚聲器110及112、及/或任何觸覺反饋裝置的操作以回應於所測量到的該等生理參數。
在一個實例中，該記憶體106可以是一非暫時性電腦可讀媒體，諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、一硬碟、一固態硬碟、等等。該記憶體106還可以儲存由可該處理器來執行之各種的指令。該記憶體106還可以儲存各種資料，該資料可以被該處理器使用來判定如何來控制該顯示器108、該等揚聲器110及112、以及該觸覺反饋裝置以回應於由該等感測器114所測量到的該等生理參數。
在一個實例中，該手套116可被通信地耦合到該XR HMD 102以對由該XR HMD 102所顯示的該XR應用程式提供控制。儘管在圖1中被圖示為一手套116，應被注意的是該手套116可被部署為可被握持之一不同的控制裝置(例如，一搖桿、類手套裝置、等等)。
在一個實例中，該手套116可以包括一感測器118。該感測器118可以是一生理感測器，以收集及/或測量生理參數。該感測器118還可以是一電極或其他類型的監測裝置，其可以擷取生理參數，諸如心率、GSR、EMG、等等。在一個實例中，該感測器118可被部署在該手套中，並且該等感測器114可從該XR HMD 102被移除。在一個實例中，該等感測器114可被部署成在該手套116中沒有該感測器118。
在一個實例中，該等感測器114及118兩者都可以被部署。例如，該等感測器114及118可以是不同類型的感測器，其被最佳地位於該XR HMD 102或該手套116中以測量特定的生理參數。例如，該等感測器114可以是EMG感測器，而該感測器118可以是GSR感測器。在另一方面，該使用者的第二手套116可以包括心率監測感測器，等等。該被測量及收集的生理資訊可以被發送到該處理器104以進行分析。
在一個實例中，該手套116還可以包括觸覺反饋裝置1201 –120n (以下被分別稱為觸覺反饋裝置120或統稱為觸覺反饋裝置120)。儘管在圖1中圖示出了多個觸覺反饋裝置120，但是應被注意的是也可以部署單一一個觸覺反饋裝置120。另外，儘管該等觸覺反饋裝置120被圖示為位於該手套116的指尖中，但應被注意的是該等觸覺反饋裝置120可被部署在該手套116中的任何地方。該等觸覺反饋裝置120也可被部署在該XR HMD 102中。
在一個實例中，該等觸覺反饋裝置120可以提供與在該XR應用程式中所檢視到之事件或動作相關聯的觸覺反饋。該等觸覺反饋裝置120可以提供觸覺反饋，諸如在一使用者的手指上拉伸皮膚、一振動、一紋理、一脈動感覺、等等。該觸覺反饋可以幫助該使用者感覺到好像他們正在握住一物件、在該XR應用程式中感覺到該被握持或觸摸物件的該紋理、等等。
在一個實例中，除了該HMD 102及該手套116之外，還可以部署其他類型的可穿戴裝置。例如，該等感測器114及118也可被部署在可穿戴裝置中，諸如一手錶、一背心、鞋子，等等，它們可被通信地耦合到該HMD 102。
如以上所述，在執行一XR應用程式期間，可以測量一使用者的該等生理參數。該處理器104可以基於所測量到的該等生理參數來調整一使用者所體驗的視訊效果、音訊效果、或該觸覺反饋。該等視訊效果、該等音訊效果、及該触覺反饋可以彼此獨立地被進行調整，或者可以作為一種多模式體驗的一部分被一起進行調整。
圖2圖示出了該XR HMD 102的另一種方塊圖。如在圖1中所示，該XR HMD 102可以包括該處理器104、該記憶體106、該顯示器108、以及該感測器114。在一個實例中，該記憶體106可以儲存一XR應用程式202及一基準線準位204。該XR應用程式202可以包括由該處理器所執行以啟動或運行一XR應用程式(例如，一XR訓練體驗、一XR遊戲、等等)的指令。
在一個實例中，該XR應用程式202還可以包括一校準應用程式。該校準應用程式可以是該XR應用程式202的一起始部分，或者可以是一完全獨立的應用程式，其可以被儲存在該記憶體106中並且由該處理器104來執行。
在一個實例中，該校準應用程式可以使該使用者暴露於各種不同類型的視訊效果、音訊效果、及/或觸覺反饋中，以回應於該等已知的效果來測量該使用者的該等生理參數。所測量到的該等生理參數可以被平均以產生該基準線準位204。
在一個實例中，該基準線準位204可以包括針對不同生理參數的一平均回應值或測量值。例如，一基準線準位可以與一心率相關聯、一基準線準位可以與一GSR相關聯、該基準線準位可以與該EMG參數相關聯，等等。
在一個實例中，該校準應用程式可被使用來基於該使用者的回應來把該使用者分類到一特定群組中。然後可以把與該群組相關聯的該基準線準位204分配給該使用者。例如，基於該使用者對該校準應用程式的回應，該使用者可以是一「高靈敏度群組」。該高靈敏度群組可以具有相對較低的基準線準位204。基於該使用者對該校準應用程式的回應，一位不同的使用者可以是一「正常」群組。該正常群組可以具有高於該高靈敏度群組而低於一低靈敏度群組的一基準線準位204。
在另一個實例中，可以從外部資料獲得該基準線準位204。例如，該基準線準位204可以是一組測試人群所測量到該等生理參數的一平均值。因此，該基準線準位204可以與一特定的個體相關聯，或者可以是前一組測試個體群組的一個一般平均值。
在一個實例中，該基準線準位204還可包括一差異臨界值。該差異臨界值可以與該等生理參數中的每一個相關聯，或者可以是適用於該等生理參數中的各者的一全局差異臨界值。
該差異臨界值可以是一值或百分比，其指出該使用者的該等生理參數超出該等生理參數之該基準線準位204大過於一值。當發生這種情況時，該使用者可能會由於該XR應用程式202所提供的該等視訊效果、該等音訊效果、及/或該觸覺反饋而感到不適或者會被過度刺激。
在一個實例中，可以基於使用者回應來動態地改變該差異臨界值。例如，對於同一XR應用程式的不同使用者，該差異臨界值可能不同。可基於在建立該基準線準位204之該校準應用程式期間所接收到的該等回應，針對一特定的使用者動態地設置該差異臨界值。例如，該校準應用程式可以逐漸地顯示出逐漸增加觸覺反饋的場景，並要求該使用者要指出他或她何時會感到不適。來自該使用者的回應可被使用來為該使用者設置該差異臨界值。
例如，該差異臨界值可以是125％，並且用於該心率的該基準線準位204可以是90 bpm。因此，當該測得的心率超過112.5 bpm時，可以調整該XR應用程式。該使用者可能正在該XR應用程式中體驗一戰鬥場景並且該感測器118可以把心率測量為120 bpm。
該處理器104可以判定針對該心率該125％差異臨界值已被超過。作為回應，該處理器104可以調整該XR應用程式202。例如，該處理器104可以減少由該等觸覺反饋裝置120所產生的觸覺反饋(例如，當該使用者正在戰鬥場景中進行步槍射擊時，減少該振動的量)、可以減少在戰鬥場景中看到的敵人數量、可以降低戰鬥場景中爆炸聲或其他聲音效果的音量、可以調整該視訊的亮度或動態範圍、等等。
在一個實例中，該差異臨界值還可以把該等生理參數保持在該基準線準位204之上。例如，一XR應用程式可能被設計來把該心率保持在120 bpm之一提升準位的一運動應用程式。該差異臨界值可以高於或低於該基準線臨界值20％。因此，當該心率下降到低於96 bpm時，該處理器104可判定該使用者感到無聊或不感興趣，並增加由該等觸覺反饋裝置120所產生的該觸覺反饋(例如，增加在該XR應用程式中的該活動強度、播放更多歡樂的音樂、等等)。
在一個實例中，可以連續地監測該等生理參數，或者可以在一轉動的時間窗口中監測該等生理參數(例如，每60秒、每5分鐘、每10分鐘、等等)。當該等生理參數返回到低於該差異臨界值以下時，該XR應用程式202可以返回到用於該觸覺反饋、視訊效果、及/或音訊效果的一預設設置。
圖3圖示出針對本發明的一使用者產生用於該等生理參數之一基準線回應準位之一種實例方法的流程圖。在一個實例中，該方法300可以由在圖1中所示的該XR系統100來執行或由在圖1及2中所示的該XR HMD 102來執行。
該方法300始於方塊302。在方塊304，該方法300執行該XR應用程式的一校準應用程式。在一個實例中，可以在執行該XR應用程式之前首先執行該校準應用程式。例如，每一個不同的XR應用程式都可以具有一唯一的校準應用程式，它可以為該使用者針對該特定的XR應用程式建立基準線回應準位。例如，某些XR應用程式可能會比其他應用程式提供更多的刺激。例如，一使用者在一驚心動魄之噴射戰鬥機模擬器XR應用程式中比起在一職訓XR應用程式中會有一更高準位之GSR、EMG、及心率係正常的。
在方塊306，該方法300在該校準應用程式期間測量該使用者的該生理參數。可以藉由位於在該XR HMD中或在該XR系統之該手套中的感測器來測量該等生理參數。可以使用不同的感測器來測量不同的生理參數。例如，該等生理參數可以包括心率、GSR、EMG、等等。
在方塊308，該方法300可基於在該校準應用程式期間該使用者的該生理參數的一平均測量來產生用於該使用者之該生理參數的該基準線準位。例如，可以周期性地測量該生理參數的該等值，並把其除以該測量總數，以獲得用於一生理參數的基準線回應準位。如以上所提及，該基準線準位可以是針對該使用者的，也可以是針對該使用者被指派到之一群組的。
在一個實例中，一差異臨界值可以與該基準線準位相關聯。如以上所述，該差異臨界值可以是一個數值或百分比，其指出該生理參數正處於相對於該基準線準位之一不可接受的準位處。對於不同的XR應用程式及不同的生理參數，該差異臨界值可能不同。例如，對於激烈的XR應用程式(例如，戰鬥遊戲、跳傘模擬、恐怖遊戲、等等)，該差異臨界值可以較大。對於強度較小的XR應用程式(例如，訓練模擬、觀光模擬、觀察3D物件、等等)，該差異臨界值可能較小。
在該XR應用程式期間，當該使用者的該生理參數超過該差異臨界值時，該基準線準位及該差異臨界值可由該XR系統使用來調整該等XR應用程式。如以上所述，可以通過調整觸覺反饋、視訊效果、音訊效果、等等的一個量來調整該XR應用程式。該方法300結束於方塊310。
圖4圖示出一種基於本發明的一生理量測來調整一延展實境應用程式之實例方法的流程圖。在一個實例中，該方法400可以由在圖1中所示的該XR系統100來執行或由在圖1及2中所示的該XR HMD 102來執行。
該方法400始於方塊402。在方塊404，該方法400接收由在該處理器之一延展實境裝置中一生理感測器所測量到的一生理參數量測。例如，該使用者可能戴著一XR HMD及一手套，以向正由該XR HMD執行的該XR應用程式提供控制輸入。該XR應用程式可以提供各種不同與該XR應用程式相關聯的視訊效果、音訊效果、及/或觸覺反饋。
該XR HMD及/或該手套可以包括可以測量該等生理參數的生理感測器。該等生理參數可以包括心率、GSR、EMG、等等。該等生理參數可能會隨著該使用者使用或體驗該XR應用程式而做變化。
在方塊406，該方法400把該生理參數的測量結果與用於一使用者之該生理參數的一基準線準位進行比較。在一個實例中，可以把每一個測量結果與該基準線準位進行比較。在一個實例中，可以把在一轉動時間週期(例如，每5秒、每60秒、每5分鐘、等等)中所擷取的複數個測量的一平均值進行比較。
如以上所述，該基準線準位可以建立用於該生理參數的一特定值，或是複數個不同生理參數中的各者的一特定值，其在該XR應用程式期間係被期望的。對於該XR應用程式的不同部分，該基準線準位也可能不同。例如，該XR應用程式的某些部分可能比其他部分包含更多的刺激。因此，可以把該生理參數的該量測與該生理參數的該基準線準位進行比較及/或在該XR應用程式的一相關聯場景或部分期間進行比較。
在方塊408，當該生理參數的該量測超過用於該生理參數之該基準線準位達一差異臨界值時，該方法400調整一延展實境應用程式。例如，如果所測量到的等生理參數超過該差異臨界值，則該使用者可能會不舒服或可能會被過度刺激到一不安全的準位。不同的臨界值可能要足夠寬以允許在該基準線準位以上有一些變化。但是，該差異臨界值可以確保該使用者不會受到過多的刺激，或者不會在不健康的準位上受到持續的刺激。
回應於正超過該差異準位，該方法400可以調整該XR應用程式。該等調整可以包括對觸覺反饋的量、該XR應用程式的內容、視覺效果、及/或音訊效果的調整。在一個實例中，該觸覺反饋、該等視覺效果、及該等音訊效果可以彼此隔離地(例如，彼此獨立地)被調變。在一個實例中，可以把該觸覺反饋、該等視覺效果、及該等音訊效果一起被調變為一種多模式體驗的一部分。
在一個實例中，可以減少或消除由該手套或該XR HMD中該等觸覺反饋裝置所提供的該觸覺反饋量。在一個實例中，對該等視覺效果的調整可以包括使得該等圖形看起來沒那麼真實、改變該顯示器的亮度、改變該視訊的一動態範圍、等等。在一個實例中，對在該XR應用程式中內容的調整可以包括減少在一視訊遊戲中敵人的數量、縮短在該XR應用程式中的一特定場景、等等。在一個實例中，對該等音訊效果的調整可以包括減小音效的音量、消除某些音效、改​​變某些音效的頻率、等等。因此，該方法400可以基於所測量到該使用者的該等生理參數來自動地把該XR應用程式調整成使得該使用者有更舒適及愉快的體驗。
在一個實例中，該方法400可以在整個該XR應用程式中連續測量該使用者的該等生理參數。因此，如果該等生理參數返回到一不超過該差異臨界值的準位，則該XR應用程式可以恢復到一預設的刺激準位。換句話說，在整個該XR應用程式中，該XR應用程式可被連續地調整以回應於所測量到之該使用者的該等生理參數。
該方法400結束於方塊410。例如，可以終止該XR應用程式以結束該方法400。
圖5圖示出一裝置500的一實例。在一個實例中，該裝置500可以是該裝置100。在一個實例中，裝置500可以包括一處理器502及一非暫時性電腦可讀儲存媒體504。該非暫時性電腦可讀儲存媒體504可以包括指令506、508、510、512及514，當它們由該處理器502執行時，會致使該處理器502執行各種功能。
在一個實例中，該等指令506可以包括指令以在一延展實境應用程式的一校準階段中建立用於一使用者之一生理參數的一基準線準位。該等指令508可以包括指令以接收由該處理器之一延展實境裝置的一生理感測器所測量到之該生理參數的一量測。該等指令510可以包括指令以把該生理參數的該量測與該基準線準位進行比較。該等指令512可以包括指令以判定該生理參數的該量測超過與該使用者之該生理參數之該基準線準位相關聯的一差異臨界值。該等指令514可以包括指令以當該生理參數的該量測超過該差異臨界值時，調整該延展實境應用程式。
應當理解的是，以上所揭露以及其他特徵及功能的變型或其替代可被組合到許多其他不同的系統或應用程式中。本領域的習知技藝者隨後可以在其中進行各種目前無法看到或無法預料的替換、修改、變化、或改善，這些替換、修改、變化、或改善也意圖由所附權利請求項來涵蓋。
100:XR系統 102:XR頭戴式顯示器 104:處理器 106:記憶體 108:顯示器 110,112:揚聲器 114,118:感測器 116:手套 1201,1202,120n:觸覺反饋裝置 202:XR應用程式 204:基準線準位 300,400:方法 302,304,306,308,310,402,404,406,408,410:方塊 500:裝置 502:處理器 504:非暫時性電腦可讀儲存媒體 506,508,510,512,514:指令
圖1係具有本發明之生理感測器之一實例延展實境(XR)系統的方塊圖；
圖2係具有本發明之生理感測器之一XR頭戴式顯示器(HMD)實例的方塊圖；
圖3圖示出一實例方法的流程圖，用以針對本發明之一使用者產生用於一生理參數的基準線回應準位；
圖4圖示出基於本發明的一生理量測來調整一延展實境應用程式之一實例方法的流程圖；以及
圖5係一實例非暫時性電腦可讀儲存媒體的方塊圖，該儲存媒體儲存有可由一處理器來執行的指令用以基於本發明的一生理量測來調整一延展實境應用程式。
100:XR系統
102:XR頭戴式顯示器
104:處理器
106:記憶體
108:顯示器
110,112:揚聲器
114,118:感測器
116:手套
1201,1202,120n:觸覺反饋裝置

Claims (15)

  1. 一種裝置，其包含有： 一生理感測器，用以測量一生理參數； 一記憶體，用以儲存一延展實境應用程式及用於該生理參數之一基準線準位；以及 一處理器，其與該生理感測器及該記憶體進行通信，該處理器用以執行該延展實境應用程式並當該生理參數超過該基準線準位達一差異臨界值時調整該延展實境應用程式。
  2. 如請求項1之裝置，其中該裝置包含一延展實境頭戴式顯示器。
  3. 如請求項1之裝置，其中該生理感測器係位於與該裝置進行通信的一手套控制器中。
  4. 如請求項1之裝置，其更包含有： 一觸覺反饋裝置，用以根據該延展實境應用程式來提供觸覺反饋，其中該處理器將藉由調整由該觸覺反饋裝置所提供的一觸覺反饋量來調整該延展實境應用程式。
  5. 如請求項4之裝置，其中該觸覺反饋包含在該使用者之該手指上的拉伸皮膚、一振動、一紋理、或一脈動。
  6. 如請求項1之裝置，其更包含有： 一顯示器，用以提供一視訊效果；以及 一揚聲器，用以提供一音訊效果，其中該處理器將藉由調整該視訊效果或該音訊效果來調整該延展實境應用程式。
  7. 如請求項1之裝置，其中該生理參數包含以下各項中的至少一項：心率、一皮膚電導反應、或一肌電圖。
  8. 一種方法，其包含有： 由一處理器接收由在該處理器的一延展實境裝置中之一生理感測器所測量到之一生理參數的一量測； 由該處理器把該生理參數的該量測與用於一使用者之該生理參數的一基準線準位進行比較；以及 當該生理參數的該量測超過用於該生理參數之該基準線準位達一差異臨界值時，由該處理器調整一延展實境應用程式。
  9. 如請求項8之方法，其更包含有： 由該處理器執行該延展實境應用程式的一校準應用程式； 由該處理器在該校準應用程式期間測量該使用者的該生理參數；以及 由該處理器基於在該校準應用程式期間該使用者之該生理參數的一平均量測來產生用於該使用者之該生理參數的該基準線準位。
  10. 如請求項8之方法，其中該差異臨界值可基於在該校準應用程式期間的使用者回應來被動態地改變。
  11. 如請求項8之方法，其中該比較係在一連續轉動之一預先定義之時間窗口內被執行的。
  12. 如請求項8之方法，其中該調整包含： 由該處理器調整根據該延展實境應用程式所提供的一觸覺反饋量。
  13. 一種非暫時性電腦可讀儲存媒體，其以可由一處理器執行的指令來編碼，該非暫時性電腦可讀儲存媒體包含有： 用以在一延展實境應用程式的一校準應用程式期間建立用於一使用者之一生理參數之一基準線準位的指令； 用以接收由在該處理器之一延展實境裝置中的一生理感測器所測量到之該生理參數的一量測的指令； 用以把該生理參數的該量測與該基準線準位進行比較的指令； 用以判定該生理參數的該量測超過與用於該使用者之該生理參數之該基準線準位相關聯的一差異臨界值的指令；以及 用以當該生理參數的該量測超過該差異臨界值時調整該延展實境應用程式的指令。
  14. 如請求項13之非暫時性電腦可讀媒體，其中針對複數個不同的生理參數，用來接收該生理參數之該量測的該等指令被重複。
  15. 如請求項14之非暫時性電腦可讀媒體，其中用來進行調整的該等指令包含：針對該等複數個不同的生理參數中超過一差異臨界值的各者對該延展實境應用程式進行一不同的調整，該差異臨界值與用於一各別生理參數之一各別基準線準位相關聯。
TW109115742A 2019-06-12 2020-05-12 基於生理量測之延展實境調整技術 TWI753428B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/US2019/036794 WO2020251567A1 (en) 2019-06-12 2019-06-12 Extended reality adjustments based on physiological measurements
WOPCT/US19/36794 2019-06-12

Publications (2)

Publication Number Publication Date
TW202102978A true TW202102978A (zh) 2021-01-16
TWI753428B TWI753428B (zh) 2022-01-21

Family

ID=73781666

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109115742A TWI753428B (zh) 2019-06-12 2020-05-12 基於生理量測之延展實境調整技術

Country Status (5)

Country Link
US (1) US12023176B2 (zh)
EP (1) EP3955807B1 (zh)
CN (1) CN113993451A (zh)
TW (1) TWI753428B (zh)
WO (1) WO2020251567A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220404621A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Moderating a user?s sensory experience with respect to an extended reality
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11759711B2 (en) * 2021-09-28 2023-09-19 Sony Group Corporation Method for quasi-random placement of virtual items in an extended reality (XR) space

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8016597B2 (en) 2005-02-25 2011-09-13 Brainon Llc System and method for interjecting bilateral brain activation into routine activity
KR100956406B1 (ko) 2008-03-07 2010-05-06 고려대학교 산학협력단 긴장도를 조절하는 드라이빙 시뮬레이션 시스템 및 방법과이에 사용되는 기록매체
US8700111B2 (en) * 2009-02-25 2014-04-15 Valencell, Inc. Light-guiding devices and monitoring devices incorporating same
DE102011121708A1 (de) 2011-12-20 2013-06-20 Surgiceye Gmbh Bilderzeugungsapparat und -Methode zur Nuklearbildgebung
US9599632B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
US9872968B2 (en) 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US10120413B2 (en) 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
EP4306041A1 (en) * 2015-01-06 2024-01-17 David Burton Mobile wearable monitoring systems
CN113854979A (zh) 2015-04-07 2021-12-31 凯洛特公司 用于吸烟行为的量化和预测的系统和方法
US9936250B2 (en) * 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
WO2017059215A1 (en) 2015-10-01 2017-04-06 Mc10, Inc. Method and system for interacting with a virtual environment
US10067565B2 (en) 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
US10307611B2 (en) 2016-11-17 2019-06-04 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual, auditory and peripheral nerve stimulations
US11229385B2 (en) * 2016-11-23 2022-01-25 Cognifisense, Inc. Identifying and measuring bodily states and feedback systems background
US10347376B2 (en) * 2017-01-04 2019-07-09 StoryUp, Inc. System and method for modifying biometric activity using virtual reality therapy
CA3065383A1 (en) 2017-05-30 2018-12-06 Interaxon Inc. Wearable computing device with electrophysiological sensors
US10877444B1 (en) * 2017-06-07 2020-12-29 Hrl Laboratories, Llc System and method for biofeedback including relevance assessment
EP3688997A4 (en) * 2017-09-29 2021-09-08 Warner Bros. Entertainment Inc. PRODUCTION AND CONTROL OF CINEMATIC CONTENT IN RESPONSE TO A USER'S EMOTIONAL STATE
WO2019136394A1 (en) * 2018-01-08 2019-07-11 Chappell Arvel A Social interactive applications for detection of neuro-physiological state
US11348688B2 (en) * 2018-03-06 2022-05-31 Advinow, Inc. Systems and methods for audio medical instrument patient measurements
WO2020010320A1 (en) * 2018-07-05 2020-01-09 The Platypus Institute, Inc. Identifying and strengthening physiological/neurophysiological states predictive of superior performance
US11568166B1 (en) * 2018-07-27 2023-01-31 Verily Life Sciences Llc Suggesting behavioral adjustments based on physiological responses to stimuli on electronic devices
US10860103B2 (en) * 2018-09-19 2020-12-08 Dell Products, L.P. Enhancing virtual reality with physiological sensing
US10835823B2 (en) * 2018-12-27 2020-11-17 Electronic Arts Inc. Sensory-based dynamic game-state configuration
US20230233123A1 (en) * 2022-01-24 2023-07-27 Samsung Electronics Co., Ltd. Systems and methods to detect and characterize stress using physiological sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220404621A1 (en) * 2020-12-22 2022-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Moderating a user?s sensory experience with respect to an extended reality
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality

Also Published As

Publication number Publication date
EP3955807A4 (en) 2022-11-16
WO2020251567A1 (en) 2020-12-17
US12023176B2 (en) 2024-07-02
TWI753428B (zh) 2022-01-21
CN113993451A (zh) 2022-01-28
US20220096010A1 (en) 2022-03-31
EP3955807A1 (en) 2022-02-23
EP3955807B1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
TWI753428B (zh) 基於生理量測之延展實境調整技術
JP6977134B2 (ja) 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り
KR102649074B1 (ko) 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
US11224717B2 (en) Method and apparatus for virtual-reality-based mindfulness therapy
JP6577137B2 (ja) サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法
US9179855B2 (en) System and method for pain reduction
JP6838902B2 (ja) 疑似体験提供装置、疑似体験提供方法、疑似体験提供システム、及びプログラム
Larradet et al. Effects of galvanic skin response feedback on user experience in gaze-controlled gaming: a pilot study
US12039673B2 (en) Augmented reality artificial intelligence enhance ways user perceive themselves
US20240256042A1 (en) Information processing apparatus, information processing method, and program
Clua et al. Challenges for XR in Games
JPWO2019207728A1 (ja) 画像提示装置、画像提示方法、記録媒体及びプログラム
EP4353340A1 (en) Affective gaming system and method
EP4353341A1 (en) Affective gaming system and method
US20240252927A1 (en) Data processing apparatuses and methods
KR102277358B1 (ko) 가상 현실 트레이닝을 위한 방법 및 장치
WO2024072747A1 (en) Systems and methods for treating eating disorders using virtual or augmented reality
CN115005807A (zh) 按摩仪控制方法、按摩仪以及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees