TWI672168B - 用於處理用於頭戴顯示器(hmd)之內容的系統，用於與由電腦產生以便呈現於hmd上之虛擬實境場景介接的周邊裝置，及模擬與呈現於hmd中之虛擬場景中的虛擬物件接觸之感受的方法 - Google Patents

用於處理用於頭戴顯示器(hmd)之內容的系統，用於與由電腦產生以便呈現於hmd上之虛擬實境場景介接的周邊裝置，及模擬與呈現於hmd中之虛擬場景中的虛擬物件接觸之感受的方法 Download PDF

Info

Publication number
TWI672168B
TWI672168B TW105105120A TW105105120A TWI672168B TW I672168 B TWI672168 B TW I672168B TW 105105120 A TW105105120 A TW 105105120A TW 105105120 A TW105105120 A TW 105105120A TW I672168 B TWI672168 B TW I672168B
Authority
TW
Taiwan
Prior art keywords
virtual
user
haptic
virtual object
hmd
Prior art date
Application number
TW105105120A
Other languages
English (en)
Other versions
TW201642943A (zh
Inventor
諾姆 瑞夢
曉東 茅
葉驍勇
Original Assignee
新力電腦娛樂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力電腦娛樂股份有限公司 filed Critical 新力電腦娛樂股份有限公司
Publication of TW201642943A publication Critical patent/TW201642943A/zh
Application granted granted Critical
Publication of TWI672168B publication Critical patent/TWI672168B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Abstract

本案揭示一種使用周邊裝置之系統及方法，該周邊裝置用於與由電腦產生以便呈現於頭戴顯示器上之虛擬實境場景介接。該周邊裝置包括觸覺裝置，該觸覺裝置能夠放置成與使用者接觸；以及觸覺回饋控制器，該觸覺回饋控制器用於處理用以將觸覺訊號輸出至觸覺裝置之指令。該觸覺回饋控制器自該電腦接收該等指令，以使得該觸覺裝置之觸覺回饋改變，以對應於使用者與如該頭戴顯示器上所呈現之該虛擬實境場景中的虛擬物件之虛擬互動。

Description

用於處理用於頭戴顯示器(HMD)之內容的系統，用於與由電腦產生以便呈現於HMD上之虛擬實境場景介接的周邊裝置，及模擬與呈現於HMD中之虛擬場景中的虛擬物件接觸之感受的方法
本發明大體上係關於虛擬環境，且更特定而言，係關於用於在佩戴及使用頭戴顯示器(HMD)之情境中與虛擬物件介接之方法及系統。
在人機互動領域迅速增長的技術中之一者為各種頭戴顯示器(HMD)，該等頭戴顯示器可佩戴於使用者的頭上，且該等頭戴顯示器在使用者眼睛中之一或兩者的前面具有一或兩個顯示器。此類顯示器具有涉及虛擬實境之模擬的多個商業應用，該等商業應用包括視訊遊戲、醫學、運動訓練、娛樂應用等。在遊戲領域中，此等顯示器可例如用來渲染三維(3D)虛擬遊戲世界。
雖然在HMD領域中發生了很大進步，但技術仍然需要進步以給與虛擬物件互動之真實使用者帶來物理實境，該等虛擬物件渲染於HMD中所呈現之虛擬環境 中。
以下實施例正是在此情境下出現的。
概括而言，本發明藉由提供用於模擬虛擬環境中之虛擬物件的不同感受及紋理的系統、方法及設備來滿足此等需要。應瞭解，本發明可以許多方式來實行，該等方式包括如處理程序、設備、系統或裝置。以下描述本發明之若干發明性實施例。
一個實施例描述一種周邊裝置，該周邊裝置用於與由電腦產生以便呈現於頭戴顯示器上之虛擬實境場景介接。該周邊裝置包括觸覺裝置，該觸覺裝置能夠放置成與使用者接觸；以及觸覺回饋控制器，該觸覺回饋控制器用於處理用以將觸覺訊號輸出至觸覺裝置之指令。該觸覺回饋控制器自電腦接收指令，以使得觸覺裝置之觸覺回饋改變，以對應於使用者與如頭戴顯示器上所呈現之虛擬實境場景中的虛擬物件之虛擬互動。
觸覺裝置可包括以下各項中之一或多者：壓縮氣體、液體、電動馬達、線性馬達、電磁鐵、壓電裝置、加熱元件、冷卻元件、一或多個電活性聚合物或一或多個相變材料或能夠給使用者給予一或多個觸摸感覺之其他裝置。觸覺裝置可模擬虛擬物件之紋理、虛擬物件之形狀、由虛擬物件實際上施加於使用者上之壓力量、諸如虛擬物件之振動或其他移動的移動量，或該虛擬物件與第二 虛擬物件之接近度。
周邊裝置亦可包括至少一個運動感測器，該運動感測器耦接至觸覺回饋控制器，且能夠偵測周邊裝置之運動且將運動訊號輸出至回饋控制器及/或電腦。
觸覺裝置可設置於使用者能夠佩戴之衣物製品中，該衣物製品諸如手套、帽子、鞋襪、褲子或襯衫。觸覺裝置亦可設置於頭戴顯示器中。
另一實施例提供模擬與呈現於頭戴顯示器中之虛擬環境中的虛擬物件接觸之觸摸感的方法。該方法包括藉由周邊裝置來接收觸覺指令，該周邊裝置具有能夠與使用者接觸之至少一個觸覺裝置。該接觸可為直接的或間接的。觸覺指令對應於虛擬環境中所呈現之虛擬物件的紋理特性、溫度特性、移動特性或形狀中之至少一者。周邊裝置表示與虛擬物件接觸。周邊裝置中之觸覺裝置的觸覺回饋可經改變以對應於與虛擬環境中之虛擬物件的互動。觸覺指令可包括於觸覺輪廓中，該觸覺輪廓可自電腦發送至周邊裝置且儲存於周邊裝置中。
本發明之其他態樣及優點將自結合隨附圖式進行的藉由實例來例示出本發明之原理的以下詳細描述變得顯而易見。
100、140、2182、Pn‧‧‧使用者
102‧‧‧頭戴顯示器
104‧‧‧控制器
106‧‧‧電腦
107、2004‧‧‧顯示器
108‧‧‧攝影機
110、524、2150‧‧‧網路
112‧‧‧雲端遊戲提供者
120‧‧‧內容源
124‧‧‧連接
130‧‧‧遊戲
150‧‧‧遊戲資料
160‧‧‧社交資料
200A-K‧‧‧燈
202A-B‧‧‧影像捕獲裝置
204A-C‧‧‧麥克風
210‧‧‧頭帶
402、404‧‧‧追蹤
406‧‧‧電纜
500‧‧‧系統
502、502L、502R‧‧‧手套
504‧‧‧周邊裝置
506‧‧‧內容選擇模組
508‧‧‧內容介面
510‧‧‧虛擬實境內容選擇模組
512‧‧‧輸入裝置介面
514‧‧‧物件組態矩陣渲染模組
516‧‧‧虛擬實境空間產生模組
518‧‧‧觸覺回應處理模組
620‧‧‧VR內容庫
622A-n‧‧‧內容空間
624‧‧‧物件組態矩陣
626‧‧‧VR內容
628‧‧‧物件空間映射模組
630‧‧‧物件3D空間組態模組
632‧‧‧物件聲音輪廓
634‧‧‧物件物理輪廓
804、805、806、807、809、810A-813E、1002、1102‧‧‧觸覺裝置
1004、1006‧‧‧方向
1202A、1202B、1204A、1204B、1302A、1302B、 1304A、1304B‧‧‧壓力
1404A-F‧‧‧追蹤標記
1450‧‧‧觸覺控制器
1502‧‧‧資料連接件
1600‧‧‧觸覺回饋系統
1601、1701‧‧‧機盒
1602‧‧‧電源
1604‧‧‧觸覺回饋控制器
1620‧‧‧通訊鏈路
1622‧‧‧慣性感測器
1630‧‧‧記憶系統
1632‧‧‧觸覺輪廓
1642‧‧‧海盜
1650‧‧‧手柄
1752、1754‧‧‧資料埠
1802A‧‧‧放下位置
1802B、1802C‧‧‧水平的定向
1802D‧‧‧最高定向
1810A-D‧‧‧場景
1860A-D‧‧‧回饋
1852‧‧‧劍
2000‧‧‧處理器
2002‧‧‧記憶體
2006‧‧‧電池
2008‧‧‧運動偵測模組
2010‧‧‧磁強計
2012‧‧‧加速計
2014‧‧‧迴轉儀
2016‧‧‧攝影機
2018‧‧‧深度攝影機
2020‧‧‧揚聲器
2022‧‧‧麥克風
2024‧‧‧觸覺回饋模組
2026‧‧‧LED
2028‧‧‧讀卡機
2030‧‧‧USB介面
2032‧‧‧WiFi模組
2034‧‧‧藍芽模組
2036‧‧‧通訊鏈路
2038‧‧‧輸入按鈕/感測器
2040‧‧‧超音通訊模組
2042‧‧‧生物感測器
2104‧‧‧資料交換
2106‧‧‧應用服務提供者
2108‧‧‧遊戲處理提供者
2110‧‧‧廣播處理提供者
2112‧‧‧儲存服務提供者
2114‧‧‧通訊提供者
2120‧‧‧客戶端裝置
2170‧‧‧資訊服務提供者(ISP)
P1‧‧‧角色
藉由以下結合隨附圖式進行之詳細描述，將容易理解本發明。
圖1例示出根據所揭示實施例中之一者的用於視訊遊戲的互動玩遊戲之系統。
圖2例示出根據所揭示實施例中之一者的HMD。
圖3例示出使用客戶端系統之玩遊戲的一個實例，該客戶端系統能夠向使用者之HMD渲染視訊遊戲內容。
圖4例示出根據所揭示實施例之在使用期間佩戴HMD之使用者。
圖5為根據所揭示實施例中之一者的用於向使用者提供虛擬物件之感受及紋理的系統之簡化示意圖。
圖6為根據所揭示實施例中之一者的內容源之簡化示意圖。
圖7為例示出根據所揭示實施例中之一者的在模擬使用者的手上之變化的紋理或壓力時所執行的方法操作之流程圖。
圖8及圖9為根據所揭示實施例中之一者的左手手套及右手手套之更詳細的示意圖。
圖10為根據所揭示實施例中之一者的將使用者的手形成為拳頭之手套的示意圖。
圖11為根據所揭示實施例中之一者的導致使用者的手展開之手套的示意圖。
圖12為根據所揭示實施例中之一者的將壓力施加至使用者的手之手套的示意圖。
圖13為根據所揭示實施例中之一者的將多點壓力施加至使用者的手之手套的示意圖。
圖14為根據所揭示實施例中之一者的手套及觸覺控制器之示意圖。
圖15為根據所揭示實施例中之一者的耦接至遊戲控制器之手套的示意圖。
圖16為根據所揭示實施例中之一者的觸覺回饋系統之簡化方塊圖。
圖17為根據所揭示實施例中之一者的耦接至遊戲控制器104之手套中的觸覺回饋系統之簡化方塊圖。
圖18為根據所揭示實施例中之一者的具有虛擬劍及向使用者提供觸覺回饋之手套的動作之示例性簡化進展順序。
圖19為例示出根據所揭示實施例中之一者的在模擬使用者的手上之變化的紋理或壓力，以與虛擬物件相一致時所執行的方法操作之流程圖。
圖20為展示例示出根據所揭示實施例中之一者的頭戴顯示器之示例性組件的圖。
圖21例示出資訊服務提供者架構之實施例。
現在將描述用於模擬虛擬環境中之虛擬物件的不同感受及紋理的若干示範性實施例。對熟習此項技術者將明白的是，可在沒有本文所闡述的特定細節中之一些 或所有的情況下實踐本發明。
用以模擬虛擬物件之不同感受及紋理的一個途徑在於使用手套(或若干手套)，該手套可將動態可調整壓力及/或紋理施加至使用者的手。該手套可擠壓使用者的手或撓曲使用者的手及/或手指，以對應於虛擬物件在三維(3D)虛擬環境中之感受及紋理，該三維虛擬環境在頭戴顯示器(HMD)中呈現給使用者。
圖1例示出根據所揭示實施例中之一者的用於視訊遊戲的互動玩遊戲之系統。將使用者100展示為正佩戴頭戴顯示器(HMD)102。以類似於眼鏡、護目鏡或頭盔之方式佩戴HMD 102，且HMD 102經組配來向使用者100顯示視訊遊戲或其他內容。HMD 102經組配來藉助於其提供很接近使用者的眼睛之顯示機構(例如，光學螢幕及顯示螢幕)及傳遞至HMD之內容的格式，來向使用者提供沉浸式體驗。在一個實例中，HMD 102可向使用者的眼睛中之每一者提供顯示區域，該等顯示區域佔據使用者之視野的大部分或甚至全部。
在一個實施例中，HMD 102可連接至電腦106。至電腦106之連接122可為有線的或無線的。電腦106可為任何通用或專用電腦，包括但不限於，遊戲控制台、個人電腦、膝上型電腦、平板電腦、行動裝置、蜂窩式電話、平板、瘦客戶端、機上盒、媒體串流裝置等。在一些實施例中，HMD 102可直接連接至諸如網際網路的網路110，從而可在不需要單獨的區域電腦的情況下允許 雲端遊戲。在一個實施例中，電腦106可經組配來執行視訊遊戲(及其他數位內容)，且輸出來自視訊遊戲之視訊及音訊以便由HMD 102渲染。電腦106在本文中亦稱為客戶端系統106，該客戶端系統106在一個實例中為視訊遊戲控制台。
在一些實施例中，電腦106可為區域電腦或遠程電腦，且該電腦可運行仿真軟體。在雲端遊戲實施例中，電腦106為遠程的，且可由可在資料中心虛擬化的多個計算服務表示，其中遊戲系統/邏輯可經由網路110虛擬化且分配至使用者。
使用者100可操作控制器104以提供用於視訊遊戲之輸入。在一個實例中，攝影機108可經組配來捕獲使用者100所在的互動環境之影像。可分析此等所捕獲影像來判定使用者100、HMD 102及控制器104之位置及移動。在一個實施例中，控制器104包括燈(或若干燈)，可追蹤該燈(或該等燈)來判定該控制器的位置及定向。另外，如以下進一步詳細描述，HMD 102可包括一或多個燈200A-K，該等燈可作為標記來追蹤以在玩遊戲期間大體上即時地判定HMD 102之位置及定向。
攝影機108可包括一或多個麥克風來捕獲來自互動環境之聲音。可處理由麥克風陣列所捕獲之聲音來識別聲源之位置。可選擇性地利用或處理來自所識別位置之聲音，以排除並非來自所識別位置之其他聲音。此外，攝影機108可定義成包括多個影像捕獲裝置(例如攝影機 之立體像對)、IR攝影機、深度攝影機及其組合。
在一些實施例中，電腦106可在電腦106的處理硬體上局部地執行遊戲。可經由網路110以諸如實體媒體形式(例如，數位磁碟、磁帶、卡、拇指驅動器、固態晶片或卡等)的任何形式或藉由自網際網路下載之方式來獲得遊戲或內容。在另一實施例中，電腦106充當經由網路與雲端遊戲提供者112通訊之客戶端。雲端遊戲提供者112可維持並執行使用者100所玩的視訊遊戲。電腦106將來自HMD 102、控制器104及攝影機108之輸入傳輸至雲端遊戲提供者112，該雲端遊戲提供者112處理該等輸入以影響正在執行的視訊遊戲之遊戲狀態。來自正在執行的視訊遊戲之輸出(諸如視訊資料、音訊資料及觸覺回饋資料)被傳輸至電腦106。電腦106可在傳輸之前進一步處理資料，或可將資料直接傳輸至相關裝置。例如，向HMD 102提供視訊串流及音訊串流，而向控制器104或其他輸入裝置(例如，手套、衣服、HMD 102或其中之兩者或兩者以上的組合)提供振動回饋命令。
在一個實施例中，HMD 102、控制器104及攝影機108本身可為經網路連接之裝置，該等裝置連接至網路110以與雲端遊戲提供者112通訊。例如，電腦106可為諸如路由器之區域網路裝置，該裝置並不以其他方式執行視訊遊戲處理，但促進通道網路流量。HMD 102、控制器104及攝影機108至網路之連接124可為有線的或無線的。在一些實施例中，可自任何內容源120獲得HMD 102上所執行的或可在顯示器107上顯示的內容。示例性內容源可包括例如提供可下載內容及/或串流內容之網際網路網站。在一些實例中，內容可包括任何類型之多媒體內容，諸如電影、遊戲、靜態/動態內容、圖片、社交媒體內容、社交媒體網站等。
如以下將更詳細地描述，使用者100可能正在HMD 102上玩遊戲，其中此種內容為沉浸式3D互動內容。當玩家正在玩時，HMD 102上之內容可共享至顯示器107。在一個實施例中，共享至顯示器107之內容可允許接近使用者100或遠離使用者100之其他使用者一起觀看使用者的玩法。在又一個實施例中，在顯示器107上觀察使用者100之玩遊戲的另一使用者可與玩家100互動地參與。例如，在顯示器107上觀察玩遊戲之使用者可控制遊戲場景中之角色、提供回饋、提供社交互動，及/或提供評論(經由本文、經由語音、經由動作、經由示意動作等)，從而使得未佩戴HMD 102之使用者能夠與使用者100、玩遊戲或正渲染於HMD 102中之內容社交地互動。
圖2例示出根據所揭示實施例中之一者的HMD 102。如圖所示，HMD 102包括複數個燈200A-K(例如，其中200K及200J朝HMD頭帶210之後方或後側定位)。此等燈中之每一者可組配成具有特定形狀及/或定位，且可組配成具有相同或不同顏色。燈200A、200B、200C及200D佈置於HMD 102之前表面上。燈200E及200F佈置於HMD 102之側表面上。且燈200G及200H佈 置於HMD 102之轉角處，以便跨過HMD 102之前表面及側表面。應瞭解，可在互動環境之所捕獲影像中識別該等燈，使用者在該互動環境中使用HMD 102。
基於對燈的識別及追蹤，可判定HMD 102在互動環境中之位置及定向。應進一步瞭解，取決於HMD 102相對於影像捕獲裝置之特定定向，該等燈200A-K中之一些可能可見或可能不可見。此外，取決於HMD 102相對於影像捕獲裝置之定向，燈(例如，燈200G及200H)之不同部分可暴露以用於影像捕獲。在一些實施例中，慣性感測器設置於HMD 102中，該等慣性感測器提供關於定位之回饋，而不需要燈200A-K。在一些實施例中，燈及慣性感測器一起工作，以允許定位/運動資料之混合及選擇。
在一個實施例中，燈可經組配來向附近的其他人指示HMD 102之當前狀態。例如，燈200A-K中之一些或所有可組配成具有確定的顏色佈置、強度佈置，經組配來閃光，具有確定的開啟/關閉組態或指示HMD 102之當前狀態的其他佈置。舉例而言，燈200A-K可經組配來在視訊遊戲之作用中玩遊戲(通常係在作用中時間線期間或在遊戲之場景內發生的玩遊戲)與視訊遊戲之其他非作用中玩遊戲態樣(諸如，巡覽選單介面或組配遊戲設定，在此期間，遊戲時間線或場景可為非作用中或暫停)期間顯示不同的組態。燈200A-K亦可經組配來指示玩遊戲之相對強度等級。例如，燈200A-K之強度或閃光速率可在 玩遊戲之強度增加時增加。
HMD 102可另外包括一或多個麥克風。在所例示實施例中，HMD 102包括：定義於HMD 102之前表面上的麥克風204A及204B；以及定義於HMD 102之側表面上的麥克風204C。藉由利用麥克風204A-C之陣列，可處理來自該等麥克風中之每一者的聲音來判定聲源之位置。可以各種方式利用此資訊，該等方式包括：排除非所要的聲源，使聲源與視覺識別相關聯等。
HMD 102亦可包括一或多個影像捕獲裝置。在所例示實施例中，將HMD 102展示為包括影像捕獲裝置202A及202B。藉由利用影像捕獲裝置之立體像對，可自HMD 102之角度捕獲環境之三維(3D)影像及視訊。可向使用者呈現此種視訊以給正佩戴HMD 102時的使用者提供「視訊透視」能力。亦即，雖然使用者在嚴格意義上不能透過HMD 102看見東西，但由影像捕獲裝置202A及202B所捕獲之視訊可提供看見在HMD 102外部的環境之能力的功能等效物，就如同透過HMD 102來看一樣。
此種視訊可利用虛擬元素加以擴增來提供擴增實境體驗，或可以其他方式與虛擬元素組合或混合。雖然在所例示實施例中，在HMD 102之前表面上展示兩個攝影機，但應瞭解，可能存在任何數目之面向外的攝影機或單個攝影機可安裝於HMD 102上，且定向於任何方向中。例如，在另一實施例中，可能存在安裝於HMD 102之側面上的攝影機，以提供對環境之額外全景影像捕獲。 在一個實施例中，面向前的攝影機(RCG，及/或深度攝影機)可用來追蹤定位、定向、以及使用者之手或手套的運動。如以下將描述，來自由面向前的攝影機所捕獲之影像資料的資訊可用來在與虛擬物件介接時，向使用者提供較精細的解析度及以其他方式改良的觸覺回饋。
圖3例示出使用客戶端系統106之玩遊戲的一個實例，該客戶端系統能夠向使用者100之HMD 102渲染視訊遊戲內容。在此圖例中，向HMD 102提供之遊戲內容處於豐富的互動3-D空間中。如以上所論述，遊戲內容可下載至客戶端系統106或在一個實施例中可由雲端處理系統執行。雲端遊戲服務112可包括使用者140之資料庫，從而允許該等使用者訪問特定遊戲、與其他朋友共享體驗、發佈評論，以及管理他們的賬戶資訊。
雲端遊戲服務112亦可針對特定使用者儲存遊戲資料150，該遊戲資料在玩遊戲期間、將來玩遊戲期間可為可使用的，可共享至社交媒體網路，或可用於儲存獎品、獎勵、狀態、排名等。社交資料160亦可由雲端遊戲服務112管理。社交資料160可由單獨社交媒體網路管理，該單獨社交媒體網路可經由網際網路110與雲端遊戲服務112介接。經由網際網路110，可連接任何數目之客戶端系統106以便訪問內容及與其他使用者之互動。
繼續圖3之實例，HMD 102中所觀察到的三維互動場景可包括玩遊戲，諸如3-D視圖中所例示之角色。一個角色(例如，P1)可由正佩戴HMD 102之使用者 100控制。此實例展示兩個玩家之間的籃球場景，其中HMD使用者100正將球扣於3-D視圖中之另一角色上。另一個角色可為遊戲之AI(人工智能)角色，或可由另一使用者或若干使用者(Pn)控制。將正佩戴HMD 102之使用者100展示為在使用空間中來回移動，其中HMD可基於使用者之頭部移動及身體定位來回移動。將攝影機108展示為定位在房間內之顯示螢幕上方，然而，為HMD 102使用，可將攝影機108放置於可捕獲HMD 102之影像的任何位置。因而，將使用者100展示為自攝影機108及顯示器107以約90度轉動，因為自攝影機108之角度來看，HMD 102中所渲染之內容可取決於定位HMD 102之方向。當然，在HMD 102使用期間，使用者100將來回移動、轉動其頭部、在各種方向上看，可能需要此舉以利用由HMD所渲染之動態虛擬場景。
圖4例示出根據所揭示實施例中之一者的在使用期間佩戴HMD 102之使用者。在此實例中，展示的是使用藉由攝影機108自所捕獲之視訊框所獲得的影像資料來追蹤402HMD 102。在其他實施例中，追蹤亦可利用來自HMD自身之慣性資料。在各種實施例中，追蹤使用者之頭部可包括自影像追蹤及慣性追蹤所獲得之混合資料。另外，展示的是亦可使用藉由攝影機108自所捕獲之視訊框所獲得的影像資料來追蹤404控制器。亦展示的是HMD 102經由電纜406連接至計算系統106之組態。在一個實施例中，HMD 102自同一電纜獲得電力或可連接 至另一電纜。在又一個實施例中，HMD 102可具有可再充電的電池，以避免多餘的電力線。在其他實施例中，在具有或不具有手套的情況下，可追蹤使用者之手。
圖5為根據所揭示實施例中之一者的系統500之簡化示意圖，該系統用於例如當與虛擬環境互動時，向使用者提供虛擬物件之感受及/或紋理。一般而言，追蹤或紋理回饋稱為觸覺回饋。如本文中所使用，感受可包括由人體部分回應於接收或接觸物件、表面、紋理、形狀或東西所偵測之感覺。在一些實施例中，觸覺回饋可向紋理提供紋理及感受兩者。系統500包括耦接至雲端網路110之遊戲控制台106。雲端網路110可提供對雲端遊戲提供者112及內容源120之訪問。雲端遊戲提供者可為提供對線上內容之訪問的服務，該線上內容可下載或串流至遊戲控制台106。遊戲控制台106可耦接至頭戴顯示器102、其他周邊裝置504及一或多個衣物製品，該等衣物製品諸如面罩、襯衫、褲子、鞋襪或手套502，或該等製品中之一或多者。
考慮到以上描述，遊戲控制台106可包括內容選擇模組506、輸入裝置介面512、物件組態矩陣渲染模組514、及虛擬實境(VR)空間產生模組516及觸覺回應處理模組518。內容選擇模組506包括內容介面508及虛擬實境內容選擇模組510。在一些實施例中，可提供更少或更多的模組以在使用HMD期間實現觸覺回饋，從而提供對沉浸式3D虛擬實境環境之互動性。
遊戲控制台106將具有各種計算組件，該等計算組件諸如一或多個處理器、記憶系統、系統匯流排、高速存取系統、儲存資源及一或多個通訊模組。通訊模組可包括以下各項中之一或多者：網路介面卡、無線處理器、WiFi模組、藍芽模組及其他連接器介接邏輯。另外，遊戲控制台106可包括各種I/O介面，該等I/O介面用於至HMD 102、周邊裝置504(例如，控制器、攝影機、麥克風等)及手套502之連接性，該等手套502中之一或兩者可由使用者佩戴。在一個實施例中，I/O介面將使用各種通訊協定，以便與HMD 102、周邊裝置504及手套502介接。該等協定可為經設計來傳達例如控制或審查自手套502之組件接收的資料之訊號的定製協定或標準協定。此外，如本文中所使用，用於控制台106與HMD 102、周邊裝置504與手套502之間的通訊之I/O介面及協定可為有線的或無線的，或無線及有線兩者之組合。
在一些組合中，遊戲控制台106可具有定製邏輯、韌體或電路，以便處理特殊執行操作。在其他實施例中，遊戲控制台106可藉由遊戲控制台106之處理器及記憶系統來執行對各種模組之操作。如本文中所使用，模組之論述應視為由以上模組及組態中之任一者或其組合定義。然而，一般而言，對模組之論述或參考可視為由遊戲控制台106之硬體及/或軟體處理。
在操作中，佩戴HMD 102之使用者將經由周邊裝置504與遊戲控制台106介接。使用者可選擇一種類 型的將要在HMD 102中渲染之遊戲或內容。用以選擇內容之輸入經由輸入裝置介面512由遊戲控制台106接收。可自區域儲存器或自線上內容源120、雲端遊戲提供者112或其組合進行對內容之選擇。
在一個簡單實例中，使用者使用周邊裝置504選擇內容，且該選擇經由輸入裝置介面512由遊戲控制台106接收作為輸入。內容可為具有咖啡桌及蘇打水罐(例如，置於咖啡桌上之虛擬物件)之簡單起居室虛擬空間。一旦內容經選擇，內容介面508將接收用於渲染虛擬空間(例如，起居室)之內容。遊戲控制台106將包括用於識別起居室中之虛擬物件的邏輯，該起居室可包括咖啡桌、蘇打水罐、牆壁、地毯、門及/或其他虛擬人物及東西。
內容介面508將把針對虛擬空間(例如，起居室)所接收之內容傳遞至物件組態矩陣渲染模組514及VR空間產生模組516。在一個實施例中，物件組態矩陣渲染模組514將檢查所接收內容以識別虛擬空間中之任何虛擬物件。在一個實施例中，虛擬物件可能已先前經處理來定義用於虛擬物件之模型、紋理、形狀、硬度、柔軟度及相關物理參數的資料。在此實例中，蘇打水罐為可包括預處理資料(例如，觸覺輪廓)之虛擬物件，該預處理資料可由物件組態矩陣渲染模組514使用，該預處理資料例如虛擬物件之組態/屬性。用於渲染虛擬空間之內容，包括虛擬物件亦傳遞至VR空間產生模組516。繼續該實例，使用者可藉由伸出手至虛擬空間以試圖觸摸蘇打水罐來提供互 動。
當此發生時，觸覺回應處理模組518可使用由物件組態矩陣渲染模組及/或觸覺回應處理模組518所處理之觸覺輪廓來判定對應觸覺回饋，以將該對應觸覺回饋提供回到使用者。例如，若使用者正佩戴手套502且使用者按壓在虛擬蘇打水罐上，則該蘇打水罐將改變形狀例如以展示壓碎動作。手套將具備觸覺回饋以給予使用者對壓碎罐之感知，例如諸如隨著罐壓碎而逐步或平滑地改變使用者的手指之間的阻力。在一個實施例中，亦可向HMD 102之揚聲器輸出提供壓碎罐之聲音。
因此，在一個實施例中，用於回饋(例如用於使用者與虛擬物件之互動)之觸覺資料可預定義且儲存於資料庫或檔案中，或與虛擬空間之內容整合(例如，用於由物件組態矩陣渲染模組514使用)。在一些實施例中，由物件組態矩陣渲染模組514針對一些虛擬物件所使用之資料可預下載或預儲存至遊戲控制台106或周邊裝置504。一般而言，將在虛擬空間中渲染之虛擬物件可與定義觸覺回應之類型的資料相關聯，以在使用者與虛擬空間中之虛擬物件互動(例如，追蹤且識別使用者以與虛擬空間中之虛擬物件互動)時，相對於虛擬物件而產生觸覺回應。
在另一實例中，當使用者在一方向上將他的或她的HMD向左轉動時，輸入裝置介面512將自HMD 102(或注視/追蹤HMD之攝影機或HMD上之攝影機)接收 輸入。轉動使用者的頭將導致對實現向左渲染虛擬空間之內容請求。因此該轉動為至輸入裝置介面512之輸入，該輸入進入VR內容選擇模組510，以使得可將資料渲染且提供至HMD。
為渲染VR空間，內容介面508將所選擇且獲得之VR內容輸出至物件組態矩陣渲染模組514及VR空間產生模組516。如以上所維持，物件組態矩陣渲染模組514識別HMD 102中所呈現之存在於VR空間中的虛擬物件。
VR空間產生模組516產生或協助HMD 102中所呈現之虛擬環境或空間。觸覺回應處理模組518自物件組態矩陣渲染模組514及VR空間產生模組516接收虛擬物件資料及虛擬空間資料。觸覺回應處理模組使用虛擬物件資料及虛擬空間資料來運算用於周邊裝置504、頭戴顯示器102及/或由使用者接觸或使用之手套502的對應觸覺指令。
作為又一實例，若使用者正走入虛擬空間中且該使用者遇到微風，則HMD 102可輸出對風之一或多個感覺，該一或多個感覺諸如在使用者的面部及/或使用者身體之其他部分吹氣。吹在使用者面部上之空氣可經冷卻或加溫，以便對應於虛擬空間中之風。隨著使用者繼續走入虛擬空間中，該使用者遇到樹。當該使用者伸出手用其右手(例如，手套502在其右手上)觸摸樹時，觸覺回應處理模組將返回觸覺回饋以製造使用者的手觸摸樹之感 覺，或樹之冷度、或樹皮之紋理、或樹之形狀、或甚至樹在微風中顫抖。
圖6為根據所揭示實施例中之一者的內容源120之簡化示意圖。內容源120可包括若干模組，該等模組包括VR內容庫620。在VR內容庫620內包括多個內容空間622A-n。內容空間622A-n中之每一者包括對應的物件組態矩陣624，以便在由內容空間所描述之空間中組配各種物件。VR內容626提供VR內容選擇模組510所需要之資料，以識別HMD 102上將要顯示之虛擬空間。物件空間映射模組628定義各種虛擬物件在虛擬空間中所顯示之的位置。
在一個實施例中，物件組態矩陣渲染模組514亦將獲得、存取及/或處理與虛擬空間中所存在或識別之一或多個虛擬物件相關聯的資料(例如，觸覺輪廓資料)。在一些實施例中，虛擬物件將與組態資料相關聯，該組態資料將屬性、物理、尺寸及可能的觸覺回應定義成當與物件介接(例如，固持、移動、壓碎、搖擺、感覺、摩擦、擠壓、按壓、提升、打碎、碰撞虛擬物件等)時的屬性、物理、尺寸及可能的觸覺回應。取決於介面之類型，由觸覺回應處理模組518所提供之觸覺回應將改變。在一些組態中，觸覺回應之類型可為觸覺回應之組合，該等觸覺回應例如實體、音訊、空氣、壓力、物理、應力、斥力、溫度、濕度、收縮或其中之一或兩者之組合。
物件3D空間組態模組630提供所顯示虛擬物 件之3D特徵。此等3D特徵可包括所顯示物件之重量、形狀、紋理及顏色中之一或多者，及以上所描述之其他參數。
物件聲音輪廓632提供對應於所顯示虛擬物件及虛擬空間之聲音。例如，存在於HMD上所顯示之虛擬空間中的使樹葉沙沙作響之風的聲音、遠雷及動物聲音。物件物理輪廓634可提供虛擬空間中所顯示之各種物件的物理運動及/或紋理特性。在一些實施例中，虛擬物件之運動、紋理、聲音、定向及位置中之一或多者渲染於虛擬空間內，且可由VR內容選擇模組510及VR空間產生模組516使用，以在物件將顯示於HMD 102上時，在虛擬空間中產生該等物件。因此，一個實施例將規定每一內容空間622將與物件空間映射628、物件3D空間組態630、物件聲音輪廓632及/或物件物理輪廓634中之一或多者相關聯。在一些組態中，內容空間可與定義虛擬物件之一或多個屬性的單獨資料或檔案相關聯。此等屬性用來判定觸覺回饋之類型及/或量值，以在使用虛擬場景中之虛擬物件偵測互動時提供至使用者。在一些實施例中，可以動態形式將新的虛擬物件帶入虛擬場景中，例如，另一使用者訪問共享空間，且該使用者或其化身帶入或引入新的虛擬物件(例如，多玩家)。當引入虛擬物件時，該虛擬物件將引入有其相關聯的屬性。以此方式，與虛擬物件互動的無論哪個人(例如，使用者或使用者之化身，或另一使用者)都是VR場景，可渲染觸覺回饋。
圖7為例示出根據所揭示實施例中之一者的在模擬使用者的手上之變化的紋理、振動或壓力時所執行的方法操作700之流程圖。在操作705中，經由HMD 102向使用者呈現虛擬空間。亦向使用者顯示存在於虛擬空間中之各種虛擬物件。在操作710中，使用者與虛擬空間中之虛擬物件互動，諸如使用其手指或其手來觸摸虛擬物件。作為實例，使用者可觸摸虛擬塊石之粗糙表面，且感受虛擬塊石之紋理及溫度。在另一實例中，使用者可抓握虛擬劍之虛擬手柄，且感受該手柄之形狀、壓力及紋理。
在操作715中，遊戲控制台106將VR輸入及回饋提供至諸如與使用者接觸之手套的各種觸覺裝置。如以上所提及，觸覺回饋可提供至其他周邊裝置504、HMD 102、或衣物、或其組合。此給使用者提供對虛擬物件之直接回饋及感受，該使用者在虛擬空間中與該虛擬物件互動。
圖8及9為根據所揭示實施例中之一者的左手手套502L及右手手套502R之更詳細的示意圖。圖8例示出手套502L、502R之背側。圖9例示出手套502L、502R之手掌側。手套之手指及拇指包括觸覺裝置810A-813E。觸覺裝置810A-813E可向使用者的手指及拇指提供紋理、形狀、溫度、振動及壓力感覺。手套之手掌區域亦包括觸覺裝置804-805，以便向使用者的手掌提供紋理、形狀、溫度、振動及壓力感覺。手套之背側亦可包括 觸覺裝置806-809，以便向使用者的手之背側提供紋理、形狀、溫度、振動及壓力。
觸覺裝置810A-813E、806-809可提供紋理、形狀、溫度、振動、壓力中之一或多者，且可以不同形狀形成使用者的手。在一個實行方案中，觸覺裝置可充有諸如空氣之流體或諸如水或油之液體。在另一實行方案中，觸覺裝置中之每一者可包括一或多個機電裝置，該等機電裝置諸如振動的偏置重錘，及/或延伸或回縮的電磁電樞及/或可振動的壓電裝置及/或加熱或冷卻元件及/或電活性聚合物及/或相變材料。觸覺裝置亦可包括延伸元件及收縮元件，該等元件可分別導致使用者的手指伸展或彎曲。
圖10為根據所揭示實施例中之一者的將使用者的手形成為拳頭之手套502L的示意圖。手套502L可包括觸覺裝置1002，該觸覺裝置能夠導致使用者的手指分別在方向1004、1006上彎曲或伸展。
圖11為根據所揭示實施例中之一者的導致使用者的手展開之手套502L的示意圖。手套502L可包括一或多個觸覺裝置1102，該一或多個觸覺裝置導致使用者手指及拇指在方向1104、1106上展開。觸覺裝置810A-813E、806-809及觸覺裝置1002、1102之組合可用來將使用者的手形成為許多不同組態，而不僅僅是以上所展示之拳頭及展開組態。
圖12為根據所揭示實施例中之一者的將壓力施加至使用者的手之手套502L的示意圖。觸覺裝置810D 及812D可分別施加壓力1202A、1202B。壓力1202A、1202B擠壓使用者之食指(在此情況下為左食指)的兩側，然而應理解，對應觸覺裝置可將壓力施加至使用者的手指及拇指中之每一者。以類似方式，觸覺裝置802、806、808分別將壓力1204A、1204B施加至使用者的手之背側及使用者的手之手掌。因此，觸覺裝置802、806、808可提供擠壓使用者的手之感覺。
觸覺裝置802、806、808、810A-813E亦可包括加熱及冷卻元件，以向使用者提供熱及冷之感覺。觸覺裝置802、806、808、810A-813E亦可包括空氣移動元件，以提供跨使用者的手移動空氣之感覺。
應理解，觸覺裝置可僅應用於使用者的手之手掌側或僅應用於使用者的手之背側或使用者的手之兩側，以及使用者的手之手掌及背側的不同部分。在一個實行方案中，觸覺裝置802、806、808、810A-813E提供一或多個致動器，以基於與VR空間中之虛擬物件的互動來將所要壓力、紋理、溫度或移動施加至使用者的手。
圖13為根據所揭示實施例中之一者的將多點壓力施加至使用者的手之手套502L的示意圖。與以上圖12中所描述之觸覺裝置相似，觸覺裝置802、806、808、810A-813E提供多個致動器，以將所要壓力、紋理或移動施加至使用者的手。以此方式，所施加壓力或所施加紋理在使用者的手指之不同部分或使用者的拇指之不同部分或使用者的手之背側或手掌側的不同部分上可相同或不同。
圖14為根據所揭示實施例中之一者的手套502L及觸覺控制器1450之示意圖。觸覺控制器1450耦接至手套之各種觸覺裝置。觸覺控制器1450藉由網路524鏈接至遊戲控制台106。網路524可為有線的或無線的或其組合。觸覺控制器1450可包括運動偵測模組、通訊模組、控制器模組、觸覺輪廓，該觸覺輪廓對應於手套上之觸覺裝置及HMD 102中所呈現之虛擬空間中的虛擬物件。觸覺控制器1450將觸覺訊號提供至觸覺裝置中之每一者以對應於觸覺回饋資料，該觸覺回饋資料例如在VR空間與VR空間中之虛擬物件的互動期間，自觸覺回應處理模組518接收。
攝影機108亦耦接至遊戲控制台106。攝影機108可以如以上關於監視HMD 102之運動及位置的攝影機所描述之相似方式來監視手套502L在該攝影機之視野內的運動及位置。具體而言，手套502L可包括一或多個追蹤標記1404A-F，遊戲控制台106可在由攝影機所捕獲之影像中識別該一或多個追蹤標記。
追蹤標記1404A-F可包括被動標記，該等被動標記諸如手套上之策略性位置的一部分之不同顏色或反射或其他醒目方法。例如手指尖、拇指尖、手背等。應理解，可包括六個以上所顯示追蹤標記。在另一實行方案中，追蹤標記1404A-F可包括主動標記，該等主動標記諸如除被動標記之外或代替被動標記的燈或LED。主動標記可在由攝影機所捕獲之影像中藉由遊戲控制台106追蹤。
圖15為根據所揭示實施例中之一者的耦接至遊戲控制器104之手套502L的示意圖。遊戲控制器104可向遊戲控制台106提供有線或無線資料連接件。遊戲控制器104亦可經由資料連接件1502耦接至各種觸覺裝置。遊戲控制器104可經組配來將觸覺訊號提供至觸覺裝置中之每一者，以與自觸覺回應處理模組518及遊戲控制台106所接收之觸覺資料相一致。
圖16為根據所揭示實施例中之一者的觸覺回饋系統1600之簡化方塊圖。觸覺回饋系統1600可包括於諸如以上所描述之手套502L、502R的任何合適的周邊裝置中。觸覺回饋系統1600包括機盒1601、觸覺回饋控制器1604、耦接至觸覺回饋控制器之記憶系統、一或多個慣性感測器1622、通訊鏈路1620及電源1602。電源1602耦接至回饋控制器、慣性感測器及通訊鏈路中之每一者，且向回饋控制器、慣性感測器及通訊鏈路中之每一者提供電力。
慣性感測器1622偵測手套之運動，且向通訊鏈路1604及觸覺回饋控制器1604提供運動資訊。通訊鏈路1604在手套與遊戲控制台106之間提供有線及/或無線資料通訊鏈路1646。通訊鏈路1646包括適當的接收器及發射器，以便接收及發送資料。
觸覺回饋控制器1604鏈接至手套502L、502R中之觸覺裝置806-809、810A-813E，且將觸覺訊號提供至觸覺裝置，以便對應於虛擬場景中所顯示之物件的 觸覺輪廓及自慣性感測器所接收之運動資訊。觸覺裝置806-809、810A-813E向使用者的手提供對應觸覺回饋1644。在其他實施例中，觸覺裝置不需為手套，而可為控制器本身、衣物、腕帶、手錶及/或手套。
舉例而言，觸覺裝置可給使用者提供對紋理、形狀、重量、阻力、平衡、柔軟度、硬度或其中之兩者或兩者以上的組合之感受及/或感覺。在此實例中，觸覺回饋可提供對HMD 102上所顯示之虛擬實境場景中的使用者的劍1640上之手柄的感受。若場景中之海盜1642將在虛擬場景中擊打使用者的劍，則觸覺裝置可向使用者的手提供劍之碰撞的對應感受，諸如經由使用者的劍傳輸至使用者的手之振動。
圖17為根據所揭示實施例中之一者的耦接至遊戲控制器104之手套502中的觸覺回饋系統1700之簡化方塊圖。遊戲控制器104經由資料埠1752、1754耦接至周邊裝置，以向觸覺回饋控制器1604提供資料。將手套802耦接至遊戲控制器104簡化了該手套，且從而降低了手套之成本。在另一實施例中，手套可與遊戲控制台106及或控制器無線通訊。
在一些實施例中，遊戲控制器104可包括觸覺回饋控制器1604，且遊戲控制器可直接耦接至觸覺裝置806-809、810A-813E。
觸覺輪廓1632包括在虛擬環境中呈現給使用者之虛擬物件的觸覺特性。舉例而言，觸覺輪廓1632可 包括多維圖，該多維圖表徵虛擬物件之形狀、紋理、及諸如運動、振動特性的其他感受。觸覺輪廓亦可包括以上所揭示屬性中之一或多者。
觸覺輪廓1632最初可包括於資料、軟體及硬體內，從而在電腦106之記憶系統1630中形成虛擬環境。當對應虛擬物件在虛擬環境中呈現給使用者時，觸覺輪廓1632傳達至觸覺回饋控制器1604。觸覺回饋控制器1604使用觸覺輪廓1632來向觸覺裝置產生對應觸覺訊號，以對應於虛擬物件在虛擬環境中之動作。將觸覺輪廓傳達至觸覺回饋控制器1604減少了時間延遲，該時間延遲可在觸覺輪廓1632僅駐留於電腦106中時發生。
舉例而言，將觸覺輪廓1632傳達至觸覺回饋控制器1604可能在對應虛擬實境場景在HMD 102中呈現給使用者期間僅需要一次，從而減少需要自電腦106傳達至觸覺回饋控制器1604之資料。在虛擬實境場景在HMD 102中呈現給使用者期間，電腦106可傳達一或多個觸覺輪廓調整，該一或多個觸覺輪廓調整與傳達全部觸覺輪廓相比，可為更簡單且更少的資料。
觸覺回饋控制器1604、觸覺輪廓1632可實施為單個模組或組合為單一模組。該等模組可實行為軟體、韌體、硬體以及硬體、韌體及軟體之組合。
圖18為根據所揭示實施例中之一者的具有虛擬劍1604及向使用者提供觸覺回體之手套502的動作之示例性簡化進展順序。使用者100正佩戴HMD 102及手 套502。當使用者在中心列中所展示之虛擬環境的若干場景1810A-D中使用其劍1604時，手套502中之觸覺裝置806-809、810A-813E向使用者的手提供回饋。使用者100在虛擬環境中面向劍鬥中之海盜1642。
海盜在場景1810A中靠近，且使用者100開始自放下位置1802A提起劍1604。在右列展示手套502之詳細視圖。當使用者100最初自放下位置1802A提起劍1604時，觸覺裝置806-809、810A-813E提供劍柄之紋理或物理屬性，例如，劍之手柄1650之回饋1860A形狀。觸覺裝置806-809、810A-813E亦可使使用者的手成形，並且如同使用者正抓住劍之皮革包覆的手柄1650。
在場景1810B中，使用者將劍1640升高至更水平的定向1802B，且海盜1642將他的劍1852輕輕地與使用者的劍1640接觸。當海盜的劍1852與使用者的劍1640接觸時，觸覺裝置806-809、810A-813E向使用者的手提供輕的振動回饋1860B，以模擬使用者持有由另一劍輕輕接觸之真實的劍時將感受到的振動。
在場景1810C中，使用者將劍1640升高到比水平定向1802C更高，且海盜沿著使用者的劍滑動他的劍1852以對抗使用者的移動。觸覺裝置806-809、810A-813E向使用者的手提供振動回饋1860C，以模擬使用者在該使用者持有海盜沿著其滑動該海盜的劍之真實的劍時將感受到的振動。
在場景1810D中，使用者將劍1640升高至最 高定向1802D。最高定向1802D用以對抗海盜1642之移動。當海盜的劍由使用者的劍上之柄頭停止時，海盜劍1852使用大力撞擊使用者的劍。觸覺裝置806-809、810A-813E向使用者的手提供強烈振動回饋1860D，以模擬使用者在該使用者持有海盜擊打其劍柄頭之真實的劍時將感受到的振動。
圖19為例示出根據所揭示實施例中之一者的在模擬使用者的手上之變化的紋理或壓力，以與虛擬物件相一致時所執行的方法操作1900之流程圖。在操作1905中，向使用者呈現虛擬環境。可經由HMD 102呈現虛擬環境。虛擬環境包括虛擬物件，例如當該等虛擬物件呈現於HMD 102中時，使用者可與該等虛擬物件互動。舉例而言，使用者可提升、移動、投擲等在虛擬環境中所呈現之虛擬物件。
在操作1910中，判定用於虛擬物件中之每一者的觸覺輪廓。觸覺輪廓可判定為虛擬環境之發展的部分。觸覺輪廓亦可包括一或多個調整，以對應於虛擬物件、虛擬環境及使用者之當前情況。舉例而言，虛擬物件可為劍。使用者可自多種類型之劍選擇，該等劍例如輕劍、短劍、兩手寬劍等。不同類型之劍中的每一者可具有大體上相似而非相同的觸覺輪廓。此外，諸如使用者的虛擬鎧裝及使用者的實際大小之額外因素可導致對觸覺輪廓之調整。
在操作1915中，將觸覺輪廓傳輸至手套 502。手套包括觸覺裝置，如上所述。觸覺輪廓可儲存於手套中之記憶體中，以供觸覺回饋控制器1604在模擬虛擬劍1640之移動及使用期間使用。
在操作1920中，在虛擬環境中使用手套來觸摸某些東西，諸如抓住虛擬劍1640之手柄1650、或移動虛擬物件、或推動虛擬物件、或壓縮虛擬物件、或壓碎虛擬物件等。在操作1925中，藉由手套中之觸覺裝置提供觸覺回饋，以對應於虛擬環境中之虛擬劍的手柄之紋理。如以上圖18中所描述之使用者的虛擬劍1640之移動提供虛擬劍之移動的實例及藉由觸覺裝置所提供之對應觸覺回饋。
在操作1930中，藉由手套中或物理連接至手套之一或多個感測器來偵測手套之運動。該等感測器可包括以下各項中之一或多者：慣性感測器、加速計、磁強計及迴轉儀。可另外或替代地偵測手套之運動，且偵測自周邊裝置之外部的追蹤系統所產生之追蹤訊號，該周邊裝置例如以上圖1及以下等等中所描述之攝影機系統108。
在操作1935中，若必要，將手持式周邊裝置之所偵測運動傳輸至手套502中之觸覺回饋控制器1604。以上藉由攝影機108所偵測之手套的運動可傳輸至觸覺回饋控制器1604。藉由手套內部之感測器1622所偵測之手套的運動將由觸覺回饋控制器1604接收。
在操作1940中，觸覺回饋控制器1604調整觸覺輪廓及/或觸覺回饋，以對應於手套之所偵測運動及 使用者的虛擬手與虛擬環境中之其他虛擬物件的接近度或接觸。用以對應於手套之所偵測運動的觸覺及/或觸覺回饋之調整可包括虛擬物件與虛擬環境中之另一虛擬物件的互動。舉例而言，使用者的虛擬劍1640可在劍鬥中衝擊海盜的劍1852。由手套中之觸覺裝置所提供的觸覺回饋模擬物理，例如使用者的劍1640與海盜的劍1852之衝擊。
在如以上所描述之操作1925-1940中，所繼續的使用者的虛擬劍之移動的操作繼續。當手套不再與虛擬環境中之虛擬物件接觸時，可結束該等方法操作。
應注意，如以上所描述，雖然手套能夠向使用者的手提供壓力、振動及紋理，從而對應於HMD環境中之3D虛擬物件，但手套僅為示例性實行方案。類似地，其他可佩帶裝置或衣物及鞋襪亦可用來向使用者的身體及腳部提供壓力及紋理，從而對應於HMD環境中之3D物件。在沒有限制的情況下，所提供觸覺回饋可包括溫度、振動、壓力、形狀、聲音紋理及跨使用者的皮膚之氣流。
參考圖20，展示例示出根據所揭示實施例中之一者的頭戴顯示器102之示例性組件的圖。應理解，取決於所實現之組態及功能，HMD 102可包括或除去更多或更少的組件。頭戴顯示器102可包括用於執行程式指令之處理器2000。記憶體2002經提供用於儲存目的，且可包括依電性記憶體及非依電性記憶體兩者。包括顯示器 2004，其提供使用者可看到的視覺介面。
顯示器2004可由一個單一顯示器定義，或針對每一眼睛呈單獨的顯示螢幕形式。當提供兩個顯示螢幕時，有可能分別提供左眼及右眼視訊內容。視訊內容對每一眼睛之單獨呈現例如可提供三維(3D)內容之較好的沉浸式控制。如以上所描述，在一個實施例中，第二螢幕107藉由使用用於一個眼睛之輸出而具備HMD 102之第二螢幕內容，且然後格式化該內容以便以2D格式顯示。在一個實施例中，一個眼睛可為左眼視訊饋送，但在其他實施例中，該眼睛可為右眼視訊饋送。
可提供電池2006作為用於頭戴顯示器102之電源。在其他實施例中，電源可包括至電力之出口連接件。在其他實施例中，可提供至電力之出口連接件及電池2006。運動偵測模組2008可包括各個種類之運動敏感硬體中之任一者，諸如磁強計2010、加速計2012及迴轉儀2014。
加速計2012為用於量測加速度及重力引發的反作用力之裝置。單軸模型及多軸(例如，六軸)模型能夠偵測不同方向中的加速度之量值及方向。使用加速計來感測傾角、振動及震動。在一個實施例中，使用三個加速計2012來提供重力方向，該重力方向給出對兩個角(世界空間俯仰角及世界空間滾動角)的絕對參考。
磁強計2010量測頭戴顯示器附近的磁場之強度及方向。在一個實施例中，在頭戴顯示器內使用三個磁 強計2010，從而確保對世界空間偏轉角之絕對參考。在一個實施例中，磁強計經設計成跨過地球磁場，該地球磁場為±80微特士拉。磁強計受金屬的影響，且提供隨實際偏轉單調變化的偏轉量測。磁場可能由於環境中之金屬而扭曲，從而導致偏轉量測之扭曲。若必要，可使用來自諸如迴轉儀或攝影機的其他感測器之資訊來校準此扭曲。在一個實施例中，加速計2012與磁強計2010一起用來獲得頭戴顯示器102之傾角及方位角。
迴轉儀2014為用於基於角動量原理來量測或維持定向之裝置。在一個實施例中，三個迴轉儀2014基於慣性感測來提供關於跨各個軸(x、y及z)之移動的資訊。迴轉儀幫助偵測快速旋轉。然而，在不存在絕對參考的情況下，迴轉儀可隨時間漂移。此需要週期性地重設迴轉儀，此重設可使用其他可用資訊來完成，其他可用資訊諸如：基於對物件、加速計、磁強計等之視覺追蹤的定位/定向判定。
提供攝影機2016以用於捕獲真實環境之影像及影像串流。HMD 102中可(視需要)包括一個以上攝影機，該一個以上攝影機包括面向後(當使用者看著HMD 102之顯示時遠離使用者)的攝影機及面向前(當使用者看著HMD 102之顯示時朝向使用者)的攝影機。另外，HMD 102中可包括深度攝影機2018，該深度攝影機2018用於感測真實環境中的物件之深度資訊。
HMD 102包括用於提供音訊輸出之揚聲器 2020。此外，可包括麥克風2022，該麥克風2022用於自真實環境捕獲音訊，該音訊包括來自周圍環境之聲音、使用者說出的語言等。HMD 102包括觸覺回饋模組2024，該觸覺回饋模組2024用於向使用者提供觸覺回饋。在一個實施例中，觸覺回饋模組2024能夠導致HMD 102之移動及/或振動，以便向使用者提供觸覺回饋。
提供LED 2026作為頭戴顯示器102之狀態的視覺指示器。例如，LED可指示電池位準、通電等。提供讀卡機2028以使頭戴顯示器102能夠自記憶卡讀取資訊且向記憶卡寫入資訊。包括USB介面2030作為介面之一個實例，該介面用於實現手持式周邊裝置之連接，或至諸如其他可攜式裝置、電腦等的其他裝置之連接。在HMD 102之各種實施例中，可包括各個種類之介面中的任何者以實現HMD 102之更好的連接性。
可包括WiFi模組2032，以便實現經由無線網路連接技術至網際網路之連接。此外，HMD 102可包括藍芽模組2034，以便實現至其他裝置之無線連接。亦可包括通訊鏈路2036以便連接至其他裝置。在一個實施例中，通訊鏈路2036利用紅外傳輸來進行無線通訊。在其他實施例中，通訊鏈路2036可利用各種無線或有線傳輸協定中之任何者來與其他裝置通訊。
包括輸入按鈕/感測器2038來為使用者提供輸入介面。可包括各個種類之輸入介面中的任何者，諸如按鈕、示意動作、觸控板、操縱桿、軌跡球等。HMD 102 中可包括超音通訊模組2040，以用於促進經由超音技術與其他裝置通訊。
包括生物感測器2042來實現對來自使用者之生理資料的偵測。在一個實施例中，生物感測器2042包括用於透過使用者的皮膚偵測使用者之生物電信號的一或多個乾電極、語音偵測、用以識別使用者/輪廓的眼睛視網膜偵測等。
已將HMD 102之前述組件僅描述為可包括於HMD 102中之示範性組件。在本發明之各種實施例中，HMD 102可包括或可不包括各種前述組件中之一些。出於促進本文中所描述之本發明的態樣之目的，HMD 102之實施例可另外包括目前未描述但此項技術中已知的其他組件。
熟習此項技術者將瞭解，在本發明之各種實施例中，可結合顯示於顯示器上之互動應用程式來利用前述手持式裝置，以提供各種互動功能。僅藉由實例且並非藉由限制來提供本文中所描述之示範性實施例。
在一個實施例中，如本文中所稱的客戶端及/或客戶端裝置可包括頭戴顯示器(HMD)、終端機、個人電腦、遊戲控制台、平板電腦、電話、機上盒、資訊站、無線裝置、數位板、獨立裝置、手持式玩遊戲的裝置及/或類似裝置。通常，客戶端經組配來接收編碼的視訊串流，解碼視訊串流，且將所得視訊呈現給使用者(例如，遊戲玩家)。接收已編碼視訊串流及/或解碼視訊串流之過程通 常包括將各個視訊框儲存於客戶端之接收緩衝器中。可在與客戶端成一體的顯示器上或在諸如監視器或電視的單獨裝置上向使用者呈現視訊串流。
客戶端視需要經組配來支援一個以上遊戲玩家。例如，遊戲控制台可經組配來支援兩個、三個、四個或更多同時的使用者(例如，P1、P2、...Pn)。此等使用者中之每一者可接收或共享視訊串流，或單個視訊串流可包括特別針對每一玩家所產生的(例如，基於每一使用者之視角所產生的)訊框之區域。任何數目之客戶端可為區域的(例如，共位的)或在地理上分散。遊戲系統中所包括的客戶端之數目可自一個或兩個廣泛變化至幾千個、幾萬個或更多。如本文中所使用，術語「遊戲玩家」或「使用者」係用來指代玩遊戲的人，且術語「玩遊戲的裝置」係用來指代用來玩遊戲之裝置。在一些實施例中，玩遊戲的裝置可指代進行合作來向使用者傳遞遊戲體驗的複數個計算裝置。
例如，遊戲控制台及HMD可與視訊伺服器系統合作來傳遞透過HMD看到的遊戲。在一個實施例中，遊戲控制台自視訊伺服器系統接收視訊串流，且遊戲控制台將視訊串流或對視訊串流之更新轉發至HMD及/或電視以便渲染。
仍然進一步，HMD可用於觀察及/或與所產生或使用的任何類型之內容互動，該內容諸如視訊遊戲內容、電影內容、視訊片段內容、網頁內容、廣告內容、競 賽內容、嬉戲遊戲內容、會議電話/聚會內容、社交媒體內容(例如，發佈、訊息、媒體串流、朋友事件及/或玩遊戲)、視訊部分及/或音訊內容，以及用於經由瀏覽器及應用程式在網際網路上消耗來源所製作之內容，以及任何類型之串流內容。當然，未限制前述內容列表，因為可渲染任何類型之內容，只要可在HMD中看到該內容或向HMD之螢幕或若干螢幕渲染該內容即可。
客戶端可(但不需要)進一步包括經組配以用於修改接收到的視訊之系統。例如，客戶端可經組配來：執行進一步渲染，將一個視訊影像疊加於另一視訊影像上，修剪視訊影像，及/或類似者。例如，客戶端可經組配來接收各種類型之視訊框，如I訊框、P訊框及B訊框，且將此等訊框處理成影像以便向使用者顯示。在一些實施例中，客戶端之構件經組配來對視訊串流執行進一步渲染、陰影處理、轉換成3-D、轉換成2D、失真去除、設定大小或類似操作。客戶端之構件視需要經組配來接收一個以上音訊或視訊串流。
客戶端之輸入裝置可包括：例如，單手遊戲控制器、雙手遊戲控制器、示意動作辨識系統、注視辨識系統、語音辨識系統、鍵盤、操縱桿、指向裝置、力回饋裝置、運動及/或位置感測裝置、滑鼠、觸控螢幕、神經介面、攝影機、還未開發出的輸入裝置，及/或類似裝置。
視訊源可包括渲染邏輯，例如，硬體、韌體 及/或儲存於電腦可讀媒體(諸如儲存器)上之軟體。此渲染邏輯經組配來基於遊戲狀態創建視訊串流之視訊框。渲染邏輯之所有或部分視需要設置於一或多個圖形處理單元(GPU)內。渲染邏輯通常包括經組配以用於判定物件之間的三維空間關係及/或用於基於遊戲狀態及視角來應用適當紋理等的處理階段。渲染邏輯可產生已編碼的原始視訊。例如，可根據Adobe Flash®標準、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或類似標準對原始視訊進行編碼。編碼過程產生視訊串流，該視訊串流視需要經封裝以便傳遞至裝置上之解碼器。視訊串流係由訊框大小及訊框速率來表徵。典型的訊框大小包括800 x 600、1280 x 720(例如720p)、1024 x 768、1080p，但可使用任何其他訊框大小。訊框速率為每秒的視訊框數。視訊串流可包括不同類型之視訊框。例如，H.264標準包括「P」訊框及「I」訊框。I訊框包括用來再新顯示裝置上之所有巨集區塊/像素的資訊，而P訊框包括用來再新該等巨集區塊/像素之子集的資訊。P訊框之資料大小通常小於I訊框。如本文中所使用，術語「訊框大小」意欲指代訊框內之像素數。術語「訊框資料大小」用來指代儲存該訊框所需要的位元組數。
在一些實施例中，客戶端可為通用電腦、專用電腦、遊戲控制台、個人電腦、膝上型電腦、平板電 腦、行動計算裝置、可攜式遊戲裝置、蜂窩式電話、機上盒、串流媒體介面/裝置、智慧電視或經網路連接之顯示器，或能夠經組配來滿足如本文中所定義的客戶端之功能性的任何其他計算裝置。在一個實施例中，雲端遊戲伺服器經組配來偵測正由使用者利用的客戶端裝置之類型，且提供適合於使用者的客戶端裝置之雲端遊戲體驗。例如，可針對使用者之客戶端裝置來最佳化影像設定、音訊設定及其他類型之設定。
圖21例示出資訊服務提供者架構之實施例。資訊服務提供者(ISP)2170向地理上分散且經由網路2150連接之使用者2182傳遞大量資訊服務。ISP可僅傳遞諸如股票價格更新的一種類型之服務，或諸如廣播媒體、新聞、運動、遊戲等的各種服務。另外，由每一ISP所提供之服務為動態的，亦即，可在任何時間點添加或取走服務。因此，向特定個體提供特定類型之服務的ISP可隨時間變化。例如，當使用者在其家鄉時，可由接近使用者之ISP來服務該使用者，且當使用者旅行到不同城市時，可由不同ISP來服務該使用者。家鄉ISP將向新的ISP轉移所需要資訊及資料，以使得使用者資訊「跟隨」使用者到達新的城市，從而使該資料更接近使用者且更容易訪問。在另一實施例中，可在主ISP與伺服器ISP之間建立主-伺服器關係，該主ISP管理用於使用者之資訊，該伺服器ISP在主ISP的控制下直接與使用者介接。在另一實施例中，資料隨著客戶端在全世界移動自一個ISP轉移至另一 ISP，以使得處在服務使用者的更好定位中的ISP成為傳遞此等服務之ISP。
ISP 2170包括應用服務提供者(ASP)2106，該應用服務提供者經由網路向顧客提供基於電腦的服務。使用ASP模型所提供之軟體有時亦稱為按需軟體或軟體即服務(SaaS)。提供對特定應用程式(諸如顧客關係管理)的訪問之簡單形式是藉由使用諸如HTTP的標準協定。應用軟體駐留於賣主的系統上，且經由使用HTML之網頁瀏覽器由使用者訪問，由賣主所提供之專用客戶端軟體、或諸如瘦客戶端的其他遠程介面訪問。
在廣闊地理區域傳遞之服務經常使用雲端計算。雲端計算為一種計算型式，其中經由網際網路提供動態可伸縮且經常虛擬化的資源作為服務。使用者不需要是支援該等使用者之「雲端」的技術基礎建設方面的專家。可將雲端計算分成不同服務，諸如基礎建設即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)。當在伺服器上儲存軟體及資料時，雲端計算服務經常提供在線公共商用應用，該等應用係自網頁瀏覽器訪問。基於在電腦網路圖中如何描繪網際網路及網際網路如何為對其隱藏之複雜基本建設的抽象，術語雲端用作對網際網路的隱喻(例如，使用伺服器、儲存器及邏輯)。
此外，ISP 2170包括遊戲處理伺服器(GPS)2108，該遊戲處理伺服器係由遊戲客戶端用來玩單玩家及多玩家視訊遊戲。在網際網路上玩的大多數視訊遊 戲經由至遊戲伺服器之連接來操作。通常，遊戲使用專用伺服器應用，該專用伺服器應用自玩家收集資料且將該資料分配至其他玩家。此比點對點佈置更高效及有效，但其需要單獨的伺服器來主管伺服器應用。在另一實施例中，GPS在玩家之間建立通訊，且該等玩家的各個玩遊戲的裝置在不依賴集中GPS的情況下交換資訊。
專用GPS為獨立於客戶端運行之伺服器。此種伺服器通常在位於資料中心之專用硬體上運行，從而提供更大的頻寬及專用處理能力。針對大多數基於PC的多玩家遊戲，專用伺服器是主管遊戲伺服器之優選方法。大規模多玩家線上遊戲在專用伺服器上運行，該等專用伺服器通常由擁有遊戲標題之軟體公司主管，從而允許該等專用伺服器控制及更新內容。
廣播處理伺服器(BPS)2110向聽眾分配音訊或視訊訊號。廣播至非常狹窄範圍的聽眾有時稱為窄播。廣播分配的最後步驟是訊號如何到達聽者或觀察者，且該訊號可經由空氣到達，正如無線電台或TV台至天線及接收器一樣，或可經由站台透過電纜TV或電纜無線電(或「無線電纜」)到達或直接自網路到達。尤其在多播允許共享訊號及頻寬的情況下，網際網路亦可向接受者帶來無線電或TV。在歷史上，廣播已由地理區域劃定界線，諸如國家廣播或區域廣播。然而，隨著快速網際網路之增殖，廣播不再由地理界定，因為內容幾乎可到達全世界的任何國家。
儲存服務提供者(SSP)2112提供電腦儲存空間及相關管理服務。SSP亦提供週期性備份及歸檔。藉由將儲存器提供為服務，使用者可按需要訂購更多儲存器。另一主要優點是：SSP包括備份服務，且若使用者的電腦之硬驅動機失效，使用者將不會丟失其所有資料。此外，複數個SSP可具有使用者資料之全部或部分複本，從而允許使用者以高效方式訪問資料，而與使用者所在之處或用來訪問資料之裝置無關。例如，使用者可在家庭電腦中訪問個人檔案，而且當使用者在移動中時，可在行動電話中訪問個人檔案。
通訊提供者2114提供至使用者之連接性。一種通訊提供者為提供對網際網路之訪問的網際網路服務提供者(ISP)。ISP使用適合於傳遞網際網路協定資料報之資料傳輸技術來連接其顧客，該等網際網路協定資料報諸如撥號、DSL、電纜數據機、光纖、無線或專用高速互連。通訊提供者亦可提供訊息服務，該等訊息服務諸如電子郵件、即時訊息及SMS本文。另一類型之通訊提供者為網路服務提供者(NSP)，該網路服務提供者藉由提供對網際網路的直接主幹訪問來銷售頻寬或網路訪問。網路服務提供者可由電信公司、資料載體、無線通訊提供者、網際網路服務提供者、提供高速網際網路訪問之電纜電視操作者等組成。
資料交換2104使ISP 2170內部之若干模組互連，且經由網路2150將此等模組連接至使用者2182。資 料交換2104可覆蓋ISP 2170之所有模組接近的小區域，或可當不同模組在地理上分散時，覆蓋大地理區域。例如，資料交換2104可包括資料中心箱內的快速十億位元乙太網路(或更快)，或洲際虛擬區域網路(VLAN)。
使用者2182利用客戶端裝置2120訪問遠程服務，該客戶端裝置至少包括CPU、顯示器及I/O。客戶端裝置可為PC、行動電話、隨身型易網機、平板、遊戲系統、PDA等。在一個實施例中，ISP 2170辨識客戶端所使用之裝置的類型，且調整所採用的通訊方法。在其他情況下，客戶端裝置使用諸如html的標準通訊方法來訪問ISP 2170。
本發明之實施例可利用各種電腦系統組態來實踐，該等電腦系統組態包括手持式裝置、微處理器系統、基於微處理器的或可程式化的消費電子產品、小型電腦、大型電腦及類似者。本發明亦可在分佈式計算環境中實踐，其中藉由經由基於有線的網路或無線網路加以鏈接的遠程處理裝置來執行任務。
考慮到以上實施例，應理解，本發明可採用各種電腦實行的操作，該等操作涉及儲存於電腦系統中之資料。此等操作為需要對物理量進行物理操作之操作。本文中所描述之操作中的任何者為有用的機器操作，該等操作形成本發明之部分。本發明亦係關於用於執行此等操作之裝置或設備。該設備可出於所需目的專門構造而成，或該設備可為由儲存於電腦中之電腦程式選擇性地啟動或組 配之通用電腦。詳言之，各種通用機器可與根據本文中之教示編寫的電腦程式一起使用，或可能更為方便的是，構造更專用的設備來執行所需操作。
本發明亦可體現為電腦可讀媒體上之電腦可讀碼。電腦可讀媒體為可儲存資料之任何資料儲存裝置，隨後可由電腦系統對其進行讀取。電腦可讀媒體之實例包括硬碟機、網路附接儲存器(NAS)、唯讀記憶體、隨機存取記憶體、CD-ROM、CD-R、CD-RW、磁帶及其他光學及非光學資料儲存裝置。電腦可讀媒體可包括分佈於網路耦合電腦系統上之電腦可讀有形媒體，以使得電腦可讀碼以分佈式方式儲存及執行。
雖然以特定次序描述了方法操作，但應理解，可在操作之間執行其他內務操作，或可調整操作以使得其在略微不同的時間發生，或操作可分佈於系統中，該系統允許以與處理相關聯的各種時間間隔發生處理操作，只要以所要方式執行覆疊操作之處理即可。
雖然為了清楚理解之目的而略微詳細地描述了前述發明，但顯而易見的是，可在所附申請專利範圍之範疇內做出某些變化及修改。因此，本實施例應被認為是說明性的而非限制性的，且本發明不限於本文中給出的細節，而可在所附申請專利範圍之範疇及等效物內進行修改。

Claims (22)

  1. 一種用於處理用於一頭戴顯示器(HMD)之內容的系統，其包含，一使用者介面裝置，其具有一觸覺裝置，該觸覺裝置用於給一使用者給予一觸覺回饋，其中該使用者介面裝置組態以接收虛擬物件之觸覺輪廓；以及一計算裝置，其與該使用者介面裝置及該HMD介接，該計算裝置包括，一輸入裝置介面，其用於自該使用者介面裝置或該HMD接收輸入；一虛擬實境空間產生模組，其用於渲染一虛擬實境場景於該HMD中；一物件組態矩陣渲染模組，其用於識別該虛擬實境場景中之一虛擬物件，該物件組態矩陣渲染模組存取針對該虛擬物件之一觸覺輪廓；以及一觸覺回應處理模組，其用於識別與一虛擬表示相關聯的該使用者介面裝置與該虛擬物件之間的互動，且將該觸覺回饋發送至該使用者介面裝置；其中該使用者介面裝置可操作以使用該虛擬物件之該觸覺輪廓用於向該使用者給予該觸覺回饋，該觸覺回饋驅動多點壓力的激活，所述多點壓力的大小在接觸該使用者介面裝置的該使用者的手指的一部分上變化，該使用者介面裝置係組態以取決於該虛擬表示與該虛擬物件之間的該互動在一持續時間內以連續壓力維持該多點壓力。
  2. 如申請專利範圍第1項之系統，其中該使用者介面為一手套裝置，該手套裝置包括該觸覺裝置，該手套包住接觸該使用者介面裝置的該使用者的手指，並且該觸覺回應處理模組使用該觸覺輪廓，以基於一種類型的所偵測互動來給該觸覺回饋給予改變。
  3. 如申請專利範圍第2項之系統，其進一步包含，一攝影機，其用於偵測該手套裝置在真實空間中之一位置及該HMD之一位置，其中該手套裝置相對於真實空間中之該HMD的該位置識別該手套裝置相對於該虛擬實境場景中之該虛擬物件的一位置；其中該手套裝置與該HMD之相對位置用來識別該手套裝置與該虛擬物件之間的互動，且定義提供至該手套裝置之至少一部分的該觸覺回饋之一量值或類型。
  4. 如申請專利範圍第2項之系統，其進一步包含，至少一個慣性感測器，其設置於該手套裝置上，該慣性感測器產生一電腦可用的運動資料，以判定該手套裝置之一定位或該手套裝置之定位變化。
  5. 如申請專利範圍第1項之系統，其中複數個虛擬物件中之每一者具有一相應觸覺輪廓，且每一觸覺輪廓定義該虛擬物件之屬性，且該虛擬物件之屬性可包括以下各項中之一或多者：對固持之回應、對移動之回應、對壓碎之回應、對搖擺之回應、對下落之回應、對感覺之回應、對摩擦之回應、對擠壓之回應、對按壓之回應、對打碎之回 應、對撞擊之回應、對大小之定義、對溫度之定義、對重量之定義、與音訊回饋相關聯之定義、與壓力或紋理相關聯之定義、振動定義、表面平滑度、表面粗糙度、對阻力、漸變壓力或其中之兩者或兩者以上的組合之定義。
  6. 如申請專利範圍第1項之系統，其中該虛擬實境空間產生模組經組配來至少取決於一位置連續地產生用於該HMD之額外內容，當渲染該虛擬實境場景時，該HMD朝該位置移動，該額外內容進一步包括一或多個額外虛擬物件；其中每一額外虛擬物件包括一對應觸覺輪廓。
  7. 如申請專利範圍第1項之系統，其中壓力梯度定義如何驅動該使用者之手指上的多點壓力的應用，使得所述多點壓力的大小遵循壓力大小的非線性曲線。
  8. 如申請專利範圍第1項之系統，其中該觸覺輪廓基於驅動該多點壓力的該激活之該虛擬物件之特性定義遵循線性或非線性曲線的該觸覺回饋。
  9. 一種用於與由一電腦產生以便呈現於一頭戴顯示器上之一虛擬實境場景介接的周邊裝置，其包含，一觸覺裝置，其能夠給一使用者給予觸覺回饋，該觸覺回饋包括接觸該周邊裝置之使用者的手指的一部份上的壓力梯度；以及一觸覺回饋控制器，其用於處理用以將一觸覺訊號輸出至該觸覺裝置之指令，該觸覺回饋控制器使用用於輸出該觸覺訊號一虛擬物件之一觸覺輪廓，該觸覺回饋控制器 經組配來自該電腦接收該等指令以及自該電腦接收該虛擬物件之該觸覺輪廓，以使得當該虛擬實境場景呈現於該頭戴顯示器上時回應於該周邊裝置的一虛擬表示與該虛擬實境場景中之該虛擬物件的互動，該觸覺裝置之該觸覺回饋驅動多點壓力的激活，該多點壓力的大小在施加在該使用者的該手指的該部分之該壓力梯度上變化，該觸覺回饋控制器係組態以取決於該虛擬表示與在該虛擬實境場景中的該虛擬物件之間的該互動在一持續時間內以連續壓力維持該多點壓力；其中回應於使用該周邊裝置與該虛擬物件之額外互動，藉由該觸覺回饋控制器來修改該觸覺裝置之該觸覺回饋。
  10. 如申請專利範圍第9項之周邊裝置，其進一步包含一運動感測器，該運動感測器耦接至該觸覺回饋控制器，該運動感測器能夠偵測該周邊裝置相對於該虛擬物件之一運動，並且其中該觸覺回饋控制器能夠進一步修改該觸覺回饋以與該所偵測運動相一致。
  11. 如申請專利範圍第9項之周邊裝置，其中該觸覺輪廓包括以下各項中之至少一者：該虛擬物件之一形狀的一特性化、或該虛擬物件之一紋理的一特性化、或該虛擬物件之一運動的一特性化、或該虛擬物件之大小的一特性化、或該虛擬物件之物理的一特性化、或該虛擬物件之聲音的一特性化、或該虛擬物件之一振動的一特性化、由該虛擬物件實際上施加於該使用者上之一壓力量的一特性 化、或該虛擬物件與一第二虛擬物件之一接近度的一特性化、或其中之兩者或兩者以上之組合。
  12. 如申請專利範圍第9項之周邊裝置，其中該觸覺裝置包括以下各項中之至少一者：一壓縮氣體；一液體；一電動馬達；一線性馬達；一電磁鐵；一壓電裝置；一加熱元件；一冷卻元件；一或多個電活性聚合物；或一或多個相變材料。
  13. 如申請專利範圍第9項之周邊裝置，其中該觸覺裝置包括一流體。
  14. 如申請專利範圍第9項之周邊裝置，其進一步包含耦接至該觸覺回饋控制器之至少一個運動感測器。
  15. 如申請專利範圍第9項之周邊裝置，其中該觸覺裝置設置於一使用者能夠佩戴之一手套中，該手套包住接觸該使用者介面裝置的該使用者的手指。
  16. 如申請專利範圍第9項之周邊裝置，其中該觸覺裝置設置於該使用者能夠佩戴之一衣物製品中，該衣物製品包住接觸該使用者介面裝置的該使用者的手指。
  17. 一種模擬與呈現於一頭戴顯示器(HMD)中之一虛擬場景中的一虛擬物件接觸之一感受的方法，其包含：當與該虛擬場景介接時，追蹤一周邊裝置，該周邊裝置組態以接收該虛擬物件之觸覺輪廓；識別該虛擬場景中之該虛擬物件；訪問用於該虛擬物件之一觸覺輪廓；發送用於該觸覺物件之該觸覺輪廓至該周邊裝置；偵測該周邊裝置的一虛擬表示與該虛擬物件之間的一種類型的互動，且回應於該所偵測互動，向如該壓力梯度所定義之該周邊裝置施加一觸覺回饋，該觸覺回饋模擬與該虛擬物件接觸之一感受；其中該周邊裝置操作以使用該觸覺輪廓以驅動多點壓力之應用，該多點壓力的大小在該使用者的手指的一部分之該壓力梯度上變化，該周邊裝置係組態以取決於該虛擬表示與該虛擬物件之間的該互動在一持續時間內以連續壓力維持該多點壓力。
  18. 如申請專利範圍第17項之方法，其中追蹤該周邊裝置允許追蹤該周邊裝置相對於該虛擬場景中之該虛擬物件的定位，該所追蹤定位用來基於該觸覺輪廓判定互動之該類型及該觸覺回饋之一對應類型。
  19. 如申請專利範圍第17項之方法，其中該周邊裝置為該使用者的手指的一手套裝置，且該手套裝置包括一或多個觸覺裝置，該等觸覺裝置經組配來給該使用者之手給予該觸覺回饋，該方法進一步包含， 偵測該HMD中之移動；回應於該HMD中之該等所偵測移動來改變該虛擬場景，該虛擬場景之該等變化包括渲染一第二虛擬物件，該第二虛擬物件與一第二觸覺輪廓相關聯。
  20. 如申請專利範圍第17項之方法，其中該周邊裝置為一手套裝置，且該手套裝置包括一或多個觸覺裝置，該等觸覺裝置經組配來給包括手指之使用者的手給予該觸覺回饋。
  21. 如申請專利範圍第19項之方法，其中該虛擬物件及該第二虛擬物件為複數個虛擬物件之部分，其中複數個虛擬物件中之每一者具有一相應觸覺輪廓，且每一觸覺輪廓定義該虛擬物件之屬性，且該虛擬物件之屬性可包括以下各項中之一或多者：對固持之回應、對移動之回應、對壓碎之回應、對搖擺之回應、對下落之回應、對感覺之回應、對摩擦之回應、對擠壓之回應、對按壓之回應、對打碎之回應、對撞擊之回應、對大小之定義、對溫度之定義、對重量之定義、與音訊回饋相關聯之定義、與壓力或紋理相關聯之定義、振動定義、表面平滑度、表面粗糙度、對阻力、漸變壓力或其中之兩者或兩者以上的組合之定義。
  22. 如申請專利範圍第20項之方法，其中該等觸覺裝置中之至少一者由以下各項定義：一壓縮氣體；一液體； 一電動馬達；一線性馬達；一電磁鐵；一壓電裝置；一加熱元件；一冷卻元件；一或多個電活性聚合物；或一或多個相變材料。
TW105105120A 2015-03-20 2016-02-22 用於處理用於頭戴顯示器(hmd)之內容的系統，用於與由電腦產生以便呈現於hmd上之虛擬實境場景介接的周邊裝置，及模擬與呈現於hmd中之虛擬場景中的虛擬物件接觸之感受的方法 TWI672168B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/664,740 US10296086B2 (en) 2015-03-20 2015-03-20 Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US14/664,740 2015-03-20

Publications (2)

Publication Number Publication Date
TW201642943A TW201642943A (zh) 2016-12-16
TWI672168B true TWI672168B (zh) 2019-09-21

Family

ID=55436188

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105105120A TWI672168B (zh) 2015-03-20 2016-02-22 用於處理用於頭戴顯示器(hmd)之內容的系統，用於與由電腦產生以便呈現於hmd上之虛擬實境場景介接的周邊裝置，及模擬與呈現於hmd中之虛擬場景中的虛擬物件接觸之感受的方法

Country Status (4)

Country Link
US (1) US10296086B2 (zh)
CN (1) CN107636605B (zh)
TW (1) TWI672168B (zh)
WO (1) WO2016153618A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126267B2 (en) 2019-12-19 2021-09-21 Giantplus Technology Co., Ltd Tactile feedback device and operation method thereof
TWI750818B (zh) * 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體
US11514617B2 (en) 2020-08-14 2022-11-29 Htc Corporation Method and system of providing virtual environment during movement and related non-transitory computer-readable storage medium

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2643574T3 (es) * 2014-03-05 2017-11-23 Markantus Ag Dispositivo que se lleva puesto en el dedo para proporcionar entradas de usuario
US11009948B2 (en) * 2015-03-13 2021-05-18 Woojer Ltd. Transceiver network fabric comprising micro-magnets and micro-coils
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
WO2016205143A1 (en) * 2015-06-14 2016-12-22 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with hmd systems
US9776084B2 (en) * 2015-06-15 2017-10-03 Oculus Vr, Llc Virtual reality system with camera shock-mounted to head-mounted display
US10528138B2 (en) 2015-11-06 2020-01-07 Facebook Technologies, Llc Virtual reality garment capable of jamming user movement
US10564722B2 (en) * 2015-11-20 2020-02-18 Facebook Technologies, Llc Restricting user movement via connecting tendons in a garment to a jamming mechanism
CN106371573B (zh) * 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
US10324530B2 (en) * 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
CN106371579B (zh) * 2015-12-24 2019-05-21 北京智谷睿拓技术服务有限公司 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统
US9846971B2 (en) * 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
WO2017126952A1 (es) * 2016-01-22 2017-07-27 Tzompa Sosa Alyed Yshidoro Guante háptico de realidad virtual con sistemas para la simulación de sensaciones de presion, textura y temperatura
US9971408B2 (en) * 2016-01-27 2018-05-15 Ebay Inc. Simulating touch in a virtual environment
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
US10587834B2 (en) 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
US20170269712A1 (en) * 2016-03-16 2017-09-21 Adtile Technologies Inc. Immersive virtual experience using a mobile communication device
US10551909B2 (en) * 2016-04-07 2020-02-04 Qubit Cross Llc Virtual reality system capable of communicating sensory information
KR20180112847A (ko) * 2016-04-07 2018-10-12 재팬 사이언스 앤드 테크놀로지 에이전시 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램
US10894204B2 (en) * 2016-05-04 2021-01-19 Contact Control Interfaces, LLC Exo-tendon motion capture glove device with haptic grip response
US10318004B2 (en) * 2016-06-29 2019-06-11 Alex Shtraym Apparatus and method for providing feedback at a predetermined distance
US20180046250A1 (en) * 2016-08-09 2018-02-15 Wipro Limited System and method for providing and modulating haptic feedback
US20180089583A1 (en) * 2016-09-28 2018-03-29 Intel Corporation Training methods for smart object attributes
KR102369905B1 (ko) * 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR20180052330A (ko) 2016-11-10 2018-05-18 삼성전자주식회사 햅틱 효과를 제공하기 위한 방법 및 그 전자 장치
FR3058803B1 (fr) * 2016-11-17 2019-02-01 Inria Institut National De Recherche En Informatique Et En Automatique Accessoire de realite virtuelle
US10595012B2 (en) * 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
CN110199260B (zh) * 2016-12-06 2023-03-24 瑞典爱立信有限公司 生成触觉模型
US10427039B2 (en) * 2016-12-08 2019-10-01 Immersion Corporation Haptic surround functionality
WO2018116544A1 (ja) * 2016-12-19 2018-06-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3340012A1 (en) * 2016-12-26 2018-06-27 CaptoGlove International Limited Haptic interaction method, tool and system
IL290002B2 (en) * 2016-12-29 2023-10-01 Magic Leap Inc Automatic control of a wearable display device based on external conditions
GB2559547A (en) * 2017-02-02 2018-08-15 Sony Interactive Entertainment Europe Ltd Head-mounted apparatus and systems
GB2560004B (en) * 2017-02-24 2020-11-25 Sony Interactive Entertainment Inc Virtual reality
GB2560003B (en) * 2017-02-24 2021-08-18 Sony Interactive Entertainment Inc Virtual reality
CN106873719A (zh) * 2017-03-08 2017-06-20 深圳市瑞尔时代科技有限公司 一种用于三维实体场景预演布局的穿戴式装置
CN108693956B (zh) * 2017-04-07 2022-03-15 腾讯科技（深圳）有限公司 力学反馈装置及方法，虚拟现实交互附件的控制方法
US11543879B2 (en) * 2017-04-07 2023-01-03 Yoonhee Lee System for communicating sensory information with an interactive system and methods thereof
KR102077230B1 (ko) 2017-04-14 2020-02-14 (주)피지정보통신 가상현실 및 증강현실을 위한 글러브
US10467456B2 (en) 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
CN106951098A (zh) * 2017-05-22 2017-07-14 杨怀宁 一种vr系统触感手套装置及其实现方法
KR101826911B1 (ko) * 2017-05-31 2018-02-07 주식회사 네비웍스 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
CN110832436A (zh) * 2017-06-21 2020-02-21 惠普发展公司，有限责任合伙企业 感觉反馈
US10572011B2 (en) * 2017-06-30 2020-02-25 Microsoft Technology Licensing, Llc Haptic feedback system
DE102017211266A1 (de) 2017-07-03 2019-01-03 Robert Bosch Gmbh Verfahren zur Fernübertragung einer Hand- und/oder Fingerbewegung
US11068058B2 (en) * 2017-07-11 2021-07-20 Htc Corporation Control method and immersive system for generating haptic feedback
US10474236B1 (en) * 2017-09-13 2019-11-12 Facebook Technologies, Llc Haptic device for variable bending resistance
CN111065987B (zh) 2017-09-25 2023-07-28 惠普发展公司，有限责任合伙企业 增强现实系统、增强现实输入设备和计算机可读存储介质
US10845876B2 (en) * 2017-09-27 2020-11-24 Contact Control Interfaces, LLC Hand interface device utilizing haptic force gradient generation via the alignment of fingertip haptic units
CN109697001B (zh) * 2017-10-24 2021-07-27 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质、电子装置
WO2019113243A1 (en) * 2017-12-07 2019-06-13 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
EP3732672A4 (en) * 2017-12-27 2021-09-15 Adesanya, Olaoluwa O. PORTABLE COMPUTER DEVICE FOR AUGMENTED REALITY, VIRTUAL REALITY AND ARTIFICIAL INTELLIGENCE INTERACTIONS, AND RELATED PROCESSES
US10481680B2 (en) 2018-02-02 2019-11-19 Disney Enterprises, Inc. Systems and methods to provide a shared augmented reality experience
US20220083138A1 (en) * 2018-02-23 2022-03-17 Wai Pong MOK Virtual Reality Input and Haptic Feedback System
US11181984B2 (en) * 2018-02-23 2021-11-23 Wai Pong MOK Virtual reality input and haptic feedback system
US10572016B2 (en) * 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US20190279284A1 (en) * 2018-03-09 2019-09-12 Walmart Apollo, Llc Virtual reality haptic device
CN108319372A (zh) * 2018-03-16 2018-07-24 京东方科技集团股份有限公司 一种虚拟设备及方法
US10546431B2 (en) 2018-03-29 2020-01-28 Disney Enterprises, Inc. Systems and methods to augment an appearance of physical object for an augmented reality experience
US20190302881A1 (en) * 2018-03-29 2019-10-03 Omnivision Technologies, Inc. Display device and methods of operation
KR102045891B1 (ko) * 2018-04-05 2019-11-18 포항공과대학교 산학협력단 재질감 제공 장치 및 방법
US11455035B2 (en) * 2018-04-19 2022-09-27 Hewlett-Packard Development Company, L.P. Inputs to virtual reality devices from touch surface devices
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
CN112041789A (zh) * 2018-05-21 2020-12-04 株式会社和冠 位置指示设备及空间位置指示系统
US10665067B2 (en) * 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
US11740697B1 (en) 2018-06-19 2023-08-29 Meta Platforms Technologies, Llc Vibrotactile devices, systems, and related methods
KR102101483B1 (ko) * 2018-06-25 2020-04-16 한국과학기술연구원 가상 객체 조작을 위한 촉각 자극 생성 장치 및 이를 구비한 시스템
CN110658910A (zh) * 2018-06-29 2020-01-07 深圳市掌网科技股份有限公司 数据衣、数据衣控制系统以及方法
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
US11360558B2 (en) * 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
TWI672611B (zh) 2018-07-23 2019-09-21 宏碁股份有限公司 使用仿生韌帶之觸覺回饋系統
GB2575820B (en) * 2018-07-24 2022-11-30 Sony Interactive Entertainment Inc Robot interaction system and method
US10713907B2 (en) * 2018-07-27 2020-07-14 Autodesk, Inc. Haptic device for mixed reality environments
CN109085922B (zh) * 2018-07-27 2021-02-12 北京航空航天大学 一种多元触觉融合反馈手柄
TWI687257B (zh) * 2018-09-25 2020-03-11 香港商維亞科技國際有限公司 虛擬實境之遊戲系統、處理器及虛擬遊戲場景移動方法
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
CN109375772B (zh) * 2018-10-23 2021-04-16 北京航空航天大学 一种多元触觉反馈手套
CN109343711B (zh) * 2018-10-23 2020-07-17 北京航空航天大学 一种移动式多元触觉融合反馈装置
CN113168229A (zh) * 2018-12-07 2021-07-23 索尼集团公司 触觉感测及温度反馈系统
CN109364471A (zh) * 2018-12-12 2019-02-22 歌尔科技有限公司 一种vr系统
EP3677997B1 (en) * 2019-01-03 2021-10-13 HTC Corporation Electronic system and controller
US10437340B1 (en) 2019-01-29 2019-10-08 Sean Sullivan Device for providing thermoreceptive haptic feedback
US10852827B1 (en) 2019-03-25 2020-12-01 Facebook Technologies, Llc Tactile simulation of initial contact with virtual objects
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
US10916061B2 (en) 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
CN110333776A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种基于穿戴设备的军事装备操作训练系统及方法
US10907658B1 (en) * 2019-06-04 2021-02-02 Facebook Technologies, Llc Fluidic power transmission apparatuses for haptics systems and related methods
WO2020251566A1 (en) * 2019-06-12 2020-12-17 Hewlett-Packard Development Company, L.P. Extended reality grasp controller
CN110286760B (zh) * 2019-06-19 2023-05-12 重庆城市管理职业学院 一种用于虚拟现实的力反馈控制方法及装置
JP2022536994A (ja) * 2019-06-21 2022-08-22 リアルウェア，インコーポレーテッド モジュラーヘッドマウント周辺機器プラットフォーム
US11506905B2 (en) 2019-06-21 2022-11-22 Realwear, Inc. Hinged head-mounted display
US11677103B2 (en) 2019-06-21 2023-06-13 Realwear, Inc. Auxilary battery system for a head-mounted display
US10918949B2 (en) 2019-07-01 2021-02-16 Disney Enterprises, Inc. Systems and methods to provide a sports-based interactive experience
US11020656B2 (en) 2019-07-16 2021-06-01 Joshua Roehrig Handheld tactile simulator system for enhancing the motion picture viewing experience
CN112449210A (zh) * 2019-08-28 2021-03-05 北京字节跳动网络技术有限公司 声音处理方法、装置、电子设备及计算机可读存储介质
US11024134B2 (en) * 2019-09-16 2021-06-01 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Systems and methods to allow operators to sense distance and/or direction using haptic feedback
TWI727421B (zh) * 2019-09-16 2021-05-11 藏識科技有限公司 混合實境系統
US11467668B2 (en) * 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11416065B1 (en) * 2019-11-08 2022-08-16 Meta Platforms Technologies, Llc Synthesizing haptic and sonic feedback for textured materials in interactive virtual environments
US11030865B1 (en) * 2019-12-13 2021-06-08 Facebook Technologies, Llc Systems and methods for delivering a plurality of haptic effects
US11043219B1 (en) * 2019-12-20 2021-06-22 Capital One Services, Llc Removal of identifying traits of a user in a virtual environment
CN111273773B (zh) * 2020-01-17 2022-08-16 合肥工业大学 一种头戴式vr环境的人机交互方法及系统
CN111282265A (zh) * 2020-02-07 2020-06-16 网易（杭州）网络有限公司 游戏中虚拟对象的获取方法、装置、电子设备及存储介质
CN111338475A (zh) * 2020-02-24 2020-06-26 瑞声科技(新加坡)有限公司 一种应用于智能鞋的模拟交互控制装置及方法
CN111338481B (zh) * 2020-02-28 2023-06-23 武汉灏存科技有限公司 基于全身动态捕捉的数据交互系统及方法
CN111462335B (zh) * 2020-03-18 2023-12-05 Oppo广东移动通信有限公司 基于虚拟对象交互的设备控制方法及装置、介质和设备
US11003247B1 (en) 2020-03-20 2021-05-11 Microsoft Technology Licensing, Llc Deployable controller
CN111632370B (zh) * 2020-05-20 2024-02-27 东北石油大学 虚拟现实中手部阻力处理方法和装置
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
US11460293B2 (en) * 2020-09-25 2022-10-04 Apple Inc. Surface quality sensing using self-mixing interferometry
TWI756950B (zh) * 2020-11-30 2022-03-01 友達光電股份有限公司 顯示裝置及觸覺回饋方法
US11609636B2 (en) 2020-12-14 2023-03-21 Jonathan P. Nieman Virtual reality glove
EP4016167A1 (en) * 2020-12-17 2022-06-22 Roche Diagnostics GmbH A laboratory analyzer
CN112698721A (zh) * 2020-12-24 2021-04-23 上海科技大学 基于手势的虚拟现实物体交互系统
US11938402B2 (en) * 2021-05-03 2024-03-26 Rakuten Mobile, Inc. Multi-player interactive system and method of using
CN113467617A (zh) * 2021-07-15 2021-10-01 北京京东方光电科技有限公司 触觉反馈方法、装置、设备及存储介质
CN113963609B (zh) * 2021-09-23 2022-11-15 四川大学 一种基于vr技术的神经外科手术模拟操作模型
RU2762857C1 (ru) * 2021-10-15 2021-12-23 Федеральное государственное бюджетное образовательное учреждение высшего образования "Самарский государственный медицинский университет" Министерства здравоохранения Российской Федерации Устройство формирования общей чувствительности в виртуальной среде
WO2023092229A1 (en) * 2021-11-26 2023-06-01 Lululemon Athletica Canada Inc. Method and system to provide multisensory digital interaction experiences
WO2023179421A1 (zh) * 2022-03-24 2023-09-28 北京字跳网络技术有限公司 头戴式设备的手柄以及头戴式设备
CN114860082A (zh) * 2022-05-30 2022-08-05 歌尔股份有限公司 手柄控制方法、装置及计算机可读存储介质
CN115202471A (zh) * 2022-06-21 2022-10-18 京东方科技集团股份有限公司 一种全身姿态追踪及触觉设备及虚拟现实系统
CN117298590A (zh) * 2022-06-21 2023-12-29 腾讯科技（深圳）有限公司 一种虚拟现实的交互方法、相关装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
US20140336669A1 (en) * 2013-05-08 2014-11-13 Samsung Electronics Co., Ltd. Haptic gloves and surgical robot systems
CN204129657U (zh) * 2014-08-25 2015-01-28 席东民 一种虚拟触觉产生装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4710020A (en) 1986-05-16 1987-12-01 Denning Mobil Robotics, Inc. Beacon proximity detection system for a vehicle
US5184319A (en) * 1990-02-02 1993-02-02 Kramer James F Force feedback and textures simulating interface device
US5631861A (en) * 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
US6407817B1 (en) 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
US5516249A (en) * 1994-05-10 1996-05-14 Technical Research Associates, Inc. Exoskeleton with kinesthetic feedback and robotic control
US5912700A (en) 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6152854A (en) * 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
JPH10176919A (ja) * 1996-12-18 1998-06-30 Olympus Optical Co Ltd 形状入力装置
US6042555A (en) * 1997-05-12 2000-03-28 Virtual Technologies, Inc. Force-feedback interface device for the hand
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US20030158699A1 (en) 1998-12-09 2003-08-21 Christopher P. Townsend Orientation sensor
US7779015B2 (en) 1998-12-18 2010-08-17 Microsoft Corporation Logging and analyzing context attributes
JP4493113B2 (ja) 1999-01-29 2010-06-30 株式会社リコー プロジェクタおよび投影画像補正装置
JP2003514234A (ja) 1999-11-12 2003-04-15 ゴー・センサーズ・エルエルシー 画像測定方法および装置
JP4268308B2 (ja) 2000-03-22 2009-05-27 株式会社キーエンス 光電スイッチ
JP4032603B2 (ja) 2000-03-31 2008-01-16 コニカミノルタセンシング株式会社 ３次元計測装置
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US7138976B1 (en) * 2000-07-13 2006-11-21 Rutgers, The State University Of New Jersey Hand force feedback and sensing system
US6836560B2 (en) 2000-11-13 2004-12-28 Kla - Tencor Technologies Corporation Advanced phase shift inspection method
US6831263B2 (en) 2002-06-04 2004-12-14 Intel Corporation Very high speed photodetector system using a PIN photodiode array for position sensing
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
GB2372656A (en) 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
US20030233870A1 (en) 2001-07-18 2003-12-25 Xidex Corporation Multidimensional sensing system for atomic force microscopy
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US7038661B2 (en) 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US7606665B2 (en) 2003-08-29 2009-10-20 Honeywell International Inc. System and method for employing an aided-alignment mode to align an inertial reference system
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
DE112005000738T5 (de) 2004-03-29 2007-04-26 Evolution Robotics, Inc., Pasadena Verfahren und Vorrichtung zur Positionsbestimmung unter Verwendung von reflektierten Lichtquellen
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
KR100643304B1 (ko) 2005-02-15 2006-11-10 삼성전자주식회사 관성 센서 보정 장치 및 방법, 그리고, 상기 방법을 기록한기록 매체
JP5028751B2 (ja) 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP4857196B2 (ja) 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US11325029B2 (en) 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
KR101001617B1 (ko) * 2007-12-17 2010-12-17 한국전자통신연구원 가상 모바일 정보기기의 사용성 평가 시스템 및 그 방법
US9285459B2 (en) 2008-05-09 2016-03-15 Analog Devices, Inc. Method of locating an object in 3D
CN103250203B (zh) * 2011-01-13 2015-07-01 英派尔科技开发有限公司 使用电流变流体的触觉反馈装置
US8791901B2 (en) 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
US8724206B2 (en) 2012-09-28 2014-05-13 Google Inc. Photo-chromic coating for optics
US20140160162A1 (en) 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US20140349762A1 (en) * 2013-03-15 2014-11-27 Alfred M. Haas Gtg
US9468847B2 (en) * 2014-04-30 2016-10-18 Umm Al-Qura University Tactile feedback gloves
FR3025919B1 (fr) * 2014-09-12 2021-03-19 Thales Sa Interface homme-machine pour la gestion de la trajectoire d'un aeronef
US9652038B2 (en) * 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
US20140336669A1 (en) * 2013-05-08 2014-11-13 Samsung Electronics Co., Ltd. Haptic gloves and surgical robot systems
CN204129657U (zh) * 2014-08-25 2015-01-28 席东民 一种虚拟触觉产生装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126267B2 (en) 2019-12-19 2021-09-21 Giantplus Technology Co., Ltd Tactile feedback device and operation method thereof
US11514617B2 (en) 2020-08-14 2022-11-29 Htc Corporation Method and system of providing virtual environment during movement and related non-transitory computer-readable storage medium
TWI791261B (zh) * 2020-08-14 2023-02-01 宏達國際電子股份有限公司 在移動中提供虛擬環境的方法與系統以及非暫態電腦可讀取儲存媒體
TWI750818B (zh) * 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體

Also Published As

Publication number Publication date
CN107636605A (zh) 2018-01-26
TW201642943A (zh) 2016-12-16
US10296086B2 (en) 2019-05-21
US20160274662A1 (en) 2016-09-22
WO2016153618A1 (en) 2016-09-29
CN107636605B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
TWI672168B (zh) 用於處理用於頭戴顯示器(hmd)之內容的系統，用於與由電腦產生以便呈現於hmd上之虛擬實境場景介接的周邊裝置，及模擬與呈現於hmd中之虛擬場景中的虛擬物件接觸之感受的方法
US11724177B2 (en) Controller having lights disposed along a loop of the controller
US11813517B2 (en) Gaming device with rotatably placed cameras
JP6538897B2 (ja) 空間感知を備えるゲーム機
US10503269B2 (en) Pinch and hold gesture navigation on a head-mounted display
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
US10022625B2 (en) Peripheral devices having dynamic weight distribution to convey sense of weight in HMD environments
CN108292040B (zh) 优化头戴式显示器屏幕上的内容定位的方法
JP2022024100A (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
EP3429714A1 (en) Spectator view tracking of virtual reality (vr) user in vr environments