TW201619807A - 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 - Google Patents

用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 Download PDF

Info

Publication number
TW201619807A
TW201619807A TW105106268A TW105106268A TW201619807A TW 201619807 A TW201619807 A TW 201619807A TW 105106268 A TW105106268 A TW 105106268A TW 105106268 A TW105106268 A TW 105106268A TW 201619807 A TW201619807 A TW 201619807A
Authority
TW
Taiwan
Prior art keywords
user
processor
tactile
elements
display
Prior art date
Application number
TW105106268A
Other languages
English (en)
Other versions
TWI581173B (zh
Inventor
茱麗安 麥克 爾巴哈
Original Assignee
茱麗安 麥克 爾巴哈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/829,918 external-priority patent/US20140267005A1/en
Priority claimed from US13/830,190 external-priority patent/US9235968B2/en
Priority claimed from US13/830,370 external-priority patent/US9773332B2/en
Application filed by 茱麗安 麥克 爾巴哈 filed Critical 茱麗安 麥克 爾巴哈
Publication of TW201619807A publication Critical patent/TW201619807A/zh
Application granted granted Critical
Publication of TWI581173B publication Critical patent/TWI581173B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種可配戴計算裝置包括一或多個目鏡,其中之每一者更包括圍繞一顯示螢幕的一撓性框架及配置於顯示螢幕之周邊上的觸覺元件。該等觸覺元件將觸覺反饋提供給使用者,其係與顯示螢幕上的顯示同步。一偵測系統也包括在撓性框架中以監控配戴者之眼睛和眼窩的移動及回應該等偵測的移動而執行各種任務。也耦接至可配戴計算裝置的一種視覺皮質思想偵測器獲得關於配戴者之思想的資訊,及基於該獲得的資訊來處理顯示螢幕上的顯示。

Description

用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 【交叉參照相關應用】
本申請書主張於2013/3/14申請之美國非臨時專利申請書第13/829,918號,標題為「Eye Piece for Augmented and Virtual Reality」、於2013/3/14申請之美國非臨時專利申請書第13/830,190號,標題為「Tactile Elements for a Wearable Eyepiece」、及於2013/3/14申請之美國非臨時專利申請書第13/830,370號,標題為「Visual Cortex Thought Detector Interface」的優先權,其在此是以引用方式併入本文供參考。
本發明關於用於產生和操縱擴增或虛擬實境顯示的系統及方法。
不斷增加之微處理器的計算能力和資料傳送系統的精密已允許如平板電腦和智慧型手機的可攜式裝置發展到其取代傳統桌上型和膝上型電腦而成為個人計算與商業目的之較佳裝置的程度。在進一步演進中,已出現能夠呈現額外資訊(例如,從網際網路)的可配戴計算裝置,其能增強使用者的真實世界觀看經驗。擴增實境眼鏡係用以在眼睛之視野上產生重疊以呈現額外資訊或從真實世界收集和記錄資訊。為瞭解決對這類可 攜式裝置的處理需求,使用雲端計算系統,以在中央位置、距使用者遠端處執行關聯於資料操縱的處理密集型任務,同時在各種可攜式裝置之間分散處理任務的結果。
本發明關於一種可配戴計算系統,其與觸覺反饋同步提供於本地或從網路來源取得的內容。可配戴計算裝置包含至少一可配戴目鏡。可配戴目鏡更包括一撓性框架,構成用於配接一人類配戴者之一眼窩形狀,使得在框架與眼窩之間實質上阻擋周圍光線傳送。顯示螢幕係固定至框架中的一孔洞,使得配接撓性框架形狀的顯示涵蓋眼睛的視野。促成處理資料及在顯示螢幕上產生顯示的第一處理器和用於儲存程式邏輯的處理器可讀儲存媒體也包含在可配戴計算系統內。另外,複數個觸覺元件對配置於撓性框架上的該程式邏輯起反應,觸覺元件通訊耦接第一處理器且回應於顯示螢幕上的顯示而可被第一處理器選擇性啟動。因此,觸覺元件控制邏輯係包括在儲存於處理器可讀儲存媒體上的程式邏輯中,且可被第一處理器執行,用於控制觸覺元件。
在一實施例中,撓性框架包括一眼墊,使得複數個觸覺元件係配置於眼墊的框邊上。眼墊促成與眼窩相配及阻隔周圍光線。在一實施例中,撓性框架更包括一鼻樑構件,其包含第一處理器。撓性框架也包括一收發器,使得收發器接收和發送通訊信號。至少一揚聲器和一麥克風也配置於撓性框架上,使得揚聲器產生音頻信號且麥克風可操作用於接收音頻輸入。
在一實施例中,可配戴計算系統包含兩可配戴目鏡,並排配 置且配置以與人類配戴者的兩個眼窩之每一者相配。
在一實施例中,一偵測模組,其偵測有關配戴者之眼窩與眼睛的移動。在一實施例中,偵測模組包括一相機。在一實施例中,偵測模組也包含複數個觸覺元件。
在一實施例中,程式邏輯更包括影像操縱邏輯,其係由第一處理器執行,用於回應於偵測模組所偵測的移動而控制顯示螢幕上的顯示。在一實施例中,程式邏輯也包括一觸覺元件映射邏輯,其係由第一處理器執行,用於將複數個觸覺元件之每一者映射至投射於顯示螢幕上之一影像的不同部分,使得啟動影像之一部分會啟動該等觸覺元件之每一者。
在一實施例中,揭露一種提供內容的方法。方法包含藉由一處理器來對一使用者顯示在固定至一可配戴計算裝置的一撓性框架之一顯示螢幕上的視覺內容。撓性框架係採用與使用者之至少一眼睛的一形狀相配配置來接合。方法更包括藉由處理器來對使用者提供使用者之眼睛周圍的觸覺反饋,觸覺反饋係與視覺內容同步提供。在一實施例中,觸覺反饋係藉由啟動附接撓性框架的觸覺元件,例如,藉由振動或加熱觸覺元件的至少一子集來提供。
在一實施例中,將該等觸覺元件之每一者映射至包含在視覺內容中的一虛擬使用者之一特定部分,且與視覺內容同步提供觸覺反饋更包括基於視覺內容中的虛擬使用者之特定部分的經驗來啟動特定觸覺元件之特定一些者。
在一實施例中,方法更包括藉由處理器來偵測一或多個眼睛及眼睛周圍之臉部肌肉的移動,及回應所偵測的移動而執行特定任務。在 一實施例中,偵測眼睛及臉部肌肉的移動更包括藉由處理器從一相機收集關於眼睛及臉部肌肉之一或多者之移動的資料。處理器所執行之特定任務至少包含藉由處理器,基於所偵測的移動來操縱顯示螢幕上的顯示。在一實施例中,處理器所執行之特定任務也能包含藉由處理器,將每個觸覺元件映射至包含在視覺內容中的一虛擬使用者之一特定部分;及回應所偵測的移動而操縱包含在視覺內容中的一虛擬使用者之特定部分。
在一實施例中,揭露一種非暫態電腦可讀儲存媒體,包含處理器可執行指令。儲存媒體包含指令,其使處理器對一使用者顯示視覺內容在固定至一可配戴計算裝置的一撓性框架之一顯示螢幕上,撓性框架係採用與使用者之至少一眼睛的一形狀相配配置來接合。指令也使處理器對使用者提供使用者之眼睛周圍的觸覺反饋,觸覺反饋係與視覺內容同步提供。
在一實施例中,觸覺反饋係藉由處理器啟動附接撓性框架的觸覺元件,例如,藉由振動或加熱觸覺元件的至少一子集來提供。在一實施例中,該等觸覺元件之每一者映射至包含在視覺內容中的一虛擬使用者之一特定部分,且與視覺內容同步提供觸覺反饋更包括基於視覺內容中的虛擬使用者之特定部分的經驗來啟動觸覺元件之特定一些者。
在一實施例中,方法更包括藉由處理器來偵測一或多個眼睛及眼睛周圍之臉部肌肉的移動,及回應所偵測的移動而執行特定任務。在一實施例中,偵測眼睛及臉部肌肉的移動更包括藉由處理器,從一相機收集關於眼睛及臉部肌肉之一或多者之移動的資料。處理器所執行之特定任務至少包含藉由處理器基於所偵測的移動以操縱顯示螢幕上的顯示。在一 實施例中,處理器所執行之特定任務也能包含藉由處理器,將該等觸覺元件之每一者映射至包含在視覺內容中的一虛擬使用者之一特定部分;及回應於所偵測的移動而操縱包含在視覺內容中的一虛擬使用者之特定部分。
在一實施例中,揭露一種系統,包含至少一觸覺元件,其安裝於一可配戴目鏡的一撓性框架。至少一觸覺元件係安裝於可配戴目鏡之一顯示螢幕的周邊上。觸覺元件係通訊耦接一處理器且撓性框架係構成用於配接一人類配戴者之一眼窩形狀,使得周圍光線被阻擋。觸覺元件包括一底座、一頸部和一頭部,觸覺元件在底座附接撓性框架,使得觸覺元件的頭部係接觸配戴者的皮膚。一雙向致動機構包括一載流線圈、一對磁鐵、及一信號接觸板,其包含在觸覺元件的底座內。雙向致動機構係構成用於致動觸覺元件及偵測配戴者之眼窩中的肌肉移動。
在一實施例中,雙向致動機構更包括一球形體,在信號接觸板內,用於致動觸覺元件。至少一磁鐵係附接球形體。球形體和信號接觸板係經配置,使得球形體能沿著信號接觸板內的複數個軸自由地旋轉。在一實施例中,系統能更包括複數個揚聲器。連接導線連接球形體與複數個揚聲器,且一凝膠墊係經配置,使得凝膠墊係與配戴者接觸且揚聲器的表面係位於凝膠墊中。在一實施例中,觸覺元件包括一加熱元件。
在一實施例中,至少一觸覺元件包含複數個觸覺元件。複數個觸覺元件的一子集具有與配戴者之皮膚接觸的表面,其係以不同於與複數個觸覺元件的一不同子集之配戴者之皮膚接觸的表面之方式來構造。在一實施例中,觸覺元件係一吸盤。在一實施例中,觸覺元件係在撓性框架上的一針孔。
在一實施例中,揭露一種提供內容的方法。方法包含提供一觸覺元件在一可配戴目鏡的一撓性框架上,其係配接一人類配戴者之一眼窩形狀,使得周圍光線被阻擋。方法更提出藉由一處理器來與顯示於可配戴目鏡之一顯示螢幕上的視頻內容同步啟動觸覺元件;及藉由偵測由於實體致動而在包含在觸覺元件內之一線圈中所引起的電流以偵測眼窩的肌肉移動所造成之觸覺元件的實體致動。
在一實施例中,與視頻內容同步地啟動觸覺元件更包括藉由處理器透過包含在觸覺元件內的一線圈引起電流以振動觸覺元件。在一實施例中,與視頻內容同步啟動觸覺元件更包括藉由處理器來加熱包含在觸覺元件內的一加熱元件。在一實施例中,與視頻內容同步啟動觸覺元件更包括藉由處理器經由吸引配戴者之皮膚的觸覺元件來產生吸力。在一實施例中,與視頻內容同步啟動觸覺元件更包括藉由處理器透過包含在觸覺元件內的揚聲器將音頻反饋提供至配戴者。
在一實施例中,揭露一種電腦可讀儲存媒體。電腦可讀媒體包含指令,當一處理器執行該等指令時使處理器與顯示於一可配戴目鏡之一顯示螢幕上的視頻內容同步啟動一觸覺元件;及偵測眼窩的肌肉移動所造成之觸覺元件的實體致動。觸覺元件係固定至一可配戴目鏡的一撓性框架,其係配接一人類配戴者之一眼窩形狀,使得周圍光線被阻擋。
在一實施例中,揭露一種系統,包含至少一可配戴目鏡。目鏡包括一撓性框架;一顯示螢幕,其固定至框架中的一孔洞;及一視覺皮質輸入偵測模組,其附接撓性框架,用於偵測來自配戴者之視覺皮質的輸入。撓性框架係構成用於配接一人類配戴者之一眼窩形狀,使得在框架與 眼窩之間實質上阻擋周圍光線傳送。與視覺皮質輸入偵測模組通訊的第一處理器更包括在系統中,使得第一處理器促成處理輸入,及基於儲存於也包含在系統內之處理器可讀儲存媒體上的程式邏輯來產生一顯示在顯示螢幕上。
在一實施例中,程式邏輯包括一視覺皮質顯示產生邏輯,用以基於來自配戴者之視覺皮質的輸入來產生一顯示在顯示螢幕上。視覺皮質顯示產生邏輯更包括虛擬使用者操縱邏輯,用以基於來自配戴者之視覺皮質的輸入來操縱顯示於顯示螢幕上的一虛擬使用者。程式邏輯也包括一視覺皮質輸入儲存邏輯,用於儲存來自視覺皮質的輸入在一電腦可讀儲存媒體中;及一輔助顯示產生邏輯,用以基於從不同於配戴者之一第二使用者的一視覺皮質獲得之儲存的輸入來產生顯示。
在一實施例中,系統更包括複數個觸覺元件,其附接撓性框架,觸覺元件與第一處理器通訊耦接且回應於顯示螢幕上的顯示而被第一處理器選擇性啟動。觸覺元件操縱邏輯係包含在程式邏輯內且被第一處理器執行,用以基於來自配戴者之視覺皮質的輸入來操縱觸覺元件。
在一實施例中,揭露一種提供內容的方法。方法包含各種處理器可執行步驟,其包括:藉由一第一處理器獲得來自一第一使用者之一視覺皮質的輸入當作電信號;解譯電信號以產生來自第一使用者之視覺皮質的輸入之一圖像,且基於圖像以對第一使用者顯示或儲存視覺內容之至少一者在一顯示螢幕上。顯示螢幕係固定至一可配戴計算裝置的一撓性框架,撓性框架係採用與第一使用者之至少一眼睛的一形狀相配配置來接合。在一實施例中,能儲存基於圖像的視覺內容。在一實施例中,視覺內 容係圖像。在一實施例中,顯示包括一虛擬使用者。在一實施例中,基於圖像來對第一使用者顯示視覺內容更包括在獲得來自視覺皮質的輸入之前,藉由第一處理器,使用輸入來操縱顯示給第一使用者的一顯示。在一實施例中,操縱一顯示更包括藉由第一處理器,基於來自視覺皮質的輸入以改變包含在顯示中之一元件的一視覺屬性。在一實施例中,視覺內容包括一圖案,其獲得當作來自第一使用者之視覺皮質的輸入。方法更包括藉由第一處理器,基於來自視覺皮質的輸入來啟動附接撓性框架的一觸覺元件。
根據一實施例,方法也包含藉由一第二處理器,將視覺內容傳送至不同於第一使用者的一第二使用者。在一實施例中,第二處理器不同於第一處理器。方法更包括第二處理器所執行的步驟。步驟包含:接收來自第二使用者之一視覺皮質的輸入;藉由基於來自第二使用者之視覺皮質的輸入改變視覺內容以產生新視覺內容;及儲存新視覺內容在一處理器可讀儲存媒體中。
在一實施例中,揭露一種電腦可讀儲存媒體,包含處理器可執行指令。當一處理器執行該等指令時使處理器獲得來自一第一使用者之一視覺皮質的輸入當作電信號,藉由解譯電信號以產生來自第一使用者之視覺皮質的輸入之一圖像;及基於固定至一可配戴計算裝置的一撓性框架之一顯示螢幕上的圖像來顯示視覺內容。撓性框架係採用與第一使用者之至少一眼睛的一形狀相配配置來接合。
藉由參考下面的詳細說明及附圖,本領域之那些通常技藝者將清楚明白這些和其他實施例。
100‧‧‧可配戴計算系統
102‧‧‧使用者
104‧‧‧目鏡
106‧‧‧目鏡
108‧‧‧橋接元件
110‧‧‧觸覺元件
114‧‧‧顯示螢幕
116‧‧‧顯示螢幕
124‧‧‧框架
126‧‧‧框架
152‧‧‧點
154‧‧‧點
156‧‧‧點
158‧‧‧點
204‧‧‧眼墊
206‧‧‧眼墊
220‧‧‧視覺皮質思想偵測器
222‧‧‧帶子
232‧‧‧端部
234‧‧‧端部
302‧‧‧目鏡環結構
304‧‧‧孔洞
306‧‧‧近視圖
402‧‧‧視圖
404‧‧‧視圖
406‧‧‧視圖
408‧‧‧視圖
410‧‧‧底座部分
412‧‧‧頸部
414‧‧‧頭部
420‧‧‧圖案
502‧‧‧信號接觸板
504‧‧‧揚聲器陣列
506‧‧‧凝膠墊
508‧‧‧磁鐵
510‧‧‧球形體
516‧‧‧線圈
520‧‧‧連接導線
522‧‧‧框邊
532‧‧‧揚聲器
534‧‧‧揚聲器
536‧‧‧揚聲器
540‧‧‧部分
542‧‧‧揚聲器
544‧‧‧揚聲器
546‧‧‧揚聲器
600‧‧‧虛擬使用者
602‧‧‧頭部
604‧‧‧觸覺元件
700‧‧‧處理器
702‧‧‧輸入/輸出(I/O)模組
704‧‧‧控制模組
706‧‧‧成像模組
730‧‧‧顯示螢幕
740‧‧‧音頻元件
750‧‧‧儲存媒體
760‧‧‧電源
770‧‧‧收發器
780‧‧‧偵測系統
810‧‧‧遠端伺服器
820‧‧‧網路
在附圖中,並未按比例繪製,且在全部圖式中的相同參考編號表示類似元件,其中:第一A圖係採用根據本發明之實施例之可配戴計算系統/裝置之人類使用者的圖示;第一B圖顯示具有可配戴計算系統之使用者的輪廓;第二A圖係顯示根據本發明之實施例之面向使用者的可配戴計算系統之另一視圖的圖示;第二B圖係顯示持包含視覺皮質思想偵測器的可配戴計算系統之使用者的圖示;第三圖係顯示根據本發明之實施例之觸覺元件110之一些示範細節的圖示;第四圖係顯示根據本發明之實施例之觸覺元件的各種視圖;第五圖係顯示根據本發明之實施例之該等觸覺元件110之一者的截面之示意圖;第六圖係顯示根據本發明之實施例之提供給使用者之複數個觸覺元件的圖示,觸覺反饋係與包含虛擬使用者的特定顯示同步;第七圖係描繪根據本發明之實施例之可配戴計算裝置內的某些示範模組之方塊圖;第八圖顯示根據本發明之實施例之與遠端伺服器通訊的可配戴計算裝置之示意圖;第九圖顯示例示根據實施例之如被可配戴計算裝置執行之對使用者 提供內容的方法之實施例的流程圖;第十圖顯示例示根據實施例之如可配戴計算裝置執行之對使用者提供互動式內容的方法之實施例的流程圖;第十一圖顯示例示根據實施例之如可配戴計算裝置執行之對使用者提供互動式內容的方法之實施例的流程圖;第十二圖顯示例示提供與包含虛擬使用者之顯示同步之觸覺反饋的處理器可執行方法之實施例的流程圖1200。
現將在下面參考附圖來更充分說明主題,附圖形成主題之一部分且透過舉例說明來顯示具體示範實施例。然而,可以各種各樣不同的形式來具體化主題,且因此,所涵蓋或主張的主題預期不被視為受限於本說明書所提出的任何示範實施例:示範實施例僅被提供為說明性的。同樣地,預期對所主張或涵蓋的主題有合理的廣泛範圍。此外,例如,主題可被實作為方法、裝置、元件、或系統。藉此,實施例可例如採取硬體、軟體、韌體或以上之任何組合的形式。由此,下面的詳細說明不打算採取限制意義。
在附圖中,可能誇大一些特徵以顯示特定元件的細節(且圖所示之任何尺寸、材料及類似細節認為是說明而不是限制)。因此,本說明書所揭露之特定結構和功能細節不應被解釋為限制,而是僅解釋為代表性基礎,用於說明本領域之技藝者各種各樣地採用所揭露的實施例。
以下參考方法和裝置的方塊圖和操作圖來說明本發明以選擇和呈現有關特定主題的媒體。應瞭解,方塊圖或操作圖之每個方塊、及 方塊圖或操作圖中的方塊組合能藉由類比或數位硬體和電腦程式指令來實作。這些電腦程式指令能被提供至通用電腦、專用電腦、ASIC、或其他可編程資料處理設備的處理器,以便經由電腦或其他可編程資料處理設備之處理器來執行的指令實作方塊圖或操作方塊所指定的功能/動作。
在一些其他實作中,方塊所附註之功能/動作能不根據操作圖所附註之順序而發生。例如,事實上,能實質上同時地執行順序所示之兩個方塊或有時能以相反順序來執行方塊,這取決於所涉及的功能/動作。再者,透過舉例來提出如本發明中的流程圖所呈現和描述之方法的實施例,以提供對本技術更完整的瞭解。所揭露之方法並不限於本說明書所呈現的操作和邏輯流程。考慮到其他實施例,其中各種操作的順序可改變且其中描述為較大操作之一部分的子操作係獨立進行。
計算裝置也許能夠例如經由有線或無線網路來發送或接收信號,或也許能夠依據實體記憶體狀態處理或儲存信號例如在記憶體中,且可因此操作如同伺服器。因此,能夠操作如同伺服器的裝置可包括例如專用機架式伺服器、桌上型電腦、膝上型電腦、機上盒、結合各種特徵(如上述裝置之二或更多特徵)的積體裝置、或之類。伺服器在配置或能力方面可能有很大的變化,但伺服器通常可包括一或多個中央處理單元和記憶體。伺服器也可包括一或多個大容量儲存裝置、一或多個電源、一或多個有線或無線網路介面、一或多個輸入/輸出介面、或一或多個作業系統,如Windows Server、Mac OS X、Unix、Linux、FreeBSD、或之類。
在整個說明書及申請專利範圍中,術語可具有超過明確規定含義的內文所建議或暗指之細微差別的含義。同樣地,如本說明書所使用 之「在一實施例中」的說法不一定係指相同實施例,且如本說明書所使用之「在另一實施例中」的說法不一定係指不同實施例。例如,預期所主張的主題包括全部或部分示範實施例之組合。一般而言,可從內文中的用法至少部分瞭解術語。例如,如本說明書所使用之「及」、「或」、或「及/或」的術語可包括多種含義,其可至少部分地取決於使用上述術語的內文。通常,「或」若用以關聯一系列,諸如A、B或C,係意指A、B、和C(在此用於包括意義)、以及A、B或C(在此用於互斥意義)。另外,如本說明書所使用之「一或多個」之詞至少部分地取決於內文可用來以單一意義描述任何特徵、結構、或特性,或可用來以複數意義描述特徵、結構、或特性之組合。同樣地,如「一」、或「該」之詞再次可被視為傳達單一用法或傳達複數用法,這至少部分取決於內文。此外,「基於」之詞可視為不必然傳達唯一的因素組,且相反地,允許存在不必然再次明確描述的額外因素,這至少部分地取決於內文。
近年來已出現雲端計算作為對付必須在行動計算的世界中執行處理器密集型任務之情況的解決方法。其係用於個人計算任務且被企業用於儲存和資料處理需求。在個人計算中,雲端上遊戲有鑑於圖形密集型遊戲系統所要求的高處理資源已獲得極大的普極性。在中央位置產生和呈現圖形且將所呈現的影像傳送至使用者裝置,藉此減少使用者裝置上之高端處理器的需求。
可配戴計算和網路裝置係計算世界的另一種新興態樣。能在配戴裝置之使用者的身體上攜帶這些可配戴裝置。儘管可配戴裝置能與外部顯示器搭配,但其通常包括其自己不同尺寸的顯示器以呈現資訊。在某 些實施例中,其設計成眼鏡,其藉由產生與適當資訊的重疊圖來擴增使用者之現有的真實世界視野。在所有各種實施例中,可配戴計算裝置需要使用者手勢,如點擊手指、碰擦表面或按下按鈕以執行各種任務,如打開或關閉顯示器、啟動應用程式、退出應用程式或連接另一裝置。
根據本說明書描述之各種實施例來揭露被設計如目鏡般可配戴的可配戴計算系統及與這類計算系統相關的方法。可配戴計算系統不僅被設計用來提供被動式音頻-視頻經驗,而且還用來提供與音頻-視頻經驗一致的觸覺反饋。計算系統也是互動式的,因為其接收來自計算系統之使用者或配戴者的輸入且對收到的輸入起反應。在一實施例中,能藉由監控配戴者之眼睛及被計算系統之撓性框架圍繞的眼窩來接收輸入。在一實施例中,能藉由監控在配戴者之視覺皮質中產生的電信號來接收輸入。
第一A圖係採用可配戴計算系統/裝置100之人類使用者102的圖示。計算系統包含兩對稱目鏡104和106,其之每一者係構成單獨使用或搭配另一對稱目鏡使用。在一實施例中,目鏡104、106皆能包含相同元件。在一實施例中,可配戴計算系統100的各種元件能不對稱地分佈於兩個目鏡104、106之間,使得每個目鏡104或106係構成用於除了對其他應用一起使用之外的特定用法。在一實施例中,目鏡104和106可拆卸地耦接至橋接元件108以促成靈活用法。每個目鏡104、106包含各別框架124、126,其包括各別顯示螢幕114和116,當一起使用目鏡104、106時,其對使用者102形成立體顯示。框架124、126係由撓性材料製成,如此其係構成用於配接使用者102的眼窩形狀,使得在框架與眼窩之間實質上阻擋周圍光線傳送。因此,框架124/126係構成以能夠以阻擋圍繞使用者102的周圍光線洩漏至使 用者102的視野之方式來順應使用者102之眼窩的形狀。在一實施例中,圍繞使用者102的周圍光線會是通常存在於具有或沒有可見光源之環境中的光線。因此,若使用者102正在虛擬實境環境中觀看顯示螢幕114、116上的內容,則使用者102能被完全地浸入於環境中且不會被來自使用者102之視野外部之環境的視野或外來光線干擾。在一實施例中,框架124和126可以是中空的且在其間具有空間,以允許可配戴計算系統100的各種元件部件之間的電氣互連。
在一實施例中,顯示螢幕114、116可以是撓性OLED(有機發光二極體)以便符合沿著撓性框架124、126的使用者102之臉部形狀。由於OLED顯示器在無背光下工作,因此可以比液晶顯示器(LCD)更薄和更輕且能在低周圍光線條件下實現較高對比度。有了足夠密集的顯示螢幕114、116及包含如雜訊消除特性之特徵的揚聲器或耳機或頭戴式耳機(未示出),使用者102能藉此與內容互動,例如在如身臨其境之電影院的環境中觀看電影或玩視頻遊戲而不管使用者102可位於的實際位置。在一實施例中,螢幕114、116能具有可變程度的不透明或透明度以易於在虛擬實境環境和擴增實境環境兩者中使用可配戴計算系統100。對OLED顯示螢幕114/116施加電荷能改變其在不同設定中使用的透明度。
可配戴計算系統100也額外包含複數個觸覺元件110,其將使用者102之眼睛周圍的觸覺反饋提供給使用者102,其中觸覺元件110接觸使用者102的皮膚。例如,觸覺元件的子集能將電能轉換成機械運動(如振動或其他形式的能量(如熱能))以將觸覺反饋提供給使用者102。在一實施例中,觸覺元件110係具有不同物理特性的小結構,其包括與框架124/126的實體和 電氣連接,如將於本說明書中進一步詳述。在一實施例中,觸覺元件110的至少一子集能夠獨立運動。在一實施例中,能同時採用所有觸覺元件110以提供觸覺反饋或能在任何時間選擇特定的觸覺元件110以將觸覺反饋提供給使用者102。能基於不同觸覺元件110中內建的功能,將各種觸覺反饋提供給使用者102。透過舉例說明而非限制,觸覺元件110的第一子集能包含加熱元件,觸覺元件的第二子集能是可移動或構成用於在不同頻率下振動,或觸覺元件的第三子集能施加壓力。再次,可瞭解,不同觸覺元件110能具有關聯於其的不同反饋機構或所有觸覺元件能各具有內建至其中的所有觸覺反饋機構,使得不同觸覺元件的組合能用以提供特定種類的觸覺反饋。
提供給使用者102的觸覺反饋與內容有關聯性,使得與如電影或視頻遊戲的顯示內容一致地啟動複數個觸覺元件110以將額外維度增加至使用者體驗。在一實施例中,各種觸覺元件110能映射至使用者102正與其互動或關聯之虛擬使用者(未示出)的不同部位,使得在虛擬世界中之虛擬使用者的經驗能經由觸覺元件110轉移給使用者102或使用者102體驗或感覺。於是,虛擬使用者所體驗的觸碰壓力、觸碰位置及觸碰肌理能轉移給使用者102作為在可配戴計算裝置100之沉浸式環境中的使用者體驗之一部分。虛擬使用者能另外與其他使用者的虛擬使用者互動且能基於使用者102的虛擬使用者與其他使用者的虛擬使用者之間的互動來進一步修改提供給使用者102的觸覺反饋。
使用者102能採用可配戴計算系統100,用於顯示及與各種類型的資料(如有關網頁或如電影或視頻遊戲之其他內容的文字、影像或視頻) 互動。在一實施例中,能從連接至包括可配戴計算系統100之區域網路(LAN)的控制台(未示出)播放內容。在一實施例中,能使用可配戴計算系統100中內建的通訊元件(未示出)直接從網際網路或經由與如膝上型電腦或蜂巢式電話之中間裝置的WiFi連線以將內容傳送至可配戴計算系統100。
在一實施例中,可配戴計算系統100不僅將內容及相關觸覺反饋提供給使用者102,而且還促成使用者102與內容互動。在一實施例中,可配戴計算系統100包含偵測模組(未示出),用以偵測使用者102的眼睛或眼窩之各種部位的移動,其促成使用者102與顯示內容互動,如將於下進一步詳述。在一實施例中,偵測模組能包括一相機及一光電二極體,用以追蹤使用者102的眼睛之各種部位的移動。例如,使用者102之眼球移動,使得使用者102看著顯示螢幕114/116上的小圖式一段預定時間週期便能有如滑鼠點擊的手勢作用,其能使處理器執行有關手勢的特定任務(如選擇小圖式)。同樣地,在上述選擇之後的使用者102之眼睛移動能使選定小圖式沿著使用者102之眼球移動的方向移動且使用者102隨後在特定第二點停止移動能用以在此特定點落下小圖式。偵測模組也能構成偵測可配戴計算系統100所涵蓋之眼窩的不同部位之移動的較精細差異或細微差別,如使用者102或配戴者閉上眼睛達不同時間週期、瞇眼、挑起一或多個眉毛。
在一實施例中,觸覺元件110也能構成為即使當對使用者102提供觸覺時仍偵測使用者移動之偵測模組的一部分。複數個觸覺元件110能具有為不同形狀之元件的子集,其包含不同類型的轉換器,收集有關使用者102之眼睛移動或眼部肌肉的姿勢的不同向量。例如,觸覺元件110也能包含與使用者102之臉部肌肉實體接觸的轉換器,用以偵測這類肌肉的移動 及產生能反饋回至處理器的對應電信號,且藉此能操縱顯示螢幕114、116上的顯示。在一實施例中,傳送電信號之觸覺元件的位置和信號強度能用以偵測使用者102之臉部肌肉的特定移動,其能映射以將特定輸入提供至處理器。各種眼睛移動和姿勢能由此被追蹤且映射至能用來以特定方式操縱內容之特定類型的輸入。因此,可配戴計算系統100能不需要或補充如操縱桿或資料手套的其他設備,其通常與這類可配戴計算系統一起使用來接收使用者輸入。
在一實施例中,可配戴計算系統100更包括思想偵測器(未示出),其偵測使用者102的思想及基於上述所記錄的思想來改變螢幕114、116上的顯示。在一實施例中,思想偵測器能包含經由接觸大腦之視覺皮質所位於的頭部之後方部分的導線來記錄大腦之電活動的元件。已知如EEG(腦波儀)的技術,其提供非侵入式地觀察人類大腦活動的方式。例如,如Emotiv EPOC之被提供來自Emotiv Lifescience之耳機及相關電腦介面的技術能適用於與可配戴計算系統100一起使用以記錄思想及操縱內容,如將於本說明書中進一步詳述。
根據一實施例,可配戴計算系統100能另外促成儲存使用者體驗、重建使用者體驗及交換使用者體驗。在一實施例中,使用者體驗能包含具有其相關音頻及觸覺反饋資料的內容項目。這允許使用者102經由可配戴電腦100來消費內容項目、與內容項目互動及改變內容項目以建立新內容項目,其能儲存在本地儲存裝置或LAN上的處理器可讀儲存器或「雲端」(其能構成位於距使用者102遠端處的一或多個伺服器且將內容傳送至可配戴計算裝置100)上的遠端處理器可讀儲存器之一或多者中。使用者102所建 立的上述新內容項目或使用者體驗能與其他使用者共享。例如,使用者102所消費的視頻遊戲能具有關聯於某些部分的某些觸覺反饋。若需要,使用者102能改變視頻遊戲以分層額外的觸覺反饋且儲存具有經改變之觸覺反饋資訊的視頻遊戲作為可進一步與其他使用者共享的使用者體驗。在一實施例中,所儲存/共享的使用者體驗能包含從外部來源獲得的額外內容。例如,從其他內容獲得的影像或聲音能被加入至特定內容項目。在一實施例中,能藉由有關可配戴計算系統100的思想偵測器從使用者102的思想獲得加入至使用者體驗的新內容。
第一B圖顯示具有可配戴計算系統100之使用者102的輪廓。可配戴計算系統100在複數個點接觸使用者102的皮膚。當可配戴計算系統100配接使用者102的眼窩形狀時,框架126符合使用者102的眼窩形狀且接觸使用者102之眼窩周圍的皮膚,如在第一B圖所示之截面輪廓所示的點152和154所指。形狀符合配置係操作以實質阻擋周圍光線洩漏至使用者102的視野。額外的接觸點包括點156、158,其中觸覺元件110接觸使用者102的皮膚。經由觸覺元件110來傳送至使用者102的各種觸覺能如此被使用者102感覺到,例如,在點156、158。
第二A圖係顯示當使用者102正將可配戴計算系統100配戴在他/她的身體上時面向使用者102的可配戴計算系統100之另一視圖的例示。撓性框架124、126各包括吸力機構或眼墊204、206,其促成可配戴計算系統/裝置100牢固附接使用者102的臉部,使得很少或沒有任何周圍光線洩漏至使用者102的視野中或洩漏至使用者102的眼睛與顯示螢幕114、116之間的空間中。另外,可配戴計算系統100能包括位於適當位置(如耳朵附近) 的揚聲器以便提供聲音反饋給使用者。可配戴計算系統100在橋接構件108內也能包括電源、一或多個處理器,用於執行如控制顯示螢幕114、116、提供WiFi、紅外線或其他無線通訊之任務、及如在可配戴計算系統100上控制如觸覺元件110的其他元件之其他處理任務。
透過例示說明而非限制,第二B圖顯示持有可配戴計算系統100之使用者102的輪廓,可配戴計算系統10包含能可拆卸地耦接至可配戴計算系統100(例如,經由如帶子222的耦接工具)的視覺皮質思想偵測器220。帶子222的兩端能以帶子222能環繞使用者102之頭部後方之方式來可拆卸地耦接至可配戴計算系統100的端部232和234。這種配置促成視覺皮質思想偵測器220記錄來自位於使用者102的大腦後側之視覺皮質的思想。雖然視覺皮質思想偵測器220顯示為一元件位於可配戴計算系統100之一部位且接觸使用者102之大腦的單一部分,但可瞭解這是非必要的。視覺皮質思想偵測器220能包括複數個感測器,其能接觸使用者102之大腦的複數個部分,依需要收集思想資訊。
在一實施例中,能在視覺皮質思想偵測器220內採用可用於EEG(腦波儀)的技術。腦細胞藉由交換微小電信號來彼此交談且EEG係在醫療領域中採用之用於記錄這類電活動的非侵入式程序。一些電極係位於人們頭皮上的不同點以偵測腦細胞之間的電流之離子流所引起的電壓波動。實驗已發現,當人們視覺上想像某事物時,他們的眼睛會以若他們實際上看著其想像之物件會移動的方式來移動。例如,若一個人想像摩天大樓,則此人的眼睛會以自上而下的方式來移動。同樣地,若此人想像火車,則此人的眼睛會從一側移至另一側。位於頭部背後的枕葉皮質(也稱為視覺皮 質)係人腦的第一區之其一者,從使用者102之眼睛進入的資訊會到達這裡且很多瞭解使用者102正看著什麼的工作在這裡繼續進行。有關腦活動的實驗也表明當人們想像或看著其心眼中之物件時,大腦的視覺皮質特別活躍。因此,視覺皮質思想偵測器220位於視覺皮質附近的使用者102之頭部的後方。然而,可配戴計算系統100能具有位於相對於大腦之其他部位的額外電極,用以從上述部位收集資訊以偵測使用者102之所想像的思想及/或影像且採用其來操縱可配戴計算系統100的顯示。
第三圖係顯示觸覺元件110之一些示範細節的圖示。複數個觸覺元件110係沿著包含在沿著孔洞304的周邊之眼墊204、206內的目鏡環結構302來配置。當在可配戴計算系統100中使用眼墊204、206之一者時,孔洞304將包括顯示螢幕114/116。複數個觸覺元件110能具有不同結構細節以提供不同的觸覺。透過例示說明而非限制,不同的觸覺元件能由不同的材料製成,如目鏡環302的近視圖306所示地彎成不同角度或具有不同的接觸表面。觸覺元件110之結構的這種可變性促成產生不同的壓力層級或提供關聯於給使用者102的觸覺反饋所提供之感覺的不同接觸區域或不同肌理。在一實施例中,不同的觸覺元件110可具有不同形狀且能以不同方式來配置於框架124/126上。例如,能配置觸覺元件110,使得觸覺元件110的長度從一觸覺元件到相鄰元件逐漸地改變或觸覺元件的傾斜角度能如在306的框架124上所示地逐漸改變。
第四圖例示根據本發明之實施例之觸覺元件110之一者400的各種視圖。在不同實施例中,觸覺元件110能由彈性聚合物或金屬或其組合製成(如塗有以凝膠填充之聚合物皮膚的金屬臂),其包括某種程度的彈性 以不僅承受當提供觸覺反饋時產生的振動,而且傳送使用者102所產生的振動作為不同類型的使用者輸入。
視圖402、404、406和408一起顯示觸覺元件110之一者的環視圖。尤其是,406和408係402和404如分別從視野A和B之點看去的截面圖。每個觸覺元件400具有底座部分410、頸部412和頭部414。在一實施例中,觸覺元件400從底座部分410中心至頭部414頂端的整個長度能大約在1-3公分之間變化。在一實施例中,不同的觸覺元件基於其在框架124/126上的位置及觸覺元件可以接觸的區域而會具有不同長度。底座部分410將觸覺元件400連接至目鏡104/106的框架124/126。在一實施例中,底座部分410係中空的,以允許將觸覺元件400電性耦接至可配戴計算系統100的其他部件,如橋接部分108中的處理器。因此,底座部分410不僅促成將觸覺元件400實體連接至框架124/126,而且也促成將觸覺元件400電性耦接至可配戴計算系統100的其他部件。
頸部部分412將底座部分410連接至觸覺元件400的頭部414。不同觸覺元件110能具有關聯於頸部部分的不同長度。各種觸覺元件110也能使其的頸部彎成不同角度以根據觸覺反饋來改變提供給使用者102的感覺種類。在一實施例中,頸部412也可以是中空的,以將頭部414電性耦接至可配戴計算系統100的其他部件。在一實施例中,頸部412可以是將頭部414連接至底座部分410的實心結構。
觸覺元件400的頭部414係接觸使用者102之皮膚以提供觸覺反饋。在一實施例中,頭部414能利用類似觸覺元件400之其他部分的材料製成,但能使用特定圖案420構成以在使用者之皮膚上提供特定類型的感 覺。不同圖案能形成於不同觸覺元件的頭部部分上,如顯示用於觸覺元件110的頭部部分。在一實施例中,頭部414能由與觸覺元件400之其他部件不同的材料配置。在一實施例中,頭部414能由與觸覺元件400之其餘部分相同的材料製成,但能塗有或披覆另一材料。在一實施例中,不同觸覺元件110的頭部部分能根據不同實施例來構成以建立各種類型的觸覺。
如上述,觸覺元件110也可以是系統用以偵測使用者之臉部肌肉移動的部分。透過例示說明而非限制,使用者102的皮膚移動會造成觸覺元件110的移動。由此,能偵測和記錄使用者102的反應屬性,如臉部肌肉移動的強度和持續時間。能基於使用者移動的屬性來提供包括一或多個視覺、音頻或觸覺模式的不同反饋。
第五圖係顯示根據本發明之實施例之觸覺元件110之一者(例如,400)的截面之示意圖。如上述,觸覺元件400包含中空底座部分410、頸部412和頭部414。底座部分410不僅將觸覺元件400連接至目鏡102/104的框架,而且收容致動機構。致動機構能以雙向方式來配置,使得不僅將觸覺反饋提供給使用者102,而且經由使用者102之眼睛周圍之肌肉所執行的各種移動來收集使用者輸入。頸部412將底座連接至頭部414,以便能致動頭部414來提供適當的觸覺反饋,或相反地,能偵測頭部414的移動來記錄使用者輸入的必要屬性。
根據一實施例,致動機構包含一信號接觸板502,其係形狀配合地接觸球形體510以形成球和插口接合。球形體510不僅能夠沿著通過A的各軸自由地旋轉,而且也能沿著信號接觸板502內的不同軸傾斜。當電流通過線圈516時,連同電線圈516的一對磁鐵508對旋轉球形體510提供機械 致動。這對磁鐵508之一者係附接旋轉球形體510,而另一磁鐵固定至底座410的底部。相反地,當旋轉球形體510由於使用者輸入(例如,使用者102移動與觸覺元件400接觸之眼窩的肌肉)所造成之頭部414和頸部412的機械運動而移動時,這對磁鐵508也用以在線圈516中感應電流。
包括框邊522的連接導線520係附接旋轉球形體510且運行通過頸部412的長度、及互連其中各種元件之頭部414的至少一部分。藉由將電流流過線圈516以在信號接觸板502內旋轉球形體510,因此拉或推連接導線520,藉此沿著垂直軸XY致動頸部412和頭部414。除了提供機械致動之外,連接導線520也能包括用於揚聲器陣列504的電連接。
在一實施例中,揚聲器陣列504能包括一或多個揚聲器532、534和536,其係配置以提供觸覺反饋,如振動。在一實施例中,所傳送的振動促成骨傳導,使得音頻反饋也能透過陣列504中的一或多個揚聲器來提供。能瞭解揚聲器532、534和536能構成用以基於觸覺元件110的位置經由骨傳導的音頻反饋。例如,與眼窩之較軟肌肉部分(如眼睛下方)接觸的觸覺元件110可不構成用於經由骨傳導的音頻反饋,而位於接觸使用者102之眉或骨鼻樑的框架124/126之上部的觸覺元件能根據本說明書描述之實施例而構成用於骨傳導。不同的揚聲器532、534和536在尺寸和功率屬性方面能有所不同以基於揚聲器504陣列之每一者的功率和接觸區域來提供各種各樣的觸覺振動。在一實施例中,頭部414能由塑膠及/或未接觸使用者102的皮膚之部分540的金屬組合來製成,而揚聲器542、544和546的正面係配置於凝膠墊506內以為使用者102提供較軟的感受。在一實施例中,凝膠墊506能包含額外元件(如加熱元件(未示出))以對使用者102提供額外類型的觸覺反 饋。
可瞭解,第四圖和第五圖中的結構僅透過例示說明而非限制來顯示且觸覺元件110能構成具有根據本說明書所詳述之實施例之其他結構。例如,觸覺元件110能構成為在框架124、126上之包含球形或圓柱形或其他形狀的突出物。在一實施例中,複數個觸覺元件110之不同者可具有不同形狀且能以不同方式來配置於框架124/126上,如上所論述。在一實施例中,觸覺元件110能包含電吸盤以藉由拉扯使用者102的皮膚來提供特定類型的觸覺反饋。在一實施例中,觸覺元件110能包含位於框架124/126上的微小針孔。
第六圖係顯示將觸覺反饋提供給使用者102之複數個觸覺元件110的圖示,觸覺反饋係與包含虛擬使用者600的特定顯示同步。在本實施例中,映射複數個觸覺元件110之每一者以提供關聯於例如可有關使用者102的虛擬使用者600之虛擬世界體驗的觸覺反饋。複數個觸覺元件110之每一者係有關虛擬使用者600的身體部位之特定一者,使得若虛擬使用者600的特定身體部位(如頭部602)體驗虛擬世界中如使用者102在顯示螢幕114和116之一或多者上所見的特定感覺,則啟動映射至頭部602的觸覺元件604以在觸覺元件604與使用者102之右眼上方的區域之間的接觸點給予使用者102觸覺反饋。例如,若虛擬使用者600以他的頭部部位602來觸碰物件,則能啟動觸覺元件604以在接觸點上對使用者102的眉頭施加壓力。同樣地,能經由適當啟動一或多個觸覺元件110來將虛擬使用者600之熱、壓力、或另一生物或非生物體之觸碰或其他實體感覺的體驗提供給使用者102。可瞭解,僅透過舉例說明而非限制來顯示人類虛擬使用者600,且複數個觸覺元 件110能映射至其他生物或非生物虛擬使用者且上述虛擬使用者的虛擬世界體驗能不僅經由視覺或音頻頻道來轉送至使用者102,而且還作為透過觸覺元件110的觸覺。這能促成提供使用者102有關其他生物的觸覺(如鳥飛行)或有關非生物體的感覺(如賽車)。
在一實施例中,能使虛擬使用者600經由使用者102的眼睛和視線追蹤之移動與顯示於螢幕114/116上的虛擬世界互動。例如,凝視虛擬使用者600一段預定時間週期的使用者102能促成選擇用於互動的虛擬使用者600。同樣地,選擇之後在特定方向上移動視線能適當地移動虛擬使用者600且靜止地注視點一段預定時間能將虛擬使用者600固定於使用者102的視線正靜止的位置或挑起使用者102的眉毛能使虛擬使用者600跳躍。當眼睛快速移動時,有關上述使用者姿勢的時間週期約為數秒鐘的時間。觸覺反饋和姿勢映射能編程為可配戴計算系統100所提供的內容。例如,視頻遊戲應用或電影能被建立用於包含內建至其中之觸覺反饋及使用者互動機構的可配戴計算系統100。
在顯示虛擬使用者600的計算系統100包含一視覺皮質思想偵測器220之實施例中,能基於視覺皮質思想偵測器200所提供的輸入來操縱虛擬使用者600。如上述,能偵測和解譯使用者102之視覺皮質所產生的電信號以藉此改變虛擬使用者600的狀態。透過例示說明而非限制,虛擬使用者600能上下或側向移動,或能基於來自視覺皮質思想偵測器220的輸入來改變虛擬使用者600的尺寸。
第七圖係描述根據實施例之可配戴計算裝置100內的某些示範模組之方塊圖。應瞭解,可配戴計算系統/裝置100的某些實施例能包括比 第七圖所示更多或更少的模組。可配戴計算系統100包含處理器700、觸覺元件110、顯示螢幕730、視覺皮質思想偵測器200、音頻元件740、儲存媒體750、電源760、收發器770及偵測模組/系統780。儘管第七圖之示意圖,由於一顯示螢幕730而可配戴計算系統100顯示為包含單一目鏡。然而,可配戴計算系統100能包括具有顯示螢幕的兩個目鏡,其每一者可有本說明書描述之所有模組,或目鏡能構成一起使用且能包括上述模組之每一者以避免模組之重複。
可配戴計算系統100能構成包括位於適當位置(例如,位於橋接元件108)的處理器700。透過圖示說明,處理器700更包括輸入/輸出(I/O)模組702、控制模組704及成像模組706。而且,應瞭解,雖然只顯示了一處理器700,但可配戴計算系統100能包括多重處理器或處理器700能包括特定任務子處理器。例如,處理器700能包括一通用子處理器,用於控制包含在可配戴計算系統100內的各種設備、及專用圖形處理器,用於產生和操縱顯示螢幕730上的顯示。包含在處理器700內的I/O模組702能構成接收來自各種元件之不同類型的輸入,如來自偵測系統780的使用者姿勢輸入、來自視覺皮質思想偵測器220的使用者思想輸入、或來自如麥克風之音頻元件740的音頻輸入。處理器700也能從本地儲存媒體750或經由收發器770從遠端伺服器(未示出)接收與內容相關的輸入以顯示於顯示螢幕上。處理器700能另外從觸覺元件110接收關於被觸覺元件110監控的使用者之肌肉移動的輸入作為偵測系統780的一部分。處理器700也配置以將適當的輸出提供至可配戴計算系統100的不同模組及如遠端伺服器(未示出)的其他網路資源。
由此從不同模組接收的各種輸入可由提供反應輸出之處理 器700的控制模組704內之適當的編程或處理邏輯處理,如將於下進一步詳述。程式邏輯能儲存於記憶體單元中,即在主機板上,處理器700或程式邏輯能儲存於外部處理器可讀儲存裝置/媒體750中且能依據需要而被處理器700載入。在一實施例中,除了觸覺元件控制邏輯之外,處理器700還能執行程式邏輯以在顯示螢幕730上顯示由遠端伺服器傳送的內容,以採適當方式啟動相關的觸覺元件110且與所顯示內容同步地對使用者提供觸覺反饋。有關啟動觸覺元件110的命令能從遠端伺服器被提供內容,且儲存於儲存媒體750上且由處理器700執行的觸覺元件控制邏輯能解譯命令以適當地啟動觸覺元件110。
在一實施例中,也包含在處理器內的成像模組706能包括程式邏輯(如處理器700所執行的顯示操縱邏輯)以基於從偵測系統780和視覺皮質思想偵測器220之一或多者獲得的輸入來建立或操縱顯示。從偵測系統780接收的輸入係與眼睛追蹤和使用者102之眼睛周圍的肌肉運動相關。基於眼球運動的方向或眼睛周圍之肌肉運動的方向和力量,成像模組706的顯示操縱邏輯能執行各種任務,其一般係由滑鼠或操縱桿或其他使用者輸入機構執行。於是,使用者102能執行有關計算裝置的任務,如藉由移動他/她的眼睛或眼睛周圍的肌肉來產生文字或影像資料。
在另一實施例中,能採用成像模組706來改變現有的顯示,基於從視覺皮質思想偵測器220接收的輸入來產生顯示中的新元件。例如,使用者102能閉上他/她的眼睛來想像具有特定色彩的幾何圖案。儘管偵測系統780也許不能夠以閉上使用者的眼睛且沒有任何肌肉運動地提供使用者輸入給處理器700,但視覺皮質思想偵測器200仍能獲得關於使用者102之想 像的資訊,且成像模組706能執行來顯示使用者的想像在顯示螢幕730上。在一實施例中,成像模組706能執行程式邏輯以重建使用者102的想像在顯示螢幕730上。在一實施例中,來自視覺皮質思想記錄器220的輸入能被收發器770傳送至遠端伺服器(未示出),其中上述輸入被解譯且基於上述輸入的顯示被建立並傳送回可配戴計算系統100。在此情況下,採用成像模組706來對使用者102顯示上述收到的顯示在顯示螢幕730上。在一實施例中,I/O模組702能進一步構成儲存視覺皮質偵測器220所獲得的上述使用者體驗/想像在本地儲存裝置750或遠端伺服器(未示出)上。
第八圖顯示與遠端伺服器810通訊的可配戴計算裝置100之示意圖。包括在可配戴計算裝置100中的收發器770促成可配戴計算裝置100經由網路雲端820與遠端伺服器810通訊。根據不同實施例,遠端伺服器810能配置以執行如本說明書所詳述的各種任務。在一實施例中,可配戴計算裝置100傳送來自遠端伺服器810的內容,其能包括與同步觸覺反饋資訊關聯的音頻/視頻(AV)內容。處理器700不僅顯示所傳送的AV內容,而且也啟動觸覺元件110對使用者102提供不同類型的感覺。可配戴計算系統100也構成偵測使用者反饋及執行任務,如操縱顯示或儲存所操縱的顯示在可配戴計算系統100的本地儲存器中或將使用者反饋傳送至遠端伺服器810以供進一步處理或儲存。
第九圖顯示例示如由可配戴計算裝置100執行之對使用者102提供內容的方法之實施例的流程圖900。方法從步驟902開始,經由顯示螢幕114/116及/或音頻元件740將內容提供給使用者102。在不同實施例中,提供給使用者102的內容能包含關聯於觸覺反饋資料的一或多個音頻和視 頻內容。根據本說明書描述之實施例,能從本地儲存裝置770或遠端伺服器810取得內容。在步驟904,也與內容一起取得提供觸覺反饋的指令。所收到的內容提供給使用者102且同時觸覺反饋經由啟動適當的觸覺元件110提供給使用者,如在906中所示。根據本說明書描述之實施例,在步驟906,能藉由啟動觸覺元件110來提供與生物和非生物體觸碰之壓力、熱、長時間或瞬間感覺的各種感受。
第十圖顯示例示如被可配戴計算裝置100執行之對使用者102提供互動式內容的方法之實施例的流程圖1000。此方法能連同上面第9圖該之方法一起執行。方法從步驟1002開始,使用本說明書描述之偵測模組/系統780來觀察或監控使用者102的眼睛移動及使用者之眼睛周圍的臉部移動。如在步驟1004,偵測眼睛的運動及/或眼睛姿勢。在步驟1006,判斷使用者102的眼睛移動是否被映射至特定任務相關姿勢。不限於閉上眼睛一段預定時間週期,上述姿勢能包括張大眼睛、在特定方向上以特定速度移動眼睛、直盯著小圖式、挑起一或兩個眉毛、瞇眼或以上之組合。例如,在姿勢組合的情況下,使用者102盯著螢幕114/116上的物件一段預定時間週期能使物件被選擇且隨後在特定方向上移動眼睛能使物件以對應方式在螢幕上移動。有些姿勢會是不小心或無意的運動,其不反映任何使用者意圖。可配戴計算系統100能配置以例如藉由使特定姿勢關聯於預定時間週期來區分上述無意姿勢與有意姿勢。在步驟1006,若判定特定姿勢與特定任務相關,則在步驟1008,可配戴計算裝置100回應所偵測的眼睛姿勢或眼睛運動以執行上述任務,否則如在步驟1010所示忽略姿勢或運動。無論在哪種情況下,可配戴計算系統100都持續在步驟1002監控使用者移動。
第十一圖顯示例示如被可配戴計算裝置100執行之對使用者102提供互動式內容的方法之實施例的流程圖1100。方法從步驟1102開始,可配戴計算系統100接收使用者思想輸入。位於使用者102之頭部後方的視覺皮質能夠產生視覺圖像。若記錄來自使用者102之大腦的視覺皮質之電信號的儀器位於他/她的頭部後方,則能產生在使用者102之想像圖案或在使用者之大腦中視覺化之圖案的圖形圖像。因此,使用者能執行任務,如僅藉由視覺化適當的字母來產生文字輸入,且可配戴計算系統100將能夠偵測和產生被使用者102視覺化的文字文件。同樣地,使用者102能視覺化能被視覺皮質思想偵測器720偵測和播放的圖案、色彩或其他圖形。例如,使用者102能基於來自使用者102之大腦的電信號來視覺化虛擬使用者的垂直移動,藉此能移動虛擬使用者。如在步驟1104所示,解譯或偵測電信號以獲得有關如視覺皮質思想偵測器720所獲得的使用者102之思想輸入的圖案及/或色彩資訊。在步驟1106,產生使用者102之想像的圖形圖像且顯示於顯示螢幕114/116上,如步驟1108所示。
在一實施例中,第十一圖之方法能結合第九圖所概述之方法一起使用。能經由可配戴計算系統100將具有或沒有觸覺反饋的內容提供給使用者102,如第九圖詳述,且能使用使用者102的想像來改變所提供的內容,如第十一圖所詳述。根據使用者102之想像所改變的內容能顯示於顯示螢幕114/116上。
在一實施例中,視覺皮質思想偵測器720的功能能分佈於網路820,使得可配戴計算系統100的視覺皮質思想偵測器720只進行偵測來自使用者102之視覺皮質的電信號,而在伺服器810中進行其餘任務,如解譯 信號、播放使用者102的想像及根據所偵測的信號產生圖形。能藉由伺服器810來將由此產生的圖形傳送回至可配戴計算系統100以顯示於螢幕114/116上。
第十二圖顯示例示提供與包含虛擬使用者600之顯示同步之觸覺反饋的處理器可執行方法之實施例的流程圖1200。方法從步驟1202開始,其中對使用者102顯示包含虛擬使用者600的顯示,且在步驟1204,接收使用者輸入以操縱虛擬使用者600。如本說明書描述,能採用來自各種模組(如偵測系統/模組780)的輸入來操縱虛擬使用者600。在步驟1206,基於使用者輸入來操縱虛擬使用者600。例如,使用者102能以在特定方向上移動虛擬使用者600的方式來移動他的眼睛。在步驟1208,接收當基於使用者輸入所操縱之虛擬使用者600的體驗。例如,虛擬使用者600當基於使用者輸入移動時可進入與虛擬世界中的物件實體接觸,如上述。在步驟1210,識別虛擬使用者600被上述體驗影響的部位,且在步驟1212,判定對應於虛擬使用者600之受影響部位之複數個觸覺元件的觸覺元件。在步驟1214,基於虛擬使用者600的體驗,能啟動對應觸覺元件。在不同實施例中,能啟動複數個觸覺元件110或也能啟動複數個觸覺元件110的子集。在另一實施例中,能以特有方式來啟動不同觸覺元件以對使用者102提供各種觸覺。
應瞭解,在一實施例中,能藉由可配戴計算系統100來執行流程圖1200描述之程序。在一實施例中,能藉由可配戴計算系統100連同遠端伺服器810一起執行流程圖1200描述之程序。例如,可配戴計算系統100可操作以在步驟1202提供顯示、在步驟1204收集使用者輸入,及如步驟1206所示操縱虛擬使用者。所收集的使用者輸入能傳送至遠端伺服器810,該遠 端伺服器是在步驟1208接收虛擬使用者600之體驗,在步驟1210識別被輸入影響的虛擬使用者600的部分,且在步驟1212識別出對應於受影響部位的觸覺元件。在本實施例中,遠端伺服器810能將指令傳送至可配戴計算系統100以啟動對應於受影響部位的觸覺元件,如在步驟1214所示。
為了本發明之目的,電腦可讀媒體儲存電腦資料,其資料能包括為機器可讀形式之可被電腦執行的電腦程式碼。透過舉例而非限制,電腦可讀媒體可包含用於實體或不變之資料儲存的電腦可讀儲存媒體、或用於含碼信號之暫態解譯的通訊媒體。如本說明書所使用,電腦可讀儲存媒體係指實體或有形儲存(相對於信號),且包括但不限於以用於資訊(如電腦可讀指令、資料結構、程式模組或其他資料)之有形儲存的任何方法或技術實作的揮發性和非揮發性、可移除和不可移除媒體。電腦可讀儲存媒體包括,但不限於RAM、ROM、EPROM、EEPROM、快閃記憶體或其他固態記憶體技術、CD-ROM、DVD、或其他光儲存器、磁卡匣、磁帶、磁碟儲存器或其他磁儲存裝置、或任何其他實體或材料媒體,其能用以有形地儲存期望資訊或資料或指令且能被電腦或處理器存取。
為了本發明之目的,模組係軟體、硬體、或韌體(或以上之組合)系統、程序或功能、或以上之元件,其進行或促成本說明書描述之程序、特徵、及/或功能(具有或沒有人類互動或擴增)。模組能包括子模組。模組的軟體元件可儲存於電腦可讀媒體上。模組可以是構成一或多個伺服器整體所必需的、或由一或多個伺服器載入和執行。一或多個模組可分組至引擎或應用程式中。
熟諳此技者應瞭解本發明之方法和系統可以許多方式來實 作,且由此並不限於上述示範實施例和實例。換言之,在硬體和軟體或韌體的各種組合中,由單一或多個元件進行的功能元件和個別功能可分佈於位於客戶端或伺服器或兩者的軟體應用程式之間。在這方面,本說明書描述之不同實施例的一些特徵可併入單一或多重實施例中,且具有少於或多於本說明書描述之所有特徵的其他實施例係可能的。功能也可以現在已知或變成已知的方式來全部或部分地分佈於多個元件之間。因此,無數的軟體/硬體/韌體組合可能實現本說明書描述之功能、特徵、介面及偏好。此外,本發明之範圍涵蓋傳統已知的方式,用於執行該特徵和功能與介面、以及可根據現在和今後將被熟諳此技者所瞭解來對本說明書描述之硬體或軟體或韌體元件進行的那些變化和修改。
儘管已針對一或多個實施例來說明系統及方法,但應瞭解本發明不必限於所揭露之實施例。預期涵蓋包括在申請專利範圍之精神和範圍內的各種修改和類似配置,其範圍應被賦予最廣泛解釋以便包含所有這樣的修改和類似結構。本發明包括下列申請專利範圍的任何和所有實施例。
100‧‧‧可配戴計算系統
102‧‧‧使用者
104‧‧‧目鏡
106‧‧‧目鏡
108‧‧‧橋接元件
110‧‧‧觸覺元件
114‧‧‧顯示螢幕
116‧‧‧顯示螢幕
124‧‧‧框架
126‧‧‧框架

Claims (28)

  1. 一種用以擴增實境及虛擬實境之目鏡系統,包括:一可配戴目鏡,包括:一顯示螢幕,固定至一撓性框架中的一孔洞,使得一顯示以形狀配合的設置接合該撓性框架且該顯示涵蓋使用者的眼睛視野;一第一處理器,其促成處理資料及促成在該顯示螢幕上產生該顯示;複數個觸覺元件,配置於該撓性框架上且通訊耦接該第一處理器且藉由啟動配置於該撓性框架上之該等觸覺元件,經該第一處理器選擇性的啟動,提供觸覺反饋給該使用者,回應該顯示螢幕上的該顯示;及一雙向致動機構,包括一載流線圈、一對磁鐵、及一信號接觸板,該雙向致動機構係致動該等觸覺元件及偵測該使用者之該眼窩的肌肉移動。
  2. 如申請專利範圍第1項之目鏡系統,該撓性框架包括一眼墊,其促成配與該使用者的眼窩及阻隔該周圍光線,該等複數個觸覺元件係配置於該眼墊的框邊上。
  3. 如申請專利範圍第1項之目鏡系統,該撓性框架更包括一鼻樑構件,其包含該第一處理器。
  4. 如申請專利範圍第1項之目鏡系統,更包括兩可配戴目鏡,並排配置且構成配對使用者的兩眼睛之每一者。
  5. 如申請專利範圍第1項之目鏡系統,更包括: 一偵測模組,其偵測有關該使用者的眼睛的移動。
  6. 如申請專利範圍第5項之目鏡系統,該偵測模組包括一相機。
  7. 如申請專利範圍第5項之目鏡系統,該偵測模組包括該等複數個觸覺元件。
  8. 如申請專利範圍第1項之目鏡系統,該等觸覺元件包括轉換器,用以將電能轉換成機械運動。
  9. 如申請專利範圍第1項之目鏡系統,該等觸覺元件的一子集包括加熱元件。
  10. 如申請專利範圍第1項之目鏡系統,更包括:一收發器,其配置於該撓性框架上,該收發器接收及發送通訊信號。
  11. 如申請專利範圍第1項之目鏡系統,更包括一揚聲器,其配置於該撓性框架上,該揚聲器用於產生音頻信號。
  12. 如申請專利範圍第1項之目鏡系統,一麥克風配置於該撓性框架上,該麥克風用於接收音頻輸入。
  13. 一種提供內容的方法,包括:藉由一處理器,與顯示在一可配戴目鏡的一顯示螢幕上之視覺內容同步而選擇性地啟動一或更多的複數個觸覺元件;及藉由該處理器,透過啟動該使用者的眼睛周圍的該等觸覺元件,對該使用者提供觸覺反饋,該觸覺反饋係與該視覺內容同步提供。
  14. 如申請專利範圍第13項之方法,提供該觸覺反饋更包括:藉由該處理器來啟動附接一撓性框架的該等觸覺元件。
  15. 如申請專利範圍第14項之方法,啟動該等觸覺元件更包括: 藉由該處理器來振動該等觸覺元件的至少一子集。
  16. 如申請專利範圍第14項之方法,啟動該等觸覺元件更包括:藉由該處理器來加熱該等觸覺元件的至少一子集。
  17. 如申請專利範圍第14項之方法,更包括:藉由該處理器將該等觸覺元件之每一者映射至包含在該視覺內容中的一虛擬使用者之一特定部分。
  18. 如申請專利範圍第17項之方法,與該視覺內容同步地提供該觸覺反饋更包括:藉由該處理器基於該視覺內容中的該虛擬使用者之該特定部分的經驗來啟動該等觸覺元件之特定一者。
  19. 如申請專利範圍第13項之方法,更包括:藉由該處理器來偵測一或多個眼睛及該使用者的眼睛周圍之臉部肌肉的移動;藉由該處理器來回應於所偵測的該等移動而執行特定任務。
  20. 如申請專利範圍第19項之方法,偵測該等眼睛及臉部肌肉的移動更包括:藉由該處理器從一相機收集關於該等眼睛及該等臉部肌肉之一或多者之移動的資料。
  21. 如申請專利範圍第19項之方法,該處理器所執行之該等特定任務至少包括:藉由該處理器基於所偵測的該等移動來操縱該顯示螢幕上的一顯示。
  22. 如申請專利範圍第19項之方法,該處理器所執行之該等特定任務至少包括:藉由該處理器將該等觸覺元件之每一者映射至包含在該視覺內容中的一虛擬使用者之一特定部分;及藉由該處理器來回應所偵測的該等移動而操縱包含在該視覺內容中的一虛擬使用者之特定部分。
  23. 一種使用用以擴增實境及虛擬實境之目鏡的方法,包括:藉由一處理器,與顯示在一可配戴目鏡的一顯示螢幕上之視頻內容同步而選擇性地啟動一或更多的複數個觸覺元件;及藉由該處理器來偵測使用者的眼睛的肌肉移動所造成之該觸覺元件的實體致動。
  24. 如申請專利範圍第23項之方法,該觸覺元件與該視頻內容同步啟動更包括:藉由該處理器,藉由透過包含在該觸覺元件內的一線圈引起電流來振動該觸覺元件。
  25. 如申請專利範圍第23項之方法,與該視頻內容同步啟動該觸覺元件更包括:藉由該處理器來加熱包含在該觸覺元件內的一加熱元件。
  26. 如申請專利範圍第23項之方法,與該視頻內容同步啟動該觸覺元件更包括:藉由該處理器,經由吸引使用者之皮膚的該觸覺元件來產生吸力。
  27. 如申請專利範圍第23項之方法,與該視頻內容同步啟動該觸覺元件更 包括:藉由該處理器透過包含在該觸覺元件內的揚聲器將音頻反饋提供至該使用者。
  28. 如申請專利範圍第23項之方法,藉由該處理器來偵測該觸覺元件的該實體致動包括:藉由該處理器來偵測由於該實體致動而使包含於該觸覺元件內之一線圈中所引起的電流。
TW105106268A 2013-03-14 2014-03-14 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 TWI581173B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/829,918 US20140267005A1 (en) 2013-03-14 2013-03-14 Eye piece for augmented and virtual reality
US13/830,190 US9235968B2 (en) 2013-03-14 2013-03-14 Tactile elements for a wearable eye piece
US13/830,370 US9773332B2 (en) 2013-03-14 2013-03-14 Visual cortex thought detector interface

Publications (2)

Publication Number Publication Date
TW201619807A true TW201619807A (zh) 2016-06-01
TWI581173B TWI581173B (zh) 2017-05-01

Family

ID=51581260

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103109375A TWI530860B (zh) 2013-03-14 2014-03-14 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法
TW105106268A TWI581173B (zh) 2013-03-14 2014-03-14 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW103109375A TWI530860B (zh) 2013-03-14 2014-03-14 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法

Country Status (2)

Country Link
TW (2) TWI530860B (zh)
WO (1) WO2014152630A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680005B (zh) * 2017-01-16 2019-12-21 宏達國際電子股份有限公司 移動追蹤方法及移動追蹤系統

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
US9952652B2 (en) * 2014-12-04 2018-04-24 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
CN105786672B (zh) * 2016-03-10 2018-05-01 杨威 一种针对虚拟现实环境的监控系统及其监控方法
US10613630B2 (en) * 2016-09-30 2020-04-07 Sony Interactive Entertainment Inc. Temperature controlled headset apparatus
US10217186B2 (en) * 2017-02-15 2019-02-26 Htc Corporation Method, virtual reality apparatus and recording medium for displaying fast-moving frames of virtual reality
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
CN112438835B (zh) * 2019-08-28 2023-02-03 美国发现集团有限公司 一种纳米机器人的控制装置及控制系统
GB2619955A (en) * 2022-06-23 2023-12-27 Sony Interactive Entertainment Inc Haptic system and method
CN115542545B (zh) * 2022-09-19 2023-06-20 北方工业大学 一种基于注意力跟踪交互的vr医学仿真训练装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244539A (ja) * 1992-02-26 1993-09-21 Sony Corp メガネ型ディスプレイ
WO1996007947A1 (en) * 1994-08-31 1996-03-14 Virtual I/O, Inc. Personal display system
JPH08266477A (ja) * 1995-03-31 1996-10-15 Sony Corp 表示装置
JP2000210468A (ja) * 1999-01-20 2000-08-02 Namco Ltd ゲ―ム装置
JP2003125313A (ja) * 2001-10-18 2003-04-25 Canon Inc 振動機付きヘッドマウントディスプレイ
US20070060830A1 (en) * 2005-09-12 2007-03-15 Le Tan Thi T Method and system for detecting and classifying facial muscle movements
JP5460111B2 (ja) * 2009-04-21 2014-04-02 株式会社タイトー 温度が変化する入力操作装置ならびに該入力操作装置を用いるプログラム
US9129295B2 (en) * 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
JP5472746B2 (ja) * 2010-09-28 2014-04-16 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680005B (zh) * 2017-01-16 2019-12-21 宏達國際電子股份有限公司 移動追蹤方法及移動追蹤系統

Also Published As

Publication number Publication date
TWI581173B (zh) 2017-05-01
TWI530860B (zh) 2016-04-21
WO2014152630A1 (en) 2014-09-25
TW201443760A (zh) 2014-11-16

Similar Documents

Publication Publication Date Title
TWI581173B (zh) 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法
US11921913B2 (en) Generating and providing immersive experiences to users isolated from external stimuli
US9235968B2 (en) Tactile elements for a wearable eye piece
US20140267005A1 (en) Eye piece for augmented and virtual reality
US9773332B2 (en) Visual cortex thought detector interface
AU2022398468A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240104859A1 (en) User interfaces for managing live communication sessions
US20230384860A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20230306695A1 (en) Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
Rakkolainen et al. State of the Art in Extended Reality—Multimodal Interaction
Bhowmik Virtual and augmented reality: Human sensory‐perceptual requirements and trends for immersive spatial computing experiences
EP4443275A1 (en) Input methods performed at wearable devices, and systems and methods of use thereof
US20240192765A1 (en) Activation force detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
US20240077946A1 (en) Systems and methods of generating high-density multi-modal haptic responses using an array of electrohydraulic-controlled haptic tactors, and methods of manufacturing electrohydraulic-controlled haptic tactors for use therewith
US20240338908A1 (en) Techniques and graphics-processing aspects for enabling scene responsiveness in mixed-reality environments, including by using situated digital twins, and systems and methods of use thereof
US20240329738A1 (en) Techniques for determining that impedance changes detected at sensor-skin interfaces by biopotential-signal sensors correspond to user commands, and systems and methods using those techniques
Bhowmik Senses, Perception, and Natural Human‐Interfaces for Interactive Displays
US11399074B2 (en) Devices, systems, and methods for modifying features of applications based on predicted intentions of users
US20240329749A1 (en) Easy-to-remember interaction model using in-air hand gestures to control artificial-reality headsets, and methods of use thereof
CN118805154A (zh) 用于提供多种保真度水平的输入功能的硬件无关的输入框架及其系统和使用方法
WO2024064280A1 (en) User interfaces for managing live communication sessions
WO2024206498A1 (en) Techniques for determining that impedance changes detected at sensor-skin interfaces by biopotential-signal sensors correspond to user commands, and systems and methods using those techniques
WO2024211653A1 (en) Techniques and graphics-processing aspects for enabling scene responsiveness in mixed-reality environments, including by using situated digital twins, and systems and methods of use thereof
WO2023183340A1 (en) Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
CN117628052A (zh) 球形机械接口以及使用该球形机械接口的头戴式设备