TW201539256A - 視覺改變的非視覺反饋 - Google Patents

視覺改變的非視覺反饋 Download PDF

Info

Publication number
TW201539256A
TW201539256A TW104107771A TW104107771A TW201539256A TW 201539256 A TW201539256 A TW 201539256A TW 104107771 A TW104107771 A TW 104107771A TW 104107771 A TW104107771 A TW 104107771A TW 201539256 A TW201539256 A TW 201539256A
Authority
TW
Taiwan
Prior art keywords
viewer
gaze
gaze location
visual
change
Prior art date
Application number
TW104107771A
Other languages
English (en)
Inventor
Weerapan Wilairat
Ibrahim Eden
Vaibhav Thukral
David Nister
Vivek Pradeep
Original Assignee
Microsoft Technology Licensing Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing Llc filed Critical Microsoft Technology Licensing Llc
Publication of TW201539256A publication Critical patent/TW201539256A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本案揭示：關於使用非視覺反饋以向一顯示器的一檢視者警示一視覺改變已經被觸發的示例。一揭示的示例提供一方法，該方法包含以下步驟：使用來自一注視追蹤系統的注視追蹤資料以決定：一檢視者改奱一注視位置。基於決定：該檢視者改變該注視位置，一視覺改變被觸發，及指示該視覺改變的觸發的非視覺反饋被提供至該檢視者。若在一預先決定的時間範圍內接收到一取消改變輸入，該視覺改變並不被顯示。若在該時間範圍內並未接收到一取消改變輸入，該視覺改變藉由該顯示器被顯示。

Description

視覺改變的非視覺反饋
此發明係關於視覺改變的非視覺反饋。
內容產生及/或傳遞裝置可利用注視追蹤系統以促進使用者藉由該使用者的注視與裝置進行互動。在一些示例中，使用者可藉由改變該使用者的注視的位置而在二或多個不同的使用者介面及/或內容串流(藉由單一的裝置或多個裝置來傳遞)之間進行切換。
在一示例中，使用者可對於兩場足球比賽感到興趣，及可在單一的電視機上顯示：該等比賽二者。第一比賽可被顯示在整個電視機螢幕中，而第二比賽被顯示在位於該螢幕的一個角落的附近處的一較小的嵌入視窗中(例如為「畫面中的畫面(picture-in-picture)」的特徵)。使用者的注視位置可決定：二場比賽中的何者佔據整個螢幕。從而，當使用者觀看被顯示在嵌入視窗中的第二比賽時，此內容串流可被放大以佔據整個螢幕。第一比賽的內容串流然後可被顯示在較小的嵌入視窗中。
然而，使用者的眼睛的移動可不總是對應於：使用 者對於控制此一裝置的企圖。舉例而言，在被顯示於嵌入視窗中的比賽中的光的閃爍或其他的視覺牽引(visual distraction)可使得該使用者將目光瞥向該視窗。二場足球比賽的顯示然後可被切換(儘管該使用者並不具有對於執行此一切換的任何的企圖)。
在此揭示：各種實施例，該等實施例關於：使用非視覺反饋以向顯示裝置的檢視者警示在該顯示裝置中的一視覺改變已經被觸發。舉例而言，一揭示的實施例提供：一種用在一計算裝置中的方法，該方法包含以下步驟：從一注視追蹤系統接收該檢視者的注視追蹤資料。使用該注視追蹤資料，決定為：檢視者將注視位置從一第一注視位置改變至一第二注視位置。
基於決定：該檢視者將該注視位置改變至該第二注視位置，一視覺改變被觸發，及指示該視覺改變已經被觸發的非視覺反饋被提供至該檢視者。若在一預先決定的時間範圍內接收到一取消改變輸入，則該視覺改變並不藉由顯示裝置被顯示。若在該預先決定的時間範圍內並未接收到一取消改變輸入，則該視覺改變藉由該顯示裝置被顯示。
提供此【發明內容】以利用簡化的形式作出多種精選觀念的介紹，該等觀念進一步地被描述在後文的【實施方式】中。此【發明內容】無意於識別所請求的申請標的之關鍵特徵或必要特徵，及無意於被使用以對於所請求的申請標的之範疇作出限制。此外，所請求的申請標的並不被限制為： 解決在此揭示的任何部分中所註記的任何的或所有的缺點的實施。
10‧‧‧計算裝置
12‧‧‧計算裝置
14‧‧‧顯示裝置
16‧‧‧網路
18‧‧‧HMD裝置
22‧‧‧檢視者
26‧‧‧顯示程式
30‧‧‧深度感測器系統
32‧‧‧光學感測器系統
34‧‧‧位置感測器系統
38‧‧‧情境切換程式
40‧‧‧大容量儲存器
42‧‧‧記憶體
46‧‧‧處理器
50‧‧‧注視追蹤資料
54‧‧‧注視追蹤系統
58‧‧‧顯示系統
62‧‧‧檢視者
66‧‧‧麥克風系統
200‧‧‧房間
202‧‧‧檢視者
206‧‧‧顯示器
210‧‧‧揚聲器
214‧‧‧機頂盒
218‧‧‧嵌入視窗
220‧‧‧第一位置
222‧‧‧坦克
224‧‧‧第二位置
228‧‧‧棒球
230‧‧‧音訊反饋
240‧‧‧檢視者Ann
244‧‧‧平板型電腦
246‧‧‧項鏈
248‧‧‧螢幕
252‧‧‧第一聊天視窗
256‧‧‧第二聊天視窗
260‧‧‧第一文字輸入方塊
264‧‧‧閃爍游標
270‧‧‧第二文字輸入方塊
280‧‧‧檢視者Del
284‧‧‧眼鏡
286‧‧‧全像巫師
288‧‧‧注視位置
290‧‧‧扶手
292‧‧‧沙發
294‧‧‧手錶
600‧‧‧方法
604‧‧‧方法/步驟
608‧‧‧方法/步驟
612‧‧‧方法/步驟
616‧‧‧方法/步驟
620‧‧‧方法/步驟
624‧‧‧方法/步驟
628‧‧‧方法/步驟
632‧‧‧方法/步驟
636‧‧‧方法/步驟
640‧‧‧方法/步驟
644‧‧‧方法/步驟
648‧‧‧方法/步驟
652‧‧‧方法/步驟
656‧‧‧方法/步驟
700‧‧‧計算系統
704‧‧‧邏輯子系統
708‧‧‧儲存子系統
712‧‧‧感測器子系統
716‧‧‧顯示子系統
720‧‧‧通訊子系統
722‧‧‧輸入子系統
724‧‧‧電腦可讀取儲存媒體
第1圖係：根據本揭示案的示例的計算裝置的一示意性的視圖，該計算裝置使用非視覺反饋以向一顯示裝置的一檢視者警示一視覺改變已經被觸發。
第2圖係：根據本揭示案的示例的在一房間中與計算裝置進行互動的數個檢視者和使用非視覺反饋以向一檢視者警示一視覺改變已經被觸發的顯示器的示意性的示例說明。
第3圖和第4圖係：根據本揭示案的示例的一顯示裝置的示意性的示例說明，該顯示裝置顯示：由改變注視位置的一檢視者所觸發的一視覺改變。
第5圖係：二個聊天視窗的示意性的示例說明，該等聊天視窗被顯示在一計算裝置顯示器上。
第6A圖和第6B圖係：根據本揭示案的一示例的一方法的一流程圖，該方法用於使用非視覺反饋以向一顯示裝置的一檢視者警示在該顯示裝置中的一視覺改變已經被觸發。
第7圖係：一計算裝置的一示例的簡化的示意性的示例說明。
第1圖顯示：一計算裝置的示例實施的一示意性的視圖，該計算裝置用於提供非視覺反饋以向一顯示裝置的一 檢視者警示：在該顯示裝置中的一視覺改變已經被觸發。如同於後文中更為詳細地描述者，計算裝置使用注視追蹤資料以決定：該檢視者改變他的(或她的)注視位置。一視覺改變被觸發和指示該改變已經被觸發的的非視覺反饋被提供至該檢視者。若該檢視者在一預先決定的時間範圍內提供一取消改變輸入，則該視覺改變並不被顯示。若該檢視者並未在該時間範圍內提供一取消改變輸入，則該視覺改變被顯示。
在各種示例中，計算裝置可實體上與一顯示裝置相分離(或被整合至該顯示裝置中)，其中一檢視者可與該顯示裝置進行互動。第1圖示意性地顯示：計算裝置10的一示例，該計算裝置實體上與顯示裝置14相分離。在此示例中，計算裝置10可包含一分離的裝置(或被整合至該分離的裝置中),例如機頂盒、遊戲控制台、web攝像機、穿戴式裝置、頭戴的計算裝置或其他的穿戴式計算裝置、鍵盤、專用的周邊設備，或並不包含一整合的顯示器的其他類似的裝置。
計算裝置10可使用有線連接而操作性地與顯示裝置14相連接，或可利用：透過WiFi、Bluetooth，或任何其他適當的無線通訊協定來實行的無線連接。舉例而言，計算裝置10可利用通訊的方式耦接至網路16。網路16可採取本地區域網路(LAN)、廣域網路(WAN)、有線網路、無線網路、個人區域網絡，或其組合的形式，及可包含：Internet。更為詳細地於後文中參照第7圖來描述：關於計算裝置10的元件和計算態樣的額外的細節。
第1圖亦顯示：計算裝置12的一示例，該計算裝置 被整合至頭戴的顯示(HMD)裝置18中。HMD裝置18可產生：一虛擬真實環境或一混合的真實環境，及向一第一檢視者22顯示：該虛擬真實環境或該混合的真實環境。在此些示例中，HMD裝置18可包含：一顯示程式26，該顯示程式可產生虛擬環境或混合的真實環境以用於藉由HMD裝置來顯示。虛擬環境可包含：具有藉由HMD裝置18來產生和顯示的虛擬影像(例如三維的(3D)全像物體和二維的(2D)虛擬影像)的形式的一或多個視覺元件。在混合的真實環境中，HMD裝置18可促進檢視者在圍繞該檢視者的實際的環境內檢視此些虛擬影像。
在一些示例中，HMD裝置18可包含：被支撐在檢視者的單眼(或是雙眼)的前面的透明的、半透明的或不透明的顯示器。HMD裝置18可包含：接收來自實際的環境的實際的環境資料的各種感測器和相關的系統。舉例而言，HMD裝置18可包含：深度感測器系統30，該深度感測器系統包含：產生深度影像資料的一或多個深度攝像機。
在一些示例中，HMD裝置18可包含：光學感測器系統32，該光學感測器系統利用：至少一面向外部的感測器(例如RGB攝像機或其他的光學感測器)。面向外部的感測器可獲取：來自實際的環境的二維的影像資訊。HMD裝置18亦可包含：位置感測器系統34，該位置感測器系統包含：一或多個加速度計、陀螺儀、頭部追蹤系統，及/或用於決定使用者的位置或方向的其他的感測器。
此外，在第1圖中所示例說明的示例顯示：計算裝 置12被整合至HMD裝置18中。將理解到：在其他的示例中，計算裝置12可為：與HMD裝置18相分離的一獨立元件。具有各種外形因子的HMD裝置18的許多類型和配置可被使用並且落於本揭示案的範疇內。
亦將理解到：計算裝置12可包含(或被整合至)任何其他適當的類型或形式的顯示裝置中，例如平板型電腦、筆記型電腦、智慧型手機，或其他的行動計算裝置、桌上型計算裝置、獨立的顯示器、裝設在牆壁上的顯示器、互動式電子白板(interactive whiteboard)，或具有一整合的顯示器的其他類似的裝置。
計算裝置10和計算裝置12二者可包含：情境切換程式38，該情境切換程式可被儲存在大容量儲存器40中。情境切換程式38可被載入至記憶體42中和由處理器46來執行以進行：更為詳細地於後文中描述的方法和程序中的一或多者。
計算裝置10和計算裝置12可接收：來自注視追蹤系統54的注視追蹤資料50。在各種示例中，注視追蹤系統54可位於顯示裝置14中、位於HMD裝置18中，或與任何其他適當的類型或形式的顯示裝置(包含(但不限於)具有於前文中所討論的整合的顯示器的彼些示例裝置)處於共同的圍蔽(enclosure)中。在其他的示例中，注視追蹤系統54和計算裝置10可被整合至並不包含整合的顯示器的一共同的圍蔽(例如頭戴的或其他的穿戴式裝置)，或被整合在並不包含一整合的顯示器的任何其他適當的類型或形式的計算裝置(包含(但 不限於)並不具有前文所討論的一整合的顯示器的彼些示例裝置)中。
繼續地參照第1圖，示例顯示裝置14可包含：一顯示系統58，該顯示系統用於呈現一或多個視覺元件至第二檢視者62。如同於後文中更為詳細地描述者，情境切換程式38可利用來自注視追蹤系統54的注視追蹤資料50以觸發：在藉由顯示裝置14被顯示給第二檢視者62的一或多個視覺元件中的視覺改變。類似地，在示例HMD裝置18中，情境切換程式38可利用來自在HMD裝置中的注視追蹤系統54的注視追蹤資料以觸發：在藉由HMD裝置被顯示給第一檢視者22的一或多個視覺元件中的視覺改變。
顯示器14和HMD裝置18亦可包含：轉換器系統62，該轉換器系統包含：一或多個驅動器，該等驅動器將電氣訊號轉換為另一形式的能量。在一些示例中，轉換器系統62可包含：一或多個揚聲器，該等揚聲器用於產生音訊反饋予一檢視者。在其他的示例中，一或多個揚聲器可採取由該檢視者所穿戴的頭戴式耳機(headphone)或耳塞式耳機(in-ear ear bud)的形式。在其他的示例中，轉換器系統62可包含：一或多個觸覺轉換器，該等觸覺轉換器用於產生觸覺反饋(例如振動)予該檢視者。
顯示器14和HMD裝置18亦可包含：麥克風系統66和用於接收來自實際的環境的音訊輸入的一或多個麥克風。在一些示例中，可提供：一麥克風陣列，該麥克風陣列包含：複數個麥克風。麥克風可包含：全向性麥克風及/或單 向麥克風，該全向性麥克風及/或該單向麥克風經配置以接收來自檢視者的語音和來自實際的環境的其他的音訊輸入。
目前參照第2圖至第4圖，目前將提供：示例使用情況的描述。第2圖係：在房間200中與計算和顯示裝置進行互動的數個檢視者的示意性的示例說明，該計算和顯示裝置使用非視覺反饋向一檢視者警示：一視覺改變已經被觸發。在一示例中，檢視者Bob 202正在觀看電影A，該電影A係利用幾乎涵蓋裝設在牆壁上的顯示器206的整個螢幕的檢視格式來顯示。電影A包含：一內容串流，該內容串流包含：電影A的音訊，該音訊經由顯示器206的揚聲器210被廣播。
檢視者Bob 202亦對於棒球比賽B感到與趣，該棒球比賽B正在另一頻道上被廣播。棒球比賽B包含：另一內容串流，該另一內容串流包含：棒球比賽B的音訊。為了使得檢視者Bob 202可關注該比賽，該檢視者Bob 202結合顯示器206的該畫面中的畫面之特徵，而亦將棒球比賽B顯示在一較小的嵌入視窗218中，該較小的嵌入視窗218位於螢幕的右下方的角落附近。當棒球比賽B被選擇以用於顯示在較小的嵌入視窗218時，棒球比賽B的音訊並不藉由揚聲器210被廣播。利用通訊的方式被耦接至顯示器206的機頂盒214包含：計算裝置10、情境切換程式38，及注視追蹤系統54，該注視追蹤系統追蹤：檢視者Bob 202的注視的位置，及產生：相對應的注視追蹤資料。
在初始的時間處和如同由注視追蹤系統54所決定者，檢視者Bob 202的注視落在顯示器206的螢幕上的第一 位置220處，該第一位置220對應於：在電影A中的坦克222。由於對棒球比賽B感到好奇，檢視者Bob 202將他的注視轉移至在螢幕上的第二位置224，該二位置224對應於：在被顯示於較小的嵌入視窗218的棒球比賽B中飛行的棒球228。
使用來自注視追蹤系統54的注視追蹤資料，情境切換程式38決定：檢視者Bob 202已經將他的注視位置改變至在嵌入視窗218中的第二位置224。基於在將注視位置轉移至對應於棒球比賽B的一位置中的此改變，情境切換程式38觸發：在內容中的一視覺改變，該內容係由裝設在牆壁上的顯示器206來顯示。為了達成此揭示的目的，觸發一視覺改變意指為：啟始一預先決定的時間範圍，以及在該時間範圍的逾期之處，取決於是否從該檢視者接收一取消改變輸入來顯示或不顯示：該視覺改變。預先決定的時間範圍可具有：任何適當的時間長度。該預先決定的時間範圍的非限制性的示例包含：0.5秒、1.0秒、2.0秒、3.0秒、5.0秒、10.0秒，或任何其他適當的時間範圍。
在本示例中和目前參照第3圖和第4圖，該視覺改變包含：交換棒球比賽B和電影A的檢視格式。替代性地被表述者和如同在第4圖中所顯示者，該視覺改變包含：在顯示器206的幾乎整個螢幕上顯示棒球比賽B，以及將電影A顯示在較小的嵌入視窗218中。
當檢視者Bob 202將他的注視位置改變至第二位置224時，他可(或可不)希望交換：棒球比賽B和電影A的檢視格式。舉例而言，檢視者Bob 202想要簡單地查看該比賽的 分數，然後繼續地觀看電影A。相應地，以及基於決定：檢視者Bob 202已經將他的注視位置改變至第二位置224，音訊反饋230(其中具有指示該視覺改變已經被觸發的音訊反饋)藉由揚聲器210被提供至檢視者Bob。有利地，音訊反饋230向檢視者Bob 202警示棒球比賽B和電影A的檢視格式將在該預先決定的時間範圍的逾期之處被交換(除非檢視者Bob提供取消改變輸入)。
如同於後文中更為詳細地描述者，若檢視者Bob 202並不想交換棒球比賽B和電影A的檢視格式，他可提供一取消改變輸入。若他在預先決定的時間範圍逾期之前提供一取消改變輸入，則情境切換程式38控制該顯示器206以維持：棒球比賽B和電影A的目前的檢視格式，以及相對應地避免：交換該等檢視格式。
在一些示例中，音訊反饋230可包含：在預先決定的時間範圍中減低電影A的音訊的音量。在預先決定的時間範圍的結束處，電影A的音訊的音量可被完全地靜音，或僅被減低(相較於在該預先決定的時間範圍的開始處的電影A的音訊的音量為更低)。在其他的示例中，音訊反饋可包含：在預先決定的時間範圍中增加棒球比賽B的音訊的音量。在一些示例中，在該預先決定的時間範圍中，電影A的音訊的音量可被減少而棒球比賽B的音訊的音量可被增加。
在其他的示例中，音訊反饋可包含：一聲音訊號(earcon)。該聲音訊號可包含：一或多個具有區別性的聲音，該等聲音包含(但不限於)：嗶嗶聲、多音調的旋律、聲音樣式、 來自自然界的被記錄的聲音，或其他的適當的聲音。在一些示例中，音訊反饋可包含：提供口語的警示的人類的聲音。舉例而言，該人類的聲音可針對於該視覺改變的顯示提供一遞減計數，例如「遞減計數3、2、1後進行內容交換(Content swapping in 3,2,1)」。
如同於前文中所註記者，若檢視者Bob 202並不想交換目前棒球比賽B和電影A的檢視格式，他可在該預先決定的時間範圍逾期之前提供一取消改變輸入。在一些示例中，取消改變輸入可包含：由檢視者所提供的音訊輸入。此音訊輸入的示例可包含(但不限於)：一或多個口語單詞、由檢視者所出生的聲音(除了口語單詞之外)，及由檢視者做出或產生(例如(舉例而言)鼓掌、彈指作響(snapping fingers)，及利用機械裝置、電子裝置，或其他的裝置來產生聲音)的非口語的聲音。
在第2圖的示例中，檢視者Bob 202可在該預先決定的時間範圍逾期之前提供：具有口語單詞「不進行改變(No change)」的形式的取消改變輸入。該等口語單詞係由在顯示器206上的麥克風66所接收。相應地和回應於在該預先決定的時間範圍逾期之前接收來自檢視者Bob 202的取消改變輸入，情境切換程式38控制顯示裝置206以避免：交換棒球比賽B和電影A的檢視格式，及因而維持：被顯示在第2圖和第3圖中的檢視格式。
相反地，若檢視者Bob 202希望交換檢視格式，則他可簡單地避免：提供該取消改變輸入。在此示例中，在該 預先決定的時間範圍的逾期之處，情境切換程式38控制顯示器206以交換棒球比賽B和電影A的檢視格式(如同在第4圖中所顯示者)。將理解到：在一些示例中，檢視格式的交換的視覺改變可包含：在該預先決定的時間範圍的逾期之處的格式的單一的、幾乎為即時的切換。在其他的示例中，該視覺改變可包含：在該預先決定的時間範圍的逾期之處，在顯示器206的幾乎整個螢幕上顯示棒球比賽B，及將電影A顯示在較小的嵌入視窗218中。在此些示例中，該視覺改變可接續於以動畫顯示的轉換(animated transition)之後，其中在以動畫顯示的轉換中棒球比賽B的顯示格式被放大而電影A的顯示格式被縮小。
在另一示例中，取消改變輸入可包含：檢視者Bob 202將他的注視位置從對應於棒球比賽B的第二位置224改變至並不對應於棒球比賽B的第三注視位置。舉例而言，第三注視位置可包含：在嵌入視窗218的外部的任何的位置，其中在該嵌入視窗218中，棒球比賽B被顯示。
在其他的示例中，取消改變輸入可包含：來自檢視者的複數個眼睛眨動。舉例而言和參照第2圖和第5圖，檢視者Ann 240可藉由她的平板型電腦244與二個朋友聊天。在平板型電腦244的螢幕248上所顯示者係：第一聊天視窗252和第二聊天視窗256。平板型電腦244的注視追蹤系統54可決定：Ann正注視著在第一聊天視窗252內的一位置，例如第一文字輸入方塊260。閃爍游標264可被顯示在第一文字輸入方塊260中，其中指示：此方塊具有焦點和可接收文字 輸入。在決定檢視者Ann 240將她的注視位置改變至在第二聊天視窗256內的一位置之後，一視覺改變可被觸發和指示該視覺改變已經被觸發的非視覺反饋可藉由平板型電腦244被提供至檢視者Ann 240。
若檢視者Ann 240並未在一預先決定的時間範圍內提供一取消改變輸入，則平板型電腦244可顯示：該視覺改變，例如將閃爍游標264從第一文字輸入方塊260移動至在第二聊天視窗256中的第二文字輸入方塊270。若檢視者Ann 240並不希望將閃爍游標切換至第二文字輸入方塊270，她可提供：一取消改變輸入，該取消改變輸入包含：在預先決定的時間範圍內的複數個眼睛眨動。在一示例中，取消改變輸入可包含：在0.5秒內的三次的眼睛眨動。將理解到：與任何適當的預先決定的時間範圍相配合的任何適當的數目的眼睛眨動可被使用於取消改變輸入。
在其他的示例中，取消改變輸入可包含：由檢視者所執行的一姿勢。舉例而言和再次地參照第2圖，檢視者Del 280可穿戴：具有眼鏡284的外形因子的HMD裝置。檢視者Del 280可藉由HMD眼鏡284來進行涉及到全像巫師286的顯示的遊戲。全像巫師286被顯示在Del的目前的注視位置288之處(如同由在HMD眼鏡284中的注視追蹤系統54所決定者)。在決定檢視者Del 280將他的注視位置改變至沙發292的扶手290之後，一視覺改變可被觸發和指示該視覺改變已經被觸發的非視覺反饋可藉由HMD眼鏡284被提供至檢視者Del 280。
若檢視者Del 280並未在一預先決定的時間範圍內提供一取消改變輸入，則HMD眼鏡284可將巫師286的顯示移動至沙發292的扶手290。若檢視者Del 280並不希望移動巫師286的位置，他可提供：包含一姿勢的一取消改變輸入。如同在第2圖中所顯示者，在一示例中，取消改變輸入可包含：檢視者Del 280指向巫師286的目前的位置。將理解到：任何適當的姿勢(包含(但不限於)由檢視者的頭部、臉部、一或多個手、手指、手臂、腿，及/或腳所進行的移動，或任何其他的身體的移動)可被利用以作為一取消改變輸入。
在其他的示例中，其他形式的非視覺反饋可被提供至一檢視者以指示：一視覺改變已經被觸發。在一些示例中，可利用：由檢視者所穿戴的穿戴式裝置、檢視者所持有的手持裝置，及/或檢視者與其進行互動的家具或其他的物體提供的觸覺反饋。再次地參照第2圖，舉例而言，觸覺反饋可藉由透過HMD眼鏡284及/或手錶294所產生的振動被提供至檢視者Del 280。類似地，觸覺反饋可藉由透過項鏈246所產生的振動被提供至檢視者Bob 202，或藉由透過平板型電腦244所產生的振動被提供至檢視者Ann。將理解到：能夠提供觸覺反饋的穿戴式裝置的許多其他的示例和外形因子可被利用和落於本揭示案的範疇內。
第6A圖和第6B圖示例說明：根據本揭示案的一實施的一方法600的一流程圖，該方法用於使用非視覺反饋以向一顯示裝置的檢視者警示：在顯示裝置中的視覺改變已經被觸發。參照前文所描述和被顯示在第1圖至第5圖中的軟 體和硬體元件來提供：方法600的後續的描述。將理解到：方法600亦可在其他的情境中使用其他適當的硬體和軟體元件來執行。
參照第6A圖，在604處，方法600可包含以下步驟：從注視追蹤系統中接收檢視者的注視追蹤資料。在608處，方法600可包含以下步驟：使用注視追蹤資料，決定：檢視者將注視位置從一第一注視位置改變至一第二注視位置。在612處，方法600可包含以下步驟：基於決定：檢視者將該注視位置改變至該第二注視位置，觸發該視覺改變。在616處，方法600可包含以下步驟：基於決定：檢視者將該注視位置改變至該第二注視位置，提供指示該視覺改變已經被觸發的音訊反饋至檢視者。
在620處，方法600可包含以下步驟：若在一預先決定的時間範圍內並未接收到一取消改變輸入，控制該顯示裝置以顯示該視覺改變。在624處，方法600可包含以下步驟：若在該預先決定的時間範圍內接收到取消改變輸入，控制該顯示裝置避免：顯示該視覺改變。在628處，該視覺改變可包含：從包含第一內容音訊的第一內容串流切換至第二內容串流，及提供音訊反饋之步驟可包含以下步驟：在預先決定的時間範圍中減低第一內容音訊的音量。
目前參照第6B圖，在632處，第二內容串流可包含：第二內容音訊，及提供音訊反饋之步驟可進一步包含以下步驟：在預先決定的時間範圍中增加第二內容音訊的音量。在636處，音訊反饋可包含：一聲音訊號。在640處，第一注視 位置可對應於第一內容串流，及第二注視位置可對應於第二內容串流。在644處，取消改變輸入可包含：檢視者將注視位置從第二注視位置改變至第三注視位置。在648處，取消改變輸入可從包含來自檢視者的口語的命令、由檢視者所進行的複數個眼睛眨動，及一檢視者姿勢的群組中選擇。
在652處，方法600可包含以下步驟：基於決定：檢視者將注視位置改變至第二注視位置，提供指示該視覺改變已經被觸發的觸覺反饋至檢視者。在656處，該觸覺反體可透過由檢視者所穿戴的穿戴式計算裝置被提供。
將理解到：方法600係藉由示例的方式被提供，及並不意指為：具有限制性的。因而，應理解到：方法600可包含：額外的及/或替代性的步驟(除了在第6A圖和第6B圖中所示例說明的彼些步驟)。再者，應理解到：方法600可利用任何適當的次序來執行。更進一步地，應理解到：方法600中之一或多個步驟可被省略，而不偏離此揭示的範疇。
第7圖示意性地顯示：計算系統700的非限制性的示例，該計算系統可執行：前文所描述的方法和程序中的一或多者。計算裝置10和計算裝置12可採取計算系統700的一或多個態樣的形式(或包含計算系統700的一或多個態樣)。計算系統700係利用簡化的形式來顯示。應理解到：實際上可使用任何的電腦架構，而不偏離此揭示的範疇。在不同的實施例中，計算系統700可採取大型電腦、伺服器電腦、桌上型電腦、平板電腦、家庭娛樂電腦、網路計算裝置、平板型電腦、筆記型電腦、智慧型手機，或其他的行動計算裝 置、行動通訊裝置、遊戲裝置等等的形式。
如同在第7圖中所顯示者，計算系統700包含：邏輯子系統704和儲存子系統708。計算系統700可選擇地包含：感測器子系統712、顯示子系統716、通訊子系統720、輸入子系統722及/或未被顯示在第7圖中的其他的子系統和元件。計算系統700亦可包含：電腦可讀取媒體(其中電腦可讀取媒體包含：電腦可讀取儲存媒體和電腦可讀取通訊媒體)。舉例而言，計算系統700亦可選擇地包含：其他的使用者輸入裝置，例如鍵盤、滑鼠、遊戲控制器，及/或觸控螢幕。再者，在一些實施例中，在此描述的方法和程序可被實施為：電腦應用程式、電腦服務、電腦API、電腦函式庫，及/或在包含一或多個電腦的計算系統中的其他的電腦程式產品。
邏輯子系統704可包含：經配置以執行一或多個指令的一或多個實體裝置。舉例而言，邏輯子系統704可經配置以執行一或多個指令，該等指令係一或多個應用程式、服務、程式、常式、函式庫、物件、元件、資料結構，或其他的邏輯結構的部分。此些指令可被實施以執行一任務、實施一資料類型、轉換一或多個裝置的狀態，或利用另外的方式以達成所欲的結果。
邏輯子系統704可包含：經配置執行軟體指令的一或多個處理器。額外地或替代性地，邏輯子系統可包含一或多個硬體或韌體邏輯機，該等硬體或韌體邏輯機經配置以執行硬體或韌體指令。邏輯子系統的處理器可為單核心的或多核心的，及在邏輯子系統的處理器上執行的程式可經配置以 用於平行的或分散式的處理。邏輯子系統可選擇地包含：被分散於二或多個裝置中的個別的元件，該等裝置可位於相對於彼此之間的遠端處及/或經配置以用於協調式的處理。邏輯子系統的一或多個態樣可被虛擬化和可由被配置於雲端計算配置中的可遠端存取的網路計算裝置來執行。
儲存子系統708可包含：一或多個實體的、永久性的裝置，該等實體的、永久性的裝置經配置以保持資料及/或可由邏輯子系統704執行以實施在此所描述的方法和程序的指令。當此些方法和程序被實施時，儲存子系統708的狀態可被轉換(例如用以保持不同的資料)。
儲存子系統708可包含(除了其他事項之外)：可移除的媒體及/或內建的裝置。儲存子系統708可包含：光學記憶體裝置(例如CD、DVD、HD-DVD、藍光光碟(Blu-Ray Disc)等等)、半導體記憶體裝置(例如RAM、EPROM、EEPROM等等)及/或磁性記憶體裝置(例如硬磁碟驅動機、軟磁碟驅動機、磁帶驅動機、MRAM等等)。儲存子系統708可包含具有下列所述的特性中的一或多者的裝置：揮發性的、非揮發性的、動態的、靜態的、被讀取/寫入的、唯讀的、隨機的存取、循序的存取、可位置定址的(location addressable)、可檔案定址的(file addressable)，及可內容定址的(content addressable)。
在一些示例中，邏輯子系統704和儲存子系統708的態樣可被整合至一或多個共同的裝置中，其中在此描述的功能可至少部分地透過該等共同的裝置來制定(enacted)。此些硬體-邏輯元件可包含(例如)：場可程式閘陣列(FPGA)、特定 程式和特定應用的積體電路(PASIC/ASIC)、特定程式和特定應用的標準產品(PSSP/ASSP)、具有系統單晶片(system-on-a-chip(SOC))的系統，及複雜可程式邏輯裝置(CPLD)。
第7圖亦顯示：具有可移除的電腦可讀取儲存媒體724的形式的儲存子系統708的態樣，該可移除的電腦可讀取儲存媒體可被使用以儲存資料及/或可執行以實施在此描述的方法和程序的指令。可移除的電腦可讀取儲存媒體724可採取CD、DVD、HD-DVD、藍光光碟、EEPROM，及/或軟磁碟的形式(除了其他事項之外)。
應理解到：儲存子系統708包含：一或多個實體的、永久性的裝置。相反地，在一些實施中，在此描述的指令的態樣可藉由並不被實體的裝置保持至少一有限持續時間的單純訊號(例如電磁訊號、光學訊號等等)來暫時傳播。此外，關於本揭示案的資料及/或其他形式的資訊可藉由單純訊號且透過電腦可讀取通訊媒體來傳播。
當被包含時，感測器子系統712可包含：一或多個感測器，該等感測器經配置以感知：如同前文所描述的不同的物理現象(例如可見光、紅外光、聲音、加速度、方向、位置等等)。舉例而言，感測器子系統712可經配置以提供感測器資料至邏輯子系統704。此資料可包含注視追蹤資訊、影像資訊、周圍的光資訊、深度資訊、音訊資訊、位置資訊、動作資訊、使用者位置資訊，及/或可被使用以執行前文所描述的方法和程序的任何其他適當的感測器資料。
當被包含在內時，顯示子系統716可被使用以呈現：由儲存子系統708所保持的資料的視覺表示。如同於前文中所描述者，方法和程序改變由儲存子系統708所保持的資料，及因此轉換儲存子系統的狀態，顯示子系統716的狀態可同樣地被轉換以在視覺上表示：在基礎的資料中的改變。顯示子系統716可包含：實際上利用任何類型的技術的一或多個顯示裝置。此些顯示裝置可在一共同的圍蔽中與邏輯子系統704及/或儲存子系統708相組合，或此些顯示裝置可為：週邊的顯示裝置。
當被包含在內時，通訊子系統720可經配置以利用通訊的方式將計算系統700與一或多個網路及/或一或多個其他的計算裝置相耦接。通訊子系統720可包含：與一或多個不同的通訊協定相容的有線及/或無線的通訊裝置。作為非限制性的示例，通訊子系統720可經配置以用於：藉由無線電話網路、無線區域網路、有線區域網路、無線廣域網路、有線廣域網路等等所進行的通訊。在一些實施例中，通訊子系統可允許計算系統700藉由網路(例如Internet)傳送訊息至其他的裝置(及/或從其他的裝置接收訊息)。
當被包含時，輸入子系統722可包含：一或多個感測器或使用者-輸入裝置(例如遊戲控制器、手勢輸入偵測裝置、聲音識別器、慣性測量單元、鍵盤、滑鼠，或觸控螢幕)，或與該等感測器或使用者-輸入裝置介接。在一些實施例中，輸入子系統722可包含：選擇的自然使用者輸入(natural user input,NUI)的元件部分，或與該選擇的(NUI的元件部分介 接。此元件部分可為整合的或周邊的，及輸入動作的轉導及/或處理可在板上(on-board)(或離開板上(off-board))被操作運行。示例NUI的元件部分可包含：用於語音及/或聲音識別的麥克風；用於機器視覺的及/或姿勢識別的紅外線的、彩色的、立體的，及/或深度攝像機；用於動作偵測及/或意圖識別的頭部追蹤器、眼部追蹤器、加速度計，及/或陀螺儀；以及用於評估大腦活動的電場感測的元件部分。
詞彙「程式(program)」可被使用以描述：被實施以執行一或多個特定的功能的計算裝置10和計算裝置12的態樣。在一些情況中，此一程式可藉由執行由儲存子系統708所保持的指令的邏輯子系統704來實例化(instantiated)。應理解到：不同的程式可從相同的應用程式、服務、代碼區塊、物件、程式庫、常式、API、函式等等中被實例化。同樣地，相同的程式可藉由不同的應用程式、服務、代碼區塊、物件、常式、API、函式等等來實例化。詞彙「程式(program)」意指為：包含個別的(或數個群組的)可執行的檔案、資料檔案、程式庫、驅動程式、指令碼、資料庫記錄等等。
應理解到：在此描述的配置及/或方法在本質上為示例性的，及應理解到：此些特定的實施例或示例並不認為是：具有限制性的(因為可能有：許多的變化)。在此描述的特定的常式或方法可表示：任何數目的處理策略中的一或多者。因此，被示例說明的各個步驟可在被示例說明的序列中、在其他的序列中、平行地被執行，或在一些情況中被省略。同樣地，前文所描述的程序的次序可被改變。
本揭示案的申請標的包含：各種程序、系統和配置的所有的新穎的和非明顯的組合和子組合，及在此揭示的其他的特徵、功能、步驟，及/或特性，以及任何的和所有的其等效者。
10‧‧‧計算裝置
12‧‧‧計算裝置
14‧‧‧顯示裝置
16‧‧‧網路
18‧‧‧HMD裝置
22‧‧‧檢視者
26‧‧‧顯示程式
30‧‧‧深度感測器系統
32‧‧‧光學感測器系統
34‧‧‧位置感測器系統
38‧‧‧情境切換程式
40‧‧‧大容量儲存器
42‧‧‧記憶體
46‧‧‧處理器
50‧‧‧注視追蹤資料
54‧‧‧注視追蹤系統
58‧‧‧顯示系統
62‧‧‧檢視者
66‧‧‧麥克風系統

Claims (20)

  1. 一種在一計算裝置中用於使用音訊反饋以向一顯示裝置的一檢視者警示在該顯示裝置中的一視覺改變已經被觸發的方法，該方法包含以下步驟：從一注視追蹤系統接收該檢視者的注視追蹤資料；使用該注視追蹤資料，決定該檢視者將一注視位置從一第一注視位置改變至一第二注視位置；基於決定該檢視者將該注視位置改變至該第二注視位置，觸發該視覺改變；基於決定該檢視者將該注視位置改變至該第二注視位置，提供指示該視覺改變已經被觸發的該音訊反饋至該檢視者；若在一預先決定的時間範圍內並未接收到一取消改變輸入，則控制該顯示裝置以顯示該視覺改變；及若在該預先決定的時間範圍內接收到該取消改變輸入，則控制該顯示裝置避免顯示該視覺改變。
  2. 如請求項1所述之方法，其中該視覺改變包含：從包含第一內容音訊的一第一內容串流切換至一第二內容串流，及提供該音訊反饋之步驟包含以下步驟：在該預先決定的時間範圍中減低該第一內容音訊的一音量。
  3. 如請求項1所述之方法，其中一第二內容串流包含：第二內容音訊，及提供該音訊反饋之步驟進一步包含以下步 驟：在該預先決定的時間範圍中增加該第二內容音訊的一音量。
  4. 如請求項1所述之方法，其中該音訊反饋包含：一聲音訊號。
  5. 如請求項1所述之方法，其中該第一注視位置對應於一第一內容串流，及該第二注視位置對應於一第二內容串流。
  6. 如請求項1所述之方法，其中該取消改變輸入包含：該檢視者將該注視位置從該第二注視位置改變至一第三注視位置。
  7. 如請求項1所述之方法，其中該取消改變輸入係從包含來自該檢視者的一口語的命令、由該檢視者所進行的複數個眼睛眨動，及一檢視者姿勢的群組中所選出的。
  8. 如請求項1所述之方法，其進一步包含以下步驟：基於決定該檢視者將該注視位置改變至該第二注視位置，提供指示該視覺改變已經被觸發的觸覺反饋至該檢視者。
  9. 如請求項8所述之方法，其中該觸覺反饋係藉由該檢視者所穿戴的一穿戴式計算裝置來提供。
  10. 一種用於提供音訊反饋以向一顯示裝置的一檢視者警示在該顯示裝置中的一視覺改變已經被觸發的計算裝置，該計算裝置包含：一情境切換程式，該情境切換程式係由該計算裝置的一處理器來執行，該情境切換程式經配置以進行以下步驟：從一注視追蹤系統接收該檢視者的注視追蹤資料；使用該注視追蹤資料，決定該檢視者將一注視位置從一第一注視位置改變至一第二注視位置；基於決定該檢視者將該注視位置改變至該第二注視位置，觸發該視覺改變；基於決定該檢視者將該注視位置改變至該第二注視位置，提供指示該視覺改變已經被觸發的該音訊反饋至該檢視者；若在一預先決定的時間範圍內並未接收到一取消改變輸入，則控制該顯示裝置以顯示該視覺改變；及若在該預先決定的時間範圍內接收到該取消改變輸入，則控制該顯示裝置以避免顯示該視覺改變。
  11. 如請求項10所述之計算裝置，其中該視覺改變包含：從包含第一內容音訊的一第一內容串流切換至一第二內容串流，及提供該音訊反饋之步驟包含以下步驟：在該預先決定的時間範圍中減低該第一內容音訊的一音量。
  12. 如請求項11所述之計算裝置，其中該第二內容串流包含：第二內容音訊，及提供該音訊反饋之步驟進一步包含以下步驟：在該預先決定的時間範圍中增加該第二內容音訊的一音量。
  13. 如請求項10所述之計算裝置，其中該音訊反饋包含：一聲音訊號。
  14. 如請求項10所述之計算裝置，其中該第一注視位置對應於一第一內容串流，及該第二注視位置對應於一第二內容串流。
  15. 如請求項10所述之計算裝置，其中該取消改變輸入包含：該檢視者將該注視位置從該第二注視位置改變至一第三注視位置。
  16. 如請求項10所述之計算裝置，其中該取消改變輸入係從包含來自該檢視者的一口語的命令、由該檢視者進行的複數個眼睛眨動，及一檢視者姿勢的群組中選出的。
  17. 如請求項10所述之計算裝置，其中該情境切換程式進一步經配置以進行以下步驟：基於決定該檢視者將該注視位置改變至該第二注視位置，提供指示該視覺改變已經被觸發的觸覺反饋至該檢視者。
  18. 如請求項17所述之計算裝置，其中該觸覺反饋係藉由該檢視者所穿戴的一穿戴式計算裝置來提供。
  19. 一種在一計算裝置中用於使用非視覺反饋以向一顯示裝置的一檢視者警示在該顯示裝置中的一視覺改變已經被觸發的方法，該方法包含以下步驟：從一注視追蹤系統接收該檢視者的注視追蹤資料；使用該注視追蹤資料，決定該檢視者將一注視位置從一第一注視位置改變至一第二注視位置；基於決定該檢視者將該注視位置改變至該第二注視位置，觸發該視覺改變；基於決定該檢視者將該注視位置改變至該第二注視位置，提供指示該視覺改變已經被觸發的該非視覺反饋至該檢視者；若在一預先決定的時間範圍內並未接收到一取消改變輸入，則控制該顯示裝置以顯示該視覺改變；及若在該預先決定的時間範圍內接收到該取消改變輸入，則控制該顯示裝置以避免顯示該視覺改變。
  20. 如請求項19所述之方法，其中該非視覺反饋包含：觸覺反饋。
TW104107771A 2014-04-10 2015-03-11 視覺改變的非視覺反饋 TW201539256A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/250,280 US9342147B2 (en) 2014-04-10 2014-04-10 Non-visual feedback of visual change

Publications (1)

Publication Number Publication Date
TW201539256A true TW201539256A (zh) 2015-10-16

Family

ID=53016745

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104107771A TW201539256A (zh) 2014-04-10 2015-03-11 視覺改變的非視覺反饋

Country Status (17)

Country Link
US (1) US9342147B2 (zh)
EP (1) EP3129863B1 (zh)
JP (1) JP6546603B2 (zh)
KR (1) KR102358939B1 (zh)
CN (1) CN106164823B (zh)
AU (1) AU2015244101B2 (zh)
CA (1) CA2943449C (zh)
CL (1) CL2016002574A1 (zh)
IL (1) IL247744B (zh)
MX (1) MX361312B (zh)
MY (1) MY183274A (zh)
NZ (1) NZ724352A (zh)
PH (1) PH12016501885A1 (zh)
RU (1) RU2691589C2 (zh)
SG (1) SG11201608086VA (zh)
TW (1) TW201539256A (zh)
WO (1) WO2015157133A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761018B (zh) * 2021-01-05 2022-04-11 瑞昱半導體股份有限公司 語音擷取方法以及語音擷取系統

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) * 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US20160187976A1 (en) * 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10482705B2 (en) * 2015-08-11 2019-11-19 Bally Gaming, Inc. Gaming machine and system for concurrent gaming player interface manipulation based on visual focus
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
WO2017221216A1 (en) * 2016-06-23 2017-12-28 Killham Josh Positional audio assignment system
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US20180288557A1 (en) * 2017-03-29 2018-10-04 Samsung Electronics Co., Ltd. Use of earcons for roi identification in 360-degree video
US11559252B2 (en) 2017-05-08 2023-01-24 Starkey Laboratories, Inc. Hearing assistance device incorporating virtual audio interface for therapy guidance
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
JP2019066618A (ja) * 2017-09-29 2019-04-25 フォーブ インコーポレーテッド 画像表示システム、画像表示方法及び画像表示プログラム
JP7471279B2 (ja) * 2018-05-04 2024-04-19 グーグル エルエルシー 検出された口運動および／または注視に基づく自動化アシスタントの適応
EP4130941A1 (en) 2018-05-04 2023-02-08 Google LLC Hot-word free adaptation of automated assistant function(s)
WO2020097353A1 (en) * 2018-11-07 2020-05-14 Starkey Laboratories, Inc. Physical therapy and vestibular training systems with visual feedback
US11137874B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
CN110377212B (zh) * 2019-06-28 2021-03-16 上海元笛软件有限公司 通过音频触发显示的方法、装置、计算机设备和存储介质
RU2708114C1 (ru) * 2019-07-10 2019-12-04 Общество с ограниченной ответственностью «Комплект-ОМ» Система и способ мониторинга и обучения детей с расстройствами аутистического спектра
US11946744B2 (en) 2019-07-26 2024-04-02 Hewlett-Packard Development Company, L.P. Synchronization of a gyroscope in a virtual-reality environment
KR102262890B1 (ko) * 2019-11-29 2021-06-09 주식회사 비엔알아이 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JP2000138872A (ja) * 1998-10-30 2000-05-16 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2000278626A (ja) * 1999-03-29 2000-10-06 Sanyo Electric Co Ltd マルチ画面音声出力制御装置
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US7532197B2 (en) * 2004-06-22 2009-05-12 Lenovo (Singapore) Pte Ltd. Method and system for automated monitoring of a display
US20060066567A1 (en) * 2004-09-29 2006-03-30 Scharenbroch Gregory K System and method of controlling scrolling text display
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2010004118A (ja) * 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
JP5197521B2 (ja) * 2009-07-29 2013-05-15 京セラ株式会社 入力装置
EP2450872B1 (en) * 2010-11-03 2013-12-25 BlackBerry Limited System and method for controlling a display of a mobile device
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
JP5705243B2 (ja) * 2011-02-10 2015-04-22 京セラ株式会社 電子機器及び電子機器の制御方法
US20130293466A1 (en) * 2011-03-30 2013-11-07 Honda Motor Co., Ltd. Operation device
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
KR101605276B1 (ko) 2011-09-08 2016-03-21 인텔 코포레이션 오디오 비주얼 재생을 위한 시선 기반 위치 선택
EP2621179A1 (en) * 2012-01-30 2013-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for providing multi-view thereof
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR20140011203A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템
US20140071349A1 (en) 2012-09-12 2014-03-13 Nokia Corporation Method, apparatus, and computer program product for changing a viewing angle of a video image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761018B (zh) * 2021-01-05 2022-04-11 瑞昱半導體股份有限公司 語音擷取方法以及語音擷取系統

Also Published As

Publication number Publication date
MY183274A (en) 2021-02-18
RU2016139370A3 (zh) 2018-11-07
JP2017517053A (ja) 2017-06-22
RU2016139370A (ru) 2018-04-10
AU2015244101B2 (en) 2019-11-07
AU2015244101A1 (en) 2016-10-20
MX361312B (es) 2018-12-03
WO2015157133A1 (en) 2015-10-15
US20150293587A1 (en) 2015-10-15
PH12016501885A1 (en) 2016-12-19
CA2943449C (en) 2022-06-21
NZ724352A (en) 2020-02-28
CA2943449A1 (en) 2015-10-15
EP3129863A1 (en) 2017-02-15
CL2016002574A1 (es) 2017-03-24
KR20160145054A (ko) 2016-12-19
JP6546603B2 (ja) 2019-07-17
US9342147B2 (en) 2016-05-17
SG11201608086VA (en) 2016-10-28
EP3129863B1 (en) 2018-06-20
IL247744B (en) 2021-04-29
IL247744A0 (en) 2016-11-30
RU2691589C2 (ru) 2019-06-14
MX2016013045A (es) 2017-01-09
CN106164823B (zh) 2019-03-15
CN106164823A (zh) 2016-11-23
KR102358939B1 (ko) 2022-02-04

Similar Documents

Publication Publication Date Title
JP6546603B2 (ja) 注視トラッキングの方法およびデバイスにおける視覚的な変更の非視覚的なフィードバック
US10222981B2 (en) Holographic keyboard display
KR102365579B1 (ko) 디스플레이 디바이스 뷰어 시선 유인
JP6612250B2 (ja) 会話検出
US9140554B2 (en) Audio navigation assistance
US10373392B2 (en) Transitioning views of a virtual model
US9497501B2 (en) Augmented reality virtual monitor
EP3161544B1 (en) Stereoscopic image display