TWI597623B - 可穿戴基於行爲的視覺系統 - Google Patents

可穿戴基於行爲的視覺系統 Download PDF

Info

Publication number
TWI597623B
TWI597623B TW102147793A TW102147793A TWI597623B TW I597623 B TWI597623 B TW I597623B TW 102147793 A TW102147793 A TW 102147793A TW 102147793 A TW102147793 A TW 102147793A TW I597623 B TWI597623 B TW I597623B
Authority
TW
Taiwan
Prior art keywords
behavior
real object
data
display
wearer
Prior art date
Application number
TW102147793A
Other languages
English (en)
Other versions
TW201435654A (zh
Inventor
藍柏馬修Ｊ
基曼艾利士艾本艾塔
Original Assignee
微軟公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟公司 filed Critical 微軟公司
Publication of TW201435654A publication Critical patent/TW201435654A/zh
Application granted granted Critical
Publication of TWI597623B publication Critical patent/TWI597623B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

可穿戴基於行為的視覺系統
本申請案是關於可穿戴基於行為的視覺系統。
混合真實是一種技術，可以讓虛擬圖像與顯示器中的真實世界的實體環境混合。用於混合真實的系統可包括例如透明的頭戴顯示器或內建攝影機的智慧型手機。這樣的系統通常包括處理單元，提供一或更多應用程式的控制下的圖像。
基於行為的分析已經應用在機器人作為用於程式化控制系統之動作的框架。有些行為機器人的行為模型使用物件的分層規則集合，諸如避開碰撞之基本層行為是最基本的。行為是聚焦自演員或機器人的觀點以及用於生產先進控制系統的元素行為。
在基於行為的系統中，機器人控制裝置是組織成稱為行為的模組集合，接收來自感測器及/或其他行為的輸入、處理該輸入、並傳送輸出到致動器及/或其他行為。每個行為通常提供一些獨立的功能，如避開障礙物或歸至目標位置。控制器中的所有行為是並行執行的，可以同時接收輸入並產 生輸出。
本文描述於透明頭戴式顯示裝置中提供基於行為的視覺系統的技術。透明顯示裝置包括透明、頭戴式顯示器和顯示器上的感測器，偵測裝置的視野中的聽覺和視覺資料。使用基於行為的真實物件映射系統，處理器與顯示器合作以提供資訊給裝置的穿戴者。建立相對於裝置的至少一全局和自我中心行為區域，真實物件指派被映射到由物件所佔據之各自區域的行為。指派給物件的行為可由提供服務給穿戴者的應用程式使用，使用行為作為於裝置中提供之回饋類型評估的基礎。
本發明內容以簡化形式介紹選擇性概念，在下面的實施方式中將進一步描述。本發明內容的目的既非專供識別申請專利之標的之主要特徵或基本特徵，亦非作為決定申請專利之標的之範圍之輔助。
2‧‧‧顯示裝置
4‧‧‧處理環境
6‧‧‧導線
8‧‧‧個人音效視訊系統
10‧‧‧顯示系統
12‧‧‧計算系統
14‧‧‧顯示光學系統
14l、14r‧‧‧顯示光學系統
20‧‧‧3D影像擷取裝置
50‧‧‧通訊網路
102‧‧‧鏡架側邊
104‧‧‧鼻橋/橋段
110‧‧‧麥克風
113‧‧‧面對實體環境的攝影機
115‧‧‧框架
117、117r‧‧‧框架
116、118‧‧‧透鏡
124、124a、124b‧‧‧反射元件
126‧‧‧反射表面
130‧‧‧耳機
132‧‧‧三軸陀螺儀
132A‧‧‧三軸磁力計
132B‧‧‧三軸陀螺儀
132C‧‧‧三軸加速度計
133‧‧‧光路徑
134、134r‧‧‧感測器
135‧‧‧可變虛擬焦距調節器
136‧‧‧控制電路
137‧‧‧電樞
138‧‧‧溫度感測器
139、139l、139r、139ln、139rn‧‧‧感測器偵測區域
140‧‧‧生物特徵感測器
142‧‧‧光軸
144‧‧‧GPS收發器
152‧‧‧紅外線光電偵測器
153、153a、153b、153c、153d‧‧‧發光器
160、160l、160r‧‧‧眼睛/眼球
162、162l、162r‧‧‧瞳孔
164、164l、164r‧‧‧角膜的中心
166、166l、166r‧‧‧旋轉中心
168、168l、168r‧‧‧角膜
170、170l、170r‧‧‧虹膜
172、172l、172r‧‧‧虹膜的表面
174、174l、174r‧‧‧反光
176、176l、176r‧‧‧反光
178、178l、178r‧‧‧軸
180、180l、180r‧‧‧視線向量
182、184、186‧‧‧虛擬物件
190、192、194‧‧‧真實物件
195‧‧‧融合區
200‧‧‧控制電路
202‧‧‧電源管理單元
203‧‧‧顯示調整機構
205‧‧‧軸
210‧‧‧處理器
212‧‧‧記憶體控制區
214‧‧‧記憶體
215a、215b‧‧‧活動區段
216‧‧‧攝影機介面
217a、217b‧‧‧凹槽
218‧‧‧攝影機緩衝區
220‧‧‧顯示驅動器
222‧‧‧顯示格式化器
226‧‧‧時序產生器
228‧‧‧顯示輸出介面
230‧‧‧顯示輸入
232‧‧‧頻帶介面
237‧‧‧變量調節器驅動器
239‧‧‧光電偵測器介面
240‧‧‧麥克風前置放大器和音頻ADC
242‧‧‧溫度感測器介面
245‧‧‧顯示調整機制驅動器
302‧‧‧頻帶介面
304‧‧‧控制電路
306‧‧‧電源管理電路
320‧‧‧CPU
322‧‧‧GPU
324‧‧‧快取
326‧‧‧RAM
328‧‧‧記憶體控制器
330‧‧‧記憶體
332‧‧‧快閃記憶體控制器
335‧‧‧快閃記憶體
336‧‧‧顯示輸出
338‧‧‧顯示輸入
340‧‧‧麥克風介面
342‧‧‧外部麥克風連接器
344‧‧‧PCI Express介面
346‧‧‧無線通訊組件
348‧‧‧USB端口
360‧‧‧時鐘產生器
362‧‧‧類比到數位轉換器
364‧‧‧電池充電器
366‧‧‧電壓調節器
368‧‧‧電池
370‧‧‧充電插口
372‧‧‧溫度感測器介面
374‧‧‧溫度感測器
376‧‧‧裝置電源
715‧‧‧視覺區
720‧‧‧自我中心區域
730‧‧‧全局區域
802‧‧‧作業系統
803‧‧‧手勢識別引擎
804‧‧‧眼睛追蹤引擎
805‧‧‧使用者介面
806‧‧‧物件識別引擎
808‧‧‧場景映射引擎
820‧‧‧圖像和音頻處理引擎
825‧‧‧核心感測器輸入處理
828‧‧‧視覺呈現
850、850-2‧‧‧應用程式
852‧‧‧真實物件資料
852a‧‧‧自我中心物件映射
852b‧‧‧全局物件映射
854‧‧‧資料分析引擎
859‧‧‧應用程序
862‧‧‧視覺引擎
868‧‧‧使用者設定檔資料
870‧‧‧物件分析服務
871‧‧‧定位服務
872‧‧‧模式識別
873‧‧‧物件行為庫
875‧‧‧計算服務
890‧‧‧作業系統
892‧‧‧圖像和音頻處理引擎
894‧‧‧物件屬性資料集合
896‧‧‧位置索引資料
1002、1004、1006、1008、1010‧‧‧步驟
1012、1014、1016、1018、1020‧‧‧步驟
1112、1114、1115、1116、1118、1120‧‧‧步驟
1122、1124、1126、1128、1130‧‧‧步驟
1100‧‧‧使用者
1200‧‧‧街道
1312、1314、1315、1318、1319、1320‧‧‧步驟
1322、1324、1326、1328‧‧‧步驟
1332、1334、1336、1340、1342‧‧‧步驟
1416‧‧‧椅子
1418‧‧‧桌
1420‧‧‧使用者
1430‧‧‧門
2000‧‧‧行動裝置
2002‧‧‧天線
2004‧‧‧電池
2006‧‧‧RF傳送/接收電路
2008‧‧‧紅外線發射器/接收器
2010‧‧‧記憶體
2012‧‧‧處理器
2014‧‧‧行動/方向感測器
2016‧‧‧響鈴/振動器
2018‧‧‧使用者介面/鍵盤/螢幕
2020‧‧‧揚聲器
2022‧‧‧麥克風
2024‧‧‧攝影機
2026‧‧‧光感測器
2028‧‧‧溫度感測器
2030‧‧‧應用程式
2040‧‧‧非揮發性儲存組件
2060‧‧‧通訊頻道
2065‧‧‧GPS
2088‧‧‧實體連接器
2100‧‧‧計算裝置
2102‧‧‧處理單元
2104‧‧‧系統記憶體
2105‧‧‧揮發性記憶體
2106‧‧‧記憶體基本配置
2107‧‧‧非揮發性記憶體
2108‧‧‧可移除儲存
2110‧‧‧非可移除儲存
2112‧‧‧通訊連接
2114‧‧‧輸入裝置
2116‧‧‧輸出裝置
圖1A描述具有可調IPD於裝置可運行之系統環境的透明、混合真實顯示裝置的一實施例的範例組件方塊圖。
圖1B描述具有可調IPD的透明、混合真實顯示裝置的另一實施例的範例組件方塊圖。
圖2A繪示範例視線向量的俯視圖，視線向量延伸到一距離處的凝視點及用於對準遠瞳距間距離(IPD)的方向。
圖2B繪示範例視線向量的俯視圖，視線向量延伸到一距離處的凝視點及用於對準近瞳距間距離(IPD)的方向。
圖3是混合真實顯示裝置的眼鏡實施例的鏡架側邊(eyeglass temple)的側視圖，提供硬體和軟體組件的支援。
圖4是混合真實顯示裝置的實施例的鏡架側邊的側視圖，提供硬體及軟體組件及微顯示組裝的三維調節的支援。
圖5A是透明、靠近眼部、混合真實裝置的可動顯示光學系統14的實施例的俯視圖。
圖5B是包括視線偵測元件之配置的透明、靠近眼部、混合真實裝置的可動顯示光學系統的另一實施例的俯視圖。
圖5C是包括視線偵測元件之配置的透明、靠近眼部、混合真實裝置的可動顯示光學系統的第三實施例的俯視圖。
圖5D是包括視線偵測元件之配置的透明、靠近眼部、混合真實裝置的可動顯示光學系統的第四實施例的俯視圖。
圖6A是與透明、頭戴式顯示裝置相關聯的處理單元的硬體和軟體組件實施例的方塊圖。
圖6B是描述一處理單元4的各個元件的方塊圖。
圖7是使用者的觸控區域、自我中心區域和全局區域的描述。
圖8是系統的功能組件描述，包括具有基於行為的視覺系統和支援計算服務的處理環境。
圖9繪示用於提供基於行為的視覺系統的程序的流程圖。
圖10繪示基於行為的視覺系統的使用者警告應用程式的流程圖。
圖11是基於行為的視覺系統的使用者警告應用程式所提供的使用者介面的圖示。
圖12是基於行為的視覺系統中的使用者導航應用程式的流程圖。
圖13是基於行為的視覺系統中的使用者導航應用程式所提供的使用者介面的圖示。
圖14是第一範例處理裝置的方塊圖。
圖15是另一範例處理裝置的方塊圖。
本文所描述的技術包括提供穿戴者基於行為之視覺系統的透明、頭戴式顯示裝置，其中真實物件可相對於一或更多使用者或全局區域由系統進行評估。這些行為是穿戴者與真實物件互動的核心層行為動作。物件可以映射到一或更多區域並由相對於地理位置或裝置場景映射的位置識別。具映射行為的物件可由系統應用程式使用，以提供穿戴者環境回饋。
基於行為的系統提供允許應用程式開發人員建立多種類型的應用程式以基於真實物件定義來提供服務給客戶端的框架。該技術可在可以提供回饋給使用者的各種類型的視覺系統實施，但在本揭示是就透明、混合真實顯示裝置中的使用來討論。
圖1-6繪示適合於實現本系統的範例透明、混合真實顯示裝置。
圖1A繪示透明、混合真實顯示裝置的一實施例的範例組件方塊圖，該裝置是在其可運作的系統環境中。在一實施例中，該技術實現透明、靠近眼部的顯示裝置。在其他實施例中，也可使用不同類型的顯示裝置。系統10包括透明顯示裝置作為靠近眼部、頭戴式顯示裝置2，透過導線6與處理單元4通訊。在其他實施例中，頭戴式顯示裝置2經由無線通訊與處理單元4通訊。處理單元4可以採用不同的實施例。在一些實施例中，處理單元4是單獨的單元，可以戴在穿戴者的身上，例如所繪示範例中的手腕或口袋中，並且包括用於操作靠近眼部顯示裝置2的許多計算能力。處理單元4可以無線方式(例如WiFi、藍牙、紅外線或其他無線通訊裝置)與一或更多計算系統、熱點、蜂窩式資料網路等進行通訊。在其他實施例中，處理單元4的功能可以整合於顯示裝置2的軟體和硬體組件。
透明頭戴式顯示裝置2(在一實施例中是框架115的眼鏡形狀)是戴在穿戴者的頭部，使穿戴者可透視顯示器，在本例中實施為顯示光學系統14用於每一眼，因此在穿戴者的前面看到實際直接的空間視野。使用術語「實際直接視野」是指使用人眼直接觀看真實世界物件的能力，而不是觀看經建立的物件的圖像表示。例如，透過眼鏡觀看房間允許穿戴者看到房間的實際直接視野，而經由電視看房間錄影不是實際直接的房間視野。根據執行軟體的情境，例如遊戲應用程 式，系統可以投影虛擬物件的圖像(有時也稱為虛擬圖像或全像圖)於可由穿戴透明顯示裝置者檢視之顯示器上，同時該穿戴透明顯示裝置者透過顯示器檢視真實世界的物件。
框架115提供用於將系統元件維持到位的支撐以及用於電性連接的管道。在本實施例中，框架115提供方便的眼鏡框作為下面將進一步討論的系統的元件的支撐。在其他實施例中，可以使用其他支撐結構。這種結構的一例是面罩、帽子、安全帽或護目鏡。框架115包括鏡架側邊或側臂用於擱置在每個穿戴者的耳朵。鏡架側邊102代表右鏡架側邊的實施例且包括用於顯示裝置2的控制電路136。框架的鼻橋104包括用於記錄的聲音和傳送音頻資料到處理單元4的麥克風110。
圖1B是描述透明、混合真實顯示裝置的另一實施例的範例組件方塊圖。在一些實施例中，處理單元4是單獨的單元，可以被戴在穿戴者的身上，例如手腕，或為單獨的裝置，例如行動裝置(例如智慧型手機)。處理單元4可以透過通訊網路50向附近或遠端位置的一或更多計算系統12進行有線或無線通訊(例如WiFi、藍牙、紅外線、RFID傳輸、無線通用串行匯流排(USB)、蜂窩式、3G、4G或者其他無線通訊方式)。在其他實施例中，處理單元4的功能可以整合於顯示裝置2的軟體和硬體組件。
一或更多遠端、網路存取電腦系統12可以用於處理能力和遠端資料存取。計算系統12的硬體組件範例示於圖16。應用程式可能執行於計算系統12，其與執行於透明、增 強現實顯示系統10的一或更多處理器上的應用程式互動或執行用於上述應用程式之程序。例如，三維地圖應用程式可以執行於一或更多電腦系統12和穿戴者的顯示系統10上。
此外，在一些實施例中，在同樣的環境下執行於其他透明頭戴式顯示系統10的應用程式或互相通訊的應用程式在裝置之間的同級配置或執行於一或更多網路可存取計算系統的物件管理服務即時分享資料更新，例如物件識別和遮擋資料，如用於真實物件的遮擋量(occlusion volume)。
在一些實施例中的共享資料可以相對於裝置2可存取的一或更多參考坐標系統而引用。在其他例子中，頭戴式顯示(HMD)裝置可以從另一HMD裝置接收資料，包括圖像資料或導自圖像資料的資料、用於傳送HMD的位置資料如給出相對位置的GPS或IR資料和方位資料。HMD之間共享的範例資料是深度圖資料，包括由其前置攝影機113擷取的圖像資料和深度資料、物件識別資料、和深度圖中真實物件的遮擋量。真實物件可能仍然未被識別或已由執行於HMD裝置或支援電腦系統上的軟體識別，如12或另一種顯示系統10。
一範例環境是穿戴者所位於之真實位置的360度可見部分。穿戴者可看著他所處環境的子集，即他的視野。例如，房間是一種環境。人可以在房子中並在廚房看著冰箱的頂部架子。冰箱的頂部架子在他的顯示視野內，廚房是他的環境，但他樓上的臥室不是他當前環境的一部分，因為牆壁和天花板擋住他看見樓上的臥室。當然，當他移動時，他的環境改變。一些其他的環境範例可以是球場、街道位置、店 鋪的一部分、咖啡館的訪客區等。地點可以包括多個環境，例如房子可以是位置。穿戴者和他的朋友們可穿著自己的顯示裝置系統玩遊戲，遊戲在整個房子進行。當每個玩家在房子內移動時，他的環境改變。同樣地，幾個街區周邊可能是地點，當不同的交叉街道映入眼簾時，不同的路口提供不同的環境來檢視。在一些情況下，根據位置追蹤感測器或資料的精確度，位置也可以是環境。
圖2A繪示範例視線向量的俯視圖，視線向量延伸到距離處的凝視點及用於對準遠瞳距間距離(IPD)的方向。圖2A繪示相交在凝視點的範例視線向量，其中穿戴者的眼睛有效地聚焦在無窮遠處，例如超過五英呎，或者換句話說是當穿戴者直視前方時的範例視線向量。基於Gullstrand架構的眼部模型，繪示每個眼睛160l、160r的眼球模型。對於每隻眼睛，眼球160是模型化為具有旋轉中心166的球體，並且包括角膜168模型化為眼球並具有中心164。角膜隨著眼球轉動，眼球的旋轉中心166可以視為固定點。角膜涵蓋虹膜170，以瞳孔162為中心。在這個例子中，在各角膜表面172上的是反光174和176。
在所示圖2A的實施例中，感測器偵測區域139(139l和139r)是與眼鏡框架115內的每個顯示光學系統14的光軸對準。在這個例子中，與偵測區域相關聯的感測器是能夠擷取代表分別由框架115左側的發光器153a和153b產生的反光174l和176l的圖像資料，和代表分別由發光器153c和153d產生的反光174r和176r的資料。透過顯示光學系統(眼鏡框 115中的14l和14r)，穿戴者的視野包括真實物件190、192和194和虛擬物件182、184、和186。
自旋轉中心166經由角膜中心164至瞳孔162而形成之軸178是眼睛的光軸。視線向量180有時稱為視線或視軸，自中央窩經由瞳孔162的中心而延伸。中央窩是位於視網膜大約1.2度的小區域。經計算光軸與視軸之間的角偏移具有水平和垂直分量。水平分量自光軸起最多是5度，而垂直分量是在2和3度之間。在許多實施例中，決定光軸及透過穿戴者校準決定小的修正，以得到選擇作為視線向量的視軸。
對於每個穿戴者，虛擬物件可由顯示裝置顯示於不同的水平和垂直位置的一數量預定位置的每一位置。在顯示物件於每個位置的期間，可以計算每隻眼睛的光軸，光線可模型化為位置延伸至穿戴者的眼睛。與水平和垂直分量的角度偏移的視線可以基於如何移動光軸以與模型化的光線對準來決定。從不同的位置，與水平和垂直分量的角度偏移的平均視線可選擇為小的修正以應用到每個計算的光軸。在一些實施例中，水平分量是用於視線偏移角度的校正。
視線向量180l和180r變得更靠近在一起時不是完全平行的，因為它們在如符號181l和181r所指示之有效為無窮遠處的視線點從眼球延伸進入視野。在每個顯示光學系統14，視線向量180似乎與感測器偵測區域139以之為中心的光軸交叉。在此配置中，光軸對準瞳孔間距離(IPD)。當穿戴者直視前方時，測得的IPD也稱為遠瞳距。
在識別物件以讓穿戴者聚焦而用於在一定距離對準IPD時，可以在沿每個顯示光學系統的每個光學軸線的方向對準物件。最初，光軸與穿戴者的瞳孔之間的對準是未知的。對於遠IPD而言，方向可以是透過光軸直行。當對準近IPD時，所識別的物件可以是在透過光軸的方向上，但是由於眼睛在近距離的輻輳，雖然可以置於顯示光學系統的光軸之間的中央，方向不是直行的。
圖2B繪示範例視線向量的俯視圖，視線向量延伸到一距離處的凝視點及用於對準近瞳距間距離(IPD)的方向。在這個例子中，左眼的角膜168l旋轉到右側或轉向穿戴者的鼻子，右眼的角膜168r旋轉到左側或朝向穿戴者的鼻子。兩個瞳孔在更近的距離凝視著真實物件194，例如在穿戴者的前面兩呎處。來自每隻眼睛的視線向量180l和180r進入真實物件194所位於之Panum的融合區195中。Panum的融合區是雙目檢視系統中的單一視覺區，如同人類視覺。視線向量180l和180r的交點表示穿戴者看著真實物件194。在這樣的距離處，因為眼球旋轉向內，瞳孔之間的距離減小到近IPD。近IPD一般比遠IPD短約4毫米。近IPD距離準則(例如在少於四呎的凝視點)可用於將顯示光學系統14的IPD對準切換或調整到近IPD。對於近IPD，每個顯示光學系統14可朝向穿戴者的鼻子移動，所以光軸與偵測區域139朝鼻子移近幾毫米，如偵測區域139ln和139rn所表示。
用於自動決定穿戴者的IPD及自動調整STHMD以設定IPD用於最佳穿戴者檢視的技術是討論於待決美國專利 申請號13221739名稱為Gaze Detection In A See-Through,Near-Eye,Mixed Reality Display、美國專利申請號13221707名稱為Adjustment Of A Mixed Reality Display For Inter-Pupillary Distance Alignment、和美國專利申請號13221662名稱為Aligning Inter-Pupillary Distance In A Near-Eye Display System，在此併入前述所有申請案作為具體參考。
圖3是透明、靠近眼部、混合真實顯示裝置的範例配置，實施為具有包括視線偵測元件之可移動顯示光學系統的眼鏡。看起來是用於每隻眼睛的透鏡代表用於每隻眼睛的顯示光學系統14，如14r和14l。顯示光學系統包括透明透鏡如圖5A-5B的118和116，如同在一副普通眼鏡中，但也包含光學元件(如反射鏡、濾光片)用於無縫融合虛擬內容與透過透鏡118、116看到的實際直接真實世界。顯示光學系統14具有光軸，通常是在透明透鏡118、116的中心，其中光線通常被視準以提供無失真的檢視。例如，當眼睛保健專業人員將普通的一副眼鏡戴到穿戴者臉上時，目標是眼鏡置於穿戴者的鼻子上某位置，而在該位置每個瞳孔與各透鏡的中心或光軸對準，導致一般視準的光線到達穿戴者的眼睛而有清晰或無失真的檢視。
在範例顯示裝置2中，至少一感測器的偵測區域對準各別顯示光學系統的光軸，使得偵測區域的中心沿光軸擷取光線。如果顯示光學系統是與穿戴者的瞳孔對準，相應感測器的每個偵測區域對準穿戴者的瞳孔。在這個例子中，偵 測區域的反射光經由一或更多光學元件傳輸到攝影機的實際圖像感測器，此處以虛線繪示為在框架115內。
在一實施例中，可見光攝影機(通常也稱為RGB攝影機)可以是感測器。光學元件或光導元件的範例是可見光反射鏡，其為部分透射和部分反射。可見光攝影機提供了穿戴者眼睛的瞳孔的圖像資料，而紅外光圖像偵測器152擷取閃爍，閃爍是光譜的紅外部分的反射。如果使用可見光攝影機，虛擬圖像的反射可能會出現在攝影機拍攝到的眼部資料中。如果需要，一種圖像過濾技術可用於移除虛擬圖像反射。紅外攝影機對眼睛的虛擬圖像反射不敏感。
在其他實例中，至少一感測器是紅外攝影機或IR輻射可定向的位置敏感偵測器(PSD)。例如，熱反射表面可以傳輸可見光但反射IR輻射。反射自眼睛的紅外輻射可以來自發光體的入射輻射，其他紅外發光體(未繪示)或來自環境IR的輻射反射離開眼睛。在一些實例中，感測器可以是RGB和IR攝影機的組合，光導元件可以包括可見光反射或分流元件和紅外輻射反射或分流元件。在一些實施例中，攝影機可以是小的，例如2mm乘2mm。
各種類型的視線偵測系統適合於在本系統中使用。在計算角膜中心作為決定視線向量的一部分的一些實施例，兩個閃爍點和兩個發光點就足夠。然而，其他實施例可以使用額外閃爍決定瞳孔位置及視線向量。在重複擷取代表閃爍的眼睛資料時，例如每秒30或更多畫面，閃爍的資料可以受 阻於眼瞼甚至睫毛，但資料可以由另一發光器所產生的閃爍聚集。
圖3是透明、混合真實顯示裝置之眼鏡實施例中框架115的鏡架側邊102的側視圖。在框架115的前方是面對可擷取視頻和靜止圖像的視頻攝影機113的實體環境。特別是在一些實施例中，面對攝影機113的實體環境可以是深度攝影機以及可見光或RGB攝影機。例如，深度攝影機可以包括IR發光發射器和熱反射表面，如可見圖像感測器前方的熱反射鏡，它可以讓可見光透過並引導一波長範圍內或大約預定波長的由發光器傳輸至CCD或其他類型的深度感測器的反射紅外輻射。可以使用其他類型的可見光攝影機(RGB攝影機)和深度攝影機。關於深度攝影機的更多資訊可以在申請日為2010年6月11日、美國專利申請號12/813675的案件中找到，在此併入其整體作為參考。來自感測器的資料可以傳送到可處理它們的控制電路136的處理器210或者處理單元4或兩者，但處理單元4也可以透過網路傳送到電腦系統或次級計算系統進行處理。此程序透過圖像分割和邊緣偵測技術識別物件及將深度映射至穿戴者的真實世界視野中的物件。此外，面對攝影機113的實體環境也可以包括用於測量環境光的測光表。
控制電路136提供支援頭戴式顯示裝置2的其他組件的各種電子裝置。參照圖6A和圖6B，下面提供更多細節的控制電路136。耳機(或揚聲器)130、慣性感測器132、GPS收發器144和溫度感測器138是在內部或安裝於鏡架側 邊102。在一實施例中，慣性感測器132包括三軸磁力計132A、三軸陀螺儀132B和三軸加速度計132C(見圖6A)。慣性感測器用於感測位置、方向頭戴式顯示裝置2的突然加速度。從這些動作，也可決定頭的位置。
顯示裝置2提供圖像產生單元，其可以建立包括一或更多虛擬物件的一或更多圖像。在一些實施例中，微型顯示器可以用作圖像產生單元。在這個例子中，微型顯示組件173包括光處理元件和可變焦距調節器135。光處理元件的例子是微型顯示器120。其他的例子包括一或更多光學元件，例如透鏡系統122的一或更多透鏡和一或更多反射元件，例如在圖5A和5B的反射元件124a和124b或圖5C和5D的124。透鏡系統122可以包括單個透鏡或多個透鏡。
微型顯示器120是安裝到鏡架側邊102或其內部，微型顯示器120包括圖像源並產生虛擬物件的圖像。如下圖所示，微型顯示器120與透鏡系統122和反射元件124或反射元件124a和124b光學上對準。光學對準可以是沿著包括一或更多光軸的光路133。微型顯示器120透過可導引圖像光線的透鏡系統122投射虛擬物件的圖像至反射元件124上，如圖5C和圖5D所示，反射元件124引導光線進入光導光學元件112或到反射元件124A(例如反射鏡或其他表面)，反射元件124A引導虛擬圖像的光線到部分反射元件124b，部分反射元件124b沿路徑133結合虛擬圖像視圖與自然直接視圖，或沿光軸142結合虛擬圖像視圖與實際直接視圖，如圖5A-5D。視圖的組合被引導到穿戴者的眼睛。
可變焦距調節器135改變在微顯示組件的光路徑中一或更多光處理元件之間的位移或在微顯示組件中元件的光功率。透鏡的光功率是定義為焦距的倒數，例如1/焦距長度，所以在一者的變化的影響另一者。焦距長度的改變導致視野區域的改變，例如在一定距離的區域，該區域對於由微型顯示組件173所產生的圖像而言是在焦點內。
在進行位移變化的微型顯示器組件173的範例中，位移的變化是在支持諸如本例中透鏡系統122和微型顯示器120之至少一光處理元件的電樞137內被引導。在元件的實體移動期間，電樞137有助於穩定沿光路133對準，以實現所選擇的位移或光功率。在一些實例中，調節器135可移動一或更多光學元件，如電樞137內透鏡系統122中的透鏡。在其他實施例中，電樞在光處理元件周圍的區域可以具有溝槽或空間，以便滑過諸如微型顯示器120之元件，而不移動光處理元件。在諸如透鏡系統122之電樞中的另一元件是附加的，使系統122或透鏡是在導軌內或與移動電樞137一起移動。位移範圍通常是幾毫米(mm)的數量級。在一範例中，範圍是1-2毫米。在其他範例中，電樞137可提供支援給透鏡系統122用於涉及除了位移之外的實體參數調整的焦距調整技術。
在一例子中，調節器135可以是如壓電馬達的致動器。也可以使用其他的致動器技術，這種技術的一些例子是線圈構成的音圈和永久磁鐵、磁致伸縮元件、和電致伸縮元件。
還有可用來實現微型顯示器120的不同圖像產生技術。例如，微型顯示器120可以使用透射投影技術實施，其中光源是由光學活性物質、背光白色光所調制。這些技術通常使用具有強大的背光和高光能量密度的LCD型顯示器實現。微型顯示器120也可以使用反射技術實施，外部光反射並由光學活性物質調制用於反射技術。取決於技術，照明是由白光源或RGB光源而前亮(forward lit)。高通公司的數位光處理(DLP)、矽基液晶(LCOS)和Mirasol®顯示技術是反射技術的範例，這些範例是有效率的，因為大部分的能量是自調制結構反射遠離，並可能用於本文描述的系統。此外，微型顯示器120可以使用發散技術實施，其中光線是由顯示器產生。舉例來說，來自Microvision的PicoPTM引擎發出具有微反射鏡轉向的雷射訊號至作為傳輸元件的小螢幕或直接進入眼睛(例如雷射)。
圖4是混合真實顯示裝置的另一實施例的鏡架側邊的側視圖，提供硬體及軟體組件及微顯示組裝的三維調節的支援。一些在圖5A所示的標號已被移除以避免附圖的混亂。在顯示光學系統14以任何三維空間移動的實施例中，由反射元件124和微型顯示組件173的其他元件代表的光學元件(如120、122)也可以被移動用於維持虛擬圖像的光線的光路徑133至顯示光學系統。在這個例子中，由一或更多由顯示調整機構203和軸205表示的馬達組成的XYZ傳送機構控制微型顯示器組件173的元件的移動，其中顯示調整機構203和軸205是在控制電路136的處理器210的控制下(參見圖6A)。 可以使用的範例馬達是壓電馬達。在圖示的例子中，馬達是附接至電樞137並移動可變焦距調節器135，另一顯示調節機構203控制反射元件124的移動。
圖5A是透明、靠近眼部、混合真實裝置2的可動顯示光學系統14的實施例的俯視圖。靠近眼部顯示裝置2的框架115的一部分將圍繞顯示光學系統14，並提供微型顯示組件173的一實施例的元件的支援，微型顯示組件173包括微型顯示器120和其隨附元件，如圖所示。為了顯示顯示系統14的元件，在這個例子中是用於右眼系統的顯示光學系統14r，未繪示圍繞顯示光學系統的框架115的頂部。此外，在橋段104的麥克風110在此視圖中沒有繪示，以將注意力集中在顯示調整機制203的操作。如在圖5A的例子中，在本實施方式的顯示光學系統14是透過移動內框架117r而移動，在此範例中亦圍繞微型顯示器組件173。顯示調整機構203在本實施例中實施為三軸馬達，將軸205附加到內框架117r以翻譯顯示光學系統14，在此實施例包括微型顯示器組件173，在任何三個維度中標示為符號145，表示移動的三軸。
在本實施例的顯示光學系統14有光軸142，並且包括透明透鏡118，允許穿戴者有真實世界的實際直接視圖。在這個例子中，透明透鏡118是用於眼鏡的的標準透鏡並且可以用在任何處方(包括無處方)。在另一實施例中，透明透鏡118可以由可變處方透鏡更換。在一些實施例中，透明、靠近眼部顯示裝置2將包括附加的透鏡。
顯示光學系統14還包括反射反射元件124a和124b。在本實施例中，來自微型顯示器120的光線是透過反射元件124a沿著光路徑133而引導至嵌入於透鏡118的部分反射元件124b中，其結合沿光路徑133進行的虛擬物件圖像視圖與沿光軸142的自然或實際直接視圖，使得組合的視圖被引導至在光軸上的穿戴者的眼睛(這個例子中是右眼)，具有最準直光線用於清晰視圖的位置。
光感測器的偵測區域也是顯示光學系統14r的一部分。光學元件125透過擷取沿著光軸142接收的來自穿戴者眼睛的反射光實現偵測區域並將所擷取的光線引導至感測器134r，在此範例定位在內框架117r內的透鏡118。如圖所示，該配置允許感測器134r的偵測區域139將其中心與顯示光學系統14的中心對準。例如，如果感測器134r是圖像感測器，感測器134r擷取偵測區域139，所以圖像感測器處所擷取圖像的中心在光軸上，因為偵測區域139是如此。在一範例中，感測器134r是可見光攝影機或RGB/IR攝影機的組合，光學元件125包括光學元件，反射自穿戴者的眼睛反射的可見光，例如部分反射鏡。
在其他實施例中，感測器134r是諸如紅外線攝影機之IR敏感裝置，並且元件125包括熱反射表面，可以讓可見光透過並將IR輻射反射到感測器134r。IR攝影機不但可以擷取閃爍還可擷取包括瞳孔的穿戴者眼睛的紅外線或近紅外線圖像。
在其他實施例中，IR感測器134r是位置敏感元件(PSD)，有時稱為光學位置感測器。在圖5A-5D的光導元件(在此例中是反射元件)125、124、124a和124b的描述代表它們的功能。元件可以是任何數量的形式，並與一或更多配置中的一或更多光學元件實施，用於引導光線到其預定的目的地，例如攝影機感測器或穿戴者的眼睛。
如在圖2A和2B和下面的圖中所討論的，當穿戴者直視前方，當偵測區域139或圖像感測器134r是以顯示器的光軸為中心時，穿戴者的瞳孔中心是在穿戴者眼睛所擷取之影像，顯示光學系統14r對準其各自的瞳孔。當兩個顯示光學系統14與各自的瞳孔對準時，光學中心之間的距離匹配或是與穿戴者的瞳孔間距離對準。在圖5A的例子中，瞳孔間的距離可以與三維空間的顯示光學系統14對準。
在一實施例中，如果由感測器134擷取的資料指示瞳孔不與光軸對準，在處理單元4的一或更多處理器或控制電路136或兩者都使用映射標準，該映射標準將距離或長度測量單元與像素或其他離散單元或圖像區域相關聯，用於決定瞳孔的中心離光軸142多遠。根據決定的距離，一或更多處理器決定顯示光學系統14r調整多少距離和方向，以移動而將光軸142與瞳孔對準。控制訊號是由一或更多顯示調整機構驅動器245應用於每個元件，例如顯示調整機制203，組成一或更多顯示調整機制203。在這個例子中的馬達而言，馬達移動它們的軸205以移動至內框架117r於控制訊號所指示的至少一方向。內部框架117r的鏡架側邊是框架115的活動區 段215a、215b，一端分別連接到內框架117r並在鏡架側邊框架115的內部中的凹槽217a和217b內滑動，以隨著顯示光學系統14相對於各自的瞳孔的寬度、高度或深度變化中任何三個方向的移動，而將內部框架117固定至框架115。
除了感測器，顯示光學系統14包括其他視線偵測元件。在本實施例中，至少兩個也可以是更多的紅外線(IR)發光器153附著到透鏡118側邊上的框架117r，紅外線發光器153將特定波長範圍內或在穿戴者眼睛的約略預定波長的直接窄紅外線光束引導至每者產生各自的閃爍於各自角膜的表面上。在其他實施例中，發光器和任何光電二極管可能在透鏡上，例如在角落或邊緣。在本實施例中，除了至少二紅外線(IR)發光體153，有紅外線光電偵測器152。每個光偵測器152跨透鏡118對於其相應紅外線發光器153的特定波長範圍內的紅外線輻射是敏感的，並且定位以偵測相應的閃爍。在感測器134是紅外線感測器的情況下，可以不需要光電偵測器152或者可以是額外的閃爍資料擷取源。用可見光攝影機，光電偵測器152自閃爍擷取光線並產生閃爍強度值。
在圖5A-5D中，視線偵測元件的位置(例如偵測區域139和發光器153和光電偵測器152)是相對於顯示光學系統14的光軸而固定。這些元件可與顯示光學系統14r一起移動，因此其內框架上的光軸改變，但它們與光軸142的空間關係不發生變化。
圖5B是包括視線偵測元件之配置的透明、靠近眼部、混合真實裝置的可動顯示光學系統的另一實施例的俯視 圖。在本實施例中，光感測器134r可實施為可見光攝影機，有時稱為RGB攝影機，它可以實現為紅外線攝影機或能夠處理可見光和紅外線範圍的攝影機，例如深度攝影機。在這個例子中，圖像感測器134r是偵測區域139r。攝影機的圖像感測器134是垂直位於顯示光學系統的光軸142上。在一些實施例中，攝影機可以位於透明透鏡118上面或下面的框架115上，或嵌入於透鏡118。在一些實施例中，發光體153為攝影機提供光線，在其他實施例中，攝影機使用環境照明或來自它自己的光源的光線擷取圖像。所擷取的圖像資料可以用來決定瞳孔與光軸的對準。基於圖像資料、閃爍資料或兩者的視線決定技術可根據視線偵測元件的幾何形狀來使用。
在本例中，在橋段104的顯示調整機構203以相對於穿戴者眼睛的水平方向移動顯示光學系統14r，如引導符號145所指示。當系統14移動時，彈性框架部分215a和215b在凹槽217a和217b的內部滑動。在這個例子中，微型顯示組件173的反射元件124a是靜止的。當IPD典型地決定和儲存時，可完成之微型顯示器120和反射元件124a之間的任何焦距調節可以由微型顯示組件完成，例如透過調整電樞137內的微型顯示元件。
圖5C是包括視線偵測元件之配置的透明、靠近眼部、混合真實裝置的可動顯示光學系統的第三實施例的俯視圖。顯示光學系統14具有類似視線偵測元件的配置，包括紅外線發光器153和光偵測器152，和位於光軸142之上或之下的框架115或透鏡118的光感測器134r。在這個例子中，顯 示光學系統14包括導光光學元件112，作為用於將圖像引導至穿戴者眼睛的反射元件，且位於附加透明透鏡116和透明透鏡118之間。隨著反射元件124是在光導光學元件內並隨著元件112移動，在這個例子中，微型顯示組件173的實施例是附接至在鏡架側邊102上的顯示調整機構203用於顯示光學系統14，實施為具有軸205的一組三軸機構203，三軸機構203包括至少一者是用於移動微型顯示組件。橋段104上的一或更多顯示調整機構203代表提供三移動軸之顯示調整機構203的其他組件。在另一實施例中，顯示調整機構可以操作以在水平方向205透過其連接軸205行動裝置。用於微型顯示組件173的機構203也將它水平移動用於維持出自微型顯示器120的光線和反射元件124之間的對準。控制電路的處理器210(見圖6A)協調它們的動作。
光導光學元件112將來自微型顯示器120的光傳送至戴著頭戴式顯示裝置2的穿戴者的眼睛。光導光學元件112也允許來自頭戴式顯示裝置2的前方的光線透過光導光學元件112被傳送到穿戴者的眼睛，因此除了從微型顯示器120接收到虛擬圖像，允許穿戴者在頭戴式顯示裝置2的前方有空間的實際直接視野。因此，光導光學元件112的壁是透明的。光導光學元件112包括第一反射元件124(例如反射鏡或其他表面)。來自微型顯示器120的光線透過透鏡系統122並且在反射元件124變成入射。反射元件124反射來自微型顯示器120的反射光，使得光被困於包括內部反射的光導光學元件112的平面基板內。
在幾個離開基板表面的反射之後，被困光波到達選擇性反射表面126的陣列。請注意，只有五個表面126中的一者防止繪圖過度擁擠。反射表面126將這些出自基板反射表面的光波入射耦合進入穿戴者的眼睛。在一實施例中，每隻眼將具有其自己的導光光學元件112。
圖5D是包括視線偵測元件之配置的透明、靠近眼部、混合真實裝置的可動顯示光學系統的第四實施例的俯視圖。此實施例類似於包括導光光學元件112之圖5C的實施例。然而，唯一的光偵測器是紅外光線偵測器152，所以本實施例依賴於僅用於視線偵測的閃爍偵測，如下面的實例中所討論。
在圖5A-5D中的實施例，視線偵測元件的位置例如偵測區域139和發光器153和光電偵測器152是相對於彼此而固定。在這些範例中，它們也相關聯於顯示光學系統14的光軸而固定。
在上述實施例中，所顯示透鏡的具體數量僅僅是範例。以相同原理操作的透鏡的其他數量和配置都可以使用。另外，在上面的例子中，僅顯示透明、靠近眼部顯示裝置2的右側。完整的靠近眼部、混合真實顯示裝置包括另一組透鏡116及/或118、用於圖5C和5D之實施例的另一導光光學元件112、另一微型顯示器120、另一透鏡系統122、類似者有另一面對環境的攝影機113、另一眼部追蹤感測器134、耳機130、和溫度感測器138作為範例。
圖6A是可與一或更多實施例使用之透明、靠近眼部、混合真實顯示單元2的硬體和軟體組件實施例的方塊圖。圖6B是描述處理單元4的各個元件的方塊圖。在本實施例中，靠近眼部顯示裝置2自處理單元4接收關於虛擬圖像的指令，並提供感測器資訊至處理單元4。可在處理單元4實施的軟體和硬體組件係描繪於圖6B中，並將接收來自顯示裝置2(參見圖1A)的感覺資訊。根據該資訊，處理單元4將決定何時何地提供虛擬圖像到穿戴者，並相應地將指令傳送到顯示裝置2的控制電路136。
注意圖6A的某些組件(面對實體環境的攝影機113、眼部感測器134、可調虛擬焦點調節器135、偵測區域139、微型顯示器120、發光器153、耳機130、溫度感測器138、顯示調整機構203)是以陰影繪示，以指示每一這些裝置有至少兩者，至少一者用於頭戴式顯示裝置2的左側且至少一者用於其右側。圖6A繪示與電源管理單元202通訊的控制電路200。控制電路200包括處理器210、與記憶體214通訊的記憶體控制器212(例如D-RAM)、攝影機介面216、攝影機緩衝區218、顯示驅動器220、顯示格式化器222、時序產生器226、顯示輸出介面228和顯示輸入介面230。在一實施例中，驅動器220的全部組件透過一或更多匯流排的專用線路彼此通訊。在另一實施例中，控制電路200的每個組件與處理器210通訊。
攝影機介面216提供介面給兩個面對實體環境的攝影機113和各個眼部感測器134並儲存來自攝影機113、攝影 機緩衝器218的感測器134的各個圖像。顯示驅動器220將驅動微顯示器120。顯示格式化器222可以提供關於顯示於微型顯示器120的虛擬圖像的資訊給一或更多電腦系統的一或更多處理器，例如執行用於增強真實系統的程序4、210。定時訊號產生器226是用來提供系統的定時資料。顯示輸出228是用於自面向實體環境攝影機113和眼部感測器134提供圖像到處理單元4的緩衝器。顯示輸入230是用於接收圖像的緩衝器，圖像例如是將顯示於微型顯示器120的虛擬圖像。顯示輸出228和顯示輸入230與頻帶介面232通訊，頻帶介面232是與處理單元4的介面。
電源管理單元202包括電壓調節器234、眼球追蹤照明驅動器236、可變調節器驅動器237、圖像偵測器介面239、音頻DAC和放大器238、麥克風前置放大器和音頻ADC240、溫度感測器介面242、顯示調整機制驅動器245和時鐘產生器244。電壓調節器234透過頻帶介面232自處理單元4接收電源，並提供該電源給頭戴式顯示裝置2的其他元件。照明驅動器236例如透過驅動電流或電壓來控制發光器153以在約預定波長或波長範圍內運作。音頻DAC和放大器238從耳機130接收音頻資訊。麥克風前置放大器和音頻ADC 240提供麥克風110的介面。溫度感測器介面242是溫度感測器138的介面。一或更多顯示調整驅動器245提供控制訊號給構成每個顯示調整機構203的一或更多馬達或其他裝置，顯示調整機構203代表三個方向中至少一者的移動調整量。電源管理單元202亦提供電源並自三軸磁力計132A、三軸陀螺儀 132B和三軸加速度計132C接收資料。電源管理單元202亦提供電源並自GPS收發器144接收資料和傳送資料到GPS收發器144。在一實施例中，可以提供包括例如心跳感測器的生物特徵感測器140。
變量調節器驅動器237提供例如驅動電流或驅動電壓之控制訊號給調節器135，以移動微型顯示組件173的一或更多元件來實現由執行於控制電路13的處理器210或處理單元4或兩者的軟體所計算之聚焦區位移。在掃過位移範圍和焦點區域範圍的實施例中，可變調節器驅動器237接收來自定時產生器226的定時訊號，或可為時鐘產生器244以於程式化速率或頻率運作。
光電偵測器介面239執行來自每個圖像偵測器的電壓或電流讀數所需的任何類比到數位的轉換、透過記憶體控制器212以處理器可讀取格式儲存讀數於記憶體中、並監看諸如溫度和波長準確性之圖像偵測器152的操作參數。
圖6B是與透明、靠近眼部、混合真實顯示單元相關聯的處理單元4的硬體和軟體組件的實施例的方塊圖。處理單元4可包括硬體和軟體組件的實施例及執行類似功能的類似組件。圖6B繪示與電源管理電路306通訊的控制電路304。控制電路304包括中央處理單元(CPU)320、圖形處理單元(GPU)322、快取324、RAM 326、與記憶體330通訊之記憶體控制328(例如D-RAM)、與快閃記憶體335(或其他類型的非揮發性記憶體)通訊的快閃記憶體控制器332、透過頻帶介面302和頻帶介面232與透明、靠近眼部顯示裝置2 通訊之顯示輸出緩衝器336、透過頻帶介面302和頻帶介面232與靠近眼部顯示裝置2通訊之顯示輸入緩衝器338、與外接麥克風連接器342通訊用於連接麥克風之麥克風介面、用於連接到無線通訊組件346的PCI Express介面和USB端口348。
在一實施例中，無線通訊元件346可以包括賦能Wi-Fi的通訊裝置、藍牙通訊裝置、紅外線通訊裝置等。USB端口可用於將處理單元4與次級計算裝置對接，以將資料或軟體載入處理單元4以及充電處理單元4。在一實施例中，CPU 320和GPU 322是用於決定何處、何時以及如何插入圖片到穿戴者視野的主力。
電源管理電路306包括時鐘產生器360、類比到數位轉換器362、電池充電器364、電壓調節器366、透明、靠近眼部顯示電源介面376、和與溫度感測器374通訊的溫度感測器介面372(位於處理單元4的手腕帶)。交流電流到數位轉換器362是連接到用於接收交流電源並建立系統的DC電源的充電插口370。電壓調節器366與電池368通訊用於提供電源給系統。當自充電插口370接收電源時，電池充電器364用於為電池368充電(透過電壓調節器366)。裝置電源介面376提供電源給顯示裝置2。
上面描述的系統可用於將虛擬圖像加入到穿戴者的視野，使得虛擬圖像與穿戴者看到的真實圖像混合。在一範例中，虛擬圖像被加入的方式，使得它們看起來是原始場景的一部分。加入虛擬圖像的例子可以在2011年5月20日所 申請的美國專利申請案13/112,919「Event Augmentation With Real-Time Information」找到；及2010年10月15日申請的美國專利申請案12/905,952「Fusing Virtual Content Into Real Content」；將這兩個申請案全文納入作為參照。
為了提供一種混合真實環境，實施以物件為中心的追蹤系統，其中由顯示裝置呈現的虛擬物件與在穿戴者視野中的真實物件進行互動。以物件為中心的追蹤系統使用資料定義於真實世界物件的每個實例和所呈現的虛擬物件。這允許每個處理單元4和計算系統12理解和處理實際和虛擬的物件，其方式是在所有裝置保持一致，並允許各個呈現裝置來執行計算以呈現視野中物件之間的正確互動。
以物件為中心的追蹤系統包括用於每個真實物件的資料定義。用於真實物件的資料可以包括物件形狀、外觀、及/或允許在裝置上的感測器偵測物件的其他資訊。資料定義可能包括物件的地理位置。
真實物件的資料定義可以包括行為定義或行為基元(primitive)，包括定義裝置2的穿戴者如何與真實物件進行互動的規則。行為是元素，允許應用程式視需要處理資料定義以提供服務給穿戴者。
圖7繪示用於使用者700的不同行為區域。第一，自我中心區域720是在使用者可以實體接觸的範圍內。自我中心區域720是使用者使用感覺可以感知的任何事物。自我中心區域圍繞使用者的身體，並且通常接近使用者。全局區域730包括登錄至全局空間的所有物件，並可能包含自我中 心區域。如本文中所討論的，在區域720和730之一者內的每個實體物件與定義用於該物件的特定使用者行為相關聯。區域內每個物件的行為定義可由存取視覺系統的應用程式使用，以提供各類回饋和輔助給穿戴視覺系統的使用者。在本發明中，視覺系統是能夠混合真實呈現的透明、頭戴式顯示系統。可提供其他區域定義。觸控區710可包含使用者實體接觸範圍內的所有物件，而視覺區715可包括使用者視線範圍內的物件。
行為區映射自我中心、全局和其他空間至包含不同類型資訊的區段區域，不同類型的資訊與每一區域內真實物件的行為相關聯。映射的結果可以用來提供諸如定位和與興趣點距離之額外資訊給裝置2的穿戴者，警告即將到來的危險，例如與汽車碰撞或避開在路面不可預見的阻礙。
每個區域內的真實物件是決定自全局區域內的全球定位資訊及在自我中心區域內的場景映射，映射到物件的行為基元(核心行為)可以作為用於由應用程式執行之程序的建構基礎，以提供裝置2的穿戴者與穿戴者的環境相關的資訊。
行為是與每個區域相關聯。互動行為一般不與全局區域相關聯。互動行為一般相關聯於穿戴者的自我中心區域。例如，使用者頭上不可及的區域是使用者的自我中心區之外，並將任何行為限制於那些不包括使用者與物件互動的行為。
圖7繪示三個不同的區域，但是任何數量的使用者為中心的區域或全局區域可以用於本技術。每個區域可以有不同類型的指派給物件定義的行為基元。例如，「觸控」行為基元可能不會在全局區域相關。
圖8繪示適用於實現本發明技術的處理環境的功能組件，包括本地處理單元4和遠端、提供額外計算服務875到本地處理單元4的網路連接處理環境。圖8是從軟體角度來看的系統方塊圖，用於提供情感偵測系統於透明頭戴式混合真實顯示器。圖8繪示從軟體角度來看的計算環境，可以由個人計算裝置與一或更多遠端計算系統實施，以提供與一或更多個人的AV裝置通訊的計算服務875或其組合。網路連接允許可利用的計算服務875。
如上所討論，每個裝置2可與隨附處理裝置4進行通訊。其他擷取裝置20可以用來提供真實物件資料給計算服務875。裝置20可包括例如二維影像裝置或三維影像裝置。其他使用者系統44可以包括處理單元4和顯示裝置2，全部透過網路50與計算服務875通訊。
如圖8的實施例中所示，處理單元4的軟體組件包括作業系統802、眼睛追蹤引擎804、使用者介面805、圖像和音頻處理引擎820、回饋應用程式850、和使用者設定檔資料868。
作業系統802提供基本結構，以允許在處理單元4的硬體元件與圖8中所示的功能元件的較高層級功能進行互動。
眼睛追蹤引擎804就相對於裝置2的眼球運動來追蹤穿戴者的目光。基於人的位置和眼球運動，眼睛追蹤引擎804可以識別視線方向或視線點並決定指令或請求。
使用者介面805允許使用者操縱應用程式和系統的其他態樣，並提供視覺和聲音回饋給穿戴者。
圖像和音頻處理引擎820處理自可從該裝置取得的一或更多擷取裝置所接收的圖像資料(如視頻或圖像)、深度和音頻資料。圖像和深度資訊可能來自朝外感測器，其係當穿戴者移動他或她的身體時所擷取。
手勢識別引擎803可以識別由穿戴者執行的指示控制的動作，並識別使用者視野內的真實世界物件。在一實施例中，手勢識別803包括手勢濾波器的集合，每者包含關於可由骨骼模型的至少一部分執行的手勢的資訊。手勢識別引擎803比較骨骼模型和與其相關聯的移動，其係導自加入到手勢庫中的手勢過濾器的所擷取圖像，以識別何時穿戴者已經執行一或更多手勢。手勢可用於控制裝置2的各個態樣和處理單元4。圖像和音頻處理引擎820處理接收自在給定位置可用之一或更多擷取裝置的圖像資料深度和音頻資料。
根據用於顯示視野的擷取圖像資料和深度資料，混合真實顯示裝置2的穿戴者視野的3D映射可以由場景映射引擎808決定。深度圖可以表示所擷取的圖像資料和深度資料。依賴於視野的坐標系統可用於視野顯示的映射，因為穿戴者如何看待虛擬物件之間的碰撞取決於視圖穿戴者的檢視點。依賴於視野的坐標系統範例是X、Y、Z坐標系統，其中Z軸 或深度軸正交延伸或自透明顯示裝置2的前面正交。在一些實例中，呈現於顯示視野的深度圖的圖像和深度資料是接收自顯示裝置2前方的攝影機113。顯示視野中的物件可遠端決定或使用一組環境資料決定，該資料係基於使用場景映射引擎808或來自計算服務875之前一映射而先前提供。
視覺呈現引擎828呈現視覺元素於穿戴者顯示器，其可包括三維全像虛擬物件的實例、二維圖像、顯示裝置2的顯示器內的顏色和其他資訊。視覺呈現引擎828與應用程式850一起合作，以呈現特定應用程式的元件於顯示器及元件於使用者介面805。
音頻識別和呈現引擎862解譯來自音頻輸入之輸入，如麥克風110，並產生輸出至耳機或揚聲器130。
核心感測器輸入處理825於來自裝置2的感測器輸入資料執行資料操作的基本集合。這個核心操作可能包括運動估計處理、深度差距決定和顏色變化處理。來自裝置2的每種類型的感測器的輸入(視覺、聽覺、深度、位置、方向)可以由核心感測器輸入處理825來處理。感測器輸入處理的輸出825及/或物件識別引擎806的輸出可由應用程式850與指派給物件的基元行為結合使用，以完成應用程式850的目標。
透過將感測器資料與代表真實世界物件的實體特徵的物件資料比較，物件識別引擎806將來自裝置2的感測器資料轉換成經識別真實物件。物件識別引擎806可以將物件資料映射到自我中心或以觸控為中心的空間(或其他空間) 內的特徵和行為資料。另外，真實物件資料可以由物件分析服務870自計算服務875提供。物件分析服務870包括本地化服務、模式識別和物件行為庫873。
真實物件資料852包括真實世界物件的物件資料和映射到行為區的相關行為。真實物件資料包括例如自我中心區域映射852a和全局區域映射852b。真實物件資料可以包括允許感測器資料使用視覺和深度資料、物件的位置資訊、以及一或更多相關聯的行為基元來識別物件的資訊。行為基元是反映相對於穿戴者的物件行為的元素。行為的例子包括「危險」、「迴避」、「觸控」、「看」等等。任何N個行為可以包括於系統中，任何數目的行為可與物件相關聯。
真實物件可以映射到自我中心映射或世界區映射。自我中心映射定義相對於裝置2的穿戴者的物件，而全局區域映射定義相對於世界參考點的物件資料。使用場景映射引擎808和物件識別引擎806，裝置2可以決定圍繞穿戴者的世界裡的實體結構和物件，因此映射出自我中心空間。每個映射包含不同類型的行為基元，定義相對於使用者的世界裡的真實物件的行為。這個計算的結果可由應用程式850使用，以提供穿戴者額外資訊，例如定位和與興趣點多接近和警告即將到來的危險，例如與汽車碰撞或避開在路面不可預見的阻礙。
應用程式850可以是任何數目的設計為使用基於行為的資料以向裝置2的穿戴者提供服務的應用程式。應用程式850包括應用程式858和資料分析引擎854。應用程式858 包括實現應用程式的功能的一或更多程序。例如，視覺警告應用程式可以設計為警告穿戴者由裝置所偵測到的危險。視覺警告應用程式將分析物件資料和核心感測器的處理，決定是否應發出警告至裝置2的穿戴者，並使用視覺及/或音頻呈現來提供警告。一種導航應用可以設計為顯示給穿戴者到目的地的最有效路線。購物應用程式可以設計為將使用者的注意力引至使用者想要或需要的項目。這些功能之每者是由應用程式858結合真實物件資料852和資料分析引擎提供。
資料分析引擎854提供核心感測器輸入和物件資料的特定應用程式的處理。應用程式858可以使用來自裝置感測器的特定類型的輸入，以便作出決定。警告應用程式例如可以使用快速變化的深度資料於一或更多空間，作為應在裝置顯示的區域提供使用者某警告的指示。
計算服務875提供額外的資源，以使應用程式850來完成其功能。為了讓服務875包括作業系統890、圖像和音頻處理引擎892、額外應用程式850-2、物件分析服務870、物件屬性資料集合894和位置索引的資料896，計算服務875可以在一或更多處理裝置實施，例如那些本文所描述的各種實施例。
圖像和音頻處理引擎892可以提供額外的計算能力，以處理來自處理單元4的輸入資料，並且可以包括元件如手勢識別元件、場景映射引擎、和核心感測器輸入處理。
應用程式850-2可包括各種應用程式，其使用基於行為的物件以提供服務給使用者。應用程式850-2可從計算服務875提供服務或可下載到處理單元4執行。
物件分析服務870可為全局空間或自我中心空間中的真實物件提供額外的物件資料。定位服務871允許在不同的全球定址位置的物件上的匹配位置經索引資料896被提供給處理單元4。模式識別872提供額外的處理能力，允許來自處理單元4的原始輸入資料提供給服務875，並返回到處理單元4。物件行為庫873允許物件屬性資料集合894的物件屬性匹配至任何行為空間中已知、經發現或經偵測物件的行為基元。
圖9是按照本文所描述技術的用於提供基於行為的物件資料給應用程式的方法流程圖。圖9的方法可以由處理裝置4、計算服務875、或者它們的組合來實現。在步驟1002，決定裝置2的穿戴者的位置。該位置可以由任意數量的不同方法決定，包括GPS資料、地形測繪、或其他地理位置估計技術，例如使用地理位置參考的無線接入點來決定。在步驟1004，決定在全局空間中接近使用者位置某距離並且行為與物件相關聯的真實物件。一旦使用者的位置是已知的，接近使用者之物件的決定可提供給處理單元4。在全局空間中接近使用者的物件的決定可以由任何數量的技術進行。相對於穿戴者位置的距離可用來決定哪些物件可能與穿戴者有關。所有在全局空間接近使用者物件的子集可能由計算服務透過參考位置索引資料896提供。在世界空間的真實物件可以儲存 在物件資料852，或位置索引資料896。在世界空間中的真實物件一般包括相對於全球空間而固定的物件，並且可以透過位置坐標被引用。這樣的物件可以包括例如道路、建築物、地理特徵、及可以是裝置2的穿戴者感興趣的其他真實物件。
在步驟1006，使用者的方位和視線是使用上述用於裝置2的技術決定。在1008，一旦使用者的方向和視線決定時，可以決定在自我中心空間接近使用者的真實物件，且行為可以與這些物件相關聯。在自我中心空間的物件是由場景映射引擎所決定，場景映射引擎比較來自裝置2的輸入資料與物件的已知特性。例如，表和門會有參數(例如二維圖像圖或三維深度圖)，這可以透過現場映射引擎來識別。一旦識別真實的物件，行為可以與已知的物件相關聯。在步驟1010中，連同每個物件的行為基元，提供全局空間資料和自我中心空間資料的真實物件資料給應用程式，如應用程式850。在1012，當使用者移動他們的方向和視線時，全球和自我中心物件決定和行為關聯是在1014更新。也可將步驟1014視為等同於步驟1002到1008用於每個新的位置和每個新的視線/方向。在1016中，應用程式接收物件資料和行為基元，在1018，應用程式可以按照特定應用程式的目標來處理物件和行為基元。按照在1020的目的，應用程式可以隨後提供真實物件的回饋和資料給使用者。兩種不同類型的應用程式係繪示於隨後附圖。
圖10是代表使用者警告應用程式的應用程序的流程圖。使用者警告應用程式可以是設計來警告使用者危險情 況的涉及使用者附近物件的應用程式。這種危險情況之一繪示於圖11。在圖11中，穿戴裝置2的使用者1100開始要穿越街道1200，迎面而來的車1210正在其中移動。不管使用者自己是否識別汽車正在移向他，裝置2可以識別危險情況可能存在並警告使用者。單獨或結合接近使用者的街道1200存在的世界區域知識，識別可以基於核心資料輸入(輸入資料的更改通知)。
返回到圖10，在步驟1112，對於穿戴者的每一位置，在步驟1114，對於在位置附近的每個全局物件，在步驟1115，決定穿戴者是否靠近全局物件。穿戴者是否靠近物件可以透過評估穿戴者是否在物件的特定距離內，其係由識別用於穿戴者和物件的全球定位位置所計算。如果使用者是接近全局物件，決定指示使用者應該避開物件的一或更多行為基元是否存在。在圖10中，在步驟1118，行為基元係繪示為「避開」的行為，但在1116任何已定義的行為可以用於評估。在步驟1118，如果行為是存在的，那麼該物件將按照應用程式使用者介面而突出顯示。介面的位置和警告呈現的方式可以有很多差異，但有一實例示於圖11，其中汽車在使用者1100的視野中突出顯示。
雖然在圖10依序地示出，自我中心的資料可以在步驟1120-1130同時監視。在步驟1120，取得核心資料以及位置、方向和視線資料。首先，在1122，該方法檢視在核心資料中的任何快速改變，向使用者提供在使用者介面中的警告可能是合理的。例如，如果穿戴者視野區域中的輸入深度資 料快速變化，應用程式可能會突出顯示此區域以引起使用者的注意。在1124，分析圖像資料用於可識別物件。在1126，對於在自我中心空間中在使用者附近的每個物件，如果物件的行為基元存在，使用者應盡量在1128避開它，在1130可於避開使用者介面突出顯示該物件。在圖11所示的例子中，汽車可能不會是全局物件，但隨著汽車接近穿戴者，可能會透過步驟1122或步驟1128識別。然而，街道可能是全局物件，並可能具有相關於「注意」的與它相關聯的行為。
圖12繪示導航應用程式的範例應用程序。在1312，決定使用者的位置，在1314，決定使用者目的地。在1315，對於每個位置，決定所有鄰近位置的全局物件，並決定考慮到全局物件的行為基元的初始路徑引導。例如，街道可能有表示它是「過得去」的基元，而建築物可能有「避開」的行為基元。
在1318，當使用者移動時，對於穿戴者的每一位置，在1319，對於在該位置上的每個全局物件，在1320決定使用者是否接近全局物件，在1322，決定與全局物件相關聯的原始行為是否調整目的地和當前位置之間的使用者路徑。如果是這樣，在1324決定圍繞上述各物件的最近路徑，在1326，鏈結要避開的圍繞物件的路徑。在1328，於使用者介面提供路徑引導。在1330，方法循環到下一位置。
類似地，在1332，對於自我中心的物件(在1318，對於每個位置)，在1332，當使用者移動時，應用程式取得核心輸入資料和經識別自我中心物件。對於經識別的每個自 我中心物件，在1334，決定與該物件相關聯的原始行為是否要求使用者路徑的改變。如果是這樣，在1336路徑會被改變並測試有關物件的導航。一旦決定新的路線，改變路徑以適應相對於穿戴者位置的物件改變，在1340提供於使用者介面提供的路徑引導的改變。
圖13繪示使用者介面，使用者看起來可能是路徑引導的結果。在圖13中，使用者1420是顯示為由箭頭1300指示的環繞椅子1416和桌1418的路徑。椅子1416和桌1418的行為定義指示使用者應該避開它們，而門1430的行為定義表示使用者可通過門然後繼續向下個目的地前進。椅、桌、和門都可能是自我中心物件，相同的指示和行為基元可以提供用於全球中心物件。
圖14是範例行動裝置的方塊圖，可於本文所述(例如處理單元4)的技術實施例運作。描述典型行動電話的範例電子電路。裝置2000包括一或更多微處理器2012和儲存處理器可讀取碼的記憶體2010(例如非揮發性記憶體，如ROM和揮發性記憶體如RAM)，處理器可讀取碼是由控制處理器2012的一或更多處理器執行，以實施本文中所描述的功能。
行動裝置2000可包括例如處理器2012、包括應用程式和非揮發性儲存器的記憶體2050。處理器2012可以實現通訊以及任意數量的應用程式，包括在此所討論的互動應用程式。記憶體2050可以是任何種類的記憶體儲存媒體類型，包括非揮發性和揮發性記憶體。裝置作業系統處理行動裝置2000的不同運作，並且可能包含運作的穿戴者介面，如發出 和接收電話呼叫、文字訊息、語音留言檢查等。應用程式2030可以是任何類型的程式，如照片及/或視頻的攝影機應用程式、地址簿、日曆應用程式、媒體播放器、網際網路瀏覽器、遊戲、其他多媒體應用程式、警報應用程式、其他第三方應用程式、本文所討論的互動應用程式等等。在記憶體2010的非揮發性儲存組件2040中包含諸如網路快取、音樂、照片、聯絡人資料、調度資料和其他檔案之資料。
處理器2012亦使用耦合到天線2002的RF傳送/接收電路2006、紅外線發射器/接收器2008、任何額外通訊頻道2060如Wi-Fi或藍牙、及行動/方向感測器2014如加速度計進行通訊。加速度計已整合到行動裝置，以賦能諸如智慧型穿戴者介面之應用程式，其允許穿戴者透過手勢、室內功能來輸入指令，在與GPS衛星的接觸斷訊之後，室內功能計算裝置的運動和方向，加速度計並偵測裝置的方向且於手機旋轉時將顯示器從肖像自動更改為景觀。加速度計可以透過例如微機電系統(MEMS)提供，微機電系統是建於半導體晶片上的微小機械裝置(微米尺寸)。可感測加速度方向以及方向、振動和衝擊。處理器2012還與響鈴/振動器2016、穿戴者介面鍵盤/螢幕、生物感測器系統2018、揚聲器2020、麥克風2022、攝影機2024、光感測器2026和溫度感測器2028進一步通訊。
處理器2012控制無線訊號的傳送和接收。在傳送模式下，處理器2012提供來自傳聲器2022或其他資料訊號至RF傳送/接收電路2006的聲音訊號。傳送/接收電路2006傳 送訊號到遠端站台用於透過天線2002通訊(例如固定站台、操作員、其他蜂窩式電話等等)。響鈴/震動器2016用於通知來電、文字訊息、日曆提醒、鬧鐘提醒或其他通知給穿戴者。在接收模式下，傳送/接收電路2006透過天線2002接收來自遠端站台的語音或其他資料訊號。提供接收到的語音訊號給揚聲器2020，而也適當處理其他接收的資料訊號。
此外，實體連接器2088可以用於將行動裝置2000連接到外部電源，如交流適配器或供電基座。實體連接器2088也可以用來作為至計算裝置之資料連接。資料連接允許諸如將行動裝置資料與在另一裝置上的計算資料進行同步。
賦能利用基於衛星的無線電導航以傳達穿戴者應用程式的位置的GPS收發器2065用於此服務。
圖15是可用於實施網路可存取計算系統或同伴處理模組的計算系統實施例的方塊圖。圖21是可用於實施可主管圖12所示的計算環境的至少一些軟體組件的一或更多網路可存取計算系統12或處理模組4的計算系統實施例的方塊圖。參照圖16，範例系統包括計算裝置，如計算裝置2100。在其最基本的配置中，計算裝置2100通常包括包括一或更多處理單元2102，包括一或更多中央處理單元(CPU)和一或更多圖形處理單元(GPU)。計算裝置2100還包括記憶體2104。取決於計算裝置的具體配置和類型，記憶體2104可以包括揮發性記憶體2105(例如RAM)、非揮發性記憶體2107(如ROM、快閃記憶體等)或是兩者的某種組合。這個最基本配置以虛線2106示於圖21。此外，裝置2100還可以有額 外的特徵/功能。例如，裝置2100還可以包括附加儲存(可移除及/或非可移除)，包括但不限於磁碟或光碟或磁帶。這種附加儲存以可移除儲存2108和非可移除儲存2110示於圖16。
裝置2100還可以包含通訊連接2112，如允許裝置與其他裝置進行通訊的一或更多網路介面和收發器。裝置2100還可以具有輸入裝置2114，如鍵盤、滑鼠、筆、語音輸入裝置、觸控輸入裝置等。也可包括輸出裝置2116，如顯示器、揚聲器、印表機等。所有這些裝置是習知技術，不需在這裡詳細討論。
圖中所示的範例電腦系統包括電腦可讀取儲存裝置的例子。一種電腦可讀取儲存裝置也是處理器可讀取儲存裝置。這種裝置可以包括揮發性和非揮發性、可移除和非可移除記憶體裝置，以任何方法或技術實施用於諸如電腦可讀取指令、資料結構、程式模組或其他資料之資訊儲存。處理器或電腦可讀取儲存裝置之一些例子有RAM、ROM、EEPROM、快取、快閃記憶體或其他記憶體技術、CD-ROM、DVD或其他光學磁碟儲存裝置、記憶碟或卡、磁卡帶、磁帶、媒體碟、硬碟、磁碟儲存或其他磁性儲存裝置，或可以用來儲存所欲資訊並可以透過電腦存取之任何其他裝置。
雖然已經以結構特徵及/或方法步驟特定之語言來描述標的，應理解到，定義於後附請求項之發明並非必須限制於本文描述之特定特徵或步驟。確切而言，上述之特定特徵及步驟係揭示作為實施請求項的範例形式。
715‧‧‧視覺區
720‧‧‧自我中心區域
730‧‧‧全局區域

Claims (19)

  1. 一種透明顯示裝置，包括：一透明頭戴式顯示器；複數個感測器，該複數個感測器與該顯示器合作以偵測該裝置之一視野中的至少視覺資料；及與該顯示器及該複數個感測器通訊的一或更多處理器，該一或更多處理器自動地建立代表一場景的複數個行為區域，使得該複數個行為區域之各者經分割成具有不同已定義行為的不同類型資訊，該場景映射至相對於該裝置的一實體環境，該等不同已定義行為乃關聯於一對應區域內的至少一真實物件，其中該等行為區域中的一第一行為區域圍繞該透明頭戴式顯示器的一穿戴者，且該第一行為區域比該等行為區域中的一第二行為區域接近該穿戴者，及該等行為區域中的該第二行為區域涵蓋該第一行為區域並包括經登錄至一全局空間的物件；利用地理定位資料及來自該複數個感測器之資料中之一者來決定該裝置附近之該至少一真實物件，該至少一真實物件與該複數個行為區域之一者關聯；基於該關聯，以該至少一真實物件指派該等行為中一或更多行為；及提供用於該至少一真實物件的一資料定義給該裝置的一回饋應用程式，該資料定義包含該一或更多行為。
  2. 如請求項1之裝置，其中該一或更多處理器建立至少一全局行為區域和一自我中心行為區域。
  3. 如請求項2之裝置，其中該一或更多處理器基於來自該複數個感測器的輸入資料決定自我中心行為區域。
  4. 如請求項2之裝置，其中該全局行為區域包括真實物件資料，該真實物件資料映射到真實物件的地理定位資料。
  5. 如請求項1之裝置，其中每一行為區域包括與該行為區域相關聯的至少一或更多獨特行為。
  6. 如請求項1之裝置，其中該一或更多處理器接收由該回饋應用程式產生的相對於真實物件資料的回饋以供顯示在該裝置上。
  7. 如請求項1之裝置，其中各行為包含針對相對於該透明頭戴式顯示器之該穿戴者的該至少一真實物件的一行為基元規則(behavioral primitive rule)，且該基元規則包括一警告，該警告在該穿戴者位在該至少一真實物件的一指定距離內時被提供給該透明頭戴式顯示器之該穿戴者。
  8. 一種電腦儲存裝置，該電腦儲存裝置包括指令以執行一種提供一視覺系統的方法，當該等指令由一處理器執行時包括： 利用地理定位資料識別在一全局行為區域中的和利用感測器資料識別在一自我中心行為區域中的複數個真實物件，使得該全局行為區域對應於一實體環境而該自我中心行為區域是該全局行為區域的子區域，該全局行為區域及該自我中心行為區域經分割成具有不同已定義行為的不同類型資訊，該等不同已定義行為乃關聯於一對應區域內的至少一真實物件，該等已定義行為限於該全局及該自我中心行為區域中之一者內及與一真實物件的互動，使得該自我中心行為區域圍繞該透明頭戴式顯示器的一穿戴者，且該全局行為區域涵蓋該自我中心行為區域；分別指派一第一複數個行為及一第二複數個行為中的一或更多行為至該全局行為區域及該自我中心行為區域中已識別之每個真實物件，該行為包括用於該透明頭戴式顯示器的該穿戴者的一行為基元互動規則(behavioral primitive interaction rule)及依相對於每一行為區域中之該真實物件的一預期使用者行為而異；及對於至少在一位置附近的該真實物件，提供用於該至少一真實物件的一資料定義至用於該視覺系統之一回饋應用程式，該資料定義包含該一或更多行為。
  9. 如請求項8之電腦儲存裝置，其中該等行為包括危險、迴避、觸控、及檢視中之一者。
  10. 如請求項8之電腦儲存裝置，進一步包括針對該複數個 真實物件之每者，建立一資料定義，該資料定義包括向該視覺系統識別該真實物件的資料。
  11. 如請求項10之電腦儲存裝置，其中向該視覺系統識別該真實物件的該資料是用於真實物件的地理定位資料。
  12. 如請求項11之電腦儲存裝置，其中向該視覺系統識別該真實物件的該資料是來自該透明頭戴式顯示器上複數個感測器的輸入資料。
  13. 如請求項12之電腦儲存裝置，該自我中心行為區域包括與真實物件的互動行為。
  14. 如請求項13之電腦儲存裝置，還包括提供由該應用程式產生的相對於該等真實物件中一或更多者的回饋以供顯示在該透明頭戴式顯示器上。
  15. 一種用於一透明顯示裝置的電腦實施方法，包括以下步驟：從與該透明顯示裝置合作的複數個感測器接收感測器資料；利用地理定位資料識別在一全局行為區域中的複數個真實物件和利用感測器資料識別在一自我中心行為區域中的複數個真實物件，使得該全局行為區域及該自我中心行為區域 是由一接近且實體的環境所定義且經分割成具有不同已定義行為的不同類型資訊，該等不同已定義行為關聯於一對應區域內的至少一真實物件，該等已定義行為限於該全局及該自我中心行為區域中之一者內及與該至少一真實物件的互動，使得該自我中心行為區域圍繞穿戴該透明顯示裝置的一穿戴者，且該全局行為區域涵蓋該自我中心行為區域；指派用於該全局行為區域之一第一複數個行為之一或更多者至於該全局行為區域中所識別之每一真實物件；指派用於該自我中心行為區域的一第二複數個行為之一或更多者至經決定是在該自我中心行為區域中每一真實物件；及提供用於該至少一真實物件的一資料定義至一回饋應用程式，該資料定義包含該等行為。
  16. 如請求項15之方法，其中該資料定義包括向該透明顯示裝置識別該至少一真實物件的資料。
  17. 如請求項15之方法，其中該穿戴者在一目的地及一當前位置之間的一路徑的顯示回應於決定該穿戴者接近該至少一真實物件而調整。
  18. 如請求項16之方法，其中向該透明顯示裝置識別該至少一真實物件的該資料是來自提供影像資料給該透明顯示裝置的複數個感測器的輸入資料。
  19. 如請求項15之方法，其中該第二複數個行為包括與真實物件的互動行為。
TW102147793A 2013-01-12 2013-12-23 可穿戴基於行爲的視覺系統 TWI597623B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/740,165 US9395543B2 (en) 2013-01-12 2013-01-12 Wearable behavior-based vision system

Publications (2)

Publication Number Publication Date
TW201435654A TW201435654A (zh) 2014-09-16
TWI597623B true TWI597623B (zh) 2017-09-01

Family

ID=50097824

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147793A TWI597623B (zh) 2013-01-12 2013-12-23 可穿戴基於行爲的視覺系統

Country Status (7)

Country Link
US (1) US9395543B2 (zh)
EP (1) EP2943857A1 (zh)
JP (1) JP2016512626A (zh)
KR (1) KR20150123226A (zh)
CN (1) CN104919398B (zh)
TW (1) TWI597623B (zh)
WO (1) WO2014110469A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI656362B (zh) * 2018-03-26 2019-04-11 仁寶電腦工業股份有限公司 電子裝置及其物件重製方法
US11415798B2 (en) 2018-03-09 2022-08-16 Industrial Technology Research Institute Augmented reality device
US11635628B2 (en) 2018-03-09 2023-04-25 Industrial Technology Research Institute Augmented reality display system and display method thereof

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
KR102194787B1 (ko) 2014-09-24 2020-12-24 삼성전자주식회사 사용자 기반 센서 정보 획득 방법 및 그 전자 장치
TWI551886B (zh) * 2014-10-13 2016-10-01 英業達股份有限公司 可供尋找物品之可穿戴式裝置以及尋找物品方法
WO2016073783A1 (en) 2014-11-05 2016-05-12 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
CN107810535A (zh) * 2014-12-18 2018-03-16 皇家飞利浦有限公司 头戴式计算设备、方法和计算机程序产品
EP3062297A1 (en) * 2015-02-25 2016-08-31 BAE Systems PLC Emergency guidance system and method
WO2016135448A1 (en) * 2015-02-25 2016-09-01 Bae Systems Plc Emergency guidance system and method
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
DE102015207134A1 (de) * 2015-04-20 2016-10-20 Prüftechnik Dieter Busch AG Verfahren zum Erfassen von Vibrationen einer Vorrichtung und Vibrationserfassungssystem
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9713871B2 (en) 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
TWI569040B (zh) * 2015-05-07 2017-02-01 尚立光電股份有限公司 自動調焦頭戴式顯示裝置
JP2016218268A (ja) * 2015-05-21 2016-12-22 セイコーエプソン株式会社 可搬型表示装置、表示システム、表示方法
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10382804B2 (en) * 2015-08-31 2019-08-13 Orcam Technologies Ltd. Systems and methods for identifying exposure to a recognizable item
WO2017113018A1 (en) * 2015-12-31 2017-07-06 Mirametrix Inc. System and apparatus for gaze tracking
CN105652442A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 头戴显示设备及该头戴显示设备与智能终端的交互方法
US20170193705A1 (en) * 2015-12-31 2017-07-06 Daqri, Llc Path visualization for motion planning
US9826299B1 (en) * 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
CN105629474B (zh) * 2016-03-07 2019-02-22 成都理想境界科技有限公司 一种近眼显示系统及头戴显示设备
CN105629475A (zh) * 2016-03-16 2016-06-01 成都理想境界科技有限公司 一种增强现实显示设备
CN105629476A (zh) * 2016-03-24 2016-06-01 成都理想境界科技有限公司 一种近眼显示光学系统
CN105652431B (zh) * 2016-03-30 2017-12-29 中国科学院合肥物质科学研究院 一种抗辐射与防辐射相结合的潜望镜式光路结构
CN105676451B (zh) * 2016-03-30 2017-12-29 中国科学院合肥物质科学研究院 一种抗辐射与防辐射相结合的成像光路结构
NZ747005A (en) 2016-04-08 2020-04-24 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
CN105807429B (zh) * 2016-05-20 2018-02-09 成都理想境界科技有限公司 一种用于虚拟现实的近眼显示系统
CN105892058A (zh) * 2016-05-20 2016-08-24 成都理想境界科技有限公司 一种近眼显示系统及增强现实设备
CN106200947B (zh) * 2016-06-30 2020-05-26 联想(北京)有限公司 一种电子设备以及虚拟环境图像展示方法
CN105929547A (zh) * 2016-07-01 2016-09-07 成都理想境界科技有限公司 近眼显示系统、虚拟现实设备及增强现实设备
CN105911699A (zh) * 2016-07-01 2016-08-31 成都理想境界科技有限公司 近眼显示系统、虚拟现实设备及增强现实设备
CN105911700A (zh) * 2016-07-01 2016-08-31 成都理想境界科技有限公司 近眼显示系统、虚拟现实设备及增强现实设备
CN105892064B (zh) * 2016-07-01 2019-02-22 成都理想境界科技有限公司 近眼显示系统、虚拟现实设备及增强现实设备
CN105954868A (zh) * 2016-07-02 2016-09-21 郭金虎 一种基于光学系统的人眼后视装置
US9830516B1 (en) 2016-07-07 2017-11-28 Videoken, Inc. Joint temporal segmentation and classification of user activities in egocentric videos
US10838210B2 (en) * 2016-07-25 2020-11-17 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
CN106157703A (zh) * 2016-08-12 2016-11-23 云南电网有限责任公司普洱供电局 一种变电站变电设备的拆装虚拟培训方法
US11102467B2 (en) 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
CN106094216A (zh) * 2016-08-29 2016-11-09 郭金虎 一种头戴式人眼后视报警装置
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
FR3058534B1 (fr) * 2016-11-09 2019-02-01 Stereolabs Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
JP6754678B2 (ja) * 2016-11-18 2020-09-16 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CN106338834B (zh) * 2016-11-24 2019-03-19 丁伟 现实增强背景黑色显示系统
US11138436B2 (en) * 2016-12-29 2021-10-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
WO2018156784A1 (en) 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
EP3376163A1 (en) * 2017-03-15 2018-09-19 Essilor International Method and system for determining an environment map of a wearer of an active head mounted device
TWI604332B (zh) * 2017-03-24 2017-11-01 緯創資通股份有限公司 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
TWI632811B (zh) * 2017-07-31 2018-08-11 中華電信股份有限公司 Film and television interactive system and method
LU100354B1 (en) 2017-08-01 2019-02-06 Starbreeze Ip Lux Ii S A R L Eye tracking system for head-mounted display
WO2019040066A1 (en) * 2017-08-24 2019-02-28 Hewlett-Packard Development Company, L.P. COLLISION AVOIDANCE FOR PORTABLE DEVICES
US10409071B2 (en) 2017-09-27 2019-09-10 University Of Miami Visual enhancement for dynamic vision defects
US10531795B1 (en) 2017-09-27 2020-01-14 University Of Miami Vision defect determination via a dynamic eye-characteristic-based fixation point
US10389989B2 (en) 2017-09-27 2019-08-20 University Of Miami Vision defect determination and enhancement using a prediction model
BR112020006142A2 (pt) 2017-09-27 2020-11-24 University Of Miami óculos corretivos terapêuticos digitais
US10742944B1 (en) 2017-09-27 2020-08-11 University Of Miami Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
KR20200077511A (ko) 2017-10-22 2020-06-30 루머스 리미티드 광학 벤치를 사용하는 헤드 장착형 증강 현실 장치
KR20200106547A (ko) 2018-01-18 2020-09-14 밸브 코포레이션 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
EP3531243B1 (en) 2018-02-23 2021-12-29 Rohde & Schwarz GmbH & Co. KG Measurement instrument identification system as well as method for finding a particular measurement instrument
CN108645637A (zh) * 2018-04-25 2018-10-12 刘翠先 一种基于增强现实技术应用的设备异响检测系统
US10921595B2 (en) * 2018-06-29 2021-02-16 International Business Machines Corporation Contextual adjustment to augmented reality glasses
CN109581665A (zh) * 2019-01-02 2019-04-05 京东方科技集团股份有限公司 一种显示装置及其显示方法、头戴式虚拟显示设备
JP2023509305A (ja) * 2019-12-25 2023-03-08 ルムス エルティーディー． 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法
US11709365B1 (en) 2020-05-12 2023-07-25 Apple Inc. Motor temperature sensor for head-mountable device
WO2022050599A1 (ko) * 2020-09-07 2022-03-10 삼성전자 주식회사 카메라의 신호 라인을 감소시킨 전자 장치
EP4200692A2 (en) * 2020-09-25 2023-06-28 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
WO2022115338A1 (en) * 2020-11-25 2022-06-02 Ostendo Technologies, Inc. Wearable display device and visual access operating system thereof
CN112579029A (zh) * 2020-12-11 2021-03-30 上海影创信息科技有限公司 Vr眼镜的显示控制方法和系统
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US11822736B1 (en) * 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6140980A (en) 1992-03-13 2000-10-31 Kopin Corporation Head-mounted display system
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US7148913B2 (en) 2001-10-12 2006-12-12 Hrl Laboratories, Llc Vision-based pointer tracking and object classification method and apparatus
US7972140B2 (en) 2003-02-26 2011-07-05 Patrice Renaud Method and apparatus for performing a behaviour analysis using a virtual environment
US8751156B2 (en) * 2004-06-30 2014-06-10 HERE North America LLC Method of operating a navigation system using images
JPWO2006080344A1 (ja) 2005-01-26 2008-06-19 松下電器産業株式会社 誘導装置及び誘導方法
US8624924B2 (en) 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
US8066376B2 (en) 2008-05-01 2011-11-29 Vital Art & Science Incorporated Dynamic shape discrimination vision test
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
JP5728159B2 (ja) * 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20120212499A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11415798B2 (en) 2018-03-09 2022-08-16 Industrial Technology Research Institute Augmented reality device
US11635628B2 (en) 2018-03-09 2023-04-25 Industrial Technology Research Institute Augmented reality display system and display method thereof
TWI656362B (zh) * 2018-03-26 2019-04-11 仁寶電腦工業股份有限公司 電子裝置及其物件重製方法

Also Published As

Publication number Publication date
CN104919398A (zh) 2015-09-16
TW201435654A (zh) 2014-09-16
EP2943857A1 (en) 2015-11-18
KR20150123226A (ko) 2015-11-03
WO2014110469A1 (en) 2014-07-17
US9395543B2 (en) 2016-07-19
US20140198017A1 (en) 2014-07-17
JP2016512626A (ja) 2016-04-28
CN104919398B (zh) 2017-10-17

Similar Documents

Publication Publication Date Title
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US9824698B2 (en) Wearable emotion detection and feedback system
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
US9696547B2 (en) Mixed reality system learned input and functions
US9767720B2 (en) Object-centric mixed reality space
KR102300390B1 (ko) 착용식 식품 영양 피드백 시스템
US9035970B2 (en) Constraint based information inference
CA2750287C (en) Gaze detection in a see-through, near-eye, mixed reality display
US9645394B2 (en) Configured virtual environments
US10175483B2 (en) Hybrid world/body locked HUD on an HMD
US8752963B2 (en) See-through display brightness control
US20140152558A1 (en) Direct hologram manipulation using imu
US20140002495A1 (en) Multi-node poster location
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
KR20170065631A (ko) 시스루 디스플레이 광학 구조
KR20230025697A (ko) 기하학적 위험 검출을 갖는 시각 장애인 지원 아이웨어