TW201329853A - 混合實境顯示器中使用者控制的真實物件的消失 - Google Patents

混合實境顯示器中使用者控制的真實物件的消失 Download PDF

Info

Publication number
TW201329853A
TW201329853A TW101134965A TW101134965A TW201329853A TW 201329853 A TW201329853 A TW 201329853A TW 101134965 A TW101134965 A TW 101134965A TW 101134965 A TW101134965 A TW 101134965A TW 201329853 A TW201329853 A TW 201329853A
Authority
TW
Taiwan
Prior art keywords
real object
user
display
real
location
Prior art date
Application number
TW101134965A
Other languages
English (en)
Other versions
TWI581178B (zh
Inventor
James C Liu
Stephen G Latta
Benjamin I Vaught
Christopher M Novak
Darren Bennett
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201329853A publication Critical patent/TW201329853A/zh
Application granted granted Critical
Publication of TWI581178B publication Critical patent/TWI581178B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明涉及混合實境顯示器中使用者控制的真實物件的消失。本技術基於使用者消失準則致使透視、混合實境顯示裝置系統的視野中的真實物件消失。追蹤到該透視顯示器的該視野中的真實物件的圖像資料以在該真實物件上實施致使該真實物件從該顯示器上消失的更改技術。真實物件可藉由是與該使用者不希望看到的主題相關聯的或藉由不滿足使用者當前感興趣的主題的相關性準則而滿足使用者消失準則。在某些實施例中，基於顯示裝置系統的地點的3D模型，可基於與該地點內的位置相關聯的可見度來為真實物件選擇更改技術。可基於該顯示裝置系統的地點來預取用於更改的圖像資料。

Description

混合實境顯示器中使用者控制的真實物件的消失
本發明係關於混合實境顯示器中使用者控制的真實物件的消失。
混合實境，亦稱為增強實境，是一種允許將虛擬圖像與真實世界視圖相混合的技術。與其他顯示裝置不同，透視、混合或增強實境顯示裝置與其他顯示裝置的不同特徵在於所顯示的圖像並不獨佔使用者的視野。當使用者看膝上型電腦、桌上型電腦或智慧型電話的電腦螢幕時，在處理器上執行的軟體產生在百分之百的電腦螢幕上查看的東西。在看電腦螢幕時，使用者的視角被從真實世界移走。經由透視、混合實境顯示裝置，使用者可透視顯示器並與真實世界互動，同時亦看到由一或多個軟體應用程式產生的圖像。可以說，存在正在執行的軟體及使用者看到的人及物(該等人及物不受電腦控制)對顯示器的共用控制。
在下文描述的實施例中，一種透視、頭戴式混合實境顯示裝置系統致使真實世界物件由於該真實世界物件與同特定使用者相關聯的主題的關係而從裝置的視野中消失。該主題可額被識別為在某些實例中要避免的主題。真 實世界物件亦可由於該真實世界物件與使用者感興趣的當前主題的相關度而消失。
本技術提供了一或多個處理器可讀取儲存裝置的實施例，該儲存裝置上編碼有用於致使一或多個處理器執行一種方法的指令，該方法用於致使透視、混合實境顯示裝置系統的透視顯示器中的真實物件消失。該方法包括以下步驟：接收識別透視顯示器的視野中的一或多個真實物件的元資料。例如，可基於由附連於透視、混合實境顯示裝置系統的一或多個面向實體環境的相機擷取的圖像資料來識別一或多個真實物件。決定該一或多個真實物件中的任一個是否滿足使用者消失準則。回應於決定某真實物件滿足使用者消失準則，追蹤到透視顯示器中該真實物件的圖像資料以致使透視顯示器的視野中的該真實物件消失。圖像資料的內容是基於指派給該真實物件的更改技術的。
本技術提供一種透視、頭戴式、混合實境顯示裝置系統的實施例，該顯示裝置系統用於致使該顯示裝置系統的透視顯示器的視野中的真實物件消失。該系統包括一或多個地點偵測感測器及用於儲存使用者消失準則的記憶體，該等使用者消失準則包括至少一個主題項。一或多個處理器具有對該記憶體的存取並且可通訊地耦合於該一或多個地點偵測感測器以接收該顯示裝置系統的地點識別符資料。該一或多個處理器識別該透視顯示器的視野中的與該至少一個主題項有關且對於從該地點識別符資料決定的地點在預定可見度距離內的一或多個真實物件。至少一個 圖像產生單元可通訊地耦合於該一或多個處理器並且光學耦合於該透視顯示器以追蹤到該透視顯示器的視野中的所識別的一或多個真實物件的圖像資料以致使該一或多個真實物件的消失。
本技術提供一種用於致使透視、混合實境顯示裝置系統的透視顯示器的視野中的真實物件消失的方法的實施例。該方法包括以下步驟：接收識別用於消失的主題的實體動作的使用者輸入，該主題包括當前在該透視顯示器的視野中的用於消失的真實物件。用於消失的主題被儲存在使用者消失準則中。根據更改技術追蹤到用於消失的真實物件的圖像資料。回應於識別要應用到當前在視野中的用於消失的真實物件的使用者指定的更改技術，將該使用者指定的更改技術選擇為該更改技術。
提供本發明內容以便以簡化形式介紹將在以下具體實施方式中進一步描述的一些概念。本發明內容並非意欲識別所要求保護的標的的關鍵特徵或必要特徵，亦不意欲用於幫助決定所要求保護的標的的範疇。
本技術提供用於致使混合實境顯示裝置系統的透視顯示器中的真實物件消失的各實施例。與在其他圖像處理應用中一樣，術語「物件」可以是指人或物。例如，作為用於識別什麼在圖像中的圖案辨識程序的一部分，可向圖像資料中的人或物應用邊緣偵測。如上所述，經由透視、混 合實境顯示裝置，使用者能夠真正地(literally)透視顯示器並與真實世界互動，同時亦看到由一或多個軟體應用程式產生的圖像。
在該顯示裝置系統上執行的軟體應用程式識別使用者消失準則。在某些實例中，使用者消失準則可以基於使用者輸入，該使用者輸入具體識別使用者不想要看到其相關物件的主題項。在某些實例中，主題可以是可跨越不同類型的物件實施的類別或一般性話題。例如，所識別的主題可以是一類人，諸如小丑。在另一實例中，主題可以是一類樹。在其他實例中，主題項可以是指一個或一組特定物件。例如，主題可以是特定人(諸如某人的九歲大的兄弟)或特定物(諸如破壞了風景的位於特定地點的蜂巢塔)。在另一實例中，主題可以是特定的人、地點或物，其中不同類型的物件與該特定的人、地點或物有關。此種特定物的實例是特定的連鎖餐館。有關的物件的某些實例是穿著該連鎖餐館的員工制服的人、為該連鎖餐館做廣告的告示牌、該連鎖餐館的路標或容納該連鎖餐館之一的建築物。
在某些實施例中，使用者消失準則可以基於使用者當前感興趣的主題來決定。為了強調當前感興趣的主題的資訊，使不滿足當前感興趣的主題的相關準則的物件從顯示器中消失。
如下進一步所述，圖像資料在該透視顯示器中被置於該透視顯示器的視野中與主題項有關的真實物件的至少一部分上方。當使用者的頭、身體或眼睛凝視可能改變，或 者真實物件的位置可能改變，或者兩者均可能改變，所以覆加的圖像資料追蹤正在消失的真實物件相對於透視顯示器的視野的位置。
為了使物件消失，可以採用不同的更改技術。某些技術可以是用黑色圖像資料覆蓋真實物件或者藉由追蹤到該物件的模糊圖像資料來遮蔽(obscure)真實物件的簡單的修訂效果(redaction effect)。其他技術可涉及在顯示器中用虛擬的不同類型的物件來取代該真實物件。例如，若要遮擋(block)小丑，則可在透視顯示器中顯示追蹤真實小丑的移動的化身(avatar)。在其他實例中，可採用擦除技術(erasure technique)。擦除技術的一種實施技術的一個實例是顯示真實物件後的事物的圖像資料來覆蓋透視顯示器中的該真實物件。在擦除技術的另一個實施實例中，藉由複製圍繞該真實物件的物件的圖像資料來產生圖像資料。顯示該圖像資料來覆蓋該真實物件，從而有效地將該圖像從顯示器的視野中混合掉(blend out)。在某些實施例中，在該透視顯示器的預定可見距離內的滿足使用者消失準則的真實物件的位置是用於選擇用於真實物件的更改技術的基礎。
具體而言，在使用擦除技術時，某些實施例藉由如下方式提供衝突迴避安全特徵：追蹤該透視、混合實境顯示裝置的位置或跡線(trajectory)以及「被擦除」的真實物件的相對位置或跡線，並且在「被擦除」的真實物件及該顯示裝置落入衝突距離內時輸出安全警告。
圖1A是圖示透視、混合實境顯示裝置系統的一個實施 例的示例元件的方塊圖。系統8包括作為經由線6與處理單元4進行通訊的近眼、頭戴式顯示裝置2的透視顯示裝置。在其他實施例中，頭戴式顯示裝置2經由無線通訊來與處理單元4進行通訊。處理單元4可以採取各種實施例。在一些實施例中，處理單元4是可以佩戴在使用者的身體(例如，在所示實例中的腕)上或置於口袋中的分開的單元，並且包括用於操作近眼顯示裝置2的計算能力中的大部分能力。處理單元4可在通訊網路50上與一或多個計算系統12無線地通訊(例如，WiFi、藍芽、紅外、RFID傳輸、無線通用序列匯流排(WUSB)、蜂巢、3G、4G或其他無線通訊構件)，而無論如本實例中的位於附近，亦是位於遠端地點。在其他實施例中，處理單元4的功能可被整合在顯示裝置2的軟體及硬體元件中。
頭戴式顯示裝置2(在本實施例中頭戴式顯示裝置2是帶框115眼鏡的形狀)被佩戴在使用者的頭上，使得使用者可以透視顯示器(在本實例中該顯示器被實施為用於每一隻眼睛的顯示光學系統14)，並且從而具有對該使用者前方的空間的實際直接視圖。使用術語「實際直接視圖」來指直接用人眼看到真實世界物件的能力，而非看到物件的所建立的圖像表示。例如，在房間中經由眼鏡看將允許使用者具有該房間的實際直接視圖，而在電視機上查看房間的視訊不是該房間的實際直接視圖。基於執行軟體(例如，遊戲應用程式)的上下文，該系統可以將虛擬物件的圖像(有時稱為虛擬圖像)投影在可由佩戴該透視顯示裝 置的人觀看的顯示器上，同時該人亦經由該顯示器觀看真實世界物件。因此，每個顯示光學系統14是顯示光學系統14相應眼睛的透視顯示器，而此兩個顯示光學系統14亦可共同被稱為透視顯示器。
鏡架115提供用於將該系統的各元件保持在適當位置的支承體以及用於電連接的管道。在該實施例中，鏡架115提供了便利的眼鏡架作為對下文進一步論述的系統的各元件的支承體。在其他實施例中，可以使用其他支承結構。此種結構的實例是帽舌或護目鏡。鏡架115包括用於擱在使用者的每一隻耳朵上的鏡腿或側臂。鏡腿102代表右鏡腿的實施例，並且包括顯示裝置2的控制電路系統136。鏡架的鼻樑104包括用於記錄聲音並向處理單元4傳送音訊資料的話筒110。
計算系統12可以是電腦、遊戲系統或控制台，或該等中的一或多個的組合。應用程式可以在計算系統12上執行，或者可以在透視、混合實境顯示系統8中執行。
在本實施例中，計算系統12可通訊地耦合於一或多個擷取裝置20A及20B。在其他實施例中，可使用多於或少於兩個擷取裝置來擷取房間或使用者的其他實體環境。擷取裝置20A及20B可以是例如相機，該相機在視覺上監視一或多個使用者及周圍空間，從而可以擷取、分析並追蹤該一或多個使用者所執行的姿勢及/或移動以及周圍空間的結構。姿勢擔當應用程式內的一或多個控制或動作及/或用於將化身或螢幕上角色動畫化。
擷取裝置20A及20B可以是深度相機。根據示例性實施例，每個擷取裝置20A、20B可被配置為經由可包括例如飛行時間、結構化光、立體圖像等在內的任何合適的技術來擷取包括深度圖像的帶有深度資訊的視訊，該深度圖像可包括深度值。根據一個實施例，該擷取裝置20A、20B可將深度資訊組織成「Z層」，即可與從深度相機沿該深度相機的視線延伸的Z軸垂直的層。擷取裝置20A、20B可包括圖像相機元件，該圖像相機元件可包括用於擷取場景的深度圖像的IR光元件、三維(3-D)相機以及RGB相機。深度圖像可包括被擷取的場景的二維(2-D)像素區域，其中2-D像素區域中的每一個像素皆可以(例如以釐米、毫米等等為單位)表示來自相機的被擷取的場景中的物件的長度。
每個擷取裝置(20A及20B)亦可包括話筒(未圖示)。計算環境12可以連接到諸如電視機、監視器、高清電視機(HDTV)等可提供遊戲或應用程式視覺的視聽裝置16。在一些情況下，視聽裝置16可以是三維顯示裝置。在一個實例中，視聽裝置16包括內置揚聲器。在其他實施例中，視聽裝置16、單獨的身歷聲系統或計算系統12連接到外部揚聲器22。
圖1B是圖示可經由通訊網路50與其他裝置通訊的透視、混合實境顯示裝置系統8的另一個實施例的示例元件的方塊圖。在該實施例中，近眼顯示裝置2與作為處理單元4的示例實施例的行動計算裝置5進行通訊。在所示實 例中，行動裝置5經由線6進行通訊，但在其他實例中通訊亦可以是無線的。
而且，如在計算系統12中一樣，應用程式(諸如消失應用程式(參見下文的456))可在行動裝置5的處理器上執行，使用者動作控制該應用程式並且該應用程式可藉由顯示光學系統14顯示圖像資料。行動裝置5的顯示器7亦可顯示用於執行應用程式的資料(例如功能表)，並且可以是觸摸敏感的，以接收使用者輸入。行動裝置5亦提供用於使用有線或無線通訊協定經由有線或無線通訊媒體經由網際網路50或經由另一通訊網路50(例如，WiFi、藍芽、紅外、RFID傳輸、WUSB、蜂巢、3G、4G或其他無線通訊手段)與其他計算裝置(諸如計算系統12)通訊的網路介面。像計算系統12等遠端網路可存取的電腦系統可被像行動裝置5等處理單元4充分利用來提供處理能力及遠端資料存取。行動裝置5的硬體及軟體元件(例如可被實施在智慧型電話或平板計算裝置中)的實例在圖17中描述，並且該等元件可以實施處理單元4的硬體及軟體元件，如在圖3B的實施例中論述的彼等組件。行動裝置5的一些其他實例是智慧型電話、膝上型電腦或筆記型電腦以及小筆電電腦。
圖2A是被實施為提供對硬體及軟體元件的支援的眼鏡的透視、混合實境顯示裝置的實施例中的鏡架115的眼鏡腿102的側視圖。在鏡架115的前部是面向實體環境的視訊相機113，視訊相機113可擷取發送給處理單元4、5的 視訊及靜態圖像。具體而言，在其中顯示裝置2沒有結合像系統12的擷取裝置20a及20b等深度相機操作的某些實施例中，面向實體環境的相機113可以是深度相機以及對可見光敏感的相機。該相機可包括一或多個深度感測器及相應的紅外照明器以及可見光偵測器。頭戴式顯示裝置2的相機113中可包括(而不限於此)的偵測器的其他實例是SONAR、LIDAR、結構化光及/或被定位為偵測該裝置的佩戴者可能正在觀看的物件的飛行時間(Time of Flight)距離偵測器。
來自相機的資料可被發送到控制電路系統136的處理器210，或處理單元4，5，或者此兩者，處理器210及處理單元4，5可以處理該資料，但單元4，5亦可將資料經由網路50發送到一或多個電腦系統12以進行處理。該處理識別並映射使用者的真實世界視野。另外，面向實體環境的相機113亦可包括用於量測環境光的曝光計。
控制電路136提供支援頭戴式顯示裝置2的其他元件的各種電子裝置。控制電路136的更多細節在下文參考圖3A提供。在鏡腿102內部或安裝到鏡腿102的是耳機130、慣性感測器132、一或多個地點感測器144(例如，GPS收發器)、紅外(IR)收發器、用於經由眼睛移動偵測命令的任選的電脈感測器128以及溫度感測器138。在一個實施例中，慣性感測器132包括三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C(參見圖3A)。慣性感測器用於感測頭戴式顯示裝置2的位置、定向以及突然加速。 從該等移動中，亦可以決定頭部位置。
圖像源或圖像產生單元120可安裝到眼鏡腿102或在眼鏡腿102內部。在一個實施例中，圖像源包括用於投射一或多個虛擬物件的圖像的微顯示器120及用於將來自微顯示器120的圖像導入光導光學元件112中的透鏡系統122。透鏡系統122可包括一或多個透鏡。在一個實施例中，透鏡系統122包括一或多個準直的透鏡。在所示實例中，光導光學元件112的反射元件124接收透鏡系統122所定向的圖像。
存在著可用於實施微顯示器120的不同的圖像產生技術。例如，微顯示器120可以使用透射投影技術來實施，其中光源由光學主動材料來調變，用白光從背後照亮。微顯示器120亦可使用反射技術來實施，其中外部光被光學活性材料反射並調變。數位光處理(DLP)、矽基液晶(LCOS)以及高通公司的Mirasol®顯示技術皆是反射技術的實例。另外，微顯示器120可使用發射技術來實施，其中由顯示器產生光，例如，Microvision有限公司的PicoPTM顯示引擎。
圖2B是透視、近眼、混合實境裝置的顯示光學系統14的實施例的俯視圖。近眼顯示裝置2的鏡架115的一部分將圍繞顯示光學系統14以用於為所示的一或多個透鏡提供支撐及進行電連接。為了圖示頭戴式顯示裝置2中的顯示光學系統14(在該情況下是右眼系統14r)的各個元件，在顯示光學系統周圍的鏡架115的一部分未被圖示。
在一個實施例中，顯示光學系統14包括光導光學元件112、不透明度過濾器114、透視透鏡116及透視透鏡118。在一個實施例中，不透明度過濾器114處於透視透鏡116之後並與透視透鏡116對準，光導光學元件112處於不透明度過濾器114之後並與不透明度過濾器114對準，並且透視透鏡118處於光導光學元件112之後並與光導光學元件112對準。透視透鏡116及118是眼鏡中使用的標準透鏡，並且可根據任何處方(包括無處方)來製作。在一些實施例中，頭戴式顯示裝置2將僅僅包括一個透視透鏡或者不包括透視透鏡。不透明度過濾器114濾除自然光(要麼以每像素為基礎，要麼均勻地)以增強虛擬圖像的對比度。光導光學元件112將人造光引導至眼睛。下文提供光導光學元件112及不透明度過濾器114的更多細節。
光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示裝置2的使用者的眼睛140。光導光學元件112亦允許如表示顯示光學系統14r的光軸的箭頭142所示一般將光從頭戴式顯示裝置2的前方經由光導光學元件112傳送到眼睛140，由此除接收來自微顯示器120的虛擬圖像之外亦允許使用者具有頭戴式顯示裝置2的前方的空間的實際直接視圖。因此，光導光學元件112的壁是透視的。光導光學元件112包括第一反射面124(例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122並入射在反射面124上。反射面124反射來自微顯示器120的入射光，使得光藉由內反射而被擷取在包括光導光學元件112的平 面襯底內。
在襯底的表面上進行若干反射之後，所擷取的光波到達選擇性反射面126的陣列。注意，五個表面中只有一個表面被標記為126以防止附圖太過擁擠。反射面126將從襯底出射並入射在該等反射面上的光波耦合到使用者的眼睛140。在一個實施例中，每隻眼睛將具有該眼睛自己的光導光學元件112。當頭戴式顯示裝置具有兩個光導光學元件時，每隻眼睛皆可以具有該眼睛自己的微顯示器120，該微顯示器120可以在兩隻眼睛中顯示相同圖像或者在兩隻眼睛中顯示不同圖像。在另一實施例中，可以存在將光反射到兩隻眼睛中的一個光導光學元件。
與光導光學元件112對準的不透明度過濾器114要麼均勻地，要麼以每像素為基礎來選擇性地阻擋自然光，以免自然光穿過光導光學元件112。在一個實施例中，不透明度過濾器可以是透視LCD面板、電致變色膜(electrochromic film)或能夠充當不透明度過濾器的類似裝置。藉由從習知LCD中移除襯底、背光及漫射體的各層，可以獲得此種透視LCD面板。LCD面板可包括一或多個透光LCD晶片，該等透光LCD晶片允許光穿過液晶。例如，在LCD投影儀中使用了此種晶片。
不透明度過濾器114可以包括緻密的像素網格，其中每個像素的透光率能夠在最小及最大透光率之間被個別化地控制。儘管0-100%的透光率範圍是理想的，然而更有限的範圍亦是可以接受的。在一個實例中，100%的透光率 表示完美清澈的透鏡。可以從0-100%定義「阿爾法(alpha)」標度，其中0%不允許光穿過，並且100%允許所有光穿過。可以由下文描述的不透明度過濾器控制單元224為每個像素設置阿爾法的值。在用代理為真實世界物件進行z-緩衝(z-buffering)之後，可以使用來自渲染排序緩衝的阿爾法值的遮罩(mask)。
當系統為混合實境顯示而呈現場景時，該系統注意到哪些真實世界物件處於哪些虛擬物件之前。在一個實施例中，顯示器及不透明度過濾器被同時渲染，並且被校準到使用者在空間中的精確位置以補償角度偏移問題。眼睛追蹤可用於計算視野的末端處的正確的圖像偏移。若虛擬物件處於真實世界物件之前，則不透明度對於該虛擬物件的覆蓋區域而言被開啟。若虛擬物件(虛擬地)處於真實世界物件之後，則不透明度以及該像素的任何顏色皆被關閉，使得對於現實光的該相應區域(該相應區域大小為一個像素或更多)而言，使用者將會僅僅看到真實世界物件。覆蓋可以是以逐像素為基礎的，所以該系統可以處理虛擬物件的一部分處於真實世界物件之前、該虛擬物件的一部分處於真實世界物件之後以及該虛擬物件的一部分與真實世界物件相重合的情況。不透明度過濾器說明虛擬物件的圖像表現得更真實並且表示全範圍的顏色及強度。於2010年9月21日提出申請的美國專利申請號12/887,426「Opacity Filter For See-Through Mounted Display(用於透射安裝顯示器的不透明度過濾器)」中提 供了不透明度過濾器的更多細節，該專利申請的全部內容藉由引用併入本文。
頭戴式顯示裝置2亦包括用於追蹤使用者的眼睛位置的系統。如下文將會解釋的一般，該系統將追蹤使用者的位置及定向(orientation)，使得該系統可以決定使用者的視野。然而，人類將不會察覺處於人類之前的所有事物。相反，使用者的眼睛將對準環境的子集。因此，在一個實施例中，該系統將包括用於追蹤使用者的眼睛位置的技術以便細化對使用者視野的量測。例如，頭戴式顯示裝置2包括眼睛追蹤部件134(參見圖2B)，該眼睛追蹤部件134將包括眼睛追蹤照明裝置134A及眼睛追蹤相機134B(參見圖3A)。
在一個實施例中，眼睛追蹤照明源134A包括一或多個紅外(IR)發射器，該等紅外發射器向眼睛發射IR光。眼睛追蹤相機134B包括一或多個感測所反射的IR光的相機。藉由偵測角膜的反射的已知成像技術，可以識別出瞳孔的位置。例如，參見2008年7月22日頒發給Kranz等人的、名稱為「Head mounted eye tracking and display system(頭戴式眼睛追蹤及顯示系統)」的美國專利7,401,920，該專利藉由引用結合於此。此種技術可以定位眼睛的中心相對於追蹤相機的位置。一般而言，眼睛追蹤涉及獲得眼睛的圖像以及使用電腦視覺技術來決定瞳孔在眼眶內的位置。在一個實施例中，追蹤一隻眼睛的位置就足夠了，因為眼睛通常一致地移動。然而，單獨地追蹤每隻眼睛是可 能的。或者，眼睛追蹤相機可以是使用眼睛的基於任何運動的圖像在有或沒有照明源的情況下偵測位置的追蹤相機的替換形式。
追蹤眼睛移動的另一個實施例是基於電荷追蹤(charge tracking)的。該概念基於如下觀察：視網膜攜帶可量測的正電荷並且角膜具有負電荷。在某些實施例中，感測器128藉由使用者的耳朵來安裝(靠近耳機130)以偵測眼睛在轉動時的電勢並且有效地即時讀出眼睛正在進行的動作。(參見2010年2月19日的「用眼球啟動的耳機控制你的移動音樂！」[2011年7月12日獲取自網際網路：http：//www.wirefresh.com/control-your-mobile-music-with-eyeball-actvated-headphones]。)眨眼亦可作為命令被追蹤。亦可使用用於追蹤眼睛移動的其他實施例，諸如眨眼，該等眼睛移動是基於從安裝在眼鏡內部上的眼睛追蹤相機134B的圖像資料中的圖案及運動辨識的。
在以上實施例中，所圖示的具體數量的透鏡只是實例。可以使用其他數目及配置的根據相同原理操作的透鏡。另外，圖2A及2B僅圖示頭戴式顯示裝置2的一半。完整的頭戴式顯示裝置可包括另一組透視透鏡116及118、另一不透明度過濾器114、另一光導光學元件112、另一微顯示器120、另一透鏡系統122、面向實體環境的相機113(亦稱面向外部或面向前方的相機113)、眼睛追蹤部件134、耳機130、感測器128(若存在)以及溫度感測器138。在藉由引用全部包含於此的2010年10月15日提出申請的 題為「Fusing Virtual Content Into Real Content」(將虛擬內容融合到現實內容中)的美國專利申請號12/905952中說明頭戴式顯示器2的附加細節。
圖3A是可以用於一或多個實施例的透視、近眼、混合實境顯示裝置2的硬體及軟體元件的一個實施例的方塊圖。圖3B是描述處理單元4，5的各組件的方塊圖。在此實施例中，近眼顯示裝置2接收來自處理單元4，5的關於虛擬圖像的指令並將來自感測器的資料提供回處理單元4，5。例如在圖3B中圖示的可被實施在處理單元4，5中的軟體及硬體元件從顯示裝置2接收感測資料並且亦可經由網路50從計算系統12接收感測資訊(參見圖1A及1B)。基於該資訊，處理單元4、5將決定在何處以及在何時向使用者提供虛擬圖像並相應地將指令發送給顯示裝置2的控制電路系統136。
注意，圖3A的某些元件(例如，朝向外部或實體環境的相機113、眼睛相機134、微顯示器120、不透明度過濾器114、眼睛追蹤照明單元134A、耳機130、感測器128(若存在)以及溫度感測器138)以陰影顯示，以指示彼等裝置中的每一個可以有至少兩個，其中至少一個在頭戴式顯示裝置2的左側而至少一個在右側。圖3A圖示控制電路200與電源管理電路202進行通訊。控制電路200包括處理器210、與記憶體244(例如D-RAM)進行通訊的記憶體控制器212、相機介面216、相機緩衝區218、顯示驅動器220、顯示格式化器222、時序產生器226、顯示輸 出介面228以及顯示輸入介面230。在一個實施例中，控制電路200的所有元件經由一或多個匯流排的專用線路彼此進行通訊。在另一實施例中，控制電路200的每個元件皆與處理器210通訊。
相機介面216提供到兩個面向實體環境的相機113及每一眼睛相機134的介面，並且將從相機113、134接收到的相應圖像儲存在相機緩衝區218中。顯示驅動器220將驅動微顯示器120。顯示格式化器222可以向執行該混合實境系統的處理的一或多個電腦系統(例如4、5、12、210)的一或多個處理器提供與被顯示在微顯示器120上的虛擬圖像有關的資訊。顯示格式化器222可向不透明度控制單元224識別關於顯示光學系統14的像素的透射率設置。時序產生器226被用於向該系統提供時序資料。顯示輸出介面228包括用於將來自面向實體環境的相機113及眼睛相機134的圖像提供給處理單元4、5的緩衝區。顯示輸入介面230顯示包括用於接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩衝區。顯示輸出228及顯示輸入230與作為到處理單元4、5的介面的帶介面232進行通訊。
電源管理電路202包括電壓調節器234、眼睛追蹤照明驅動器236、音訊DAC及放大器238、話筒前置放大器及音訊ADC 240、溫度感測器介面242、電脈衝控制器237以及時鐘產生器245。電壓調節器234經由帶介面232從處理單元4、5接收電能，並將該電能提供給頭戴式顯示 裝置2的其他元件。照明驅動器236例如經由驅動電流或電壓來控制眼睛追蹤照明單元134A以大約預定波長或在某一波長範圍內操作。音訊DAC及放大器238向耳機130提供音訊資料。話筒前置放大器及音訊ADC 240提供話筒110的介面。溫度感測器介面242是用於溫度感測器138的介面。電脈衝控制器237從感測器128(若其被顯示裝置2實施)接收指示眼睛移動的資料。電源管理單元202亦向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能並從三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C接收回資料。電力管理單元202亦向一或多個位置感測器144提供電力並從該位置感測器接收資料並向一或多個位置感測器144發送資料，在本實例中該一或多個地點感測器包括GPS收發器及IR收發器。
圖3B是與透視、近眼、混合實境顯示單元相關聯的處理單元4的硬體及軟體元件的一個實施例的方塊圖。行動裝置5可包括硬體及軟體元件的此實施例以及執行類似功能的類似元件。圖3B圖示控制電路304與電源管理電路306進行通訊。控制電路304包括中央處理單元(CPU)320，圖形處理單元(GPU)322，快取記憶體324，RAM 326，與記憶體330(例如，D-RAM)進行通訊的記憶體控制器328，與快閃記憶體334(或其他類型的非揮發性儲存)進行通訊的快閃記憶體控制器332，經由帶介面302及帶介面232與透視、近眼顯示裝置2進行通訊的顯示輸出緩衝區336，經由帶介面302及帶介面232與近眼顯示裝置2進行通訊 的顯示輸入緩衝區338，與用於連接到話筒的外部話筒連接器342進行通訊的話筒介面340，用於連接到無線通訊裝置346的PCI express介面，以及USB埠348。
在一個實施例中，無線通訊元件346包括啟用Wi-Fi的通訊裝置、藍芽通訊裝置、紅外通訊裝置、蜂巢、3G、4G通訊裝置、無線USB(WUSB)通訊裝置、RFID通訊裝置等等。無線通訊裝置346由此允許與例如另一顯示裝置系統8的端對端資料傳輸，以及經由無線路由器或蜂巢塔連接到較大網路。USB埠可被用於將處理單元4、5接駁到另一顯示裝置系統8。另外，處理單元4、5可接駁到另一計算系統12以便將資料或軟體載入到處理單元4、5以及對處理單元4、5充電。在一個實施例中，CPU 320及GPU 322是用於決定在何處、何時以及如何向使用者的視野內插入虛擬圖像的主負荷裝置。
電源管理電路306包括時鐘產生器360，類比數位轉換器362，電池充電器364，電壓調節器366，透視、近眼顯示器電源376，以及與溫度感測器374進行通訊的溫度感測器介面372(位於處理單元4的腕帶上)。交流電到直流電轉換器362被連接到充電插座370來接收AC電源並為該系統產生DC電源。電壓調節器366與用於向該系統提供電能的電池368進行通訊。電池充電器364被用來在從充電插座370接收到電能後對電池368充電(經由電壓調節器366)。裝置電源介面376向顯示裝置2提供電能。
圖像資料可被應用到在一地點中所識別的、並且在透 視、混合實境顯示裝置系統的使用者視野內的真實物件。使用者的環境中的真實物件(諸如人及物)的地點被追蹤以追蹤到其預期真實物件的虛擬物件。為了圖像處理的目的，人及物兩者均可以是物件，而物件可以是真實物件(實體上存在的某事物)或顯示裝置2所顯示的圖像中的虛擬物件。在上面論述的硬體元件的一或多個上執行的軟體使用感測器(諸如相機、定向感測器以及一或多個地點感測器)及網路連接所提供的資料來追蹤使用者的環境中的現實及虛擬物件。
通常，虛擬物件是以三維顯示的，以便正像使用者與三維空間中的真實物件互動一樣，使用者可與三維空間中的虛擬物件互動。接下來論述的圖4到圖12以不同的細節水平描述了各方法的實施例、處理圖像資料的示例性資料結構及軟體元件、用於致使滿足使用者消失準則的真實物件從透視顯示器中消失的使用者輸入及使用者消失準則。
圖4是從軟體角度看的用於致使真實物件在透視、混合實境顯示裝置系統的顯示器中消失的系統的實施例的方塊圖。在本實施例中，執行作為用戶端側或裝置消失應用程式4561的某版本的消失應用程式的透視混合實境顯示裝置系統8經由網路50可通訊地耦合於執行作為伺服器側消失應用程式456的另一版本的消失應用程式的計算系統12。在本實施例中，本端及伺服器側版本的不同應用程式(消失456、其他應用程式462、推送服務應用程式459等)中的每一個執行相同的功能。所論述的處理可完全由 顯示裝置系統8的軟體及硬體元件執行。例如，用於顯示系統8的本端消失應用程式4561可基於其本端資源識別用於消失的真實物件並追蹤到該真實物件的圖像資料。伺服器側版本比本端版本具有對該等伺服器側版本可用的更多硬體資源，諸如更大的本機記憶體大小以及專用的處理器。在其他實例中，伺服器側消失應用程式456對於顯示系統裝置8遠端地執行對用於消失的真實物件的識別以及到用於消失的真實物件的圖像資料的追蹤。在其他實例中，不同版本利用該等版本的資源並共用處理。
在本實施例中，系統8、461及12中的每一個經由一或多個網路50可通訊地耦合到下文進一步論述的各資料庫，諸如參考物件資料集474、圖像資料庫470以及使用者簡檔資料庫460。
其他基於處理器的系統461的某些實例是其他透視、混合實境顯示裝置系統、其他頭戴式顯示系統、伺服器、諸如行動電話、智慧型電話、小筆電、筆記本等行動裝置等等以及桌上型電腦。該等其他基於處理器的系統461與顯示裝置系統8通訊以提供來自應用程式中的一或多個的各種多媒體格式的資料，像是文字、音訊、圖像及視訊資料。例如，該資料可以是使用者所在的相同地點的朋友的視訊，或者顯示來自該使用者的朋友列表上的其他人的訊息的社交網路頁面。如在下文的實例中論述的，此種資料亦可以是發送者不希望看到的真實物件的圖像消失資料。以此方式，接收者使用者可查看被更改以從接收者的視野中 遮蔽發送者不想要的真實物件的場景。
顯示裝置系統8及其他基於處理器的系統461執行用戶端側版本的推送服務應用程式459N，該推送服務應用程式459N經由通訊網路50與資訊推送服務應用程式459通訊。使用者可向資訊推送服務應用程式459註冊帳戶，該資訊推送服務應用程式准許資訊推送服務許可以監視使用者正在執行的應用程式及該等應用程式產生及接收的資料以及使用者簡檔資料460N，以及用於追蹤使用者的地點及裝置能力的裝置資料464N。
在一個實施例中，計算系統12包括使用者簡檔資料庫460，該使用者簡檔資料庫可聚集來自儲存在該使用者的不同使用者電腦系統8、461上的使用者簡檔資料的資料。使用者簡檔資料的本機複本4601、460N可儲存相同使用者簡檔資料460的一部分並可經由通訊網路50週期性地用由電腦系統12儲存在可存取資料庫中的使用者簡檔資料460更新使用者簡檔資料的本機複本。使用者消失準則473亦可被儲存在使用者簡檔資料460中。用於消失的主題資料410及當前感興趣的主題資料420均是使用者消失準則473的類型。
圖5A圖示使用者消失準則473中的消失主題項資料記錄410的實例。在本實例中，主題識別符412可包括人、地點或物的識別符，且該識別符可指示人、地點或物的類別或類型。該識別符亦可引用(reference)具體的人、地點或物。在某些實例中，該識別符可以是對人、地點或物的 圖像的儲存地點的引用。例如，圖13A到圖13D圖示作為指示一人被從使用者對山的視圖中移除的使用者輸入的姿勢的實例。使用者可能不知道她或他正在看並且請求消失的人、地點或物的名字，所以圖像儲存地點引用(例如，檔案名)識別圖像資料，作為用於識別該主題的基礎。地點資訊亦可以是用於主題識別的基礎。
消失應用程式456、4561基於該識別符412代表的消失主題將一或多個真實物件類型414與該主題識別符412相關聯。類似地，消失應用程式456將一或多個主題關鍵字416與資料記錄410中的主題識別符412相關聯。例如，消失應用程式456、4561可與搜尋應用程式462、4621介面(interface)以識別該主題的同義詞及相關詞，該搜尋應用程式將該同義詞及相關詞返回給消失應用程式456、4561。該等關鍵字在為滿足使用者消失準則的任何真實物件檢視真實物件元資料中的匹配時進行協助。主題識別符412及關鍵字416亦可藉由在參考物件資料集中檢視匹配來識別與該主題有關的真實物件類型414。在某些實例中，使用者輸入亦可識別真實物件類型414及主題關鍵字416。
圖5B圖示使用者消失準則473中的消失主題項資料記錄410的真實物件類型記錄的資料欄位的實例。對於每個真實物件類型414，更改技術指示符415指示用於使該真實物件消失的更改技術。使用者可指示該更改技術，並且該應用程式可提供一或多個預設更改技術。更改技術的一 些實例包括擦除、修訂(redaction)、模糊化(blurring)及用另一物件取代。若取代是所指示的更改技術，則使用者可任選地識別取代物件417，該取代物件可以是具體的，或者代表一種類型的物件。取代物件417可儲存該取代物件的顯示資料(參見下文的472)或指向該顯示資料的識別符。該顯示資料可以是下文描述的參考物件資料集474的產生實體。
使用者可指示使用者希望消失的主題，但是使用者亦可指示當前感興趣的主題。對於當前感興趣的主題，識別該主題的一或多個感興趣的真實物件類型。相關性準則被應用到元資料(參見圖5C)，其描述具有與感興趣的真實物件類型中的至少一個相匹配的類型(例如，路標)的真實物件。若該一或多個感興趣的物件類型的真實物件不滿足該相關性準則，則使該真實物件消失。在某些實例中，使用者輸入可直接識別當前感興趣的主題，而消失應用程式456、4561經由識別當前感興趣的主題的一或多個真實物件類型的一或多個電子地提供的請求來提示(prompt)使用者。例如，使用者可能對中餐館感興趣，並且希望減少該使用者對一條繁忙街道上的建築物符號的視圖的混亂。然而，使所有真實物件(包括該使用者前方的街道)消失可能是危險的，並且在定位中餐館時沒有幫助。
在某些情況下，該使用者已經由另一執行的應用程式462指示了當前感興趣的主題，並且該應用程式與消失應用程式456、4561通訊以識別該當前感興趣的主題、主題 關鍵字(特別是與應用程式462相關的彼等)以及感興趣的真實物件類型424。例如，對於汽車導覽應用實例，不同類型的路標可被識別為感興趣的真實物件類型。該執行的應用程式選擇更改指示符414以及任何可應用程式的取代物件417。
在某些實例中，消失應用程式456提供軟體介面，例如應用程式程式設計介面(API)，該介面定義用於定義真實物件類型414、主題識別符412、主題關鍵字416、相關性準則428(例如，用於決定相關性的規則)的資料格式。
圖5C圖示使用者消失準則資料473中的當前感興趣主題項資料記錄420的實例。主題識別符422被指派(assign)，並且像消失主題一樣，識別符422可以是對另一儲存位置的引用、識別一種類型的人、地點或物，或者是對具體的人、地點或物的引用。如同上面論述的，真實物件類型資料記錄414被儲存並包括更改技術指示符415並且任選地包括取代物件辨識碼417。類似地，一或多個主題關鍵字416可與識別符422相關聯，例如藉由請求並從搜尋應用程式462接收關鍵字。而且，為感興趣的主題指派相關性準則428。在某些情況下，相關性準則428可以是執行的應用程式462所提供的規則，經由該等規則來識別當前感興趣的主題。一組預設規則亦可實施相關性準則428。
消失應用程式為該組預設規則實施的邏輯的一個實例是：一真實物件具有與當前感興趣的真實物件類型相同的 類型，以及該真實物件的元資料包括主題關鍵字416或主題識別符422中的至少一個。
正如圖5B的實例一樣，在某些情況下使用者可選擇更改技術及任何可應用的取代物件識別符。在其他實例中，與消失應用程式456、4561介面的執行的應用程式462、4621設置更改技術指示符415以選擇用於真實物件類型的更改技術並設置任何可應用的取代物件417。
在某些情況下，主題項資料記錄410、420可被臨時地儲存。事件觸發器可向使用者提示該使用者是否希望將該主題在非揮發性記憶體中儲存為消失主題或感興趣的主題以供稍後檢索的電子地提供的請求。事件觸發器的一些實例是：用於消失的物件不再在視野中，使用者已移出一地點，或已接收到將該主題識別為不再感興趣的資料。請求在被顯示、被作為音訊資料播放，或此兩者的結合時被電子地提供。亦可以為更改技術及取代物件偏好來電子地提供請求。若使用者沒有任何指定，則可選擇預設更改技術及用於該預設技術的任何取代物件。
使用者簡檔資料的一些其他實例是：使用者所表達的偏好、使用者的朋友的列表、使用者的偏好的活動、使用者的提醒的列表、使用者的社會團體、使用者的當前地點以及其他使用者建立的內容，諸如使用者的照片、圖像及記錄的視訊。在一個實施例中，使用者特定的信息可以從一或多個應用程式及資料來源獲得，諸如：使用者的社交網站、位址簿、來自日曆應用程式的排程資料、電子郵件資 料、即時訊息收發資料、使用者簡檔或者網際網路上的其他源以及該使用者直接輸入的資料。
該推送服務應用程式459的每個版本亦在使用者簡檔資料460中儲存該使用者的追蹤歷史。在追蹤歷史中追蹤的事件、人及物的一些實例是：所訪問的地點、事務、購買的內容及現實物品以及所偵測到的該使用者與其互動的人。若電子地識別的朋友(例如，社交網路朋友、連絡人列表)亦註冊到推送服務應用程式459，或者該等電子地識別的朋友經由到該使用者的資料或經由其他應用程式466公開地使資訊可用，則推送服務應用程式459亦可使用此資料來追蹤該使用者的社會情境(social context)。隨時間追蹤所訪問的地點，並且在使用者接近熟悉的地點時允許用於消失的真實物件及該等用於消失的真實物件的更改圖像資料被儲存、預取(prefetch)、並為下載做好準備。
可基於一或多個偵測感測器獲得混合實境裝置系統8的地點識別符資料。在某些情況下，計算系統12與混合實境裝置上的偵測感測器(諸如一或多個收發器144)通訊。如在以下實例中論述的，來自一或多個不同類型的地點偵測感測器的資料可被用來獲得地點識別符資料。基於來自處理單元4(例如當該單元被實施為行動裝置5時)的信號，蜂巢塔三角量測(cell tower triangulation)可被用來識別混合實境顯示裝置系統的地點。可從該顯示裝置的GPS收發器144獲得全球定位系統(GPS)資料，或者如在圖17中揭示的，可從處理單元5中的GPS收發器965獲得GPS 資料，以識別混合實境裝置的地點。GPS技術可用於在使用者進入地理圍欄(geofence)時進行識別。地理圍欄識別符可被用於檢索(retrieve)該地理圍欄內的區域的圖像，以及在某些情況下從圖像資料產生的該區域的三維模型。
面積較小的地點或空間亦可藉由其他類型的無線偵測感測器(諸如無線通用序列匯流排(WUSB)收發器、藍芽收發器、RFID收發器或IR收發器，例如346、144)來圖示或圍出。識別資料可以與電腦系統12或其他電腦系統461，包括其他透視混合實境顯示裝置系統，交換。在其他實例中，計算系統12與中介偵測感測器通訊。此種中介偵測感測器的一個實例是無線網路存取點，例如，WiFi，顯示系統8經由該存取點可通訊地耦合到電腦系統12。網路存取點的地點由計算系統12儲存。面向實體環境或面向外的相機113亦可單獨地或與其他感測器資料(例如GPS座標資料)結合地用作地點偵測感測器。可使用圖案辨識軟體(pattern recognition software)將該圖像資料與其他圖像比較以識別匹配。
裝置資料464可以包括：電腦系統8的唯一識別符、網路位址(例如IP位址)、型號、配置參數(諸如所安裝的裝置)、作業系統以及什麼應用程式在該顯示裝置系統8中可用並在該顯示系統8中執行等等。尤其對於透視、混合實境顯示裝置系統8，該裝置資料亦可包括來自感測器的或從該等感測器(諸如定向感測器132、溫度感測器138、話筒110、電脈衝感測器128(若存在)以及一或多 個地點偵測感測器346、144(例如，GPS收發器、IR收發器))決定的資料。圖像資料469是被面向外的相機113擷取並被儲存以被分析來由計算系統12本端地或遠端地偵測真實物件的資料。
在論述應用圖像資料以致使該透視、混合實境顯示器的視野中的真實物件消失之前，首先呈現關於用於識別在一地點中且在透視顯示器視野中的真實物件的元件的論述。而且，識別虛擬物件(諸如與消失相關聯的彼等虛擬物件)的位置並且基於該真實世界的所接收的圖像資料產生包括該等位置的圖像資料。
計算系統12可以使用一或多個電腦系統實施。在本實例中，計算系統12通訊地耦合到一地點中的一或多個深度相機20A、20B以接收該位置的三維(3D)圖像資料，從該三維圖像資料可識別真實物件及該等真實物件的位置。
來自面向外(從使用者的頭部向外)的相機113的圖像資料可用於決定該透視顯示器的視野，該透視顯示器的視野近似於該使用者的視野。相機113被放置在離每個顯示光學系統14的光軸142的預定偏移處。該偏移被應用到相機113的圖像資料以識別該顯示器視野中的真實物件。基於相機113的解析度或焦距設置，可決定到視野中的真實物件的距離。在某些實例中，面向外的相機113可以是深度相機以及視訊相機。
如下文進一步描述的，在圖像資料中識別真實物件並儲存該等真實物件的外觀特徵475，例如儲存在從電腦系統 12經由通訊網路50可存取的元資料430中，或本機儲存區在4301中。參考物件資料集474提供綁定到不同類型的物件的外觀特徵類別，並且該等參考物件資料集474可用於辨識圖像資料中的物件，並且用於選擇虛擬物件的外觀特徵以便該等外觀特徵看上去真實。取代物件417識別符可儲存參考物件資料集的產生實體的識別符。
圖5D圖示用於識別真實物件的元資料的實例。為所偵測的每個真實物件指派並儲存真實物件識別符431。此外，亦可儲存該物件在三維中的位置資料432。在此實例中，位置資料432包括跡線資料433，用於至少追蹤一物件經由一地點中的位置的移動的速度及方向。如下文在圖6A到圖6E中進一步論述的，識別該真實物件相對於該顯示裝置的視野的位置。此外，位置資料432可追蹤在所定義的地點內，即便當前不在該顯示裝置視野內，的識別的一或多個真實物件的位置。例如，該使用者可處於商店、家，或其他地點中，該環境中的相機(諸如擷取裝置20A、20B)在該處追蹤物件，包括在該地點的三維(3D)模型座標系中在該商店中的佩戴顯示裝置2的使用者。此外，基於地點的圖像資料源(諸如Photosynth®)可提供地點的3D模型及其中的從圖像檔案中開發的真實物件。
該位置資料亦包括可見度434，該可見度基於該真實物件離顯示裝置系統8的位置。顯示光學系統14的光軸142可以是參考點，從該參考點可以決定該真實物件的位置及跡線，並進而決定可見度。在某些實施例中，可見度被指 派為對一地點的預定可見距離的細化。如下文論述的，地點圖像追蹤軟體453(諸如Photosynth®)可提供為該使用者正在佩戴的顯示裝置系統8所偵測的一地點的預定可見距離479。例如，在Yosemite的Half Dome頂處被佩戴的顯示裝置可以看一百英里。由在高峰時間期間在繁忙的西雅圖商業區街道上行走的使用者佩戴的另一顯示裝置可具有約15米(即大致45英尺)的預定可見距離。
可基於平均的人類視力資料來定義多個可見度來區分一或多個身體部位的一組外觀特徵及移動。在許多實施例中，每個可見度至少表示該物件及該顯示裝置2之間的距離範圍及辨識度。在某些實例中，該真實物件與每個光軸142的角度以及該真實物件相對於該顯示裝置的位置均可以作為基礎。跡線亦可以作為基礎。(如下文提到的，即使一真實物件是靜止的，跡線433亦可被指派給該真實物件，因為顯示裝置系統8正在移動)。表示從較遠到較近的距離的可見度的一些實例是：顏色辨識度、關節移動辨識度以及面部移動辨識度。在某些實施例中，用不可見等級來識別預定可見距離之外的真實物件。
該真實物件的地點資料435若可用亦可被儲存。地點資料435可以是GPS資料或獨立於顯示裝置2的視野的其他地點資料。
可為該真實物件儲存關鍵字436。在某些情況下，本端的或伺服器側的消失應用程式可能已將此真實物件識別為滿足消失準則。例如，該真實物件是靜止的並且在使用 者的工作地點中。在此種實例中，關鍵字包括主題識別符。關鍵字的其他起始源可以是由其他使用者與該真實物件相關聯的元資料，該等其他使用者經由地點圖像追蹤應用程式453(例如Photosynth®)將該等真實物件的圖像載入到位置圖像資料庫470中。而且，擷取地點的資料的應用程式(諸如儲存應用程式462)可將關鍵字與在其地點中的真實物件相關聯。此外，可基於由本端的或伺服器側的資訊推送服務應用程式459從為該使用者或其他使用者執行的、准許對其進行監視的其他應用程式462接收的資料為該真實物件指派關鍵字。消失應用程式456或4561亦可基於與該真實物件有關的使用者簡檔資料來指派關鍵字。
來自下文論述的識別處理的、描述該真實物件的實體特性或特徵的外觀特徵資料集475亦被儲存在真實物件元資料430中。
圖5E圖示無生命物件的參考物件資料集的實例。該等資料欄位包括物件的類型481，該物件的類型可以是亦包括子欄位的資料記錄。針對物件的類型481，其他資料欄位提供如下的資料記錄：該等資料記錄識別出對該類型的物件典型的外觀特徵的類型。例如，其他資料記錄識別大小範圍483、形狀選擇484、材料的類型485、表面紋理486、典型顏色487、典型圖案488、表面491以及每個表面的幾何定向490。物件的參考物件資料集474像是範本。離線識別可能已經被人工地或被圖案辨識軟體執行並被 用作為該系統定義的每個類型的物件儲存的每個參考資料集474的基礎。在許多實施例中，虛擬物件(包括用於遮蔽或取代用於消失的真實物件的虛擬物件)的顯示資料472包括參考物件資料集的產生實體。在產生實體中，該物件的資料欄位中的至少一些(例如大小及顏色)被指派為特定值。
在桌子作為物件類型的實例中，該物件類型的子欄位可被選擇為辦公桌。大小範圍483可以是如下範圍的典型值：寬4到6英尺、長2到4英尺以及高2到4英尺。可用顏色可以是褐色、銀色、黑色、白色、海軍藍、米黃色或灰色。某人可能具有紅色的辦公桌，因此參考外觀特徵一般提供常見的或平均的參數。表面491可包括幾何定向490指示為水平的平坦表面。從桌子的圖像資料亦可備註出豎直表面。該平坦表面的表面紋理486可以是平滑的，而可用圖案488可指示木紋(wood grain)以及乙烯反光的。木紋圖案的類型可以是可用圖案488記錄的子欄位或子記錄。
圖5E圖示用於人的參考物件資料集的實例，該參考物件資料集可表示在更改技術中用於取代物件的資料欄位。針對人物件資料集的類型492，其他資料欄位提供如下的資料記錄：該等資料記錄識別出對該類型的人典型的外觀特徵的類型。人的類型可以是一類別，該類別的一些實例為：小丑、教師、員警、工程師、法官及搖滾明星。對於人，資料欄位及資料集的一些實例被圖示為包括高度 493、身體部位特徵494、面部特徵495、皮膚特性496、毛髮特徵497、服飾選擇498以及鞋選擇499。身體部位特徵資料的一些實例是：軀幹寬度、胸寬、肌肉紋理、形狀、腿長、膝蓋相對於整條腿的位置以及頭形。面部特徵的一些實例可包括：眼睛顏色、胎記或其他標記、唇形、鼻形、前額高度。諸如眉毛形狀及化妝等另外的特性亦可作為資料被儲存在人的面部特徵中。
如同上面提到的，參考物件資料集474亦提供用於定義一消失的虛擬物件的外觀特徵的輸入參數。在一個實施例中，消失顯示資料472可定義虛擬物件的類型及虛擬物件的外觀特徵，以由顯示裝置2的微顯示器120呈現。例如，該等參考物件474可被認為是虛擬物件的外觀特徵的範本及參數。對於顯示資料472，在範本的產生實體中選擇具體資料值(例如具體顏色及大小)以產生要顯示的實際的虛擬物件。例如，可以為每一個類型的物件定義類，而該消失應用程式在執行時用每個表面及該物件的大小、材料類型、顏色、圖案、表面紋理、形狀參數以及幾何定向的外觀特徵的參數來產生實體相應類的虛擬物件。顯示資料472可用標記語言實施。例如，可使用可延伸標記語言(XML)。在另一實例中，可使用諸如虛擬實境模型化語言(VRML)等標記語言。
真實物件的外觀特徵資料集475可具有與相同類型的參考資料物件集474類似地定義的欄位及子集，但是包括基於該真實物件的擷取的資料偵測或決定的實際資料值。可 能不能夠為每個資料欄位決定資料值。在某些實施例中，被指派的資料值是從參考物件資料集474所提供的可用類型的選集(selection)中選擇的。
除了解釋命令以外，聲音辨識軟體478亦可被用於識別附近的使用者及其他真實物件。面部及圖案辨識軟體476亦可用於偵測並識別圖像資料中的使用者以及圖像資料中的物件。使用者輸入軟體477可接收識別用於控制應用程式的實體動作(諸如姿勢、特定的說出的語音命令或眼睛移動)的資料。該一或多個實體動作可包括使用者對於現實或虛擬物件的回應或請求。例如，在圖13A到13D中，拇指姿勢指示要使真實物件消失。計算系統12的應用程式450、456及459在識別一地點中的使用者及其他物件時亦可傳遞請求並從伺服器側版本的聲音辨識軟體478以及面部及圖案辨識軟體476接收資料。
圖4的方塊圖亦表示用於辨識圖像資料中的實體動作的軟體元件，該等軟體元件在下文進一步論述。而且，處理該圖像資料以及可用的感測器資料來決定透視、近眼顯示裝置2的視野內的物件(包括其他使用者)的位置。此實施例說明各裝置可如何利用聯網電腦來映射使用者視野及周圍空間的三維模型以及該模型內的現實及虛擬物件。在可通訊地耦合到顯示裝置2的處理單元4、5中執行的圖像處理應用程式451可經由一或多個通訊網路50將圖像資料469從面向前的相機113傳遞到計算系統12中的深度圖像處理及骨架追蹤應用程式450，以處理圖像 資料來決定並追蹤三維中的物件，該等物件包括人及物兩者。在某些實施例中，此外，圖像處理應用程式451可以在本端執行用於映射及定位3D使用者空間中的物件的一些處理，並可與遠端地點圖像追蹤應用程式453進行互動來接收物件之間的距離。藉由充分利用網路連線性，在應用程式之間共享處理的許多組合是可能的。
深度圖像處理及骨架追蹤應用程式450偵測物件、識別物件以及該等物件在模型中的位置。應用程式450可基於來自深度相機(諸如20A、20B)的深度圖像資料、來自一或多個面向外的相機113的兩維或深度圖像資料以及從資料庫470獲得的圖像執行應用程式450的處理。圖像資料庫470可包括物件的參考圖像以在圖案及臉孔辨識(例如，如可由軟體476執行)中使用。資料庫470中的一或多個中的圖像中的一些亦可經由由地點圖像追蹤應用程式453與圖像中的物件相關聯的地點元資料435來存取。地點元資料的一些實例包括：GPS元資料、用於網路存取點(諸如WiFi熱點)的地點資料、基於蜂巢塔三角量測的地點資料以及來自其他類型的無線收發器的地點資料。
地點圖像追蹤應用程式453基於從處理單元4、5或被識別為處於使用者附近的其他定位單元(例如GPS單元)或兩者接收到的地點識別符資料來識別一或多個圖像資料庫470中的使用者的地點的圖像。此外，圖像資料庫470可提供希望分享自己的圖像的使用者上傳的地點的圖像。該資料庫可用地點元資料(諸如GPS資料、WiFi SSID、 基於蜂巢塔的三角量測資料、WUSB埠地點，或紅外收發器的位置)來索引或可存取。地點圖像追蹤應用程式453基於地點資料來向深度圖像處理應用程式450提供圖像中的物件之間的距離。在某些實例中，地點圖像追蹤應用程式453提供地點的三維模型，而該模型可以是基於該地點中的相機所提供的即時圖像資料更新而動態的。除了指定地點中的固定相機外，其他使用者的顯示裝置系統8及行動裝置可提供此種更新。Photosynth®是此種地點圖像追蹤應用程式453的實例。
深度圖像處理及骨架追蹤應用程式450以及圖像處理軟體451兩者均可為在圖像資料中識別的真實物件產生元資料430。為了識別並追蹤視野或使用者地點中的活物(不管如何至少是人)，可執行骨架追蹤。
面向外的相機113向計算系統12提供RGB圖像(或其他格式或顏色空間的視覺圖像)及深度圖像(在某些實例中)。若存在，擷取裝置20A及20B亦可向計算系統12發送視覺圖像及深度資料，計算系統12使用該RGB圖像及該深度圖像來追蹤使用者的或物件的移動。例如，系統將使用深度圖像來追蹤人的骨架。可以使用許多方法以經由使用深度圖像來追蹤人的骨架。使用深度圖像追蹤骨架的一個合適的實例在2009年10月21日提出申請的Craig等人發明的美國專利申請12/603,437「Pose Tracking Pipeline(姿態追蹤排序緩衝)」中提供。(後文稱為‘437申請)，經由引用整體結合於此。
‘437申請的程序包括：獲得深度圖像；對資料進行降取樣；移除及/或平滑化高方差雜訊資料；識別並移除背景；及將前景像素中的每個分配給身體的不同部位。基於該等步驟，系統將使一模型擬合到該資料並建立骨架。該骨架將包括一組關節及該等關節之間的連接。亦可使用用於追蹤的其他方法。在下列四個美國專利申請中亦揭示合適的追蹤技術，該等專利的全部內容皆經由引用結合於此：於2009年5月29日提出申請的美國專利申請12/475,308「Device for Identifying and Tracking Multiple Humans Over Time(用於隨時間識別及追蹤多個人類的裝置)」；於2010年1月29日提出申請的美國專利申請12/696,282「Visual Based Identity Tracking(基於視覺的身份追蹤)」；於2009年12月18日提出申請的美國專利申請12/641,788「Motion Detection Using Depth Images(使用深度圖像的運動偵測)」；及於2009年10月7日提出申請的美國專利申請12/575,388「Human Tracking System(人類追蹤系統)」。
骨架追蹤資料識別哪些關節在一段時間內移動並被發送到姿勢辨識器引擎454，該姿勢辨識器引擎包括多個篩檢程式455來決定該圖像資料中的任何人或物件是否執行了姿勢或動作。姿勢是用於使用者向消失應用程式提供輸入的實體動作。篩檢程式包括定義姿勢、動作或狀況以及該姿勢或動作的參數或元資料的資訊。例如，包括一隻手從身體背面經過身體前方的運動的投擲可被實施為包括 表示使用者的一隻手從身體背面經過身體前方的運動的資訊的姿勢，因為該運動可能由深度相機擷取。隨後可為該姿勢設定參數。當姿勢是投擲時，參數可以是該手必須達到的閾值速度、該手行進的距離(絕對的，或相對於使用者的整體尺寸)以及辨識器引擎454對發生的姿勢的置信度評級。用於姿勢的該等參數可隨時間在各應用程式之間、在單個應用程式的各個上下文之間，或在一個應用程式的一個上下文內變化。
對篩檢程式的輸入可包括諸如關於使用者的關節位置的關節資料、在關節處相交的骨骼所形成的角度、來自場景的RGB顏色資料以及使用者的某一方面的變化速率等內容。來自篩檢程式的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度以及作出姿勢運動的時間等內容。在某些情況下，僅兩維圖像資料可用。例如，面向前的相機113僅提供兩維圖像資料。從裝置資料464，可識別面向前的相機113的類型，並且辨識器引擎454可插入用於其姿勢的兩維篩檢程式。
關於辨識器引擎454的更多資訊可在2009年4月13日提出申請的美國專利申請12/422,661「Gesture Recognizer System Architecture(姿勢辨識器系統體系結構)」中找到，該申請的全部內容經由引用結合於此。關於辨識姿勢的更多資訊可在2009年2月23日提出申請的美國專利申請12/391,150「Standard Gestures(標準姿勢)」；及2009年5月29日提出申請的美國專利申請12/474,655「Gesture Tool (姿勢工具)」中找到，該等申請的全部內容皆經由引用結合於此。
在顯示裝置系統8中執行的圖像處理軟體451亦可具有深度圖像處理能力或從來自面向外的相機113的立體圖像對物件進行3D位置估計的能力。此外，圖像處理軟體451亦可包括用於偵測指示使用者輸入的一組姿勢的邏輯。例如，一組手指或手的姿勢可為可辨識的。可使用骨架追蹤，但是圖像資料中的手指或手的圖案辨識亦可辨識該組姿勢中的姿勢。
在下文對識別使用者附近的物件的論述中，對面向外的圖像資料的引用是引用來自面向外的相機113的圖像資料。在該等實施例中，在相機位於與每個顯示光學系統14的光軸142的相對小的偏移處時，面向外的相機113的視野近似使用者的視野，並且在處理圖像資料時將該偏移計入。
圖6A是用於決定現實及虛擬物件在顯示裝置系統的三維視野中的位置的方法的實施例的流程圖。在步驟510，控制電路系統136、處理單元4、5、計算系統12或該等的組合的一或多個處理器從一或多個面向外的相機接收圖像資料，並且在步驟512識別面向外的圖像資料中的一或多個真實物件。在某些實施例中，面向外的圖像資料是三維圖像資料。來自定向感測器132(例如，三軸加速度計132C及三軸磁力計132A)的資料亦可與面向外的相機113圖像資料一起使用來對使用者周圍的事物、使用者的 臉部及頭部的位置進行映射，以決定該使用者可能在當時聚焦於哪些物件(現實或虛擬)。面部及圖案辨識軟體476可藉由與參考物件資料集474及儲存在圖像資料庫470中的實際圖像進行比較來識別人及物的物件。
在步驟514中，執行面部及圖案辨識軟體476的一或多個處理器亦識別每個真實物件的一或多個外觀特徵，諸如物件的類型、大小、表面、幾何定向、形狀、顏色等。在步驟516中，為透視顯示裝置的視野中的每個真實物件決定三維(3D)位置。基於執行的應用程式，步驟518中的一或多個處理器識別視野中的一或多個虛擬物件3D位置。換言之，每一物件相對於顯示裝置2位於何處，例如，相對於每一顯示光學系統14的光軸142位於何處。
圖6B是用於在顯示裝置的視野中識別一或多個真實物件的方法的實施例的流程圖。此實施例可被用於實施步驟512。在步驟520，佩戴顯示裝置2的使用者的地點被識別。例如，經由行動裝置5上GPS單元965(參見圖17)的GPS資料或顯示裝置2上的GPS收發器144可識別使用者的地點。此外，與顯示裝置系統8具有連接的WiFi存取點或蜂巢站的IP位址可以識別地點。在一地點內的已知位置處的相機可經由臉孔辨識識別使用者。此外，可經由紅外、藍芽、RFID傳輸，或WUSB在各顯示裝置系統8之間交換識別符符記。紅外、RFID、WUSB或藍芽信號的範圍可以充當用於決定與參考點(諸如另一使用者的顯示裝置)的接近度的預定義距離。
在步驟522中，一或多個處理器從資料庫(例如470)檢索該地點的一或多個圖像，例如經由對圖像追蹤軟體453的請求。在步驟524中，面部及圖案辨識軟體476的本端的或基於伺服器的執行的版本或兩者選擇與來自該一或多個面向外的相機113的圖像資料相匹配的一或多個圖像。在某些實施例，步驟522及524可由可存取圖像資料庫的更強大的電腦(例如12)來遠端地執行。在步驟526中，基於地點資料(例如GPS資料)，一或多個處理器決定面向外的圖像資料中的一或多個物件與該地點中的一或多個所識別的物件的相對位置，並且在步驟528中基於該一或多個相對位置從該一或多個所識別的真實物件中決定使用者的位置。
在某些實施例中，諸如在深度相機20A及20B擷取實況房間的深度圖像資料的圖1A中，佩戴透視、近眼混合實境顯示器的使用者可以處於以下地點中：在該地點中電腦系統12的深度圖像處理軟體450提供一地點(諸如所定義的空間，例如商店)內的物件的三維映射。圖6C是用於產生某位置的三維模型的方法的實施例的流程圖。在步驟530中，能夠存取深度相機的電腦系統(諸如帶有擷取裝置20A及20B的系統12)基於深度圖像來建立地點的三維模型。深度圖像可來自多個角度並且可基於共同座標地點(例如，商店空間)來組合，並且建立該地點的體積或三維描述。在步驟532，在該地點中刪除物件。例如，可對深度圖像執行邊緣偵測，以對物件(包括人)進行彼 此區分。在步驟534中，執行深度圖像處理及骨架追蹤軟體450以及面部及圖案辨識軟體476的的電腦系統12識別一或多個所偵測的物件，包括該等所偵測的物件在該地點中的位置，並且在步驟536中識別每個真實物件的一或多個外觀特徵。可用來自使用者簡檔資料460、圖像資料庫470以及參考物件資料集474的物及人的參考圖像來識別該物件。
圖像處理軟體451可將面向外的圖像資料及感測器資料轉發到深度圖像處理軟體450並從電腦系統12接收回三維位置及識別，包括外觀特徵。三維位置可以是相對於該使用者地點的3D模型座標系的。以此方式，消失應用程式4561可決定哪些真實物件在視野中而哪些真實物件當前不在視野中但是在3D模型化的地點中。
圖6D是用於基於某位置的三維模型來決定現實及虛擬物件在顯示裝置系統的三維視野中的位置的方法的實施例的流程圖。在步驟540中，顯示裝置系統8的一或多個處理器(210、320、322)將面向外的圖像資料發送到與一地點相關聯的三維模型化電腦系統中。例如，圖像處理軟體451將面向外的圖像資料發送到電腦系統12的深度圖像處理及骨架追蹤軟體450中。圖像處理軟體451在步驟542中接收真實物件元資料，包括一或多個真實物件在該地點中的3D模型位置。該等真實物件是從來自該環境中的相機的圖像資料偵測的，該等相機亦可包括其他使用者的面向外的相機。在步驟544中，圖像處理軟體451接收使用 者在該3D模型中的位置。任選地，在步驟546中，圖像處理軟體451接收虛擬物件元資料，包括一或多個虛擬物件在該地點中的3D模型位置。圖像處理軟體在步驟548中基於該等3D模型位置來決定該一或多個物件相對於該顯示裝置的視野的位置。在使用者環境內的使用者及物件移來移去時，圖6A至6D的實施例中的每一個通常被重複地執行。
對於使用者的透視顯示器中被消失應用程式456、4561指示為用於消失的真實物件，圖像處理應用程式451追蹤該顯示裝置的視野中的真實物件的位置到每個顯示光學系統中的位置，並追蹤所指示的顯示資料472、4721，例如用於修訂的黑色矩形，來覆蓋每一顯示光學系統14中的(以及從而在該視野中的)真實物件。透視、混合實境顯示裝置系統8的圖像處理應用程式451會在裝置側消失應用程式4561的控制下將用於致使真實物件消失的顯示資料472、4721格式化為可由圖像產生單元120(例如微顯示器120)處理的格式，並且若使用不透明度過濾器114的話向用於不透明度過濾器114的不透明度控制器224提供指令。對於某些更改技術(諸如擦除)，消失顯示資料472、4721包括藉由複製要被擦除的現實物件周圍的圖像資料並用該周圍的圖像資料覆蓋被擦除的物件產生的圖像資料。在其他實例中，消失顯示資料472、4721是處於要擦除的物件之後的圖像資料(例如，來自資料庫470)。
圖7到圖12呈現了用於該技術的方法的實施例以及用 於該等方法的一些步驟的示例實施程序。為說明目的，下文的方法實施例是在上述系統實施例的上下文中描述的。然而，該等方法實施例不限於在上述系統實施例中操作，而是可以在其他系統實施例中實施。如同上面針對圖6A到圖6D提到的，當佩戴透視顯示器的使用者至少移動該使用者的眼睛並且視野中的物件可能在其自己的控制下移動時，該等方法及程序實施例亦被重複執行。
圖7是用於基於滿足消失準則而致使真實物件在透視、混合實境顯示裝置系統的視野中消失的方法的實施例的流程圖。在步驟602中，圖像處理軟體451接收識別至少在混合顯示裝置的透視顯示器的視野中的一或多個真實物件的元資料，其中軟體451可在消失應用程式4561亦能夠存取的記憶體中至少臨時地儲存該元資料。基於該元資料，在步驟604中，消失應用程式4561識別滿足使用者消失準則的任何真實物件。
在某些實例中，本端裝置消失應用程式4561從伺服器側應用程式456接收訊息，該訊息識別哪些真實物件滿足使用者消失準則。在其他實例中，本端消失應用程式4561在所接收的真實物件元資料上執行關鍵字搜尋並本端地識別用於消失的真實物件。
對於被識別為用於消失的任何真實物件，消失應用程式4561致使圖像處理軟體451經由圖像產生單元120控制透視顯示器上的圖像以追蹤到任何所識別的真實物件的圖像資料來致使其在該透視顯示器中消失。若在該視野中沒 有真實物件被識別為用於消失，則顯示裝置系統8的一或多個處理器在步驟608中返回至其他處理。
圖8是用於致使真實物件在透視、混合實境顯示裝置系統的視野中消失的另一方法實施例的實施例的流程圖。圖8的實施例可用於實施圖7的實施例的步驟604、606及608。在步驟612中，消失應用程式4561檢查該透視顯示裝置的視野中滿足使用者消失準則的任何真實物件的識別。在步驟614中，為在透視顯示裝置的視野中的在步驟612中識別的任何真實物件執行消失處理(例如圖7的步驟606)。
對其中追蹤位置及真實物件的軟體及圖像資料庫的網路存取允許在進入此種地點的使用者滿足預測準則時消失應用程式4561預取(prefetch)該等被追蹤的地點中被指定為消失的真實物件的任何可應用的圖像資料。
在步驟616中，消失應用程式4561檢查滿足使用者消失準則、但是在該顯示裝置的當前視野之外而在該使用者的顯示裝置系統8的地點的預定可見距離內的任何真實物件的識別。在步驟618中，消失應用程式4561預取在步驟616中識別的任何真實物件的任何可應用的消失圖像資料或致使該圖像資料被預取。
在步驟620中，消失應用程式4561應用用於識別滿足預測準則的一或多個後續地點的地點預測方法或致使該地點預測方法被應用。在步驟622中，消失應用程式4561決定是否已識別任何滿足的後續地點。若否，則在步驟623 中，處理在下一排程的檢查處返回至步驟612中的視野檢查。若在步驟622中識別了滿足預測準則的後續地點，則消失應用程式4561在步驟624檢查任何所識別的後續地點中滿足使用者消失準則的任何真實物件的識別，並且在步驟626中預取在步驟624中識別的任何真實物件的任何可應用的消失圖像資料。
因為該顯示裝置的視野包括使用者的眼睛當前所關注(focus on)的以及在當前時間點該使用者能夠在周邊(peripherally)看到的，該顯示系統的硬體及軟體元件使保持視野中沒有滿足使用者消失準則的真實物件比資料預取及地點預測更優先。從而，在某些實施例中，用於識別用於在視野中消失的任何真實物件的檢查(步驟612)，以及若找到任何識別的真實物件時的消失處理(步驟614)可能更經常地發生並對顯示系統8的元件具有比預取及地點預測步驟更高的優先順序。
如對於圖7論述的，伺服器側消失應用程式456可發送訊息，本端應用程式4561檢查該訊息以識別該視野中的、在該使用者的地點的預定可見距離內的，或者在後續地點中的滿足使用者消失準則的真實物件。換言之，利用聯網資源來協助識別用於消失的真實物件。搜尋元資料中與主題關鍵字的匹配以及用於識別用於消失的真實物件的識別符的實施示例程序可由伺服器側應用程式456執行以卸下本端裝置系統處理器的工作。本機複本4561亦可藉由請求伺服器側消失應用程式456執行預取來進行預取，並藉 由請求伺服器側456使地點預測被執行並提供任何所識別的後續地點的結果來應用地點預測方法。
此外，伺服器側應用程式456可藉由在被本端應用程式4561請求時提供用於特定更改技術的消失圖像顯示資料472以節省顯示系統8上的記憶體空間來協助消失處理。
而且，請求預取的應用程式副本(例如本端消失應用程式4561或伺服器側456)可預取圖像資料以儲存在要使其消失的真實物件的地點中的另一參與的電腦系統處。在後續地點的情況下，進行請求的應用程式可排程其他電腦系統來在估計的使用者到達之前的某個時間段下載圖像資料。用於更改的該圖像資料在使用者進入該地點前及時地到達。在一個實例中，本機複本應用程式4561可在與其他電腦系統8進行連接時，或者在另一實例中在該使用者的顯示裝置系統8處於該地點中的參考點的距離準則之內時，將該圖像資料下載到該顯示裝置系統8。
如同上面提到的，對於每個地點，基於地點的追蹤應用程式453可能已指派了預定的可見距離。對於用於消失的真實物件，使用者或應用程式可能已選擇了更改技術，諸如用化身覆加層(avatar overlay)來取代不需要的真實物件，該更改技術追蹤該真實物件(在本實例中是人)的面部表情或者至少是身體移動。要用化身覆加的人可能處於預定可見距離內，但是在大於40英尺遠，從而該使用者不能清楚地看到該人的面部表情。
因為用化身面部表情追蹤真人的面部表情是計算密集 的並且在該距離處對使用者益處很小，可應用另一更改技術或不同的圖像資料。例如，可向使用者顯示具有模糊外觀的該人的圖像資料，或化身。當該人處於該使用者的例如20英尺內時，則消失應用程式的本機複本4561或伺服器副本456與圖像處理軟體451、深度圖像處理及骨架追蹤應用程式450或兩者一起工作來追蹤該人的移動，並且連續地追蹤該人在視野中的位置到顯示光學系統14中的位置，從而圖像產生單元120追蹤化身的移動到被消失的人的身體的移動的圖像資料。當該人處於該使用者的十(10)英尺內時，化身圖像資料到該透視顯示器中該人的面部及身體移動追蹤兩者皆被執行。本實例說明用於不同可見度的不同更改技術的選擇。
可見度定義可被程式設計為消失應用程式456、4561的一部分或者被儲存在可存取記憶體中。可見度可以基於對於一般人而言哪些外觀特徵及移動是視覺上可辨識的研究。亦可結合基於人的特徵(例如年齡)的可見度的其他細化。
圖9是用於基於用於消失的真實物件的可見度來選擇更改技術的程序的實施例的流程圖。圖9的實施例是可在實施步驟606或步驟614時使用的程序的實例。在步驟642中，消失應用程式642決定透視顯示器的視野內被識別為滿足使用者消失準則的每個真實物件的位置(以及任選地跡線)。可基於該使用者相對於靜止的真實物件的移動決定該靜止物件的跡線，即便該物件沒有在移動。基於每個 所識別的真實物件的所決定的位置以及任選的跡線，以及該使用者的顯示裝置地點的預定可見距離，在步驟644中消失應用程式4561識別可見度。
外觀特徵亦可以作為用於選擇可見度的基礎。可作為用於決定可見度的基礎的外觀特徵的一些實例是大小及顏色。在40英尺處的穿亮橘色的人與25英尺遠的穿海軍衫的人相比具有指示更可能在使用者視野中被看到的可見度。
在步驟646中，基於視野中每個真實物件被識別的可見度來為消失優先順序化(prioritize)每個真實物件。隨著在該視野中接近該顯示裝置，可見度的優先順序增加。在步驟648中，基於相應真實物件的可見度的優先順序來為用於消失的每個真實物件選擇更改技術。用於選擇更改技術的其他基礎可包括：實施該更改技術的計算時間、可用的記憶體資源以及要使其從當前視野中消失的真實物件的數量。例如，佩戴透視混合實境顯示裝置的兒童害怕小丑，而本地馬戲團的遊行正在街道上前進。用期望的小兔子化身來取代剛進入透視顯示器的視野中的五個小丑中的每一個可能沒有發生得足夠快到不將兒童暴露給至少一個小丑。首先可應用修訂效果，例如，在每個小丑上顯示黑框。在步驟650中，為滿足消失準則的每個真實物件應用所選擇的更改技術。在圖9的程序的下一個迭代中，可以用小兔子化身覆加層來取代被修訂的小丑中的一或多個的黑框。
圖9的實例中的優先順序化亦可被應用到對於所選的技術的用於消失圖像資料的不同取代物件的選擇。如上面論述的，該使用者可能已選擇了取代的更改技術並且已指示他或她將接收其他使用者產生的取代物件。與該等取代物件相關聯的圖像資料中的一部分可能需要大量記憶體並且具有動態內容，所以要顯示它們是更計算密集的。消失應用程式4561可以亦基於可見度、實施時間及要處理的物件的數量的因素來從可用取代物件中進行選擇。
使用者可能將該使用者的更改圖像資料與另一附近使用者共用以便該附近使用者能夠體驗該使用者如何體驗該使用者周圍的真實世界。圖10是在處於彼此的預定距離內的透視、混合實境顯示裝置系統之間共享更改圖像資料的程序的實施例的流程圖。在步驟652中，第一透視混合實境顯示裝置系統識別在預定距離內的第二透視混合實境顯示裝置系統。例如，該等顯示裝置系統可經由藍芽、WUSB、IR或RFID連接交換身份符記。可選擇無線收發器的類型及範圍來僅允許預定距離內的連接。諸如GPS或蜂巢三角量測等位置資料與諸如Bump®等應用程式的組合亦可被用於識別彼此的預定距離內的裝置。
在步驟654中，第一裝置的消失應用程式4561接收滿足佩戴第二混合實境裝置的另一使用者的消失準則的現實物件的識別符，並且在步驟656中，第一裝置從第二裝置接收用於更改技術的用於追蹤到該真實物件的圖像資料。在步驟658中，第一裝置的消失應用程式4561從其透 視顯示器的其視野的角度顯示追蹤該真實物件的圖像資料。
圖11是用於基於當前感興趣主題而致使真實物件在透視、混合實境顯示裝置系統的視野中消失的另一方法的實施例的流程圖。在步驟662中，消失應用程式4561接收使用者的當前感興趣的主題。如上面提到的，使用者可用實體動作(諸如凝視持續時間、眨眼命令、其他基於眼睛移動的命令、音訊資料以及一或多個姿勢)來識別當前感興趣的主題。使用者亦可經由文字輸入，例如經由處理單元4的行動裝置5實施例，來指示當前感興趣的主題。除了直接使用者輸入外，其他執行的應用程式可以利用消失能力來增強它們對該使用者的服務。在其他實例中，另一執行的應用程式462基於應用程式462與使用者的資料交換來決定該使用者當前感興趣的主題並將該當前感興趣的主題發送給使用者，例如，作為當前感興趣的主題資料項目420的一部分發送給使用者。
在步驟664中，消失應用程式4651識別與該當前感興趣的主題相關聯的任何真實物件類型。當與執行的應用程式462介面時，應用程式462向消失應用程式4561指示用於當前興趣的真實物件類型(例如經由諸如420等資料項目)。在使用者的情況下，消失應用程式4561可輸出音訊或視覺請求以用於使用者識別僅該使用者希望看到的與該當前興趣相關的類型的真實物件。該使用者可使用上面論述的各種輸入方法中的任何一種來輸入識別此種真實 物件類型的輸入。消失應用程式4561亦可基於在線上資料庫及使用者簡檔資料中與該主題有關的搜尋來識別真實物件類型。此外，可為常見的感興趣的主題儲存預設真實物件類型，此種主題的一些實例是餐館及方向。
在步驟666中，消失應用程式4561識別該透視顯示器的視野中與任何所識別的真實物件類型相匹配的任何真實物件，例如基於與被圖像處理軟體451識別為在當前視野中的每個真實物件的元資料中儲存的外觀特徵中的物件類型的匹配。在步驟668中，消失應用程式4561決定任何被識別的真實物件是否不滿足當前感興趣的主題的相關性準則。例如，消失應用程式4561可向被識別為具有匹配真實物件類型的任何真實物件的元資料應用關鍵字搜尋技術。該搜尋技術返回每個真實物件的相關性得分。例如，所應用的關鍵字搜尋技術可基於該真實物件的元資料的曼哈頓距離加權求和(Manhattan distance weighted sum)來返回相關性得分。基於用於每個真實物件元資料搜尋的關鍵字相關性得分，在步驟668中，消失應用程式4561識別不滿足當前感興趣的主題的相關性準則的任何真實物件。在步驟670中，消失應用程式4561致使圖像產生單元120(例如經由圖像處理軟體452)追蹤到不滿足相關性準則的每一真實物件的圖像資料以用於致使該真實物件在該透視顯示器的視野中的消失。在在擁擠的餐館區街道上尋找中餐館的女人的實例中，移除其他建築物符號減少了該女人的視圖中的混亂，從而該女人可以更快地找到 該女人的朋友正在該處等該女人的中餐館。
當然，儘管可以使真實物件從該透視顯示器的視野中消失，然而該真實物件仍舊在該使用者的環境中。為了避免使用者與人或其他物件相撞並受傷，可採用衝突避免機制。圖12是用於針對消失的真實物件向使用者提供衝突警告的程序的實施例的流程圖。在步驟682中，消失應用程式456、4561決定該混合實境顯示裝置相對於從該透視顯示器中消失的真實物件的位置及跡線。在步驟684中，消失應用程式456、4561決定該混合實境裝置及該真實物件是否在衝突距離內。若該裝置及該消失的真實物件在衝突距離內，則在步驟686中，消失應用程式456、4561輸出安全警告。例如，消失應用程式456、4561顯示圖像資料或播放音訊資料，該資料包括安全警告。若該裝置及該真實物件不處於衝突距離內，則步驟688中的處理返回其他任務，諸如用於另一應用程式的任務或更新該視野中的真實物件的識別，直到下一次被排程的檢查為止。
圖13A、13B、13C及13D圖示處理姿勢使用者輸入的實例，該姿勢使用者輸入識別用於消失的真實物件。圖13A圖示從佩戴顯示裝置2的使用者的角度的視圖。如由虛線704l及704r所指示的，使用者當前正關注該使用者前方的由人702所佔據的空間。在本實例中，佩戴顯示裝置2的使用者想要看到野花及群山的未被遮擋的視圖，但是公園很擁擠，而人702看上去總是擋著該使用者。
圖13B圖示拇指姿勢的第一位置，其是用於指示消失的 姿勢的一個實例。拇指706被置於該顯示裝置前方並擋住人702。圖像處理軟體451向使用者輸入軟體477發送已在來自面向外的相機113的圖像資料中偵測到拇指姿勢的第一位置的通知。在此實例中，消失應用程式4561啟動輪廓工具應用程式(outline tool application)並輸入拇指指尖位置709作為該輪廓的起始參考點。在本實例中該輪廓遵循該拇指的寬。圖13C圖示沿著執行該姿勢的拇指在該顯示器上的移動的輪廓的實例。圖像處理軟體451顯示該輪廓以匹配拇指的移動並識別位於該輪廓內的真實物件。接收指示停用該輪廓工具的使用者輸入。例如，拇指停止預定的時間段，或者在面向外的相機113的視野中不再偵測到拇指。圖像處理軟體451向消失應用程式4561通知該輪廓內的任何物件的真實物件識別符。在本實例中，使用者輸入軟體477已從聲音辨識軟體478(聲音辨識軟體478處理來自話筒110的音訊資料)接收「擦除」命令。在另一實例中，可使用眼睛移動或文字輸入來選擇擦除更改技術。此外，可選擇預設更改技術。
基於該拇指姿勢及該音訊擦除命令，消失應用程式4561經由網路將來自相機113的地點資料及圖像資料發送到地點圖像追蹤應用程式453，一起被發送的是對於在該地點處並從該透視顯示器的角度的即時圖像資料(如由來自相機113的圖像資料所表示的)以及從該顯示器光軸142的其預定偏移的請求。若該即時圖像資料可用，例如從被人702佩戴的顯示裝置系統8獲得，則消失應用程式4561致 使圖像處理軟體451對於該使用者的角度在人702上顯示該圖像資料。圖13D圖示該透視顯示器視野的實例，其中該人702的遮擋被移除。可能需要將該圖像資料的邊緣與從來自面向外的相機113的圖像資料提取的人702四周的周圍空間的圖像資料相混合。在另一實例中，可提取並複製周圍空間的圖像資料以產生遮蔽物件的圖像資料。
圖14A、14B、14C及14D圖示基於對該顯示裝置的不同可見度應用到滿足使用者消失準則的真實物件的不同更改技術的實例。在本實例中，使用者已將小丑識別為當該使用者正在佩戴該使用者的透視顯示裝置2時要使其消失的真實物件類型。圖14A圖示在使用者地點的預定可見距離內的在透視顯示裝置的視野中的滿足使用者消失準則的真實物件(在本實例中是小丑712)的實例。小丑712僅是顯示裝置的視野中的其他物件(大部分是像人710的此種人)中的一個。此處，如虛線704l及704r所指示的使用者凝視的點是在該使用者正前方。
該使用者亦已選擇了化身的取代物件，對於要被覆加並追蹤到任何小丑的地點該化身看上去像一般人。消失應用程式4561可從該地點的表示一般人的多個取代物件中進行選擇。儘管小丑在該地點的預定可見距離479內，而到該小丑的距離指示在當前地點(繁忙的商業區街道)中僅有顏色偵測的可見度。當該小丑在此可見度中時消失應用程式4561致使修訂效果黑色圖像資料被應用。在消失應用程式4561監視小丑相對於該顯示裝置的跡線的同時，可預 取化身資料。圖14B圖示被應用到小丑的修訂更改技術的實例。黑色圖像資料被追蹤到裝置2的透視顯示器中的小丑。
圖14C圖示小丑處於如下可見度的實例：其中基於該使用者的年齡的一般人的視力，人類物件的關節的移動是可見的。圖14D圖示化身的圖像資料取代透視顯示裝置的視野中的小丑的實例。化身移動模仿小丑的移動。在某些實例中，追蹤小丑的面部移動可以在消失應用程式4561的控制下執行。面部移動偵測的可見度亦可在消失應用程式4561中儲存或定義。
圖15A及15B圖示致使不滿足相關準則的真實物件消失的實例。在本實例中，汽車導覽應用程式462與消失應用程式4561介面。汽車導覽應用程式462，基於其道路庫、上面的符號以及路上的商業及服務，可以在滿足以及不滿足相關性準則的真實物件兩者在指時序間段及其地點中出現時通知消失應用程式4561。而且，使用者可能已輸入一或多個目的地，而導覽系統已經決定路線並且為該路線上要遇到的真實物件的真實物件元資料的資料欄位中的一些提供了資料。具有使用者的路線便於在接近使用者進入不同地點的時間時將圖像資料預取到本端電腦系統。圖15A圖示在不為顯示裝置2執行消失應用程式的情況下駕駛時，從儀錶板720上看出的透視顯示器的視野的實例。在路732上前進的使用者正在逼近交叉路口734。在使用者的左側有停車(STOP)符號722，以及上面帶有方向箭頭 的一串路線編號符號728、730、724、726。汽車導覽應用程式462已將西行5號線(Route 5 West)識別為該使用者的路線的下一部分。在圖15A中，裝置2中執行的凝視決定應用程式462指示該使用者當前正關注東行5號線符號728。
圖15B圖示消失應用程式4561可如何致使不相關的符號消失，而不是使用者必須掃視每個符號來找到西行5號線的正確方向。事實上，更改不相關的符號以協助使用者更快地找到相關資訊。如在圖15B中所示，北行24號線(724)、南行24號線(726)以及東行5號線(728)的路標在透視顯示器中全部用西行5號線(730)的副本覆加，該等副本全部指向左側。使用者花更少的時間來嘗試尋找指示向哪轉的正確路標。消失應用程式4561亦可接收汽車導覽應用程式462請求永不消失(即使使用者請求永不消失)的真實物件類型。停車符號722是此種真實物件類型的實例，而安全是此種真實物件類型的原因。
圖16是可用於實施託管(host)消失應用程式的網路可存取計算系統的計算系統的一個實施例的方塊圖。例如，圖16中的計算系統的實施例可用於實施圖1A及1B的計算系統。在此實施例中，計算系統是諸如遊戲控制台等多媒體控制台800。如圖16所示，多媒體控制台800具有中央處理單元(CPU)801以及便於處理器存取各種類型記憶體的記憶體控制器802，包括快閃唯讀記憶體(ROM)803、隨機存取記憶體(RAM)806、硬碟機808以及可攜式媒體驅動 器806。在一種實施中，CPU 801包括1級快取記憶體810及2級快取記憶體812，該等快取記憶體用於臨時儲存資料並因此減少對硬碟機808進行的記憶體存取週期的數量，從而提高了處理速度及輸送量。
CPU 801、記憶體控制器802以及各種記憶體裝置經由一或多個匯流排(未圖示)互連在一起。在本實施中所使用的匯流排的細節對理解此處所論述的關注主題不是特別相關。然而，應該理解，此種匯流排可以包括串列及平行匯流排、記憶體匯流排、周邊匯流排、使用各種匯流排體系結構中的任何一種的處理器或區域匯流排中的一或多個。作為實例，此種體系結構可以包括工業標準架構(ISA)匯流排、微通道架構(MCA)匯流排、增強型ISA(EISA)匯流排、視訊電子標準協會(VESA)區域匯流排以及亦稱為夾層匯流排的周邊元件互連(PCI)匯流排。
在一個實施方式中，CPU 801、記憶體控制器802、ROM 803以及RAM 806被整合到公用模組814上。在此實施方式中，ROM 803被配置為經由PCI匯流排及ROM匯流排(兩者皆未圖示)連接到記憶體控制器802的快閃ROM。RAM 806被配置為多個雙倍資料速率同步動態RAM(DDR SDRAM)模組，該等DDR SDRAM模組被記憶體控制器802經由分開的匯流排(未圖示)獨立地進行控制。硬碟機808及可攜式媒體驅動器805被示為經由PCI匯流排及AT附加(ATA)匯流排816連接到記憶體控制器802。然而，在其他實施中，亦可以備選地應用不同類型的專用資料匯流排 結構。
圖形處理單元820及視訊轉碼器822構成了用於進行高速度及高解析度(例如，高清晰度)的圖形處理的視訊處理排序緩衝。資料經由數位視訊匯流排(未圖示)從圖形處理單元(GPU)820傳輸到視訊轉碼器822。藉由使用GPU 820中斷來顯示由系統應用程式產生的輕量訊息(例如，快顯視窗)，以排程代碼來將快顯視窗呈現為覆加圖。覆加圖所使用的記憶體量取決於覆加區域大小，並且覆加圖較佳地與螢幕解析度成比例縮放。在併發系統應用程式使用完整使用者介面的情況下，優選使用獨立於應用程式解析度的解析度。定標器(scaler)可用於設置該解析度，從而消除了對改變頻率並引起TV重新同步的需求。
音訊處理單元824及音訊轉碼器(編碼器/解碼器)826構成了對應的音訊處理排序緩衝，用於對各種數位音訊格式進行多通道音訊處理。經由通訊鏈路(未圖示)在音訊處理單元824及音訊轉碼器826之間傳輸音訊資料。視訊及音訊處理排序緩衝向A/V(音訊/視訊)埠828輸出資料，以便傳輸到電視機或其他顯示器。在所圖示的實施中，視訊及音訊處理元件820-828安裝在模組214上。
圖16圖示包括USB主控制器830及網路介面832的模組814。USB主控制器830被示為經由匯流排(例如，PCI匯流排)與CPU 801及記憶體控制器802進行通訊，並作為周邊控制器804(1)-804(4)的主機。網路介面832提供對網路(例如網際網路、家用網路等)的存取，並且可以是 包括乙太網路卡、數據機、無線存取卡、藍芽模組、RFID模組、紅外模組、WUSB模組、纜線數據機等各種有線或無線介面元件中的任一種。
在圖16中圖示的實施中，控制台800包括用於支援四個控制器804(1)-804(4)的控制器支援子部件840。控制器支援子部件840包括支援與諸如，例如，媒體及遊戲控制器之類的外部控制裝置的有線及無線操作所需的任何硬體及軟體元件。前面板I/O子部件842支援電源按鈕812、彈出按鈕813，以及任何LED(發光二極體)或暴露在控制台802的外表面上的其他指示器等多個功能。子部件840及842經由一或多個電纜部件844與模組814進行通訊。在其他實施中，控制台800可以包括另外的控制器子部件。所圖示的實施亦圖示被配置成發送及接收可以傳遞到模組814的信號的光學I/O介面835。
MU 840(1)及840(2)被示為可分別連接到MU埠「A」830(1)及「B」830(2)。附加MU(例如，MU 840(3)-840(6))被示為可連接到控制器804(1)及804(3)，亦即每一個控制器兩個MU。控制器804(2)及804(4)亦可以被配置成接納MU(未圖示)。每一個MU 840皆提供附加儲存，在該附加儲存上面可以儲存遊戲、遊戲參數及其他資料。在一些實施中，其他資料可以包括數位遊戲元件、可執行的遊戲應用程式，用於擴展遊戲應用程式的指令集以及媒體檔中的任何一種。當被插入到控制台800或控制器中時，MU 840可以被記憶體控制器802存取。系統供電模組850向遊戲 系統800的元件供電。風扇852冷卻控制台800內的電路系統。亦提供微控制器單元854。
包括機器指令的應用程式860被儲存在硬碟機808上。當控制台800被接通電源時，應用程式860的各個部分被載入到RAM 806，及/或快取記憶體810以及812中以在CPU 801上執行，其中應用程式860是一個此種實例。各種應用程式可以儲存在硬碟機808上以用於在CPU 801上執行。
可以藉由簡單地將系統連接到監視器16(圖1A)、電視機、視訊投影儀，或其他顯示裝置來將遊戲與媒體系統800用作獨立系統。在此獨立模式下，遊戲及媒體系統800允許一或多個玩家玩遊戲或欣賞數字媒體，例如觀看電影或欣賞音樂。然而，隨著寬頻連線的整合經由網路介面832而成為可能，遊戲及媒體系統800亦可以作為較大的網路遊戲細胞服務區的參與者來操作。
如同上面論述的，處理單元4可被嵌入在行動裝置5中。圖17是可以在本技術的各實施例中操作的示例性行動裝置900的方塊圖。圖示了典型行動電話的示例性電子電路系統。電話900包括一或多個微處理器912，以及儲存由控制處理器912的一或多個處理器執行來實施此處述及之功能的處理器可讀代碼的記憶體910(例如，諸如ROM等非揮發性記憶體及諸如RAM等揮發性記憶體)。
行動裝置900可包括例如處理器912、包括應用程式及非揮發性儲存的記憶體1010。處理器912可實施通訊以及 任何數量的應用程式，包括本文中所描述的互動應用程式。記憶體1010可以是任何種類的記憶體儲存裝置類型，包括非揮發性及揮發性記憶體。裝置作業系統處理行動裝置900的不同操作，並可包含用於操作的使用者介面，如撥打及接聽電話撥叫、文字簡訊收發、檢查語音郵件等。應用程式930可以是任何種類的程式，如用於照片及/或視訊的相機應用程式、位址簿、日曆應用程式、媒體播放機、網際網路瀏覽器、遊戲、其他多媒體應用程式、鬧鐘應用程式、其他協力廠商應用程式，諸如本文論述的用於處理發送至或者來自顯示裝置2的圖像資料的消失應用程式及圖像處理軟體、等等。記憶體910中的非揮發性儲存元件940包含諸如web快取記憶體、音樂、照片、連絡人資料、排程資料以及其他檔等資料。
處理器912亦與RF發射/接收電路系統906進行通訊，該電路系統906進而耦合到天線902，它亦與紅外發射器/接收器908、與像Wi-Fi、WUSB、RFID、紅外或藍芽等任何附加通訊通道960以及與像加速度計等移動/定向感測器914通訊。加速度計被包括到行動裝置中，以啟用諸如讓使用者經由姿勢輸入命令的智慧使用者介面之類的應用程式，在與GPS衛星斷開聯絡之後計算裝置的移動及方向的室內GPS功能，並偵測裝置的定向，並且，當旋轉電話時自動地將顯示從縱向變為橫向。可以，例如，藉由微機電系統(MEMS)來提供加速度計，該微機電系統是構建在半導體晶片上的微小機械裝置(微米尺寸)。可以感測加 速方向以及定向、振動及震動。處理器912亦與響鈴器/振動器916、使用者介面鍵區/螢幕、生物測定感測器系統918、揚聲器920、話筒922、相機924、光感測器921以及溫度感測器927進行通訊。
處理器912控制無線信號的發射及接收。在發射模式期間，處理器912向RF發射/接收電路系統906提供來自話筒922的語音信號或其他資料信號。發射/接收電路系統906將該信號發射到遠端站(例如固定站、服務供應商、其他蜂巢式電話等)來經由天線902進行通訊。響鈴器/振動器916被用於向使用者發來話撥叫、文字簡訊、日曆提醒、鬧鐘提醒或其他通知等信號。在接收模式期間，發射/接收電路系統906經由天線902接收來自遠端站的語音或其他資料信號。所接收到的語音信號被提供給揚聲器920，同時所接收到的其他資料信號亦被適當地處理。
另外，實體連接器988可被用來將行動裝置900連接到外部電源，如AC配接器或加電對接底座。實體連接器988亦可被用作到計算裝置的資料連接。該資料連接允許諸如將移動資料與另一裝置上的計算資料進行同步等操作。
為此種服務啟用使用基於衛星的無線電導覽來中繼使用者應用程式的位置的GPS接收機965。
附圖中圖示的示例電腦系統包括電腦可讀取儲存裝置的實例。電腦可讀取儲存裝置亦是處理器可讀取儲存裝置。此種媒體可包括以用於儲存諸如電腦可讀取指令、資料結構、程式模組，或其他資料等資訊的任何方法或技術 實施的揮發性及非揮發性、可移除及不可移除媒體。電腦儲存裝置包括，但不限於，RAM、ROM、EEPROM、快取記憶體、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光碟儲存、記憶棒或卡、磁帶盒、磁帶、媒體驅動器、硬碟、磁碟儲存或其他磁性儲存裝置，或能用於儲存所需資訊且可以由電腦存取的任何其他媒體。
儘管用結構特徵及/或方法動作專用的語言描述了本主題，但可以理解，所附申請專利範圍中定義的主題不必限於上述具體特徵或動作。更確切而言，上述具體特徵及動作是作為實施請求項的示例形式揭示的。
2‧‧‧頭戴式顯示裝置
4‧‧‧處理單元
5‧‧‧行動裝置
6‧‧‧線
8‧‧‧透視、混合實境顯示裝置系統
12‧‧‧計算系統
14‧‧‧顯示光學系統
14r‧‧‧右眼系統
16‧‧‧視聽裝置
20A‧‧‧擷取裝置
20B‧‧‧擷取裝置
22‧‧‧外部揚聲器
50‧‧‧通訊網路
102‧‧‧眼鏡腿
104‧‧‧鼻樑
110‧‧‧話筒
112‧‧‧光導光學元件
113‧‧‧視訊相機
114‧‧‧不透明度過濾器
115‧‧‧鏡架
118‧‧‧透視透鏡
120‧‧‧微顯示器
122‧‧‧透鏡系統
124‧‧‧反射面
126‧‧‧反射面
128‧‧‧感測器
130‧‧‧耳機
132‧‧‧定向感測器
132A‧‧‧三軸磁力計
132B‧‧‧三軸陀螺儀
132C‧‧‧三軸加速度計
134‧‧‧眼睛追蹤部件
134A‧‧‧眼睛追蹤照明裝置
134B‧‧‧眼睛追蹤相機
136‧‧‧控制電路系統
138‧‧‧溫度感測器
140‧‧‧眼睛
142‧‧‧光軸
144‧‧‧GPS收發器
200‧‧‧控制電路
202‧‧‧電源管理電路
210‧‧‧處理器
212‧‧‧記憶體控制器
216‧‧‧相機介面
218‧‧‧相機緩衝區
220‧‧‧顯示驅動器
222‧‧‧顯示格式化器
224‧‧‧不透明度控制單元
226‧‧‧時序產生器
228‧‧‧顯示輸出介面
230‧‧‧顯示輸入
232‧‧‧帶介面
234‧‧‧電壓調節器
236‧‧‧眼睛追蹤照明驅動器
237‧‧‧電脈衝控制器
238‧‧‧音訊DAC及放大器
240‧‧‧話筒前置放大器及音訊ADC
242‧‧‧溫度感測器介面
244‧‧‧記憶體
245‧‧‧時鐘產生器
302‧‧‧帶介面
304‧‧‧控制電路
306‧‧‧電源管理電路
320‧‧‧中央處理單元
322‧‧‧圖形處理單元
324‧‧‧快取記憶體
326‧‧‧RAM
328‧‧‧記憶體控制器
330‧‧‧記憶體
332‧‧‧快閃記憶體控制器
334‧‧‧快閃記憶體
336‧‧‧顯示輸出緩衝區
338‧‧‧顯示輸入緩衝區
340‧‧‧話筒介面
342‧‧‧外部話筒連接器
346‧‧‧地點偵測感測器
348‧‧‧USB埠
360‧‧‧時鐘產生器
362‧‧‧類比數位轉換器
364‧‧‧電池充電器
366‧‧‧電壓調節器
368‧‧‧電池
370‧‧‧充電插座
372‧‧‧溫度感測器介面
374‧‧‧溫度感測器
376‧‧‧透視、近眼顯示器電源
410‧‧‧主題資料
412‧‧‧識別符
414‧‧‧真實物件類型
415‧‧‧更改技術指示符
416‧‧‧主題關鍵字
417‧‧‧取代物件識別符
420‧‧‧主題資料項目
422‧‧‧識別符
428‧‧‧相關性準則
430‧‧‧元資料
4301‧‧‧元資料
431‧‧‧真實物件識別符
432‧‧‧位置資料
433‧‧‧跡線資料
434‧‧‧可見度
435‧‧‧地點資料
436‧‧‧關鍵字
450‧‧‧深度圖像處理及骨架追蹤應用程式
451‧‧‧圖像處理應用程式
453‧‧‧地點圖像追蹤軟體
454‧‧‧姿勢辨識器引擎
455‧‧‧篩檢程式
456‧‧‧消失應用程式
4561‧‧‧消失應用程式
459‧‧‧推送服務應用程式
459N‧‧‧推送服務應用程式
460‧‧‧使用者簡檔資料
4601‧‧‧使用者簡檔資料
460N‧‧‧使用者簡檔資料
461‧‧‧使用者電腦系統
462‧‧‧搜尋應用程式
4621‧‧‧搜尋應用程式
464N‧‧‧裝置資料
469‧‧‧圖像資料
470‧‧‧位置圖像資料庫
472‧‧‧顯示資料
4721‧‧‧顯示資料
474‧‧‧參考物件資料集
475‧‧‧外觀特徵
476‧‧‧面部及圖案辨識軟體
477‧‧‧使用者輸入軟體
478‧‧‧聲音辨識軟體
479‧‧‧預定可見距離
481‧‧‧物件的類型
483‧‧‧大小範圍
484‧‧‧形狀選擇
485‧‧‧材料的類型
486‧‧‧表面紋理
487‧‧‧典型顏色
488‧‧‧典型圖案
490‧‧‧幾何定向
491‧‧‧表面
492‧‧‧人物件資料集的類型
493‧‧‧高度
494‧‧‧身體部位特徵
495‧‧‧面部特徵
496‧‧‧皮膚特性
497‧‧‧毛髮特徵
498‧‧‧服飾選擇
499‧‧‧鞋選擇
510‧‧‧步驟
512‧‧‧步驟
514‧‧‧步驟
516‧‧‧步驟
518‧‧‧步驟
520‧‧‧步驟
522‧‧‧步驟
524‧‧‧步驟
526‧‧‧步驟
528‧‧‧步驟
530‧‧‧步驟
532‧‧‧步驟
534‧‧‧步驟
536‧‧‧步驟
540‧‧‧步驟
542‧‧‧步驟
544‧‧‧步驟
546‧‧‧步驟
548‧‧‧步驟
602‧‧‧步驟
604‧‧‧步驟
606‧‧‧步驟
608‧‧‧步驟
612‧‧‧步驟
614‧‧‧步驟
616‧‧‧步驟
618‧‧‧步驟
620‧‧‧步驟
622‧‧‧步驟
623‧‧‧步驟
624‧‧‧步驟
626‧‧‧步驟
642‧‧‧步驟
644‧‧‧步驟
646‧‧‧步驟
648‧‧‧步驟
650‧‧‧步驟
652‧‧‧步驟
654‧‧‧步驟
656‧‧‧步驟
658‧‧‧步驟
662‧‧‧步驟
664‧‧‧步驟
666‧‧‧步驟
668‧‧‧步驟
670‧‧‧步驟
682‧‧‧步驟
684‧‧‧步驟
686‧‧‧步驟
688‧‧‧步驟
702‧‧‧人
704l‧‧‧虛線
704r‧‧‧虛線
706‧‧‧拇指
709‧‧‧拇指指尖位置
710‧‧‧人
712‧‧‧小丑
720‧‧‧儀錶板
722‧‧‧停車符號
724‧‧‧北行24號線
726‧‧‧南行24號線
728‧‧‧東行5號線
730‧‧‧西行5號線
732‧‧‧路
734‧‧‧交叉路口
800‧‧‧多媒體控制台
801‧‧‧中央處理單元
802‧‧‧記憶體控制器
803‧‧‧快閃唯讀記憶體
804(1)‧‧‧周邊控制器
804(2)‧‧‧周邊控制器
804(3)‧‧‧周邊控制器
804(4)‧‧‧周邊控制器
805‧‧‧可攜式媒體驅動器
806‧‧‧RAM
808‧‧‧硬碟機
810‧‧‧1級快取記憶體
812‧‧‧2級快取記憶體
813‧‧‧彈出按鈕
814‧‧‧模組
816‧‧‧AT附加匯流排
820‧‧‧圖形處理單元
822‧‧‧視訊轉碼器
824‧‧‧音訊處理單元
826‧‧‧音訊轉碼器
828‧‧‧A/V埠
830‧‧‧USB主控制器
832‧‧‧網路介面
835‧‧‧光學I/O介面
840‧‧‧控制器支援子部件
840(1)‧‧‧子部件
840(2)‧‧‧子部件
840(3)‧‧‧子部件
840(4)‧‧‧子部件
840(5)‧‧‧子部件
840(6)‧‧‧子部件
844‧‧‧電纜部件
850‧‧‧系統供電模組
852‧‧‧風扇
854‧‧‧微控制器單元
860‧‧‧應用程式
900‧‧‧行動裝置
902‧‧‧天線
906‧‧‧發射/接收電路系統
908‧‧‧紅外發射器/接收器
912‧‧‧處理器
914‧‧‧移動/定向感測器
916‧‧‧響鈴器/振動器
918‧‧‧生物測定感測器系統
922‧‧‧話筒
924‧‧‧相機
965‧‧‧GPS接收機
988‧‧‧實體連接器
1010‧‧‧記憶體
圖1A是圖示透視、混合實境顯示裝置系統的一個實施例的示例元件的方塊圖。
圖1B是圖示透視、混合實境顯示裝置系統的另一實施例的示例元件的方塊圖。
圖2A是被實施為提供對硬體及軟體元件的支援的眼鏡的透視、混合實境顯示裝置的實施例中的鏡架的眼鏡腿的側視圖。
圖2B是透視、近眼、混合實境裝置的顯示光學系統的實施例的俯視圖。
圖3A是可以用於一或多個實施例的透視、近眼、混合實境顯示裝置的硬體及軟體元件的一個實施例的方塊圖。
圖3B是描述處理單元的各元件的方塊圖。
圖4是從軟體角度看的用於致使透視、混合實境顯示裝置系統的顯示器中的真實物件消失的系統的實施例的方塊圖。
圖5A圖示使用者消失準則中的消失主題項資料記錄的實例。
圖5B圖示使用者消失準則中的主題項資料記錄的真實物件類型記錄的資料欄位的實例。
圖5C是使用者消失準則中的當前感興趣主題項資料記錄的實例。
圖5D圖示用於識別真實物件的元資料的實例。
圖5E圖示用於無生命物件(inanimate object)的參考物件資料集的實例，該參考物件資料集可表示在更改技術中用於取代物件(replacement object)的資料欄位。
圖5F圖示用於人的參考物件資料集的實例，該參考物件資料集可表示在更改技術中用於取代物件的資料欄位。
圖6A是用於決定現實及虛擬物件在顯示裝置系統的三維視野中的位置的方法的實施例的流程圖。
圖6B是用於在顯示裝置的視野中識別一或多個真實物件的方法的實施例的流程圖。
圖6C是用於產生某地點的三維模型的方法的實施例的流程圖。
圖6D是用於基於某地點的三維模型來決定現實及虛擬物件在顯示裝置系統的三維視野中的位置的方法的實施 例的流程圖。
圖7是用於基於滿足使用者消失準則而致使透視、混合實境顯示裝置系統的視野中的真實物件消失的方法的實施例的流程圖。
圖8是用於致使透視、混合實境顯示裝置系統的視野中的真實物件消失的另一方法的實施例的流程圖。
圖9是用於基於用於消失的真實物件的可見度來選擇更改技術的程序的實施例的流程圖。
圖10是在處於彼此的預定距離內的透視、混合實境顯示裝置系統之間共享更改圖像資料的程序的實施例的流程圖。
圖11是用於基於當前感興趣主題而致使透視、混合實境顯示裝置系統的視野中的真實物件消失的另一方法的實施例的流程圖。
圖12是用於針對消失的真實物件向使用者提供衝突警告的程序的實施例的流程圖。
圖13A、13B、13C及13D圖示處理姿勢使用者輸入的實例，該姿勢使用者輸入識別用於消失的真實物件。
圖14A、14B、14C及14D圖示基於不同可見程度應用到滿足使用者消失準則的真實物件的不同更改技術的實例。
圖15A及15B圖示致使不滿足相關準則的真實物件消失的實例。
圖16是可用於實施託管(host)消失應用程式的網路可存 取計算系統的計算系統的一個實施例的方塊圖。
圖17是可以在本技術的各實施例中操作的示例性行動裝置的方塊圖。
602‧‧‧步驟
604‧‧‧步驟
606‧‧‧步驟
608‧‧‧步驟

Claims (20)

  1. 一種處理器可讀取儲存裝置，該處理器可讀取儲存裝置上轉碼有指令，該等指令用於使一或多個處理器執行一方法，該方法用於致使一透視、混合實境顯示裝置系統的一透視顯示器中的一真實物件消失，該方法包括以下步驟：接收識別該透視顯示器的一視野中的一或多個真實物件的元資料；決定該一或多個真實物件中的任一個是否滿足使用者消失準則；及回應於決定一第一真實物件滿足該使用者消失準則，追蹤到該透視顯示器中的該第一真實物件的圖像資料以致使該第一真實物件在該透視顯示器的該視野中消失。
  2. 如請求項1述及之處理器可讀取儲存裝置，進一步包括：偵測該透視、混合實境顯示裝置系統的一預定距離內的另一透視顯示裝置系統；基於在該透視、混合實境顯示裝置系統的該預定距離內，來接收滿足佩戴另一透視顯示裝置系統的該使用者的使用者消失準則的一第二真實物件的一識別符；從另一透視顯示裝置系統接收用於一更改技術的用於追蹤該第二真實物件的圖像資料； 從該透視顯示器的該視野的一角度顯示追蹤該第二真實物件的該圖像資料。
  3. 如請求項1述及之處理器可讀取儲存裝置，其中：決定該一或多個真實物件中的任一個是否滿足使用者消失準之步驟進一步包括以下步驟：基於一使用者當前感興趣的一主題的通知，識別與該當前感興趣的主題相關聯的任何真實物件類型；識別該透視顯示器的該視野中與任何所識別的真實物件類型相匹配的任何真實物件；及決定任何所識別的真實物件是否不滿足該當前感興趣的主題的相關性準則。
  4. 如請求項3述及之處理器可讀取儲存裝置，其中決定任何所識別的真實物件是否不滿足該當前感興趣的主題的相關性準則之步驟進一步包括以下步驟：將關鍵字搜尋技術應用於識別為匹配任何所識別的真實物件類型的任何真實物件的該元資料，以決定一相應關鍵字相關性得分；及基於該相應關鍵字相關性得分，來識別不滿足該當前感興趣的主題的相關性準則的任何真實物件。
  5. 如請求項1述及之處理器可讀取儲存裝置，其中該方法進一步包括以下步驟： 決定該透視顯示器的該視野內被識別為滿足使用者消失準則的每一真實物件的一位置；基於每一所識別的真實物件的相應的所決定的位置以及對於該顯示裝置的一地點的一預定可見距離，來識別該每一所識別的真實物件的一可見度；及基於該視野中用於消失的每一真實物件的被識別的可見度來優先順序化該用於消失的每一真實物件。
  6. 如請求項5述及之處理器可讀取儲存裝置，其中該方法進一步包括以下步驟：決定該透視顯示器的該視野內被識別為滿足使用者消失準則的每一真實物件的一跡線；其中識別每一所識別的真實物件的該可見度亦基於每一所識別的真實物件的相應的所決定的跡線。
  7. 如請求項5述及之處理器可讀取儲存裝置，其中識別每一所識別的真實物件的該可見度亦基於該透視顯示器的該視野內的被識別為滿足使用者消失準則的每一真實物件的至少一個外觀特徵。
  8. 如請求項5述及之處理器可讀取儲存裝置，其中追蹤到該透視顯示器中的該第一真實物件的圖像資料以致使該第一真實物件在該透視顯示器的該視野中消失之步驟進一步包括以下步驟： 基於用於消失的每一真實物件的該可見度的一優先順序來從為相應真實物件指示的更改技術中選擇用於該相應真實物件的一更改技術；為用於消失的每一真實物件應用所選擇的該更改技術。
  9. 如請求項1述及之處理器可讀取儲存裝置，進一步包括以下步驟：檢查滿足使用者消失準則、但是在該視野之外而在該顯示裝置系統的一地點的一預定可見距離內的任何真實物件的識別；預取滿足使用者消失準則、但是在該視野之外而在該顯示裝置系統的該地點的該預定可見距離內的任何所識別的真實物件的任何可應用的消失圖像資料。
  10. 如請求項9述及之處理器可讀取儲存裝置，進一步包括以下步驟：應用用於識別藉由該顯示裝置系統輸入的一或多個後續地點的一地點預測方法；回應於識別一後續地點，基於所儲存的與該後續地點相關聯的真實物件元資料，來檢查該後續地點中滿足使用者消失準則的任何真實物件的識別；及預取該後續地點中滿足使用者消失準則的任何所識別的真實物件的任何可應用的消失圖像資料。
  11. 一種透視、頭戴式、混合實境顯示裝置系統，該顯示裝置系統用於致使該顯示裝置系統的一透視顯示器的一視野中的一真實物件消失，該系統包括：一或多個地點偵測感測器；用於儲存使用者消失準則的一記憶體，該使用者消失準則包括至少一個主題項；一或多個處理器，該一或多個處理器能夠存取該記憶體並且通訊地耦合到該一或多個地點偵測感測器以用於接收該顯示裝置系統的地點識別符資料並用於識別該透視顯示器的該視野中的與該至少一個主題項有關並在從該地點識別符資料決定的地點的一預定可見距離內的一或多個真實物件；及至少一個圖像產生單元，該至少一個圖像產生單元通訊地耦合到該一或多個處理器並且光學耦合到該透視顯示器以追蹤到該透視顯示器的該視野中的所識別的該一或多個真實物件的圖像資料以致使該一或多個真實物件消失。
  12. 如請求項11述及之系統，該系統進一步包括：儲存在該記憶體中的該使用者消失準則進一步包括與該至少一個主題項相關聯的一真實世界物件類型的一取代物件。
  13. 如請求項11述及之系統，其中該使用者消失準則包括與該至少一個主題項相關聯的一真實世界物件類型的一 更改指示符，該更改指示符指示要應用到該相應真實世界物件的一類型的更改。
  14. 如請求項11述及之系統，其中該一或多個處理器通訊地耦合到一遠端計算系統以存取一三維模型，該三維模型包括識別在該透視、混合實境顯示裝置的一預定可見距離內的、該地點中的一或多個真實物件的元資料。
  15. 如請求項11述及之系統，其中該一或多個地點偵測感測器包括以下中的至少一者：一WiFi裝置；一紅外裝置；一圖像擷取裝置；一全球定位系統(GPS)裝置；一基於蜂巢式電訊的裝置；及一RFID裝置。
  16. 如請求項11述及之系統，其中該一或多個處理器能夠存取使用者簡檔資料以預測該顯示裝置的一當前地點的一後續地點；該一或多個處理器檢查該後續地點中滿足使用者消失準則的任何真實物件的識別；該一或多個處理器通訊地耦合到該後續地點中的一電腦系統；及 該一或多個處理器藉由在該使用者到達前及時地排程到該後續地點中的該電腦系統的下載來預取該後續地點中滿足使用者消失準則的任何所識別的真實物件的圖像資料。
  17. 一種用於致使一透視、混合實境顯示裝置系統的一透視顯示器的一視野中的一真實物件消失的方法，該方法包括以下步驟：接收識別用於消失的主題的一實體動作的使用者輸入，該用於消失的主題包括當前在該透視顯示器的該視野中的用於消失的一真實物件；在使用者消失準則中儲存該用於消失的主題；根據一更改技術追蹤到用於消失的該真實物件的圖像資料；及回應於識別要應用到當前在該視野中的用於消失的該真實物件的一使用者指定的更改技術，將該使用者指定的更改技術選擇為該更改技術。
  18. 如請求項17述及之方法，其中該更改技術包括以下的至少一個：用一虛擬物件取代該第一現實物件；藉由用藉由混合該第一真實物件周圍的物件的圖像資料產生的圖像資料覆加該第一現實物件來擦除該第一現實物件； 用黑色圖像資料修訂該第一現實物件；及藉由追蹤到該第一現實物件的模糊圖像資料來遮蔽該第一現實物件。
  19. 如請求項17述及之方法，其中該更改技術包括擦除該第一真實物件且該方法進一步包括以下步驟：藉由監視來自該透視、混合實境顯示裝置系統的面向實體環境的相機的圖像資料，來追蹤該透視、混合實境顯示裝置到該第一真實物件的一位置；及回應於偵測到該透視、混合實境顯示裝置及該第一真實物件在一衝突距離內，輸出一安全警告。
  20. 如請求項16述及之方法，其中識別包括用於消失的一真實物件的用於消失的主題的一實體動作的該使用者輸入為一姿勢，該姿勢基於來自該透視、混合實境顯示裝置系統的至少一個面向實體環境的相機的圖像資料而被識別。
TW101134965A 2011-10-14 2012-09-24 混合實境顯示器中使用者控制的真實物件的消失 TWI581178B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/274,136 US9255813B2 (en) 2011-10-14 2011-10-14 User controlled real object disappearance in a mixed reality display

Publications (2)

Publication Number Publication Date
TW201329853A true TW201329853A (zh) 2013-07-16
TWI581178B TWI581178B (zh) 2017-05-01

Family

ID=47927816

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101134965A TWI581178B (zh) 2011-10-14 2012-09-24 混合實境顯示器中使用者控制的真實物件的消失

Country Status (5)

Country Link
US (2) US9255813B2 (zh)
CN (1) CN102999160B (zh)
HK (1) HK1181519A1 (zh)
TW (1) TWI581178B (zh)
WO (1) WO2013056187A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI484452B (zh) * 2013-07-25 2015-05-11 Univ Nat Taiwan Normal 擴增實境學習系統及其方法
TWI560580B (en) * 2014-12-04 2016-12-01 Htc Corp Virtual reality system and method for controlling operation modes of virtual reality system
TWI599995B (zh) * 2016-09-02 2017-09-21 Xin-Hong Zhuang Examination questions screening system and its method
TWI648655B (zh) * 2017-07-27 2019-01-21 宏達國際電子股份有限公司 虛擬實境系統中顯示使用者移動的方法及相關裝置
TWI659335B (zh) * 2017-05-25 2019-05-11 大陸商騰訊科技（深圳）有限公司 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
TWI674529B (zh) * 2017-05-09 2019-10-11 瑞軒科技股份有限公司 混合實境組件及產生混合實境之方法
TWI700588B (zh) * 2018-04-09 2020-08-01 日商蒂姆聯鉑信息技術有限公司 顯示控制系統、終端裝置、電腦程式、控制裝置、以及顯示控制方法
TWI768478B (zh) * 2020-09-25 2022-06-21 宏碁股份有限公司 適應性調用外部硬體資源的方法
US11836302B2 (en) 2022-03-03 2023-12-05 Htc Corporation Motion computing system and method for virtual reality

Families Citing this family (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US9155964B2 (en) 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US20150199081A1 (en) * 2011-11-08 2015-07-16 Google Inc. Re-centering a user interface
US8941722B2 (en) * 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
WO2014069248A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9298970B2 (en) * 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
US20140184802A1 (en) * 2012-12-28 2014-07-03 Wal-Mart Stores, Inc. Techniques for reducing consumer wait time
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9406253B2 (en) * 2013-03-14 2016-08-02 Broadcom Corporation Vision corrective display
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
CN105229719B (zh) 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
US10109075B2 (en) * 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9234742B2 (en) * 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9417668B2 (en) 2013-06-25 2016-08-16 Nicholas Wiley Sun shade case for a portable computing device
WO2015009887A1 (en) * 2013-07-18 2015-01-22 Intelligent Decisions, Inc. Systems and methods for virtual environment conflict nullification
US20150049001A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Enabling remote screen sharing in optical see-through head mounted display with augmented reality
CN104517076B (zh) * 2013-09-26 2017-12-26 联想(北京)有限公司 一种信息处理方法及电子设备
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2015118578A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
EP2887639A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Augmented reality information detail
AU2013273722A1 (en) * 2013-12-19 2015-07-09 Canon Kabushiki Kaisha Method, system and apparatus for removing a marker projected in a scene
EP2887124A1 (en) 2013-12-20 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical unit
US9607409B2 (en) 2013-12-23 2017-03-28 Empire Technology Development Llc Suppression of real features in see-through display
US10310265B2 (en) 2013-12-27 2019-06-04 Intel Corporation Device, method, and system of providing extended display with head mounted display
JP2015134079A (ja) * 2014-01-17 2015-07-27 株式会社ユニバーサルエンターテインメント ゲーミングマシン
CN106104361B (zh) 2014-02-18 2019-06-07 摩致实验室有限公司 与移动计算装置一起使用的头戴式显示器眼罩
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US9495759B2 (en) * 2014-02-26 2016-11-15 Apeiros, Llc Mobile, wearable, automated target tracking system
EP3111424B1 (en) * 2014-02-27 2020-12-30 Aptiv Technologies Limited A display interposing a physical object within a three-dimensional volumetric space
GB201404134D0 (en) * 2014-03-10 2014-04-23 Bae Systems Plc Interactive information display
US9426358B2 (en) * 2014-03-11 2016-08-23 Nokia Technologies Oy Display of video information
EP2943860B1 (en) 2014-03-21 2022-03-02 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
CN103877726B (zh) * 2014-04-10 2017-09-26 北京蚁视科技有限公司 一种虚拟现实组件系统
US20150331260A1 (en) * 2014-05-15 2015-11-19 Kessler Foundation Inc. Wearable systems and methods for treatment of a neurocognitive condition
US9323983B2 (en) * 2014-05-29 2016-04-26 Comcast Cable Communications, Llc Real-time image and audio replacement for visual acquisition devices
JP6412719B2 (ja) * 2014-05-29 2018-10-24 株式会社日立システムズ 建屋内行先誘導システム
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
DE102014011163A1 (de) 2014-07-25 2016-01-28 Audi Ag Vorrichtung zum Anzeigen eines virtuellen Raums und Kamerabildern
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
EP3201859A1 (en) * 2014-09-30 2017-08-09 PCMS Holdings, Inc. Reputation sharing system using augmented reality systems
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
JP2016090772A (ja) * 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
GB2532464B (en) * 2014-11-19 2020-09-02 Bae Systems Plc Apparatus and method for selectively displaying an operational environment
GB2532462A (en) * 2014-11-19 2016-05-25 Bae Systems Plc Mixed reality information and entertainment system and method
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
ES2642263T3 (es) * 2014-12-23 2017-11-16 Nokia Technologies Oy Control de contenido de realidad virtual
US10073599B2 (en) * 2015-01-07 2018-09-11 Microsoft Technology Licensing, Llc Automatic home screen determination based on display device
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US9767614B2 (en) 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality
US10360617B2 (en) 2015-04-24 2019-07-23 Walmart Apollo, Llc Automated shopping apparatus and method in response to consumption
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US20160358013A1 (en) * 2015-06-02 2016-12-08 Aerdos, Inc. Method and system for ambient proximity sensing techniques between mobile wireless devices for imagery redaction and other applicable uses
CN106293041B (zh) * 2015-06-18 2019-03-29 北京智谷睿拓技术服务有限公司 确定遮挡的方法和装置
CN105117931A (zh) * 2015-07-30 2015-12-02 金华唯见科技有限公司 一种目标驱动虚拟现实生态系统
US10133931B2 (en) * 2015-08-04 2018-11-20 Fmr Llc Alert notification based on field of view
US9922463B2 (en) 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
US9818228B2 (en) * 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US10235808B2 (en) * 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
WO2017049430A1 (en) 2015-09-21 2017-03-30 Qualcomm Incorporated Camera preview
EP3370414A4 (en) * 2015-10-28 2019-06-05 Kyocera Corporation IMAGING DEVICE, IMAGING SYSTEM, INDIVIDUAL SURVEILLANCE SYSTEM, AND CONTROL METHOD FOR IMAGING DEVICE
US10474411B2 (en) * 2015-10-29 2019-11-12 Samsung Electronics Co., Ltd. System and method for alerting VR headset user to real-world objects
US10846895B2 (en) * 2015-11-23 2020-11-24 Anantha Pradeep Image processing mechanism
TWI596378B (zh) * 2015-12-14 2017-08-21 技嘉科技股份有限公司 可攜式虛擬實境系統
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
MX2018008789A (es) 2016-01-19 2019-03-28 Walmart Apollo Llc Sistema de pedido de articulos consumibles.
US10319272B1 (en) 2016-02-10 2019-06-11 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Vehicular brightness limiting system
US9933855B2 (en) * 2016-03-31 2018-04-03 Intel Corporation Augmented reality in a field of view including a reflection
CN105892667B (zh) * 2016-03-31 2019-03-29 联想(北京)有限公司 一种虚拟现实场景下的信息处理方法和电子设备
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
EP3453169A4 (en) * 2016-05-07 2019-09-18 Smart Third-i Ltd SYSTEMS AND METHODS WITH EDGE CAMERA ARRANGEMENTS IN HANDHELD DEVICES
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
US9959678B2 (en) * 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
US10430988B2 (en) 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
US10096165B2 (en) * 2016-06-30 2018-10-09 Intel Corporation Technologies for virtual camera scene generation using physical object sensing
KR101715142B1 (ko) * 2016-08-29 2017-03-14 주식회사 리얼야구존 모바일 기기를 이용하는 스크린 야구 경기 방법
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
WO2018058601A1 (zh) * 2016-09-30 2018-04-05 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
US10275608B2 (en) 2016-10-15 2019-04-30 International Business Machines Corporation Object-centric video redaction
US9717607B1 (en) * 2016-10-28 2017-08-01 International Business Machines Corporation Augmented control of robotic prosthesis by a cognitive system
JP6754678B2 (ja) * 2016-11-18 2020-09-16 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CN106774862B (zh) * 2016-12-03 2020-07-31 学能通(山东)智能设备有限公司 基于视线的vr显示方法及vr设备
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
IL311069A (en) * 2017-02-28 2024-04-01 Magic Leap Inc Virtual and real object registration in a mixed reality device
US10429926B2 (en) * 2017-03-15 2019-10-01 International Business Machines Corporation Physical object addition and removal based on affordance and view
CN106959108B (zh) * 2017-03-23 2020-02-21 联想(北京)有限公司 位置确定方法、系统及电子设备
US10408624B2 (en) 2017-04-18 2019-09-10 Microsoft Technology Licensing, Llc Providing familiarizing directional information
CN110663011B (zh) * 2017-05-23 2024-04-12 交互数字Vc控股公司 基于用户视图中的真实生活对象的持久性而对ar信息进行优先化排序的系统及方法
CN110709027A (zh) * 2017-06-08 2020-01-17 美多斯国际有限公司 用于无菌场和其他工作环境的用户界面系统
US10719987B1 (en) 2017-06-28 2020-07-21 Kilburn Live, Llc Augmented reality in a virtual reality environment
US10627828B2 (en) * 2017-06-30 2020-04-21 Casio Computer Co., Ltd. Autonomous movement device, autonomous movement method and program recording medium
CN107666563B (zh) * 2017-09-05 2020-04-21 上海东方传媒技术有限公司 一种应用于摄像机的防碰撞检测方法及系统
CN111164540B (zh) * 2017-09-28 2022-04-15 苹果公司 用于在模拟现实会话期间呈现物理环境交互的方法和设备
US11518036B2 (en) * 2017-09-29 2022-12-06 Honda Motor Co., Ltd. Service providing system, service providing method and management apparatus for service providing system
US10356341B2 (en) * 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
JP6946963B2 (ja) * 2017-11-17 2021-10-13 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム
US10175697B1 (en) 2017-12-21 2019-01-08 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US10636219B2 (en) 2017-12-22 2020-04-28 Magic Leap, Inc. Viewpoint dependent brick selection for fast volumetric reconstruction
CN108170391B (zh) * 2017-12-26 2021-04-27 北京三快在线科技有限公司 页面显示方法、装置及电子设备
CN108320333B (zh) * 2017-12-29 2022-01-11 中国银联股份有限公司 场景适应型虚拟现实转换设备和虚拟现实的场景适应方法
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
KR102436018B1 (ko) * 2018-01-23 2022-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US11186289B2 (en) * 2018-03-30 2021-11-30 Toyota Jidosha Kabushiki Kaisha Concealment system for improved safe driving
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
US11182964B2 (en) * 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
FR3081069B1 (fr) 2018-05-14 2022-01-21 Diotasoft Procede et systeme pour teletransmettre vers un site de traitement un flux video capte sur un site d’intervention distant
US10713849B2 (en) 2018-05-29 2020-07-14 International Business Machines Corporation Augmented reality masking
US10593119B2 (en) * 2018-06-25 2020-03-17 Intel Corporation Projected augmented reality to obscure physical objects
CN109035415B (zh) * 2018-07-03 2023-05-16 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
US10891922B1 (en) * 2018-07-17 2021-01-12 Apple Inc. Attention diversion control
US11600047B2 (en) * 2018-07-17 2023-03-07 Disney Enterprises, Inc. Automated image augmentation using a virtual character
US10877622B2 (en) 2018-08-29 2020-12-29 Facebook Technologies, Llc Detection of structured light for depth sensing
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US11227060B1 (en) 2018-09-12 2022-01-18 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US10893043B1 (en) * 2018-09-12 2021-01-12 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US11042649B1 (en) 2018-09-12 2021-06-22 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
CN112753050A (zh) * 2018-09-28 2021-05-04 索尼公司 信息处理装置、信息处理方法和程序
US10885708B2 (en) * 2018-10-16 2021-01-05 Disney Enterprises, Inc. Automated costume augmentation using shape estimation
CN111103967A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 虚拟对象的控制方法和装置
US10776933B2 (en) * 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
TWI724354B (zh) * 2018-12-20 2021-04-11 財團法人工業技術研究院 指標裝置、混合實境裝置及其操作方法
US10866658B2 (en) 2018-12-20 2020-12-15 Industrial Technology Research Institute Indicator device, mixed reality device and operation method thereof
DE102019101058A1 (de) * 2019-01-16 2020-07-16 Framegrabber Medien GmbH Verfahren zum Darstellen einer virtuellen Realität in einem Landfahrzeug sowie Landfahrzeug
WO2020153946A1 (en) * 2019-01-22 2020-07-30 Hewlett-Packard Development Company, L.P. Mixed reality presentation
JP7296406B2 (ja) * 2019-01-28 2023-06-22 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
CN109862531B (zh) * 2019-02-18 2021-08-17 深圳市慧嘉智科技有限公司 一种交互式监控系统及交互式监控方法
WO2020214897A1 (en) 2019-04-18 2020-10-22 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
US10996839B2 (en) 2019-05-20 2021-05-04 Microsoft Technology Licensing, Llc Providing consistent interaction models in communication sessions
JP2022533207A (ja) 2019-05-21 2022-07-21 マジック リープ， インコーポレイテッド 稠密３ｄ再構築データのキャッシュおよび更新
US20200371673A1 (en) * 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures
WO2020263471A1 (en) 2019-06-26 2020-12-30 Magic Leap, Inc. Caching and updating of dense 3d reconstruction data
US20200410764A1 (en) * 2019-06-28 2020-12-31 Snap Inc. Real-time augmented-reality costuming
JP2022537817A (ja) * 2019-06-28 2022-08-30 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
CN112241199B (zh) * 2019-07-19 2023-03-24 华为技术有限公司 虚拟现实场景中的交互方法及装置
JP7385385B2 (ja) * 2019-07-19 2023-11-22 株式会社ソニー・インタラクティブエンタテインメント 画像配信システムおよび画像配信方法
US11537351B2 (en) 2019-08-12 2022-12-27 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2021100037A1 (en) 2019-11-18 2021-05-27 Elbit Systems Ltd. A system and method for mixed reality
CN111177291B (zh) * 2019-12-23 2021-12-14 腾讯科技（深圳）有限公司 一种对象移动方法、装置、设备及介质
US10976806B1 (en) 2019-12-27 2021-04-13 GE Precision Healthcare LLC Methods and systems for immersive reality in a medical environment
US11095855B2 (en) * 2020-01-16 2021-08-17 Microsoft Technology Licensing, Llc Remote collaborations with volumetric space indications
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11113891B2 (en) 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11210860B2 (en) 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN113842227B (zh) * 2021-09-03 2024-04-05 上海涞秋医疗科技有限责任公司 医疗辅助三维模型定位匹配方法、系统、设备及介质
US20230145728A1 (en) * 2021-11-05 2023-05-11 Htc Corporation Method and system for detecting hand gesture, and computer readable storage medium
EP4283440A1 (en) * 2022-05-25 2023-11-29 Koninklijke Philips N.V. Modifying a virtual representation of a real environment

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198462B1 (en) 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US7137069B2 (en) 1998-12-18 2006-11-14 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6968158B1 (en) 2000-01-31 2005-11-22 Motorola, Inc. Wireless transmission of packetized command and image data
US6734853B2 (en) * 2001-08-28 2004-05-11 Intel Corporation Method of using view frustrum culling for scaleable collision detection
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP3956106B2 (ja) 2002-03-28 2007-08-08 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ装置及びプログラム
EP1508120B1 (en) 2002-05-28 2014-08-06 Casio Computer Co., Ltd. Composite image output apparatus and composite image delivery apparatus
US6978167B2 (en) * 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US20030146922A1 (en) 2002-12-20 2003-08-07 Nassir Navab System and method for diminished reality
US7500198B2 (en) 2003-04-25 2009-03-03 Motorola, Inc. Method and apparatus for modifying skin and theme screens on a communication product
EP1505516A1 (en) 2003-08-04 2005-02-09 Sap Ag Metadata based query
US7441203B2 (en) 2003-08-11 2008-10-21 Core Mobility, Inc. Interactive user interface presentation attributes for location-based content
JP2005339266A (ja) 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
US20060146012A1 (en) 2005-01-04 2006-07-06 Arneson Theodore R System and method for automatic display switching
TWI281623B (en) 2005-05-10 2007-05-21 Pixart Imaging Inc Orientation point orientating method of orientation device and device thereof
US20060267997A1 (en) * 2005-05-24 2006-11-30 Walls Jeffrey J Systems and methods for rendering graphics in a multi-node rendering system
US7848765B2 (en) 2005-05-27 2010-12-07 Where, Inc. Location-based services
TWI348639B (en) * 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20080043013A1 (en) 2006-06-19 2008-02-21 Kimberly-Clark Worldwide, Inc System for designing shopping environments
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US20090144657A1 (en) 2007-11-30 2009-06-04 Verizon Laboratories Inc. Method and system of sharing images captured by a mobile communication device
US8184141B2 (en) 2008-02-04 2012-05-22 Siemens Enterprise Communications, Inc. Method and apparatus for face recognition enhanced video mixing
JP2009245392A (ja) 2008-03-31 2009-10-22 Brother Ind Ltd ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
TW201004339A (en) 2008-07-09 2010-01-16 Univ Nat Taiwan Method and system for processing synthetic graphic images on digital video file
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US8629784B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8340351B2 (en) 2009-07-01 2012-12-25 Texas Instruments Incorporated Method and apparatus for eliminating unwanted objects from a streaming image
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20110161875A1 (en) 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US20110179025A1 (en) * 2010-01-21 2011-07-21 Kryptonite Systems Inc Social and contextual searching for enterprise business applications
US9122707B2 (en) 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
JP2012029164A (ja) 2010-07-26 2012-02-09 Konica Minolta Business Technologies Inc 携帯端末及び装置管理方法
WO2012071574A2 (en) 2010-11-24 2012-05-31 Visa International Service Association Unified online content manager apparatuses, methods, and systems
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US8493353B2 (en) 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
EP2515075A1 (en) * 2011-04-19 2012-10-24 Sony Ericsson Mobile Communications AB Weather prediction for pressure sensor
US9547938B2 (en) 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
US8856129B2 (en) * 2011-09-20 2014-10-07 Microsoft Corporation Flexible and scalable structured web data extraction
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI484452B (zh) * 2013-07-25 2015-05-11 Univ Nat Taiwan Normal 擴增實境學習系統及其方法
TWI560580B (en) * 2014-12-04 2016-12-01 Htc Corp Virtual reality system and method for controlling operation modes of virtual reality system
TWI599995B (zh) * 2016-09-02 2017-09-21 Xin-Hong Zhuang Examination questions screening system and its method
US10795178B2 (en) 2017-05-09 2020-10-06 Amtran Technology Co., Ltd. Device for mixed reality
TWI674529B (zh) * 2017-05-09 2019-10-11 瑞軒科技股份有限公司 混合實境組件及產生混合實境之方法
US10606098B2 (en) 2017-05-09 2020-03-31 Amtran Technology Co., Ltd. Device for mixed reality
US10613345B2 (en) 2017-05-09 2020-04-07 Amtran Technology Co., Ltd. Mixed reality assembly and method of generating mixed reality
TWI659335B (zh) * 2017-05-25 2019-05-11 大陸商騰訊科技（深圳）有限公司 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
TWI648655B (zh) * 2017-07-27 2019-01-21 宏達國際電子股份有限公司 虛擬實境系統中顯示使用者移動的方法及相關裝置
US11054895B2 (en) 2017-07-27 2021-07-06 Htc Corporation Method of display user movement in virtual reality system and related device
TWI700588B (zh) * 2018-04-09 2020-08-01 日商蒂姆聯鉑信息技術有限公司 顯示控制系統、終端裝置、電腦程式、控制裝置、以及顯示控制方法
TWI768478B (zh) * 2020-09-25 2022-06-21 宏碁股份有限公司 適應性調用外部硬體資源的方法
US11836302B2 (en) 2022-03-03 2023-12-05 Htc Corporation Motion computing system and method for virtual reality

Also Published As

Publication number Publication date
CN102999160A (zh) 2013-03-27
US10132633B2 (en) 2018-11-20
US20130093788A1 (en) 2013-04-18
WO2013056187A1 (en) 2013-04-18
US9255813B2 (en) 2016-02-09
CN102999160B (zh) 2016-01-27
TWI581178B (zh) 2017-05-01
US20160117861A1 (en) 2016-04-28
HK1181519A1 (zh) 2013-11-08

Similar Documents

Publication Publication Date Title
TWI581178B (zh) 混合實境顯示器中使用者控制的真實物件的消失
US9767524B2 (en) Interaction with virtual objects causing change of legal status
US10223832B2 (en) Providing location occupancy analysis via a mixed reality device
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
KR102289389B1 (ko) 가상 오브젝트 방위 및 시각화
US9342610B2 (en) Portals: registered objects as virtualized, personalized displays
US8963956B2 (en) Location based skins for mixed reality displays
US10019962B2 (en) Context adaptive user interface for augmented reality display
CN102566756B (zh) 用于扩展现实显示的基于理解力和意图的内容
US9645394B2 (en) Configured virtual environments
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US9696547B2 (en) Mixed reality system learned input and functions
US20140306994A1 (en) Personal holographic billboard
Winkler et al. Pervasive information through constant personal projection: the ambient mobile pervasive display (AMP-D)
WO2015200406A1 (en) Digital action in response to object interaction
KR20150126938A (ko) 증강 및 가상 현실을 위한 시스템 및 방법
US20220189433A1 (en) Application programming interface for setting the prominence of user interface elements
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
WO2023196258A1 (en) Methods for quick message response and dictation in a three-dimensional environment

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees