TW201337725A - 用個人化虛擬資料更新列印內容 - Google Patents

用個人化虛擬資料更新列印內容 Download PDF

Info

Publication number
TW201337725A
TW201337725A TW101139309A TW101139309A TW201337725A TW 201337725 A TW201337725 A TW 201337725A TW 101139309 A TW101139309 A TW 101139309A TW 101139309 A TW101139309 A TW 101139309A TW 201337725 A TW201337725 A TW 201337725A
Authority
TW
Taiwan
Prior art keywords
user
data
virtual
printed
content item
Prior art date
Application number
TW101139309A
Other languages
English (en)
Other versions
TWI570622B (zh
Inventor
Sheridan Martin Small
Alex Aben-Athar Kipman
Benjamin I Vaught
Kathryn Stone Perez
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/313,368 external-priority patent/US9182815B2/en
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201337725A publication Critical patent/TW201337725A/zh
Application granted granted Critical
Publication of TWI570622B publication Critical patent/TWI570622B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Abstract

本發明係關於用個人化虛擬資料更新列印內容。本技術允許使用透視、近眼、混合現實顯示裝置系統來用個人化虛擬資料更新列印內容。例如書籍或雜誌等列印內容項被從顯示裝置上的相機所擷取的圖像資料中標識，並且基於例如眼睛注視或姿勢等實體動作使用者輸入來標識對列印內容項內的列印內容選擇的使用者選擇。基於使用者簡檔資料為列印內容選擇從可用的虛擬資料中選擇虛擬資料，並且該顯示裝置系統在與該列印內容選擇的位置配準的位置中顯示所選擇的虛擬資料。在一些實例中，基於實體動作使用者輸入來決定與列印內容項有關的任務，並且根據該任務與該列印的內容項配準地顯示個人化虛擬資料。

Description

用個人化虛擬資料更新列印內容 相關申請案之交叉引用
本申請案作為部份接續案主張美國專利申請案第13/313,368號之優先權權益，該美國專利申請案標題為「Making Static Printed Content Dynamic with Virtual Data」、具有相同發明人、於2011年12月7日提出申請及以引用之方式整體併入本文。
本發明係關於混合現實，尤其係關於用個人化虛擬資料更新列印內容。
靜態的列印的材料可以被認為是一種形式的唯讀記憶體，該記憶體不需要電力並且以對人眼可見的形式來儲存該記憶體資料。此外，資料通常以人眼能夠舒適閱讀的格式來呈現，此種格式將列印的文字呈現在白色或另一種對比色的紙的對比實體背景上。而且，大量資訊可被儲存在諸如教科書等列印的材料中。然而，將文學內容永久設置在卡片、書籍、雜誌和用於表達文學內容的其他列印的媒體上亦意味著不能針對讀者改編該內容。
混合現實是一種允許將虛擬影像與現實世界視圖相混合的技術。使用者可佩戴透視、近眼、混合現實顯示裝置 來觀看現實物件和以使用者的視野來顯示的虛擬物件的混合圖像。諸如頭戴式顯示(HMD)設備等近眼顯示裝置可以更新靜態的列印材料中所體現的資料。換言之，實體書籍、雜誌或靜態的列印材料的其他實施例在以下意義上成為了一種形式的動態儲存裝置器：列印的紙片、列印的卡片或其他列印媒體上出現的東西可以改變，並且可以基於使用者簡檔(profile)資料來改變。
本發明技術提供一種使用透視、近眼、混合現實顯示裝置來用個人化的虛擬資料更新列印的內容的方法的實施例。該方法包括：標識透視、近眼、混合現實顯示裝置的視野中的列印內容項，以及基於實體動作使用者輸入來標識使用者在列印內容項內選擇的列印內容選擇。列印的內容項的一些實例是書籍或雜誌。列印內容選擇的一些實例是字、短語、圖示或段落。實體動作使用者輸入的一些實例是使用者產生的姿勢、眼睛注視以及聲音或語音。
決定虛擬資料是否對列印內容選擇可用，並且回應於虛擬資料對列印內容選擇可用，基於使用者簡檔資料從可用資料中選擇虛擬資料。在與列印內容選擇的位置配準的位置處顯示該虛擬資料。虛擬資料是虛擬物件的圖像資料，並且可以是二維(2D)或三維(3D)的。與現實物件(如列印內容選擇)配準的虛擬物件或虛擬資料意味著該虛擬物件參考或取決於經由該透視顯示裝置所看到的列印內容選擇的位置來追蹤該虛擬物件在該透視顯示裝置的視野中的位置。
本發明技術為用於用個人化的虛擬資料來更新列印內容的透視、近眼、混合現實顯示裝置系統提供了系統的實施例。該系統包括由支撐結構定位的透視顯示器。支撐結構的一個實例是眼鏡架。至少一個面向外的相機被定位在支撐結構上以擷取該透視顯示器的視野的圖像資料。一或多個軟體控制的處理器能夠存取所儲存的使用者簡檔資料並且通訊地耦合到搜尋引擎，該搜尋引擎能夠存取一或多個資料儲存，該資料儲存包括作品的內容、佈局和虛擬資料以及體現該作品的列印內容項。
該一或多個軟體控制的處理器通訊地耦合到至少一個面向外的相機以用於接收視野的圖像資料。基於該視野的圖像資料，該一或多個軟體控制的處理器標識選擇列印內容項中的列印內容選擇的使用者實體動作。該一或多個軟體控制的處理器基於使用者簡檔資料和列印內容選擇從一或多個資料儲存中選擇虛擬資料，並且通訊地耦合到至少一個圖像產生單元以供該透視顯示器致使該單元顯示該虛擬資料。
該技術提供一或多個處理器可讀儲存裝置的實施例，該儲存裝置具有編碼於其上的指令，該等指令致使一或多個處理器執行一種用於使用透視、近眼、混合現實顯示裝置來用個人化的虛擬資料更新列印內容的方法。該方法包括：標識透視、近眼、混合現實顯示裝置的視野中的列印內容項，以及基於實體動作使用者輸入來決定與該列印內容項有關的任務。執行該任務，並且根據該任務將該個人 化的虛擬資料顯示為與該內容項配準。
提供本發明內容以便以簡化形式介紹將在以下具體實施方式中進一步描述的一些概念。本發明內容並非意慾標識所要求保護的標的的關鍵特徵或必要特徵，亦不意慾用於幫助決定所要求保護的標的的範圍。
本技術提供用於用基於使用者簡檔資料且由透視、近眼、混合現實顯示裝置系統顯示的虛擬資料更新靜態的列印內容的各實施例。透視顯示裝置系統標識使用者視野中的真實書籍、雜誌、報紙或其他真實的列印材料。書籍、雜誌、報紙、卡片或獨立的紙片皆是列印內容項的實例，物件辨識軟體能夠從面向前的相機所擷取的圖像資料中標識該等列印內容項，該相機被置於顯示裝置系統上用於擷取該顯示裝置的視野中的物件，該顯示裝置的視野近似於使用者透過該顯示裝置看時的視野。
在某些情況下，眼睛注視資料標識使用者正聚焦於視野中的何處，並且能夠因此標識使用者正在看列印內容項的哪一部分。對列印材料的一部分的注視持續可將該部分標識為列印內容選擇。注視持續是使用者使用身體部位的實體動作的實例。由使用者身體部位(諸如手或手指)執行並被擷取在圖像資料中的姿勢亦是實體動作使用者輸入的實例。眨眼或眼睛的眨動序列亦可以是姿勢。手、手指或其他身體部位的指向或特定移動姿勢亦可指示列印內 容選擇，諸如單詞、句子、段落或照片。使用者產生的聲音命令(諸如語音命令)亦可以被認為是指示使用者輸入的實體動作的實例。基於聲音的動作通常伴隨諸如姿勢和眼睛注視等其他實體動作。
一旦使用者選擇了列印內容項或項內的列印內容選擇(諸如圖片或文字)，則可將基於使用者簡檔資料所選擇的相關聯的2D或3D虛擬資料(諸如視訊、圖片、文字和全息圖)與該選擇或者該內容項的一部分配準。此外，可針對列印內容選擇或內容項執行不同的任務或應用，不同的任務或應用根據該任務顯示個人化虛擬資料。下文描述顯示個人化虛擬資料的該等任務的一些實例，並且該等實例包括學習輔助任務、方向任務以及允許使用者替換或填入一或多個單詞(諸如角色的名字或位置)的任務等實例。
圖1A是圖示透視、增強或混合現實顯示裝置系統的實施例的示例元件的方塊圖。系統8包括作為在此實例中經由線6或者在其他實例中無線地與處理單元4進行通訊的近眼、頭戴式顯示裝置2的透視顯示裝置。在該實施例中，頭戴式顯示裝置2的框架115為眼鏡的形狀，該框架115具有針對每只眼睛的顯示光學系統14，其中圖像資料被投影到使用者的眼睛中以產生圖像資料的顯示，同時使用者亦經由顯示光學系統14觀看以獲得現實世界的實際直接視圖。
使用術語「實際直接視圖」來指直接用人眼看到現實世界物件，而非看到所建立的物件的圖像表示的能力。例 如，透過眼鏡看房間將允許使用者得到該房間的實際直接視圖，而在電視機上查看房間的視訊不是該房間的實際直接視圖。每個顯示光學系統14亦被稱為透視顯示器，並且兩個顯示光學系統14一起亦可以被稱為透視顯示器。
框架115提供用於將該系統的各元件保持在原位的支撐結構以及用於電連接的管道。在該實施例中，框架115提供了便利的眼鏡架作為下文進一步論述的系統的各元件的支撐體。在此實施例中，框架115包括鼻樑架部分104，該鼻樑架部分104具有用於記錄聲音並傳送音訊資料的話筒110。框架的鏡腿或側臂102位於使用者的每只耳朵上。在此實例中，右鏡腿102r包括用於顯示裝置2的控制電路136。
如圖2A和2B中所示，在該實施例中在每個鏡腿102上亦包括圖像產生單元120。而且，在本視圖中未圖示但在圖2A和圖2B中圖示面向外的相機113，該相機113用於記錄數位圖像和視訊並將視覺記錄傳送到控制電路136，控制電路136可進而將所擷取的圖像資料發送到處理單元4，處理單元4亦可經由網路50將該資料發送到一或多個電腦系統12。
處理單元4可以採取各種實施例。在一些實施例中，處理單元4是可佩戴在使用者的身體(例如腕)上的單獨單元，或者可以是諸如圖1C中圖示的所示行動設備4之類的單獨設備。處理單元4可經由通訊網路50與一或多個計算系統12有線地或無線地通訊(例如，WiFi、藍芽、 紅外、RFID傳輸、無線通用序列匯流排(WUSB)、蜂巢、3G、4G或其他無線通訊裝置)，無論位於附近還是位於遠端位置。在其他實施例中，處理單元4的功能可被集成在圖1B的顯示裝置2的軟體和硬體元件中。
可以充分利用遠端的、網路可存取電腦系統12來處理電力和遠端資料存取。應用可在計算系統12上執行，其中該應用與顯示系統8互動或為顯示系統8執行處理，或者該應用可以在透視、混合現實顯示系統8中的一或多個處理器上執行。圖17圖示計算系統12的硬體元件的實例。
圖1B是圖示可經由通訊網路50與其他設備通訊的透視、增強或混合現實顯示裝置系統8的另一個實施例的示例元件的方塊圖。在此實施例中，顯示裝置2的控制電路136經由無線收發機(參見圖2A中的137)經由通訊網路50與一或多個電腦系統12無線地通訊。
圖1C是將行動設備用作處理單元4的透視、混合現實顯示裝置系統的另一實施例的方塊圖。行動設備4的硬體和軟體元件(諸如包含在智慧型電話或平板計算設備中)的實例在圖18中描述。行動設備4的顯示器7亦可顯示用於執行應用的資料(例如功能表)，並且該顯示器7可以是觸摸敏感的，以接受使用者輸入。行動設備4的一些其他實例是智慧型電話、膝上型電腦或筆記型電腦以及小筆電電腦。
圖2A是被具體化為提供對硬體和軟體元件的支援的眼鏡的透視、混合現實顯示裝置2的實施例中的框架115的 鏡腿102的側視圖。面向實體環境的攝像機113位於框架115前方，該攝像機能夠擷取現實世界的視訊和靜止圖像，以映射在透視顯示器的視野中並因此在使用者的視野中的現實物件。該相機亦被稱為面向外的相機，意思是從使用者的頭部面向外。每個面向前的相機113是相對於相機113相應的顯示光學系統14的參考點來校準的，以使得可以從相應相機113所擷取的圖像資料來決定顯示光學系統14的視野。此種參考點的一個實例是參考點相應顯示光學系統14的光軸(參見圖2B中的142)。該圖像資料通常是彩色圖像資料。
在許多實施例中，兩個相機113提供重疊的圖像資料，從該圖像資料中可以基於立體視覺決定該場景中的物件的深度資訊。在一些實例中，該相機亦可以是深度敏感相機，該深度敏感相機傳送並偵測紅外光，從紅外光可決定深度資料。該處理標識並映射使用者的現實世界視野。可以包括在頭戴式顯示裝置2上的深度感測技術的一些實例為、但不限於SONAR、LIDAR、結構化光及/或飛行時間。
控制電路136提供支援頭戴式顯示裝置2的其他元件的各種電子裝置。在該實例中，右鏡腿102r包括用於顯示裝置2的控制電路136，該控制電路包括處理單元210、處理單元210可存取的用於儲存處理器可讀取指令和資料的記憶體244、通訊地耦合到處理單元210的無線介面137以及電源239，該電源為控制電路136的各元件以及顯示器2的其他元件(如相機113、話筒110和下文論述的感 測器單元)提供電力。處理單元210可包括一或多個處理器，包括中央處理單元(CPU)和圖形處理單元(GPU)。
耳機130、慣性感測器132、一或多個位置或鄰近感測器144(感測器一些實例是GPS收發機、紅外(IR)收發機或用於處理RFID資料的射頻收發機)位於鏡腿102內部或安裝到鏡腿102。可選的電脈衝感測器128經由眼睛移動偵測命令。在一個實施例中，慣性感測器132包括三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C。慣性感測器用於感測頭戴式顯示裝置2的位置、定向以及突然加速。從該等移動中，亦可以決定頭部位置。在此實施例中，在設備操作中使用類比信號的設備(諸如感測器設備144、128、130和132以及下文論述的話筒110和IR照明器134A)的每一個包括控制電路，該控制電路與數位處理單元210和記憶體244介面，並且為控制電路相應的設備產生並轉換類比信號。
產生表示圖像的可見光的圖像源或圖像產生單元120安裝在鏡腿102上或鏡腿102內。在一個實施例中，圖像源包括用於投射一或多個虛擬物件的圖像的微顯示器120和用於將圖像從微顯示器120定向到反射表面或元件124的耦合光學透鏡系統122。微顯示器120可以以各種技術實現，包括投射投影技術、微有機發光二極體(OLED)技術或反射技術，諸如數位光處理(DLP)、矽基液晶(LCOS)以及來自高通有限公司的Mirasol®顯示技術。反射表面124將光從微顯示器120定向到光導光學元件112，光導光 學元件112將表示圖像的光定向到使用者的眼睛。可將虛擬物件的圖像資料與現實物件配準，此意味著當現實物件在透視顯示器14的視野中時虛擬物件追蹤虛擬物件位置到經由透視顯示裝置2看到的現實物件的位置。
在一些實施例中，為了增強而被追蹤的一或多個列印內容選擇可被列印有一或多個標記以改善對內容選擇的偵測。標記亦可包括描述內容選擇的元資料。例如，雜誌中的照片可被列印有IR回射標記或RFID標籤，該標記或標籤包括照片中的人的辨識符以及拍攝該照片的地點、日期和一天中的時間。此外，可包括已列印有辨識符的作品的一或多個列印或電子版本的辨識符。IR或RFID單元144可偵測該標記並將標記包含的資料發送到控制電路136。
圖2B是包括顯示光學系統14的透視、近眼、混合現實顯示裝置的一側的實施例的俯視圖。近眼顯示裝置2的框架115的一部分將圍繞顯示光學系統14以用於提供支撐和進行電連接。為了圖示頭戴式顯示裝置2中的顯示光學系統14(在該情況下是右眼系統14r)的各個元件，圍繞顯示光學系統的框架115的一部分未被圖示。
在所示實施例中，顯示光學系統14是集成眼睛追蹤和顯示系統。該系統包括光導光學元件112、不透明度濾光器114以及可選的透視透鏡116和透視透鏡118。用於增強虛擬影像的對比度的不透明度濾光器114處於任選的透視透鏡116之後並與透視透鏡116對準，用於投影來自微顯示器120的圖像資料的光導光學元件112處於不透明度 濾光器114之後並與不透明度濾光器114對準，而任選的透視透鏡118處於光導光學元件112之後並與光導光學元件112對準。下文提供光導光學元件112和不透明度濾光器114的更多細節。
光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示裝置2的使用者的眼睛140。光導光學元件112亦允許如表示顯示光學系統14r的光軸的箭頭142所示一般將來自頭戴式顯示裝置2的前方的光經由光導光學元件112傳送到眼睛140，由此除接收來自微顯示器120的虛擬影像之外亦允許使用者具有頭戴式顯示裝置2的前方的空間的實際直接視圖。因此，光導光學元件112的壁是透視的。光導光學元件112包括第一反射表面124(例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122並入射在反射表面124上。反射表面124反射來自微顯示器120的入射光以使得該光被困在波導內，在本實施例中該波導為平面波導。代表性的反射元件126表示一或多個光學元件，諸如鏡、光柵以及將表示圖像的可見光從平面波導引導向使用者眼睛140的其他光學元件。
紅外照明和反射亦橫穿平面波導112以供眼睛追蹤系統134追蹤使用者眼睛的位置。使用者眼睛的位置和眼睛的圖像資料一般可用於諸如注視偵測、眨眼命令偵測以及收集指示該使用者的個人存在狀態(state of being)的生物測定資訊等應用。眼睛追蹤系統134包括在此實例中位於透鏡118和鏡腿102之間的眼睛追蹤照明源134A以及眼 睛追蹤IR感測器134B。在一個實施例中，眼睛追蹤照明源134A可包括以大約預定IR波長或一定範圍的波長發射的一或多個紅外(IR)發射器(諸如紅外發光二極體(LED)或雷射器(例如，VCSEL))。在一些實施例中，眼睛追蹤感測器134B可以是用於追蹤閃光位置的IR相機或IR位置敏感偵測器(PSD)。
在此實施例中將平面波導用作光導光學元件112允許為圖像產生單元120、照明源134A以及IR感測器134B靈活地放置進出波導的光路的進入和退出光學耦合。在此實施例中，波長選擇濾光器123使來自反射表面124的可見光譜光通過並且將來自眼睛追蹤照明源134A的紅外波長照明引導到平面波導112中，波長選擇濾光器125使來自微顯示器120的可見照明和來自源134A的IR照明以向鼻樑架104的方向前進的光學路徑穿過。在此實例中的反射元件126亦表示實現了雙向紅外(IR)濾光的一或多個光學元件，光學元件將IR照明導向眼睛140(較佳地以光軸142為中心)並從使用者眼睛140接收IR反射。除了上面提到的光柵等等之外，亦可使用一或多個熱鏡(hot mirror)來實現紅外濾光。在本實例中，IR感測器134B亦光學地耦合到波長選擇濾光器125，波長選擇濾光器125僅將來自波導的紅外輻射(包括使用者眼睛140的紅外反射，較佳地包括在光軸142周圍擷取的反射)匯出波導112並導入到IR感測器134B中。
在其他實施例中，眼睛追蹤單元光學裝置未與顯示光學 裝置集成。關於HMD設備的眼睛追蹤系統的更多實例，參見於2008年7月22日頒發給Kranz等人的名稱為「Head Mounted Eye Tracking and Display System(頭戴式眼睛追蹤和顯示系統)」的美國專利7,401,920；參見Lewis等人的於2011年8月30日提出申請的名稱為「Gaze Detection in a See-Through,Near-Eye,Mixed Reality Display(透視、近眼、混合擴增現實顯示器中的注視偵測)」的美國專利申請號13/245,739；及參見Bohn的於2011年9月26日提出申請的名稱為「Integrated Eye Tracking and Display System(集成眼睛追蹤和顯示系統)」的美國專利申請號13/245,700，所有該等申請作為引入併入在此。
用於追蹤眼睛的方向的另一實施例基於電荷追蹤。該方案基於如下觀察：視網膜攜帶可量測的正電荷並且角膜具有負電荷。在某些實施例中，感測器128安裝在使用者的耳朵附近(靠近耳機130)以偵測眼睛在轉動時的電勢並且有效地即時讀出眼睛正在進行的動作。(參見2010年2月19日的「用眼球啟動的耳機控制你的移動音樂！)」http：//www.wirefresh.com/control-your-mobile-music-with-eyeball-actvated-headphones，該內容經由引用併入在此)。眨眼可作為命令被追蹤。亦可使用用於追蹤眼睛移動(諸如眨眼)的其他實施例，該等實施例基於在來自裝載在眼鏡內部上的小眼睛追蹤相機134B的圖像資料中進行模式和運動辨識。眼睛追蹤相機134B在控制電路136的控制下將圖像資料的緩衝發送到記憶體244。
與光導光學元件112對準的不透明度濾光器114選擇性地阻擋自然光使自然光不穿過光導光學元件112以用於增強虛擬影像的對比度。當系統為混合現實顯示器而呈現場景時，該系統注意到哪些現實世界物件處於哪些虛擬物件之前，反之亦然。若虛擬物件處於現實世界物件之前，則不透明度對於該虛擬物件的覆蓋區域而言被開啟。若虛擬物件(虛擬地)處於現實世界物件之後，則不透明度以及該顯示區域的任何顏色皆被關閉，使得對於現實光的該相應區域而言，使用者將會僅僅看到現實世界物件。不透明度濾光器說明使虛擬物件的圖像表現得更真實並且表示全範圍的顏色和強度。在該實施例中，不透明度濾光器的電控制電路(未圖示)經由路由經過框架的電連接從控制電路136接收指令。
再者，圖2A、2B僅圖示頭戴式顯示裝置2的一半。完整的頭戴式顯示裝置可包括另一組可選透視透鏡116和118、另一不透明度濾光器114、另一光導光學元件112、另一微顯示器120、另一透鏡系統122、面向實體環境的相機113(亦稱面向外或面向前的相機113)、眼睛追蹤元件134、耳機130以及感測器128(若存在)。在經由引用全部包含於此的2010年10月15日提出申請的題為「Fusing Virtual Content Into Real Content(將虛擬內容融合到現實內容中)」的美國專利申請號12/905952中圖示頭戴式顯示器2的附加細節。
圖3圖示從軟體角度來看的計算環境實施例，該計算環 境實施例可由顯示裝置系統8、與該顯示裝置系統通訊的遠端計算系統12或兩者來實現。網路連通性允許充分利用可用的計算資源。計算環境54可以使用一或多個電腦系統實現。如圖3的實施例中所示，計算環境54的軟體元件包括與作業系統190通訊的圖像和音訊處理引擎191。圖像和音訊處理引擎191包括物件辨識引擎192、姿勢辨識引擎193、聲音辨識引擎194、虛擬資料引擎195以及可選的眼睛追蹤軟體196(若使用了眼睛追蹤的話)，該等引擎均彼此通訊。圖像和音訊處理引擎191處理從擷取設備(諸如面向外的相機113)接收的視訊、圖像和音訊資料。為了說明偵測及/或追蹤物件，圖像和音訊處理引擎191的物件辨識引擎192可經由一或多個通訊網路50來存取結構資料200的一或多個資料庫。
虛擬資料引擎195處理虛擬物件並使虛擬物件的位置和定向相關於一或多個座標系配準。此外，虛擬資料引擎195使用標準影像處理方法來執行平移、旋轉、縮放和視角操作以使虛擬物件顯得逼真。虛擬物件位置可與相應的現實物件的位置配準或取決於該現實物件的位置。虛擬資料引擎195決定虛擬物件的圖像資料在每個顯示光學系統14的顯示座標中的位置。虛擬資料引擎195亦可決定虛擬物件在顯示裝置系統8或計算系統12的記憶體單元中所儲存的現實世界環境的各個地圖中的位置。一個地圖可以是顯示裝置相對於用於逼近使用者眼睛的位置的一或多個參考點的視野。例如，透視顯示光學系統14的光軸可被 用作此種參考點。在其他實例中，現實世界環境地圖可以獨立於顯示裝置，例如，為地點(例如，商店、咖啡店、博物館)的3D地圖或模型。
計算系統12或顯示裝置系統8或兩者的一或多個處理器亦執行物件辨識引擎192來標識由面向環境的相機113所擷取的圖像資料中的現實物件。與在其他影像處理應用中一樣，人可以是一種類型的物件。例如，物件辨識引擎192可基於結構資料200來實現模式辨識來偵測特定物件，包括人。物件辨識引擎192亦可包括臉孔辨識軟體，該臉孔辨識軟體被用來偵測特定人的面部。
結構資料200可以包括關於要追蹤的目標及/或物件的結構資訊。例如，可以儲存人類的骨架模型以說明辨識身體部位。在另一實例中，結構資料200可以包括關於一或多個無生命物件的結構資訊以便說明辨識該一或多個無生命物件。結構資料200可以將結構資訊作為圖像資料來儲存或者將圖像資料用作模式辨識的參考。圖像資料亦可用於臉孔辨識。因為列印材料通常包括文字，結構資料200可包括一或多個圖像資料儲存，該圖像資料儲存包括數位、符號(例如，數學符號)以及來自由不同語言所使用的字母表的字母和字元的圖像。此外，結構資料200可包括用於辨識的使用者的手寫取樣。基於圖像資料，動態的列印材料應用202可將圖像資料轉換成用於具有較小的記憶體佔用的文字的電腦標準化的資料格式。電腦標準化的文字資料格式的一些實例是基於通用字元集(UCS)的統 一碼(Unicode)以及美國資訊交換標準碼(ASCII)格式。隨後可對照資料庫來搜尋文字資料以檢視包括該文字的內容的標識或檢視與該文字的內容有關的相關資訊。
在物件辨識引擎192偵測到一或多個物件之後，圖像和音訊處理引擎191可向作業系統190報告所偵測到的每個物件的標識以及相應的位置及/或定向，作業系統190將該標識和位置及/或定向一直傳送到諸如動態的列印材料應用202等應用。
聲音辨識引擎194處理經由話筒110接收的音訊。
在顯示裝置系統8的實施例中，面向外的相機113結合姿勢辨識引擎193來實現自然使用者介面(NUI)。眼睛追蹤軟體196所標識的眨眼命令或注視持續資料亦是實體動作使用者輸入的實例。語音命令亦可對諸如姿勢和眼睛注視等所辨識的其他實體動作進行補充。
姿勢辨識引擎193可以標識出由使用者執行的、將控制或命令指示給執行中的應用的動作。該動作可以由使用者的身體部位(例如在閱讀應用中通常為手或手指)來執行，但是眼睛的眼睛眨眼序列亦可以是姿勢。在一個實施例中，姿勢辨識引擎193包括姿勢篩檢程式的集合，每個姿勢篩檢程式皆包括關於可由骨架模型至少一部分執行的姿勢的資訊。姿勢辨識引擎193將從所擷取的圖像資料中匯出的骨架模型和與姿勢辨識引擎193相關聯的移動與姿勢庫中的姿勢篩檢程式進行比較來標識出使用者(使用者由骨架模型來表示)何時執行了一或多個姿勢。在一些 實例中，在與同顯示裝置系統8或計算系統12通訊的顯示裝置2相分離的現實環境中的相機(特別是深度相機)可偵測姿勢並將通知轉發到系統8、12。在其他實例中，姿勢可在相機113的視圖中由身體部位(諸如使用者的手或一或多個手指)來執行。
在一些實例中，在姿勢訓練通訊期將圖像資料與使用者的手或手指的圖像模型進行匹配，而非進行骨架追蹤可用於辨識姿勢。
關於物件的偵測和追蹤的更多資訊可在2009年12月18日提出申請的名為「Motion Detection Using Depth Images(使用深度圖像的運動偵測)」的美國專利申請12/641,788，以及名為「Device for Identifying and Tracking Multiple Humans over Time(用於隨時間標識和追蹤多個人類的設備)」的美國專利申請12/475,308中找到，此兩個申請的全部內容經由引用併入本案。關於姿勢辨識引擎193的更多資訊可以在2009年4月13日提出申請的名為「Gesture Recognitioner System Architecture(姿勢辨識器系統架構)」的美國專利申請12/422,661中找到，該申請經由整體引用合併於此。關於辨識姿勢的更多資訊可在2009年2月23日提出申請的名為「Standard Gestures(標準姿勢)」的美國專利申請12/391,150；及2009年5月29日提出申請的名為「Gesture Tool(姿勢工具)」的美國專利申請12/474,655中找到，此兩個申請的全部內容經由引用併入本案。
計算環境54亦將資料儲存在圖像和音訊資料暫存器199中。緩衝器提供：用於接收從面向外的相機113擷取的圖像資料、來自該眼睛追蹤配件134(若被使用的話)的眼睛追蹤相機的圖像資料的記憶體，用於保持要由圖像產生單元120顯示的虛擬物件的圖像資料的緩衝器，以及用於經由話筒110來自使用者的語音命令等音訊資料以及要經由耳機130發送到使用者的指令的緩衝器。
設備資料198可以包括：電腦系統8的唯一辨識碼、網路位址(例如IP位址)、型號、配置參數(諸如所安裝的設備)、作業系統的標識以及什麼應用在該顯示裝置系統8中可用並正在該顯示系統8中執行等等。尤其對於透視、混合現實顯示裝置系統8，該設備資料亦可包括來自感測器的或從該感測器(諸如定向感測器132、溫度感測器138、話筒110、電脈衝感測器128(若存在)以及位置和鄰近收發機144)決定的資料。
在此實施例中，顯示裝置系統8和使用者所使用的其他基於處理器的系統161執行客戶端側版本的推送服務應用204N，該推送服務應用204N經由通訊網路50與資訊推送服務引擎204通訊。在此實施例中資訊推送服務引擎或應用204是基於雲端的。基於雲端的引擎可包括在一或多個網路連接電腦系統上執行並經由該一或多個網路連接電腦系統儲存資料的一或多個軟體應用。該引擎不被束縛於特定位置。基於雲端的軟體的一些實例是社交網路連接網站和基於web的電子郵件網站，諸如Yahoo！®和Hotmail®。 使用者可向資訊推送服務引擎204註冊帳戶，該資訊推送服務引擎授予資訊推送服務監視以下資料的許可：使用者正在執行的應用及應用產生和接收的資料以及使用者簡檔資料197，以及用於追蹤使用者的地點和設備能力的設備資料198。基於從使用者的系統8、161聚集的使用者簡檔資料、由使用者所使用的系統8、161上的正在執行的應用所接收和發送的資料以及設備資料1981、198N中所儲存的位置和其他感測器資料，資訊推送服務204可決定使用者的實體上下文、社交上下文、個人上下文(諸如存在狀態)或者各上下文的組合。
使用者簡檔資料的本機複本1971、197N可儲存相同使用者簡檔資料197的一部分並且客戶端側推送服務應用2041可經由通訊網路50週期性地用由電腦系統12儲存在可存取資料庫197中的使用者簡檔資料更新客戶端側推送服務應用2041本機複本。使用者簡檔資料197一些實例是：使用者所表達的偏好、使用者的朋友的列表、使用者的偏好活動、使用者的最愛(使用者的最愛的實例包括最愛的顏色、最愛的食物、最愛的書、最愛的作者等)、使用者的提醒的列表、使用者的社交團體、使用者的當前位置以及其他使用者建立的內容，諸如使用者的照片、圖像和錄製的視訊。在一個實施例中，使用者特定的資訊可以從一或多個資料來源或應用獲得，資料來源或應用為諸如資訊推送服務204、使用者的社交網路連接網站、連絡人或位址簿、來自日曆應用的排程資料、電子郵件資料、即時訊息 收發資料、使用者簡檔或者網際網路上的其他源以及該使用者直接輸入的資料。如同下文論述的，存在狀態可以從眼睛資料推導得出並且可以被本端地或由遠端推送服務應用204更新並儲存在使用者簡檔資料197中。在此實施例中，網路可存取的存在狀態規則179將所標識的眼睛資料作為用於推導存在狀態的參考與該存在狀態相連結。
信任等級可經由使用者簡檔資料197來決定，使用者簡檔資料將使用者認識的人標識成例如社交網路朋友和共享相同遊戲服務的家庭成員，可以基於信任等級將該等人細分為不同的分組。此外，使用者可以使用客戶端側推送服務應用204N在使用者的使用者簡檔資料197中顯式地標識信任等級。在一個實施例中，基於雲端的資訊推送服務引擎204聚集來自儲存在使用者的不同使用者電腦系統8、161上的使用者簡檔資料197N的資料。
推送服務應用204的每個版本亦在使用者簡檔資料197中儲存該使用者的追蹤歷史。追蹤在追蹤歷史中的事件、人和物的一些實例是：所存取的地點、事務、購買的內容和現實物品、閱讀歷史、觀看歷史(包括對電視、電影和視訊的觀看)以及所偵測到的與該使用者互動過的人。若電子地標識的朋友(例如，社交網路朋友)亦向推送服務應用204註冊，或者電子地標識的朋友經由其他應用166使資訊對使用者可用或公開可用，則推送服務應用204亦可使用此資料來追蹤該使用者的內容和社交上下文。
如同下文進一步論述的，動態的列印材料應用202可存 取一或多個搜尋引擎203來存取用於標識列印內容選擇和包括該列印內容選擇的列印內容項的資訊以及相關的虛擬資料205。可被搜尋以檢視標識和相關虛擬資料的資源的實例被圖示為發佈者資料庫207和用於網際網路搜尋的索引的與列印內容相關的資源209。例如，可存取通用搜尋引擎(諸如Bing®或Google®)以及對公眾可用或基於訂閱(如在使用者簡檔資料中可標識的)而可用的國會圖書館、大學圖書館或發佈者資料庫的搜尋引擎。發佈者可具有指向發佈者資料庫207中的虛擬內容的指標，因為發佈者可能具有用於鼓勵為發佈者列印材料開發虛擬內容的訊務模型。此外，與發佈者不相關的實體或者希望維護自己的資料資源的人可能希望使虛擬內容可經由人們自己的網站(該網站是網際網路索引的資源)來得到。經由對從列印內容選擇和包含列印內容選擇的列印內容項的圖像資料匯出的資訊進行搜尋，可以用值來填充用於列印內容選擇的元資料201中的資料欄位。下文論述的圖4A提供了列印內容選擇的元資料記錄的實例。
該技術的一個優勢在於：更新在沒有針對虛擬增強的任何計畫的情況下列印出來的先前發佈的材料的能力。如同下文論述的，使用者可被請求查看有關列印內容的列印版本標識資料，例如書籍或報紙的封面頁或雜誌的內容表。版本標識資料的其他實例是標準化辨識符，標準化辨識符的一個實例是書籍的國際標準書籍號(ISBN)。書籍上的ISBN號標識諸如該書籍的語言組、發佈者、標題和版次或 變體等資料。對於期刊，國際標準序號(ISSN)標識期刊的標題，而連續出版物及連續出版物單篇文件的標識(SICI)是用來標識具體的卷、文章或期刊的其他可標識部分的標準。例如，ISSN可標識期刊，例如雜誌「頭戴式顯示器」，而SICI經由書目項(bibliographic items)來標識文章，書目項的一些實例是標題、卷和號碼、發行日期、開始和結束頁以及內容格式，例如，用於列印文字的TX。其他內容格式可指示web發佈和視聽格式。來自面向外的相機的圖像資料或從被查看的標識資料的圖像資料轉換的文字被發送到一或多個搜尋引擎203。
一旦使用者正在看的作品的列印版本被標識且在其中定位了列印內容選擇，則動態的列印材料應用202可查詢一或多個搜尋引擎203以基於包括該列印內容選擇的列印內容項來搜尋該列印內容選擇的虛擬內容資料205。在一些實施例中，該虛擬內容資料與作品或作品版本(包括內容選擇)相關聯，而與表達該內容的媒體無關。例如，紙或其他可列印材料是媒體的實例。表達作品的另一媒體是電子顯示器或音訊記錄。
在一些情況下，虛擬資料205是特別產生來供佈置在特定的列印版上(例如，在書籍的特定頁或者列印的材料的其他細分上)時與內容選擇有關地出現的資料。例如，博物館可具有複數個虛擬內容資料選擇，該虛擬內容資料選擇基於使用者的年齡以及所追蹤的閱讀和觀看歷史(使用者的年齡以及閱讀和觀看歷史指示對該主題的興趣)而對 與展覽項相關聯的博物館佈告可用。用於每個虛擬資料選擇的圖像資料可被特別地格式化以覆蓋該佈告或僅覆蓋該佈告的若干部分。
在其他實例中，虛擬內容205綁定到與媒體無關的作品或作品版本。例如，教授可將她在不同點處做出的她的筆記儲存在教科書的她的列印版本中，以可用於該教科書的、與媒體無關的任何版本。換言之，教科書的內容是作品。該教科書的當前的、先前的和未來的版本是作品的版本。動態的列印材料應用202將每個筆記連結到作品的與媒體無關的組織中的該作品的細分。例如，可將筆記連結到可經由執行用於文字匹配的軟體指令來標識的特定段落中的短語。段落是一種與媒體無關的細分，而頁面依賴於特定的列印或電子佈局。教科書的具有較小印刷字體的平裝副本與該教科書的用較大印刷字體的精裝副本是不同的列印作品版本，但是平裝副本與精裝副本包含該教科書內容的完全相同的版本。教授可經由向上她的課的學生或過去的學生授予許可和存取權來允許她的虛擬筆記可用於在她的判斷下儲存或流傳輸給該等學生。
圖4A圖示列印內容選擇元資料記錄的實例，該元資料記錄包括列印內容選擇描述性資料210、列印內容項版本辨識符212、列印內容選擇位置資料214、作品版本辨識符216以及作品版本位置資料218(若適用)、作品辨識符220和作品位置資料222。作品辨識符220與特定格式或媒體無關地標識該創造性作品。作品位置資料222按照一 或多個與媒體無關的細分(諸如段落、詩節、詩篇等)來標識列印內容選擇的一或多個位置。可包括作品版本辨識符216，以描述作品210的不同版本或版次(例如，翻譯)，作品版本辨識符216亦與特定的格式或媒體無關。亦可按照一或多個與媒體無關的細分來定義作品版本位置218。列印內容項版本辨識符212標識特定的列印佈局的特定的列印版次。列印版本辨識符212綁定於為紙或被實體列印的其他材料的媒體。列印內容選擇位置資料214可以按照具體的靜態列印佈局位置，諸如頁面或頁面上的位置。
例如，詩「貝奧武夫(Beowulf)」是一個作品。該詩的原始的舊英語形式是一個作品版本，如同用現代英語詞彙替換了一些單詞的是一個版本一樣。版本的另一實例是法語譯文。另一實例將是用評論做註腳的原始的舊英語詩。列印版本辨識符212可標識圖書館中保存的一片或多片牛皮紙上的該詩的列印版本。此列印的版本亦將具有原始的舊英語形式的作品版本辨識符以及與此列印的版本相關聯的貝奧武夫的作品辨識符。不同的列印內容項版本辨識符212標識已列印了貝奧武夫的用在貝奧武夫第37頁開始的評論做了註腳的版本的英語文件的選集。此不同的列印版本與該詩的原始的舊英語形式具有不同的列印內容項版本辨識符212和作品版本辨識符，但是具有相同的作品辨識符。對於使用者所選擇的該詩的選集版本內的內容，列印內容選擇的位置資料按照第37頁。在此情況下，同樣，作品版本位置資料218和作品位置資料222包括相 同的詩節。
圖4B圖示列印的與媒體相關的和與媒體無關的內容資料儲存的實例，該等資料儲存在此處被示為交叉引用資料庫。該等資料庫211、213、215提供對包括內容選擇的特定佈局的存取。該佈局可以與媒體無關或與媒體相關。在此實例中，列印內容項版本辨識符212、作品版本辨識符216或作品辨識符220中的任一個可被用來交叉引用或索引到與媒體無關的作品211和作品版本資料庫213和與媒體無關的或佈局特定的列印內容項資料庫215中任一個。作品的佈局或位置資料、任何作品版本以及該作品的各個列印內容項版本亦被交叉引用。同樣，與媒體無關的細分辨識符的一些實例可以是向作品或作品版本提供與媒體無關的組織的段落、詩節、詩篇等等。作品中的第80段在一個列印內容項版本中可以被交叉引用到第16頁，且在另一列印內容項版本中被交叉引用到該作品的較大印刷字體版次中的第24頁。經由列印內容項版本辨識符212，開發者能夠連結到列印內容項資料庫215中的列印版本(例如，特定的版次)的列印佈局。列印佈局包括諸如以下事項：頁碼、頁邊距寬度、頁眉和頁腳內容、字體大小、圖示和照片的位置及圖示和照片在頁面上的大小以及其他此種佈局專用的資訊。
發佈者可以提供對發佈者的有版權的作品的資料儲存的存取，以用於標識目的並作為針對虛擬內容的開發者的對該作品的佈局、作品版本或列印的版本的參考。藉由能 夠存取作品的佈局、特定作品版本和特定的列印內容項版本，開發者能夠為作品的與媒體無關和與媒體相關版本建立虛擬內容205。如所示，資料庫211、213、215和虛擬內容205可彼此交叉引用。
對於沒有版權的作品，可以在處於圖書館(特別是具有大的收集的彼等圖書館，諸如國會圖書館、其他國家圖書館、大學以及大的公共圖書館以及書籍編輯網站，諸如Google Books®和由大學維護的網站)控制下的資料儲存中搜尋作品的副本、作品版本或列印的內容的版本，以獲得將參考位置資料214、218、222引用到的佈局。
回應於可用虛擬資料選擇被標識，動態的列印材料應用202基於儲存在可存取記憶體中的虛擬資料選擇規則198來從可用虛擬資料選擇的候選中選擇虛擬資料，該記憶體可以是本端的，但是亦可以是網路可存取的。虛擬資料選擇規則198提供了用於標識使用者簡檔資料197中與內容項或選擇有關的相關使用者資料以及虛擬資料的可用候選的邏輯。
在以下各圖中呈現用於該技術的方法的實施例以及該方法的一些步驟的示例實現程序。為說明目的，下文的方法實施例是在上述系統實施例的上下文中描述的。然而，該方法實施例不限於在上述系統實施例中操作，而是可以在其他系統實施例中實現。
圖5A是用於用個人化虛擬資料來更新列印內容的方法的實施例的流程圖。物件辨識引擎192可將在透視、混合 現實顯示裝置的視野中的物件辨識為一項列印材料(例如，書籍或期刊或僅是一片紙)，並且由作業系統190向動態的列印材料應用202通知該物件辨識。在步驟302，動態的列印材料應用202標識列印內容項，並且在步驟304中基於實體動作使用者輸入來標識使用者在列印內容項內選擇的列印內容選擇。在步驟303中，動態的列印材料應用202決定虛擬資料是否可用於列印內容選擇，並且若為否，則在步驟305中將控制返回到動態的列印材料應用202的另一態樣或在顯示裝置系統8中執行的另一應用，直到另一列印內容選擇被標識為止。
若存在可用於列印內容選擇的虛擬資料，則在步驟307中，應用202基於使用者簡檔資料從可用虛擬資料中選擇虛擬資料，並且在步驟309中致使將虛擬資料顯示在與列印內容選擇的位置配準的位置中。
圖5B是用於用個人化虛擬資料來更新列印內容的方法的另一實施例的流程圖。步驟302如在圖5A一樣執行。在步驟306，動態的列印材料應用202基於實體動作使用者輸入來決定與列印內容項有關的任務，並且在步驟308中執行該任務。在步驟310中根據該任務顯示與列印內容項有關的個人化虛擬資料。
下文描述了顯示個人化虛擬資料的任務的一些實例，並且該等實例包括學習輔助任務、方向任務以及允許使用者替換或填入角色的名字或位置的任務。如同上面提到的，使用者亦可定義任務。
圖6是用於標識透視、混合現實顯示裝置的視野中的列印內容項的程序的實施例的流程圖。在步驟312中，動態的列印材料應用202電子地輸出請求使用者將列印內容項的一或多個版本標識片段放置到顯示裝置2的視野中的指令。版本標識部分的一些實例是上面論述的ISBN、ISSN和SICI號、報紙或雜誌的封面、封面頁面、首頁、內容表以及版權頁。書籍的版權頁通常以標準格式提供ISBN號、標題、印刷日期、版次、作者、發佈者以及關於先前的版權的資訊。該一或多個版本標識部分可在圖像資料中被標識，例如，基於版權頁的範本或用於ISBN、ISSN和SICI的標準數位格式的範本以及被提取並放入諸如文字、作者、發佈者等預定搜尋欄位中的資料。在其他實例中，可基於字母表結構資料200來標識頁面上的文字將並該文字轉換成用於查詢的電腦標準文字資料格式。
在步驟314中，基於該一或多個版本標識片段來制定查詢，並在步驟316中將該查詢發送到搜尋引擎以檢視列印內容項版本辨識符。動態的列印材料應用202在步驟318中接收列印內容項版本辨識符。可選地，在步驟320中，回應於驗證列印內容項的身份，動態的列印材料應用202接收與媒體無關的作品辨識符以及任何適用的與媒體無關的作品版本辨識符。動態應用202亦可經由將列印內容項版本辨識符212用作發佈者資料庫207或網際網路索引的資源209中的索引來接收作品辨識符和作品版本辨識符。
圖7A是用於標識使用者眼睛選擇列印內容選擇的至少一個實體動作的程序的實現實例的流程圖。眼睛追蹤軟體196通常基於瞳孔位置來標識眼睛在眼眶內的位置，但是虹膜位置亦可以作為基礎。在步驟322中，動態的列印材料應用202決定使用者注視列印內容物件的持續時間已經超過了時間訊窗，並且在步驟324中，致使圖像產生單元120顯示勾勒出列印內容物件的視覺增強。在步驟326中，回應於標識實體動作使用者輸入確認，動態的列印材料應用202將列印內容物件標識為使用者的列印內容選擇。實體動作使用者輸入確認的一些實例是諸如指示「是」或「選擇」或對任務的請求的眨眼、姿勢或語音命令的動作。使用者可經由對視覺增強(例如輪廓)的實體動作來指示確認之外的命令，諸如改變該視覺增強的形狀來包括更多或更少的內容或指示「否」或「取消」的姿勢、眨眼或語音命令。
圖7B是用於標識使用者眼睛選擇列印內容選擇的至少一個實體動作的程序的另一實現實例的流程圖。在步驟332中，動態的列印材料應用202標識使用者眼睛在使用者注視列印內容物件期間的選擇動作，並且在步驟334中，致使圖像產生單元120顯示勾勒出該列印內容物件的視覺增強。在步驟336中，回應於標識實體動作使用者輸入確認，動態的列印材料應用202將該列印內容物件標識為使用者的列印內容選擇。
圖7C是用於標識姿勢選擇列印內容選擇的至少一個實 體動作的程序的實現實例的實施例的流程圖。在步驟342中，動態的列印材料應用202接收已經偵測到手指在列印內容材料的一部分(例如，一頁)上的開始姿勢的通知，並且在步驟344中致使圖像產生單元120顯示勾勒手指在列印內容材料的該部分上的移動的視覺增強。在步驟346中，動態的列印材料應用202接收已經偵測到手指在該列印內容材料上的停止姿勢的通知。因為手指通常在使用者正在閱讀的頁或片或卡片的某個部分上，所以開始和停止姿勢對使用者正在做出請求的時候與使用者只是移動手指位置的時候做出清楚的區分。其他程序實例可不要求開始和停止姿勢，而是改為基於監視隨時間的使用者手指行為來將移動與姿勢進行區分。在步驟348中，回應於標識實體動作使用者輸入確認，動態的列印材料應用202將該列印內容物件標識為使用者的列印內容選擇。
圖8是用於產生使用者定義的姿勢並將該姿勢與任務相關聯的程序的實現實例的流程圖。步驟352中的動態的列印材料應用202顯示可用於列印內容選擇的任務的功能表，功能表可包括使用者定義的任務。使用者定義的任務的實例將是使用者選擇內容並執行查詢以檢視有關該內容的評論。使用者可保存該特定搜尋查詢，或將對檢視評論的標準的搜尋項保存為任務。當使用者選擇不同內容選擇的評論任務時，檢索該不同內容選擇的評論。
動態的列印材料應用202在步驟354中接收選擇定義姿勢的使用者輸入，並在步驟356中接收從功能表選擇任務 或子任務的使用者輸入。面向外的相機113在步驟358中擷取由該使用者執行的姿勢的圖像資料(向動態的列印材料應用202通知了該姿勢)，並在步驟360中，動態的列印材料應用202將該姿勢與對功能表中所選擇的任務或子任務的請求相關聯。
一些列印材料(諸如書籍和期刊)可能是用包括用於虛擬資料的指定點的佈局列印的。例如，挨著照片(該照片具有帶標識該照片的元資料的標記和有關的虛擬內容或資料)的可以是預定尺寸的空間，該有關的虛擬內容適合放入該空間。該空間亦可具有標識要在那裡顯示的虛擬資料的標記，例如RFID標籤或IR標記。然而，即便對於為了經由虛擬資料進行增強而被預先列印的內容，使用者亦可能啟動諸如搜尋任務等任務並接收該頁面並未針對頁面預先格式化的資料。在顯示裝置系統8上的計算環境54、遠端電腦系統12或兩者中執行的軟體決定要將虛擬資料放置於何處。使用者亦可經由實體動作來指定放置。例如，使用者可注視虛擬資料一持續時間，並隨後注視片或頁上的空白點。在另一實例中，使用者可用手指指向虛擬物件並拖動該手指到該片或頁上的另一點。
圖9是用於決定虛擬資料相對於列印材料的放置的程序的實現實例的流程圖。在此實例中，動態的列印材料應用202具有要從中進行選擇的、與列印內容選擇有關的多個預定位置選項。使用者可按照他或她的偏好從預定位置移動虛擬資料。在此實例中，在步驟353中，動態的列印材 料應用202決定適用的執行任務是否請求替換位置。例如，任務可能是個人化任務，該個人化任務具有改變角色名稱或將角色名稱插入到彼等讀者或者一或多個使用者指定的人中的子任務。若想要替換，則動態的應用202在步驟355中為列印內容選擇在替換位置顯示虛擬內容。在步驟357中，回應於執行任務不請求替換位置，動態的列印材料應用202決定虛擬資料內容是否合適放到行間位置並仍舊滿足可見性標準。行間位置是文字的各行之間的空間，或一行文字或圖片之間的空間，或各圖片之間的空間。可見性標準的一個實例是：適合放入行間位置的虛擬內容的大小對於具有平均視力的人在舒服的閱讀位置進行閱讀而言是否太小。虛擬資料內容是否適合放入行間位置可基於多少百分比的內容可以在行間位置被顯示並仍舊可見來決定。作為定義的同義詞是可適合放入行間位置並仍舊滿足可見性標準的內容的一個實例。行間位置通常不適於圖片。若行間位置是適當的，則動態的應用202在步驟359中為列印內容選擇在行間位置顯示虛擬內容。
若行間位置不是適當的，則在步驟361中，動態的應用202決定虛擬資料內容是否適合放入任何頁邊距位置並仍舊滿足可見性標準。若一或多個滿意的頁邊距位置可用，則動態的應用202在步驟363中選擇最靠近列印內容選擇的滿意的頁邊距位置。若滿意的頁邊距位置不可用，則動態的列印材料應用202在步驟365中將虛擬內容格式化為一或多個片段，該片段具有當前片段的佈局性質，並且在 步驟367中，將具有經格式化的虛擬內容的該一或多個片段顯示在列印材料的佈局中的當前片段之後。當前片段的一個實例是頁。作為片段的頁的佈局性質包括典型的頁面配置設置。該等設置的一些實例是頁邊距、頁碼放置、行間距、圖片周圍的間距、字體和字體大小。列印材料的佈局的一些實例可以是報紙、書籍、雜誌或慰問卡。在列印材料為書的實例中，可以使用虛擬內容來格式化的一或多個片段看上去像是該書籍的額外頁。
在圖9的實例中，虛擬資料被格式化為看上去像在實體列印材料的周界內。在其他實例中，浮動位置亦可以是一個位置選項。例如，對於註釋已經佔用了最近的頁邊距的內容選擇來說，頁邊距可以看上去被擴展為包括連結到該內容選擇的圖片。在另一實例中，浮動的解釋性段落可以表現為在靠近解釋性段落所解釋的概念的行間空間中以垂直於頁的方式彈出。如在下文的圖13的實例中所示，可以向列印內容選擇的虛擬版本分配連結到使用者視野而非列印材料本身的浮動位置。
圖10是用於基於使用者簡檔資料來從可用虛擬資料中選擇虛擬資料的程序的實現實例的流程圖。在步驟362中，動態的列印材料應用202檢索佩戴透視、頭戴式、混合現實顯示裝置系統的使用者的身份資料。而且，應用202在步驟364中決定當前存在狀態。設置的一些實例是存在狀態設置，諸如困乏、醒著、睡覺、約會遲到、強烈的情緒，並且亦可包括活動，例如，正在吃飯、正在駕車、正 在火車上旅行。
存在狀態可從對所感測的使用者身體的資料以及亦從其他應用和位置資料追蹤的資訊中決定。例如，基於位置資料和日曆應用，存在狀態應用可指示使用者對會議是早到還是遲到。來自眼睛追蹤部件的使用者眼睛的圖像資料(亦被稱為眼睛資料)可指示使用者正在經歷強烈的情緒，同時亦遲到了。可應用超過一個存在狀態。
在眼睛資料中可標識並與存在狀態規則179中的存在狀態相連結的使用者實體性質的一些實例是眨眼速率、瞳孔大小和瞳孔大小變化。在一些實例中，透視顯示裝置系統8亦可具有生物測定感測器，諸如壓著使用者太陽穴的脈搏速率量測感測器。可指示存在狀態的實體性質的一個實例是從圖像資料、閃光資料或感測器128中偵測到的超過某一水平的眨眼。此種眨眼可能指示強烈的情緒。更簡單地，所偵測到的封閉一段時間的眼瞼可指示存在狀態為「正在睡覺」。眼睛的含淚狀態亦可從眼睛指示正在哭泣的反射性中偵測。
瞳孔大小和瞳孔大小穩定性可指示存在狀態為困乏的或疲憊的。瞳孔大小隨著光照的改變而改變。在將瞳孔作為橢圓來對待的情況下，若光照沒有改變，則該橢圓的一個軸-即主軸-保持恆定，因為該主軸表示該瞳孔的直徑。橢圓的短軸的寬度隨注視改變而改變。面向前的相機113的光計量器(未圖示)可偵測光照變化。因此，由除了光照改變外的因素帶來的瞳孔放大亦可被決定。困乏和 睡眠剝奪可致使瞳孔的總大小在疲憊時收縮，而瞳孔大小會變得較不穩定，大小波動。在穩定狀態光照條件下超出一定標準的瞳孔放大亦可指示對情緒刺激的反應。然而，瞳孔放大亦可與活動相關聯。
因此，若來自面向外或面向實體環境的相機113的圖像資料和運動感測器132所指示的小的頭部移動指示該使用者不在鍛煉，例如，該使用者看上去正在他或她的辦公室內坐下，則下文論述的軟體(諸如客戶端推送服務應用2041)可將瞳孔放大與為「強烈感情」的至少一個存在狀態資料設置相關。如由來自面向外的相機113的圖像資料所指示的正在被觀看的物件可提供更多資料，例如，少兒正在看真實恐龍骨架的圖片或已被標識為特定的恐怖小說的列印內容項，並且基於一天中的時間、位置資料和隨時間的視野資料，該讀者在夜晚獨自在家。在另一實例中，在動態的列印材料應用202在該視野的圖像資料中標識到報紙以前，圖像資料指示使用者的通常午餐時間跑步路徑之一的視圖且運動感測器132指示在一時間段(例如兩分鐘)內的跑步或慢跑速度。在此實例中，存在狀態資料設置可包括「醒著」以及「中立感情」，並且可將「正在鍛煉」以及「正在跑步」作為活動資料設置來包括，此取決於從用於標識活動的結束的停止的時間段。
在一個實施例中，推送應用的任一版本(客戶端或伺服器)可包括用於決定存在狀態的軟體。該軟體可基於存在狀態規則179來實現一或多個試探演算法，以基於眼睛資 料和使用者周圍的圖像和音訊資料兩者來決定使用者的存在狀態。客戶端推送服務應用2041在步驟366中更新使用者簡檔資料1971、197中儲存的當前存在狀態資料。
在步驟368中決定基於該顯示裝置系統的感測器資料的當前使用者位置。例如，當前使用者位置可由GPS資料、位置的圖像資料、甚至是與特定位置相關聯的網路存取點的IP位址來標識。在步驟370中，動態的列印材料應用202標識使用者簡檔中連結到該使用者的其他人的、對該使用者可用的資料，該資料與列印內容選擇有關。例如，若列印內容項是具有由作者創作的文章的科學期刊，並且該使用者的社交網路朋友之一在他的社交網站頁面上對該文章進行評論，則該朋友的評論將被標識。
在此實施例中，動態的列印應用202在步驟372中基於虛擬資料選擇規則198來向使用者簡檔資料分配權重。在一些實例中，虛擬資料選擇規則可區分來自使用者簡檔資料的各項的優先順序。例如，以下類別的使用者簡檔項可以按照從最高開始的次序被區分優先順序：身份資料、存在狀態資料、位置資料、當前或最新近的列印內容選擇、被查看的列印內容項以及與該選擇或項有關的其他使用者資料。在步驟374中，動態的列印應用202基於經加權的使用者簡檔資料為該列印內容選擇從虛擬資料候選中選擇虛擬資料。例如，身份資料可包括該使用者知曉的語言。若該使用者僅知曉英語，則具有英語文字的虛擬資料與西班牙語的虛擬資料相比具有更高的被選擇的概率。而 且，根據以下的實例，對於正在色彩圖書中塗色的五歲大的孩子，可選擇圖畫性的虛擬資料，而對於七歲大的孩子可顯示包括簡單文字的虛擬資料。
圖11圖示在博物館佈告的實例上下文中用個人化虛擬資料來更新列印的內容的實例。在此實例中，成年人29和6歲大的男孩30均佩戴透視、近眼、混合現實顯示裝置系統8。成年人佩戴與成年人的顯示裝置2無線通訊的基於腕的處理單元4，而男孩4具有亦與男孩4的顯示裝置2無線通訊的、包含在行動設備5中的處理單元。成年人和男孩皆在具有資料儲存的自然歷史博物館處，該資料儲存包括該博物館中的每一佈告和符號的列印佈局和位置以及虛擬資料候選，該虛擬資料候選可被選擇以與相應的佈告或符號一起顯示。經由應用程式設計介面，博物館的搜尋引擎註冊到由被標識為處於該博物館內的每一顯示裝置系統8執行的動態的列印材料應用202並與該應用202通訊。每一設備的位置可被標識，例如經由該設備的GPS資料或在該博物館的無線存取點處接收到的IP位址。
男人和男孩中的每一個均在看在此實例中在劍龍的部分骨架的展覽54附近的現實博物館佈告的相應的列印媒體。不可見標記65經由RFID或IR或藍芽向在該標記的一定範圍內的顯示裝置系統8上的相應的接收器(例如，一或多個位置感測器144)傳送辨識符，動態的列印材料應用202可將該辨識符包括在對博物館的虛擬資料的資料庫的請求中。在其他實例中，佈告的內容(例如，標題劍 龍)將是辨識符。佈告上的列印材料60陳述恐龍類型的名稱並且包括簡短的解釋性文字(由XXX……表示)。基於使用者簡檔資料，成年人29被標識為講流利英語者，成年人2934歲大、5英尺7英寸高、處於中性感情狀態、並具有會計大學學歷。成年人29的電視追蹤歷史指示成年人29在過去一年半觀看了24集電視節目「自然(Nature)」，其中包括關於在美國西部發現的恐龍骨骼的一集節目。可用虛擬資料候選的元資料包括年齡、語言、美國閱讀等級、教育背景和對特定自然歷史課題的興趣等級。
動態的列印材料應用202應用虛擬資料選擇規則198並將最高優先順序賦予該男人的年齡和語言流利性。基於可用於虛擬資料候選的元資料，該男人的教育背景和觀看自然歷史相關節目的電視歷史亦形成用於形成用於搜尋虛擬資料候選的元資料的查詢的基礎。已選擇了虛擬文字片段62的圖像資料，該虛擬文字片段提供了關於恐龍骨骼結構的附加細節。為虛擬文字片段62儲存的元資料指示該文字適用於如下人：該人具有平均美國大學閱讀等級並且相對於基於2008年調查的一般美國人口而言對恐龍具有高於平均的認知。
線70m圖示該成年人與展示的骨骼所來自的劍龍物種的高度70d相比的高度。
身份使用者簡檔資料指示該男孩6歲大。男孩的眼睛資料指示強烈的情緒，並且已指示在過去30分鐘在哭。語 音辨識軟體已從男孩的設備上的話筒所接收到的監視音訊中標識到男孩34的聲音說了「我害怕」。基於在過去一小時內男孩的位置是靠近恐龍骨架展覽，男孩的客戶端推送服務應用2041所實現的試探演算法將存在狀態選擇為害怕。根據虛擬資料選擇規則198，為害怕的存在狀態導致與男孩的狀態是感情更中立的狀態時相比在使用者簡檔資料中從動態的應用202接收更高優先順序的加權。在此實例中年齡亦具有最高優先順序的加權。具有更柔和的容貌和更友好的眼睛的劍龍的動畫(如可在兒童書圖示中找到的)的虛擬資料66被選擇，並基於與虛擬資料66相關聯的元資料而被顯示，該元資料指示目標觀眾是7歲及以下的兒童以及動畫。對於6歲大的使用者，選擇規則198給非文字圖像資料的權重比文字圖像資料更高。
家長可經由資訊推送服務應用204來選擇針對兒童的內容類別，該應用204將家長控制儲存在兒童的使用者簡檔資料中以供兒童的動態的列印材料應用202存取。用此種方式，兒童能夠看到否則不會被家長控制阻擋的內容或來自否則不會被家長控制阻擋的類別的內容。
圖12A圖示標識使用者在作為列印內容項的實例的書籍內選擇列印內容選擇的姿勢的實例。所圖示的是顯示裝置2，顯示裝置2具有用於擷取使用者姿勢(諸如所示的手指指向姿勢)的面向前的相機113l和113r。其他身體部位(諸如手、腕、上臂甚至腳、肘等)所執行的姿勢亦可以被用來控制諸如動態的應用202等應用。手和手指姿勢允 許使用者在執行姿勢的同時維持對顯示器的視野中的材料的閱讀。線704l和704r表示逼近來自使用者的瞳孔或視網膜的注視向量的眼睛視線。
在此實例中，使用者正在觀看關於美國國家公園的指南380，該指南包括作為列印內容項的約塞米蒂國家公園。如眼睛視線704l和704r所示，使用者的注視點是在約塞米蒂山谷的、被稱為山谷景觀(Valley View)休息點的地點處的圖片中的半圓頂(Half Dome)3811。使用者的手480的使用者的指尖482正指向圖片3821，動態的列印材料應用202從來自相機113l、113r的視野圖像資料中將指尖482標識為將照片3821選擇為列印內容選擇的實體動作使用者輸入的姿勢。
在此實例中，客戶端推送服務應用2041正在執行並監視在使用者顯示裝置系統上執行的應用，包括動態的列印材料應用202。客戶端應用將列印內容選擇的元資料201的至少一個子集發送到資訊推送服務204，該資訊推送服務監視各應用以及已被授予對該使用者的存取許可的其他使用者的使用者簡檔資料。資訊推送服務204標識照片，該照片在照片元資料中具有與使用者朋友Sue的社交網路網站上的列印內容選擇的元資料201相匹配的關鍵字。基於該使用者存取過哪些朋友在社交網路網站上的的頁面以及誰存取過Sue的頁面的追蹤歷史，該資訊推送服務204標識該使用者沒有看過該最近張貼的照片。資訊推送服務應用204將Sue的照片的副本發送到使用者的客戶端推送 服務應用2041，該應用2041通知動態的列印材料應用202。動態的應用202可執行與指南的印刷佈局中的照片的圖像比較來確保Sue的照片上的元資料是準確的或者來決定實際圖示的是什麼。假定根據虛擬資料選擇規則198來自圖像比較的資料結果指示Sue的照片的滿意的相關性得分，則Sue的照片如圖12B中所示地被顯示。
圖12B圖示標識並顯示與列印內容選擇有關的資料的實例，該資料是在從另一應用接收的使用者的使用者簡檔資料中標識的另一人的資料。在此實例中，在山谷景觀休息點拍攝的以約塞米蒂山谷為背景的Sue自己的照片3822被顯示在覆蓋指南圖片的替換位置。
除了基於列印內容選擇或內容項和使用者簡檔資料之間的關係的個人化資料之外，亦針對列印內容選擇執行由應用實現的任務或動作。圖13到16圖示可基於使用者簡檔資料來選擇並顯示虛擬資料的任務的示例實施例。
圖13圖示執行與列印內容選擇和透視、近眼、混合現實顯示裝置系統的使用者的當前位置有關的方向任務的實例。在此實例中，使用者可經由語音命令(諸如「方向」或自然問題「我如何到達哪裡？」)的實體動作來啟動方向任務。如上所述，使用者亦可能定義了啟動方向任務的姿勢。當使用者的注視點是該圖片時，動態的列印材料應用202可經由輸出目的地是山谷景觀休息點還是半圓頂的語音資料來請求確認。一旦確認了目的地之後，使用者的當前位置被確認。動態的應用202可將使用者當前位置作 為起始點並將目的地作為文字資料發送到另一方向應用，並將結果格式化以供顯示在與山谷景觀的圖片配準的位置處。在此實例中，在從最靠近圖片3821的頂部頁邊距延伸出去的虛擬紙片上的浮動位置383中顯示方向。在其他實例中，特別是在使用者的存在狀態指示強烈的情緒或是困乏，以及使用者的位置距目的地有多近時，非文學的虛擬符號(諸如箭頭)可增強方向的文字，或者改為使用該非文學的虛擬符號。在其他實例中，若使用者流利地講多種語言，但是很疲憊，則可基於在音訊資料中追蹤到的語言使用量以及如由語音辨識軟體決定的流利度來以使用者講得最流利的語言顯示該方向。
圖14A是用於執行學習輔助任務的程序的實現實例的流程圖，該學習輔助任務基於使用者問題來檢索虛擬資料。為了幫助此種學習輔助任務，特別是對於教科書以及非科幻作品，發佈者可能已準備了作為虛擬資料在不同讀者感興趣的不同話題上的插入(insert)。在一些實例中，所引用的參考可以是作為虛擬插入可用的，可將該虛擬插入與虛擬插入所支援的列印內容選擇配準。在其他實例中，虛擬插入可以是關於感興趣的話題的教程，使用者可經由向班級中的另一人(諸如教師或教授)問問題或在做家庭作業時向朋友問問題或者甚至經由將問題指向書籍或其他列印媒體來標識感興趣的話題。
在圖14A中圖示的實現程序實例中，在動態的列印材料應用202的控制之下，聲音辨識引擎194在步驟384中監 視經由顯示裝置話筒接收的音訊資料以尋找列印內容項的一或多個單詞，並且在步驟386中標識由使用者在音訊資料中所提的、與該一或多個單詞有關的問題。例如，聲音辨識引擎194可從語音資料中的各間隙之間所使用的單詞及該等單詞在序列中的次序以及語音改變規則(諸如在問題的末尾處語音在音量態樣的上升)來標識問題。聲音辨識引擎194存取人類語音模式的模型(特別是針對使用者的語言背景)來從陳述中標識問題。動態的列印材料應用2022被通知，並且在步驟388中基於該列印內容項的該一或多個單詞和該問題來制定查詢，並且在步驟390中基於該查詢來搜尋包括虛擬資料的一或多個資料儲存。此種資料儲存的一個實例是發佈者資料庫207(例如，列印內容項的發佈者)以及網際網路索引的資源209。在步驟392中，動態應用202決定該搜尋是否基於該查詢返回了虛擬資料，並且若是，則動態的應用202在步驟398中致使圖像產生單元在與該列印內容項中的一或多個單詞配準的位置中顯示該虛擬資料。
若該搜尋沒有基於該查詢返回虛擬資料，則動態的列印材料應用202可在步驟394中進行網際網路搜尋，並隨後在步驟396中格式化任何網際網路搜尋結果並使該搜尋結果被顯示在與該列印內容項中的一或多個單詞的位置配準的位置中。
圖14B圖示顯示在一或多個虛擬頁面上格式化的虛擬資料的學習輔助任務的實例，該虛擬頁面看上去像作為一或 多個相鄰頁面而被插入包括列印內容選擇的頁面。在該實例中，動態的列印材料應用202結合聲音辨識引擎194已標識了使用者在使用者的高中生物課中問了關於共生(symbiosis)的問題。當使用者打開使用者的教科書411到第34頁(該頁論述了共生462)時，開始於標題為「共生插入」的虛擬頁34A的虛擬插入412表現為好像是相對且相鄰的頁面。
圖15A是用於執行單詞學習輔助任務的實例的程序的實現的流程圖。此任務幫助增強使用者對新單詞的學習。動態的列印材料應用202在步驟422中標識在視野圖像資料中的列印內容項的一個片段中的、使用者先前已請求了使用者定義的單詞，並且在步驟424中在與該片段中的該單詞配準的位置中顯示該單詞的定義。片段的一個實例是頁。
圖15B是用於執行單詞學習輔助任務的實例的程序的另一實現的流程圖。在此版本中，步驟422被執行，但是動態的列印材料應用202在步驟428中在與該片段中的該單詞配準的位置中顯示該單詞的同義詞。
圖15C圖示該單詞學習輔助任務顯示單詞的定義的實例。當使用者的注視是在使用者先前請求過使用者定義的單詞symbiosis(共生)462上時，symbiosis的定義415出現在頂部頁邊距中。頂部頁邊距可能是例如由於根據圖9的方法實施例的可見性標準而被選擇的。
圖15D圖示該單詞學習輔助任務顯示單詞的同義詞的實 例。此實例與圖15C的實例的不同在於：同義詞reciprocity(互惠)463被顯示在使用者先前請求過使用者定義的單詞symbiosis上方的行間位置處。
圖16是用於執行以下任務的程序的實現的流程圖：該任務允許使用者用列印內容項中的一或多個其他單詞來取代至少一個單詞。要取代的至少一個單詞的一些實例是角色或地點的名稱。例如，使用者可能選擇使用者的名稱和使用者的朋友的一些名稱來取代角色名稱，並且用使用者的鄰居地點的名稱來取代地點名稱。為了取代列印內容項中的單詞並使得該至少一個單詞看上去像是列印內容項中的其餘單詞，圍繞被取代的一或多個單詞的文字使單詞間距被虛擬資料調整。通常，包括一或多個取代單詞的至少每個段落的虛擬版本被產生為具有經調整的間距。若該取代致使該段落延伸到另一行或另一頁上，則產生具有經調整的間距的至少一個接下來的段落的虛擬版本。當虛擬段落再次終止於虛擬段落所配準的列印段落的相同佈局位置中時，另一虛擬段落的產生可以停止。
在步驟502中，動態的列印材料應用202接收要取代的一或多個單詞，並且在步驟504中經由使用者輸入來接收用於要取代的一或多個單詞的一或多個替換單詞。例如，使用者可經由虛擬功能表、處理單元4的使用者輸入裝置或者經由音訊資料清單(例如地點)或者指向人和角色名稱或者對人和角色名稱的注視持續時間等等來輸入用於要取代的和替換的單詞。在步驟506中，要包括該一或多 個替換單詞的每個段落被標識，並且在步驟508中，基於列印內容項的佈局性質來產生每個所標識的段落的虛擬版本。佈局性質的一些實例是字體、頁邊距和行間距。基本上，目標是使被替換上去的單詞看上去像是單詞原本就列印在該書籍中一樣。
除了其中被替換上去和被取代的單詞具有相同尺寸(例如，相同數量的字母並且組合的字母寬度相同)的不常見情況之外，被替換上去的單詞將使該段落變短或變長。在步驟510中，動態應用510決定是否存在段落內容的可見性受到段落的虛擬版本影響的任何段落。列印段落的可見性可能受到被虛擬段落部分覆蓋的影響。若未受影響，則列印內容項的虛擬段落版本是完整的，並且隨後在步驟514中每個虛擬版本段落在該段落位於透視顯示裝置2的視野中時被顯示。否則，在步驟512中產生段落可見性受影響的每個段落的虛擬版本。在每次產生虛擬段落時，列印段落的可見性可能受影響，重複步驟510中的決定，直到不再存在具有受影響的可見性的列印段落為止。若使用此程序被替換上去的單詞更短，則這裡及那裡可能有額外的行空間，但是與更改字體大小或行間距等等相比那不那麼令人分心。
圖17是計算系統的一個實施例的方塊圖，該計算系統可用於實現一或多個網路可存取計算系統12，該計算系統12可以託管計算環境54的軟體元件中的至少一些或者圖3所圖示的其他元件。參考圖17，用於實現本發明的一個 示例性系統包括計算設備，諸如計算設備800。在計算設備800最基本的配置中，計算設備800一般包括一或多個處理單元802，並且亦可包括不同類型的處理器，諸如中央處理單元(CPU)和圖形處理單元(GPU)。計算設備800亦包括記憶體804。取決於計算設備的確切配置和類型，記憶體804可以包括揮發性記憶體805(如RAM)、非揮發性記憶體807(如ROM、快閃記憶體等)或是兩者的某種組合。該最基本配置在圖17中由虛線806來圖示。另外，設備800亦可具有附加特徵/功能。例如，設備800亦可包含附加儲存(可移除及/或不可移除)，包括但不限於磁碟、光碟或磁帶。此種附加儲存在圖17中由可移除儲存裝置808和不可移除儲存裝置810圖示。
設備800亦可以包含允許該設備與其他設備通訊的通訊連接812，諸如一或多個網路介面和收發器。設備800亦可以具有諸如鍵盤、滑鼠、筆、語音輸入裝置、觸摸輸入裝置等輸入裝置814。亦可以包括諸如顯示器、揚聲器、印表機等輸出設備816。所有該等設備在本領域是眾知的並且不必在此詳細論述。
如同上面論述的，處理單元4可被嵌入在行動設備5中。圖18是可以在本技術的各實施例中操作的示例性行動設備900的方塊圖。圖示了典型行動電話的示例性電子電路。電話900包括一或多個微處理器912，以及儲存由控制處理器912的一或多個處理器執行來實現此處述及之功能的處理器可讀代碼的記憶體910(例如，諸如ROM等 非揮發性記憶體和諸如RAM等揮發性記憶體)。
行動設備900可包括例如處理器912、包括應用和非揮發性儲存的記憶體1010。處理器912可實現通訊以及任何數量的應用，包括本文中所描述的互動應用。記憶體1010可以是任何種類的記憶體儲存媒體類型，包括非揮發性和揮發性記憶體。設備作業系統處理行動設備900的不同操作，並可包含用於操作的使用者介面，如撥打和接聽電話撥叫、文字簡訊收發、檢查語音郵件等。應用930可以是任何種類的程式，如用於照片及/或視訊的相機應用、位址簿、日曆應用、媒體播放機、網際網路瀏覽器、遊戲、其他多媒體應用、鬧鐘應用、其他第三方應用，諸如本文論述的用於處理發送至或者來自顯示裝置2的圖像資料的皮膚應用和影像處理軟體，等等。記憶體910中的非揮發性儲存元件940包含諸如web快取記憶體、音樂、照片、連絡人資料、排程資料、以及其他檔等資料。
處理器912亦與RF發射/接收電路906進行通訊，該電路906進而耦合到天線902，處理器912亦與紅外發射器/接收器908、與像Wi-Fi、WUSB、RFID、紅外或藍芽等任何附加通訊通道960以及與像加速度計等移動/定向感測器914通訊。加速度計被包括到行動設備中，以啟用諸如讓使用者經由姿勢輸入命令的智慧使用者介面之類的應用，在與GPS衛星斷開聯絡之後計算設備的移動和方向的室內GPS功能，並偵測設備的定向，並且，當旋轉電話時自動地將顯示從縱向變為橫向。可以，例如，經由微機電 系統(MEMS)來提供加速度計，該微機電系統是構建在半導體晶片上的微小機械裝置(微米尺寸)。可以感應加速方向以及定向、振動和震動。處理器912亦與響鈴器/振動器916、使用者介面鍵區/螢幕、生物測定感測器系統918、揚聲器920、話筒922、相機924、光感測器921以及溫度感測器927進行通訊。
處理器912控制無線信號的發射和接收。在發射模式期間，處理器912向RF發射/接收電路906提供來自話筒922的語音信號或其他資料信號。發射/接收電路906將該信號發射對遠端站(例如固定站、服務供應商、其他蜂巢式電話等)來經由天線902進行通訊。響鈴器/振動器916被用於向使用者發來話撥叫、文字簡訊、日曆提醒、鬧鐘提醒或其他通知等信號。在接收模式期間，發射/接收電路906經由天線902接收來自遠端站的語音或其他資料信號。所接收到的語音信號被提供給揚聲器920，同時所接收到的其他資料信號亦被適當地處理。
另外，實體連接器988可被用來將行動設備900連接到外部電源，如AC配接器或加電對接底座。實體連接器988亦可被用作到計算設備的資料連接。該資料連接允許諸如將行動設備資料與另一設備上的計算資料進行同步等操作。
為此種服務啟用使用基於衛星的無線電導覽來中繼使用者應用的位置的GPS接收器965。
附圖中圖示的示例電腦系統包括電腦可讀取儲存裝置 的實例。電腦可讀取儲存裝置亦是處理器可讀儲存裝置。此種設備包括以用於儲存諸如電腦可讀取指令、資料結構、程式模組或其他資料等資訊的任意方法或技術來實現的揮發性和非揮發性、可移除和不可移除記憶體設備。處理器或電腦可讀取儲存裝置的一些是RAM、ROM、EEPROM、快取記憶體、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光碟儲存、記憶棒或卡、磁帶盒、磁帶、媒體驅動器、硬碟、磁碟儲存或其他磁性儲存裝置或能用於儲存所需資訊且可以由電腦存取的任何其他設備。
儘管用結構特徵及/或方法動作專用的語言描述了本標的，但可以理解，所附申請專利範圍中定義的標的不必限於上述具體特徵或動作。更確切而言，上述具體特徵和動作是作為實現請求項的示例形式揭示的。
2‧‧‧顯示裝置
4‧‧‧處理單元/行動設備
5‧‧‧行動設備
6‧‧‧線
7‧‧‧顯示器
8‧‧‧系統
14‧‧‧顯示光學系統
14r‧‧‧顯示光學系統
29‧‧‧成年人
30‧‧‧男孩
50‧‧‧通訊網路
54‧‧‧計算環境
60‧‧‧列印材料
62‧‧‧虛擬文字片段
65‧‧‧標記
66‧‧‧虛擬資料
70d‧‧‧高度
70m‧‧‧線
102‧‧‧鏡腿
104‧‧‧鼻樑架部分
110‧‧‧話筒
112‧‧‧光導光學元件
113‧‧‧相機/攝像機
113l‧‧‧相機
113r‧‧‧相機
114‧‧‧不透明度濾光器
115‧‧‧框架
116‧‧‧透視透鏡
118‧‧‧透視透鏡
120‧‧‧圖像產生單元/微顯示器
122‧‧‧光學透鏡系統
123‧‧‧波長選擇濾光器
124‧‧‧反射表面
125‧‧‧波長選擇濾光器
126‧‧‧反射元件
128‧‧‧感測器
130‧‧‧耳機
132‧‧‧慣性感測器
132A‧‧‧三軸磁力計
132B‧‧‧三軸陀螺儀
132C‧‧‧三軸加速度計
134A‧‧‧IR照明器
134B‧‧‧IR感測器
136‧‧‧控制電路
137‧‧‧無線介面
140‧‧‧眼睛
144‧‧‧感測器
142‧‧‧箭頭
161‧‧‧其他基於處理器的系統
166N‧‧‧其他應用
179‧‧‧存在狀態規則
190‧‧‧作業系統
191‧‧‧圖像和音訊處理引擎
192‧‧‧物件辨識引擎
193‧‧‧姿勢辨識引擎
194‧‧‧聲音辨識引擎
195‧‧‧虛擬資料引擎
196‧‧‧眼睛追蹤軟體
197‧‧‧使用者簡檔資料
1971‧‧‧使用者簡檔資料複本
197N‧‧‧使用者簡檔資料複本
198‧‧‧虛擬資料選擇規則
199‧‧‧圖像和音訊資料緩衝區
200‧‧‧結構資料
201‧‧‧列印內容選擇元資料
202‧‧‧列印材料應用
203‧‧‧搜尋引擎
204‧‧‧資訊推送服務引擎
2041‧‧‧推送服務應用
204N‧‧‧推送服務應用
205‧‧‧虛擬內容資料
207‧‧‧發佈者資料庫
209‧‧‧與列印內容相關的資源
210‧‧‧處理單元
211‧‧‧資料庫
212‧‧‧列印內容項版本辨識符
213‧‧‧資料庫
214‧‧‧列印內容選擇位置資料
215‧‧‧資料庫
216‧‧‧作品版本辨識符
218‧‧‧作品版本位置資料
220‧‧‧作品辨識符
222‧‧‧作品位置資料
244‧‧‧記憶體
302‧‧‧步驟
303‧‧‧步驟
304‧‧‧步驟
305‧‧‧步驟
306‧‧‧步驟
307‧‧‧步驟
308‧‧‧步驟
309‧‧‧步驟
310‧‧‧步驟
312‧‧‧步驟
314‧‧‧步驟
316‧‧‧步驟
318‧‧‧步驟
319‧‧‧步驟
320‧‧‧步驟
322‧‧‧步驟
324‧‧‧步驟
326‧‧‧步驟
332‧‧‧步驟
334‧‧‧步驟
336‧‧‧步驟
342‧‧‧步驟
344‧‧‧步驟
346‧‧‧步驟
348‧‧‧步驟
352‧‧‧步驟
353‧‧‧步驟
354‧‧‧步驟
355‧‧‧步驟
356‧‧‧步驟
357‧‧‧步驟
358‧‧‧步驟
359‧‧‧步驟
360‧‧‧步驟
361‧‧‧步驟
362‧‧‧步驟
363‧‧‧步驟
364‧‧‧步驟
365‧‧‧步驟
366‧‧‧步驟
367‧‧‧步驟
368‧‧‧步驟
370‧‧‧步驟
372‧‧‧步驟
374‧‧‧步驟
380‧‧‧指南
3811‧‧‧半圓頂
3821‧‧‧圖片
3822‧‧‧照片
383‧‧‧浮動位置
384‧‧‧步驟
386‧‧‧步驟
388‧‧‧步驟
390‧‧‧步驟
392‧‧‧步驟
394‧‧‧步驟
396‧‧‧步驟
398‧‧‧步驟
411‧‧‧教科書
412‧‧‧虛擬插入
415‧‧‧定義
422‧‧‧步驟
424‧‧‧步驟
428‧‧‧步驟
462‧‧‧共生
463‧‧‧互惠
480‧‧‧手
482‧‧‧指尖
502‧‧‧步驟
504‧‧‧步驟
506‧‧‧步驟
508‧‧‧步驟
510‧‧‧動態應用
512‧‧‧步驟
514‧‧‧步驟
704l‧‧‧眼睛視線
704r‧‧‧眼睛視線
800‧‧‧計算設備
802‧‧‧處理單元
804‧‧‧記憶體
805‧‧‧揮發性記憶體
806‧‧‧虛線
807‧‧‧非揮發性記憶體
808‧‧‧可移除儲存裝置
810‧‧‧不可移除儲存裝置
812‧‧‧通訊連接
814‧‧‧輸入裝置
816‧‧‧輸出設備
900‧‧‧行動設備
902‧‧‧天線
904‧‧‧電池
906‧‧‧RF發射器/接收器
908‧‧‧紅外發射器/接收器
912‧‧‧處理器
914‧‧‧移動/定向感測器
916‧‧‧響鈴器/振動器
918‧‧‧使用者介面/鍵盤區/螢幕
921‧‧‧光感測器
920‧‧‧揚聲器
922‧‧‧話筒
924‧‧‧相機
927‧‧‧溫度感測器
930‧‧‧應用
940‧‧‧非揮發性儲存元件
963‧‧‧附加的通訊通道
965‧‧‧GPS接收器
988‧‧‧實體連接器
1010‧‧‧非揮發性儲存的記憶體
圖1A是圖示透視、混合現實顯示裝置系統的一個實施例的示例元件的方塊圖。
圖1B是圖示透視、混合現實顯示裝置系統的另一實施例的示例元件的方塊圖。
圖1C是圖示將行動設備用作處理單元的透視、混合現實顯示裝置系統的另一實施例的示例元件的方塊圖。
圖2A是被具體化為提供對硬體和軟體元件的支援的眼鏡的透明、混合現實顯示裝置的實施例中的鏡架的鏡腿的 側視圖。
圖2B是透視、近眼、混合現實設備的顯示光學系統的實施例的俯視圖。
圖3是從軟體角度來看的用於經由透視、混合現實顯示裝置系統來提供混合現實使用者介面的系統的方塊圖，在其中用於用個人化虛擬資料來更新列印內容的軟體可操作。
圖4A圖示列印內容選擇元資料記錄的實例。
圖4B圖示與列印媒體相關(medium-dependent)的以及與媒體無關(medium-independent)的交叉引用內容資料儲存的實例。
圖5A是用於用個人化的虛擬資料來更新列印內容的方法的實施例的流程圖。
圖5B是用於用個人化的虛擬資料來更新列印內容的方法的另一實施例的流程圖。
圖6是用於標識透視、混合現實顯示裝置的視野中的列印內容項的程序的實施例的流程圖。
圖7A是用於標識使用者的眼睛選擇列印內容選擇的至少一個實體動作的程序的實現實例的流程圖。
圖7B是用於標識使用者的眼睛選擇列印內容選擇的至少一個實體動作的程序的另一實現實例的流程圖。
圖7C是用於標識姿勢選擇列印內容選擇的至少一個實體動作的程序的實現實例的流程圖。
圖8是用於產生使用者定義的姿勢並將該姿勢與任務相 關聯的程序的實現實例的流程圖。
圖9是用於決定虛擬資料相對於列印材料的放置的程序的實現實例的流程圖。
圖10是用於基於使用者簡檔資料來從可用虛擬資料中選擇虛擬資料的程序的實現實例的流程圖。
圖11圖示在博物館佈告(placard)的示例上下文中用個人化的虛擬資料來更新列印內容的實例。
圖12A圖示標識使用者在作為列印內容項的實例的書籍內選擇列印內容選擇的姿勢的實例。
圖12B圖示標識並顯示與列印內容選擇有關的資料的實例，該資料是在從另一應用接收的使用者的使用者簡檔資料中標識的另一人的資料。
圖13圖示執行與列印內容選擇和透視、近眼、混合現實顯示裝置系統的使用者的當前位置有關的方向任務的實例。
圖14A是用於執行學習輔助任務的程序的實現實例的流程圖，該學習輔助任務基於使用者問題來檢索虛擬資料。
圖14B圖示顯示在一或多個虛擬頁面上格式化的虛擬資料的學習輔助任務的實例，該虛擬頁面看上去像是作為一或多個相鄰頁面而被插入包括列印內容選擇的頁面。
圖15A是用於執行單詞學習輔助任務的實例的程序的實現實例的流程圖。
圖15B是用於執行單詞學習輔助任務的實例的程序的另一實現實例的流程圖。
圖15C圖示顯示單詞的定義的單詞學習輔助任務的實例。
圖15D圖示顯示單詞的同義詞的單詞學習輔助任務的實例。
圖16是用於執行以下任務的程序的實現的流程圖：該任務允許使用者用列印內容項中的一或多個其他單詞來替換至少一個單詞。
圖17是可用於實現網路可存取計算系統的計算系統的一個實施例的方塊圖。
圖18是可以在本技術的各實施例中操作的示例性行動設備的方塊圖。
302‧‧‧步驟
303‧‧‧步驟
304‧‧‧步驟
305‧‧‧步驟
307‧‧‧步驟
309‧‧‧步驟

Claims (20)

  1. 一種用於使用一透視、近眼、混合現實顯示裝置來用個人化虛擬資料更新列印內容的方法，該方法包括以下步驟：標識一透視、近眼、混合現實顯示裝置的一視野中的一列印內容項；基於實體動作使用者輸入來標識對該列印內容項內的一列印內容選擇的使用者選擇；決定虛擬資料是否可用於該列印內容選擇；回應於虛擬資料可用於該列印內容選擇，基於使用者簡檔資料從該可用虛擬資料中選擇虛擬資料；及在與該列印內容選擇的一位置配準的一位置中顯示該虛擬資料。
  2. 如請求項1述及之方法，進一步包括基於眼睛追蹤資料來決定一當前存在狀態並且更新使用者簡檔資料中儲存的該當前存在狀態；及其中基於使用者簡檔資料來選擇虛擬資料包括基於該當前存在狀態來選擇虛擬資料。
  3. 如請求項1述及之方法，其中：使用者簡檔資料包括身份資料，該身份資料包括一使用者年齡；及 其中基於使用者簡檔資料來從該可用虛擬資料中選擇虛擬資料包括基於該使用者年齡來選擇對年齡適當的虛擬資料。
  4. 如請求項1述及之方法，其中使用者簡檔資料包括一當前使用者位置；及其中基於使用者簡檔資料來從該可用虛擬資料中選擇虛擬資料包括基於該當前使用者位置來選擇虛擬資料。
  5. 如請求項1述及之方法，該方法進一步包括以下步驟：存取與該列印內容選擇以及該使用者的使用者簡檔資料中所標識的另一人有關的資料；及其中基於使用者簡檔資料來從該可用虛擬資料中選擇虛擬資料包括選擇關於該另一人的資料用於該虛擬資料。
  6. 如請求項1述及之方法，該方法進一步包括以下步驟：儲存該虛擬資料，其中該虛擬資料與體現在該列印內容項中的一作品的與一媒體無關的版本的一佈局中的該列印內容選擇中體現的內容一配準。
  7. 如請求項1述及之方法，其中基於使用者簡檔資料從該可用的虛擬資料選擇虛擬資料包括基於該使用者的一當前存在狀態來選擇虛擬資料。
  8. 一種用於用個人化虛擬資料來更新列印內容的透視、近眼、混合現實顯示裝置系統，包括：由一支撐結構定位的一透視顯示器；用於擷取該透視顯示器的一視野的圖像資料的、被定位在該支撐結構上的至少一個面向外的相機；一或多個軟體控制的處理器，該一或多個軟體控制的處理器能夠存取所儲存的使用者簡檔資料並且通訊地耦合到一搜尋引擎，該搜尋引擎能夠存取一或多個資料儲存，該資料儲存包括用於作品的內容、佈局和虛擬資料以及體現該作品的列印內容項；該一或多個軟體控制的處理器通訊地耦合到該至少一個面向外的相機以用於接收該視野的圖像資料並且用於經由以下動作來標識使用者實體動作：基於該視野的圖像資料使用者在一列印內容項中選擇一列印內容選擇；該一或多個軟體控制的處理器用於基於使用者簡檔資料和該列印內容選擇來從該一或多個資料儲存選擇虛擬資料；及該一或多個軟體控制的處理器致使用於該透視顯示器的至少一個通訊地耦合的圖像產生單元顯示該虛擬資料。
  9. 如請求項8述及之系統，其中該一或多個軟體控制的處理器通訊地耦合到一或多個遠端電腦系統，該一或多個遠端電腦系統執行一資訊推送服務，該資訊推送服務更新該使用者的使用者簡檔資料。
  10. 如請求項8述及之系統，其中該一或多個軟體控制的處理器用於基於該視野標識一列印內容項中的一列印內容選擇的實體動作使用者選擇進一步包括標識一或多個姿勢，該一或多個姿勢標識來自該視野的該圖像資料的該列印內容選擇的選擇。
  11. 如請求項8述及之系統，進一步包括由該支撐結構定位的一或多個眼睛追蹤配件，該一或多個眼睛追蹤配件用於擷取每只眼睛的圖像資料及通訊地耦合至該一或多個軟體控制處理器用於發送每只眼睛的圖像資料；其中基於該視野的圖像資料標識一列印內容項中的一列印內容選擇的實體動作使用者選擇包括以下步驟：該一或多個軟體控制的處理器從每只眼睛的圖像資料標識注視持續的一實體動作；該一或多個軟體控制的處理器從該視野的圖像資料標識一注視點是該透視顯示的該視野中的一列印內容物件；及回應於該注視持續超過一閾值，選擇該列印內容物件作為一列印內容選擇。
  12. 如請求項8述及之系統，進一步包括：一記憶體，用於儲存資料和軟體，包括用於將圖像資料中的文字轉換為一電腦標準化文字資料儲存格式的軟體；及其中該一或多個軟體控制的處理器用於標識包括該列印 內容選擇的一列印內容項及包括該列印內容選擇的一與媒體無關版本的一作品，基於制定一或多個查閱，該一或多個查詢基於該圖像資料及發送該一或多個查詢至該搜尋引擎進一步包括：該一或多個軟體控制的處理器標識一或多個版本，該一或多個版本標識圖像資料中該列印內容項的片段，該一或多個軟體控制的處理器基於標識片段的該一或多個版本制定及發送一查詢至通訊地耦合的搜尋引擎，及該一或多個軟體控制的處理器接收一列印內容項版本辨識符。
  13. 如請求項12述及之系統，進一步包括：該一或多個軟體控制的處理器基於該列印內容項版本辨識符來向該資料儲存請求並從該資料儲存接收：該列印內容選擇在該列印內容項的一佈局內的位置資料、一與媒體無關的作品辨識符、根據一與媒體無關的細分的該列印內容選擇的該與媒體無關的版本的作品位置資料以及根據該與媒體無關的細分的任何適用的與媒體無關的作品版本辨識符和作品版本位置資料。
  14. 如請求項13述及之系統，進一步包括：該一或多個軟體控制的處理器基於該作品辨識符、該作品版本辨識符以及該列印內容項版本辨識符來搜尋與該列 印內容選擇有關的虛擬資料候選；及該一或多個軟體控制的處理器基於使用簡檔資料選擇該虛擬資料候選之一者作為用於顯示的虛擬資料。
  15. 如請求項14述及之系統，進一步包括：該一或多個軟體控制的處理器基於從該視野的該圖像資料標識一或多個姿勢來標識要對該列印內容選擇執行的一任務；及根據該任務基於與該內容選擇有關的使用者簡檔資料來顯示被選擇供顯示的該虛擬資料。
  16. 一或多種處理器可讀儲存裝置，該儲存裝置具有編碼於其上的指令，該等指令致使一或多個處理器執行用於使用一透視、近眼、混合現實顯示裝置來用個人化的虛擬資料更新列印內容的一方法，該方法包括以下步驟：標識一透視、近眼、混合現實顯示裝置的一視野中的一列印內容項；基於實體動作使用者輸入來決定與該列印內容項有關的一任務；執行該任務，及根據該任務將個人化的虛擬資料顯示為與該列印內容項配準。
  17. 如請求項16述及之一或多個處理器可讀儲存裝置，其 中執行該任務進一步包括通過以下動作來執行一學習輔助任務：監視該透視、近眼、混合現實顯示裝置的一話筒所擷取的音訊資料以獲得該列印內容項中的一或多個單詞；經由語音辨識軟體來標識該使用者所提的、與該列印內容項的該一或多個單詞有關的一問題；基於該問題來制定一查詢；基於該查詢為該列印內容項搜尋包括虛擬資料的一或多個資料儲存；及回應於接收到基於該查詢的虛擬資料，在與該列印內容項中的該一或多個單詞的一位置配準的一位置中顯示該虛擬資料。
  18. 如請求項16述及之一或多個處理器可讀儲存裝置，其中在一或多個虛擬頁面上格式化該虛擬資料，該一或多個虛擬頁面看上去像作為一或多個相鄰頁面而被插入包括該一或多個單詞的一頁面。
  19. 如請求項16述及之一或多個處理器可讀儲存裝置，其中執行該任務進一步包括標識在該視野圖像資料中的該列印內容項的一片段中的、一使用者先前已請求了一定義的一單詞；及在與該片段中的該單詞配準的一位置顯示該單詞的該定義。
  20. 如請求項16述及之一或多個處理器可讀儲存裝置，其中執行該任務進一步包括標識在該視野圖像資料中的該列印內容項的一片段中的、一使用者先前已請求了一定義的一單詞；及在與該片段中的該單詞配準的一位置顯示該單詞的一同義詞。
TW101139309A 2011-12-07 2012-10-24 用個人化虛擬資料更新列印內容的方法、系統與處理器可讀非暫態儲存裝置 TWI570622B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/313,368 US9182815B2 (en) 2011-12-07 2011-12-07 Making static printed content dynamic with virtual data
US13/346,674 US9229231B2 (en) 2011-12-07 2012-01-09 Updating printed content with personalized virtual data

Publications (2)

Publication Number Publication Date
TW201337725A true TW201337725A (zh) 2013-09-16
TWI570622B TWI570622B (zh) 2017-02-11

Family

ID=48205010

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101139309A TWI570622B (zh) 2011-12-07 2012-10-24 用個人化虛擬資料更新列印內容的方法、系統與處理器可讀非暫態儲存裝置

Country Status (5)

Country Link
US (1) US9229231B2 (zh)
CN (1) CN103092338B (zh)
HK (1) HK1183131A1 (zh)
TW (1) TWI570622B (zh)
WO (1) WO2013085927A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471145B2 (en) 2011-01-06 2016-10-18 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9423878B2 (en) * 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9465440B2 (en) 2011-01-06 2016-10-11 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9001030B2 (en) * 2012-02-15 2015-04-07 Google Inc. Heads up display
US10469916B1 (en) * 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
EP2831706B1 (en) * 2012-03-26 2018-12-26 Tata Consultancy Services Limited A multimodal system and method facilitating gesture creation through scalar and vector data
KR101871714B1 (ko) * 2012-04-02 2018-06-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9304584B2 (en) * 2012-05-31 2016-04-05 Ca, Inc. System, apparatus, and method for identifying related content based on eye movements
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9268136B1 (en) * 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body
JP6155643B2 (ja) * 2013-01-07 2017-07-05 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9563283B2 (en) * 2013-08-06 2017-02-07 Inuitive Ltd. Device having gaze detection capabilities and a method for using same
CN103475893B (zh) * 2013-09-13 2016-03-23 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
ITMI20131527A1 (it) * 2013-09-17 2015-03-18 Menci Software S R L Dispositivo chirurgico di visualizzazione
US20150100321A1 (en) * 2013-10-08 2015-04-09 Naviscent, LLC Intelligent state aware system control utilizing two-way voice / audio communication
KR102154912B1 (ko) 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
US20150102981A1 (en) * 2013-10-11 2015-04-16 Microsoft Corporation Eye tracking
US9720559B2 (en) 2013-10-14 2017-08-01 Microsoft Technology Licensing, Llc Command authentication
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
CN103942443B (zh) * 2014-04-28 2018-07-10 北京智谷睿拓技术服务有限公司 信息处理方法及装置
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
US10375382B2 (en) * 2014-09-15 2019-08-06 Dmitry Gorilovsky System comprising multiple digital cameras viewing a large scene
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10146998B2 (en) * 2015-02-13 2018-12-04 Halliburton Energy Services, Inc. Distributing information using role-specific augmented reality devices
US9503687B2 (en) * 2015-03-24 2016-11-22 Fuji Xerox Co., Ltd. Personalized meeting event capture using egocentric tracking in smart spaces
MY196525A (en) * 2015-04-01 2023-04-18 Osseiran Ali Sami Bek Prayer Device
US9355499B1 (en) 2015-04-20 2016-05-31 Popcards, Llc Augmented reality content for print media
US9171404B1 (en) 2015-04-20 2015-10-27 Popcards, Llc Augmented reality greeting cards
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
CN106405840A (zh) * 2016-10-31 2017-02-15 沈阳工业大学 具有导航功能的头盔式增强现实眼镜
CN106530393B (zh) * 2016-11-07 2019-04-19 广东电网有限责任公司佛山供电局 一种新型标示牌制作方法及装置
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10866631B2 (en) 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
US20180247712A1 (en) 2017-02-24 2018-08-30 Masimo Corporation System for displaying medical monitoring data
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US11841917B2 (en) * 2017-03-07 2023-12-12 Enemy Tree LLC Digital multimedia pinpoint bookmark device, method, and system
WO2018170409A1 (en) * 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
KR102559598B1 (ko) 2017-05-08 2023-07-25 마시모 코오퍼레이션 동글을 이용하여 의료 시스템을 네트워크 제어기에 페어링하기 위한 시스템
US10796484B2 (en) * 2017-06-14 2020-10-06 Anand Babu Chitavadigi System and method for interactive multimedia and multi-lingual guided tour/panorama tour
US10555781B2 (en) * 2017-11-15 2020-02-11 Stryker Corporation High bandwidth and low latency hybrid communication techniques for a navigation system
CN108269230A (zh) * 2017-12-26 2018-07-10 努比亚技术有限公司 证件照生成方法、移动终端及计算机可读存储介质
US20190235246A1 (en) * 2018-01-26 2019-08-01 Snail Innovation Institute Method and apparatus for showing emoji on display glasses
US20190235621A1 (en) * 2018-01-26 2019-08-01 Snail Innovation Institute Method and apparatus for showing an expression of how an object has been stared at in a displayed video
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) * 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10536666B1 (en) * 2019-01-22 2020-01-14 Facebook Technologies, Llc Systems and methods for transmitting aggregated video data
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
JP7310346B2 (ja) * 2019-06-18 2023-07-19 セイコーエプソン株式会社 印刷システム、印刷方法、情報処理装置、及び、情報処理プログラム
KR20220045166A (ko) * 2019-08-09 2022-04-12 라이트 필드 랩 인코포레이티드 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템
TWI759955B (zh) 2020-11-10 2022-04-01 財團法人工業技術研究院 通訊系統及其方法
CN112668467B (zh) * 2020-12-25 2023-11-07 华中师范大学 行为分析方法、装置、电子设备及存储介质
US20220318549A1 (en) * 2021-03-31 2022-10-06 Arm Limited Systems, devices, and/or processes for dynamic surface marking
CN114818992B (zh) * 2022-06-23 2022-09-23 成都索贝数码科技股份有限公司 图像数据解析方法、场景估计方法、3d融合方法

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781913A (en) 1991-07-18 1998-07-14 Felsenstein; Lee Wearable hypermedium system
JPH07177442A (ja) 1992-12-25 1995-07-14 Olympus Optical Co Ltd 顔面または頭部装着型ディスプレイ装置
US6266057B1 (en) 1995-07-05 2001-07-24 Hitachi, Ltd. Information processing system
CN100452071C (zh) 1995-02-13 2009-01-14 英特特拉斯特技术公司 用于安全交易管理和电子权利保护的系统和方法
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
JP3695595B2 (ja) 1996-05-14 2005-09-14 株式会社リコー Ｊａｖａ対応型プリンタ
US5954515A (en) 1997-08-20 1999-09-21 Ithaca Media Corporation Printed book augmented with associated electronic data
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6985452B2 (en) 1998-06-11 2006-01-10 Nuworld Marketing Ltd. Wireless system for broadcasting, receiving, storing and selectively printing coupons and the like in a retail environment
KR20000032647A (ko) 1998-11-17 2000-06-15 정선종 3차원 독서 지원 시스템 및 방법
US7173722B1 (en) * 1999-05-25 2007-02-06 Silverbrook Research Pty Ltd Method and system for printing a photograph
AUPQ439299A0 (en) 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
EP1060772B1 (en) 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
US6466975B1 (en) 1999-08-23 2002-10-15 Digital Connexxions Corp. Systems and methods for virtual population mutual relationship management using electronic computer driven networks
US6408257B1 (en) 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
NZ518774A (en) * 1999-10-22 2004-09-24 Activesky Inc An object oriented video system
JP2001154637A (ja) 1999-11-24 2001-06-08 Olympus Optical Co Ltd 頭部装着型表示装置
JP3363861B2 (ja) 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
WO2001067214A2 (en) 2000-03-03 2001-09-13 Merinta, Inc. System and method for tracking user interaction with a graphical user interface
US20030043144A1 (en) 2000-04-18 2003-03-06 Pundarika Eshwarahalli Sundararajan Organizing and interactively accessing information
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US20040008368A1 (en) 2001-09-07 2004-01-15 Plunkett Michael K Mailing online operation flow
JP2003099545A (ja) 2001-09-25 2003-04-04 Sharp Corp 教科書配布装置，教科書配布システム，教科書配布方法，教科書配布プログラム，教科書配布プログラムを記録した記録媒体および教科書表示システム
JP2003114780A (ja) 2001-10-04 2003-04-18 Seiko Epson Corp 画像出力時のレイアウト制御
US20030080995A1 (en) 2001-10-12 2003-05-01 United Virtualities, Inc. Contextually adaptive web browser
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP4627962B2 (ja) 2002-10-11 2011-02-09 共同印刷株式会社 データベースパブリッシング方法及びその装置
US7774075B2 (en) 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
ES2285404T3 (es) 2003-01-03 2007-11-16 Sachsisches Druck- Und Verlagshaus Ag Personalizacion de productos de impresion, particularmente de periodicos/revistas en la venta de suscripciones.
US7848573B2 (en) 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US20050214730A1 (en) 2004-03-24 2005-09-29 Rines Robert H Method of and apparatus for supplementing the reading of selected passages of printed material in a book or the like by electronically reading coded indicia provided in the book at such passages to access the playing of corresponding coded tracks of pre-recorded video/audio supplemental material respectively related to the selected passages
US6947219B1 (en) 2004-06-02 2005-09-20 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system for displaying digital contents and device for realizing the system
US20070104036A1 (en) 2004-07-26 2007-05-10 Novus Concepts Limited Interactive Printed Material and Sensor Apparatus
WO2006012678A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US9713342B2 (en) 2004-08-25 2017-07-25 Decopac, Inc. Online decorating system for edible products
US7907200B2 (en) 2004-09-15 2011-03-15 Pioneer Corporation Seamless image viewing system and method
US20070093169A1 (en) 2005-10-20 2007-04-26 Blaszczyk Abbey C Interactive book and toy
JP2007200261A (ja) 2006-01-26 2007-08-09 Masaki Yamaji メガネ型ディスプレイによる映像情報検索システム
JP2007214964A (ja) 2006-02-10 2007-08-23 Konica Minolta Photo Imaging Inc 映像表示装置
US20070226321A1 (en) 2006-03-23 2007-09-27 R R Donnelley & Sons Company Image based document access and related systems, methods, and devices
WO2007141588A1 (en) 2006-06-02 2007-12-13 Nokia Corporation Split exit pupil expander
US8907866B2 (en) 2006-09-13 2014-12-09 Nikon Corporation Head mount display
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
US20080266323A1 (en) 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
KR20090036183A (ko) 2007-10-09 2009-04-14 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
JP2009245392A (ja) 2008-03-31 2009-10-22 Brother Ind Ltd ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
KR100974900B1 (ko) 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
KR20110128322A (ko) 2009-03-03 2011-11-29 디지맥 코포레이션 공공 디스플레이들로부터의 내로우캐스팅과, 관련 처리방식들
US8447066B2 (en) * 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US20120188279A1 (en) 2009-09-29 2012-07-26 Kent Demaine Multi-Sensor Proximity-Based Immersion System and Method
US8355678B2 (en) 2009-10-07 2013-01-15 Oto Technologies, Llc System and method for controlling communications during an E-reader session
JP2013511214A (ja) 2009-11-10 2013-03-28 ダルセッタ・インコーポレイテッド 電子視覚作品のためのサウンドトラックの動的音声再生
US20110141511A1 (en) 2009-12-11 2011-06-16 Milanski John G Printer Settings Customization Mechanism
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US20110167350A1 (en) 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US20110181497A1 (en) 2010-01-26 2011-07-28 Roni Raviv Object related augmented reality play system
KR101096392B1 (ko) 2010-01-29 2011-12-22 주식회사 팬택 증강 현실 제공 시스템 및 방법
US20110205148A1 (en) 2010-02-24 2011-08-25 Corriveau Philip J Facial Tracking Electronic Reader
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9513716B2 (en) 2010-03-04 2016-12-06 Autodesk, Inc. Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector
US20110261030A1 (en) 2010-04-26 2011-10-27 Bullock Roddy Mckee Enhanced Ebook and Enhanced Ebook Reader
US8751049B2 (en) 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
TWI510961B (zh) * 2010-05-31 2015-12-01 Univ Nat Taiwan 頭戴式資訊顯示裝置
US20120001923A1 (en) 2010-07-03 2012-01-05 Sara Weinzimmer Sound-enhanced ebook with sound events triggered by reader progress
US8626236B2 (en) 2010-10-08 2014-01-07 Blackberry Limited System and method for displaying text in augmented reality
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
GB2489454A (en) 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028560A1 (en) 2011-08-19 2013-02-28 Strategic Content Imaging Systems, methods, and computer-readable media for the triggering of location-aware content via print-based input controls
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US8996510B2 (en) * 2011-08-23 2015-03-31 Buckyball Mobile, Inc. Identifying digital content using bioresponse data
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
JP5539280B2 (ja) 2011-09-07 2014-07-02 キヤノン株式会社 データ処理装置、データ処理方法およびプログラム
US20130076788A1 (en) * 2011-09-26 2013-03-28 Eyeducation A. Y. Ltd Apparatus, method and software products for dynamic content management
US8736893B2 (en) 2011-09-29 2014-05-27 Hewlett-Packard Development Company, L.P. Reduction of pattern glare
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US10264102B2 (en) * 2011-11-03 2019-04-16 Aaron Nahumi System, methods and computer readable medium for augmented personalized social network

Also Published As

Publication number Publication date
US9229231B2 (en) 2016-01-05
CN103092338A (zh) 2013-05-08
WO2013085927A1 (en) 2013-06-13
TWI570622B (zh) 2017-02-11
CN103092338B (zh) 2016-07-06
HK1183131A1 (zh) 2013-12-13
US20130147838A1 (en) 2013-06-13

Similar Documents

Publication Publication Date Title
TWI570622B (zh) 用個人化虛擬資料更新列印內容的方法、系統與處理器可讀非暫態儲存裝置
US9183807B2 (en) Displaying virtual data as printed content
US9182815B2 (en) Making static printed content dynamic with virtual data
US11747618B2 (en) Systems and methods for sign language recognition
US20240004934A1 (en) Multi-modal virtual experiences of distributed content
US9583032B2 (en) Navigating content using a physical object
US10228895B2 (en) Image display device, image display method, and computer program
CN103123578B (zh) 将虚拟数据显示为打印的内容
US20140127667A1 (en) Learning system
US20180137358A1 (en) Scene image analysis module
Brun et al. CARTON project: do-it-yourself approach to turn a smartphone into a smart eyewear
Churchill et al. Emerging possibilities for design of digital Resources for learning
Carmigniani Augmented reality methods and algorithms for hearing augmentation
Poláček User interface concept for smart glasses
AlKassim et al. Sixth sense technology: Comparisons and future predictions
Halonen Interaction Design Principles for Industrial XR
Akpınar Context-Aware Prediction of User Performance Problems Caused by the Situationally-Induced Impairments and Disabilities
Hoffman et al. Makers of Their Own and Others’ Worlds: The Construction of Solo Travel Female Influencers
Axelsen et al. Diminishing the barrier between physical and virtual objects
Jayant Non-Visual Mainstream Smartphone Camera Interactions for Blind and Low-Vision People
FJ et al. Project Deliverable 2.2

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees