TW201331787A - 將虛擬資料顯示為列印的內容 - Google Patents

Abstract

本發明涉及將虛擬資料顯示為列印的內容。本技術提供了用於由透視、近眼、混合現實顯示裝置系統將虛擬資料顯示為列印的內容的各實施例。與顯示裝置系統的視野中的閱讀物件配準的一或多個文學內容項以列印版面特徵來顯示。若來自每一者文學內容項的發佈者的列印版面特徵可用，則選擇該列印版面特徵。閱讀物件具有類型，如雜誌、書籍、報刊或報紙，並且可以是現實物件或由顯示裝置系統所顯示的虛擬物件。虛擬物件的閱讀物件類型基於與要顯示的文學內容項相關聯的閱讀物件類型。與文學內容項配準的虛擬擴充資料回應於偵測到影像資料中的使用者實體動作來顯示。實體動作的一個實例是頁翻動姿勢。

Description

將 虛擬資料顯示為列印的內容 【相關申請案之交叉引用】

本申請案主張於2011年12月7日提出申請的標題為「Making Static Printed Content Dynamic with Virtual Data」之美國專利申請案第13/313,368號之部份連續案的優先權，該等部份連續案的發明者相同，該申請案以引用之方式併入本文。

本申請案主張標題為「Updating Printed Content with Personalized Virtual Data」之美國專利申請案第號之部份連續案的優先權，該等部份連續案的發明者相同，該申請案以引用之方式併入本文。

本發明涉及將虛擬資料顯示為列印的內容。

靜態的列印的材料可以被認為是一種形式的唯讀記憶體，該記憶體不需要電力並且以對人眼可見的形式來儲存該材料的資料。超過一千年的牛皮紙文字存活至今。列印材料的實體本質允許使用者例如藉由翻看雜誌的頁面並查看雜誌中的照片或吸引人的標題來在實體上篩選資料以尋 找「感興趣的內容」。當然，由於對於實體的書、期刊和論文之頁面上的資訊的永久設置，該等實體的書、期刊和論文亦具有劣勢。

混合現實是一種允許將虛擬影像與現實世界視圖相混合的技術。使用者可佩戴透視、近眼、混合現實顯示裝置來觀看使用者的視野中所顯示的現實物件和虛擬物件的混合影像。諸如頭戴式顯示(HMD)設備之類的近眼混合現實顯示裝置系統顯示閱讀物件上的文學內容。文學內容指的是供閱讀的文學作品。文學作品可包括伴隨該文學作品文字的影像資料。文學內容可被發表或者如某人的課堂筆記或備忘錄一樣不被發表。

閱讀物件可以是在其上列印或手寫文學內容的材料的現實物件，如裝訂的或未裝訂的一或多頁紙。頁面可以是空白的或者該頁面上印有如行或文字之類的內容。一或多個文學內容項可與被書寫或被印記的頁面上的不透明背景一起顯示。現實閱讀物件的另一特徵是現實閱讀物件能夠被握在人手中並且由手和/或手指來操縱。閱讀物件亦可以是虛擬物件。被請求顯示的文學內容被顯示成具有列印的內容的外觀。無論是現實的還是虛擬的，一種類型的閱讀物件的某些實例是一頁紙、未裝訂的多頁紙、書、報紙、雜誌和報刊。

本發明技術提供一種使用透視、近眼、混合現實顯示裝置來將虛擬資料顯示為列印的內容的方法的實施 例。該方法包括以下步驟：接收要顯示與透視、近眼、混合現實顯示裝置系統的視野中的閱讀物件配準的一或多個文學內容項的請求，以及為該一或多個文學內容項中的每一者選擇列印版面特徵，該一或多個文學內容項與視野中的閱讀物件配準地以各自的列印版面特徵被顯示。

本發明技術提供一種用於將虛擬資料顯示為列印的內容的透視、近眼、混合現實顯示裝置系統的系統的實施例。該系統包括由支撐結構定位的透視顯示器。支撐結構的一個實例是框架。至少一個面向外的相機被定位在支撐結構上以攫取該透視顯示器的視野的影像資料。一或多個軟體控制的處理器通訊地與至少一個面向外的相機耦合以便接收視野的影像資料，並且亦能夠存取包括文學內容項的內容、列印版面特徵以及虛擬擴充資料的一或多個資料儲存。一或多個軟體控制的處理器為一或多個文學內容項中的每一者從一或多個資料儲存中選擇列印版面特徵。至少一個影像產生單元在光學上耦合至透視顯示器並且在通訊上耦合至一或多個軟體控制的處理器，該一或多個軟體控制的處理器使得影像產生單元與視野中的閱讀物件配準地用一或多個文學內容項的相應的所選列印版面特徵來顯示一或多個文學內容項。

下文論述的文學內容以及擴充虛擬資料是顯示裝置產生的、以便使用者在佩戴近眼顯示器時看見的影像資料。此種影像資料亦被稱為虛擬資料，因為此種影像資料不如用墨水列印在頁面上的現實文字一般來顯示。虛擬資料 可以是二維的(2D)或三維的(3D)。與另一物件配準的虛擬物件或虛擬資料意思是：該虛擬物件追蹤該虛擬物件在透視顯示裝置的視野中、參考於或取決於其他物件(可以是現實的或虛擬的)的位置的位置。

該技術提供一或多個處理器可讀取儲存裝置的實施例，該儲存裝置具有編碼於該儲存裝置上的指令，該等指令致使一或多個處理器執行一種用於使用透視、近眼、混合現實顯示裝置系統來將虛擬資料顯示為列印的內容的方法。該方法包括以下步驟：接收要顯示與透視、近眼、混合現實顯示裝置系統的視野中的閱讀物件配準的一或多個文學內容項的請求，以及為該一或多個文學內容項中的每一者選擇列印版面特徵，該一或多個文學內容項與視野中的閱讀物件配準地以各自的列印版面特徵被顯示。該方法亦包括以下步驟：回應於實體動作使用者輸入來顯示與一或多個文學內容項中的至少一者配準的虛擬擴充資料。

實體動作使用者輸入是由使用者使用身體部位執行的且在影像資料中攫取的動作。實體動作表示導引應用程式的操作的資料或命令。實體動作的某些實例是使用者產生的姿勢、眼睛注視以及聲音或語音。

提供本發明內容以便以簡化形式介紹將在以下具體實施方式中進一步描述的一些概念。本發明內容並非意欲識別所主張之標的的關鍵特徵或必要特徵，亦不意欲用於幫助決定所主張之標的的範圍。

2‧‧‧頭戴式顯示裝置

4‧‧‧處理單元、行動設備

6‧‧‧線

7‧‧‧顯示器

8‧‧‧透視、混合現實顯示系統

12‧‧‧計算系統、電腦系統

14‧‧‧光學系統

14r‧‧‧右眼系統

50‧‧‧通訊網路

54‧‧‧計算環境

102‧‧‧框架的鏡腿或側臂

102r‧‧‧右鏡腿

104‧‧‧鼻樑架部分

110‧‧‧麥克風

112‧‧‧光導光學元件

113‧‧‧相機

113₁‧‧‧相機

113r‧‧‧相機

114‧‧‧不透明度濾光器

115‧‧‧框架

116‧‧‧透視透鏡

118‧‧‧透視透鏡

120‧‧‧微顯示器

122‧‧‧透鏡

123‧‧‧波長選擇濾光器

124‧‧‧第一反射表面

125‧‧‧波長選擇濾光器

126‧‧‧反射元件

128‧‧‧感測器

130‧‧‧耳機

132‧‧‧定向感測器

134A‧‧‧照明源

134B‧‧‧IR感測器、眼睛追蹤相機

136‧‧‧控制電路

137‧‧‧無線收發機

138‧‧‧溫度感測器

140‧‧‧眼睛

142‧‧‧箭頭、光軸

144‧‧‧收發機

161‧‧‧系統

166₁‧‧‧應用程式

166_N‧‧‧應用程式

179‧‧‧存在狀態規則

190‧‧‧作業系統

191‧‧‧影像和音訊處理引擎

192‧‧‧物件辨識引擎

193‧‧‧姿勢辨識引擎

194‧‧‧聲音辨識引擎

195‧‧‧虛擬資料引擎

196‧‧‧眼睛追蹤軟體

197‧‧‧使用者簡檔資料

197₁‧‧‧本端複本

197_N‧‧‧使用者簡檔資料、本端複本

198‧‧‧設備資料

199‧‧‧影像和音訊資料緩衝器

200‧‧‧結構資料

201‧‧‧元資料

202‧‧‧虛擬列印內容應用程式

203‧‧‧搜尋引擎

204‧‧‧資訊推送服務引擎

204₁‧‧‧推送服務應用程式

204_N‧‧‧推送服務應用程式

205‧‧‧虛擬擴充資料

206‧‧‧版面規則

207‧‧‧資源資料儲存、發佈者資料庫

209‧‧‧資源資料儲存、資源

210‧‧‧處理單元、使用者內容選擇描述性資料、作品

211‧‧‧資料庫

212‧‧‧列印內容項版本識別符

213‧‧‧資料庫

214‧‧‧列印內容選擇位置資料

215‧‧‧資料庫

216‧‧‧作品版本識別符

218‧‧‧作品版本位置資料、作品版本位置

220‧‧‧作品識別符

222‧‧‧作品位置資料

230‧‧‧步驟

232‧‧‧步驟

234‧‧‧步驟

239‧‧‧電源

242‧‧‧步驟

244‧‧‧步驟

246‧‧‧步驟

248‧‧‧步驟

252‧‧‧步驟

254‧‧‧步驟

256‧‧‧步驟

262‧‧‧步驟

264‧‧‧步驟

266‧‧‧步驟

268‧‧‧步驟

270‧‧‧步驟

272‧‧‧步驟

274‧‧‧步驟

276‧‧‧步驟

278‧‧‧步驟

280‧‧‧步驟

292‧‧‧步驟

294‧‧‧步驟

296‧‧‧步驟

298‧‧‧步驟

302‧‧‧步驟

304‧‧‧步驟

306‧‧‧步驟

308‧‧‧步驟

310‧‧‧步驟

312‧‧‧步驟

314‧‧‧步驟

320‧‧‧報紙頭版

322‧‧‧頭條

324‧‧‧文章

326‧‧‧照片

328‧‧‧照片說明

330‧‧‧頁連接器

334‧‧‧署名

336‧‧‧文章

338‧‧‧頁連接器

340‧‧‧標題

342‧‧‧署名

344‧‧‧第三篇文章、新聞服務文章

346‧‧‧新聞服務名稱

354‧‧‧步驟

355‧‧‧步驟

356‧‧‧步驟

357‧‧‧步驟

358‧‧‧步驟

359‧‧‧步驟

360‧‧‧步驟

361‧‧‧步驟

362‧‧‧步驟

363‧‧‧步驟

364‧‧‧步驟

365‧‧‧步驟

366‧‧‧步驟

367‧‧‧步驟

368‧‧‧步驟

369‧‧‧步驟

370‧‧‧步驟

371‧‧‧步驟

372‧‧‧步驟

373‧‧‧步驟

374‧‧‧步驟

375‧‧‧步驟

376‧‧‧步驟

377‧‧‧步驟

378‧‧‧步驟

379‧‧‧步驟

380‧‧‧步驟

381‧‧‧步驟

382‧‧‧步驟

390‧‧‧步驟

391‧‧‧步驟

392‧‧‧步驟

393‧‧‧步驟

394‧‧‧步驟

395‧‧‧步驟

396‧‧‧步驟

397‧‧‧步驟

398‧‧‧步驟

400‧‧‧步驟

401‧‧‧步驟

402‧‧‧步驟

404‧‧‧步驟

406‧‧‧步驟

408‧‧‧步驟

411‧‧‧閱讀物件

481I‧‧‧線

482I‧‧‧縮略圖

483‧‧‧代表性翻動頁面

485I‧‧‧大拇指

484‧‧‧頁面

486‧‧‧縮略圖

704₁‧‧‧線條

704r‧‧‧線條

800‧‧‧計算設備

802‧‧‧處理單元

804‧‧‧記憶體

805‧‧‧揮發性記憶體

806‧‧‧虛線

807‧‧‧非揮發性記憶體

808‧‧‧可移除儲存裝置

810‧‧‧不可移除儲存裝置

812‧‧‧通訊連接

814‧‧‧輸入裝置

816‧‧‧輸出設備

900‧‧‧行動設備

902‧‧‧天線

906‧‧‧電路

908‧‧‧紅外發射器/接收器

910‧‧‧記憶體

912‧‧‧微處理器

914‧‧‧移動/定向感測器

916‧‧‧響鈴器/振動器

918‧‧‧生物測定感測器系統

920‧‧‧揚聲器

921‧‧‧光感測器

922‧‧‧麥克風

924‧‧‧相機

927‧‧‧溫度感測器

930‧‧‧應用程式

940‧‧‧非揮發性儲存元件

960‧‧‧通訊通道

963‧‧‧通訊通道

965‧‧‧GPS接收器

1010‧‧‧記憶體

圖1A是圖示透視、混合現實顯示裝置系統的一個實施例的示例元件的方塊圖。

圖1B是圖示透視、混合現實顯示裝置系統的另一實施例的示例元件的方塊圖。

圖1C是圖示將行動設備用作處理單元的透視、混合現實顯示裝置系統的另一實施例的示例元件的方塊圖。

圖2A是被具體化為提供對硬體和軟體元件的支援的眼鏡的透視、混合現實顯示裝置的實施例中的鏡架的鏡腿的側視圖。

圖2B是透視、近眼、混合現實設備的顯示光學系統的實施例的俯視圖。

圖3是從軟體角度來看的用於經由透視、混合現實顯示裝置系統來提供混合現實使用者介面的系統的方塊圖，用於將虛擬資料顯示為列印的內容的軟體可在該透視、混合現實顯示裝置系統中操作。

圖4A圖示使用者內容選擇元資料記錄的實例。

圖4B圖示交叉引用的列印的與媒體相關(medium-dependent)的和與媒體無關(medium-independent)的內容資料儲存的實例。

圖5是用於將虛擬資料顯示為列印的內容的方法的實施例的流程圖。

圖6A是用於選擇視野中的閱讀物件的方法的 實施例的流程圖。

圖6B是一種用於與視野中的閱讀物件配準地用一或多個文學內容項的各自的列印版面特徵來顯示一或多個文學內容項的方法的實施例的流程圖。

圖7A是為一或多個文學內容項中的每一者選擇列印版面特徵的實現實例的流程圖。

圖7B是基於儲存的版面規則來產生包括一或多個文學內容項的一或多個頁面配置的實現程序的實例的流程圖。

圖7C是用於圖7B的程序的用於產生一組文學內容項的一或多個頁面配置的程序的實現的實例的流程圖。

圖8是用包括帶有發佈者和所指定的列印版面特徵的文學內容項的頁面配置在視野中顯示的頁面的實例。

圖9A是用於回應於實體動作使用者輸入來顯示與一或多個文學內容項中的至少一者配準的虛擬擴充資料的方法的實施例的流程圖。

圖9B是用於回應於實體動作使用者輸入來顯示與一或多個文學內容項中的至少一者配準的虛擬擴充資料的方法的另一實施例的流程圖。

圖10A是用於基於使用者簡檔資料來從可用虛擬擴充資料中選擇虛擬擴充資料的程序的實現實例的流程圖。

圖10B是用於執行以下任務的方法的實施例 的流程圖，該任務允許使用者在文學內容項中用一或多個其他詞來取代至少一個詞。

圖11A是用於識別使用者的眼睛選擇使用者內容選擇的至少一個實體動作的程序的實現實例的流程圖。

圖11B是用於識別使用者的眼睛選擇使用者內容選擇的至少一個實體動作的程序的另一實現示例的流程圖。

圖11C是用於識別選擇使用者內容選擇的姿勢的至少一個實體動作的程序的實現示例的流程圖。

圖12是用於決定虛擬擴充資料相對於閱讀物件的頁面的放置的程序的實現示例的流程圖。

圖13A是用於用虛擬擴充資料來擴充文學內容項的虛擬副本中的使用者選擇並且保存虛擬擴充資料以便撷取文學內容項的任何其他副本的方法的實施例的流程圖。

圖13B是用於為具有不同版面特徵的文學內容項的另一副本顯示所儲存的為該文學內容項的虛擬副本中的使用者選擇而鍵入的擴充資料的方法的實施例的流程圖。

圖14A圖示頁面翻動姿勢的大拇指的起始位置的實例。

圖14B圖示包括頁面上的虛擬擴充資料的縮略圖的被翻動的頁面的實例以及大拇指的結束位置的實例。

圖14C圖示頁面翻動姿勢的大拇指的另一起始位置的實例。

圖14D圖示包括頁面上的虛擬擴充資料的縮 略圖的被翻動的頁面的另一實例以及大拇指的結束位置的另一實例。

圖15是可用於實現網路可存取的計算系統的計算系統的一個實施例的方塊圖。

圖16是可以在本技術的各實施例中操作的示例性行動設備的方塊圖。

本技術提供了用於由透視、近眼、混合現實顯示裝置系統將虛擬資料顯示為列印的內容的各實施例。如上所述，在某些實施例中，透視顯示裝置系統識別現實閱讀物件，如現實的一片紙、筆記本、現實的書、雜誌、報紙或其上列印供閱讀文學內容的文字的其他現實材料。物件辨識軟體可從由位於顯示裝置系統上的面向前方的相機攫取的影像資料中識別現實閱讀物件，以攫取與當經由顯示裝置查看時的使用者視野近似的顯示裝置的視野中的物件。在某些實例中，現實閱讀物件是空白的，如空白的一片紙，並且文學內容項的內容被顯示為如列印在該物件上一樣。例如，空白的紙片現在作為包括文學內容項的至少一部分的列印的頁面出現在顯示器中。由於現實閱讀物件可能是不可用的，所以虛擬閱讀物件亦可被顯示為閱讀物件。閱讀物件的顯示常常回應於使用者實體動作來更新以便顯示虛擬擴充資料，虛擬擴充資料的某些實例是互動式內容、使用者產生的註釋，以及來自與使用者所聚焦的文學內容項的選擇有關的使用者搜尋請求的資料。

在某些情況下，眼睛注視資料識別使用者正聚焦於視野中的何處，並且能夠因此識別使用者正在看文學內容項的哪一部分。在文學內容項的一部分上的注視持續時間可將該部分識別為使用者內容選擇。注視持續時間是使用身體部位的使用者的實體動作的實例。由使用者身體部位(諸如，手或手指)執行並被攫取在影像資料中的姿勢亦是實體動作使用者輸入的實例。眨眼或眼睛的眨動序列亦可以是姿勢。手、手指或其他身體部位的指向或特定移動姿勢亦可指示使用者內容選擇，諸如單詞、句子、段落或照片。使用者產生的聲音命令(諸如，語音命令)亦可以被認為是指示使用者輸入的實體動作的實例。基於聲音的動作通常伴隨諸如姿勢和眼睛注視等其他實體動作。

一旦使用者選擇了圖片或文字，則可執行關於使用者內容選擇的不同任務或應用程式，如用互動式遊戲和全息圖進行擴充、用使用者朋友的名字和相關聯的位置來取代角色和位置，以及使用三維、二維或此兩種虛擬資料的註釋

圖1A是圖示透視、增強或混合現實顯示裝置系統的實施例的示例元件的方塊圖。系統8包括作為在此實例中經由線6或者在其他實例中無線地與處理單元4進行通訊的近眼、頭戴式顯示裝置2的透視顯示裝置。在該實施例中，頭戴式顯示裝置2的框架115為眼鏡的形狀，該框架115具有針對每只眼睛的顯示光學系統14，其中影像資料被投影到使用者的眼睛中以產生影像資料的顯示，同時使用者亦經由顯示光 學系統14觀看以獲得現實世界的實際直接視圖。

使用術語「實際直接視圖」來指直接用人眼看到現實世界物件，而非看到所建立的物件的影像表示的能力。例如，透過眼鏡看房間將允許使用者得到該房間的實際直接視圖，而在電視機上查看房間的視訊不是該房間的實際直接視圖。每個顯示光學系統14亦被稱為透視顯示器，並且兩個顯示光學系統14一起亦可以被稱為透視顯示器。

框架115提供用於將該系統的各元件保持在原位的支撐結構以及用於電連接的管道。在該實施例中，框架115提供了便利的眼鏡架作為下文進一步論述的系統的各元件的支撐體。在此實施例中，框架115包括鼻樑架部分104，該鼻樑架部分104具有用於記錄聲音並傳送音訊資料的麥克風110。框架的鏡腿或側臂102位於使用者的每只耳朵上。在此實例中，右鏡腿102r包括用於顯示裝置2的控制電路136。

如圖2A和圖2B中所圖示，在該實施例中在每個鏡腿102上亦包括影像產生單元120。而且，在本視圖中未圖示但在圖2A和圖2B中圖示面向外的相機113，該相機113用於記錄數位影像和視訊並將視覺記錄傳送到控制電路136，控制電路136可進而將所攫取的影像資料發送到處理單元4，處理單元4亦可經由網路50將該資料發送到一或多個電腦系統12。

處理單元4可以採取各種實施例。在一些實施例中，處理單元4是可佩戴在使用者的身體(例如，腕)上的單獨單元，或者可以是諸如圖1C中圖示的所示行動設備4之類 的單獨設備。處理單元4可經由通訊網路50與一或多個計算系統12有線地或無線地(例如，WiFi、藍芽、紅外、RFID傳輸、無線通用序列匯流排(WUSB)、蜂巢、3G、4G或其他無線通訊裝置)通訊，無論位於附近還是位於遠端位置。在其他實施例中，處理單元4的功能可被整合在圖1B的顯示裝置2的軟體和硬體元件中。

可以充分利用遠端的、網路可存取電腦系統12來處理電力和遠端資料存取。應用程式可在計算系統12上執行，其中該應用程式與顯示系統8互動或為顯示系統8執行處理，或者該應用程式可以在透視、混合現實顯示系統8中的一或多個處理器上執行。圖15圖示計算系統12的硬體元件的實例。

圖1B是圖示可經由通訊網路50與其他設備通訊的透視、增強或混合現實顯示裝置系統8的另一個實施例的示例元件的方塊圖。在此實施例中，顯示裝置2的控制電路136經由無線收發機(參見圖2A中的137)經由通訊網路50與一或多個電腦系統12無線地通訊。

圖1C是將行動設備用作處理單元4的透視、混合現實顯示裝置系統的另一實施例的方塊圖。行動設備4的硬體和軟體元件(諸如，包含在智慧型電話或平板計算設備中)的實例在圖16中描述。行動設備4的顯示器7亦可顯示用於執行應用程式的資料(例如，功能表)，並且該顯示器7可以是觸摸敏感的，以接受使用者輸入。行動設備4的一些其他實例是智慧型電話、膝上型電腦或筆記型電腦以及小筆電電腦 。

圖2A是被具體化為提供對硬體和軟體元件的支援的眼鏡的透視、混合現實顯示裝置2的實施例中的框架115的鏡腿102的側視圖。面向實體環境的攝像機113位於框架115前方，該攝像機能夠攫取現實世界的視訊和靜止影像，以映射在透視顯示器的視野中並因此在使用者的視野中的現實物件。該等相機亦被稱為面向外的相機，意思是從使用者的頭部面向外。每個面向前的相機113是相對於相應的顯示光學系統14的參考點來校準的，以使得可以從相應相機113所攫取的影像資料來決定顯示光學系統14的視野。此種參考點的一個實例是相應顯示光學系統14的光軸(參見圖2B中的142)。該影像資料通常是彩色影像資料。

在許多實施例中，兩個相機113提供重疊的影像資料，從該影像資料中可以基於立體視覺決定該場景中的物件的深度資訊。在一些實例中，該相機亦可以是深度敏感相機，該深度敏感相機傳送並偵測紅外光，從紅外光可決定深度資料。該處理識別並映射使用者的現實世界視野。可以包括在頭戴式顯示裝置2上的深度感測技術的一些實例為、但不限於SONAR、LIDAR、結構化光及/或飛行時間。

控制電路136提供支援頭戴式顯示裝置2的其他元件的各種電子裝置。在該實例中，右鏡腿102r包括用於顯示裝置2的控制電路136，該控制電路包括處理單元210、處理單元210可存取的用於儲存處理器可讀取指令和資料的記憶體244、通訊地耦合到處理單元210的無線介面137，以及電源 239，該電源為控制電路136的各元件以及顯示器2的其他元件(如相機113、麥克風110和下文論述的感測器單元)提供電力。處理單元210可包括一或多個處理器，包括中央處理單元(CPU)和圖形處理單元(GPU)。

耳機130、慣性感測器132、一或多個位置或鄰近感測器144(感測器144的一些實例是GPS收發機、紅外(IR)收發機，或用於處理RFID資料的射頻收發機)位於鏡腿102內部或安裝到鏡腿102。可選的電脈衝感測器128經由眼睛移動偵測命令。在一個實施例中，慣性感測器132包括三軸磁力計132A、三軸陀螺儀132B，以及三軸加速度計132C。慣性感測器用於感測頭戴式顯示裝置2的位置、定向以及突然加速。從該等移動中，亦可以決定頭部位置。在此實施例中，在操作中使用類比信號的設備(諸如，感測器設備144、128、130和132以及下文論述的麥克風110和IR照明器134A)的每一者包括控制電路，該控制電路與數位處理單元210和記憶體244建立介面，並且為相應的設備產生並轉換類比信號。

產生表示影像的可見光的影像源或影像產生單元120安裝在鏡腿102上或鏡腿102內。在一個實施例中，影像源包括用於投射一或多個虛擬物件的影像的微顯示器120和用於將影像從微顯示器120定向到反射表面或元件124的耦合光學透鏡系統122。微顯示器120可以以各種技術實現，包括投射投影技術、微有機發光二極體(OLED)技術，或反射技術，諸如數位光處理(DLP)、矽基液晶(LCOS)，以及來自高通有限公司(Qualcomm,Inc.)的Mirasol®顯示技術。反射 表面124將光從微顯示器120定向到光導光學元件112，光導光學元件112將表示影像的光定向到使用者的眼睛。可將虛擬物件的影像資料與現實物件配準，此舉意味著當現實物件在透視顯示器14的視野中時虛擬物件追蹤該虛擬物件的位置到經由透視顯示裝置2看到的現實物件的位置。

圖2B是包括顯示光學系統14的透視、近眼、混合現實顯示裝置的一側的實施例的俯視圖。近眼顯示裝置2的框架115的一部分將圍繞顯示光學系統14以用於提供支撐和進行電連接。為了圖示頭戴式顯示裝置2中的顯示光學系統14(在該情況下是右眼系統14r)的各個元件，圍繞顯示光學系統的框架115的一部分未被圖示。

在所圖示實施例中，顯示光學系統14是整合眼睛追蹤和顯示系統。該系統包括光導光學元件112、不透明度濾光器114，以及可選的透視透鏡116和透視透鏡118。用於增強虛擬影像的對比度的不透明度濾光器114處於任選的透視透鏡116之後並與該透視透鏡116對準，用於投影來自微顯示器120的影像資料的光導光學元件112處於不透明度濾光器114之後並與該不透明度濾光器114對準，而任選的透視透鏡118處於光導光學元件112之後並與該光導光學元件112對準。下文提供光導光學元件112和不透明度濾光器114的更多細節。

光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示裝置2的使用者的眼睛140。光導光學元件112亦允許如表示顯示光學系統14r的光軸的箭頭142所圖示 一般將來自頭戴式顯示裝置2的前方的光經由光導光學元件112傳送到眼睛140，由此除接收來自微顯示器120的虛擬影像之外亦允許使用者具有頭戴式顯示裝置2的前方的空間的實際直接視圖。因此，光導光學元件112的壁是透視的。光導光學元件112包括第一反射表面124(例如，鏡面或其他表面)。來自微顯示器120的光穿過透鏡122並入射在反射表面124上。反射表面124反射來自微顯示器120的入射光以使得該光被困在波導內，在本實施例中該波導為平面波導。代表性的反射元件126表示一或多個光學元件，諸如鏡、光柵以及將表示影像的可見光從平面波導引導向使用者眼睛140的其他光學元件。

紅外照明和反射亦橫穿平面波導112以供眼睛追蹤系統134追蹤使用者眼睛的位置。使用者眼睛的位置和眼睛的影像資料一般可用於諸如注視偵測、眨眼命令偵測，以及收集指示該使用者的個人存在狀態(state of being)的生物測定資訊等應用程式。眼睛追蹤系統134包括在此實例中位於透鏡118和鏡腿102之間的眼睛追蹤照明源134A以及眼睛追蹤IR感測器134B。在一個實施例中，眼睛追蹤照明源134A可包括以大約預定IR波長或一定範圍的波長發射的一或多個紅外(IR)發射器(諸如，紅外發光二極體(LED)或雷射器(例如，VCSEL))。在一些實施例中，眼睛追蹤感測器134B可以是用於追蹤閃光位置的IR相機或IR位置敏感偵測器(PSD)。

在此實施例中將平面波導用作光導光學元件 112允許為影像產生單元120、照明源134A以及IR感測器134B靈活地放置進出波導的光路的進入和退出光學耦合。在此實施例中，波長選擇濾光器123使來自反射表面124的可見光譜光通過並且將來自眼睛追蹤照明源134A的紅外波長照明引導到平面波導112中，波長選擇濾光器125使來自微顯示器120的可見照明和來自源134A的IR照明以向鼻樑架104的方向前進的光學路徑穿過。在此實例中的反射元件126亦表示實現了雙向紅外(IR)濾光的一或多個光學元件，該雙向紅外(IR)濾光將IR照明導向眼睛140(較佳地以光軸142為中心)並從使用者眼睛140接收IR反射。除了上面提到的光柵等等之外，亦可使用一或多個熱鏡(hot mirror)來實現紅外濾光。在本實例中，IR感測器134B亦光學地耦合到波長選擇濾光器125，波長選擇濾光器125僅將來自波導的紅外輻射(包括使用者眼睛140的紅外反射，較佳地包括在光軸142周圍攫取的反射)匯出波導112並導入到IR感測器134B中。

在其他實施例中，眼睛追蹤單元光學裝置未與顯示光學裝置整合。關於HMD設備的眼睛追蹤系統的更多實例，參見於2008年7月22日頒發給Kranz等人的名稱為「Head Mounted Eye Tracking and Display System(頭戴式眼睛追蹤和顯示系統)」的美國專利7,401,920；參見Lewis等人的於2011年8月30日提出申請的名稱為「Gaze Detection in a See(-)-Through,Near(-)-Eye,Mixed Reality Display(透視、近眼、混合擴增現實顯示器中的注視偵測)」的美國專利申請第13/245,739號；及參見Bohn的於2011年9月26日提出申請 的名稱為「Integrated Eye Tracking and Display System(整合眼睛追蹤和顯示系統)」的美國專利申請第13/245,700號，所有該等申請作為引入併入在此。

用於追蹤眼睛的方向的另一實施例基於電荷追蹤。該方案基於如下觀察：視網膜攜帶可量測的正電荷並且角膜具有負電荷。在某些實施例中，感測器128安裝在使用者的耳朵附近(靠近耳機130)以偵測眼睛在轉動時的電勢並且有效地即時讀出眼睛正在進行的動作。(參見2010年2月19日的「Control your mobile music with eyeball-activated earphones！(用眼球啟動的耳機控制你的移動音樂！)」http：//www.wirefresh.com/control(-)-your(-)-mobile(-)-music(-)-with(-)-eyeball(-)-actvated(-)-headphones，經由引用將該申請案併入在此)。眨眼可作為命令被追蹤。亦可使用用於追蹤眼睛移動(諸如，眨眼)的其他實施例，該等其他實施例基於在來自裝載在眼鏡內部上的小眼睛追蹤相機134B的影像資料中進行模式和運動辨識。眼睛追蹤相機134B在控制電路136的控制下將影像資料的緩衝發送到記憶體244。

與光導光學元件112對準的不透明度濾光器114選擇性地阻擋自然光使該自然光不穿過光導光學元件112以用於增強虛擬影像的對比度。當系統為混合現實顯示器而呈現場景時，該系統注意到哪些現實世界物件處於哪些虛擬物件之前，反之亦然。若虛擬物件處於現實世界物件之前，則不透明度對於該虛擬物件的覆蓋區域而言被開啟。若虛擬物件(虛擬地)處於現實世界物件之後，則不透明度以及該 顯示區域的任何顏色皆被關閉，使得對於現實光的該相應區域而言，使用者將會僅僅看到現實世界物件。不透明度濾光器協助使虛擬物件的影像表現得更真實並且表示全範圍的顏色和強度。在該實施例中，不透明度濾光器的電控制電路(未圖示)經由路由經過框架的電連接從控制電路136接收指令。

再者，圖2A、圖2B僅圖示頭戴式顯示裝置2的一半。完整的頭戴式顯示裝置可包括另一組可選透視透鏡116和118、另一不透明度濾光器114、另一光導光學元件112、另一微顯示器120、另一透鏡系統122、面向實體環境的相機113(亦稱面向外或面向前的相機113)、眼睛追蹤元件134、耳機130，以及感測器128(若存在)。在經由引用全部包含於此的2010年10月15日提出申請的題為「Fusing Virtual Content Into Real Content(將虛擬內容融合到現實內容中)」的美國專利申請第12/905952號中圖示頭戴式顯示器2的附加細節。

圖3圖示從軟體角度來看的計算環境實施例，該計算環境實施例可由顯示裝置系統8、與該顯示裝置系統通訊的遠端計算系統12或兩者來實現。網路連通性允許充分利用可用的計算資源。計算環境54可以使用一或多個電腦系統實現。如圖3的實施例中所圖示，計算環境54的軟體元件包括與作業系統190通訊的影像和音訊處理引擎191。影像和音訊處理引擎191包括物件辨識引擎192、姿勢辨識引擎193、聲音辨識引擎194、虛擬資料引擎195以及可選的眼睛追蹤軟體 196(若使用了眼睛追蹤)，該等影像和音訊處理引擎均彼此通訊。影像和音訊處理引擎191處理從攫取設備(諸如，面向外的相機113)接收的視訊、影像和音訊資料。為了協助偵測及/或追蹤物件，影像和音訊處理引擎191的物件辨識引擎192可經由一或多個通訊網路50來存取結構資料200的一或多個資料庫。

虛擬資料引擎195處理虛擬物件並使虛擬物件的位置和定向相關於一或多個座標系配準。此外，虛擬資料引擎195使用標準影像處理方法來執行平移、旋轉、縮放和視角操作以使虛擬物件顯得逼真。虛擬物件位置可與可以是現實的或虛擬的相應物件的位置配準或取決於該物件的位置。虛擬資料引擎195決定虛擬物件的影像資料在每個顯示光學系統14的顯示座標中的位置。虛擬資料引擎195亦可決定虛擬物件在顯示裝置系統8或計算系統12的記憶體單元中所儲存的現實世界環境的各個地圖中的位置。一個地圖可以是顯示裝置相對於用於逼近使用者眼睛的位置的一或多個參考點的視野。例如，透視顯示光學系統14的光軸可被用作此種參考點。在其他實例中，現實世界環境地圖可以獨立於顯示裝置，例如，為一地點(例如，商店、咖啡店、博物館)的3D地圖或模型。

計算系統12或顯示裝置8或兩者的一或多個處理器亦執行物件辨識引擎192來識別由面向環境的相機113所攫取的影像資料中的現實物件。與在其他影像處理應用程式中一樣，人可以是一種類型的物件。例如，物件辨識引擎 192可基於結構資料200來實現模式辨識來偵測特定物件，包括人。物件辨識引擎192亦可包括臉孔辨識軟體，該臉孔辨識軟體被用來偵測特定人的面部。

結構資料200可以包括關於要追蹤的目標及/或物件的結構資訊。例如，可以儲存人類的骨架模型以幫助辨識身體部位。在另一實例中，結構資料200可以包括關於一或多個無生命物件的結構資訊以便幫助辨識該一或多個無生命物件。結構資料200可以將結構資訊作為影像資料來儲存或者將影像資料用作模式辨識的參考。影像資料亦可用於臉孔辨識。

詳言之，結構資料200包括用於識別不同類型的閱讀物件的資料。上文提及的物件辨識依賴於應用於物件的特徵的篩檢程式，如可在運動攫取檔中被識別的物件的大小、形狀和運動特徵，運動攫取檔由來自面向前方的相機113的視野影像資料產生。該等不同的特徵被加權，並且分配影像物件是閱讀物件還是其他類型的物件的概率。若概率滿足準則，則閱讀物件類型被分配給物件。

紙、書、報紙、專業報刊和雜誌具有許多標準化的特性。例如，該等紙、書、報紙、專業報刊和雜誌通常採用標準大小，例如，標準頁面大小。而且，閱讀物件的頁面形狀在形狀上往往是矩形的。紙的材料成分有所不同，但存在材料成分的標準。例如，某種級別的硬度的白色帳簿紙可幾乎不包含木料紙而新聞紙是由木料紙組成的。某些類型的紙可被漂白或不被漂白。紙的標準化材料成分具有不同 的反射率，反射率可從由面向前方的相機(在某些情況下亦可以是深度相機)所攫取的IR或色彩影像資料中量測。當使用者用至少一隻手操縱閱讀物件時，即使沒有握住閱讀物件，與手的互動亦可在影像資料中被攫取以決定特定閱讀物件的頁面移動是否匹配某種類型的閱讀物件的運動簡檔。而且，在閱讀物件上可能已經存在某些文字。文字量、在物件上的放置以及在物件上的定向亦是識別一種類型的閱讀物件的因素。

而且，如空白頁面或空白的書之類的某些閱讀物件可包括封面或頁面上的標記，該標記包括識別資料或用於從遠端執行的應用程式存取識別資料的參考識別符。用於閱讀物件的識別資料的某些實例是頁面連接側、頁面尺寸、封面尺寸、頁數，以及頁面色彩、頁面厚度、若包括線條則線條色彩和厚度。標記可以是不可見標記，如RFID標籤或IR回射標籤，IR或RFID收發器單元114可偵測該等標籤並將該等標籤發送到控制電路136的處理單元210以讀取資料以供物件辨識引擎192和虛擬列印內容應用程式202使用。標記亦可以是可見標記，該可見標記可充當如上述及之參考識別符。

為決定現實閱讀物件的某些實體特徵，如頁數，物件辨識引擎192可使得虛擬資料引擎195產生用於說明頁數的音訊或顯示對說明頁數的請求。

在另一實例中，閱讀物件本身上的某些文字可由物件辨識引擎192識別並被解析以識別實體特徵。結構資料200可包括一或多個影像資料儲存，該影像資料儲存包括數 位、符號(例如，數學符號)、來自由不同語言所使用的字母表的字母和字元的影像。此外，結構資料200可包括用於識別的使用者的手寫取樣。

例如，閱讀物件可被識別為筆記本類型的閱讀對象。筆記本通常具有多頁紙並且在封面上列印有頁面大小。筆記本亦可具有如「學院裁定」的文字，以指示該筆記本是按照規定的並且具有標準行間距。在其他實例中，物件辨識引擎192可將閱讀物件上或影像資料中的頁面內的列印文字轉換成如Unicode之類的可搜尋電腦標準文字格式並且搜尋發佈者(207)和網際網路索引的資源(209)資料儲存以便尋找如頁面大小和頁數之類的識別資料。此種本文可包括識別列印在物件上的如標題、作者、發佈者和版次之類的內容的資料。可用於識別實體特徵的其他本文是識別具體書籍的國際標準書籍號(ISBN)、識別期刊標題的國際標準序號(ISSN)，以及作為用於識別期刊的具體案卷、文章或其他可識別部分的標準的連續項和文章識別符(SICI)。基於此種識別內容的資料進行搜尋返回關於閱讀物件的實體特徵的資訊。內容本身將被所請求的文學內容覆蓋。

在物件辨識引擎192偵測到一或多個物件之後，影像和音訊處理引擎191可向作業系統190報告所偵測到的每個物件的識別以及相應的位置及/或定向，作業系統190將該識別和位置及/或定向一直傳送到諸如虛擬列印內容應用程式202等應用程式。

聲音辨識引擎194處理諸如經由麥克風110接 收的語音命令之類的音訊。

在顯示裝置系統8的實施例中，面向外的相機113結合物件辨識引擎192和姿勢辨識引擎193來實現自然使用者介面(NUI)。眼睛追蹤軟體196所識別的眨眼命令或注視持續資料亦是實體動作使用者輸入的實例。語音命令亦可對諸如姿勢和眼睛注視等所辨識的其他實體動作進行補充。

姿勢辨識引擎193可以識別出由使用者執行的、將控制或命令指示給執行中的應用程式的動作。該動作可以由使用者的身體部位(例如，在閱讀應用程式中通常為手或手指)來執行，但是眼睛的眼睛眨眼序列亦可以是姿勢。在一個實施例中，姿勢辨識引擎193包括姿勢篩檢程式的集合，每個姿勢篩檢程式皆包括關於可由骨架模型至少一部分執行的姿勢的資訊。姿勢辨識引擎193將從所攫取的影像資料中匯出的骨架模型和與該骨架模型相關聯的移動與姿勢庫中的姿勢篩檢程式進行比較來識別出使用者(由骨架模型來表示)何時執行了一或多個姿勢。在一些實例中，在與同顯示裝置系統8或計算系統12通訊的顯示裝置2相分離的現實環境中的相機(特別是深度相機)可偵測姿勢並將通知轉發到系統8、12。在其他實例中，姿勢可在相機113的視圖中由身體部位(諸如，使用者的手或一或多個手指)來執行。

在一些實例中，在姿勢訓練通訊期將影像資料與使用者的手或手指的影像模型進行匹配，而非進行用於辨識姿勢的骨架追蹤用於辨識姿勢。

關於物件的偵測和追蹤的更多資訊可在2009 年12月18日提出申請的標題為「Motion Detection Using Depth Images(使用深度影像的運動偵測)」的美國專利申請案第12/641,788號，以及標題為「Device for Identifying and Tracking Multiple Humans over Time(用於隨時間識別和追蹤多個人類的設備)」的美國專利申請案第12/475,308號中找到，此兩個申請案的全部內容經由引用併入本案。關於姿勢辨識引擎193的更多資訊可以在2009年4月13日提出申請的標題為「Gesture Recognition System Architecture(姿勢辨識系統架構)」的美國專利申請案第12/422,661號中找到，該申請案經由整體引用合併於此。關於辨識姿勢的更多資訊參見於2009年2月23日提出申請的美國專利申請案第12/391,150號「Standard Gestures(標準姿勢)」以及於2009年5月29日提出申請的美國專利申請案第12/474,655號「Gesture Tool(姿勢工具)」，此兩個申請案的全部內容皆經由引用併入本案。

計算環境54亦將資料儲存在影像和音訊資料緩衝器199中。緩衝器提供：用於接收從面向外的相機113攫取的影像資料、來自該眼睛追蹤部件134(若被使用)的眼睛追蹤相機的影像資料的記憶體，用於保持要由影像產生單元120顯示的虛擬物件的影像資料的緩衝器，以及用於經由麥克風110來自使用者的語音命令等音訊資料以及要經由耳機130發送到使用者的指令的緩衝器。

設備資料198可以包括：電腦系統8的唯一辨識碼、網路位址(例如，IP位址)、型號、配置參數(諸如，所安裝的設備)、作業系統的識別，以及什麼應用程式在 該顯示裝置系統8中可用並正在該顯示系統8中執行等等。尤其對於透視、混合現實顯示裝置系統8，該設備資料亦可包括來自感測器的或從該感測器(諸如，定向感測器132、溫度感測器138、麥克風110、電脈衝感測器128(若存在)，以及位置和鄰近收發機144)決定的資料。

在此實施例中，顯示裝置系統8和使用者所使用的其他基於處理器的系統161執行客戶端側版本的推送服務應用程式204_N，該推送服務應用程式204_N經由通訊網路50與資訊推送服務引擎204通訊。在此實施例中資訊推送服務引擎204是基於雲端的。基於雲端的引擎是在一或多個聯網電腦系統上執行並經由該一或多個聯網電腦系統儲存資料的一或多個軟體應用程式。該引擎不被束縛於特定位置。基於雲端的軟體的一些實例是社交聯網網站和基於web的電子郵件網站，諸如Yahoo！^®和Hotmail^®。使用者可向資訊推送服務引擎204註冊帳戶，該資訊推送服務引擎授予資訊推送服務監視以下資料的許可：使用者正在執行的應用程式及其產生和接收的資料以及使用者簡檔資料197，以及用於追蹤使用者的地點和設備能力的設備資料198。基於從使用者的系統8、161聚集的使用者簡檔資料、由使用者所使用的系統8、161上的正在執行的應用程式所接收和發送的資料，以及設備資料198₁、198_N中所儲存的位置和其他感測器資料，資訊推送服務204可決定使用者的實體上下文、社交上下文、個人上下文(諸如，存在狀態)或者各上下文的組合。

使用者簡檔資料的本端複本197₁、197_N可儲存 相同使用者簡檔資料197的一部分並且客戶端側推送服務應用程式204₁可經由通訊網路50週期性地用由電腦系統12儲存在可存取資料庫197中的使用者簡檔資料更新該客戶端側推送服務應用程式204₁的本端複本。使用者簡檔資料197一些實例是：使用者所表達的偏好、使用者的朋友的列表、使用者的偏好活動、使用者的最愛(使用者的最愛的實例包括最愛的顏色、最愛的食物、最愛的書、最愛的作者等)、使用者的提醒的列表、使用者的社交團體、使用者的當前位置，以及其他使用者建立的內容，諸如使用者的照片、影像和錄製的視訊。在一個實施例中，使用者特定的資訊可以從一或多個資料來源或應用程式獲得，資料來源或應用程式為諸如資訊推送服務204、使用者的社交聯網網站、連絡人或位址簿、來自日曆應用程式的排程資料、電子郵件資料、即時訊息收發資料、使用者簡檔或者網際網路上的其他源以及該使用者直接輸入的資料。如同下文論述的，存在狀態可以從眼睛資料推導得出並且可以被本端地或由遠端推送服務應用程式204更新並儲存在使用者簡檔資料197中。在此實施例中，網路可存取的存在狀態規則179將所識別的眼睛資料作為用於推導存在狀態的參考與該存在狀態相連結。

信任等級可經由使用者簡檔資料197來決定，使用者簡檔資料197將使用者認識的人識別成例如社交網路朋友和共享相同遊戲服務的家庭成員，可以基於信任等級將該等人細分為不同的團體。此外，使用者可以使用客戶端側推送服務應用程式204_N在該等使用者的使用者簡檔資料197 中顯式地識別信任等級。在一個實施例中，基於雲端的資訊推送服務引擎204聚集來自儲存在使用者的不同使用者電腦系統8、161上的使用者簡檔資料197_N的資料。

推送服務應用程式204的每個版本亦在使用者簡檔資料197中儲存該使用者的追蹤歷史。追蹤在追蹤歷史中的事件、人和物的一些實例是：所存取的地點、事務、購買的內容和現實物品、閱讀歷史、觀看歷史(包括對電視、電影和視訊的觀看)以及所偵測到的與該使用者互動過的人。若電子地識別的朋友(例如，社交網路朋友)亦向推送服務應用程式204註冊，或者該等電子地識別的朋友經由其他應用程式166使資訊對使用者可用或公開可用，則推送服務應用程式204亦可使用此資料來追蹤該使用者的內容和社交上下文。

如下文進一步論述的，虛擬列印內容應用程式202可存取一或多個搜尋引擎203以識別可用於文學內容項的列印版面特徵以及與文學內容項或文學內容項內的特定使用者內容選擇有關的虛擬擴充資料205。可在其中搜尋識別和相關虛擬資料的資源的實例被圖示為發佈者資料庫207和為網際網路搜尋而索引的文學內容相關的資源209。例如，可存取通用搜尋引擎(諸如，Bing^®或Google^®)以及用於對公眾可用或在訂閱基礎上可用(如在使用者簡檔資料中可識別的)的國會圖書館、大學圖書館或發佈者資料庫的搜尋引擎。發佈者可具有指向該等發佈者的資料庫207中的虛擬擴充資料205的指標，因為發佈者可能具有用於鼓勵為擴充該等發佈 者有著作權的材料而開發虛擬擴充資料205的訊務模型。此外，與發佈者不相關聯的實體或者希望維護他們自己的資料資源的人可能希望經由他們自己的網站(該網站是網際網路索引的資源)來使虛擬擴充資料205可用。使用者內容選擇的元資料201可用基於對發佈者和網際網路索引的資源資料儲存207、209的搜尋的值來填充。下文論述的圖4A提供了使用者內容選擇元資料記錄的實例。

一旦識別了列印版面特徵，虛擬列印內容應用程式202基於版面規則206(在該實例中被儲存在網路可存取的資料儲存裝置中)來產生下文論述的一或多個頁面版面。版面規則206實現頁面版面準則。版面規則可最初由對不同的發佈格式熟悉的圖形設計者來開發，並且被程式設計和儲存在資料庫中以便由執行虛擬列印內容應用程式202的處理單元210自動實現。準則的某些實例包括可見性準則、其上的版面特徵可調整以及不可調整的發佈者規則，以及間隔約束。某些版面規則可實現頁面上特定數量的面板或區塊，其中每一個區塊顯示相應的文學內容項以及塊的長度和寬度調整範圍。用於如書和雜誌之類的不同類型的媒體的標準化或典型的間隔約束亦可被實現為發佈者專用的間隔約束。間隔約束的某些實例可以是填到一行中的最少字數、以便文學內容項被包括在具有其他項的頁面配置中而要顯示的文學內容項或文學內容項的章節的最小百分比，以及以便被包括在頁面配置中而要完全放進頁面上的圖片或照片。該等情況僅僅是可被實現的圖形設計或版面規則的某些實例。

可見性準則的某些實例可以是視野中的文字或圖畫內容的大小。若太小或太大，內容大小可被調整到舒適的水平。現實閱讀物件的深度距離可從由3D版本的相機113攫取的IR資料或基於來自相機113的2D影像的照相量測法來決定。深度距離可指示閱讀材料太近或太遠，並且例如字體大小可被調整以適應該距離。可見性準則可基於使用者實際視力(若上傳了處方)、使用者年齡的典型視力，或基於人類的平均視力特徵。

列印的發佈的圖形設計常常導致充當源屬性的列印版面特徵，此情況意味著列印版面特徵或將發佈者或將期刊名識別為內容源。某些列印版面特徵甚至可以由商標來保護。例如，頭版和輔助標題的大小和字體可用某種報紙來廣泛地識別。另外，某些報紙使用具有實際行線條和固定大小的行的行格式，而某些報紙更多地使用文章被格式化到各個區塊中的不同大小的行中並且沒有行線條的區塊樣式。可調整特徵的某些實例是文字大小(可能在一範圍內)、某些發佈者的行間隔，以及允許內容跨頁顯示。某些發佈者約束可能不允許調整行寬度，但提供了允許改變行中字體大小的版面規則。對於書籍發佈者，頁數和字體大小可以是可調整的。

除了顯示所請求的虛擬文學內容之外，虛擬列印內容應用程式202亦可查詢一或多個搜尋引擎203以基於包括使用者內容選擇的文學內容項來搜尋使用者內容選擇的虛擬擴充資料205。在某些情況下，虛擬擴充資料205是為了 在特定的列印版上(例如，在書籍的特定頁或者列印的材料的其他細分上)擺開時與使用者內容選擇有關地出現而特別產生的資料。例如，具有儲存在其資料庫中的書籍版面的發佈者可為書籍在頁面上的預定位置處以及為特定頁面提供互動式遊戲以及其他內容。

在一些實施例中，虛擬擴充資料205與包括獨立於表達內容的媒體的使用者內容選擇的作品或作品版本相關聯。例如，紙或其他可列印材料是媒體的實例。表達作品的另一媒體是電子顯示器或音訊記錄。

在其他實例中，虛擬擴充資料205綁定到與媒體無關的作品或作品版本。例如，教授可將她在不同點處做出的她的筆記儲存在一教科書的她的虛擬副本中，以可用於該教科書的、與媒體無關的任何版本。換言之，教科書的內容是作品。該教科書的當前的、先前的和未來的版本是作品的版本。虛擬列印內容應用程式202將每個筆記連結到作品的與媒體無關的組織中的該作品的細分。例如，可將筆記連結到可經由執行用於文字匹配的軟體指令來識別的特定段落中的短語。段落是一種與媒體無關的細分，而頁面依賴於特定的列印或電子版面。教科書的具有較小列印字體和不同頁數的平裝副本與該教科書的用較大列印字體的精裝副本是不同的列印作品版本，但是該平裝副本與精裝副本包含該教科書內容的完全相同的版本並因此具有相同的作品版本。教授可經由向上她的課的學生或過去的學生授予許可和存取權來允許她的虛擬筆記可用於在她的判斷下儲存或串流傳輸給該等 學生。

回應於可用虛擬擴充資料選擇被識別，虛擬列印內容應用程式202基於儲存在可存取記憶體中的擴充資料選擇規則298來從可用虛擬擴充資料選擇的候選中選擇虛擬擴充資料，該記憶體可以是本端的，但是亦可以是網路可存取的。擴充資料選擇規則298提供了用於識別使用者簡檔資料197中與文學內容項或使用者內容選擇以及擴充資料的可用候選有關的相關使用者資料的邏輯。

圖4A圖示使用者內容選擇元資料記錄的實例，該元資料記錄包括使用者內容選擇描述性資料210、列印內容項版本識別符212、列印內容選擇位置資料214、作品版本識別符216，以及作品版本位置資料218(若適用)、作品識別符220和作品位置資料222。作品識別符220識別由與特定媒體無關的文學內容項具體化的作品。作品位置資料222按照一或多個與媒體無關的細分(諸如，段落、詩節、詩篇等)來識別使用者內容選擇的一或多個位置。可包括作品版本識別符216，以描述作品210的不同版本或版次(例如，翻譯)，亦與特定的格式或媒體無關。亦可按照一或多個與媒體無關的細分來定義作品版本位置218。文學內容項是作品或作品版本。列印內容項版本識別符212識別特定的列印版面的特定的列印版次。列印版本識別符212綁定於為紙或被實體列印的其他材料的媒體。列印內容選擇位置資料214可以按照具體的靜態列印版面位置，諸如頁面或頁面上的位置。

例如，詩「貝奧武夫(Beowulf)」是一個作 品。該詩的原始的舊英語形式是一個作品版本，如同用現代英語詞彙替換了一些單詞的是一個版本一樣。版本的另一實例是法語譯文。另一實例將是用評論做註腳的原始的舊英語詩。列印版本識別符212可識別圖書館中保存的一或多片牛皮紙上的該詩的列印版本。此列印的版本亦將具有原始的舊英語形式的作品版本識別符以及與此列印的版本相關聯的貝奧武夫的作品識別符。不同的列印內容項版本識別符212識別已列印了貝奧武夫的用在第37頁開始的評論做了註腳的版本的英語文學的選集。此不同的列印版本與該詩的原始的舊英語形式具有不同的列印內容項版本識別符212和作品版本識別符，但是具有相同的作品識別符。對於使用者所選擇的該詩的選集版本內的內容，使用者內容選擇的位置資料按照第37頁。在此情況下，同樣，作品版本位置資料218和作品位置資料222包括相同的詩節。

圖4B圖示列印的與媒體相關的和與媒體無關的內容資料儲存的實例，該等資料儲存在此處被圖示為交叉引用資料庫。該等資料庫211、213、215提供對包括內容選擇的特定版面的存取。該等版面可以與媒體無關或與媒體相關。在此實例中，列印內容項版本識別符212、作品版本識別符216或作品識別符220中的任一者可被用來交叉引用或索引到與媒體無關的作品211和作品版本資料庫213和與媒體無關的或版面特定的列印內容項資料庫215中任一者。亦識別了作品的位置資料的版面、任何作品版本以及該作品的各個列印內容項版本亦被交叉引用。同樣，與媒體無關的細分識別符的 一些實例可以是向再次被識別為作品或作品版本的文學內容項提供與媒體無關的組織的段落、詩節、詩篇等等。作品中的第80段在一個列印內容項版本中可以被交叉引用到第16頁，且在另一列印內容項版本中被交叉引用到該作品的較大印刷字體版次中的第24頁。經由列印內容項版本識別符212，開發者能夠連結到列印內容項資料庫215中的列印版本(例如，特定的版次)的列印版面。列印版面包括諸如以下事項：頁碼、頁邊界寬度、頁首和頁尾內容、字體大小、圖示和照片的位置及其在頁面上的大小，以及其他此種版面專用的資訊。

發佈者可以提供對該等發佈者有著作權的作品的資料儲存的存取，以用於識別目的並作為針對虛擬擴充資料的開發者的對該作品的版面、作品版本或列印的版本的參考。經由能夠存取作品的版面、特定作品版本和特定的列印內容項版本，開發者能夠為作品的與媒體無關和與媒體相關版本建立虛擬擴充資料205。如所圖示，資料庫211、213、215和虛擬擴充資料205可彼此交叉引用。

對於沒有著作權的作品，可以在處於圖書館(特別是具有大的收集的彼等圖書館，諸如國會圖書館、其他國家圖書館、大學以及大的公共圖書館，以及書籍編輯網站，諸如Google Books^®和由大學維護的網站)控制下的資料儲存中搜尋作品的副本、作品版本或列印的內容的版本，以獲得將參考位置資料214、218、222引用到的版面。

在以下各圖中呈現用於該技術的方法的實施 例以及該方法的一些步驟的示例實現程序。為說明目的，下文的方法實施例是在上述系統實施例的上下文中描述的。然而，該方法實施例不限於在上述系統實施例中操作，而是可以在其他系統實施例中實現。

圖5是用於將虛擬資料顯示為列印的內容的方法的實施例的流程圖。在步驟230中，虛擬列印內容應用程式202接收到要顯示與透視、近眼、混合現實顯示裝置系統的視野中的閱讀物件配準的一或多個文學內容項的請求。例如，客戶端推送服務應用程式204₁從真正簡單聚合(RSS)或另一其他格式的網際網路饋源接收到文章饋送。推送服務應用程式204、204₁的任一版本根據使用者偏好來對文章排序或分類。例如，藉由監視和儲存使用者的閱讀和媒體查看歷史，接收到的文章的元資料或文章的文字可被搜尋以與閱讀和查看歷史中的條目中的元資料進行匹配。經由基於協調性過濾或基於其他試探法的演算法，使用者感興趣的話題可被優先排序。

在步驟232中，虛擬列印內容應用程式202為一或多個文學內容項中的每一者選擇列印版面特徵。如下文所論述的，在選擇程序中，虛擬列印內容應用程式202可存取已經在文學內容項的元資料中被識別的發佈者資料儲存。若否，則可基於與文學內容項相關聯的一或多個閱讀物件來選擇預設列印版面特徵。例如，詩歌可與書、雜誌、文學雜誌和頁面的閱讀物件相關聯。另外，儘管閱讀物件可以不列在文學內容項的描述性元資料210中，亦可選擇另一類型的閱讀 物件。在步驟234中，一或多個文學內容項與視野中的閱讀物件配準地用各自的列印版面特徵來顯示234。

文學內容項的列印版面選擇和顯示受到閱讀物件本質是現實的還是虛擬的的影響。圖6A是用於選擇視野中的閱讀物件的方法的實施例的流程圖。在步驟242中，虛擬列印內容應用程式202決定是否已經偵測到指示對現實閱讀物件的使用者選擇的實體動作。此種決定可基於由物件辨識引擎192為滿足一種類型的閱讀物件的篩檢程式的物件而產生和儲存的元資料。基於實體動作的使用者選擇可基於物件相對於使用者手的位置的位置，使用者手的位置由另一物件元資料集識別，另一物件元資料集由物件辨識引擎192從來自相機113的視野影像資料中決定。對於姿勢實體動作，姿勢辨識引擎193亦可能已經識別了視野影像資料中的閱讀物件的選擇姿勢。而且，由眼睛追蹤軟體基於眼睛影像資料決定的在視野中的注視位置點、識別什麼正在顯示器上顯示的資料，以及視野影像資料亦可能已經識別了對現實閱讀物件的選擇。語音資料可單獨地使用來確認或說明選擇，但通常與姿勢或注視相結合使用來確認或說明選擇。回應於決定已經偵測到指示對現實閱讀物件的使用者選擇的實體動作，在步驟244中，虛擬列印內容應用程式202將現實閱讀物件選擇為閱讀物件。

回應於對現實閱讀物件的使用者選擇未被指示，在步驟246中，虛擬列印內容應用程式202基於與每一個所請求的文學內容項相關聯的閱讀物件類型來自動選擇虛擬 閱讀物件的閱讀物件類型。在某些實施例中，可以使用加權方案。例如，若要顯示的文學項中的一者是與書的閱讀物件類型相關聯的小說，而其他所請求的項是與獨立的紙片、書籍和一或多個類型的期刊的閱讀物件類型相關聯的詩歌，而另一者是新聞文章，則由於書整體內容的較高百分比，書的閱讀物件類型接收到指示比報紙或期刊更高的選擇概率的加權。在步驟248中，虛擬列印內容應用程式202將虛擬閱讀物件選擇為閱讀物件。

圖6B是一種用於與視野中的閱讀物件配準地用一或多個文學內容項的各自的列印版面特徵來顯示一或多個文學內容項的方法的實施例的流程圖。在步驟252中，虛擬列印內容應用程式202根據所儲存的版面規則產生一或多個頁面配置，該頁面配置包括帶有一或多個文學內容項的列印版面特徵的一或多個文學內容項，並且在步驟254中，基於透視混合現實顯示裝置系統的視野中的頁面配置來顯示一或多個頁面。在步驟256中，虛擬列印內容應用程式202回應於使用者實體動作來改變所顯示的一或多個頁面。

圖7A是為一或多個文學內容項中的每一者選擇列印版面特徵的實現實例的流程圖。出於說明性目的使用循環構造來圖示對每一個文學內容項的處理。可以使用其他處理構造。在步驟262中，虛擬列印內容應用程式202識別每一個文學內容項的與媒體無關的作品識別符以及任何適用的與媒體無關的作品版本識別符。例如，文學內容項的元資料可包括作品識別符或適用的作品版本識別符或可用作作品識 別符的諸如標題和作者之類的一或多個資料欄位。在步驟264中，虛擬列印內容應用程式202初始化用於文學內容項的數量的計數器i，並在步驟266中決定是否存在可用於文學內容項(i)的列印版面特徵的發佈者規則集。例如，虛擬列印內容應用程式202基於與文學內容項相關聯的作品識別符來搜尋發佈者資料庫207以將一或多個可用列印版面識別為與文學內容項的列印版本相關聯。對於某些項，文學內容本身或文學內容的元資料識別文學內容的發佈者源，諸如期刊名和發佈者名稱。例如，提供來自紐約時報的文章的RSS饋源將紐約時報作為源包括在文章的元資料中。類似地，如美聯社(AP)之類的文章的源屬性識別了不存在與文章相關聯的列印版面特徵，因為美聯社是此種新聞服務：報紙和線上新聞輸出口以其獨特的列印或線上版面來訂閱和格式化AP文章。

回應於發佈者規則集不可用，在步驟276中，虛擬列印內容應用程式202為文學內容項(i)分配列印版面特徵。在步驟278中，計數器i被更新，並且在步驟280中，循環繼續直到i=N+1為止。

回應於發佈者規則集可用，在步驟268中，虛擬列印內容應用程式202撷取可用的一或多個發佈者列印版面特徵規則集並識別，並且在步驟270中，決定是否已經撷取到了超過一個發佈者規則集。若撷取到了單個發佈者規則集，則虛擬列印內容應用程式202繼續至步驟274。若撷取到超過一個發佈者規則集，則虛擬列印內容應用程式202在步驟272中基於閱讀物件的頁面大小尺寸、可見性準則和任何使用 者版面偏好來選擇發佈者列印版面特徵規則集。例如，若所選閱讀物件是書籍，則指定關於閱讀物件書籍的頁面大小的頁面大小的發佈者列印版面特徵規則集在選擇演算法中比不同頁面大小的版面被分配更高的權重。若使用者偏好指示了在閱讀書籍時偏好的使用者字體，則帶有偏好字體的版面接收到加權。對於可見性準則，帶有對於使用者舒適閱讀位置而言太小的字體的版面或者先前由使用者識別為難以分辨字母的版面將接收到不利的加權。

在步驟274中，虛擬列印內容應用程式202基於所選發佈者列印版面特徵規則集來為文學內容項(i)識別列印內容項版本識別符。隨後執行步驟278和280。

除了列印版面特徵以及發佈者施加於列印版面特徵上的約束之外，亦存在由文學內容項的作品施加於版面的約束。例如，小說一般用章節和段落來表達。顯示沒有識別章節和段落縮進的小說不僅由於人類眼睛的視覺處理將是非常難以閱讀的，而且亦將影響閱讀者怎樣容易地理解提出的觀點或誰在發言。俳句詩具有十七個音節並且通常被呈現為三行，其中第一行和第三行是五個音節而中間行是七個音節。短詩具有十四行。通常，在詩歌的詩節之間存在行間距。在該等實例中，行數和劃分成的段落數是約束所有列印版面的作品的版面的一部分。行間距的大小和段落縮進的大小在各列印版面中可以不同。

圖7B是基於儲存的版面規則來產生包括一或多個文學內容項的一或多個頁面配置的實現程序的實例的流 程圖。在此實現實例中，帶有指示相同或相容閱讀物件類型的元資料201的文學內容項被分類在同一集合中。哪一個文學內容項的集合被首先顯示取決於基於使用者偏好決定的文學內容項的顯示順序。在步驟292中，虛擬列印內容應用程式202基於與每一個文學內容項相關聯的閱讀物件類型將所請求的文學內容項中的每一者分配到一或多個集合，並且在步驟294中，基於使用者偏好決定文學內容項的項顯示順序。在步驟296中，虛擬列印內容應用程式202基於所決定的項順序中指示的優先順序來決定一或多個集合的集合顯示順序。在步驟298中，虛擬列印內容應用程式202為每一個文學內容項集合產生一或多個頁面配置的頁面配置集合。

作為一個說明性實例，使用者可識別來自不同源的多篇新聞文章、教科書以及玄幻小說中的章節便在長途火車旅行期間閱讀。對於此實例，使用者撿起她旁邊座位上留下的報紙並將該報紙用作現實閱讀對象。人們往往一起閱讀報紙文章，並且因此報紙文章被放置在一個集合中，以使得該等報紙將在典型的報紙版面範本中被擺放在一起。報紙文章集合的頁面配置將具有基於所選報紙範本的用於頭版、可能封底和中間頁的報紙頁面配置。報紙範本的一個實例是隔出固定寬度行的線條的範本，而另一實例是不具有隔出各行的線條並且具有可變行大小的範本。撿起的報紙上的實際列印版面不影響版面，因為將顯示文學項的不透明的背景。教科書由於其頁面的大小將具有不同的頁面配置，並且教科書頁面形成另一集合。通常，一個人不會閱讀教科書和玄 幻小說的散佈的頁。在此實例中仍然在閱讀物件處使用現實的報紙，儘管不再使用報紙區塊範本。教科書以頁面格式來顯示，並且基於教科書頁面大小和撿起的報紙的大小尺寸，如可如上所述地藉由識別期刊的標題決定的，一頁以上的教科書可被指定以與報紙頁面配準地顯示。類似地，玄幻小說可與教科書類似地顯示，儘管小說的列印版面特徵中的頁面大小可能更小從而允許更多的頁面裝進報紙頁面。

在同一實例中，但使用虛擬閱讀物件，一個虛擬閱讀物件可被選擇，並且基於所請求的內容的最高百分比的閱讀物件類型被選擇的版面規則，可選擇用於閱讀物件的書籍格式。在另一實例中，由於虛擬書籍所允許的自由度，裝入教科書和小說的各自的列印版面特徵的大小特徵的教科書和小說的書籍或者教科書和小說中的每一者的書籍可能已經被產生。可能已經為文章產生了單獨的報紙物件。

圖7C是用於圖7B的程序的用於產生文學內容項集的一或多個頁面配置的程序的實現的實例的流程圖。在步驟302中，虛擬列印內容應用程式202基於使用者偏好決定集合內的文學內容項的集合內顯示順序。例如，使用者的閱讀歷史或實際使用者輸入指示了財經新聞具有最高優先順序，並且來自主流財經報紙的文章具有最高優先順序，接著是來自具有全國受眾的主流綜合報紙的財經文章。在步驟304中，虛擬列印內容應用程式202基於該集合的閱讀物件類型以及該集合中的項的列印版面特徵來為每一頁面選擇塊範本，並且在步驟306中，基於集合內順序中的優先順序、相應項的大 小特徵，以及閱讀物件的頁面尺寸將該集合中的每一個文學內容項分配給該集合中的起始頁號。

在步驟308中，對於每一頁，基於相應文學內容項的大小特徵，將分配給該頁的每一項分配給該頁上的區塊。例如，基於項的字數以及所使用的字體，項的面積可被決定以瞭解該項是否滿足區塊尺寸的裝入準則。版面規則通常會允許虛擬列印內容應用程式202服從於任何最小內容百分比準則地增加或減少塊中文學內容的量並在一範圍內調整字體大小。虛擬列印內容應用程式202可將文學內容項在同一頁或分開頁上的去塊之間拆分。

在步驟310中，虛擬列印內容應用程式202決定區塊中的任一者是否不滿足可見性準則。回應於區塊不滿足可見性準則，虛擬列印內容應用程式202在步驟312中對文學內容項的一或多者可調整列印版面特徵執行調整以便滿足可見性準則。再一次，不限於特定的頁數允許在作出版面調整中的靈活性，因為可依需求增加頁。回應於區塊滿足可見性準則，虛擬列印內容應用程式202在步驟314中將控制返回到虛擬列印內容應用程式202的另一態樣或在顯示裝置系統8中執行的另一應用程式，直到另一文學內容項被請求顯示。

圖8是用包括帶有發佈者和所指定的列印版面特徵的文學內容項的頁面配置在視野中顯示的頁面的實例。圖8圖示由虛擬列印內容應用程式202基於對於財經新聞的使用者偏好而選擇的新聞文章的所顯示的文學內容的實例。報紙頭版320或被顯示為與現實閱讀物件配準或被顯示為與 虛擬閱讀物件配準。報紙文章包括具有不同發佈者版面特徵的兩篇文章324和336，以及被分配列印版面特徵的第三篇文章344，因為所儲存的列印版面特徵沒有由發佈者變得可存取。

在此實例中，報紙的範本是基於報紙的閱讀物件類型與文章相關聯而選擇的，甚至對於經聚合的新聞服務文章344亦是如此。(例如，基於使用者簡檔資料中的閱讀歷史或者藉由請求供顯示的文學內容的使用者輸入的第一條目)具有最高使用者偏好的文章324(在此種情況下，此種集合是頭版)具有與文章324相關聯的照片326。文章來自其的報紙的列印版面特徵將照片放在頭版的中心，如發佈者所儲存的版面規則206所指示的。此頭版是從包括標題塊、中心照片區塊、環繞著或勾勒出中心照片區塊的兩個區塊以及第三文章區塊的範本產生的。

虛擬列印內容應用程式202根據當文章被放置在主要文章區塊中時為該文章識別的列印版面特徵和發佈者版面規則將具有對於該集合的最高使用者偏好的文章324的標題選為頭條。在此實例中，頭條322為「U.S.Budget Deficit Projected to Grow 10% Next Year(美國明年的財政赤字預計將增長10%)」。字體和字體樣式特徵(例如，加粗、斜體、一般等)以及間隔和標題的其他版面特徵被選為儲存在文章324的發佈者版面規則或列印特徵中的彼等特徵。此實例使用斜體18磅大小的Cooper Black字體。

對於文章324，文章324的列印版面特徵識別 了文章324連結的照片326和連結的照片說明328「White House Press Secretary Jeanne Norden Responds to Congressional Budget Criticism(白宮新聞秘書Jeanne Norden答覆國會預算審定)」以及應用於照片說明328的列印版面特徵，諸如照片說明328的字體、字體樣式和行間距範圍。文章324的列印版面特徵指示了文章文字本身的字體、字體樣式和字體大小範圍是一般樣式10磅。在此實例中是Estrangelo Edessa字體而照片說明328的實例中使用相同字體的9磅斜體版本。

在某些實施例中，文章的發佈者列印版面規則識別了回應於文章被顯示而要被顯示為列印廣告的廣告。例如，廣告可在文章的相對頁上顯示。

文章324的行是固定大小並且比文章336的行窄。對於報紙，因為文章通常會出現在其他頁面上，所以如文章的列印版面特徵或者發佈者的版面規則中所指定的格式的頁連接器330被使用，該頁連接器包括文字「Go to page 2 (前往第2頁)」。使用大寫的詞「Go(前往)」以及拼出單詞「page(頁)」的此頁連接器330樣式表示形成識別發佈者的源屬性的一部分的版面特徵，如字體特徵和行特徵一樣。作者署名沒有被包括在頭版上，因為文章的列印版面特徵包括文章結尾處的署名。

來自知名財經報紙的文章336的列印版面特徵是不同的。由於文章336不是主要文章，所以該文章的標題採用了此篇文章所來自的報紙的非主要文章的字體、大小和間距特徵。標題的位置(如列印版面特徵中所指示的)在文 章的行寬之內，附屬於該文章的標題被示為標題332，標題332寫著「AMERICAN AIRLINES DECLARES BANKRUPTCY(美國航空公司宣佈破產)」。在此實例中，列印版面特徵指示了標題字體是Felix Titling，用10磅字體大小，並且標題的所有字母均大寫。署名樣式僅包括用Ariel Narrow字體以與文章相同大小的字體大小用斜體的作者姓名的署名334。頁連接器338用斜體列印，並且使用斜體的單詞「Continued(繼續)」以及縮寫「p.」用作「Continued on p.2(在第2頁上繼續)」中的page(頁)的形式。列特徵導致稍寬於文章324的行的顯示。

第三篇文章來自如美聯社之類的經聚合的新聞服務，所以不存在與第三篇文章相關聯的列印版面特徵；然而，可能存在若干發佈者版面規則，諸如將作者姓名包括在使用大寫單詞「By(由)」以及新聞服務名稱(在此實例中是代表性的「ZZZZ News Service(ZZZZ新聞服務)」346)的署名342中。虛擬列印內容應用程式202選擇字體、字體大小，並且在此實例中為區塊選擇預設可變列寬格式以便整體裝入短的文章中。跨頁延伸的預設標題格式被選擇，以及在此實例中對於寫著「All Toyota Plants Back to Full Capacity(所有豐田工廠完全恢復能力)」的標題340選擇了14磅大小的字體Constantia。為文章344的文字選擇了預設報紙字體，此處表示為Arial字體。

除了發佈者版面規則206之外，亦可由虛擬列印內容應用程式202實現閱讀物件的通用版面規則206。該等 規則的某些實例是標題中的每一個詞皆大寫以及文章標題具有比頭條小的字體大小。

圖9A是用於基於實體動作使用者輸入來顯示與文學內容項內的使用者內容選擇配準的個性化虛擬擴充資料的方法的實施例的流程圖。在步驟354中，虛擬列印內容應用程式202基於實體動作使用者輸入識別文學內容項內的使用者內容選擇。在步驟355中，虛擬列印內容應用程式202決定虛擬擴充資料是否可用於使用者內容選擇，並且若否，則在步驟356中將控制返回到虛擬列印內容應用程式202的另一態樣或在顯示裝置系統8中執行的另一應用程式，直到另一使用者內容選擇被識別為止。

若存在可用於使用者內容選擇的擴充資料，則在步驟357中，應用程式202基於使用者簡檔資料從可用擴充資料中選擇擴充資料，並且在步驟358中致使擴充資料在與使用者內容選擇的位置配準的位置中的顯示。

圖9B是用於回應於實體動作使用者輸入來顯示與一或多個文學內容項中的至少一者配準的虛擬擴充資料的方法的另一實施例的流程圖。在步驟359中，虛擬列印內容應用程式202基於實體動作使用者輸入來決定與文學內容項有關的任務，並且在步驟360中執行該任務。在步驟361中根據該任務顯示與文學內容項有關的虛擬擴充資料。在某些實例中，擴充資料基於使用者簡檔資料針對使用者被個性化。個性化擴充資料的此種任務的一個實例在下文中描述，該實例允許使用者替換或填充角色或位置的名稱。任務的某些其 他實例是回應於使用者輸入來顯示和更新互動式虛擬內容(如遊戲)的互動式任務，允許使用者選擇內容並經由訊息收發應用程式(如電子郵件、即時訊息收發，或簡訊服務(SMS))將內容發送到另一使用者的Snippet®工具、註釋應用程式、語言翻譯應用程式、搜尋任務、定義應用程式。下文描述的任務的另一實例是虛擬書籍的頁面翻動任務，該任務亦顯示了在翻動頁面時可用於每一頁的擴充資料的指示符。擴充資料的指示符亦可與現實閱讀物件的翻動頁面協同地顯示。如同上面提到的，使用者亦可定義任務。

圖10A是用於基於使用者簡檔資料來從可用虛擬擴充資料中選擇虛擬擴充資料的程序的實現實例的流程圖。在步驟361中，虛擬列印內容應用程式202撷取佩戴透視、頭戴式、混合現實顯示裝置系統的使用者的身份資料。而且，應用程式202在步驟362中決定當前存在狀態。設置的一些實例是存在狀態設置，諸如困乏、醒著、睡覺、約會遲到、強烈的情緒，並且亦可包括活動，例如，正在吃飯、正在駕車、正在火車上旅行。

存在狀態可從對所感測的使用者身體的資料以及亦從其他應用程式和位置資料追蹤的資訊中決定。例如，基於位置資料和日曆應用程式，存在狀態應用程式可指示使用者對一會議是早到還是遲到。來自眼睛追蹤部件的使用者眼睛的影像資料(亦被稱為眼睛資料)可指示使用者正在經歷強烈的情緒，同時亦遲到了。可應用程式超過一個存在狀態。

在眼睛資料中可識別並與存在狀態規則179中的存在狀態相連結的使用者實體性質的一些實例是眨眼速率、瞳孔大小和瞳孔大小變化。在一些實例中，透視顯示裝置系統8亦可具有生物測定感測器，諸如壓著使用者太陽穴的脈搏速率量測感測器。可指示存在狀態的實體性質的一個實例是從影像資料、閃光資料或感測器128中偵測到的超過某一水平的眨眼。此種眨眼可能指示強烈的情緒。更簡單地，所偵測到的閉合一段時間的眼瞼可指示存在狀態為「正在睡覺」。眼睛的含淚狀態亦可從該含淚狀態指示正在哭泣的反射性中偵測。

瞳孔大小和瞳孔大小穩定性可指示存在狀態為困乏的或疲憊的。瞳孔大小隨著光照的改變而改變。在將瞳孔作為橢圓來對待的情況下，若光照沒有改變，則該橢圓的一個軸-即主軸-保持恆定，因為該主軸表示該瞳孔的直徑。橢圓的短軸的寬度隨注視改變而改變。面向前的相機113的光計量器(未圖示)可偵測光照變化。因此，由除了光照改變外的因素帶來的瞳孔放大亦可被決定。困乏和睡眠剝奪可致使瞳孔的總大小在疲憊時收縮，而瞳孔大小會變得較不穩定，大小波動。在穩定狀態光照條件下超出一定標準的瞳孔放大亦可指示對情緒刺激的反應。然而，瞳孔放大亦可與活動相關聯。

因此，若來自面向外或面向實體環境的相機113的影像資料和運動感測器132所指示的小的頭部移動指示該使用者不在鍛煉，例如，該使用者看上去正在他或她的辦 公室內坐下，則下文論述的軟體(諸如客戶端推送服務應用程式204₁)可將瞳孔放大與為「強烈感情」的至少一者存在狀態資料設置相關。如由來自面向外的相機113的影像資料所指示的正在被觀看的物件可提供更多資料，例如，少兒正在看真實恐龍骨架的圖片或已被識別為特定的恐怖小說的文學內容項，並且基於一天中的時間、位置資料和隨時間的視野資料，該讀者在夜晚獨自在家。在另一實例中，在虛擬列印內容應用程式202在該視野的影像資料中識別到報紙以前，影像資料指示使用者的通常午餐時間跑步路徑之一的視圖且運動感測器132指示在一時間段(例如兩分鐘)內的跑步或慢跑速度。在此實例中，存在狀態資料設置可包括「醒著」以及「中立感情」，並且可將「正在鍛煉」以及「正在跑步」作為活動資料設置來包括，此情況取決於從用於識別活動的結束的停止的時間段。

在一個實施例中，推送應用程式的版本、客戶端或伺服器可包括用於決定正處於的狀態的軟體。該軟體可基於存在狀態規則179來實現一或多個試探演算法，以基於眼睛資料和使用者周圍的影像和音訊資料兩者來決定使用者的存在狀態。客戶端推送服務應用程式204₁在步驟366中更新使用者簡檔資料197₁、197中儲存的當前存在狀態資料。

在步驟364中決定基於該顯示裝置系統的感測器資料的當前使用者位置。例如，當前使用者位置可由GPS資料、位置的影像資料、甚至是與特定位置相關聯的網路存取點的IP位址來識別。在步驟365中，虛擬列印內容應用程式 202識別使用者簡檔中連結到該使用者的其他人的、對該使用者可用的資料，該資料與使用者內容選擇有關。例如，若文學內容項是具有由作者創作的文章的科學期刊，並且該使用者的社交網路朋友之一在他的社交網站頁面上對該文章進行評論，則該朋友的評論將被識別。

在此實施例中，虛擬列印內容應用程式202在步驟366中基於擴充資料選擇規則298來向使用者簡檔資料分配權重。在一些實例中，擴充選擇規則可區分來自使用者簡檔資料的各項的優先順序。例如，以下類別的使用者簡檔項可以按照從最高開始的次序被區分優先順序：身份資料、存在狀態資料、位置資料、當前或最新近的使用者內容選擇、被查看的文學內容項，以及與該選擇或項有關的其他使用者資料。在步驟367中，虛擬列印內容應用程式202基於經加權的使用者簡檔資料為該使用者內容選擇從虛擬擴充資料候選中選擇虛擬擴充資料。例如，身份資料可包括該使用者知曉的語言。若該使用者僅知曉英語，則具有英語文字的虛擬擴充資料與西班牙語的擴充資料相比具有更高的被選擇的概率。而且，根據以下的實例，對於正在色彩圖書中塗色的五歲大的孩子，可選擇圖畫性的擴充資料，而對於七歲大的孩子可顯示包括簡單文字的擴充資料。

圖10B是用於執行以下任務的方法的實施例的流程圖，該任務允許使用者在文學內容項中用一或多個其他詞來取代至少一個詞。在步驟368中，虛擬列印內容應用程式202接收要在文學內容項中進行取代的一或多個單詞，並且 在步驟369中接收一或多個替換單詞以便取代要取代的一或多個單詞。在步驟370中，文學內容項的內容藉由用一或多個替換單詞來取代要取代的一或多個單詞來更新。在步驟371中，虛擬列印內容應用程式202使用經更新的文學內容項的內容來執行步驟312，並且在步驟372中，執行用於顯示經更新的文學內容項的內容的步驟314。

圖11A是用於識別使用者的眼睛選擇使用者內容選擇的至少一個實體動作的程序的實現實例的流程圖。眼睛追蹤軟體196通常基於瞳孔位置來識別眼睛在眼眶內的位置，但是虹膜位置亦可以是基礎。在步驟370中，虛擬列印內容應用程式202決定使用者注視內容物件的持續時間是否已經超過了時間視窗，並且在步驟371中，致使影像產生單元120顯示識別出內容物件的視覺指示符。在步驟372中，回應於識別實體動作使用者輸入確認，虛擬列印內容應用程式202將內容物件識別為使用者內容選擇。實體動作使用者輸入確認的一些實例是諸如眨眼等動作、指示「是」或「選擇」或對任務的請求的姿勢或語音命令。使用者可經由對視覺指示符(例如輪廓)的實體動作來指示確認之外的命令，諸如改變該視覺指示符的形狀來包括更多或更少的內容或指示「否」或「取消」的姿勢、眨眼或語音命令。

圖11B是用於識別使用者的眼睛選擇使用者內容選擇的至少一個實體動作的程序的另一實現實例的流程圖。在步驟373中，虛擬列印內容應用程式202識別使用者注視內容物件期間使用者眼睛的選擇動作，並且在步驟374中， 致使影像產生單元120顯示識別出該內容物件的視覺指示符。在步驟375中，回應於識別實體動作使用者輸入確認，虛擬列印內容應用程式202將該內容物件識別為使用者內容選擇。

圖11C是用於識別選擇使用者內容選擇的姿勢的至少一個實體動作的程序的實現實例的實施例的流程圖。在步驟376中，虛擬列印內容應用程式202接收到已經偵測到在與所顯示的內容物件的一位置相對應的部分(例如，虛擬或現實的閱讀物件的一頁)上的手指的開始姿勢的通知，並且在步驟377中，致使影像產生單元120顯示識別出手指在該閱讀物件的該部分上的移動的視覺指示符。在步驟378中，虛擬列印內容應用程式202接收到已經偵測到手指在該內容物件上的停止姿勢的通知。因為手指通常在使用者正在閱讀的頁面或紙張或卡片的某個部分上，所以開始和停止姿勢對使用者正在做出請求時和僅僅是移動手指位置時之間做出清楚的區分。其他程序實例可不要求開始和停止姿勢，而是反而基於監視隨時間的使用者手指行為來將移動與姿勢進行區分。在步驟379中，回應於識別實體動作使用者輸入確認，虛擬列印內容應用程式202將內容物件識別為使用者內容選擇。

圖12是用於決定虛擬擴充資料相對於閱讀物件的頁面的放置的程序的實現實例的流程圖。在此實例中，虛擬列印內容應用程式202具有與從中進行選擇的使用者內容選擇有關的多個預定位置選項。使用者按照他或她的期望從預定位置移動擴充資料。在此實例中，在步驟390中，虛擬列印內容應用程式202決定適用的執行任務是否請求了替換 位置。例如，任務可以是個性化任務，該個性化任務具有改變或插入讀者的角色以及一或多個使用者指定的人的角色名的子任務。若期望進行替換，則在步驟391中虛擬列印內容應用程式202在替換位置顯示用於使用者內容選擇的虛擬擴充資料。在步驟392中，回應於執行任務不請求替換位置，虛擬列印內容應用程式202決定虛擬擴充資料是否能裝入行間位置並且仍然滿足可見性準則。行間位置是文字的各行之間的空間，或者文字行和圖片之間的空間，或者圖片之間的空間。可見性準則的一個實例是要裝入行間位置擴充資料的大小對於具有平均視力的人類而言是否太小而無法在舒適的閱讀位置處閱讀。虛擬擴充資料是否能裝入行間位置可基於什麼百分比的內容可在行間位置處顯示並且仍然是可見的來進行決定。作為定義的同義詞是該同義詞可裝入行間位置並且仍然滿足可見性準則的內容的實例。行間位置通常不適用於圖片。若行間位置是合適的，則在步驟393中虛擬列印內容應用程式202在行間位置顯示用於使用者內容選擇的擴充資料。

若行間位置不合適，則在步驟394中，虛擬列印內容應用程式202決定擴充資料是否能裝入任何邊緣位置並且仍然滿足可見性準則。若一或多個令人滿意的邊緣位置可用，則在步驟395中虛擬列印內容應用程式202選擇最接近使用者內容選擇的令人滿意的邊緣位置。若令人滿意的邊緣位置不可用，則在步驟396中，虛擬列印內容應用程式202將擴充資料格式化成具有當前部分的版面特徵的一或多個部分，並且在步驟397中，在閱讀物件的版面中的當前部分之後顯 示具有經格式化的虛擬擴充資料的一或多個部分。當前部分的一個實例是頁。作為部分的頁的版面特徵包括典型的頁版面設置。此種設置的某些實例是頁邊界、頁碼放置、行間間距、圖片周圍間距、字體和字體大小。閱讀物件的版面的某些實例可以是報紙、書籍、雜誌或問候卡片。在作為書籍的閱讀物件實例中，用虛擬擴充資料格式化的一或多個部分可變得作為書籍的附加頁來出現。

在圖12的實例中，虛擬擴充資料被格式化成出現在閱讀物件的周界內。在其他實例中，浮動位置亦可以是位置選項。例如，邊緣空間可表現為被延伸以包括連結到內容選擇的圖片，對該圖片的註釋已經佔據了最近的邊緣空間。在另一實例中，浮動的說明性段落可表現為靠近該說明性段落所解釋的概念的行間空間中垂直於頁面彈出。

圖13A是用於用虛擬擴充資料來擴充文學內容項的虛擬副本中的使用者選擇並且保存虛擬擴充資料以便撷取文學內容項的任何其他副本的方法的實施例的流程圖。虛擬列印內容應用程式202在步驟398中在與使用者內容選擇配準的位置處顯示擴充資料。此種擴充資料的一個實例可以是使用者產生的擴充資料，如關於選擇的註釋資料或評論。在步驟400中，擴充資料被儲存並與連結到文學內容項的與媒體無關的資料版本(例如，作品或作品版本)中的使用者內容選擇。經由儲存帶有與媒體無關的版本的擴充資料，使用者可回想擴充資料，無論她正在查看的文學內容項的特定副本如何。可任選地，在步驟401中，擴充資料可被連結到文學 內容項的列印版本中的使用者內容選擇，文學內容項的列印版本由為文學內容項識別的列印內容項版本識別符來表示。

圖13B是用於為具有不同版面特徵的文學內容項的另一副本顯示所儲存的為該文學內容項的虛擬副本中的使用者選擇而輸入的擴充資料的方法的實施例的流程圖。在步驟402中，虛擬列印內容應用程式202識別了透視混合現實顯示裝置的視野中的文學內容項的不同的版面版本。不同的版面版本可以針對列印版本或者針對另一虛擬版本。列印內容項的位置資料、作品版本以及文學作品亦可以在資料庫211、213和215中由發佈者、大學、圖書館，或維護網際網路索引的資源的其他實體交叉引用。在步驟404中，虛擬列印內容應用程式202基於實體動作使用者輸入來識別不同的版面版本內相同的使用者內容選擇，並且在步驟406中，在文學內容項的與媒體無關的版本中撷取連結到相同使用者內容選擇的擴充資料。在步驟408中，虛擬列印內容應用程式202在與文學內容項的不同版面版本中的使用者內容選擇配準的位置處顯示撷取到的擴充資料。

除了將文學內容項的虛擬資料顯示為看上去如列印的內容之外，某些任務亦有助於使用者如導覽真實的書籍一樣來導覽虛擬書籍。此種任務的一個實例是頁翻動任務。圖14A到圖14D圖示不同姿勢動作的兩個實例，該不同姿勢動作模仿了在翻動頁面中的自然人類運動，此舉向使用者提供了更真實的體驗。

圖14A圖示其中使用者在翻動運動中使用大 拇指的長度的頁面翻動姿勢的第一實例的大拇指的起始位置的實例。對於此實例，閱讀物件411被示為書籍，但頁面翻動任務亦可應用程式於其他類型的虛擬閱讀物件。左手翻動被圖示，但任一隻手皆可執行翻動姿勢。同樣圖示的是帶有用於攫取使用者手指和手姿勢的面向前方的相機113₁和113r的顯示裝置2。由諸如腕、前臂、甚至腳、肘等之類的其他身體部位執行的姿勢亦可用於控制如虛擬列印內容應用程式202之類的應用程式。手和手指姿勢允許使用者在執行姿勢的同時在顯示器的視野中維護閱讀材料。線條704₁和704r表示近似從使用者的瞳孔或視網膜的注視向量的眼睛視線。對於以下實例，虛擬列印內容應用程式202可電子地向使用者提供指令，該指令用於在訓練通訊期中執行某些大拇指動作，在該訓練通訊期從不同角度的使用者大拇指的影像資料被攫取並且使用者的膚色被識別。此種訓練資料以及使用顯示裝置2在一段時間內攫取到的使用者大拇指的影像資料可形成姿勢辨識篩檢程式的基礎，虛擬應用程式202可格式化姿勢辨識篩檢程式並經由如應用程式程式設計介面(API)之類的介面將該姿勢辨識篩檢程式發送到姿勢辨識引擎193。

根據面向前方的相機113所攫取的影像資料，姿勢辨識引擎193識別了起始大拇指位置，縮略圖4821在該位置中幾乎與頁面的左側邊緣平行或對準以使得影像資料圖示縮略圖的前方。姿勢篩檢程式定義了使得左手大拇指向左旋轉以使得縮略圖在影像資料中被偵測為向左旋轉的姿勢。影像資料圖示：縮略圖的近似前方視圖向作為整體的縮略圖 4821和大拇指4851的右側視圖旋轉。隨著大拇指向左旋轉並且基於大拇指顏色和圖案匹配被辨識，大拇指在指甲下的肉體部分在影像資料中變得越來越可見。

面向前方的相機113以快於大拇指移動的速率攫取資料，例如，以每秒30幀或60幀之間的範圍。姿勢辨識引擎193為虛擬列印內容應用程式202識別右側大拇指的寬度正以該寬度進行改變的速度和加速度。此舉允許虛擬列印內容應用程式202以使用者翻動的速度的速率來翻動頁面，並且基於寬度變化得有多快來加速翻動或減慢翻動。

圖14B圖示包括頁面上的虛擬擴充資料的縮略圖的被翻動的頁面的實例以及大拇指的結束位置的實例。縮略圖是擴充資料的指示符的實例，擴充資料可用於與至少一個頁面影像配準地顯示。作為翻動停止姿勢的指南以及為了識別要在上停止的頁面，大拇指右側寬度在影像資料中被量測，並且若滿足如線4811所指示的寬度準則，則翻動在如所指示的某一頁面484處停止。另外，虛擬擴充資料可在翻動頁面時被指示為在頁面上。在此實例中，表示擴充資料的縮略圖486在代表性翻動頁面483的頁面邊緣中顯示。翻動頁面中的一者以及縮略圖中的一者被貼標記以避免附圖過於擁擠。使用者注視縮略圖可啟動縮略圖所表示的擴充資料的顯示。

圖14C圖示頁面翻動姿勢的大拇指的另一起始位置的實例。根據面向前方的相機113所攫取的影像資料，姿勢辨識引擎193識別了另一起始大拇指位置，縮略圖4821的前方基本在視圖中，並且縮略圖幾乎與頁面的左側邊緣平行 或對準以使得影像資料基本圖示縮略圖的前方。

圖14D圖示頁面翻動姿勢的大拇指的結束位置的另一實例。在此實例中，作為翻動停止姿勢的嚮導以及為了識別要在其上停止的頁面，大拇指頂側寬度在影像資料中被量測，並且若滿足如線4811所指示的寬度準則，則翻動在如所指示的某一頁面484處停止。在此實例中，頁面翻動的速度和加速度亦可由虛擬列印內容應用程式202經由量測在資料影像中的寬度以及寬度改變得有多快來決定。

圖15是計算系統的一個實施例的方塊圖，該計算系統可用於實現一或多個網路可存取計算系統12，該計算系統12可以託管計算環境54的軟體元件中的至少一些元件或者圖3所圖示的其他元件。參考圖16，用於實現本發明的一個示例性系統包括計算設備，諸如計算設備800。在最基本的配置中，計算設備800一般包括一或多個處理單元802，並且亦可包括不同類型的處理器，諸如中央處理單元(CPU)和圖形處理單元(GPU)。計算設備800亦包括記憶體804。取決於計算設備的確切配置和類型，記憶體804可以包括揮發性記憶體805(如RAM)、非揮發性記憶體807(如ROM、快閃記憶體等)或是兩者的某種組合。該最基本配置在圖16中由虛線806來圖示。另外，設備800亦可具有附加特徵/功能。例如，設備800亦可包含附加儲存(可移除及/或不可移除)，包括但不限於磁碟、光碟或磁帶。此種附加儲存在圖15中由可移除儲存裝置808和不可移除儲存裝置810圖示。

設備800亦可以包含允許該設備與其他設備 通訊的通訊連接812，諸如一或多個網路介面和收發器。設備800亦可以具有諸如鍵盤、滑鼠、筆、語音輸入裝置、觸摸輸入裝置等輸入裝置814。亦可以包括諸如顯示器、揚聲器、印表機等輸出設備816。所有該等設備在本領域是眾知的並且不必在此詳細論述。

如同上面論述的，處理單元4可被嵌入在行動設備5中。圖16是可以在本技術的各實施例中操作的示例性行動設備900的方塊圖。圖示了典型行動電話的示例性電子電路。電話900包括一或多個微處理器912，以及儲存由控制處理器912的一或多個處理器執行來實現此處述及之功能的處理器可讀代碼的記憶體910(例如，諸如ROM等非揮發性記憶體和諸如RAM等揮發性記憶體)。

行動設備900可包括例如處理器912、包括應用程式和非揮發性儲存的記憶體1010。處理器912可實現通訊以及任何數量的應用程式，包括本文中所描述的互動應用程式。記憶體1010可以是任何種類的記憶體儲存媒體類型，包括非揮發性和揮發性記憶體。設備作業系統處理行動設備900的不同操作，並可包含用於操作的使用者介面，如撥打和接聽電話撥叫、文字簡訊收發、檢查語音郵件等。應用程式930可以是任何種類的程式，如用於照片及/或視訊的相機應用程式、位址簿、日曆應用程式、媒體播放機、網際網路瀏覽器、遊戲、其他多媒體應用程式、鬧鐘應用程式、其他協力廠商應用程式，諸如本文論述的用於處理發送至或者來自顯示裝置2的影像資料的皮膚應用程式和影像處理軟體，等等。記 憶體910中的非揮發性儲存元件940包含諸如web快取記憶體、音樂、照片、連絡人資料、排程資料以及其他檔等資料。

處理器912亦與RF發射/接收電路系統906進行通訊，該電路906進而耦合到天線902，該電路906亦與紅外發射器/接收器908、與如Wi(-)-Fi、WUSB、RFID、紅外或藍芽等任何附加通訊通道960以及與如加速度計等移動/定向感測器914通訊。加速度計被包括到行動設備中，以啟用諸如讓使用者經由姿勢輸入命令的智慧使用者介面之類的應用程式，在與GPS衛星斷開聯絡之後計算設備的移動和方向的室內GPS功能，並偵測設備的定向，並且，當旋轉電話時自動地將顯示從縱向變為橫向。可以，例如，經由微機電系統(MEMS)來提供加速度計，該微機電系統是構建在半導體晶片上的微小機械裝置(微米尺寸)。可以感應加速方向，以及定向、振動和震動。處理器912亦與響鈴器/振動器916、使用者介面鍵區/螢幕、生物測定感測器系統918、揚聲器920、麥克風922、相機924、光感測器921以及溫度感測器927進行通訊。

處理器912控制無線信號的發射和接收。在發射模式期間，處理器912向RF發射/接收電路906提供來自麥克風922的語音信號或其他資料信號。發射/接收電路906將該信號發射到遠端站(例如固定站、服務供應商、其他蜂巢式電話等)來經由天線902進行通訊。響鈴器/振動器916被用於向使用者發來話撥叫、文字簡訊、日曆提醒、鬧鐘提醒或其他通知等信號。在接收模式期間，發射/接收電路906經由天線902接收來自遠端站的語音或其他資料信號。所接收到的語音信 號被提供給揚聲器920，同時所接收到的其他資料信號亦被適當地處理。

另外，實體連接器988可被用來將行動設備900連接到外部電源，如AC適配器或加電對接底座。實體連接器988亦可被用作到計算設備的資料連接。該資料連接允許諸如將行動設備資料與另一設備上的計算資料進行同步等操作。

為此種服務啟用使用基於衛星的無線電導覽來中繼使用者應用程式的位置的GPS接收器965。

附圖中圖示的示例電腦系統包括電腦可讀取儲存裝置的實例。電腦可讀取儲存裝置亦是處理器可讀取儲存裝置。此種設備包括以用於儲存諸如電腦可讀取指令、資料結構、程式模組或其他資料等資訊的任意方法或技術來實現的揮發性和非揮發性、可移除和不可移除儲存裝置器設備。處理器或電腦可讀取儲存裝置的一些實例是RAM、ROM、EEPROM、快取記憶體、快閃記憶體或其他記憶體技術、CD(-)-ROM、數位多功能光碟(DVD)或其他光碟儲存、記憶棒或卡、磁帶盒、磁帶、媒體驅動器、硬碟、磁碟儲存裝置或其他磁性儲存裝置，或能用於儲存所需資訊且可以由電腦存取的任何其他設備。

儘管用結構特徵及/或方法動作專用的語言描述了本標的，但可以理解，所附申請專利範圍中定義的標的不必限於上述具體特徵或動作。更確切而言，上述具體特徵和動作是作為實現請求項的示例形式揭示的。

230、232、234‧‧‧步驟

Claims (20)

1. 一種用於使用一透視、近眼、混合現實顯示裝置系統將虛擬資料顯示為列印的內容的方法，該方法包括以下步驟：接收要顯示與該透視、近眼、混合現實顯示裝置系統的一視野中的一閱讀物件配準的一或多個文學內容項的一請求；為該一或多個文學內容項中的每一者選擇列印版面特徵；及與該視野中的該閱讀物件配準地用一或多個文學內容項的相應的列印版面特徵來顯示該一或多個文學內容項。
2. 如請求項1述及之方法，該方法亦包括以下步驟：決定是否已經偵測到指示對一現實閱讀物件的使用者選擇的實體動作；回應於偵測到指示對一現實閱讀物件的使用者選擇的實體動作，將該現實閱讀物件選擇為該閱讀物件；及回應於未偵測到指示對一現實閱讀物件的使用者選擇的實體動作，基於與每一個所請求的文學內容項相關聯的一閱讀物件類型，自動為相應的一或多個虛擬閱讀物件選擇一或多個閱讀物件類型。
3. 如請求項1述及之方法，其中該閱讀物件包含以下之至少一者： 該視野中之現實紙的一或多個頁；一現實書籍；一現實報紙；及一現實雜誌。
4. 如請求項1述及之方法，其中該閱讀物件包含以下之至少一者：一虛擬書籍；一虛擬報紙；及一虛擬雜誌。
5. 如請求項1述及之方法，其中為該一或多個文學內容項中的每一者選擇列印版面特徵之步驟亦包括以下步驟：識別每一個文學內容項的與媒體無關的作品識別符以及任何適用的與媒體無關的作品版本識別符；為每一個文學內容項決定是否有列印版面特徵的一或多個發佈者規則集可用；及響應於列印版面特徵的一或多個發佈者規則集不可用於相應文學內容項，為該相應文學內容項分配列印版面特徵。
6. 如請求項6述及之方法，該方法亦包含以下步驟：響應於列印版面特徵的一或多個發佈者規則集可用於該相應文學內容項，經由網路從儲存發佈者列印版面特徵規則集的一或多個 資料儲存檢索所述可用的一或多個相應發佈者列印版面特徵規則集，決定是否有列印版面特徵的超過一個的發佈者規則集可用於該相應文學內容項；響應於列印版面特徵的超過一個發佈者規則集可用，基於該閱讀物件的頁面大小尺寸、可見性準則以及任何使用者版面偏好來選擇撷取到的列印版面特徵的發佈者規則集中的一者；及基於該所選發佈者列印版面特徵規則集來為該相應文學內容項識別一列印內容項版本識別符。
7. 如請求項1述及之方法，其中與該視野中的該閱讀物件配準地用一或多個文學內容項的相應的列印版面特徵來顯示該一或多個文學內容項之步驟亦包括以下步驟：根據儲存的版面規則產生包括具有一或多個內容項的列印版面特徵的該一或多個文學內容項的一或多個頁面版面；基於該透視、混合現實顯示裝置系統的該視野中的該一或多個頁面版面來顯示一或多個頁面；及回應於使用者實體動作來改變所顯示的該一或多個頁面。
8. 如請求項7述及之方法，其中根據儲存的版面規則產生包括具有一或多個內容項的列印版面特徵的該一或多個文學內容項的一或多個頁面版面之步驟亦包括以下步驟： 基於與每一個文學內容項相關聯的一閱讀物件類型，將所請求的該等文學內容項中的每一者分配到一或多個集合；基於使用者偏好來決定該等文學內容項的一項顯示順序；基於所決定的該項順序中所指示的一優先順序來決定該一或多個集合的一集合顯示順序；及為該等文學內容項中的每一者產生一或多個頁面版面的一頁面版面集合。
9. 如請求項8述及之方法，其中為該等文學內容項中的每一者產生一或多個頁面版面的一頁面版面集合之步驟亦包括以下步驟：基於使用者偏好來決定該集合內的該等文學內容項的一集合內顯示順序；基於該集合的該閱讀物件類型以及該集合中的該等項的該列印版面特徵來為每一頁面選擇一區塊範本；基於該集合內順序中的優先順序、該相應項的大小特徵以及該閱讀物件的頁面尺寸來將該集合中的每一個文學內容項分配到該集合內的一起始頁號；對於每一頁面，基於該相應文學內容項的該大小特徵來將分配給該頁面的每一項分配給該頁面上的區塊；及響應於該等區塊中的任一者不滿足可見性準則，對該等文學內容項的一或多個可調整列印版面特徵執行調整以便滿足可見性準則。
10. 一種用於將虛擬資料顯示為列印的內容的透視、近眼、混合現實顯示裝置系統，該系統包括：由一支撐結構定位的一透視顯示器；至少一個面向外的相機，該相機被定位在該支撐結構上以攫取該透視顯示器的一視野的影像資料；一或多個軟體控制的處理器，該一或多個軟體控制的處理器通訊耦合至該至少一個面向外的相機以便接收該視野的該影像資料；該一或多個軟體控制的處理器能夠存取包括文學內容項的內容、列印版面特徵，以及虛擬擴充資料的一或多個資料儲存，並且用於為該一或多個文學內容項中的每一者從該一或多個資料儲存中選擇列印版面特徵；及該一或多個軟體控制的處理器致使與該透視顯示器光學耦合的至少一個通訊耦合的影像產生單元，與該視野中的一閱讀物件配準地用一或多個文學內容項的相應的所選列印版面特徵來顯示該一或多個文學內容項。
11. 如請求項10述及之系統，亦包括：該一或多個軟體控制的處理器，能夠存取版面規則，以產生包括該一或多個文學內容項的一或多個虛擬頁面，以便根據可見性準則與該閱讀物件配準地在該視野中進行顯示。
12. 如請求項11述及之系統，亦包括： 由該支撐結構定位的一或多個眼睛追蹤部件，該一或多個眼睛追蹤部件用於攫取每只眼睛的影像資料並通訊耦合至該一或多個軟體控制的處理器用於發送每只眼睛的影像資料；該一或多個軟體控制的處理器從每只眼睛的該影像資料識別該眼睛的一或多個實體動作，該一或多個實體動作包括對在該影像資料視野中識別的一內容物件的注視；及該一或多個軟體控制的處理器選擇該內容物件作為回應於該眼睛之該一或多個實體動作的一使用者內容選擇。
13. 如請求項11述及之系統，亦包括：該一或多個軟體控制的處理器形成該使用者產生的擴充資料與儲存在該可存取的一或多個資料儲存裝置中之該文學內容項的一媒體無關的版本之間的一資料鏈接；及該一或多個軟體控制的處理器基於該資料鏈接從一可存取的記憶體撷取該使用者產生的擴充資料用於與該視野中之該文學內容項的一列印內容項版本配準地顯示。
14. 如請求項11述及之系統，亦包括：該一或多個軟體控制的處理器基於自該視野的該影像資料識別一或多個姿勢而識別一使用者內容選擇。
15. 一種處理器可讀取裝置，該處理器可讀取裝置具有編碼在該處理器可讀取裝置上的指令用於致使一或多個處理 器執行用於使用一透視、近眼、混合現實顯示裝置系統將虛擬資料顯示為列印內容的方法，該方法包含以下步驟：接收要顯示與該透視、近眼、混合現實顯示裝置系統的一視野中的一閱讀物件配準的一或多個文學內容項的一請求；為該一或多個文學內容項中的每一者選擇列印版面特徵；與該視野中的該閱讀物件配準地以各自的列印版面特徵顯示該一或多個文學內容項；及回應於實體動作使用者輸入來顯示與該一或多個文學內容項中的至少一者配準的虛擬擴充資料。
16. 如請求項15述及之系統，其中回應於實體動作使用者輸入來顯示與該一或多個文學內容項中的至少一者配準的虛擬擴充資料之步驟亦包括以下步驟：基於實體動作使用者輸入識別一文學內容項內的一使用者內容選擇；決定擴充資料是否可用於該使用者內容選擇；回應於擴充資料可用於該使用者內容選擇，基於使用者簡檔資料來從該可用擴充資料中選擇該擴充資料；及在與該使用者內容選擇的該位置配準的一位置處顯示該擴充資料。
17. 如請求項16述及之系統，其中回應於實體動作使用者輸入來顯示與該一或多個文學內容項中的至少一者配準的虛擬擴充資料之步驟亦包含以下步驟：基於實體動作使用者輸入來決定與該文學內容項有關的一任務；執行該任務；及根據該任務顯示與該使用者內容選擇有關的擴充資料。
18. 如請求項17述及之處理器可讀取儲存媒體，其中該閱讀物件為一虛擬書籍；及其中該任務係一頁面翻動任務，且執行該任務之步驟包含以下步驟：回應於從影像資料識別出一翻動姿勢的一或多個大拇指動作來翻動一虛擬書籍的至少一個頁面。
19. 如請求項18述及之處理器可讀取儲存媒體，其中執行該任務亦包含以下步驟：顯示與該至少一個頁面影像配準的一指示符，該指示符指示虛擬擴充資料可用於與該至少一個頁面影像配準地顯示。
20. 如請求項19述及之處理器可讀取儲存媒體，其中該頁邊界中的該識別符係一縮略圖影像。