TW201530187A - 頭戴式顯示裝置及其控制方法 - Google Patents

Abstract

一種頭戴式顯示裝置及其控制方法。控制方法包括如下步驟。應用處理器控制微型投影單元投影虛像，虛像包括虛擬物件，且虛擬物件位於虛像座標系上之虛像座標。眼部影像感測單元擷取眼部影像資料。感測裝置感測觸控物件以輸出感測資料。特殊應用積體電路根據感測資料取得觸控物件於實像座標系上之實體座標。特殊應用積體電路根據眼部影像資料取得瞳孔位置，並根據瞳孔位置控制調整單元調整虛像之成像位置。特殊應用積體電路根據瞳孔位置、實體座標及虛擬座標判斷觸控物件是否觸碰虛擬物件。

Description

頭戴式顯示裝置及其控制方法

本發明是有關於一種電子裝置，且特別是有關於一種頭戴式顯示裝置及其控制方法。

隨著科技日新月異，人們對於資訊的吸收也日漸增加。一般常見的多媒體播放裝置、網路通訊裝置及電腦裝置等都係搭配CRT或LCD顯示器來顯示影像加。但是其所能顯示的影像畫素及大小，係受限於顯示器的尺寸大小及其效能。目前傳統的CRT或LCD顯示器，皆無法兼顧尺寸及攜帶輕便的需求。為解決上述問題，市場上推出一種頭戴式顯示裝置(Head-Mounted Display,HMD)。頭戴式顯示裝置係在左右眼睛前方各放置有一小型映像管或是液晶顯示器。頭戴式顯示裝置例如是利用兩眼視差的立體效果，將各別映像管或是液晶顯示器所輸出的影像經過分光鏡投射至使用者的視網膜。

然而，在傳統頭戴式顯示裝置(如google glasses)中，分光鏡的位置固定且無法調整。使用者需自行調整觀看方向，才能看到微型投影機所投射出來的影像。如此一來，不僅造 成使用上的不便且容易造成使用者的眼球疲勞。

本發明係有關於一種頭戴式顯示裝置及其控制方法。

根據本發明，提出一種頭戴式顯示裝置。頭戴式顯示裝置包括微型投影單元、應用處理器、眼部影像感測單元、調整單元、感測裝置、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)及眼鏡架。應用處理器控制微型投影單元投影虛像。虛像包括虛擬物件，且虛擬物件位於虛像座標系上之虛像座標。眼部影像感測單元擷取眼部影像資料。感測裝置感測觸控物件以輸出感測資料。特殊應用積體電路根據感測資料取得觸控物件於實像座標系上之實體座標。特殊應用積體電路根據眼部影像資料取得瞳孔位置，並根據瞳孔位置控制調整單元調整虛像之成像位置。特殊應用積體電路根據瞳孔位置、實體座標及虛擬座標判斷觸控物件是否觸碰虛擬物件。眼鏡架承載調整單元、微型投影單元、應用處理器、眼部影像感測單元、實體座標擷取裝置及特殊應用積體電路。

根據本發明，提出一種頭戴式顯示裝置之控制方法。頭戴式顯示裝置之控制方法包括：控制微型投影單元投影虛像，虛像包括虛擬物件，虛擬物件位於虛像座標系上之虛像座標；經由眼部影像感測單元擷取眼部影像資料；經由感測裝置感 測觸控物件以輸出感測資料；根據感測資料取得觸控物件於實像座標系上之實體座標；根據眼部影像資料取得瞳孔位置，並根據瞳孔位置控制調整單元調整虛像之成像位置；以及根據瞳孔位置、實體座標及虛擬座標判斷觸控物件是否觸碰虛擬物件。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

1、1a、1b、1c、4‧‧‧頭戴式顯示裝置

2‧‧‧虛像

3‧‧‧廣角影像

21‧‧‧虛擬物件

22‧‧‧觸控物件

101‧‧‧分光鏡單元

101a‧‧‧第一分光鏡

101b‧‧‧第二分光鏡

102‧‧‧微型投影單元

102a‧‧‧第一微型投影機

102b‧‧‧第二微型投影機

103‧‧‧應用處理器

104‧‧‧眼部影像感測單元

104a‧‧‧第一眼部影像感測器

104b‧‧‧第二眼部影像感測器

105‧‧‧調整單元

105a‧‧‧第一調整裝置

105b‧‧‧第二調整裝置

106‧‧‧特殊應用積體電路

107‧‧‧紅外線發光單元

107a‧‧‧第一紅外線發光二極體

107b‧‧‧第二紅外線發光二極體

108a‧‧‧第一前端影像感測器

108b‧‧‧第二前端影像感測器

109‧‧‧畫面暫存器

110‧‧‧眼鏡架

111‧‧‧感測裝置

301~309‧‧‧步驟

1111‧‧‧第一影像感測器

1112‧‧‧第二影像感測器

1113‧‧‧飛行時間相機

1114‧‧‧第三紅外線發光二極體

1115‧‧‧結構光相機

R1‧‧‧最大感興趣區域

R2‧‧‧感興趣區域

x1’、x2’、x3’、x4’‧‧‧水平位置

θ 1‧‧‧最大水平視角

(x1,y1)、(x2,y1)、(x3,y1)、(x3,y2)、(x3,y3)、(x4,y1)‧‧‧瞳孔位置

第1圖繪示係為依照第一實施例之一種頭戴式顯示裝置之方塊圖。

第2圖繪示為當瞳孔位置位於眼睛正中央時之虛像與觸控物件之示意圖。

第3圖繪示為當瞳孔位置不位於眼睛正中央時之虛像與觸控物件之示意圖。

第4圖繪示係為感測裝置為第一影像感測器及第二影像感測器之頭戴式顯示裝置之方塊圖。

第5圖繪示第三紅外線發光二極體、第一影像感測器及第二影像感測器配置於眼鏡架上之示意圖。

第6圖繪示係為依照第二實施例之頭戴式顯示裝置之方塊圖。

第7圖繪示係為依照第二實施例之一種頭戴式顯示裝置之外觀示意圖。

第8圖繪示係為依照第三實施例之頭戴式顯示裝置之方塊 圖。

第9圖繪示係為依照第三實施例之一種頭戴式顯示裝置之外觀示意圖。

第10圖繪示係為將頭戴式顯示裝置進行初始立體校正之流程圖。

第11圖繪示係為第一眼部影像感測器、第二眼部影像感測器、第一紅外線發光二極體及第二紅外線發光二極體配置於眼鏡架上之第一種示意圖。

第12圖繪示係為第一眼部影像感測器、第二眼部影像感測器、第一紅外線發光二極體及第二紅外線發光二極體配置於眼鏡架上之第二種示意圖。

第13圖繪示為使用者之眼睛之示意圖。

第14圖繪示係為廣角影像上之最大感興趣區域之示意圖。

第15圖繪示係為瞳孔位於正中央時之感興趣區域之示意圖。

第16圖繪示係為瞳孔自正中央向右移動後之感興趣區域之示意圖。

第17圖繪示係為依照第五實施例之一種頭戴式顯示裝置之方塊圖。

第18圖繪示係為調整單元調整分光鏡單元之示意圖。

第19圖繪示係為調整單元調整微型投影單元之示意圖。

第20圖繪示係為一種電腦遊戲之示意圖。

第一實施例

請參照第1圖、第2圖及第3圖，第1圖繪示係為依照第一實施例之一種頭戴式顯示裝置之方塊圖，第2圖繪示為當瞳孔位置位於眼睛正中央時之虛像與觸控物件之示意圖，第3圖繪示為當瞳孔位置不位於眼睛正中央時之虛像與觸控物件之示意圖。頭戴式顯示裝置1包括分光鏡(Beam Splitter)單元101、微型投影單元102、應用處理器103、眼部影像感測單元104、調整單元105、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)106、紅外線發光單元107、第一前端影像感測器108a、第二前端影像感測器108b、畫面暫存器109、感測裝置111及眼鏡架。眼鏡架用以承載分光鏡單元101、微型投影單元102、應用處理器103、眼部影像感測單元104、調整單元105、特殊應用積體電路106、紅外線發光單元107、第一前端影像感測器108a、第二前端影像感測器108b、畫面暫存器109及感測裝置111。畫面暫存器109儲存微型投影單元102欲投影之影像資料。紅外線發光單元107提供眼部影像感測單元104所需之輔助光源。

特殊應用積體電路106經由通用序列匯流排(Universal Serial Bus,USB)與應用處理器14溝通。第一前端影像感測器108a、第二前端影像感測器108b連接至應用處理器103，且經由行動產業處理器介面(Mobile Interface Processor Interface,MIPI)與應用處理器103溝通。眼部影像感測單元104連接至特殊應用積體電路106，且經由並列式介面(Parallel I/F)或行動產業處理器介面與特殊應用積體電路106溝通。紅外線發光單元107連 接至特殊應用積體電路106，且經由通用輸入輸出(General Purpose Input Output,GPIO)與特殊應用積體電路106溝通。紅外線發光單元107係受控於特殊應用積體電路106以提供眼部影像感測單元104所需之輔助光源。

頭戴式顯示裝置1之控制方法包括如下步驟。應用處理器103控制微型投影單元102投影一虛像2。虛像包括一虛擬物件21。虛擬物件21為立體影像且虛擬物件21位於一虛像座標系上之一虛像座標。眼部影像感測單元104擷取使用者之眼部影像資料，眼部影像資料例如包括一或數個眼球影像。感測裝置111感測觸控物件22以輸出感測資料。觸控物件22例如為使用者之手指或手掌。特殊應用積體電路106根據感測資料取得觸控物件22於實像座標系上之實體座標。特殊應用積體電路106根據眼部影像資料取得使用者之瞳孔位置，並根據瞳孔位置控制調整單元105適應性調整虛像之成像位置。亦即，特殊應用積體電路106根據瞳孔位置控制調整單元105改變虛像光束射至眼睛的位置。特殊應用積體電路106根據瞳孔位置、實體座標及虛擬座標判斷觸控物件22是否觸碰虛擬物件21。

請同時參照第1圖、第11圖及第12圖，第11圖繪示係為第一眼部影像感測器、第二眼部影像感測器、第一紅外線發光二極體及第二紅外線發光二極體配置於眼鏡架上之第一種示意圖，第12圖繪示係為第一眼部影像感測器、第二眼部影像感測器、第一紅外線發光二極體及第二紅外線發光二極體配置於 眼鏡架上之第二種示意圖。眼部影像感測單元104可包括一或數個眼部影像感測器。於第一實施例中，眼部影像感測單元104係以包括第一眼部影像感測器104a及第二眼部影像感測器104b為例說明。第一眼部影像感測器104a及第二眼部影像感測器104b擷取眼部影像資料。於第一實施例中，眼部影像資料係以包括分左眼影像及右眼影像為例說明。特殊應用積體電路106根據左眼影像及右眼影像偵測出雙眼之瞳孔位置。紅外線發光單元107可包括一或數個紅外線發光二極體。於第一實施例中，紅外線發光單元107係以包括第一紅外線發光二極體107a及第二紅外線發光二極體107b為例說明。第一眼部影像感測器104a、第二眼部影像感測器104b、第一紅外線發光二極體107a及第二紅外線發光二極體107b於眼鏡架110上的設置可如第11圖繪示。此外，第一眼部影像感測器104a、第二眼部影像感測器104b、第一紅外線發光二極體107a及第二紅外線發光二極體107b於眼鏡架110上的設置亦可如第12圖繪示。當環境光源過暗時，特殊應用積體電路106開起第一紅外線發光二極體107a，以提供第一眼部影像感測器104a所需之輔助光源。特殊應用積體電路106並開起第二紅外線發光二極體107b，以提供第二眼部影像感測器104b所需之輔助光源。如此一來，將有助於提高第一眼部影像感測器104a及第二眼部影像感測器104b所擷取影像之影像品質。

請同時參照第1圖、第18圖及第19圖，第18圖繪示係為調整單元調整分光鏡單元之示意圖，第19圖繪示係為調 整單元調整微型投影單元之示意圖。分光鏡單元101包括可包括一或數個分光鏡。於第一實施例中，分光鏡單元101係以包括第一分光鏡101a及第二分光鏡101b為例說明。相似地，微型投影單元102可包括一或數個微型投影機(Pico Projector)。於第一實施例中，微型投影單元102係以包括第一微型投影機102a及第二微型投影機102b為例說明。第一微型投影機102a及第二微型投影機102b投影虛像。調整單元105可包括一或數個調整裝置。於第一實施例中，調整單元105係以包括第一調整裝置105a及第二調整裝置105b為例說明。第一調整裝置105a及第二調整裝置105b例如為PTZ(Pan-Tilt-Zoom)致動器、馬達致動器(Motor-Driven Actuator)、直流馬達、彈簧或滑軌等，且馬達驅動器例如是包括步進馬達(stepper motor)、相對應的齒輪組和機構件以及馬達驅動積體電路(Motor driver IC)等。

前述調整單元105可藉由調整分光鏡單元或101或微型投影單元102以調整虛像之成像位置。舉例來說，調整單元105可如第18圖繪示藉由調整分光鏡單元101來調整虛像之成像位置。特殊應用積體電路106根據使用者之瞳孔位置控制第一調整裝置105a及第二調整裝置105b分別適應性調整第一分光鏡101a及第二分光鏡101b，將第一微型投影機102a及第二微型投影機102b所投影之虛像射入使用者之瞳孔位置。

或者，調整單元105可如第19圖繪示藉由調整微型投影單元102來調整虛像之成像位置。當第一調整裝置105a及第 二調整裝置105b為PTZ致動器時，第一調整裝置105a及第二調整裝置105b能控制第一微型投影機102a及第二微型投影機102b水平旋轉、上下移動或縮放影像。特殊應用積體電路106根據使用者之瞳孔位置控制第一調整裝置105a及第二調整裝置105b分別適應性調整第一微型投影機102a及第二微型投影機102b，將第一微型投影機102a及第二微型投影機102b所投影之虛像射入使用者之瞳孔位置。

當使用者之瞳孔位置位於眼睛正中央時，特殊應用積體電路106將實體座標轉換為虛擬座標系上之第一相對座標，並判斷第一相對座標與虛像座標是否相符。當第一相對座標與虛像座標相符，特殊應用積體電路106判定觸控物件22觸碰虛擬物件21(如第2圖繪示)。相對地，當瞳孔位置不位於眼睛正中央時，特殊應用積體電路106維持虛擬座標不變，並對應地將實體座標轉換為虛擬座標系上之第二相對座標，第二相對座標與第一相對座標相差一觸控偏移量。

由於特殊應用積體電路106根據瞳孔位置控制調整單元105適應性調整虛像之成像位置，因此不論瞳孔位置如何改變，微型投影單元102所投影之虛像都會射入使用者之瞳孔位置。換言之，不論瞳孔位置如何改變，使用者所看到的虛擬物件21的虛擬座標都不會改變。舉例來說，實像座標系與虛像座標系皆以視野中心為原點，當使用者之瞳孔位置由眼睛正中央往右邊移動時，理論上虛擬物件21應對應地向左移動。但是由於特殊 應用積體電路106根據瞳孔位置控制調整單元105適應性調整虛像之成像位置，因此虛擬物件21的虛擬座標不會對應地改變。

然而，相對於地球座標系而言，實像座標系與虛像座標系之原點實際上已向左移動。也就是說，當使用者之瞳孔位置位於眼睛正中央時，觸控物件22係觸碰虛擬物件21(如第2圖繪示)。當使用者之瞳孔位置由眼睛正中央往右邊移動時，虛擬物件21隨瞳孔位置移動。此時，觸控物件22如不跟著移動，則觸控物件22無法再觸碰虛擬物件21(如第3圖繪示)。所以，當瞳孔位置不位於眼睛正中央時，特殊應用積體電路106維持虛擬物件21之虛擬座標不變，並對應地將觸控物件22之實體座標轉換為與原先第一相對座標相差一觸控偏移量之第二相對座標。也就是說，此時觸控物件22需對應地移動前述觸控偏移量才能再觸碰虛擬物件21。因此，特殊應用積體電路106判斷前述第二相對座標與虛像座標是否相符。當第二相對座標與虛像座標相符，特殊應用積體電路106判定觸控物件22觸碰虛擬物件21。

請同時參照第4圖及第5圖，第4圖繪示係為感測裝置為第一影像感測器及第二影像感測器之頭戴式顯示裝置之方塊圖，第5圖繪示係為第三紅外線發光二極體、第一影像感測器及第二影像感測器配置於眼鏡架上之示意圖。於第4圖中，頭戴式顯示裝置係以頭戴式顯示裝置1a為例說明，感測裝置係以感測裝置111a為例說明。感測裝置111a包括第一影像感測器1111及 第二影像感測器1112。第一影像感測器1111及第二影像感測器1112用以擷取使用者之視角影像。第一實施例係由立體匹配(Stereo Matching)技術來取得觸控物件之深度值。立體匹配技術利用第一影像感測器1111及第二影像感測器1112模擬使用者之雙眼，並藉由第一影像感測器1111及第二影像感測器1112所擷取之影像來取得觸控物件之深度值。特殊應用積體電路106根據第一影像感測器1111或第二影像感測器1112所擷取之影像可取得觸控物件之平面座標，配合前述深度值即可取得觸控物件之三維座標做為實像座標。

此外，第一影像感測器1111或第二影像感測器1112之間的光學間距B能根據實際應用時實像深度遠近不同而予以適當地調整。舉例來說，當光學間距B變小時，適合應用於深度值較小之應用。相反地，當光學間距B變大時，適合應用於深度值較大之應用。當環境光源過暗時，特殊應用積體電路106能開啟第三紅外線發光二極體1114提供一輔助光源，以提高第一影像感測器1111及第二影像感測器1112所擷取影像之影像品質。為方便說明起見，第5圖繪示係以第三紅外線發光二極體1114搭配第一影像感測器1111及第二影像感測器1112為例說明。

請同時參照第4圖、第13圖及第14圖，第13圖繪示為使用者之眼睛之示意圖，第14圖繪示係為廣角影像上之最大感興趣區域之示意圖。進一步來說，頭戴式顯示裝置1a還能根據使用者的生理差異進行校正。舉例來說，使用者頭部固定不同 的情形下，瞳孔由最左邊的瞳孔位置移動到最右邊的瞳孔位置大約能涵蓋水平的180度視角。在同樣眼睛大小之下，由於每個人的眼球肌肉控制能力有所不同，因此最左邊的瞳孔位置及最右邊的瞳孔位置將因人而異。透過初始對齊校正(Initial Align Calibration)，能使頭戴式顯示裝置1a因應不同使用者的生理差異。第一影像感測器1111或第二影像感測器1112係包括廣角鏡，以擷取廣角影像。下述說明雖以廣角影像為例說明，然實際應用可先將廣角影像進行廣角鏡校正(Wide Angle Lens Correction)，後續再根據廣角校正後之廣角影像進行初始對齊校正。

當第一影像感測器1111或第二影像感測器1112之水平視角θ 2為180度，第一影像感測器1111或第二影像感測器1112對應擷取廣角影像3。假設使用者將瞳孔位置由最左邊移到最右邊所對應之最大水平視角θ 1為160度，則使用者於廣角影像3上的最大感興趣區域(Region Of Interest,ROI)R1將如第14圖繪示。

初始對齊校正包括如下步驟：首先，應用處理器103通知使用者直視正前方。接著，應用處理器103通知使用者將瞳孔位置移到最左邊，並記錄最左邊的瞳孔位置(x2,y1)。此時，瞳孔位置之水平位置x2對應至廣角影像3之水平位置x2’。跟著，應用處理器103通知使用者將瞳孔位置移到最右邊，並記錄最右邊的瞳孔位置(x1,y1)。此時，瞳孔位置之水平位置x1對應至廣角影像3之水平位置x1’。如此一來，頭戴式顯示裝置1a即可得 知水平左右最大視角時所對應之瞳孔位置，並取得水平位置x2與水平位置x2’之對應關係及水平位置x1與水平位置x1’之對應關係。最大感興趣區域R1的水平位置將落於水平位置x2’與水平位置x1’之間。水平位置x2’及水平位置x1’為最大感興趣區域R1之水平邊界位置。頭戴式顯示裝置1a後續即能根據水平位置x2與水平位置x2’之對應關係及水平位置x1與水平位置x1’之對應關係進行調整。相似地，頭戴式顯示裝置1a亦可藉由上述方式得知垂直上下最大視角時所對應之瞳孔位置，並取得對應之垂直邊界位置。頭戴式顯示裝置1a後續即能根據垂直位置y2、垂直位置y3與垂直邊界位置之對應關係進行調整。

請同時參照第1圖、第13圖、第15圖及第16圖，第15圖繪示係為瞳孔位於正中央時之感興趣區域之示意圖，第16圖繪示係為瞳孔自正中央向右移動後之感興趣區域之示意圖。假設使用者之水平視角為60度，且其瞳孔位於正中央，即瞳孔位置(x3,y1)。水平位置x3對應至感興趣區域R2中央之水平位置x3’，如第15圖繪示。當瞳孔自正中央向右移動後，其瞳孔位置(x3,y1)改變為瞳孔位置(x4,y1)，且水平位置x4=(x1+x3)/2。水平位置x4對應至感興趣區域R2中央之水平位置x4’，如第16圖繪示。為方便說明起見，上述實施方式係以線性對應方式說明。惟實施方式並不侷限於此，頭戴式顯示裝置1a取得水平位置x2’及水平位置x1’後，能請使用者於水平位置x2’與水平位置x1’之間逐一移動感興趣區域R2。頭戴式顯示裝置1a對應地逐一記 錄各感興趣區域R2中央之水平位置與其瞳孔位置之對應關係，並將其建立參考資料表。後續頭戴式顯示裝置1a即能以查表方式來決定感興趣區域R2之位置。

上述說明即為瞳孔水平移動時，實體座標要跟著移動多少的計算基礎，也就是前述觸控偏移量的計算方法。而前述感興趣區域R2隨瞳孔移動而改變的位置即為前述第二相對座標。雖然前述係以瞳孔水平移動為例說明，然而，於瞳孔垂直移動的情況中，其實現方式亦與前述說明相似。

第二實施例

請同時參照第6圖及第7圖，第6圖繪示係為依照第二實施例之頭戴式顯示裝置之方塊圖，第7圖繪示係為依照第二實施例之一種頭戴式顯示裝置之外觀示意圖。第二實施例與第一實施例主要不同之處在於第6圖之頭戴式顯示裝置係以頭戴式顯示裝置1b為例說明，而感測裝置係以感測裝置111b為例說明。感測裝置111b包括第一影像感測器1111、飛行時間(Time Of Flight,TOF)相機1113及第三紅外線發光二極體1114。飛行時間(Time Of Flight,TOF)相機1113搭配第三紅外線發光二極體1114取得觸控物件之深度值。特殊應用積體電路106根據第一影像感測器1111所擷取之影像可取得觸控物件之平面座標，配合前述深度值即可取得觸控物件之三維座標做為實像座標。

第三實施例

請同時參照第8圖及第9圖，第8圖繪示係為依照第三實施例之頭戴式顯示裝置之方塊圖，第9圖繪示係為依照第三實施例之一種頭戴式顯示裝置之外觀示意圖。第三實施例與第一實施例主要不同之處在於第8圖之頭戴式顯示裝置係以頭戴式顯示裝置1c為例說明，而感測裝置係以感測裝置111c為例說明。感測裝置111c包括第一影像感測器1111、結構光(structured light)相機1115及第三紅外線發光二極體1114。特殊應用積體電路106控制第三紅外線發光二極體1114產生一結構光，特殊應用積體電路106根據結構光(structured light)相機1115所感測之影像取得觸控物件之深度值。特殊應用積體電路106根據第一影像感測器1111所擷取之影像可取得觸控物件之平面座標，配合前述深度值即可取得觸控物件之三維座標做為實像座標。結構光例如為點狀(Spot)、帶狀(Stripe)或圖樣(Pattern)。當結構光為點狀時，特殊應用積體電路106可藉由光點的密度來取得觸控物件之深度值。

第四實施例

請同時參照第1圖及第10圖，第10圖繪示係為將頭戴式顯示裝置進行初始立體校正之流程圖。第四實施例與第一實施例主要不同之處在於第四實施例能進一步根據使用者的實際感受進行校正，以提供最佳的立體視覺效果。首先如步驟301所示，應用處理器103控制微型投影單元102投影立體校正影 像。立體校正影像例如為立方體。應用處理器103會對應地發出一直視訊息通知使用者將眼睛直視正前方，此時瞳孔位置將位於眼睛正中央。接著如步驟302所示，眼部影像感測單元104擷取使用者之眼部影像資料。舉例來說，眼部影像資料包括使用者之雙眼影像。

跟著如步驟303所示，特殊應用積體電路106將眼部影像資料進行透視校正(Perspective Correction)以產生眼部正向影像。然後如步驟304所示，特殊應用積體電路10根據眼部正向影像取得瞳孔位置。接著如步驟305所示，特殊應用積體電路106根據瞳孔位置控制調整單元105調整虛像之成像位置。調整單元105調整虛像之成像位置，使得微型投影單元102之光束位置與瞳孔位置相符。亦即，透過控制調整單元105調整虛像之成像位置直到微型投影單元102的光束準確地射入瞳孔位置。

接著如步驟306所示，特殊應用積體電路106要求應用處理器103發出一訊問訊息詢問使用者是否呈現良好立體影像。若未呈現良好立體影像，則執行步驟307。如步驟307所示，特殊應用積體電路106控制調整單元105調整虛像之成像位置。調整單元105調整虛像之成像位置的方式可以是調整分光鏡單元101或微型投影單元102。接著再次執行步驟406，特殊應用積體電路106要求應用處理器103發出一訊問訊息詢問使用者是否呈現良好立體影像。若呈現良好立體影像，則執行步驟408。如步驟408所示，特殊應用積體電路106決定校正偏移值。若調整單 元105係調整分光鏡單元101，則特殊應用積體電路106根據調整後之分光鏡單元101決定校正偏移值。若調整單元105係調整微型投影單元102，則特殊應用積體電路106根據調整後之微型投影單元102決定校正偏移值。跟著如步驟309所示，應用處理器103紀錄校正偏移值。如此一來，當使用者再次使用頭戴式顯示裝置1時，特殊應用積體電路106即能根據校正偏移值控制調整單元調整虛像之成像位置，以感受良好立體影像效果。

使用者能藉由上述初始立體校正取得多組校正偏移值。舉例來說，使用者能藉由上述初始立體校正取得配戴近視鏡片時之一組校正偏移值。使用者並能藉由上述初始立體校正取得不配戴近視鏡片時之另一組校正偏移值。

第五實施例

請同時參照第1圖、第17圖及第20圖，第17圖繪示係為依照第五實施例之一種頭戴式顯示裝置之方塊圖，第20圖繪示係為一種電腦遊戲之示意圖。第五實施例之頭戴式顯示裝置4與第一實施例之頭戴式顯示裝置1主要不同之處在於：於第五實施例中，眼部影像感測單元104僅包括第一眼部影像感測器104a。於第五實施例中，紅外線發光單元107僅包括第一紅外線發光二極體107a。於第五實施例中，分光鏡單元101僅包括第一分光鏡101a。於第五實施例中，微型投影單元102僅包括第一微型投影機102a。於第五實施例中，調整單元105僅包括第一調整裝置105a。 於第五實施例中，當瞳孔位置改變虛像座標將對應地改變。特殊應用積體電路106根據瞳孔位置之位移量估計對應之虛像座標的改變量。使用者藉由頭戴式顯示裝置4可控制如第20圖繪示之二維電腦遊戲。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1‧‧‧頭戴式顯示裝置

101‧‧‧分光鏡單元

101a‧‧‧第一分光鏡

101b‧‧‧第二分光鏡

102‧‧‧微型投影單元

102a‧‧‧第一微型投影機

102b‧‧‧第二微型投影機

103‧‧‧應用處理器

104‧‧‧眼部影像感測單元

104a‧‧‧第一眼部影像感測器

104b‧‧‧第二眼部影像感測器

105‧‧‧調整單元

105a‧‧‧第一調整裝置

105b‧‧‧第二調整裝置

106‧‧‧特殊應用積體電路

107‧‧‧紅外線發光單元

107a‧‧‧第一紅外線發光二極體

107b‧‧‧第二紅外線發光二極體

108a‧‧‧第一前端影像感測器

108b‧‧‧第二前端影像感測器

109‧‧‧畫面暫存器

111‧‧‧感測裝置

Claims (28)

1. 一種頭戴式顯示裝置，包括：一微型投影單元；一應用處理器，用以控制該微型投影單元投影一虛像，該虛像包括一虛擬物件，該虛擬物件位於一虛像座標系上之一虛像座標；一眼部影像感測單元，用以擷取一眼部影像資料；一調整單元；一感測裝置，用以感測一觸控物件以輸出一感測資料；一特殊應用積體電路(Application Specific Integrated Circuit,ASIC)，用以根據該感測資料取得該觸控物件於一實像座標系上之一實體座標，該特殊應用積體電路根據該眼部影像資料取得一瞳孔位置，並根據該瞳孔位置控制該調整單元調整該虛像之成像位置，該特殊應用積體電路根據該瞳孔位置、該實體座標及該虛擬座標判斷該觸控物件是否觸碰該虛擬物件；以及一眼鏡架，用以承載該調整單元、該微型投影單元、該應用處理器、該眼部影像感測單元、該實體座標擷取裝置及該特殊應用積體電路。
2. 如申請專利範圍第1項所述之頭戴式顯示裝置，其中，當該瞳孔位置位於眼睛正中央時，該特殊應用積體電路將該實體座標轉換為該虛擬座標系上之一第一相對座標，並判斷該第一相對座標與該虛像座標是否相符，當該第一相對座標與該虛像座標相 符，該特殊應用積體電路判定該觸控物件觸碰該虛擬物件。
3. 如申請專利範圍第2項所述之頭戴式顯示裝置，其中，當該瞳孔位置不位於眼睛正中央時，該特殊應用積體電路維持該虛擬座標不變，並對應地將該實體座標轉換為該虛擬座標系上之一第二相對座標，該第二相對座標與該第一相對座標相差一觸控偏移量。
4. 如申請專利範圍第3項所述之頭戴式顯示裝置，其中，該特殊應用積體電路判斷該第二相對座標與該虛像座標是否相符，當該第二相對座標與該虛像座標相符，該特殊應用積體電路判定該觸控物件觸碰該虛擬物件。
5. 如申請專利範圍第1項所述之頭戴式顯示裝置，更包括一分光鏡單元，該應用處理器控制該微型投影單元投影一立體校正影像，該特殊應用積體電路根據該瞳孔位置控制該調整單元調整該虛像之成像位置，使得該微型投影單元之一光束位置與該瞳孔位置相符，該特殊應用積體電路要求該應用處理器發出一訊問訊息詢問是否呈現良好立體影像，若未呈現良好立體影像，該特殊應用積體電路控制該調整單元調整該虛像之成像位置，若呈現良好立體影像，該特殊應用積體電路根據調整後之該分光鏡單元決定一校正偏移值，並紀錄該校正偏移值。
6. 如申請專利範圍第1項所述之頭戴式顯示裝置，其中該應用處理器記錄該瞳孔位置之一可移動範圍。
7. 如申請專利範圍第1項所述之頭戴式顯示裝置，其中該感 測裝置包括一第一影像感測器及一第二影像感測器。
8. 如申請專利範圍第7項所述之頭戴式顯示裝置，其中該第一影像感測器及該第二影像感測器包括廣角鏡(Wide Angle Lens)。
9. 如申請專利範圍第1項所述之頭戴式顯示裝置，其中該感測裝置包括一第一影像感測器及一飛行時間(Time Of Flight,TOF)相機。
10. 如申請專利範圍第1項所述之頭戴式顯示裝置，其中該感測裝置包括一第一影像感測器及一結構光(structured light)相機。
11. 如申請專利範圍第1項所述之頭戴式顯示裝置，更包括：一紅外線發光單元，用以提供該眼部影像感測單元所需之輔助光源。
12. 如申請專利範圍第11項所述之頭戴式顯示裝置，更包括一分光鏡單元，該分光鏡單元包括一第一分光鏡，該微型投影單元包括一第一微型投影機，該眼部影像感測單元包括一第一眼部影像感測器，該調整單元包括一第一調整裝置，該紅外線發光單元包括一第一紅外線發光二極體，該第一微型投影該虛像，該第一眼部影像感測器擷取該眼部影像資料，該第一調整裝置調整該第一分光鏡，該第一紅外線發光二極體提供該第一眼部影像感測器所需之輔助光源。
13. 如申請專利範圍第11項所述之頭戴式顯示裝置，其中該 微型投影單元包括一第一微型投影機，該眼部影像感測單元包括一第一眼部影像感測器，該調整單元包括一第一調整裝置，該紅外線發光單元包括一第一紅外線發光二極體，該第一微型投影該虛像，該第一眼部影像感測器擷取該眼部影像資料，該第一調整裝置調整該第一微型投影機，該第一紅外線發光二極體提供該第一眼部影像感測器所需之輔助光源。
14. 如申請專利範圍第11項所述之頭戴式顯示裝置，更包括一分光鏡單元，該分光鏡單元包括一第一分光鏡及一第二分光鏡，該微型投影單元包括一第一微型投影機及一第二微型投影機，該眼部影像感測單元包括一第一眼部影像感測器及一第二眼部影像感測器，該調整單元包括一第一調整裝置及一第二調整裝置，該紅外線發光單元包括一第一紅外線發光二極體及一第二紅外線發光二極體，該第一微型投影及該第二微型投影機投影該虛像，該第一眼部影像感測器及該第二眼部影像感測器擷取該眼部影像資料，該第一調整裝置調整該第一分光鏡，該第二調整裝置調整該第二分光鏡，該第一紅外線發光二極體提供該第一眼部影像感測器所需之輔助光源，第二紅外線發光二極體提供該第二眼部影像感測器所需之輔助光源。
15. 一種頭戴式顯示裝置之控制方法，包括：控制一微型投影單元投影一虛像，該虛像包括一虛擬物件，該虛擬物件位於一虛像座標系上之一虛像座標；經由一眼部影像感測單元擷取一眼部影像資料； 經由一感測裝置感測一觸控物件以輸出一感測資料；根據該感測資料取得該觸控物件於一實像座標系上之一實體座標；根據該眼部影像資料取得一瞳孔位置，並根據該瞳孔位置控制一調整單元調整調整該虛像之成像位置；以及根據該瞳孔位置、該實體座標及該虛擬座標判斷該觸控物件是否觸碰該虛擬物件。
16. 如申請專利範圍第15項所述之控制方法，其中於該判斷步驟中，當該瞳孔位置位於眼睛正中央時，將該實體座標轉換為該虛擬座標系上之一第一相對座標，並判斷該第一相對座標與該虛像座標是否相符，當該第一相對座標與該虛像座標相符，判定該觸控物件觸碰該虛擬物件。
17. 如申請專利範圍第16項所述之控制方法，其中於該判斷步驟中，當該瞳孔位置不位於眼睛正中央時，維持該虛擬座標不變，並對應地將該實體座標轉換為該虛擬座標系上之一第二相對座標，該第二相對座標與該第一相對座標相差一觸控偏移量。
18. 如申請專利範圍第17項所述之控制方法，其中於該判斷步驟中，判斷該第二相對座標與該虛像座標是否相符，當該第二相對座標與該虛像座標相符，判定該觸控物件觸碰該虛擬物件。
19. 如申請專利範圍第15項所述之控制方法，更包括：投影一立體校正影像；根據該瞳孔位置控制該調整單元調整該虛像之成像位置，使 得該微型投影單元之一光束位置與該瞳孔位置相符；發出一訊問訊息詢問是否呈現良好立體影像；若未呈現良好立體影像，調整該虛像之成像位置；以及若呈現良好立體影像，根據調整後之該分光鏡單元決定一校正偏移值，並紀錄該校正偏移值。
20. 如申請專利範圍第15項所述之控制方法，更包括：記錄該瞳孔位置之一可移動範圍。
21. 如申請專利範圍第15項所述之控制方法，其中該感測裝置包括一第一影像感測器及一第二影像感測器。
22. 如申請專利範圍第21項所述之控制方法，其中該第一影像感測器及該第二影像感測器包括廣角鏡(Wide Angle Lens)。
23. 如申請專利範圍第15項所述之控制方法，其中該感測裝置包括一第一影像感測器及一飛行時間(Time Of Flight,TOF)相機。
24. 如申請專利範圍第15項所述之控制方法，其中該感測裝置包括一第一影像感測器及一結構光(structured light)相機。
25. 如申請專利範圍第15項所述之控制方法，其中該頭戴式顯示裝置更包括：一紅外線發光單元，用以提供該眼部影像感測單元所需之輔助光源。
26. 如申請專利範圍第25項所述之控制方法，其中該頭戴式顯示裝置更包括一分光鏡單元，該分光鏡單元包括一第一分光 鏡，該微型投影單元包括一第一微型投影機，該眼部影像感測單元包括一第一眼部影像感測器，該調整單元包括一第一調整裝置，該紅外線發光單元包括一第一紅外線發光二極體，該第一微型投影投影該虛像，該第一眼部影像感測器擷取該眼部影像資料，該第一調整裝置調整該第一分光鏡，該第一紅外線發光二極體提供該第一眼部影像感測器所需之輔助光源。
27. 如申請專利範圍第25項所述之控制方法，其中該微型投影單元包括一第一微型投影機，該眼部影像感測單元包括一第一眼部影像感測器，該調整單元包括一第一調整裝置，該紅外線發光單元包括一第一紅外線發光二極體，該第一微型投影投影該虛像，該第一眼部影像感測器擷取該眼部影像資料，該第一調整裝置調整該第一微型投影機，該第一紅外線發光二極體提供該第一眼部影像感測器所需之輔助光源。
28. 如申請專利範圍第25項所述之控制方法，其中該頭戴式顯示裝置更包括一分光鏡單元，該分光鏡單元包括一第一分光鏡及一第二分光鏡，該微型投影單元包括一第一微型投影機及一第二微型投影機，該眼部影像感測單元包括一第一眼部影像感測器及一第二眼部影像感測器，該調整單元包括一第一調整裝置及一第二調整裝置，該紅外線發光單元包括一第一紅外線發光二極體及一第二紅外線發光二極體，該第一微型投影及該第二微型投影機投影該虛像，該第一眼部影像感測器及該第二眼部影像感測器擷取該眼部影像資料，該第一調整裝置調整該第一分光鏡，該第 二調整裝置調整該第二分光鏡，該第一紅外線發光二極體提供該第一眼部影像感測器所需之輔助光源，第二紅外線發光二極體提供該第二眼部影像感測器所需之輔助光源。