TWI581007B

TWI581007B - 頭戴型顯示裝置及其校正方法

Info

Publication number: TWI581007B
Application number: TW104140044A
Authority: TW
Inventors: 曾莞如; 武景龍
Original assignee: 宏達國際電子股份有限公司
Priority date: 2014-12-11
Filing date: 2015-12-01
Publication date: 2017-05-01
Also published as: US20160171675A1; TW201626049A; US10152119B2; CN105700138A; CN105700138B

Description

頭戴型顯示裝置及其校正方法

本發明是有關於一種頭戴型顯示裝置及其校正方法，且特別是有關於一種利用雙攝像單元進行位移校正的頭戴型顯示裝置。

穿戴式互動裝置是目前最具前瞻性的領域之一。自從智慧型手機蓬勃發展，許多國際公司積極佈局於此領域。而頭戴型顯示裝置為此領域的關鍵裝置之一。頭戴型顯示裝置可以分成浸潤型頭戴型顯示裝置以及透視型頭戴型顯示裝置。

在實際使用上，頭戴型顯示裝置上的攝像機位置會因為某些不可避免的原因而產生改變。因此，為了將實際的影像與頭戴型顯示裝置製造的虛擬影像相結合，執行校正為必要的。在習知技術中，執行校正需要特別的儀器，並只能於特定的地點執行校正（如：實驗室、工廠）。為此，需要改善提升頭戴型顯示裝置使用的便利性。

本揭露提供一種頭戴型顯示裝置及其校正方法，並可有效校正頭戴型顯示裝置的雙攝像單元的位移。

本揭露提供一種用以校正具有雙攝像單元的頭戴型顯示裝置的校正方法。此方法包括：放置參照物件於雙攝像單元前，其中該參照物件具有至少一物理特徵；透過雙攝像單元捕捉參照物件的多數個影像，並根據影像產生參照物件的距離資訊；分析距離資訊以判斷雙攝像單元是否變形；以及當雙攝像單元變形時，校正頭戴型顯示裝置。

本揭露提供一種頭戴型顯示裝置。此頭戴型顯示裝置具有雙攝像單元以及主裝置。雙攝像單元是用以捕捉參照物件的多數個影像。主裝置與雙攝像單元連接並用以執行下列步驟：根據該些影像，產生參照物件的距離資訊；分析該距離資訊，以判斷該雙攝像單元是否變形；以及當該雙攝像單元變形時，校正該頭戴型顯示裝置。

基於上述，於本揭露中，頭戴型顯示裝置可以經由參照物件簡易的判斷雙攝像單元是否變形。再者，雙攝像單元可以基於參照物件來取得景深資訊並進行校正。也就是說，雙攝像單元的校正動作可以由使用者來進行，且此校正的方法可以簡單且快速的被達成。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

於本揭露中，一種校正方法被提供，並用以校正具有雙攝像單元的頭戴型顯示裝置。其中此雙攝像單元可以用來同時捕捉影像。具有景深引擎的主裝置被連接於此頭戴型顯示裝置，景深引擎藉由處理影像產生距離資訊。其中此景深引擎可以為軟體或電路。

圖1繪示依照本揭露一實施例的判斷頭戴型顯示裝置的雙攝像單元是否變形的流程圖。於圖1中，在變形偵測模式的過程中，一個參照物件會被放置於頭戴型顯示裝置的雙攝像單元前面，且此參照物件具有至少一種物理特性，例如，顏色、形狀、邊緣等（步驟S110）。在步驟S120中，雙攝像單元可以捕捉參照物件的影像，且主裝置可藉由感測頭戴型顯示裝置與參照物件之間的距離，以產生對應參照物件的距離資訊。在步驟S130中，藉由分析距離資訊，主裝置可以根據距離資訊來判斷雙攝像單元是否變形。

在一實施例中，參照物件可以為使用者的手。主裝置可以指示使用者將手臂伸直，並將手放於雙攝像單元前面。接著，雙攝像單元可捕捉使用者的手的影像。雙攝像單元亦可以在當使用者舉起手時自動的捕捉影像。

再者，上述的距離資訊可以包括景深圖，此景深圖對應到影像上的參照物件，其中在此景深圖中分布很多數值，這些數值是用來表示對應參照物件的每一個像素的距離資訊。景深圖上分布的數值被稱為景深密度。主裝置可以分析景深圖上對應參照物件的景深密度的連續的或片段的狀態，當景深圖顯示出連續性較差的情形或異常片段的狀態時，主裝置可以判斷雙攝像單元是變形的。舉例來說，於一般的情形中，景深圖上的景深密度對應到參照物件（例如：使用者的手部）應該是連續性的分布，或者會有明顯的邊緣。若對應到使用者手部區域的景深密度突然在數值高低間改變，則主裝置可以判斷此景深圖有異常片段的情形，雙攝像單元是變形的。

除此之外，上述的距離資訊更可包括感測距離，此感測距離是透過使用頭戴型顯示裝置的雙攝像單元捕捉的影像而由主裝置計算獲得的。其中感測距離是對應到參照物件與雙攝像單元間的距離。主裝置的景深引擎可更進一步基於影像視差而取得感測距離。主裝置可以比較感測距離與一參照距離，如果感測距離與參照距離之間的差異大於一個預定範圍，則主裝置可判斷雙攝像單元是變形的。其中參照距離可以被預設為人的手臂的長度。舉例而言，預設的參照距離可以被設成50-80公分。此外，參照距離也可以被設為被頭戴型顯示裝置的距離偵測單元偵測到的頭戴型顯示裝置與參照物件間測量的距離。

在另一實施例中，參照物件可以為一位置參照裝置，此位置參照裝置位於與頭戴型顯示裝置間較遠的位置，並以無線的方式提供參照資訊至一通訊介面，例如頭戴型顯示裝置的收發器。接著，此通訊介面轉發參照資訊至主裝置以執行進一步的處理。主裝置可以使用參照資訊以產生參照距離，此參照距離是對應遠端物件與對應頭戴型顯示裝置之間的距離。接著，主裝置的景深引擎能更進一步藉由雙攝像單元捕捉的遠端物件的影像，來取得遠端物件的感測距離。主裝置可以比較感測距離與參照距離，若感測距離與參照距離之間的差異大於一預設範圍，主裝置可判斷雙攝錄單元是變形的。

請參照圖2A，圖2A繪示本揭露一實施例的頭戴型顯示裝置的方塊圖。於圖2A中，頭戴型顯示裝置20中的雙攝像單元200包括第一攝像機210以及第二攝像機220。主裝置22連接至頭戴型顯示裝置20的雙攝像單元200，並用以產生距離資訊。雙攝像單元200可以捕捉參照物件ROBJ的影像，且主裝置22可以基於被捕捉的影像而產生參照物件ROBJ的距離資訊。

為了偵測雙攝像單元200的變形狀態，距離偵測單元230可測量出參照距離RD，此參照距離RD為參照物件ROBJ與雙攝像單元200之間的距離。距離偵測單元230可被設置於頭戴型顯示裝置20上。且本領域中具有通常知識者可以獲知的距離測量技巧都可以被應用於此距離偵測單元230中。舉例而言，距離偵測單元230可以是飛行時間（time of flight, TOF）影像擷取系統、射頻（radio frequency）或紅外線（infra-red ray）偵測單元。主裝置22的景深引擎可以基於雙攝像單元200捕捉的參照物件ROBJ的影像，來取得參照物件ROBJ的感測距離SD1、SD2。主裝置22可以比較感測距離SD1、SD2及參照距離RD，並在若感測距離SD1、SD2與參照距離RD之間的差異大於預設範圍，主裝置22可以判定雙攝像單元200是變形的。在圖2A中，主裝置22可以被內建於頭戴型顯示裝置20中。主裝置22可以從攝像機210、220獲得感測距離SD1、SD2，以及從距離偵測單元230取得參照距離RD。因此，主裝置22可以判斷雙攝像單元是否變形，並可依據判斷結果執行校正作業。

請參考圖2B，圖2B繪示本揭露另一實施例的頭戴型顯示裝置的方塊圖。於圖2B中，主裝置22在頭戴型顯示裝置20外部。在此實施例中，主裝置22會同時被視為參照物件ROBJ，且參照物件ROBJ會被設置於距離頭戴型顯示裝置20較遠的位置。頭戴型顯示裝置20可以感測參照物件ROBJ的影像，並以無線的方式提供感測影像至主裝置22。

圖3繪示本揭露一實施例的校正主裝置景深引擎的流程圖。若雙攝像單元200在變形偵測模式的過程中被判定為變形，校正作業會被執行於主裝置22的景深引擎中。在步驟S310中，被第一攝像機210以及第二攝像機220捕捉的影像中的參照物件的位置資訊會被計算，此位置資訊用以校正取得第一攝像機210以及第二攝像機220捕捉影像的位置，以減少第一方向的位移。其中第一攝像機210與第二攝像機220被設置於頭戴型顯示裝置20的第二方向，且第一方向與第二方向實質上相互垂直。

圖4繪示本揭露一實施例的第一攝像機210與第二攝像機220捕捉影像的示意圖。第一攝像機210與第二攝像機220可以同時捕捉參照物件ROBJ的影像，並分別地產生第一影像410以及第二影像420。藉由比較第一影像410以及第二影像420，第一影像410與第二影像420中的參照物件ROBJ的特定點X的位置會有一相對位置差值（影像視差）。其中特定點X可能為參照物件ROBJ多數個特徵點裡面的其中一個。舉例來說，特定點X可以為參照物件ROBJ一個邊緣上的一個點。於圖4中，第二影像420中的特定點X的位置比第一影像中的特定點X的位置高出距離D1。距離D1可以被提供為位置資訊，以校正第一影像410以及第二影像420中的第一方向的位移。

需注意的為，參照物件ROBJ可以被使用者提供（如：使用者的手）。此外，參照物件ROBJ可能是與頭戴型顯示裝置20距離遙遠的遠端物件，且此遠端物件是可由頭戴型顯示裝置20的雙攝像單元200感測的。

在步驟S320中，頭戴型顯示裝置20以及參照物件ROBJ間的感測距離被偵測。

請參照圖5，圖5繪示本揭露一實施例的第一攝像機210與第二攝像機220捕捉影像的情節示意圖。於圖5中，影像情節510的產生是由被第一攝像機210及第二攝像機220所捕捉的兩張影像重疊而成（如：圖4的影像410以及420）。於影像情節510中，參照物件的影像ROBJ1是被第一攝像機210取得，而參照物件的影像ROBJ2是被第二攝像機220取得。影像情節510中，影像ROBJ1與ROBJ2間於第二方向上有距離D2，其中距離D2可以依據影像ROBJ1的特徵點以及對應的影像ROBJ2的特徵點而被取得。

於步驟S330中，攝像機捕捉的影像的第二方向上的位移會被校正。若頭戴型顯示裝置20的第一攝像機及第二攝像機發生變形，基於距離D2所計算出的感測距離SD大於或小於預設的參照距離時，第一影像410以及第二影像420於第二方向上的校正行為是被需要的。主裝置22可基於距離D2來計算參照距離與感測距離SD的差值。依據上述，於校正作業時，景深引擎可以基於上述計算出的差值來校正第一影像410以及第二影像420於第二方向的位移。

請再參照圖3，在第一影像410及第二影像420中的第一方向及第二方向的位移被校正後，主裝置22的景深引擎的校正作業被執行完畢。第一影像410及第二影像420的第一方向及第二方向的位移可以被儲存為校正資料。主裝置22可以在步驟S340中，並基於此校正資料更新景深引擎。

請參考圖6A，圖6A繪示本揭露一實施例的頭戴型顯示裝置的方塊圖。頭戴型顯示裝置20包括攝像機610、620，時差測距630、主裝置640以及通用序列匯排流集線器（USB hub）650。使用者的手以及頭戴型顯示裝置600間的參照距離可以藉由時差測距630而被獲取。其中時差測距630是一種距離偵測單元。藉由比較從被攝像機610、620所獲取的感測距離以及被時差測距630所獲取的參照距離，主裝置640可以判斷攝像機610、620是否變形，並依據判斷結果執行主裝置640的景深引擎的校正作業。

請參照圖6B，圖6B繪示本揭露另一實施例的頭戴型顯示裝置的方塊圖。頭戴型顯示裝置20包括了攝像機610、620、飛行時間（time of flight, TOF）影像擷取器630、以及通用序列匯排流集線器（USB hub）650。在此實施例中，主裝置670被設置於頭戴型顯示裝置20的外部，且此主裝置670可以透過通用序列匯排流集線器650被連接於頭戴型顯示裝置20。

請參照圖7，圖7繪示本揭露一實施例初始化頭戴型顯示裝置的流程圖。於步驟S710，使用者可以把手放置在頭戴型顯示裝置前。於步驟S720，主裝置可以取得感測影像中使用者的手的距離與景深密度。於步驟S730，頭戴型顯示裝置藉由影像中使用者手的差距查驗變形。接著，於步驟S740，判斷頭戴型顯示裝置是否變形。若判斷結果頭戴型顯示裝置是變形，步驟S750被執行，若判斷結果頭戴型裝置沒有變形，則初始化步驟已被完成（步驟S760）。

於步驟S750中，校正作業被執行。首先，於步驟S7501，頭戴型顯示裝置的主裝置可以基於雙攝像單元捕捉到使用者被顯示於影像中的手執行校正，以減少雙攝像單元捕捉的影像的第一方向的位移（如圖4所述）。第二步，位置參照裝置被提供於遠離頭戴型顯示裝置的位置，且位置參照裝置與頭戴型顯示裝置間的參照位置被測量（步驟S7502）。接著，被雙攝像單元捕捉的影像的第二方向的位移可以藉由比較步驟S7502中被測量的參照距離以及被頭戴型顯示裝置取得的感測距離而被校正。於步驟S7503中，當所有校正作業被執行完畢，被雙攝像單元捕捉的影像的第一方向與第二方向的位移會被儲存為校正資料。主裝置可以基於此校正資料而更新景深引擎。接著，在步驟S7503後，初始化的步驟被完成。

綜上所述，在本揭露中，校正作業可利用主裝置而被執行，此主裝置可以是頭戴型顯示裝置中的一個晶片，或者是具有強大處理器的電子裝置。也就是說，此校正作業可以由使用者輕易的來執行，並改善了頭戴型顯示裝置的效率。

本揭露的校正方法可以被應用於具有雙攝像單元的頭戴型顯示裝置，但不限於此。舉例來說，此揭露的校正方法可以被應用於任何具有雙攝像單元或單攝像單元的電子裝置，以及不違背此申請案的範圍與精神所進行的修改或變動裝置上。

綜上所述，此頭戴型顯示裝置的校正方法可以藉由一個參照物件（如：使用者的手）輕易達成，且也提升了使用頭戴型顯示裝置的效率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

20‧‧‧頭戴型顯示裝置
22、640、670‧‧‧主裝置
200‧‧‧雙攝像單元
210、220、610、620‧‧‧攝像機
230‧‧‧距離感測單元
410、420、510‧‧‧影像
630‧‧‧時差測距
650‧‧‧通用序列匯排流集線器
D1、D2‧‧‧距離
S110~S130、S310~S340、S710~S760、S7501~S7503‧‧‧校正方法的步驟
RD‧‧‧參照距離
ROBJ‧‧‧參照物件
ROBJ1、ROBJ2‧‧‧參照物件的影像
SD1、SD2‧‧‧感測距離
X‧‧‧特定點

圖1繪示依照本揭露一實施例中，判斷頭戴型顯示裝置的雙攝像單元是否變形的流程圖。圖2A繪示本揭露一實施例的頭戴型顯示裝置的方塊圖。圖2B繪示本揭露另一實施例的頭戴型顯示裝置的方塊圖。圖3繪示本揭露一實施例的校正主裝置景深引擎的流程圖。圖4繪示本揭露一實施例的第一攝像機與第二攝像機捕捉影像的示意圖。圖5繪示本揭露一實施例的第一攝像機與第二攝像機捕捉影像的情節示意圖。圖6A繪示本揭露一實施例的頭戴型顯示裝置的方塊圖。圖6B繪示本揭露另一實施例的頭戴型顯示裝置的方塊圖。圖7繪示本揭露一實施例初始化頭戴型顯示裝置的流程圖。

S110~S130‧‧‧校正方法的步驟

Claims

一種頭戴型顯示裝置的校正方法，其中該頭戴型顯示裝置具有一雙攝像單元，包括：放置一參照物件於該雙攝像單元前，其中該參照物件具有至少一物理特徵；透過該雙攝像單元捕捉該參照物件的多數個影像，並根據該些影像產生該參照物件的一距離資訊；分析該距離資訊以判斷該雙攝像單元是否變形；以及當該雙攝像單元變形時，校正該頭戴型顯示裝置。
如申請專利範圍第1項所述的校正方法，其中該距離資訊包括一景深圖，該景深圖對應至該些影像上的該參照物件，且該景深圖上分布多數個數值，該些數值用以表示對應該參照物件的每一多數個像素中的該距離資訊；其中該景深圖上的該些數值為一景深密度。
如申請專利範圍第2項所述的校正方法，其中分析該距離資訊，以判斷該雙攝像單元是否變形的步驟包括：分析對應該參照物件的該景深圖的該景深密度的一連續的或片段的狀態；以及根據該連續的或片段的狀態以判斷該雙攝像單元是否變形。
如申請專利範圍第2項所述的校正方法，其中該距離資訊更包括一感測距離，該感測距離為對應該參照物件與該雙攝像單元間的一距離。
如申請專利範圍第4項所述的校正方法，其中該感測距離是基於一影像視差而取得。
如申請專利範圍第4項所述的校正方法，其中分析該距離資訊以判斷該雙攝像單元是否變形的步驟包括：比較該感測距離與一參照距離；以及判斷該感測距離與該參照距離的差異是否大於一預定範圍，以判斷該雙攝像單元是否變形。
如申請專利範圍第6項所述的校正方法，其中該參照距離介於50-80公分之間。
如申請專利範圍第1項所述的校正方法，其中當該雙攝像單元變形時，校正該頭戴型顯示裝置的步驟包括：計算分別對應該些影像的多數個位置資訊；根據該些位置資訊，計算於該些影像中在一第一方向上的位移，其中該雙攝像單元中的一第一攝像機以及一第二攝像機被配置於一第二方向，且該第一方向與該第二方向實質上垂直；以及根據該些影像間的該第一方向的該位移更新景深資訊，以校正該第一攝像機以及該第二攝像機在該第一方向上的位移。
如申請專利範圍第8項所述的校正方法，其中當該雙攝像單元變形時，校正該頭戴型顯示裝置的步驟更包括：基於該參照物件上的一特定點，計算一影像視差；以及基於該視差更新該景深訊息，以校正該第一攝像機以及該第二攝像機在該第二方向之上的位移。
如申請專利範圍第8項所述的校正方法，其中當該雙攝像單元變形時，校正該頭戴型顯示裝置的步驟更包括：偵測該參照物件與該頭戴型顯示裝置間的一感測距離；比較該感測距離與一預設距離，以產生一比較結果；以及根據該比較結果更新該景深資訊，以校正該些影像在該第二方向的該位移。
如申請專利範圍第8項所述的校正方法，其中當該雙攝像單元變形時，校正該頭戴型顯示裝置的步驟更包括：根據該景深圖，更新一景深引擎。
一種頭戴型顯示裝置，包括：一雙攝像單元，用以捕捉一參照物件的多數個影像；以及一主裝置，與該雙攝像單元連接，並用以執行下列步驟：根據該些影像，產生該參照物件的一距離資訊；分析該距離資訊，以判斷該雙攝像單元是否變形；以及當該雙攝像單元變形時，校正該頭戴型顯示裝置。
如申請專利範圍第12項所述的頭戴型顯示裝置，其中該距離資訊包括一景深圖，該景深圖對應至該些影像上的該參照物件，且該景深圖分布多數個數值，以表示對應該參照物件的每一多數個像素中的該距離資訊；其中該景深圖上的該些數值為一景深密度。
如申請專利範圍第13項所述的頭戴型顯示裝置，其中該主裝置分析對應該參照物件的該景深圖的該景深密度的一連續的或片段的狀態，以及根據該連續的或片段的狀態，判斷該雙攝像單元是否變形。
如申請專利範圍第14項所述的頭戴型顯示裝置，其中該距離資訊更包括一感測距離，該感測距離為對應該參照物件與該雙攝像單元間的一距離。
如申請專利範圍第14項所述的頭戴型顯示裝置，其中該主裝置根據一影像視差，獲得該感測距離。
如申請專利範圍第14項所述的頭戴型顯示裝置，其中該主裝置比較該感測距離與一參照距離，以及判斷該感測距離與該參照距離的差異是否大於一預定範圍，以判斷該雙攝像單元是否變形。
如申請專利範圍第17項所述的頭戴型顯示裝置，其中該參照距離介於50-80公分。
如申請專利範圍第17項所述的頭戴型顯示裝置，其中該主裝置計算分別對應該些影像的多數個位置資訊，根據該些位置資訊計算於該些影像中在一第一方向上的位移，以及根據該些影像間的該第一方向的該位移更新景深資訊，以校正一第一攝像機以及一第二攝像機在該第一方向上的位移，其中該雙攝像單元中的該第一攝像機以及該第二攝像機被配置於一第二方向，且該第一方向與該第二方向實質上垂直。
如申請專利範圍第19項所述的頭戴型顯示裝置，其中該主裝置基於該參照物件上的一特定點，計算一影像視差，以及基於該影像視差更新該景深訊息，以校正該第一攝像機以及該第二攝像機在該第二方向上的位移。
如申請專利範圍第19項所述的頭戴型顯示裝置，其中該頭戴型顯示裝置更包括：一距離偵測單元，與該主裝置連接，該距離偵測單元偵測該參照物件與該頭戴型顯示裝置間的一感測距離；其中該主裝置更比較該感測距離與一預設距離，以產生一比較結果，以及根據該比較結果更新該景深資訊，以校正該些影像在該第二方向的位移。
如申請專利範圍第19項所述的頭戴型顯示裝置，其中該主裝置更根據該景深圖的該景深資訊，更新一景深引擎。
如申請專利範圍第19項所述的頭戴型顯示裝置，其中該主裝置被內建於該頭戴型顯示裝置中或外接於該頭戴型顯示裝置。
如申請專利範圍第23項所述的頭戴型顯示裝置，其中該頭戴型顯示裝置更包括：一通訊介面，用以以無線的方式接收來自該參照物件的一參照距離。