TWI662946B - 瞳距運算裝置及方法 - Google Patents

Abstract

本發明提出一種瞳距運算裝置及方法。此方法包括下列步驟。取得影像，而此影像包括條碼及人臉。自影像中讀取條碼所包括的物件實際長度。自影像中辨識物件實際長度對應的物件及人臉，並計算影像中物件及人臉中瞳距的畫面長度。依據物件及瞳距的畫面長度、以及物件實際長度計算實際瞳距。藉此，可提升瞳距量測流程的效率。

Description

瞳距運算裝置及方法

本發明是有關於一種人工智慧(Artificial intelligence，AI)技術，且特別是有關於一種應用人工智慧技術的瞳距(Interpupillary Distance，IPD)運算裝置及方法。

近年來，擴增實境(Augmented Reality，AR)、虛擬實境(Virtual Reality，VR)及混合實境(Mixed Reality，MR)等模擬環境或產生虛擬物件的技術越來越熱門。遊戲、遠端會議、遠端醫療等各種領域都可以應用前述技術。其中，頭戴式顯示器(Head-Mounted Display，HMD)常見於VR或MR產品中，讓使用者具有更佳的視覺體驗，使用者並可能有身歷其境的感受。使用者在配戴HMD頭盔後，會調整頭盔的瞳距設定，以提高使用體驗並減少暈眩感。然而，不同使用者的瞳距並不相同，且多數使用者並不知道自己的瞳距數值，因而無法簡單且快速地將瞳距設定調整到適當的數值。

在現有技術中已有軟體可透過網路攝影機(Webcam)搭配比例尺物品來計算瞳距，其步驟是：在網路攝影機前，使用者將比例尺物品置於眼睛上方或下方後進行自拍；軟體取得使用者所輸入的比例尺物品長度(若是常見且統一尺寸的物件(例如，信用卡)則可省略)；使用者依據軟體的指示將眼睛對準指定位置；軟體將比例尺物品及眼睛位置計算出瞳距。也就是說，使用者需要自行將比例尺物品及自己的眼睛移動到指定位置，這樣的量測流程明顯不夠簡單方便。此外，使用信用卡更有個資外洩疑慮。

有鑑於此，本發明提供一種瞳距運算裝置及方法，透過條碼讀取及雙眼特徵之影像辨識，讓使用者無須自行調整物品或眼睛位置。

本發明的瞳距運算方法，其包括下列步驟。取得影像，而此影像包括條碼及人臉。自影像中讀取條碼所包括的物件實際長度。自影像中辨識物件實際長度對應的物件及人臉，並計算影像中物件及人臉中瞳距的畫面長度。依據物件及瞳距的畫面長度、以及物件實際長度計算實際瞳距。

另一方面，本發明的瞳距運算裝置，其包括影像擷取裝置、儲存器及處理器。影像擷取裝置擷取影像。儲存器記錄影像及述個模組。處理器耦接影像擷取裝置及儲存器，並存取且載入儲存器所記錄的那些模組。那些模組包括影像存取模組、條碼讀取模組、影像辨識模組及瞳距運算模組。影像存取模組取得影像，而此影像包括條碼及人臉。條碼讀取模組自此影像中讀取此條碼所包括的物件實際長度。影像辨識模組自此影像中辨識物件實際長度對應的物件及人臉，並計算影像中物件及人臉中瞳距的畫面長度。而瞳距運算模組依據物件及瞳距的畫面長度及物件實際長度計算實際瞳距。

基於上述，本發明實施例是透過條碼來夾帶其實際長度，並基於影像辨識技術來辨識眼睛特徵及物件特徵以分別得出對應的畫面長度，再依據物件實際長度、瞳距及條碼於影像中的畫面長度來推算出實際瞳距。使用者無需將眼睛或條碼移動到指定位置，只要對著影像擷取裝置拿著印製或呈現條碼的載具(例如，紙、卡片、眼罩或螢幕等)自拍，本發明實施例即可自動推算出實際瞳距。而這些載具可取代具有個資的信用卡，從而解決個資外洩疑慮。此外，這些實際瞳距可直接應用在頭戴式顯示器上的瞳距設定，從而改善使用者的視覺體驗。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的瞳距運算裝置100的元件方塊圖。請參照圖1，瞳距運算裝置100至少包括但不僅限於儲存器110、影像擷取裝置130及處理器150。瞳距運算裝置100可以是桌上型電腦、筆記型電腦、工作站、伺服器、智慧型手機、平板電腦或其他電子裝置。

儲存器110可以是任何型態的固定或可移動隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash Memory）或類似元件或上述元件之組合的儲存器，儲存器110並用於儲存緩衝的或永久的資料、軟體模組(影像存取模組111、條碼讀取模組112、影像辨識模組113、操作導引模組114及瞳距運算模組115等)、應用程式、操作介面、影像、特徵點、物件實際長度、畫面長度、像素密度等資料，且其詳細內容待後續實施例詳述。

影像擷取裝置130可以是相機、攝影機、網路攝影機(Webcam)等具有動態或靜態圖像捕捉功能的裝置，影像擷取裝置130可包括鏡頭、影像感光元件及影像處理晶片/電路，以進行影像擷取作業。

處理器150與儲存器110及影像擷取裝置130耦接，並可以是中央處理單元(Central Processing Unit，CPU)、圖形處理器(Graphic Processing Unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在本發明實施例中，處理器150用以執行瞳距運算裝置100的所有作業，且可載入並執行儲存器110所記錄的各軟體模組、檔案及資料。

為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中瞳距運算裝置100的運作流程。下文中，將搭配瞳距運算裝置100的各項元件及裝置說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例說明一種瞳距運算方法之流程圖。請參照圖2，影像存取模組111自儲存器110或直接取得影像擷取裝置130所擷取的影像(步驟S210)。值得注意的是，此影像包括條碼及人臉。條碼可以是一維或二維條碼(例如，通用產品代碼(Universal Product Code，UPC)、QR碼、PDF417條碼等)。而人臉即為人類臉部。

條碼讀取模組112接著自此影像中讀取條碼所包括的物件實際長度(步驟S230)。於本實施例中，條碼經設計所包含的資料包括物件實際長度。此條碼可能印製在紙張、卡片、HMD頭盔、用於頭盔的防汙眼罩等物品上。而物件實際長度即是透過現實生活中透過尺、或其他長度量測儀器對做為比例尺之物件(例如，條碼、卡片、手機、印製條碼的載具本身等)量測所得之長度。條碼讀取模組112可對影像進行前置處理(例如，讀取色彩資訊、轉換灰階、二值化、邊緣偵測等)、條碼定位及條碼辨識等作業或其他條碼辨識演算法，以讀取條碼所包括的資訊。

在一實施例中，條碼可透過電子裝置(例如，智慧型手機、平板電腦等)上的螢幕(例如，液晶螢幕(Liquid Crystal Display，LCD)、發光二極體(Light Emitting Diode，LED)等顯示器)呈現，此時，條碼將額外夾帶此螢幕的像素密度(或稱每英寸像素(Pixels Per Inch，PPI))，且物件實際長度將是指定像素密度的螢幕呈現條碼的長度(例如，300PPI的螢幕呈現條碼的實際長度)。而條碼讀取模組112會自影像中讀取條碼所包括的像素密度。

在另一實施例中，條碼更夾帶導引連結。此導引連結可以是網站連結、特定應用程式識別碼或檔案路徑等連結。條碼讀取模組112自影像中讀取條碼所包括的導引連結後，操作導引模組114依據此導引連結連線至指定網站、呼叫指定程式或開啟特定檔案，從而啟動導引畫面。而此導引畫面是用於指示瞳距量測流程(例如，指示拍攝影像、警示臉部面向角度、呈現實際瞳距)。在一些實施例中，這些指定網站、程式或檔案即是由本發明實施例之處理器150執行，並用於進行本發明實施例的瞳距運算方法。

接著，影像辨識模組113自此影像中辨識物件實際長度對應的物件及人臉，並計算影像中物件及人臉中瞳距的畫面長度(步驟S250)。具體而言，在辨識之前，影像辨識模組113是先取得數筆訓練影像，而每筆訓練影像皆包括人臉，不同訓練影像的人臉可能不同。影像辨識模組113取得人臉中的眼睛、鼻、嘴、耳、眉等臉部關鍵特徵的影像資訊(例如，色相、長度、位置等資訊)，並利用人工智慧演算法的機器學習技術(例如，人工神經網路(Artificial Neural Network，ANN)、決策樹、支援向量機(Support Vector Machine，SVM)等)建立比對模型。之後，影像辨識模組113可將步驟S210所取得的影像輸入至此比對模型中，透過特徵點及其鄰域位置上進行搜索與匹配，對臉部關鍵點位置進行調整，以自影像中決定雙眼特徵，從而完成特徵點檢測。而在偵測到雙眼特徵之後，影像辨識模組113可提取雙眼特徵的位置資訊，並依據雙眼特徵的位置資訊取得左右眼之像素位置Le及Re(可能同是瞳孔中心點、瞳孔左外緣或瞳孔右外緣位置)或是與其他特徵點的相對位置，進而計算瞳距的畫面長度 。

需說明的是，在其他實施例中，影像辨識模組113還可以用人工智慧演算法以外的其他影像辨識演算法來辨識雙眼特徵。此外，影像辨識模組113還可能同時偵測諸如眉毛、嘴角等臉部關鍵特徵。而影像辨識模組113會依據這些臉部關鍵特徵判斷使用者的頭部是否朝向影像擷取裝置130或眼睛是否正視影像擷取裝置130。若影像中的頭部位置及角度或眼睛朝向不符合預設條件，則操作導引模組114會透過導引畫面或提示聲音提示使用者，以確保使用者正視影像擷取裝置130，藉此減少瞳距估算的誤差。

另一方面，針對物件之辨識，若物件採用條碼，則影像辨識模組113可在步驟S230讀取條碼過程中得知條碼的邊緣畫素位置，進而取得條碼相對兩側邊緣的間距，以作為條碼的畫面長度。而若物件並非條碼(例如，卡片、頭盔、手機等，此時影像中須包括此物件)，則影像辨識模組113可透過前述針對眼睛辨識的方式建立比對模型，利用此比對模型決定物件特徵兩側邊緣或最外側邊緣的位置資訊，從而計算物件的畫面長度。或者，影像辨識模組113可利用其他影像辨識演算法來辨識物件。

接著，瞳距運算模組115可依據物件及瞳距的畫面長度、以及物件實際長度計算實際瞳距(步驟S270)。於本實施例中，瞳距運算模組115是計算物件的畫面長度與瞳距的畫面長度之間的畫面比例，並依據此畫面比例推算實際瞳距。計算實際瞳距的方程式1為： …(1) 實際瞳距為IPD，物件實際長度為Dc，物件的畫面長度為Pc，畫面比例即為Dc/Pc，瞳距的畫面長度為Pe。

例如，若條碼作為比例尺的物件，則物件實際長度為條碼實際長度；物件的畫面長度即為條碼在畫面中相對兩側邊緣的間距；瞳距運算模組115再將前述數值代入方程式1中。或者，若印製條碼的卡片作為比例尺的物件，則物件實際長度為卡片實際長度；物件的畫面長度即為卡片在畫面中相對兩側邊緣的間距；瞳距運算模組115再將前述數值代入方程式1中。

值得注意的是，在條碼為透過電子裝置的螢幕呈現的實施例中，此條碼所夾帶的物件實際長度可以是條碼實際長度。然而，不同螢幕支援的解析度及尺寸不同，使條碼實際長度可能與條碼透過螢幕呈現的真實長度不同。瞳距運算模組115更依據條碼所夾帶的像素密度與物件實際長度對應的像素密度之間的比例調整物件實際長度，瞳距運算模組115並將調整後的物件實際長度(此時才是螢幕呈現的真實長度)代入方程式1中。

而另一實施例中，此條碼所夾帶的物件實際長度可以是螢幕解析度，則影像辨識模組113將估算影像中螢幕的畫面長度，且瞳距運算模組115依據像素密度與螢幕解析度推算螢幕實際尺寸，即可結合螢幕的畫面長度而代入方程式1中。

接著，操作導引模組114可透過顯示器呈現或透過揚聲器播放實際瞳距，讓使用者自行設定HMD的瞳距設定。或者，處理器150將實際瞳距傳送給HMD，以供HMD自行調整瞳距設定。需說明的是，在前述多個實施例中，使用條碼作為比例尺物件為較佳實施例，使用者只要使用印製或呈現條碼的載具即可。

為了幫助讀者更加理解本發明實施例的操作流程，以下另舉兩個應用情境說明。

圖3A-3D是依據本發明一實施例的瞳距量測流程的示意圖。請先參照圖3A，在本實施例中，智慧型手機200是瞳距運算裝置100的實施態樣，而智慧型手機200的影像擷取裝置130為前置鏡頭，智慧型手機200另設有顯示器170以呈現導引畫面。條碼QR1為QR碼，並夾帶有條碼QR1的物件實際長度(即，作為比例尺的物件為條碼)。此條碼QR1可印製在卡片C或HMD頭盔所用之防汙眼罩M。操作導引模組114可透過顯示器170在導引畫面上指示使用者將卡片C拿到影像擷取裝置130可拍攝到的位置或帶上防汙眼罩M並將頭朝向影像擷取裝置130。請參照圖3B，導引畫面上可呈現影像擷取裝置130所即時拍攝到的影像S，以方便使用者確認條碼QR1被影像擷取裝置130拍攝到。條碼讀取模組112自影像擷取裝置130所取得之影像S中讀取條碼所夾帶的物件實際長度及導引連結，處理器150將記錄此物件實際長度並連線到導引連結所指定的網站。導引連結的網站所呈現的網頁會指示使用者將人臉朝向影像擷取裝置130(如圖3B所示人臉F)。請參照圖3C，影像辨識模組113將自影像S中辨識出眼睛位置e，並據以計算瞳距的畫面長度。此外，影像辨識模組113亦計算影像S上的條碼QR1的畫面長度。瞳距運算模組115接著可將條碼QR1的物件實際長度、條碼QR1的畫面長度及瞳距的畫面長度代入公式1，來推算出實際瞳距(例如是68公厘(mm))。操作導引模組114可將實際瞳距以通知N呈現。請參照圖3D，此實際瞳距即可幫助使用者設定頭戴式顯示器HMD的瞳距設定。

圖4A-4D是依據本發明另一實施例的瞳距量測流程的示意圖。請先參照圖4A及4B，在本實施例中，筆記型電腦300是瞳距運算裝置100的實施態樣，而筆記型電腦300的影像擷取裝置130為視訊攝影機，筆記型電腦300另設有顯示器190以呈現導引畫面。智慧型手機P透過其顯示器D呈現條碼QR2(如圖4B所示)，條碼QR2為QR碼，並夾帶有條碼QR2以五吋且1080P解析度之顯示器的畫素密度所呈現的物件實際長度。操作導引模組114可透過顯示器190在導引畫面上指示使用者將智慧型手機P拿到影像擷取裝置130可拍攝到的位置。導引畫面上可呈現影像擷取裝置130所即時拍攝到的影像S2，以方便使用者確認條碼QR2被影像擷取裝置130拍攝到。條碼讀取模組112自影像擷取裝置130所取得之影像S2中讀取條碼所夾帶的物件實際長度及導引連結，處理器150將記錄此物件實際長度並開啟導引連結所指定的程式。導引連結的程式所呈現的導引畫面會指示使用者將人臉朝向影像擷取裝置130(如圖3B所示人臉F2)。請參照圖4C，影像辨識模組113將自影像S2中辨識出眼睛位置e2，並據以計算瞳距的畫面長度。此外，影像辨識模組113亦計算影像S2上的條碼QR2的畫面長度。瞳距運算模組115接著可依據條碼QR2的物件實際長度、條碼QR2的畫面長度及瞳距的畫面長度來推算出實際瞳距(例如是68公厘(mm))。而操作導引模組114可將實際瞳距以通知N2呈現。請參照圖4D，瞳距運算裝置100將此實際瞳距傳送至頭戴式顯示器HMD，且頭戴式顯示器HMD可據以調整瞳距設定。

需說明的是，在另一應用情境中，使用者亦可手持印製條碼的載具並透過相機自拍，再將自拍照片經由網路上傳或檔案寫入等方式記錄在瞳距運算裝置100中，瞳距運算裝置100即可基於自拍照片推算出實際瞳距。

綜上所述，本發明實施例是透過影像辨識技術辨識載具所呈現的條碼及雙眼特徵，並透過條碼夾帶其實際長度的資訊，讓使用者只要將臉部、載具上的條碼與作為比例尺的物件朝向影像擷取裝置即可得到實際瞳距。本發明實施例的瞳距量測流程相當簡單且方便。使用者也可將條碼印製在任何方便使用的載具上或透過螢幕呈現，無須手動輸入載具長度，亦無須限制在信用卡等有個資外洩疑慮的物件上。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧瞳距運算裝置

110‧‧‧儲存器

111‧‧‧影像存取模組

112‧‧‧條碼讀取模組

113‧‧‧影像辨識模組

114‧‧‧操作導引模組

115‧‧‧瞳距運算模組

130‧‧‧影像擷取裝置

150‧‧‧處理器

170、190、D‧‧‧顯示器

200、P‧‧‧智慧型手機

300‧‧‧筆記型電腦

C‧‧‧卡片

M‧‧‧防汙眼罩

QR1、QR2‧‧‧條碼

N、N2‧‧‧通知

S、S2‧‧‧影像

e、e2‧‧‧眼睛

F、F2‧‧‧人臉

HMD‧‧‧頭戴式顯示器

S210~S270‧‧‧步驟

圖1是依據本發明一實施例的瞳距運算裝置的元件方塊圖。 圖2是依據本發明一實施例的瞳距運算方法的流程圖。 圖3A~3D是依據本發明一實施例的瞳距量測流程的示意圖。 圖4A~4D是依據本發明另一實施例的瞳距量測流程的示意圖。

Claims (10)

1. 一種瞳距(interpupillary distance，IPD)運算方法，包括：取得一影像，其中該影像包括一條碼及一人臉；自該影像中讀取該條碼所包括的一物件實際長度；自該影像中辨識該物件實際長度對應的物件及該人臉，並計算該影像中該物件及該人臉中一瞳距的畫面長度；以及依據該物品及該瞳距的畫面長度、以及該實際長度計算一實際瞳距。
2. 如申請專利範圍第1項所述的瞳距運算方法，其中依據該物件及該瞳距的畫面長度、以及該物件實際長度計算該實際瞳距的步驟包括：計算該物件的畫面長度與該瞳距的畫面長度之間的畫面比例；以及依據該畫面比例推算該實際瞳距。
3. 如申請專利範圍第1項所述的瞳距運算方法，其中該物件是該條碼，而自該影像中讀取該條碼所包括的該物件實際長度的步驟包括：自該影像中讀取該條碼所包括的一像素密度，其中該物件實際長度是一第二像素密度的螢幕呈現該條碼的長度；以及依據該像素密度與該第二像素密度之間的比例調整該物件實際長度。
4. 如申請專利範圍第1項所述的瞳距運算方法，其中自該影像中辨識該物件及該人臉並計算該影像中該條碼及該人臉中該瞳距的畫面長度的步驟包括：透過人工智慧演算法自該影像中決定一雙眼特徵；以及依據該雙眼特徵的位置資訊計算該瞳距的畫面長度。
5. 如申請專利範圍第1項所述的瞳距運算方法，其中自該影像中讀取該條碼所包括的該物件實際長度的步驟包括：自該影像中讀取該條碼所包括的一導引連結；以及依據該導引連結啟動一導引畫面，其中該導引畫面用於指示瞳距量測流程。
6. 一種瞳距運算裝置，包括：一影像擷取裝置，擷取一影像，其中該影像包括一條碼及一人臉；一儲存器，記錄該影像、多個模組及其相關資料；以及一處理器，耦接該影像擷取裝置及該儲存器，並存取且載入該儲存器所記錄的該些模組，而該些模組包括：一影像存取模組，取得該影像；一條碼讀取模組，自該影像中讀取該條碼所包括的一物件實際長度；一影像辨識模組，自該影像中辨識該物件實際長度對應的物件及該人臉，並計算該影像中該物件及該人臉中一瞳距的畫面長度；以及一瞳距運算模組，依據該物件及該瞳距的畫面長度、以及該物件實際長度計算一實際瞳距。
7. 如申請專利範圍第6項所述的瞳距運算裝置，其中該瞳距運算模組計算該物件的畫面長度與該瞳距的畫面長度之間的畫面比例，並依據該畫面比例推算該實際瞳距。
8. 如申請專利範圍第6項所述的瞳距運算裝置，其中該條碼讀取模組自該影像中讀取該條碼所包括的一像素密度，該物件是該條碼，且該物件實際長度是一第二像素密度的螢幕呈現該條碼的長度，而該瞳距運算模組依據該像素密度與該第二像素密度之間的比例調整該物件實際長度。
9. 如申請專利範圍第6項所述的瞳距運算裝置，其中該影像辨識模組透過人工智慧演算法自該影像中決定一雙眼特徵，並依據該雙眼特徵的位置資訊計算該瞳距的畫面長度。
10. 如申請專利範圍第6項所述的瞳距運算裝置，其中該條碼讀取模組自該影像中讀取該條碼所包括的一導引連結，而該些模組更包括：一操作導引模組，依據該導引連結啟動一導引畫面，並透過該導引畫面呈現該實際瞳距，其中該導引畫面用於指示瞳距量測流程。