TW201939105A - 同步定位與地圖建構及手勢辨識方法 - Google Patents

Abstract

本案係關於一種同步定位與地圖建構及手勢辨識方法，包括步驟：提供頭戴式電子裝置；以影像擷取模組進行影像擷取，以取得擷取影像；影像處理單元對擷取影像進行前處理動作，產生顯示影像；複製顯示影像並分別傳送至動態影像過濾單元及手勢影像擷取單元；動態影像過濾單元過濾顯示影像，以除去顯示影像中之動態影像，進而取得空間影像；空間定位演算法單元根據空間影像進行同步定位與地圖建構；手勢影像擷取單元分析顯示影像，並擷取顯示影像中之手勢影像；以及細部手勢辨識演算法單元根據手勢影像進行細部手勢辨識。藉此可減少產品體積、重量與製造成本。

Description

同步定位與地圖建構及手勢辨識方法

本案係關於一種影像之空間定位與手勢辨識方法，尤指一種應用於擴增實境之同步定位與地圖建構及手勢辨識方法。

目前在擴增實境(Augmented Reality, AR)的應用上，為了能與虛擬物件互動，人機介面的研究日益蓬勃。由於穿戴穿戴式的擴增實境裝置或其他頭戴式電子裝置時，多半無法採用傳統的滑鼠控制或是觸控控制等方式，故多種型態的人機介面方式持續地被提出。

舉例而言，擴增實境可透過特製的控制器來與虛擬物件進行互動，其反應速度靈敏、控制方式多元，但仍需因應不同的使用環境採用多種額外的控制器，且需學習並記憶每一種控制器的操作方式，無法達到直覺使用的效果。因此，無須使用額外控制器的手勢控制方式遂發展成一主要的人機介面方式。

然而，現行對於手勢控制方式的處理，仍具有許多缺點。請參閱第1圖及第2圖，其中第1圖係顯示習知頭戴式電子裝置之架構方塊圖，以及第2圖係顯示習知頭戴式電子裝置擷取目標手勢及目標場景並進行演算之示意圖。由第1圖及第2圖可得知，習知頭戴式電子裝置1主要包括控制單元10、第一影像擷取模組11、手勢影像處理器12、第二影像擷取模組13、場景影像處理器14、手勢辨識演算法單元15以及空間定位演算法單元16。其中，第一影像擷取模組11及第二影像擷取模組13在硬體上及功能上為二組彼此獨立的影像擷取模組，第一影像擷取模組11係對目標手勢進行影像擷取，並經由手勢影像處理器12處理後，將擷取到的目標手勢影像傳送至手勢辨識演算法單元15進行演算，以得到對應的手勢；第二影像擷取模組13係對目標場景進行影像擷取，並經由場景影像處理器14處理後，將擷取到的目標場景影像傳送至空間定位演算法單元16進行演算，以完成空間定位。然而，此架構必須配置二組獨立的影像擷取模組，且當欲配合其他功能時，可能需要因應需求再增添額外的影像擷取模組，使得體積及重量相對地提升，不僅製造的成本較高，也使得使用者的配戴體驗不佳。

故此，如何發展一種採用單一影像擷取模組搭配適度的過濾，讓擷取影像可以同步使用於空間定位、地圖建構與手勢辨識之同步定位與地圖建構及手勢辨識方法，實為目前尚待解決的問題。

本案之主要目的為提供一種同步定位與地圖建構及手勢辨識方法，俾解決並改善前述先前技術之問題與缺點。

本案之另一目的為提供一種同步定位與地圖建構及手勢辨識方法，採用單一的影像擷取模組擷取同時包括目標場景及目標手勢之一擷取影像，並透過動態影像過濾單元及手勢影像擷取單元等影像前處理單元針對各個演算法作前處理產生顯示影像，最後再由空間定位演算法單元以空間定位演算法進行同步定位與地圖建構，並由細部手勢辨識演算法單元以手勢辨識演算法進行細部手勢辨識，不僅可有效地減少產品體積與重量，同時增進使用者體驗並達成產品微小化的目的，更可進一步降低製造成本。

本案之另一目的為提供一種同步定位與地圖建構及手勢辨識方法，透過單一影像擷取模組擷取同時包括目標場景及目標手勢的全彩影像，其影像內容完整且可提供各類軟硬體進行影像處理及後續應用，具有良好的擴充性。

為達上述目的，本案之一較佳實施態樣為提供一種同步定位與地圖建構及手勢辨識方法，包括步驟：(a)提供一頭戴式電子裝置；(b)以該頭戴式電子裝置之一影像擷取模組進行影像擷取，以取得一擷取影像；(c)以該頭戴式電子裝置之一影像處理單元對該擷取影像進行一前處理動作，產生一顯示影像；(d)複製該顯示影像並分別傳送至該頭戴式電子裝置之一動態影像過濾單元及一手勢影像擷取單元；(e)該動態影像過濾單元過濾該顯示影像，以除去該顯示影像中之動態影像，進而取得一空間影像；(f)該頭戴式電子裝置之一空間定位演算法單元根據該空間影像進行同步定位與地圖建構；(g)該手勢影像擷取單元分析該顯示影像，並擷取該顯示影像中之一手勢影像；以及(h)該頭戴式電子裝置之一細部手勢辨識演算法單元根據該手勢影像進行細部手勢辨識。

體現本案特徵與優點的一些典型實施例將在後段的說明中詳細敘述。應理解的是本案能夠在不同的態樣上具有各種的變化，其皆不脫離本案的範圍，且其中的說明及圖示在本質上係當作說明之用，而非架構於限制本案。

請參閱第3圖、第4圖及第5圖，其中第3圖係顯示本案較佳實施例之同步定位與地圖建構及手勢辨識方法之流程圖，第4圖係顯示適用本案同步定位與地圖建構及手勢辨識方法之頭戴式電子裝置之架構方塊圖，以及第5圖係顯示以第4圖所示之頭戴式電子裝置擷取擷取影像並進行演算之示意圖。如第3圖、第4圖及第5圖所示，適用於本案同步定位與地圖建構及手勢辨識方法之頭戴式電子裝置係至少包括中央處理單元20、影像擷取模組21、影像處理單元22、動態影像過濾單元23、空間定位演算法單元24、手勢影像擷取單元25以及細部手勢辨識演算法單元26。其中，中央處理單元20係架構於控制頭戴式電子裝置2之運作。影像擷取模組21係用以擷取擷取影像。影像處理單元22係與中央處理單元20相連接。動態影像過濾單元23係與中央處理單元20相連接，且空間定位演算法單元24係與該動態影像過濾單元23相連接。手勢影像擷取單元25係與中央處理單元20相連接，且細部手勢辨識演算法單元26係與手勢影像擷取單元25相連接。

本案較佳實施例之同步定位與地圖建構及手勢辨識方法係包括如下步驟。首先，如步驟S100所示，提供頭戴式電子裝置2。其次，如步驟S200所示，以頭戴式電子裝置2之影像擷取模組21進行影像擷取，以取得一擷取影像。接著，如步驟S300所示，以頭戴式電子裝置2之影像處理單元22對擷取影像進行前處理動作，以產生一顯示影像，該前處理動作包括但不限於鏡頭校正（Lens Shading Correction)、自動獲得（AutoGain）以及自動曝光（AutoExposure）等。然後，如步驟S400所示，複製經過前處理後的顯示影像並分別傳送至頭戴式電子裝置2之動態影像過濾單元23及手勢影像擷取單元25，亦即動態影像過濾單元23及手勢影像擷取單元25於此步驟會接收到相同的經過前處理動作的顯示影像。在步驟S400完成後，步驟S500與步驟S700係可同時執行於步驟S400之後，亦可存在時間差地分別執行，步驟S600係執行於步驟S500之後，且步驟S800係執行於步驟S700之後。在步驟S500中，動態影像過濾單元23過濾顯示影像，以除去顯示影像中之動態影像，進而取得空間影像，換言之，為了進行準確的空間定位，應就顯示影像排除其中的動態影像例如移動中的手或其他移動中的物件。在步驟S600中，頭戴式電子裝置2之空間定位演算法單元24根據空間影像進行同步定位與地圖建構。在步驟S700中，手勢影像擷取單元25分析顯示影像，並擷取顯示影像中之手勢影像。在步驟S800中，頭戴式電子裝置2之細部手勢辨識演算法單元26根據手勢影像進行細部手勢辨識。

根據本案之構想，中央處理單元20可為中央處理器，且於一些實施例中，上述之步驟S400較佳係以中央處理單元20實現，但不以此為限。影像擷取模組21較佳為包括至少二個鏡頭及二個感光元件之單一影像擷取模組，由於空間計算若以三角函數為之，至少需具備二個已知相對位置關係的鏡頭與感光元件，同時考量使產品微小化並增進使用者體驗的取向上，本案中的影像擷取模組21最佳為採用二個鏡頭搭配二個感光元件，但不以此為限。影像處理單元22係可為但不限於一影像訊號處理器（Image Signal Processor, ISP）。此外，動態影像過濾單元23、手勢影像擷取單元25、空間定位演算法單元24及細部手勢辨識演算法單元26可皆為軟體單元，且透過中央處理單元20控制以實現執行，然亦不以此為限。

進一步地，本案之頭戴式電子裝置2可進一步包括記憶體單元27及微投影顯示單元28。其中，記憶體單元27係與中央處理單元20相連接，微投影顯示單元28係與中央處理單元20相連接。其中，至少前述之一手勢影像，例如於某一特定瞬時之手勢影像，係儲存於記憶體單元27，以用於與前一個或後一個手勢影像比對或其他相類似之用途，但不以此為限。頭戴式電子裝置2在執行本案之同步定位與地圖建構及手勢辨識方法後，係相應地顯示在微投影顯示單元28上。換言之，使用者最終係於微投影顯示單元28上觀看到互動的結果。

在動態影像過濾方面，請參閱第6圖並配合第3圖及第4圖，其中第6圖係顯示第3圖所示之步驟S500之細部流程圖。如第3圖、第4圖及第6圖所示，本案同步定位與地圖建構及手勢辨識方法之步驟S500係包括細部流程步驟如下。如步驟S520所示，動態影像過濾單元23將顯示影像轉換為第一灰階化影像。接著，如步驟S540所示，動態影像過濾單元23根據第一灰階化影像計算一深度資訊。然後，如步驟S560所示，動態影像過濾單元23透過加速穩健特徵（Speeded Up Robust Features, SURF）取得複數個特徵點，並將複數個特徵點製作成三維點雲（Point Cloud）。再來，如步驟S580所示，根據每一幀（Frame）對應之三維點雲過濾並移除移動物體產生的點雲資料，進而取得空間影像。

經由動態影像過濾單元23完成前處理後，在空間定位演算法單元24所執行之步驟係說明如後。請參閱第7圖並配合第3圖及第4圖，其中第7圖係顯示第3圖所示之步驟S600之細部流程圖。如第3圖、第4圖及第7圖所示，本案同步定位與地圖建構及手勢辨識方法之步驟S600係包括細部流程步驟如下。如步驟S620所示，空間定位演算法單元24係以空間定位演算法追蹤複數個特徵點的主方向，添加特徵點向量以與前一個關鍵幀匹配計算影像擷取模組之相機（即鏡頭或感光元件）之初始位置，並在當前幀以及局部地圖間找尋匹配點，以最佳化當前幀的位置並決定次一個關鍵幀。接著，如步驟S640所示，判斷當前幀是否為新的關鍵幀。當步驟S640之判斷結果為是，於步驟S640之後係依序執行步驟S660及步驟S680。在步驟S660中，係將當前幀加入局部地圖並更新，建立新的關鍵幀與其他關鍵幀的連接關係，以及更新新的關鍵幀與其他關鍵幀的特徵點匹配關係，以生成三維地圖。另在步驟S680中，係取得空間資訊，並對該空間資訊最佳化，以完成同步定位與地圖建構。

在手勢分析方面，請參閱第8圖並配合第3圖及第4圖，其中第8圖係顯示第3圖所示之步驟S700之細部流程圖。如第3圖、第4圖及第8圖所示，本案同步定位與地圖建構及手勢辨識方法之步驟S700係包括細部流程步驟如下。如步驟S725所示，手勢影像擷取單元25將顯示影像轉換為第二灰階化影像。接著，如步驟S750所示，透過數學型態學（Mathematical Morphology，亦有稱電腦型態學或人體型態學）以及特徵圖像（Feature Patterns）解析出第二灰階化影像中的手部影像。由於人類的手具有固定的型態，故特定的手部動作屬於有限的組合，可內建於資料庫中予以分析比對。然後，如步驟S775所示，對手部影像進行特徵點分析，以擷取手部影像為手勢影像，並將手勢影像製作成手勢點雲。

最後，在細部手勢辨識方面，請參閱第9圖並配合第3圖及第4圖，其中第9圖係顯示第3圖所示之步驟S800之細部流程圖如第3圖、第4圖及第9圖所示，本案同步定位與地圖建構及手勢辨識方法之步驟S800係包括細部流程步驟如下。如步驟S825所示，分析並追蹤前段段末所述之手勢點雲，並根據追蹤結果識別手指、手腕及手掌，以取得手部資訊。接著，如步驟S850所示，根據連續的手部資訊建構立體動作模型，亦即在連續的時間上持續取得手部資訊並根據該等手部資訊的變化建構立體動作模型及其動作。最後，如步驟S875所示，根據立體動作模型進行細部手勢辨識。

其中，本案同步定位與地圖建構及手勢辨識方法為提供精確的細部手部辨識，在上述之手部資訊中係可取得包括對每一手指的每一指節之分析資訊，故在判斷手勢上除判斷手掌及手指的閉合、滑動及甩動外，更可判斷不同手指的指節彎曲或伸直狀態，俾以排列組合而能實現多種多樣的手勢操作動作，深富多元彈性。

另一方面，就未來擴充性而言，由於習知頭戴式電子裝置採用分別擷取目標手勢及目標場景以進行空間定位及手勢辨識之方法，其擷取到的皆為部分影像，甚至可能直接擷取灰階或黑白影像，由於其來源影像非如本案為包含所有資訊的全彩影像，於擴充性上自然不及於本案，且本案更能進一步將包含所有資訊的全彩影像作為來源影像提供給多種多樣的應用程式，於未來擴充性上具有無限可能。

綜上所述，本案提供一種同步定位與地圖建構及手勢辨識方法，採用單一的影像擷取模組擷取同時包括目標場景及目標手勢之一擷取影像，並透過動態影像過濾單元及手勢影像擷取單元等影像前處理單元針對各個演算法作前處理並產生顯示影像，最後再由空間定位演算法單元以空間定位演算法進行空間定位，並由細部手勢辨識演算法單元以手勢辨識演算法進行細部手勢辨識，不僅可有效地減少產品體積與重量，同時增進使用者體驗並達成產品微小化的目的，更可進一步降低製造成本。同時，透過上述單一影像擷取模組擷取同時包括目標場景及目標手勢的全彩影像，其影像內容完整且可提供各類軟硬體進行影像處理及後續應用，具有良好的擴充性。

縱使本發明已由上述之實施例詳細敘述而可由熟悉本技藝之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。

1‧‧‧習知頭戴式電子裝置

10‧‧‧控制單元

11‧‧‧第一影像擷取模組

12‧‧‧手勢影像處理器

13‧‧‧第二影像擷取模組

14‧‧‧場景影像處理器

15‧‧‧手勢辨識演算法集成單元

16‧‧‧空間定位演算法集成單元

2‧‧‧頭戴式電子裝置

20‧‧‧中央處理單元

21‧‧‧影像擷取模組

22‧‧‧影像處理單元

23‧‧‧動態影像過濾單元

24‧‧‧空間定位演算法單元

25‧‧‧手勢影像擷取單元

26‧‧‧細部手勢辨識演算法單元

27‧‧‧記憶體單元

28‧‧‧微投影顯示單元

第1圖係顯示習知頭戴式電子裝置之架構方塊圖。 第2圖係顯示習知頭戴式電子裝置擷取目標手勢及目標場景並進行演算之示意圖。 第3圖係顯示本案較佳實施例之同步定位與地圖建構及手勢辨識方法之流程圖。 第4圖係顯示適用本案同步定位與地圖建構及手勢辨識方法之頭戴式電子裝置之架構方塊圖。 第5圖係顯示以第4圖所示之頭戴式電子裝置擷取擷取影像並進行演算之示意圖。 第6圖係顯示第3圖所示之步驟S500之細部流程圖。 第7圖係顯示第3圖所示之步驟S600之細部流程圖。 第8圖係顯示第3圖所示之步驟S700之細部流程圖。 第9圖係顯示第3圖所示之步驟S800之細部流程圖。

Claims (10)

1. 一種同步定位與地圖建構及手勢辨識方法，包括步驟： (a)提供一頭戴式電子裝置； (b)以該頭戴式電子裝置之一影像擷取模組進行影像擷取，以取得一擷取影像； (c)以該頭戴式電子裝置之一影像處理單元對該擷取影像進行一前處理動作，產生一顯示影像； (d)複製該顯示影像並分別傳送至該頭戴式電子裝置之一動態影像過濾單元及一手勢影像擷取單元； (e)該動態影像過濾單元過濾該顯示影像，以除去該顯示影像中之動態影像，進而取得一空間影像； (f)該頭戴式電子裝置之一空間定位演算法單元根據該空間影像進行同步定位與地圖建構； (g)該手勢影像擷取單元分析該顯示影像，並擷取該顯示影像中之一手勢影像；以及 (h)該頭戴式電子裝置之一細部手勢辨識演算法單元根據該手勢影像進行細部手勢辨識。
2. 如申請專利範圍第1項所述之同步定位與地圖建構及手勢控制方法，其中該步驟(e)包括步驟： (e1)該動態影像過濾單元將該顯示影像轉換為一第一灰階化影像； (e2)根據該第一灰階化影像計算一深度資訊； (e3)透過加速穩健特徵取得複數個特徵點，並將該複數個特徵點製作成一三維點雲；以及 (e4)根據每一幀對應之該三維點雲過濾並移除移動物體產生之一點雲資料，進而取得該空間影像。
3. 如申請專利範圍第2項所述之同步定位與地圖建構及手勢控制方法，其中該步驟(f)包括步驟： (f1)追蹤該複數個特徵點的主方向，添加特徵點向量以與前一個關鍵幀匹配計算該影像擷取模組之一相機之初始位置，並在當前幀以及一局部地圖間找尋匹配點，以最佳化當前幀的位置並決定次一個關鍵幀； (f2)判斷當前幀是否為新的關鍵幀； (f3)將當前幀加入該局部地圖並更新，建立該新的關鍵幀與其他關鍵幀的連接關係，以及更新該新的關鍵幀與其他關鍵幀的特徵點匹配關係，以生成一三維地圖；以及 (f4)取得一空間資訊，並對該空間資訊最佳化，以完成同步定位與地圖建構； 其中，當步驟(f2)之判斷結果為是，於該步驟(f2)之後係依序執行該步驟(f3)及該步驟(f4)。
4. 如申請專利範圍第1項所述之同步定位與地圖建構及手勢控制方法，其中該步驟(g)包括步驟： (g1)該手勢影像擷取單元將該顯示影像轉換為一第二灰階化影像； (g2)透過數學型態學以及特徵圖像解析出該第二灰階化影像中的一手部影像；以及 (g3)對該手部影像進行特徵點分析，以擷取該手部影像為該手勢影像，並將該手勢影像製作成一手勢點雲。
5. 如申請專利範圍第4項所述之同步定位與地圖建構及手勢控制方法，其中該步驟(h)包括步驟： (h1)分析並追蹤該手勢點雲，並根據追蹤結果識別手指、手腕及手掌，以取得一手部資訊； (h2)根據連續的該手部資訊建構一立體動作模型；以及 (h3)根據該立體動作模型進行細部手勢辨識。
6. 如申請專利範圍第5項所述之同步定位與地圖建構及手勢控制方法，其中該手部資訊包括對每一手指的每一指節之分析資訊。
7. 如申請專利範圍第1項所述之同步定位與地圖建構及手勢控制方法，其中該頭戴式電子裝置包括： 一中央處理單元，架構於控制該頭戴式電子裝置之運作； 該影像擷取模組，用以擷取該擷取影像； 該影像處理單元，與該中央處理單元相連接，用以對該擷取影像進行該前處理動作，以產生該顯示影像； 該動態影像過濾單元，與該中央處理單元相連接； 該空間定位演算法單元，與該動態影像過濾單元相連接； 該手勢影像擷取單元，與該中央處理單元相連接；以及 該細部手勢辨識演算法單元，與該手勢影像擷取單元相連接。
8. 如申請專利範圍第7項所述之同步定位與地圖建構及手勢控制方法，其中該動態影像過濾單元、該手勢影像擷取單元、該空間定位演算法單元及該細部手勢辨識演算法單元皆為軟體單元，且皆係以該中央處理單元實現執行。
9. 如申請專利範圍第7項所述之同步定位與地圖建構及手勢控制方法，其中該步驟(d)係以該中央處理單元實現。
10. 如申請專利範圍第7項所述之同步定位與地圖建構及手勢控制方法，其中該頭戴式電子裝置更包括一記憶體單元，且該記憶體單元係與該中央處理單元相連接，其中至少該手勢影像係儲存於該記憶體單元。