TW202124917A - 擴增實境裝置與定位方法 - Google Patents

Abstract

本發明提出一種定位方法，適用於一電子裝置，此電子裝置包括深度感測器與慣性量測單元。上述的定位方法包括：根據慣性量測單元的訊號計算電子裝置的初始位置與初始方向；從資料庫中取得環境點雲，並根據初始位置與初始方向取得局部環境點雲；透過深度感測器取得讀取點雲；以及配對讀取點雲與局部環境點雲以計算出電子裝置的更新位置與更新方向。

Description

擴增實境裝置與定位方法

本發明是有關於一種定位方法，可用於擴增實境裝置或一般的電子裝置。

空間位置與姿態的認知主要應用於運算元件需與現實空間結合之場景，傳統上進行空間位置與姿態資訊的取得主要應用慣性量測單元來進行，然而慣性量測單元具有長時間測量下產生積分誤差與缺乏位置資訊的缺點。現今多數室外場域可應用全球定位資訊系統(GPS)取得位置資訊，然而在室內的場域，透過GPS進行定位是不可靠的。常見的無GPS室內空間位置與姿態定義的技術為同步定位與地圖構建(Simultaneous localization and mapping，SLAM)，然而在工業界應用上，在固定的空間場域中，不斷進行場域模型更新是冗餘的。不斷進行地圖更新除了耗費大量的運算資源，且在工業界的應用上，人員會不斷在不同區域之間轉換，SLAM可能會因為建圖環境差異而造成圖資錯誤。

本發明的實施例提出一種定位方法，適用於一電子裝置，此電子裝置包括深度感測器與慣性量測單元。上述的定位方法包括：根據慣性量測單元的訊號計算電子裝置的初始位置與初始方向；從資料庫中取得環境點雲，並根據初始位置與初始方向從環境點雲中取得局部環境點雲；透過深度感測器取得讀取點雲；以及配對讀取點雲與局部環境點雲以計算出電子裝置的更新位置與更新方向。

在一些實施例中，上述的定位方法包括求解以下方程式(1)。

其中 p _i 為讀取點雲中的第i個點， q _i 為局部環境點雲中的第i個點，點 q _i 配對至點 p _i ，w _i 為點 p _i 與點 q _i 所對應的權重， R 為旋轉矩陣， t 為位移向量，N表示讀取點雲中點的數目。

在一些實施例中，權重w _i 與點 q _i 和( Rp _i + t )之間的距離成負相關。

在一些實施例中，點 p _i 與點 q _i 包括X座標、Y座標、Z座標與法向量。

在一些實施例中，上述的定位方法更包括：從讀取點雲中取得點 p _i 與多個相鄰點；以及對點 p _i 與相鄰點執行主成份分析以取得多個特徵值與多個主成份，並且把特徵值中的最小特徵值所對應的主成份設定為點 p _i 的法向量。

在一些實施例中，點 p _i 與點 q _i 還包括曲率因子， 上述的定位方法還包括：將最小特徵值除以特徵值的總和以計算出曲率因子。

以另一個角度來說，本發明的實施例提出一種擴增實境裝置，包括慣性量測單元、深度感測器與處理器，處理器用以執行多個步驟：根據慣性量測單元的訊號計算擴增實境裝置的一初始位置與一初始方向；從資料庫中取得環境點雲，並根據初始位置與初始方向從環境點雲中取得局部環境點雲；透過深度感測器取得讀取點雲；以及配對讀取點雲與局部環境點雲以計算出擴增實境裝置的更新位置與更新方向。

在一些實施例中，讀取點雲包括多個點，每一個點對應至一權重，上述處理器執行的步驟更包括：對於每一個點，根據點的深度來設定點所對應的權重，其中點的深度反比於點所對應的權重；以及求解上述方程式(1)。

在一些實施例中，點 p _i 與點 q _i 包括X座標、Y座標、Z座標與法向量，上述處理器執行的步驟還包括：從讀取點雲中取得點 p _i 與多個相鄰點；以及對點 p _i 與相鄰點執行主成份分析以取得多個特徵值與多個主成份，並且把最小特徵值所對應的主成份設定為點 p _i 的法向量。

在一些實施例中，點 p _i 與點 q _i 還包括曲率因子，上述處理器執行的步驟還包括：將最小特徵值除以特徵值的總和以計算出曲率因子。

在上述的裝置與方法中，可由慣性量測單元做粗略的定位，然後透過點雲配對做進一步的定位，如此一來 可以提供精準定位且減少點雲配對的計算。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧擴增實境裝置

110‧‧‧工具機

210‧‧‧處理器

220‧‧‧慣性量測單元

230‧‧‧深度感測器

240‧‧‧通訊模組

250‧‧‧顯示器

300‧‧‧室內環境

301‧‧‧初始方向

310‧‧‧視野

410‧‧‧擴增實境模組

420、430、440、460、470‧‧‧步驟

450‧‧‧資料庫

510、520、530、540、550、560‧‧‧步驟

610‧‧‧相鄰點

710、720、730、740‧‧‧步驟

[圖1]是根據一實施例繪示擴增實境裝置的應用情境。

[圖2]是根據一實施例繪示擴增實境裝置的方塊示意圖。

[圖3]是根據一實施例繪示擴增實境裝置的應用情境示意圖。

[圖4]是根據一實施例繪示一定位方法的流程示意圖。

[圖5]是根據一實施例繪示迭代最近點演算法的示意流程圖。

[圖6]是根據一實施例繪示計算法向量的示意圖。

[圖7]是根據一實施例繪示定位方法的流程圖。

關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

本揭露提出的定位方法是採用點雲(point cloud)、慣性量測單元(Inertial measurement unit，IMU)、點雲匹配(point cloud registration，PCR)等技 術，由深度感測器擷取空間中的點雲資料，並藉由點雲資料與慣性量測單元結合點雲匹配技術給定空間內的位置與方向。在工業應用場域空間定位技術可以用以連結電腦程式與環境空間的虛擬與現實關係，藉由擴增實境(augmented reality，AR)的物件設計，引導人員在特定場域中完成任務。傳統上單IMU空間定位，具有無法準確量測位置，以及在長時間使用下會產生累積積分誤差的缺點。本揭露提出的方法藉由點雲即時掃描，並根據IMU提供點雲在已知空間環境中粗略的位置，而最後依照PCR的演算法進行掃描點雲與3D空間模型點雲的匹配，求出精確的位置與方向，來獲得正確的空間定位資訊，增加AR虛實結合設計之可靠性。

圖1是根據一實施例繪示擴增實境裝置的應用情境。請參照圖1，在此實施例中擴增實境裝置100是實作為智慧眼鏡，但在其他實施例中也可以實作為面罩、智慧型手機、平板等等，本發明並不限制擴增實境裝置100的外型。使用者可以配戴擴增實境裝置100在室內移動，例如在一工業環境中，此工業環境具有一或多個工具機110，特別的是工具機110的點雲模型為已知，因此擴增實境裝置100可以辨識工具機110的點雲模型來進行自身的定位。

圖2是根據一實施例繪示擴增實境裝置的方塊示意圖。請參照圖2，擴增實境裝置100包括了處理器210、慣性量測單元220、深度感測器230、通訊模組240與顯示器250。處理器210可為中央處理器、微處理器、微控制器、數位信號處理器、影像處理晶片、特殊應用積體電路等。慣 性量測單元220可包括加速度感測器、角速度感測器、磁力計等。深度感測器230可包括紅外線發射器、紅外線感測器、雙攝影機、結構光感測裝置或任意可以感測場景深度的裝置。通訊模組240可以是提供互聯網、區域網路、廣域網路、蜂巢式網路(或稱行動網路)、近場通訊、紅外線通訊、藍芽、無線保真(WiFi)等通訊手段的電路。顯示器250可包括有機發光二極體面板、液晶面板或其他合適的顯示裝置。為了簡化起見，圖2中並未繪示擴增實境裝置100的所有元件。

圖3是根據一實施例繪示擴增實境裝置的應用情境示意圖。圖4是根據一實施例繪示一定位方法的流程示意圖。請參照圖3與圖4，在此實施例中擴增實境裝置100是在一室內環境300中移動，以下所述方法的各步驟是由擴增實境裝置100中的處理器210所執行或者將所需資料傳送至雲端的伺服器(未繪示)來執行後再將結果傳回到擴增實境裝置100，以下不再贅述各步驟由誰執行。

首先在步驟420中，根據慣性量測單元220的訊號計算初始位置與初始方向301，舉例來說，可將慣性量測單元220所量測到的加速度值積分以得到速度值，再將速度值積分以得到初始位置，而初始方向301可根據角加速度與磁力方向來取得。

在步驟430中，透過深度感測器230進行點雲掃描，掃描得到的點雲稱為讀取點雲，此讀取點雲可以表示為矩陣(亦可稱為一個集合)

，讀取點雲 包括多個點，其中第i個點表示為向量p _i ，M、N、i為正整數，N代表集合P中點的個數，M代表向量p _i 的長度。更具體來說，深度感測器230會掃描環境物件(例如工具機110)以得到環境物件上每個點到擴增實境裝置100的距離，根據此距離以及擴增實境裝置100的位置與方向可以算出每個點的座標，因此向量p _i 至少包括了X座標、Y座標、Z座標。在一些實施例中，向量p _i 還包括了法向量與曲率因子(將詳細描述如下)，在此用向量p _i 來表示一個點以做為一般性的解釋。

在步驟440中，從資料庫450中取得環境點雲，環境點雲Q包括了室內環境300中一或多個工具機(例如工具機110)的點雲，此環境點雲可以表示為矩陣(集合)

，類似地，環境點雲包括多個點，其中第i個點表示為向量q _i 。環境點雲可以是事先建立的，例如可先把一個三維繪圖檔案轉換為點雲，此三維繪圖檔案可以由Autocad、Solidwork、Catia等各種軟體所產生。或者在一些實施例中若沒有上述的三維繪圖檔案，也可以由深度感測器230建立環境點雲，建立的程序包括拼接(stitching)、雜訊過濾(noise filtering)、銳利化(sharpening)、網格化(gridization)等。在一些實施例中，環境點雲也可以由其他的電腦系統建立並提供。

同樣在步驟440中，進行初始猜測。上述的環境點雲包括了在室內環境中所有物件的點雲，但若對所有的物件都進行配對會產生一些多餘的計算量，在一些實施例 中，深度感測器230具有一視角，可以根據此視角以及上述計算出的初始位置與初始方向計算出一視野310，並且從所有的環境點雲中僅取得視野310所包含的點雲(亦稱為局部環境點雲，為了簡化起見，以下還是用Q來表示)以進行後續的配對，這樣可減少計算量。在一些實施例中是假設讀取點雲與局部環境點雲之間具有旋轉與位移的轉換，此轉換可以表示為以下方程式(1)。

q _i=Rp _i+t,i=1...N…(1)

其中R為旋轉矩陣，t為位移向量。在一些實施例中，可以根據步驟420計算出的初始方向與初始位置來初始化旋轉矩陣R與位移向量t，或者也可以用隨機的方式來決定旋轉矩陣R與位移向量t。

在步驟460中，執行點雲匹配演算法，在此實施例中是採用迭代最近點(iterative closest points，ICP)演算法，但在其他實施例中也可以採用其他的匹配演算法。圖5是根據一實施例繪示迭代最近點演算法的示意流程圖。請參照圖5，在步驟510中，對點p _i進行轉換，也就是計算(Rp _i+t)。在第一次執行步驟510時旋轉矩陣R與位移向量t是根據初始方向與初始位置來初始化。

在步驟520，根據局部環境點雲Q建立一KD樹，此KD樹是用以快速地搜尋點q _i，但在其他實施例中也可以採用其他資料結構來搜尋點q _i，例如BSP樹、KDB樹、R樹、R+樹、CELL樹、四叉樹和八叉樹等，本發明並不在此限。

在步驟530中，配對讀取點雲P與局部環境點雲Q，也就是對每一個點p _i都搜尋最接近的點q _i以形成一個配對(p _i,q _i)，值得注意的是這裡計算的是點(Rp _i+t)到點q _i之間的距離，此距離可以是尤拉(Euclidean)距離或其他合適的距離。

在步驟540，對於每一個配對(p _i,q _i)計算出一權重w_i，此權重w _i 與點 q _i 和( Rp _i + t )之間的距離(以下表示為實數d)成負相關。舉例來說，如果實數d大於一臨界值，則權重w _i 為0；如果實數d小於該臨界值，則權重w _i 可設定為實數d的倒數或其他遞減函式，例如e^-d等等。上述點 q _i 和( Rp _i + t )之間的距離可為尤拉距離(L2-範數)或其他合適的距離。權重w_i是要去除點雲之中的離群值(outlier)，此離群值可能是背景，如此一來可以避免背景影響了配對結果。

在步驟550中，執行最佳化演算法以計算出矩陣R與向量t，此最佳化演算法可以表示為以下方程式(2)。

上述的最佳化演算法可以採用公式解或用一搜尋方法(例如基因演算法)來求解，本發明並不限制用何者方式來求得旋轉矩陣R與位移向量t。舉例來說，若採用公式解則須執行以下方程式(3)~(5)。

接著根據以下方程式(6)建立矩陣S，對矩陣做奇異值分解(singular value decomposition，SVD)，如方程式(7)所示。最後根據奇異值分解中的矩陣U、V可以計算出旋轉矩陣R，如以下方程式(8)所示。

svd{S}=UΣV ^T ...(7)

在步驟560中，判斷是否收斂。舉例來說，如果旋轉矩陣R與位移向量t的改變幅度小於一預設值則判斷已經收斂。或者在一些實施例中也可以在執行一固定次數的迭代以後判斷為收斂。若沒有收斂則回到步驟510，根據新的旋轉矩陣R與位移向量t對點p _i進行轉換。

參照回圖3與圖4，在步驟470中計算更新位置與更新方向。具體來說，在配對讀取點雲與局部環境點雲以後，如果所配對的點q _i是屬於工具機110，這表示工具機110目前在擴增實境裝置100的視野310中，此外根據配對(p _i,q _i)也可以得到擴增實境裝置100相對於工具機110的距離與方向，由於工具機110的位置是已知，藉此可以計算出擴增實境裝置100的位置與方向(分別稱為更新位置與更新方向)，此更新位置與更新方向可以用來替換上述步驟420計算的初始方向與初始位置，也可以用於一個擴增實境模組410，此擴增實境模組410由處理器210所執行，用以決定在顯示器250顯示那些資訊。

在一些實施例中，對於點雲中的每個點還會額外計算法向量與曲率因子，因此每個點p _i與點q _i 可以表示為一個長度為7的向量(x,y,z,u,v,w,c)，其中(x,y,z)分別是X座標、Y座標與Z座標，(u,v,w)為法向量，c為曲率因子。圖6是根據一實施例繪示計算法向量的示意圖。請參照圖6，以點p _i(x,y,z)為例，首先會取得點p _i與周圍一小範圍(或一固定數目)內的相鄰點610。接下來對點p _i與相鄰點610執行一主成份分析(principle component analyze，PCA)以得到多個特徵值(eigenvalue)λ₁,λ₂,λ₃與多個主成份，這三個特徵值λ₁,λ₂,λ₃是由大到小排列，然而本領域具有通常知識者當可理解PCA，在此不再詳細贅述。每個特徵值是對應至一個主成份，而每個主成份是長度為3的向量，最大特徵值λ₁所對應的主成份表示最能代表點p _i與相鄰點610的基底(basis)，由於點p _i與相鄰點610應位於一個二維表面上，因此這個表面主要可由兩個基底來表示，而第三個基底則代表此表面的法向量。換言之，可以把最小特徵值λ₃所對應的主成份設定為點 p _i 的法向量(u,v,w)。除此之外，如果點p _i所在的表面是平坦的，則最小特徵值λ₃應該相對地較小，如果點p _i所在的表面是彎曲的則λ₃應該相對地較大，因此最小特徵值λ₃可以用來計算曲率因子c。在一些實施例中，可以將最小特徵值除以所有三個特徵值的總和以計算出曲率因子c，如以下方程式(9)所示。

對於讀取點雲與環境點雲中的每個點都可以執 行上述運算以求得向量(x,y,z,u,v,w,c)來代替原本的向量(x,y,z)。在此實施例中由於在迭代最近點演算法中每個點還具有法向量與曲率因子，因此每個點會更具有描述性，更容易找到真正的配對(p _i,q _i)。

圖7是根據一實施例繪示定位方法的流程圖。請參照圖7，在步驟710，根據慣性量測單元的訊號計算電子裝置的初始位置與初始方向。在步驟720，從資料庫中取得環境點雲，並根據初始位置與初始方向從環境點雲中取得局部環境點雲。在步驟730，透過深度感測器取得讀取點雲。在步驟740，配對讀取點雲與局部環境點雲以計算出電子裝置的更新位置與更新方向。然而，圖7中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖7中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖7的方法可以應用於上述的擴增實境裝置100也可以應用於一般的電子裝置，此電子裝置可以是智慧型手機、平板電腦或任意合適的穿戴裝置，此電子裝置至少包括了處理器、深度感測器與慣性量測單元。

在上述的定位方法與擴增實境裝置中，藉由結合深度點雲資訊，IMU與PCR演算法技術，解決給定室內場域應用中，SLAM無法正確提供位置與轉向資訊之問題，也解決了IMU無法有效提供位置資訊，與長時間下IMU會產生累積積分誤差的問題。此定位方法可以應用於任意具有3D模型的室內環境或可建模之室內場域，如工廠區域或經Cad軟體設計之機械與室內空間。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

220‧‧‧慣性量測單元

230‧‧‧深度感測器

410‧‧‧擴增實境模組

420、430、440、460、470‧‧‧步驟

450‧‧‧資料庫

Claims (10)

1. 一種定位方法，適用於一電子裝置，該電子裝置包括一深度感測器與一慣性量測單元，包括：

   根據該慣性量測單元的訊號計算該電子裝置的一初始位置與一初始方向；

   從一資料庫中取得一環境點雲，並根據該初始位置與該初始方向從該環境點雲中取得一局部環境點雲；

   透過該深度感測器取得一讀取點雲；以及

   配對該讀取點雲與該局部環境點雲以計算出該電子裝置的一更新位置與一更新方向。
2. 如申請專利範圍第1項所述之定位方法，更包括：

   求解以下方程式(1)，

   

   其中 p _i 為該讀取點雲中的第i個點， q _i 為該局部環境點雲中的第i個點，該點 q _i 配對至該點 p _i ，w _i 為該點 p _i 與該點 q _i 所對應的一權重， R 為一旋轉矩陣， t 為一位移向量，N表示該讀取點雲中點的數目。
3. 如申請專利範圍第1項所述之定位方法，其中該權重w _i 與該點 q _i 和( Rp _i + t )之間的距離成負相關。
4. 如申請專利範圍第3項所述之定位方法，其中該點 p _i 與該點 q _i 包括X座標、Y座標、Z座標與一法向量。
5. 如申請專利範圍第4項所述之定位方法，更包括：

   從該讀取點雲中取得該點 p _i 與多個相鄰點；以及

   對該點 p _i 與該些相鄰點執行一主成份分析以取得多個特徵值與多個主成份，並且把該些特徵值中的一最小特徵值所對應的該主成份設定為該點 p _i 的該法向量。
6. 如申請專利範圍第5項所述之定位方法，其中該點 p _i 與該點 q _i 還包括一曲率因子，該定位方法還包括：

   將該最小特徵值除以該些特徵值的總和以計算出該曲率因子。
7. 一種擴增實境裝置，包括：

   一慣性量測單元；

   一深度感測器；以及

   一處理器，用以執行多個步驟：

   根據該慣性量測單元的訊號計算該擴增實境裝置的一初始位置與一初始方向；

   從一資料庫中取得一環境點雲，並根據該初始位 置與該初始方向從該環境點雲中取得一局部環境點雲；

   透過該深度感測器取得一讀取點雲；以及

   配對該讀取點雲與該局部環境點雲以計算出該擴增實境裝置的一更新位置與一更新方向。
8. 如申請專利範圍第7項所述之擴增實境裝置，其中該些步驟更包括：

   求解以下方程式(1)；

   

   其中 p _i 為該讀取點雲中的第i個點， q _i 為該局部環境點雲中的第i個點，該點 q _i 配對至該點 p _i ，w _i 為該點 p _i 與該點 q _i 所對應的一權重， R 為一旋轉矩陣， t 為一位移向量，N表示該讀取點雲中點的數目，該權重w _i 與該點 q _i 和( Rp _i + t )之間的距離成負相關。
9. 如申請專利範圍第8項所述之擴增實境裝置，其中該點 p _i 與該點 q _i 包括X座標、Y座標、Z座標與一法向量，該些步驟還包括：

   從該讀取點雲中取得該點 p _i 與多個相鄰點；以及

   對該點 p _i 與該些相鄰點執行一主成份分析以取得多個特徵值與多個主成份，並且把該些特徵值中的一最小特徵值所對應的該主成份設定為該點 p _i 的該法向量。
10. 如申請專利範圍第9項所述之擴增實境裝置，其中該點 p _i 與該點 q _i 還包括一曲率因子，該些步驟還包括：

    將該最小特徵值除以該些特徵值的總和以計算出該曲率因子。

Images