TW202204853A - 用深度對齊影像的方法 - Google Patents

Abstract

一種用深度對齊影像的方法，其包含：智能眼鏡做擷取參數，該智能眼鏡中具有一IMU，該IMU可透過使用者的動作得到相對應的速度、旋轉、位移、角度參數；智能眼鏡與後端伺服器無線傳輸，該後端伺服器係與該智能眼鏡係透過無線傳輸，該後端伺服器內預設影像與深度對應的環境資訊；將對應座標進行定位；後端伺服器得適合之場景小地圖；回傳實景給予後端伺服器；空間對齊與座標系統一致化處理；智能眼鏡可看到虛擬物件疊合於實際空間之影像；藉由上述步驟與智能眼鏡的顯像，俾可讓配戴智能眼鏡的使用者可定位追蹤並在指定場域中給予指示達到快速尋找指定目標物的效果。

Description

用深度對齊影像的方法

本發明係關於一種對齊影像的方法，特別係指一種用深度對齊影像的方法。

當一般人進入在指定場域當中尋找特定之目標(如控制箱、機台、閥門等)、物品或位置時，大多都是經由描述或記憶得知大約位置，再藉由特定目標上具有標示，而明確知道是否為特定目標，倘若指定場域中存在較危險物品(如：化學藥劑)或環境(如：運作中機械設備)時，當進入指定場域中隨意觸碰或摸索則存有許多受傷的可能性。

惟當特定目標上不具有標示時，則只能憑藉外觀、經驗來判斷是否為特定目標，因此極容易產生誤判情形，且亦有可能造成設備損害或是財產損失等不良的缺失，而當進入指定場域中存在危險因子時，對環境不熟悉的觸碰及摸索則更是容易產生人身安全的隱憂。

是故，如何將上述等缺失加以摒除，即為本案發明人所欲解決之技術困難點之所在。

有鑑於現有之特定場域探索及尋找存在著上述問題，因此本發明之目的在於提供一種用深度對齊影像的方法。

為達成以上之目的，本發明係提供一種用深度對齊影像的方 法，其包含：

智能眼鏡做擷取參數，該智能眼鏡中具有一IMU(Inertial Measurement Unit，慣性測量單元)，該智能眼鏡可透過使用者的動作如：移動、轉彎、頭部之仰角、俯角、轉動角度，使該IMU可得到相對應的速度、旋轉、位移、角度參數，進而可透過各該參數對使用者定位追蹤。

智能眼鏡與後端伺服器無線傳輸，該後端伺服器與該智能眼鏡透過無線傳輸接收或發送資訊，又該後端伺服器內預存指定場域之影像與深度對應的環境資訊(如：高度、深度、長度、座標對應之影像)，該環境資訊進一步包含危險區域資訊，該指定場域之深度對應的環境資訊形成點雲地圖。

將對應座標進行定位，該智能眼鏡與後端伺服器無線傳輸後，該後端伺服器接收該智能眼鏡之IMU得到之速度、旋轉、位移、角度參數後，將上述參數與環境資訊之相對應座標進行多次疊合並得到智能眼鏡在指定場域中的座標、角度。

後端伺服器得適合之場景小地圖，該後端伺服器將對應座標進行定位後得到智能眼鏡在指定場域中的座標、角度，該後端伺服器透過影像旋轉匹配與速度比對目前視角範圍場景而可產生場景小地圖。

回傳實景給予後端伺服器，該後端伺服器得適合之場景小地圖後，該智能眼鏡具有觀看視野的實景，再將智能眼鏡觀看視野的實景回傳給後端伺服器。

空間對齊與座標系統一致化處理，該智能眼鏡回傳實景給予後端伺服器後，該後端伺服器將智能眼鏡回傳之實景與後端伺服器之場景 小地圖進行空間對齊與座標系統一致化處理，該空間對齊係計算座標相互應對關係轉換，其計算方式如下：

sm'=A[R｜t]M

s：常數(Cons tan t)

m'：項目點(Project Point)

A：相機固有矩陣(Camera Intrinsic Matrix)

R：旋轉矩陣(Rotation Matrix)

t：轉換矩陣(Translation Matrix)

M：環境資訊點雲圖點(Point Cloud Map Point)

又該座標系統一致化處理係取得環境資訊之點雲地圖與實際場域的中心位置，分別計算環境資訊之點雲地圖與實際場域每個參考點與其中心位置的相對距離，距離最短的點則紀錄為對應點，得到所有關鍵的對應點後，並將空間對齊與座標系統一致化求得之虛擬內容與真實內容最佳的空間對應關係傳給智能眼鏡。

智能眼鏡可看到虛擬物件疊合於實際空間之影像，該後端伺服器進行空間對齊與座標系統一致化處理求得之虛擬內容與真實內容最佳的空間對應關係傳給智能眼鏡，藉此可得虛擬物件放置於實際空間的座標，達到虛擬物件疊合於實際空間之目的，另該虛擬物間係放置於實際空間的座標上，因此當該智能眼鏡隨使用者轉動觀看視野改變時，該虛擬物件仍在實際空間的座標而不隨該智能眼鏡轉動而轉動，且該視野改變後進行重新演算使視野改變後之虛擬內容與真實內容得到最佳的空間對應關係。

藉由上述多次疊合、影像旋轉匹配與速度比對、場景小地圖、空間對齊與座標系統一致化和智能眼鏡的顯像，俾可讓配戴智能眼鏡的使用者可定位追蹤並在指定場域中給予指示達到快速尋找指定目標物或 指示放置指定物品於特定位置的效果，也可透過在後端伺服器中之環境資訊設有危險區域，俾可讓使用者透過後端伺服器傳送之地圖得知危險，進而可達到避免危險的效果，另藉由後端伺服器中設有影像及深度的環境資訊，俾可藉由在後端伺服器當中設定好排程與動作，讓使用者可前往特定地點對指定物品(如：機械設備、控制箱)進行設定好的動作(如：檢查流程、保養流程、維修流程等)，減少操作錯誤造成設備損傷或人員損傷的機會。

1:智能眼鏡

11:慣性測量單元(IMU)

12:速度、旋轉、位移、角度參數

13:使用者定位追蹤

2:後端伺服器

3:虛擬物件

B:中心點

C:中心點

S1:智能眼鏡做擷取參數

S2:智能眼鏡與後端伺服器無線傳輸

S3:將對應座標進行定位

S4:後端伺服器得適合之場景小地圖

S5:回傳實景給予後端伺服器

S6:空間對齊與座標系統一致化處理

S7:智能眼鏡可看到虛擬物件疊合於實際空間之影像

第一圖係為本發明的流程示意圖。

第二圖係為本發明點雲地圖與實際場域中心點及參考點差異示意圖。

第三圖係為本發明旋轉與轉換示意圖。

第四圖係為實際空間示意圖。

第五圖係為虛擬物件疊合於實際空間示意圖。

第六圖係為虛擬物件顯示於智能眼鏡示意圖。

第七圖係為虛擬物件不隨智能眼鏡轉動示意圖。

為使 貴審查員方便簡潔瞭解本發明之其他特徵內容與優點及其所達成之功效能夠更為顯現，茲將本發明配合附圖，詳細說明如下：

請參閱第一圖所示，係為本發明的流程示意圖，一種用深度對齊影像的方法，其包含：

智能眼鏡做擷取參數S1，該智能眼鏡1中具有一IMU11(Inertial Measurement Unit，慣性測量單元11)，該智能眼鏡1可透過使用者的 動作如：移動、轉彎、頭部之仰角、俯角、轉動角度，使該IMU11可得到相對應的速度、旋轉、位移、角度參數12，進而可透過各該參數對使用者定位追蹤13。

智能眼鏡與後端伺服器無線傳輸S2，該後端伺服器2與該智能眼鏡1係透過無線傳輸接收或發送資訊，又該後端伺服器2內預存指定場域之影像與深度對應的環境資訊(如：高度、深度、長度、座標對應之影像)，該環境資訊進一步包含危險區域資訊，該指定場域之深度對應的環境資訊形成點雲地圖。

將對應座標進行定位S3，該智能眼鏡與後端伺服器無線傳輸S2後，該後端伺服器2接收該智能眼鏡1之IMU11得到之速度、旋轉、位移、角度參數12後，將相對應座標進行多次疊合並得到智能眼鏡1在指定場域中的座標、角度。

後端伺服器得適合之場景小地圖S4，該後端伺服器2將對應座標進行定位S3後得到智能眼鏡1在指定場域中的座標、角度，該後端伺服器1透過影像旋轉匹配與速度比對目前視角範圍場景而可產生場景小地圖。

回傳實景給予後端伺服器S5，該後端伺服器得適合之場景小地圖S4後，該智能眼鏡1具有觀看視野的實景，再將智能眼鏡1觀看視野的實景回傳給後端伺服器2。

空間對齊與座標系統一致化處理S6，該智能眼鏡1回傳實景給予後端伺服器S5後，該後端伺服器2將智能眼鏡1回傳之實景與後端伺服器2之場景小地圖進行空間對齊與座標系統一致化處理S6，該空間對齊係計算座標相互應對關係轉換，其計算方式如下：

sm'=A[R｜t]M

s：常數(Cons tan t)

m'：項目點(Project Point)

A：相機固有矩陣(Camera Intrinsic Matrix)

R：旋轉矩陣(Rotation Matrix)

t：轉換矩陣(Translation Matrix)

M：環境資訊點雲圖點(Point Cloud Map Point)

又該座標系統一致化處理係透過各自取得環境資訊之點雲地圖與實際場域的中心B、C位置，請參閱第二圖、第三圖，分別計算環境資訊之點雲地圖與實際場域每個參考點與其中心B、C位置的相對距離，距離最短的點則紀錄為對應點，得到所有關鍵的對應點後，並將空間對齊與座標系統一致化求得之虛擬內容與真實內容最佳的空間對應關係傳給智能眼鏡1。

智能眼鏡可看到虛擬物件疊合於實際空間之影像S7，該後端伺服器2進行空間對齊與座標系統一致化處理S6求得之虛擬內容與真實內容最佳的空間對應關係傳給智能眼鏡1，藉此可得虛擬物件3放置於實際空間的座標，如第四圖、第五圖所示，達到虛擬物件3疊合於實際空間之目的，另該虛擬物件3係放置於實際空間的座標上，因此當該智能眼鏡1隨使用者轉動觀看視野改變時，該虛擬物件3仍在實際空間的座標而不隨該智能眼鏡1轉動而轉動，如第六圖、第七圖所示，且該視野改變後進行重新演算使視野改變後之虛擬內容與真實內容得到最佳的空間對應關係。

藉由上述多次疊合、影像旋轉匹配與速度比對、場景小地圖、空間對齊與座標系統一致化和智能眼鏡1的顯像，俾可讓配戴智能眼鏡1的使用者可定位追蹤並在指定場域中給予指示達到快速尋找指定目標物或指示放置指定物品於特定位置的效果，也可透過在後端伺服器2中之環境 資訊設有危險區域，俾可讓使用者透過後端伺服器2傳送之地圖得知危險，進而可達到避免危險的效果，另藉由後端伺服器2中設有影像及深度的環境資訊，俾可藉由在後端伺服器2當中設定好排程與動作，讓使用者可前往特定地點對指定物品(如：機械設備、控制箱)進行設定好的動作(如：檢查流程、保養流程、維修流程等)，減少操作錯誤造成設備損傷或人員損傷的機會。

1:智能眼鏡

11:慣性測量單元(IMU)

12:速度、旋轉、位移、角度參數

13:使用者定位追蹤

2:後端伺服器

S1:智能眼鏡做擷取參數

S2:智能眼鏡與後端伺服器無線傳輸

S3:將對應座標進行定位

S4:後端伺服器得適合之場景小地圖

S5:回傳實景給予後端伺服器

S6:空間對齊與座標系統一致化處理

S7:智能眼鏡可看到虛擬物件疊合於實際空間之影像

Claims (4)

1. 一種用深度對齊影像的方法，其包含：

   智能眼鏡做擷取參數，該智能眼鏡中具有一IMU(Inertial Measurement Unit，慣性測量單元)，該智能眼鏡透過使用者動作使該IMU得到速度、旋轉、位移、角度參數；智能眼鏡與後端伺服器無線傳輸，該後端伺服器係與該智能眼鏡係透過無線傳輸接收或發送資訊，該後端伺服器內預存指定場域之影像與深度對應的環境資訊；將對應座標進行定位，該智能眼鏡與後端伺服器無線傳輸後，該後端伺服器接收該智能眼鏡之IMU得到速度、旋轉、位移、角度參數後，將上述參數與環境資訊之相對應座標進行多次疊合並得到智能眼鏡在指定場域中的座標、角度；後端伺服器得適合之場景小地圖，該後端伺服器將對應座標進行定位後得到智能眼鏡在指定場域中的座標、角度，該後端伺服器透過影像旋轉匹配與速度比對目前視角範圍場景而可產生場景小地圖；回傳實景給予後端伺服器，該後端伺服器得適合之場景小地圖後，該智能眼鏡具有觀看視野的實景，再將智能眼鏡觀看視野的實景回傳給後端伺服器；空間對齊與座標系統一致化處理，該智能眼鏡回傳實景給予後端伺服器後，該後端伺服器將智能眼鏡回傳之實景與後端伺服器之場景小地圖進行空間對齊與座標系統一致化處理，該空間對齊係計算座標相互應對關係轉換，又該座標系統一致化處理係透過各自取得環境資訊之點雲地圖與實際場域的中心位置，分別計算環境資訊之點雲地圖與實際場域每個參考點與其中心位置的相對距離並將空間對齊與座標系統一致化求得之虛擬內容與真實內容最佳的空間對應關係傳給智能眼鏡；智能眼鏡可看到虛擬物件疊合於實際空間之影像，該後端伺服器進行空間對 齊與座標系統一致化求得之虛擬內容與真實內容的空間對應關係傳給智能眼鏡，藉此可得虛擬物件放置於實際空間的座標，達到虛擬物件疊合於實際空間。
2. 如申請專利範圍第1項所述之用深度對齊影像的方法，其中該影像與深度對應的環境資訊為高度或深度或長度與座標對應之影像。
3. 如申請專利範圍第1項所述之用深度對齊影像的方法，其中該環境資訊進一步包含危險區域資訊。
4. 如申請專利範圍第1項所述之用深度對齊影像的方法，其中該深度對應的環境資訊形成點雲地圖。

Images