TWI771960B - 一種用於智慧無人載具系統的室內定位及物件搜尋方法 - Google Patents

Abstract

一種用於智慧無人載具系統的室內定位及物件搜尋方法，是供 搜尋在一室內區域中的一物件，先對室內區域進行模型建立，以進行載具本體的定位，再由影像輸入模組擷取即時環境影像，以產生一環境影像資訊，接著由一影像特徵辨識模組接收所述環境影像資訊，以產生一特徵辨識資訊，再依據所述的環境影像資訊及所述的特徵辨識資訊，建立一在所述的區域中對應所述的物件的感興趣區域(Region-of-Interest；ROI)，並判斷感興趣區域中是否具有與一資料庫存儲的一物件影像資料符合的所述物件的影像，如果符合，量測並計算物件與載具本體的相對座標位置與距離。

Description

一種用於智慧無人載具系統的室內定位及物件搜尋方法

本發明是有關一種用於智慧無人載具系統的室內定位及物件搜尋方法，尤其是可在室內區域進行定位，並於室內區域中建立感興趣區域進行搜尋的物件搜尋方法。

以往無人機可透過使用者的遠端遙控，在使用者可視的範圍內受到控制移動，由於無人機可配置攝影鏡頭，因此在戶外無遮蔽物的空間中，可直接以俯瞰的角度向地面進行拍攝，當一般人有物品遺失在一個區域環境中，為了能將遺失物找回，便可透過無人機在該區域中進行找尋。

但是在一般室內環境中，便無法透過上述的方式進行找尋，主要是受到室內的空間結構轉角或傢俱擺設的影響，造成使用者在操作的視野上有多個視野死角，若直接透過無人機的攝影鏡頭進行視野的判斷，也會受到攝影鏡頭的有限拍攝角度，無法輕易避開梁柱或傢俱等室內環境中的障礙物。

因此，當一般人如有物品遺失在一個室內的區域環境中，為了能將遺失物找回，只能以回憶的方式，努力回想最後使用或看到的遺失物是在什麼位置，或是回到曾經到過的地方，但這樣的找尋方式往 往都不可靠，例如是一個隨手放在窗台邊的眼鏡，由於這是隨手一丟，且周遭又有太多擺設物品造成視覺被遮蔽或被混淆時，將造成視野搜尋上的盲點，使遺失物的找尋變的相當困難。

另方面，如果要找尋的不是單純的物品，而是要找尋某個人，例如在大賣場走失的兒童，如果兒童專注在賣場某商品前，沒有出現情緒緊張反應，且身型又嬌小被賣場的擺設商品遮蔽住，也會造成找尋上的困難；又或者，晚上警衛在賣場進行巡邏時，若有小動物例如貓、狗或小偷入侵，並以賣場的擺設商品做為躲藏地點，只要不發出聲音，便不容易被發現，如此也會造成警衛在巡邏時的盲點。

因此，如何提供一種可在室內環境中進行室內定位，讓無人機在移動過程中，可在各種轉角間移動同時還可避開環境中的各種障礙物，以及如何在室內區域環境中有效率的區隔出欲找尋物與周遭的擺設物品，以增加在區域環境中對物件、人或生物的辨識效率，將會是本案所要研究的議題和著重的問題與焦點。

本發明之一目的在提供可供室內環境定位，並可在室內環境中自行避開障礙並進行移動的一種用於智慧無人載具系統的室內定位及物件搜尋方法。

本發明之另一目的可在區域環境中有效率的區隔找尋物影像與周遭擺設物品影像的一種用於智慧無人載具系統的室內定位及物件搜尋方法。

本發明一種用於智慧無人載具系統的室內定位及物件搜尋方法，是供在一室內區域進行定位，及供搜尋在所述的室內區域中的一物件，所述的智慧無人載具系統包括一載具本體、一影像輸入模組、一影像特徵辨識模組、一中央處理器、一影像初始標記模組、一資料庫及一載具運動感測模組，所述的中央處理器是分別與所述的影像輸入模 組、所述的影像特徵辨識模組、所述的影像初始標記模組、所述的資料庫及所述的載具運動感測模組訊號連結，以及與所述的些模組配置在所述的載具本體中，其中所述的室內定位及物件搜尋方法包括下列步驟：a)所述的載具本體受所述的中央處理器控制，在所述的室內區域移動，並由所述的影像初始標記模組分析所述的影像輸入模組所擷取所述的戴具本體所在的所述的室內區域的環境影像，辨識所述的室內區域中原來的結構與設置在所述的室內區域中的多個原始擺件，建立一對應所述的室內區域的辨識特徵模型並做標記(Mark)，且並由所述的資料庫儲存；b)所述的載具運動感測模組偵測所述的載具本體的運動方位，並產生一參考運動方位資訊，以及由所述的影像輸入模組擷取所述的室內區域的環境影像，以產生一對應所述的室內區域的環境影像資訊，及獲取空間相對關係資訊；c)所述的影像特徵辨識模組接收所述的環境影像資訊，由所述的影像特徵辨識模組對所述的環境影像資訊進行特徵辨識，以產生一特徵辨識資訊；d)所述的影像處理模組依據所述的環境影像資訊及所述的特徵辨識資訊，建立一在所述的室內區域中對應所述的物件的感興趣區域，並在所述的環境影像資訊的感興趣區域中比對，判斷是否具有與所述的資料庫存儲的一物件影像資料符合的所述的物件的影像；及e)如果符合，量測並計算所述的感興趣區域中的所述的物件與所述的載具本體的相對距離與座標位置。

用於智慧無人載具系統的室內定位及物件搜尋方法，是預先在室內區域環境中進行定位，並對環境中各種障礙物進行辨識，令載 具本體可在各種轉角間移動，同時還可避開環境中的各種障礙物，並在建立的感興趣區域中，將環境影像資訊的感興趣區域中的物件進行比對，以判斷是否有符合資料庫存儲的物件、人或生物的影像，有效率的區隔找尋物影像與周遭擺設物品影像，增加在區域環境中對物件、人或生物的辨識效率，並達成上述目的。

1:室內區域

10:載具本體

11:影像輸入模組

12:影像特徵辨識模組

13:影像處理模組

14:超音波測距模組

15:中央處理器

16:座標轉換模組

17:初始參數設定模組

18:影像初始標記模組

19:即時定位模組

20:資料庫

21:載具運動感測模組

401~409:步驟

圖1是本案一實施例的一種用於智慧無人載具系統的室內定位及物件搜尋方法的示意圖；圖2是圖1之智慧無人載具的系統方塊圖；圖3是圖1之室內定位及物件搜尋方法的流程圖；及圖4是圖1之智慧無人載具系統的量測並計算物件與載具本體距離的示意圖。

依照本發明一實施例的一種用於智慧無人載具系統的室內定位及物件搜尋方法，參考圖1所示，可供在一室內區域1進行定位，以及供搜尋在該室內區域1中的一物件，一併參考圖1及圖2所示，智慧無人載具系統包括一載具本體10、一影像輸入模組11、一影像特徵辨識模組12、一影像處理模組13、一超音波測距模組14、一中央處理器15、一座標轉換模組16、一初始參數設定模組17、一影像初始標記模組18、一即時定位模組19、一資料庫20及一載具運動感測模組21，中央處理器15是分別與影像輸入模組11、影像特徵辨識模組12、影像處理模組13、超音波測距模組14、座標轉換模組16、初始參數設定模 組17、影像初始標記模組18、即時定位模組19、資料庫20及載具運動感測模組21訊號連結，以及與該些模組配置在載具本體10中，而本例中移載具本體10是以飛行的空拍機為例，對於所屬之技術領域者而言，亦可輕易置換，以地面移動載具(例如掃地機器人)為例。

本案用於智慧無人載具系統的物件搜尋方法，一併參考圖1、圖2及圖3所示，一開始如步驟401，透過初始參數設定模組17對載具本體10的各參數進行初始化、量測校正以及座標原點初始化，例如載具本體10的電性參數、影像感測參數、光源參數、超音波參數等進行初始化及測距精度校正，以及座標原點初始化，或更進一步對室內區域1的房間數量、坪數設定，再如步驟402，載具本體10受中央處理器15控制，在室內區域1移動，並由影像初始標記模組18分析影像輸入模組11所擷取戴具本體10所在的室內區域1的環境影像，並由影像特徵辨識模組12辨識室內區域1中原來的結構與設置在室內區域1中的多個原始擺件，以建立一對應室內區域1的辨識特徵模型，並由資料庫儲存，其中本例之影像特徵辨識模組12所進行的特徵辨識，是以視覺影像分析方式，辨別環境中的關鍵特徵，如點(重要室內如牆角、固定不動特徵點如窗戶等)、線(室內如牆面直線、室內梁柱直線等)、面(室內主要牆面、房間轉角牆面等)，以取得區域環境的3D模型，而影像輸入模組11則是以即時影像輸入，並可對環境光源進行自動調整，以及結合當室外強光直射鏡頭時，可能造成載體盲視，而以影像處理及電腦視覺技術，來進行避逆光處理或者其他因素可能造成載體瞬間迷航處理。

再如步驟403，影像處理模組13依據載具運動感測模組21偵測的參考運動方位資訊，計算載具本體10的導航方位，並提供中央處理器15修正導航命令，再如步驟404，由超音波測距模組14進行載具本體10周圍的距離測定，以產生一超音波測距資訊，供中央處理器15控制該載具本體進行測距與避開障礙，接著如步驟405，載具運動感測模組21偵測載具本體10的運動方位，並產生一參考運動方位資訊，以及由影像 輸入模組11組擷取室內區域1的環境影像，以產生一對應室內區域1的環境影像資訊，及獲取空間相對關係資訊，如步驟406，座標轉換模組16依據環境影像資訊計算載具本體10相對室內區域1的平面(2D)及立體(3D)空間的座標轉換計算，以產生一相對位置座標資訊。

再如步驟407，即時定位模組19接收參考運動方位資訊、超音波測距資訊及相對位置座標資訊，並供即時定位及計算載具本體10的方位、角度及相對距離，再如步驟408，影像特徵辨識模組12依據環境影像資訊及特徵辨識資訊，建立一在室內區域1中對應欲搜尋的物件的感興趣區域(Region-of-Interest；ROI)，並比對在環境影像資訊的感興趣區域中，判斷是否具有符合資料庫存儲的一物件影像資料的物件的影像，其中物件的影像比對是由影像特徵辨識模組12依據掃描環境影像資訊的關鍵特徵或物件的特徵，並將感興趣區域ROI中具有對應物件特徵的影像與資料庫儲存的物件的特徵做比對，如果在環境影像資訊的感興趣區域中比對出符合物件影像資料時，則如步驟409，量測並計算感興趣區域中的物件與載具本體10的相對距離與座標位置(如圖4所示)，如果沒有比對出符合物件影像資料時，載具本體10受中央處理器15控制前往另一室內區域1移動，並回到步驟403，繼續搜尋另一室內區域1。

其中座標轉換模組16的平面(2D)及立體(3D)空間的座標轉換計算，是先從影像特徵辨識模組12取得2D空間中關鍵點的座標，例如定義為室內特定長度之直線、特定夾角(如90度)等，再從影像特徵辨識模組，取得3D空間標記N的座標，以建立2D/3D映射關係矩陣，並供計算2D轉3D座標。

在載具本體10於室內定位時，先從載具運動感測模組21獲取載具本體10的6D資訊，同時從影像輸入模組11持續輸入即時影像，再量測載具本體10之導航方位，同時從超音波測距模組14擷取前方/與兩側面距離，並呼叫座標轉換模組16，計算且校正載具定位以及6D資訊，據此，輸出載具本體10即時定位與6D資訊，在室內區域1 中進行物件搜尋定位時，從載具本體10於室內定位結果，擷取載具本體10之即時3D座標，以及從影像輸入模組11持續輸入即時影像，並從超音波測距模組14中，取得搜尋物件相對載具的距離，同時呼叫座標轉換模組16，以便於計算待搜尋物件之3D定位資訊，同時也輸出待搜尋物即時定位。

本發明之一種用於智慧無人載具系統的室內定位及物件搜尋方法，由載具本體以智能化自動導航(例如以慣性參考器[IRU]結合AI導航演算法等)、以及同樣結合AI調變飛行參數的自主飛行控制方式實現，對室內環境進行模型建立，以進行載具本體的定位，在室內區域中移動時，可在各轉角間移動，同時還可直接避開環境中的各種障礙物，並於區域中對應所述的物件的感興趣區域，在環境影像資訊的感興趣區域中比對，以判斷是否有符合欲找尋的物件對應影像，另方面，本案更可應用在賣場進行人臉辨識的找尋某個人，如走失兒童，或是應用在警衛巡邏打烊的賣場上，以供辨識在賣場裡出現的小動物例如貓、狗或小偷入侵，不僅能有效率的區隔找尋物影像與周遭擺設物品影像，還能增加在區域環境中對物件、人或生物的辨識效率，並達成上述目的

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，因此本發明的保護範圍當視後附之申請專利範圍所界定者為準。

401~409:步驟

Claims (10)

1. 一種用於智慧無人載具系統的室內定位及物件搜尋方法，係供在一室內區域進行定位，及供搜尋在該室內區域中的一物件，該智慧無人載具系統包括一載具本體、一影像輸入模組、一影像特徵辨識模組、一中央處理器、一影像初始標記模組、一資料庫及一載具運動感測模組，該中央處理器係分別與該影像輸入模組、該影像特徵辨識模組、該影像初始標記模組、該資料庫及該載具運動感測模組訊號連結，以及與該些模組配置在該載具本體中，其中該室內定位及物件搜尋方法包括下列步驟：a)該載具本體受該中央處理器控制，在該室內區域移動，並由該影像初始標記模組分析該影像輸入模組所擷取該戴具本體所在的該室內區域的環境影像，辨識該室內區域中原來的結構與設置在該室內區域中的多個原始擺件，建立一對應該室內區域的辨識特徵模型，並由該資料庫儲存；b)該載具運動感測模組偵測該載具本體的運動方位，並產生一參考運動方位資訊，以及由該影像輸入模組擷取該室內區域的環境影像，以產生一對應該室內區域的環境影像資訊，及獲取空間相對關係資訊；c)該影像特徵辨識模組接收該環境影像資訊，由該影像特徵辨識模組對該環境影像資訊進行特徵辨識，以產生一特徵辨識資訊；d)該影像處理模組依據該環境影像資訊及該特徵辨識資訊，建立一在該室內區域中對應該物件的感興趣區域，並在該環境影像資訊的感興趣區域中比對，判斷是否具有與該資料庫存儲的一物件影像資料符合的該物件的影像；及 e)如果符合，量測並計算該感興趣區域中的該物件與該載具本體的相對距離與空間座標位置。
2. 如申請專利範圍第1項所述的室內定位及物件搜尋方法，其中該智慧無人載具系統更包括一影像處理模組，係與該中央處理器訊號連結並配置在該載具本體中，其中該步驟a)包括一步驟a1)影像處理模組係依據該載具運動感測模組偵測的該參考運動方位資訊，計算該載具本體的導航方位，並提供該中央處理器修正導航命令。
3. 如申請專利範圍第2項所述的室內定位及物件搜尋方法，其中該智慧無人載具系統更包括一超音波測距模組，係與該中央處理器訊號連結並配置在該載具本體中，該步驟a)包括一步驟a2)該超音波測距模組進行該載具本體周圍的距離測定，以產生一超音波測距資訊，供中央處理器控制該載具本體進行測距與避開障礙。
4. 如申請專利範圍第3項所述的室內定位及物件搜尋方法，其中該智慧無人載具系統更包括一座標轉換模組，係與該中央處理器訊號連結並配置在該載具本體中，該步驟a)包括一步驟a3)該座標轉換模組依據該環境影像資訊計算該載具本體相對該室內區域的平面(2D)及立體(3D)空間的座標轉換計算，以產生一相對位置座標資訊。
5. 如申請專利範圍第4項所述的室內定位及物件搜尋方法，其中該處理模組更包括一即時定位模組，係與該中央處理器訊號連結並 配置在該載具本體中，該步驟a)更包括一在該步驟a3)之後的步驟a4)該即時定位模組接收該參考運動方位資訊、該超音波測距資訊及該相對位置座標資訊，即時定位及計算該載具本體的方位、角度及相對距離。
6. 如申請專利範圍第1項所述的室內定位及物件搜尋方法，其中該步驟c)包括一步驟c1)該物件的影像比對係由該影像特徵辨識模組依據掃描該環境影像資訊的關鍵特徵或該物件的特徵，並將該感興趣區域ROI中具有對應該物件特徵的影像與該資料庫儲存的該物件的特徵做比對。
7. 如申請專利範圍第3項所述的室內定位及物件搜尋方法，其中該步驟d)包括一步驟d1)該物件與該載具本體的相對距離，係透過該超音波測距模組進行該物件與該載具本體的相對距離的計算與分析。
8. 如申請專利範圍第1項所述的室內定位及物件搜尋方法，其中該影像辨識模組係一組具有深度辨識的雙鏡頭，該步驟d)包括一步驟d1)該物件與該載具本體的相對距離，係依據該組雙鏡頭對該物件的深度辨識，進行該物件與該載具本體的相對距離的計算與分析。
9. 如申請專利範圍第1項所述的室內定位及物件搜尋方法，其中該影像辨識模組具有一紅外線測距模組，該步驟d)包括一步驟d1)該物件與該載具本體的相對距離，係依據該紅外線測距模組對該物件的量測。
10. 如申請專利範圍第1項所述的室內定位及物件搜尋方法，其中該智慧無人載具系統更包括一初始參數設定模組，係與該中央處理器訊號連結並配置在該載具本體中，該室內定位及物件搜尋方法更包括一在該步驟a)前的步驟a’)該初始參數設定模組對該載具本體的各參數進行初始化、量測校正以及座標原點初始化。

Images