TWI735336B - 定位製圖方法及移動裝置 - Google Patents

Abstract

一種定位製圖方法，用於移動裝置於移動過程中定位及製圖，定位製圖方法包含影像擷取步驟、特徵點萃取步驟、旗標物件辨識步驟及定位及製圖步驟。影像擷取步驟是透過相機單元於移動過程的複數時間點中一時間點擷取一影像圖框。特徵點萃取步驟是從影像圖框萃取複數特徵點。旗標物件辨識步驟是依據旗標資料庫從特徵點辨識影像圖框是否包含旗標物件，旗標資料庫包含複數動態物件，旗標物件對應所述複數動態物件中一者。定位及製圖步驟是依據移動過程中所擷取的複數影像圖框及其旗標物件執行定位及製圖。藉此，有效降低定位誤差及製圖誤判。

Description

定位製圖方法及移動裝置

本發明是有關於一種定位製圖方法及移動裝置，且特別是有關於基於視覺的定位製圖方法及使用所述定位製圖方法的移動裝置。

近年來隨著自動駕駛車、無人機、機器人等移動裝置市場的蓬勃發展，VSLAM(Visual Simultaneous Localization and Mapping，基於視覺的即時定位與地圖建構)技術亦受到日益重視及廣泛應用。VSLAM是利用影像感測器(即攝影機、相機)擷取周遭畫面，取得周遭的地形環境並加以辨識，進一步判斷身在何處，從而為移動裝置同時地進行定位與地圖建構。

然而，建構的地圖為當時刻的環境，即包含動態物件或可移動物件，當不同時間點回到相同位置時，可能因為動態物件的新增或消失而造成定位不穩定。因此，市場上極需一種基於視覺的定位製圖方法及使用所述定位製圖方法的移動裝置，其可降低前述問題造成的製圖誤判，並減少定位誤差。

本發明提供一種定位製圖方法及使用所述定位製圖方法的移動裝置，透過依據旗標資料庫從特徵點辨識影像圖框是否包含旗標物件，其中旗標資料庫包含複數動態物件，旗標物件對應所述複數動態物件中一者，從而有效降低定位誤差及製圖誤判。

依據本發明一實施方式提供一種定位製圖方法，用於移動裝置於移動過程中定位及製圖，定位製圖方法包含影像擷取步驟、特徵點萃取步驟、旗標物件辨識步驟及定位及製圖步驟。影像擷取步驟是透過相機單元於移動過程的複數時間點中一時間點擷取一影像圖框。特徵點萃取步驟是從影像圖框萃取複數特徵點。旗標物件辨識步驟是依據旗標資料庫從特徵點辨識影像圖框是否包含旗標物件，旗標資料庫包含複數動態物件，旗標物件對應所述複數動態物件中一者。定位及製圖步驟是依據移動過程中所擷取的複數影像圖框及其旗標物件執行定位及製圖。藉此，有效降低定位誤差及製圖誤判。

依據本發明的定位製圖方法的實施例中，移動裝置可為車輛，動態物件可包含行人及車輛中至少一者。

依據本發明的定位製圖方法的實施例中，定位製圖方法可更包含旗標物件標註步驟，是當影像圖框包含旗標物件時，於影像圖框增加旗標物件的標註。

依據本發明的定位製圖方法的實施例中，定位製圖方法可更包含底圖查找步驟，是查找底圖列表，確認影像圖框是否對應底圖列表中一底圖。

依據本發明的定位製圖方法的實施例中，在底圖查找步驟中，當底圖列表中底圖包含另一旗標物件的標註時，可將所述另一旗標物件嵌入影像圖框，並確認嵌入所述另一旗標物件的影像圖框是否對應所述底圖。當影像圖框包含旗標物件的標註時，可將旗標物件嵌入底圖，並確認影像圖框是否對應嵌入旗標物件的底圖。

依據本發明的定位製圖方法的實施例中，定位製圖方法可更包含底圖建立步驟，是當影像圖框不對應底圖列表中任一底圖時，依據影像圖框建立及增加為底圖列表中底圖。

依據本發明的定位製圖方法的實施例中，定位製圖方法可更包含影像與底圖比對步驟及底圖更新步驟。影像與底圖比對步驟是當影像圖框對應底圖列表中底圖時，比對影像圖框與對應的底圖。底圖更新步驟是對應的底圖依據下列方程式更新，其中i表示時間點，i-1表示基於對應的底圖的前一時間點，MAP _i表示所述時間點更新的對應的底圖，P _i表示所述時間點包含旗標物件的標註的影像圖框:

。

依據本發明的定位製圖方法的實施例中，定位製圖方法可更包含影像與底圖比對步驟及底圖更新步驟。影像與底圖比對步驟是當影像圖框對應底圖列表中底圖時，比對影像圖框與對應的底圖。底圖更新步驟是當對應的底圖包含另一旗標物件的標註，且影像圖框不包含所述另一旗標物件的標註時，對應的底圖於移除所述另一旗標物件之後更新。

藉由前述實施方式的定位製圖方法，有助建立更準確的底圖。

依據本發明另一實施方式提供一種移動裝置，包含相機單元、處理器及記憶體。處理器耦接相機單元。記憶體耦接處理器並提供定位製圖模組及旗標資料庫，旗標資料庫包含複數動態物件。處理器基於定位製圖模組用以透過相機單元於移動裝置的移動過程的複數時間點中一時間點擷取一影像圖框，從影像圖框萃取複數特徵點，依據旗標資料庫從特徵點辨識影像圖框是否包含旗標物件，旗標物件對應所述複數動態物件中一者，依據移動過程中所擷取的複數影像圖框及其旗標物件執行定位及製圖。藉此，有助提升定位的穩定性。

依據本發明的移動裝置的實施例中，移動裝置可為車輛，動態物件可包含行人及車輛中至少一者。

依據本發明的移動裝置的實施例中，處理器基於定位製圖模組可更用以當影像圖框包含旗標物件時，於影像圖框增加旗標物件的標註。

依據本發明的移動裝置的實施例中，記憶體可更提供底圖列表，處理器基於定位製圖模組可更用以查找底圖列表，確認影像圖框是否對應底圖列表中底圖。

依據本發明的移動裝置的實施例中，處理器基於定位製圖模組可更用以當查找底圖列表且底圖列表中底圖包含另一旗標物件的標註時，將所述另一旗標物件嵌入影像圖框，並確認嵌入所述另一旗標物件的影像圖框是否對應底圖。當查找底圖列表且影像圖框包含旗標物件的標註時，將旗標物件嵌入底圖，並確認影像圖框是否對應嵌入旗標物件的底圖。

依據本發明的移動裝置的實施例中，處理器基於定位製圖模組可更用以當影像圖框不對應底圖列表中任一底圖時，依據影像圖框建立及增加為底圖列表中底圖。

依據本發明的移動裝置的實施例中，處理器基於定位製圖模組可更用以當影像圖框對應底圖列表中底圖時，比對影像圖框與對應的底圖。對應的底圖依據下列方程式更新，其中i表示時間點，i-1表示基於對應的底圖的前一時間點，MAP _i表示所述時間點更新的對應的底圖，P _i表示所述時間點包含旗標物件的標註的影像圖框:

。

依據本發明的移動裝置的實施例中，處理器基於定位製圖模組可更用以當影像圖框對應底圖列表中底圖時，比對影像圖框與對應的底圖。當對應的底圖包含另一旗標物件的標註，且影像圖框不包含所述另一旗標物件的標註時，對應的底圖於移除所述另一旗標物件之後更新。

藉由前述實施方式的移動裝置，有助有助於提升定位及製圖的穩定性及精確性。

以下將參照圖式說明本發明之複數個實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之；並且重複之元件將可能使用相同的編號表示之。

第1A圖繪示本發明第一實施例的定位製圖方法100的流程圖，第2圖繪示本發明第二實施例的移動裝置200的方塊圖。請參照第1A圖及第2圖，以依據本發明的第二實施例的移動裝置200輔助說明依據本發明的第一實施例的定位製圖方法100，定位製圖方法100用於移動裝置200於移動過程中定位(Localization)及製圖(Mapping，即製作地圖、建構地圖)，定位製圖方法100包含影像擷取步驟110、特徵點萃取步驟115、旗標物件辨識步驟120及定位及製圖步驟190。再者，定位製圖方法100供移動裝置200於移動過程中或移動路徑上定位及製圖，移動路徑可於移動之前預先決定或即時控制而決定。移動裝置200可為自主移動裝置(Autonomous Moving Apparatus)，或可為全自移動(Self-Moving)、半自移動、輔助移動的裝置，例如自動駕駛車(Autonomous Car)、無人搬運車(AGV)、無人機、掃地機器人等，且定位製圖方法100可為用於自主移動裝置的VSLAM方法或是VSLAM方法中一部分。

第1B圖繪示第一實施例中執行影像擷取步驟110之後的影像圖框(Image Frame)290的示意圖，請參照第1A圖及第1B圖，影像擷取步驟110是透過相機單元220於移動過程的複數時間點i中一時間點i擷取一影像圖框290。

第1C圖繪示第一實施例中執行旗標物件辨識步驟120之後的影像圖框290的示意圖，請參照第1A圖及第1C圖，特徵點萃取步驟115是從影像圖框290萃取複數特徵點(亦即點雲，Point Cloud)295。旗標物件辨識步驟120是依據旗標資料庫260從特徵點295辨識影像圖框290是否包含旗標物件，旗標資料庫260包含複數動態物件266，動態物件266為依據移動裝置200於移動過程中周遭環境預設的非靜態物件或非固定設置的物件，旗標資料庫260是預設的或可更新的一組包含物件、特徵的資料結構，各旗標物件對應所述複數動態物件266中一者。例如，影像圖框290被辨識出包含旗標物件299，旗標物件299對應所述複數動態物件266中一者，並如第1C圖所示。再者，特徵點萃取步驟115及旗標物件辨識步驟120中可使用卷積神經網路(Convolutional Neural Networks，CNN)進行旗標物件辨識，即是可使用卷積神經網路進行旗標資料庫260中複數動態物件266的學習及訓練。

定位及製圖步驟190是依據移動過程中所擷取的複數影像圖框(其中之一為影像圖框290)及其旗標物件(例如旗標物件299)執行定位及製圖。藉此，本發明的定位製圖方法100使用相機單元220，即影像感測器擷取周遭畫面，在VSLAM的流程中加入旗標物件辨識步驟120，可用以過濾視為動態物件266的旗標物件的不需要資訊，即過濾周遭環境中暫時出現的物件，以有效降低VSLAM的定位誤差及製圖誤判。第一實施例中，旗標物件辨識步驟120是依據旗標資料庫260從特徵點295辨識影像圖框290是否包含旗標物件(例如旗標物件299)，且可針對影像圖框290中所辨識出的旗標物件再進行標註、刪除、比對底圖280等步驟或程序(不以此為限)，以執行定位及製圖。具體而言，定位製圖方法100更包含閉環檢測(Loop Closing)步驟180，閉環檢測步驟180中亦包含底圖優化的進行，以執行後續的定位及製圖步驟190。

請參照第2圖，以依據本發明的第一實施例的定位製圖方法100輔助說明依據本發明的第二實施例的移動裝置200，移動裝置200包含相機單元220、處理器210及記憶體240。處理器210耦接(即電性耦接或通信耦接)相機單元220，記憶體240耦接處理器210並提供定位製圖模組250及旗標資料庫260，旗標資料庫260包含複數動態物件266。具體而言，相機單元220為影像感測器，可擷取可見光影像、紅外光影像及深度影像中至少一者，且不以此為限。記憶體240為非暫時性電腦可讀記憶體，定位製圖模組250為軟體程式碼，且不以此為限。記憶體240更提供底圖列表(即底圖資料庫)270，底圖列表270包含複數底圖280。此外，移動裝置200可為自主移動裝置，且第2圖中省略了移動裝置200中用以移動的動力相關單元。

請參照第1A圖、第1B圖及第2圖，處理器210基於定位製圖模組250用以透過相機單元220於移動裝置200的移動過程的複數時間點i中一時間點i擷取一影像圖框290，即執行定位製圖方法100中的影像擷取步驟110。

請參照第1A圖、第1C圖及第2圖，處理器210基於定位製圖模組250用以從影像圖框290萃取複數特徵點295，依據旗標資料庫260從特徵點295辨識影像圖框290是否包含旗標物件，旗標物件對應所述複數動態物件266中一者，即執行定位製圖方法100中的特徵點萃取步驟115及旗標物件辨識步驟120。例如，影像圖框290被辨識出包含旗標物件299，旗標物件299對應所述複數動態物件266中一者，並如第1C圖所示。處理器210基於定位製圖模組250亦用以依據移動過程中所擷取的複數影像圖框(其中之一為影像圖框290)及其旗標物件(例如旗標物件299)執行定位及製圖，即執行定位製圖方法100中的定位及製圖步驟190。藉此，移動裝置200可降低移動過程中或移動路徑上動態物件266對VSLAM之影響，有助提升定位的穩定性。

第3A圖繪示本發明第三實施例的定位製圖方法300的流程圖，第4A圖繪示本發明第四實施例的移動裝置400的方塊圖。請參照第3A圖及第4A圖，以依據本發明的第四實施例的移動裝置400輔助說明依據本發明的第三實施例的定位製圖方法300，定位製圖方法300用於移動裝置400於移動過程中定位及製圖，定位製圖方法300包含影像擷取步驟310、特徵點萃取步驟315、旗標物件辨識步驟320及定位及製圖步驟390。

第3B圖繪示第三實施例中執行旗標物件標註步驟330之後的影像圖框490b的示意圖，第4B圖繪示第四實施例的移動裝置400的示意圖。請參照第3A圖、第3B圖、第4A圖及第4B圖，影像擷取步驟310是透過相機單元420於移動過程的複數時間點i中一時間點i擷取一影像圖框490。特徵點萃取步驟315是從影像圖框490萃取複數特徵點495。旗標物件辨識步驟320是依據旗標資料庫460從特徵點495辨識影像圖框490是否包含旗標物件(例如旗標物件499)，旗標資料庫460包含複數動態物件466，旗標物件對應所述複數動態物件466中一者。具體而言，旗標資料庫460的動態物件466為依據移動裝置400於移動過程中周遭環境預設的非靜態物件或非固定設置的物件，旗標資料庫460是預設的或可更新的一組包含物件、特徵的資料結構，在於利用物件識別與特徵資料整合並建立旗標資料結構附加於地圖資料庫(即包含旗標物件的標註的底圖列表470b)，以提升VSLAM特徵的萃取，其中各動態物件466的結構包含物件之數量、種類及位置等，且各動態物件466可包含預設的或可更新的重疊篩選、濾波大小、權重調配等參數化結構。

定位及製圖步驟390是依據移動過程中所擷取的複數影像圖框(其中之一為影像圖框490)及其旗標物件(例如旗標物件499)執行定位及製圖。具體而言，定位製圖方法300更包含閉環檢測步驟380，以執行後續的定位及製圖步驟390。

詳細而言，請參照第3A圖、第4A圖及第4B圖，移動裝置400為車輛。旗標資料庫460的動態物件466包含行人及車輛中至少一者，動態物件466為依據移動裝置400於移動過程中周遭環境預設的非靜態物件或非固定設置的物件。藉此，定位製圖方法300有利於在大場域移動的移動裝置400的地位及製圖。具體而言，定位製圖方法300供移動裝置400於移動過程中定位及製圖，移動裝置400可為自動駕駛車，且定位製圖方法300可為用於自動駕駛車的VSLAM方法或是VSLAM方法中一部分。定位製圖方法300亦可搭配其他定位方法，例如全球定位系統(Global Positioning System，GPS)、行動通訊基地台定位技術，以為移動裝置400定位及製圖。舉例而言，影像圖框490被辨識出包含旗標物件499，旗標物件499對應旗標資料庫460的動態物件466中的車輛。

請參照第3A圖及第3B圖，其中第3B圖繪示第三實施例中執行旗標物件標註步驟330之後的影像圖框490b的示意圖。定位製圖方法300更包含旗標物件標註步驟330，旗標物件標註步驟330是當影像圖框490包含旗標物件時，例如包含旗標物件499，於影像圖框490增加旗標物件499的標註而成為影像圖框490b。藉此，可有效應用旗標物件的技術於定位及製圖。再者，應可理解第3B圖所示的影像圖框490b是用以便於說明及解釋本發明，影像圖框490b實際上是數據形式，且未必可透過顯示器顯示如第3B圖，本發明所繪示的第1B圖、第1C圖及第3C圖至第3I圖亦同。影像圖框490b增加旗標物件499的標註是指影像圖框490b的數據的處理及儲存，而未必指標註的旗標物件499以特定方式顯示於顯示器。

第3C圖繪示第三實施例中底圖列表470b的示意圖，請參照第3A圖至第3C圖及第4B圖，定位製圖方法300更包含底圖查找步驟340，底圖查找步驟340是查找或檢索底圖列表470b，底圖列表470b隨移動裝置400於移動過程中建立(即增加)及更新。當影像圖框490包含旗標物件(例如旗標物件499)時，在旗標物件標註步驟330之後，確認影像圖框490b是否對應底圖列表470b中一底圖，即確認底圖列表470b中是否存在一底圖，其對應(即匹配)影像圖框490b(本實施例中，影像圖框490b對應底圖列表470b中底圖480b)。底圖480b可視為移動裝置400於移動過程中較早的時間點經過產生影像圖框490b的位置所建立，且建立底圖480b的位置與產生影像圖框490b的位置視為相同位置。當影像圖框490不包含旗標物件499或其他任何旗標物件時，可直接確認影像圖框490是否對應底圖列表470b中一底圖，即直接確認底圖列表470b中是否存在一底圖，其對應影像圖框490。藉此，於底圖查找步驟340中進行底圖匹配處理有助增加定位準確性及構圖成功率。此外，當移動裝置400於開始其移動過程時，底圖列表470b可包含零個底圖。底圖查找步驟340可為逐一查找底圖列表470b中全部底圖，或是透過底圖列表470b的索引查找部分較相關底圖，且底圖查找步驟340可為比對一底圖中全部的特徵點及旗標物件的標註，或是比對一底圖中部分較相關的特徵點及旗標物件的標註，以查找出對應影像圖框490b的底圖。

第3D圖繪示第三實施例中執行底圖查找步驟340中的影像圖框490d的示意圖，請參照第3A圖至第3D圖，在底圖查找步驟340中，查找底圖列表470b中全部底圖或部分底圖，當底圖列表470b中一底圖包含另一旗標物件的標註時，可將所述另一旗標物件嵌入影像圖框490b中對應位置，並確認嵌入所述另一旗標物件的影像圖框490d是否對應底圖列表470b中所述底圖。舉例而言，如第3C圖所示，當底圖列表470b中底圖480b包含旗標物件488的標註時，可將旗標物件488嵌入影像圖框490b以成為影像圖框490d(如第3D圖所示)，並確認嵌入旗標物件488的影像圖框490d是否對應底圖480b。再者，旗標物件488對應旗標資料庫460的動態物件466中的行人。

第3E圖繪示第三實施例中執行底圖查找步驟340中的底圖列表470d的示意圖，請參照第3A圖至第3C圖及第3E圖，在底圖查找步驟340中，查找底圖列表470b中全部底圖或部分底圖，當影像圖框490b包含旗標物件499的標註時(如第3B圖所示)，可將旗標物件499嵌入所查找的各個底圖中對應位置而成為底圖列表470d，並確認影像圖框490b是否對應嵌入旗標物件499的底圖列表470d中一底圖，如第3E圖所示。舉例而言，可將旗標物件499嵌入底圖480b以成為底圖480d，並確認影像圖框490b是否對應嵌入旗標物件499的底圖480d。藉此，實務上的影像圖框及底圖可能皆包含數十個、數百個甚至更多的旗標物件的註記，且影像圖框及底圖的旗標物件的註記可能部分相同，依據本發明的定位製圖方法300有利於透過龐大數量的旗標物件資訊的交叉比對，有效地查找出對應的底圖480b，並進行後續的底圖建立或底圖更新。

第3F圖繪示第三實施例中執行底圖建立步驟350之後的底圖480f的示意圖，請參照第3A圖及第3F圖，定位製圖方法300更包含底圖建立步驟350，底圖建立步驟350是當影像圖框490b不對應底圖列表470b中任一底圖時，依據影像圖框490b建立及增加為底圖列表470b中的底圖480f，且底圖480f包含旗標物件499的標註。藉此，建立的底圖480f可包含旗標物件499的數量、種類、位置等資訊。

第3G圖繪示第三實施例中執行底圖更新步驟370之後的底圖480g的示意圖，請參照第3A圖至第3C圖、第3F圖、第3G圖以及下列式(1)至式(3)，在執行影像擷取步驟310、特徵點萃取步驟315之後，P₀表示從影像圖框490萃取的複數特徵點495。當執行旗標物件辨識步驟320時，F為依據旗標資料庫460的濾波(Filter)模組，所述濾波模組可為定位製圖模組450中執行旗標物件辨識步驟320及旗標物件標註步驟330的部分，透過濾波模組對特徵點495進行濾波、過濾或篩選，以辨識影像圖框490的特徵點495是否包含對應旗標資料庫460中所述複數動態物件466中一者的旗標物件。在旗標物件標註步驟330之後，P_i表示包含旗標物件的標註(例如第3B圖中旗標物件499的標註)的影像圖框490b，亦即經過濾波模組濾波的影像圖框490b，並如以下式(1)所示。

在底圖建立步驟350之後，當影像圖框490b不對應底圖列表470b中任一底圖時，i表示時間點且數值定義為0，MAP_i表示所述時間點i依據影像圖框490b建立及增加為底圖列表470b中的底圖480f，並如以下式(2)所示。

定位製圖方法300更包含影像與底圖比對步驟360及底圖更新步驟370。影像與底圖比對步驟360是當影像圖框490b對應底圖列表470b中底圖480b時，比對影像圖框490b與對應的底圖480b。底圖更新步驟370是對應的底圖480b可依據下列式(3)更新為底圖480g，其中i表示時間點且數值定義為大於0，i-1表示基於對應的底圖480b的前一時間點，MAP_i表示所述時間點i更新的對應的底圖480g，MAP_i-1表示所述前一時間點i-1的對應的底圖480b，P_i表示所述時間點i包含旗標物件的標註(例如第3B圖中旗標物件499的標註)的影像圖框490b(亦即經過濾波模組濾波的影像圖框490b)，並如以下式(3)所示，且式(3)中的(P _i ∩ MAP _i-1)可視為底圖480b中的靜態物件或固定設置的物件的集合，例如建築物等。前述的式(1)至式(3)請參照如下：P _i =F(P _o ) 式(1)；MAP _i =P _i ，若i=0 式(2)；以及MAP _i =MAP _i-1+[P _i -(P _i ∩ MAP _i-1)]，若i>0 式(3)。

藉此，當對應的底圖480b包含旗標物件488的標註，且影像圖框490b不包含旗標物件488的標註時，對應的底圖480b可於保留旗標物件488並增加旗標物件499之後更新為底圖480g，亦如第3G圖所示。

第3H圖繪示第三實施例中執行底圖更新步驟370之後的底圖480h的示意圖，請參照第3A圖至第3C圖及第3H圖，底圖更新步驟370是當對應的底圖480b包含旗標物件488的標註，且影像圖框490b不包含旗標物件488的標註時，對應的底圖480b可於移除旗標物件488之後更新為底圖480h。藉此，當對應的底圖480b包含旗標物件488的標註，且影像圖框490b不包含旗標物件488的標註時，對應的底圖480b可於移除旗標物件488，但增加旗標物件499之後更新為底圖480h，亦如第3H圖所示。

第3I圖繪示第三實施例中執行底圖更新步驟370之後的底圖480i的示意圖，請參照第3A圖及第3I圖，底圖更新步驟370是當對應的底圖480b包含旗標物件488的標註，且影像圖框490b不包含旗標物件488的標註時，對應的底圖480b可於移除旗標物件488，且不增加旗標物件499之後更新為底圖480i，亦如第3I圖所示。

進一步而言，底圖更新步驟370即是遮蔽優化步驟，即利用影像圖框490b及其所註記的旗標物件(例如旗標物件499)與既有地圖資訊的底圖480b比對，以時間與空間交叉比對適時地更新底圖480b，減少地圖的重構動作，同時亦有利於線上更新圖資。舉例而言，依據本發明的底圖中旗標物件的標註可包含權重，移動過程中重複出現的旗標物件可具有較高的保留權重(即較低的移除權重)，重複出現的旗標物件實際上可能是靜態物件，例如與行人極相似的建築物上廣告圖案，以於底圖更新步驟370中保留重複出現的旗標物件，即使用第3G圖所示保留旗標物件488的底圖更新方式，而不移除重複出現的旗標物件，即不使用第3H圖、第3I圖所示移除旗標物件488的底圖更新方式。具體而言，移動裝置400於移動過程中一位置第一次儲存的底圖480b可能包含數十個、數百個甚至更多的旗標物件，隨著移動裝置400行經所述位置的次數增加，依據本發明的定位製圖方法300有助較準確地移除更多的旗標物件，從而建立更準確的底圖。

請參照第4A圖及第4B圖，以依據本發明的第三實施例的定位製圖方法300輔助說明依據本發明的第四實施例的移動裝置400，移動裝置400包含相機單元420、處理器410及記憶體440。處理器410耦接相機單元420。記憶體440耦接處理器410並提供定位製圖模組450及旗標資料庫460，旗標資料庫460包含複數動態物件466。具體而言，移動裝置400可為自動駕駛車，移動裝置400中用以負責及執行VSLAM方法的控制單元(Control Unit)包含處理器410及記憶體440，且第4A圖中省略了移動裝置400中用以移動的動力相關單元。

請參照第3A圖、第4A圖及第4B圖，處理器410基於定位製圖模組450用以透過相機單元420於移動裝置400的移動過程的複數時間點i中一時間點i擷取一影像圖框490，即執行定位製圖方法300中的影像擷取步驟310。

請參照第3A圖、第3B圖、第4A圖及第4B圖，處理器410基於定位製圖模組450用以從影像圖框490萃取複數特徵點495，依據旗標資料庫460從特徵點495辨識影像圖框490是否包含旗標物件(例如旗標物件499)，旗標資料庫460包含複數動態物件466，旗標物件對應所述複數動態物件466中一者，並依據移動過程中所擷取的複數影像圖框(其中之一為影像圖框490)及其旗標物件(例如旗標物件499)執行定位及製圖，即執行定位製圖方法300中的特徵點萃取步驟315、旗標物件辨識步驟320及定位及製圖步驟390。

請參照第3A圖、第3B圖、第4A圖及第4B圖，處理器410基於定位製圖模組450更用以當影像圖框490包含旗標物件時，例如包含旗標物件499，於影像圖框490增加旗標物件499的標註而成為影像圖框490b，即執行定位製圖方法300中的旗標物件標註步驟330。

請參照第3A圖、第3B圖、第3C圖及第4A圖，記憶體440更提供底圖列表470b，處理器410基於定位製圖模組450更用以查找底圖列表470b，是確認影像圖框490b是否對應底圖列表470b中一底圖，即確認底圖列表470b中是否存在一底圖，其對應影像圖框490b(本實施例中，影像圖框490b對應底圖列表470b中底圖480b)，即執行定位製圖方法300中的底圖查找步驟340。再者，第4A圖僅繪示記憶體440提供的底圖列表470b及其底圖480b，而處理器410基於定位製圖模組450的執行過程中暫時儲存、建立或更新的底圖列表470d及底圖480d、480f、480g、480h、480i於第4A圖中省略。

請參照第3A圖、第3B圖、第3F圖、第4A圖及第4B圖，處理器410基於定位製圖模組450更用以當影像圖框490b不對應底圖列表470b中任一底圖時，依據影像圖框490b建立及增加為底圖列表470b中的底圖480f，且底圖480f包含旗標物件499的標註，即執行定位製圖方法300中的底圖建立步驟350。

處理器410基於定位製圖模組450更用以當影像圖框490b對應底圖列表470b中底圖480b時，比對影像圖框490b與對應的底圖480b，即執行定位製圖方法300中的影像與底圖比對步驟360。

請參照第3A圖、第3B圖、第3G圖、第3H圖、第3I圖及第4A圖，當對應的底圖480b包含旗標物件488的標註，且影像圖框490b不包含旗標物件488的標註時，可依據旗標物件488、499分別的權重或其他標註內容，對應的底圖480b可於保留旗標物件499並增加旗標物件499之後更新為底圖480g，如第3G圖所示；或是，對應的底圖480b可於移除旗標物件488，但增加旗標物件499之後更新為底圖480h，如第3H圖所示；或是，對應的底圖480b可於移除旗標物件488，且不增加旗標物件499之後更新為底圖480i，如第3I圖所示；以上即執行定位製圖方法300中的底圖更新步驟370。

關於第四實施例的移動裝置400的其他細節，可參照前述第三實施例的定位製圖方法300的內容，在此不再詳述。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100,300:定位製圖方法 110,310:影像擷取步驟 115,315:特徵點萃取步驟 120,320:旗標物件辨識步驟 330:旗標物件標註步驟 340:底圖查找步驟 350:底圖建立步驟 360:影像與底圖比對步驟 370:底圖更新步驟 180,380:閉環檢測步驟 190,390:定位及製圖步驟 200,400:移動裝置 210,410:處理器 220,420:相機單元 240,440:記憶體 250,450:定位製圖模組 260,460:旗標資料庫 266,466:動態物件 270,470b,470d:底圖列表 280,480b,480d,480f,480g,480h,480i:底圖 488:旗標物件 290,490,490b,490d:影像圖框 295,495:特徵點 299,499:旗標物件

第1A圖繪示本發明第一實施例的定位製圖方法的流程圖； 第1B圖繪示第一實施例中執行影像擷取步驟之後的影像圖框的示意圖； 第1C圖繪示第一實施例中執行旗標物件辨識步驟之後的影像圖框的示意圖； 第2圖繪示本發明第二實施例的移動裝置的方塊圖； 第3A圖繪示本發明第三實施例的定位製圖方法的流程圖； 第3B圖繪示第三實施例中執行旗標物件標註步驟之後的影像圖框的示意圖； 第3C圖繪示第三實施例中底圖列表的示意圖； 第3D圖繪示第三實施例中執行底圖查找步驟中的影像圖框的示意圖； 第3E圖繪示第三實施例中執行底圖查找步驟中的底圖列表的示意圖； 第3F圖繪示第三實施例中執行底圖建立步驟之後的底圖的示意圖； 第3G圖繪示第三實施例中執行底圖更新步驟之後的底圖的示意圖； 第3H圖繪示第三實施例中執行底圖更新步驟之後的底圖的另一示意圖； 第3I圖繪示第三實施例中執行底圖更新步驟之後的底圖的再一示意圖； 第4A圖繪示本發明第四實施例的移動裝置的方塊圖；以及 第4B圖繪示第四實施例的移動裝置的示意圖。

100:定位製圖方法

110:影像擷取步驟

115:特徵點萃取步驟

120:旗標物件辨識步驟

180:閉環檢測步驟

190:定位及製圖步驟

Claims (16)

1. 一種定位製圖方法，用於一移動裝置於一移動過程中定位及製圖，該定位製圖方法包含：一影像擷取步驟，透過一相機單元於該移動過程的複數時間點中一時間點擷取一影像圖框；一特徵點萃取步驟，從該影像圖框萃取複數特徵點；一旗標物件辨識步驟，依據一旗標資料庫從該些特徵點辨識該影像圖框是否包含一旗標物件，該旗標資料庫包含複數動態物件，該旗標物件對應該些動態物件中一者；以及一定位及製圖步驟，依據該移動過程中所擷取的該些影像圖框及其該旗標物件執行定位及製圖。
2. 如請求項1所述之定位製圖方法，其中該移動裝置為一車輛，該些動態物件包含一行人及一車輛中至少一者。
3. 如請求項1所述之定位製圖方法，更包含：一旗標物件標註步驟，當該影像圖框包含該旗標物件時，於該影像圖框增加該旗標物件的標註。
4. 如請求項3所述之定位製圖方法，更包含：一底圖查找步驟，查找一底圖列表，該底圖列表包含複數底圖，確認該影像圖框是否對應該些底圖中一者。
5. 如請求項4所述之定位製圖方法，其中在該底圖查找步驟中：當該些底圖中一者包含另一旗標物件的標註時，將該另一旗標物件嵌入該影像圖框，並確認嵌入該另一旗標物件的該影像圖框是否對應該底圖；當該影像圖框包含該旗標物件的標註時，將該旗標物件嵌入該些底圖中一者，並確認該影像圖框是否對應嵌入該旗標物件的該底圖。
6. 如請求項4所述之定位製圖方法，更包含：一底圖建立步驟，當該影像圖框不對應該些底圖中任一者時，依據該影像圖框建立及增加為該底圖列表中一新增底圖。
7. 如請求項4所述之定位製圖方法，更包含：一影像與底圖比對步驟，當該影像圖框對應該底圖列表中該底圖時，比對該影像圖框與對應的該底圖；以及一底圖更新步驟，對應的該底圖依據下列方程式更新，其中i表示該時間點，i-1表示基於對應的該底圖的前一時間點，MAP_i表示該時間點更新的對應的該底圖，P_i表示該時間點包含該旗標物件的標註的該影像圖框：MAP _i =MAP _i-1+[P _i -(P _i ∩ MAP _i-1)]。
8. 如請求項4所述之定位製圖方法，更包含： 一影像與底圖比對步驟，當該影像圖框對應該底圖列表中該底圖時，比對該影像圖框與對應的該底圖；以及一底圖更新步驟，當對應的該底圖包含另一旗標物件的標註，且該影像圖框不包含該另一旗標物件的標註時，對應的該底圖於移除該另一旗標物件之後更新。
9. 一種移動裝置，包含：一相機單元；一處理器，耦接該相機單元；以及一記憶體，耦接該處理器並提供一定位製圖模組及一旗標資料庫，該旗標資料庫包含複數動態物件；其中，該處理器基於該定位製圖模組用以：透過該相機單元於該移動裝置的一移動過程的複數時間點中一時間點擷取一影像圖框；從該影像圖框萃取複數特徵點；依據該旗標資料庫從該些特徵點辨識該影像圖框是否包含一旗標物件，該旗標物件對應該些動態物件中一者；以及依據該移動過程中所擷取的該些影像圖框及其該旗標物件執行定位及製圖。
10. 如請求項9所述之移動裝置，其中該移動裝置為一車輛，該些動態物件包含一行人及一車輛中至少一者。
11. 如請求項9所述之移動裝置，其中該處理器基於該定位製圖模組更用以：當該影像圖框包含該旗標物件時，於該影像圖框增加該旗標物件的標註。
12. 如請求項11所述之移動裝置，其中該記憶體更提供一底圖列表，該底圖列表包含複數底圖，該處理器基於該定位製圖模組更用以：查找該底圖列表，確認該影像圖框是否對應該些底圖中一者。
13. 如請求項12所述之移動裝置，其中該處理器基於該定位製圖模組更用以：當查找該底圖列表且該些底圖中一者包含另一旗標物件的標註時，將該另一旗標物件嵌入該影像圖框，並確認嵌入該另一旗標物件的該影像圖框是否對應該底圖；當查找該底圖列表且該影像圖框包含該旗標物件的標註時，將該旗標物件嵌入該些底圖中一者，並確認該影像圖框是否對應嵌入該旗標物件的該底圖。
14. 如請求項12所述之移動裝置，其中該處理器基於該定位製圖模組更用以：當該影像圖框不對應該些底圖中任一者時，依據該影像圖框建立及增加為該底圖列表中一新增底圖。
15. 如請求項12所述之移動裝置，其中該處理器基於該定位製圖模組更用以：當該影像圖框對應該底圖列表中該底圖時，比對該影像圖框與對應的該底圖；以及對應的該底圖依據下列方程式更新，其中i表示該時間點，i-1表示基於對應的該底圖的前一時間點，MAP_i表示該時間點更新的對應的該底圖，P_i表示該時間點包含該旗標物件的標註的該影像圖框：MAP _i =MAP _i-1+[P _i -(P _i ∩ MAP _i-1)]。
16. 如請求項12所述之移動裝置，其中該處理器基於該定位製圖模組更用以：當該影像圖框對應該底圖列表中該底圖時，比對該影像圖框與對應的該底圖；以及當對應的該底圖包含另一旗標物件的標註，且該影像圖框不包含該另一旗標物件的標註時，對應的該底圖於移除該另一旗標物件之後更新。

Images