TWI773476B - 特徵點整合定位系統及特徵點整合定位方法 - Google Patents

特徵點整合定位系統及特徵點整合定位方法 Download PDF

Info

Publication number
TWI773476B
TWI773476B TW110128825A TW110128825A TWI773476B TW I773476 B TWI773476 B TW I773476B TW 110128825 A TW110128825 A TW 110128825A TW 110128825 A TW110128825 A TW 110128825A TW I773476 B TWI773476 B TW I773476B
Authority
TW
Taiwan
Prior art keywords
feature points
images
deep learning
detection unit
integrated
Prior art date
Application number
TW110128825A
Other languages
English (en)
Other versions
TW202307736A (zh
Inventor
王俞芳
林義傑
王正楷
Original Assignee
財團法人車輛研究測試中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人車輛研究測試中心 filed Critical 財團法人車輛研究測試中心
Priority to TW110128825A priority Critical patent/TWI773476B/zh
Application granted granted Critical
Publication of TWI773476B publication Critical patent/TWI773476B/zh
Publication of TW202307736A publication Critical patent/TW202307736A/zh

Links

Images

Abstract

本發明提供一種特徵點整合定位系統,其包含移動體、影像輸入源、分析模組以及定位模組。影像輸入源用以拍攝環境以取得序列影像資料,序列影像資料包含複數影像。分析模組訊號連接影像輸入源以接收序列影像資料,分析模組包含機械視覺偵測單元、深度學習偵測單元及整合單元。機械視覺偵測單元依據各影像生成複數第一特徵點,深度學習偵測單元依據各影像生成複數第二特徵點,整合單元用以將第一特徵點與第二特徵點整合為整合特徵點。定位模組接收各影像的整合特徵點,以確認移動體於各時間點相對環境的位置。藉此提升定位的穩定性。

Description

特徵點整合定位系統及特徵點整合定位方法
本發明是有關一種特徵點整合定位系統及特徵點整合定位方法,特別是指一種應用於影像SLAM的特徵點整合定位系統及特徵點整合定位方法。
同步定位與地圖構建技術(Simultaneous Localization And Mapping;以下稱SLAM)是指物體於移動過程中,感測周圍環境的特徵,以建立周圍環境的地圖,並同時定位物體本身與周圍環境的關係。基於其可同時定位及構建地圖的特性,近年來SLAM的需求增多,而被應用到室內自動停車、倉儲物流管理以及手機展場導覽等,其中因感測器成本,使得偵測影像為主的影像SLAM較偵測點雲為主的光達SLAM在市場上被廣泛使用。
對於影像SLAM而言,除定位精準度外,定位穩定性亦十分重要,習知之影像SLAM的最大問題即為穩定性不足,容易在進行定位的過程中丟失當下位置,或是有丟失後找回原位置之時間過長問題,特別是在環境變化劇烈之場景例如轉彎處、光線變化處,有明顯的位置丟失問題。此外,習知之影像SLAM於室外的定位精準度較差,容易受例如順逆光等光線變化大處、道路轉彎處或是不同車輛擺放造成的環境變異影響,而產生建圖或定位的丟失。
有鑑於此,如何提升影像SLAM的定位穩定度,遂成相關業者努力的目標。
為解決上述問題,本發明提供一種特徵點整合定位系統與特徵點整合定位方法,透過特徵點的整合,可以有效提升定位穩定性。
依據本發明之一實施方式提供一種特徵點整合定位系統,其包含一移動體、一影像輸入源、一分析模組以及一定位模組。影像輸入源設置於移動體並用以拍攝一環境以取得一序列影像資料,序列影像資料包含複數影像,前述複數影像與複數時間點一一對應。分析模組訊號連接影像輸入源以接收序列影像資料,分析模組包含一機械視覺偵測單元、一深度學習偵測單元及一整合單元。機械視覺偵測單元依據各影像生成屬於各影像的複數第一特徵點,深度學習偵測單元依據各影像生成屬於各影像的複數第二特徵點,整合單元用以將各影像的前述複數第一特徵點與前述複數第二特徵點整合為各影像的複數整合特徵點。定位模組訊號連接分析模組,定位模組接收各影像的前述複數整合特徵點,以確認移動體於各時間點相對環境的一位置。
藉此,透過深度學習偵測單元產生的第二特徵點可以彌補第一特徵點的不足,而能使定位更準確,並提升定位的穩定性。
依據前述實施方式之特徵點整合定位系統的一實施例,其中,機械視覺偵測單元能以一ORB算法或一SIFT算法取得各影像的前述複數第一特徵點。
依據前述實施方式之特徵點整合定位系統的一實施例,可更包含一地圖構建模組,其用以建置出環境的一地圖。
依據前述實施方式之特徵點整合定位系統的一實施例,其中,深度學習偵測單元可事先經複數環境差異影像訓練及匹配以建立一深度學習模型,並以深度學習模型判別前述複數第二特徵點。
依據本發明之另一實施方式提供一種特徵點整合定位方法,其包含一拍攝步驟、一分析步驟、一整合步驟以及一定位步驟。於拍攝步驟中,使一影像輸入源拍攝一環境以取得一序列影像資料,序列影像資料包含複數影像,前述複數影像與複數時間點一一對應。於分析步驟中,使一機械視覺偵測單元依據各影像生成屬於各影像的複數第一特徵點,且使一深度學習偵測單元依據各影像生成屬於各影像的複數第二特徵點。於整合步驟中,使一整合單元將各影像的前述複數第一特徵點與前述複數第二特徵點整合為各影像的複數整合特徵點。於定位步驟中,使一移動體依據各影像的前述複數整合特徵點進行定位。
依據前述實施方式之特徵點整合定位方法的一實施例,其中,於整合步驟中,可使整合單元以一立體幾何模式對各影像的前述複數整合特徵點求得一三維點群資料。
依據前述實施方式之特徵點整合定位方法的一實施例,其中,於定位步驟中,可依各影像的前述複數整合特徵點構建環境的一地圖。
依據前述實施方式之特徵點整合定位方法的一實施例,可更包含一事先匹配步驟,其包含以複數環境差異影像訓練深度學習偵測單元,並建立深度學習偵測單元的一深度學習模型;使機械視覺偵測單元依據時間接續之二實驗影像分別生成複數前幀第一實驗特徵點及複數後幀第一實驗特徵點,並使深度學習偵測單元以深度學習模型,對二實驗影像分別生成複數前幀第二實驗特徵點及複數後幀第二實驗特徵點;使整合單元將前述複數前幀第一實驗特徵點與前述複數前幀第二實驗特徵點整合為複數前幀整合實驗特徵點,並將前述複數後幀第一實驗特徵點與前述複數後幀第二實驗特徵點整合為複數後幀整合實驗特徵點;以及使前述複數後幀整合實驗特徵點與前述複數前幀整合實驗特徵點進行匹配,以取得一相似度。其中,若相似度大於或等於一閾值,使深度學習模型於分析步驟中被深度學習偵測單元使用;若相似度低於閾值,重覆事先匹配步驟,重新訓練深度學習偵測單元,以建立深度學習偵測單元的另一深度學習模型,並更新前述複數後幀整合實驗特徵點及前述複數前幀整合實驗特徵點,以取得另一相似度。
依據前述實施方式之特徵點整合定位方法的一實施例,其中,將前述複數後幀整合實驗特徵點與前述複數前幀整合實驗特徵點進行匹配時,可計算複數歐幾里得距離。
依據前述實施方式之特徵點整合定位方法的一實施例,其中,將前述複數後幀整合實驗特徵點與前述複數前幀整合實驗特徵點進行匹配時,可計算複數夾角。
依據前述實施方式之特徵點整合定位方法的一實施例,其中,各環境差異影像中的複數物件可具有光線差異或位置差異。
以下將參照圖式說明本發明之實施例。為明確說明起見,許多實務上的細節將在以下敘述中一併說明。然而,閱讀者應瞭解到,這些實務上的細節不應用以限制本發明。也就是說,在本發明部分實施例中,這些實務上的細節是非必要的。此外,為簡化圖式起見,一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示;並且重複之元件將可能使用相同的編號或類似的編號表示。
此外,本文中當某一元件(或機構或模組等)「連接」、「設置」或「耦合」於另一元件,可指所述元件是直接連接、直接設置或直接耦合於另一元件,亦可指某一元件是間接連接、間接設置或間接耦合於另一元件,意即,有其他元件介於所述元件及另一元件之間。而當有明示某一元件是「直接連接」、「直接設置」或「直接耦合」於另一元件時,才表示沒有其他元件介於所述元件及另一元件之間。而第一、第二、第三等用語只是用來描述不同元件或成分,而對元件/成分本身並無限制,因此,第一元件/成分亦可改稱為第二元件/成分。且本文中之元件/成分/機構/模組之組合非此領域中之一般周知、常規或習知之組合,不能以元件/成分/機構/模組本身是否為習知,來判定其組合關係是否容易被技術領域中之通常知識者輕易完成。
請參閱第1圖,其中第1圖繪示依照本發明一實施例之一種特徵點整合定位系統100的方塊示意圖。特徵點整合定位系統100包含一移動體110、一影像輸入源120、一分析模組130以及一定位模組140。影像輸入源120設置於移動體110並用以拍攝一環境以取得一序列影像資料,序列影像資料包含複數影像,前述複數影像與複數時間點一一對應。分析模組130訊號連接影像輸入源120以接收序列影像資料,分析模組130包含一機械視覺偵測單元131、一深度學習偵測單元132及一整合單元133。機械視覺偵測單元131依據各影像生成屬於各影像的複數第一特徵點F1(繪示於第2圖),深度學習偵測單元132依據各影像生成屬於各影像的複數第二特徵點F2(繪示於第3圖),整合單元133用以將各影像的前述複數第一特徵點F1與前述複數第二特徵點F2整合為各影像的複數整合特徵點F3(繪示於第4圖)。定位模組140訊號連接分析模組130,定位模組140接收各影像的前述複數整合特徵點F3,以確認移動體110於各時間點相對環境的一位置。
藉此,透過深度學習偵測單元132產生的第二特徵點F2,可以彌補第一特徵點F1的不足,而能使定位更準確,並提升定位的穩定性。後面將詳述特徵點整合定位系統100的細節。
影像輸入源120可包含至少一攝影機,而搭載影像輸入源120的車輛或機器人等可移動的物體可被定義為移動體110。在移動體110運動的過程中,影像輸入源120可於一連串相鄰之時間點連續拍攝一連串的影像,即,於第一個時間點拍攝環境的一個影像,再於接續第一個時間點的第二個時間點拍攝環境的另一個影像,而能不斷地拍攝產生複數影像,以形成序列影像資料。
當分析模組130接收到序列影像資料時,可即時進行影像的分析,而影像可同時或依序被機械視覺偵測單元131及深度學習偵測單元132進行分析,以分別產生第一特徵點F1及第二特徵點F2。在此要特別說明的是,本文中所稱之特徵點(feature point)可例如是指影像中灰度值發生明顯變化的點、或是指影像中各物件邊緣曲率較大的點,特徵點的定義為本領域所周知,不再贅述,且在本文中,在不需特別指明第一特徵點、第二特徵點或整合特徵點的情況下,會僅以「特徵點」描述之。
請參閱第2圖,並一併參閱第1圖,其中第2圖繪示第1圖實施例之機械視覺偵測單元131生成影像的第一特徵點F1的示意圖,而於第2圖中僅標示出2個第一特徵點F1作示意,不以此限制本發明。機械視覺偵測單元131能以一ORB算法(Oriented FAST and Rotated BRIEF)或一SIFT算法(Scale-Invariant Feature Transform)等傳統習知的特徵提取演算法取得各影像的複數第一特徵點F1,不以此為限。如第2圖所示,機械視覺偵測單元131可辨識出影像中的各物件,例如路面上的標誌線、道路旁的車輛及建築物,而能產生對應之第一特徵點F1。然而,受限於光影變化大的影響,道路前方的樹無法被辨識,且道路旁的建築物於光影變化大的地方亦有邊界丟失的現象。
請參閱第3圖,並一併參閱第1圖及第2圖,其中第3圖繪示第1圖實施例之深度學習偵測單元132生成影像的第二特徵點F2的示意圖,而於第3圖中僅標示出2個第二特徵點F2作示意,不以此限制本發明。深度學習偵測單元132已於事先進行訓練,而用已建立之深度學習模型來辨識影像,其中,深度學習偵測單元132是預先利用大量環境變化大(順逆光強烈或轉彎變化)之環境差異影像作為學習來源,而能訓練出可以適應環境變化之深度學習模型。如第3圖所示,其辨識之影像與第2圖的影像相同,而深度學習偵測單元132可以清楚地辨識出道路前方的樹,以及道路旁建築物於光影變化大之處的邊界。
請參閱第4圖,並一併參閱第1圖至第3圖,其中第4圖繪示第1圖實施例之整合單元133合成影像的整合特徵點F3的示意圖,而於第4圖中僅標示出2個整合特徵點F3作示意,不以此限制本發明。在生成第一特徵點F1及第二特徵點F2後,整合單元133可將第一特徵點F1及第二特徵點F2進行整合,其可以是將影像上的所有第一特徵點F1與所有第二特徵點F2進行疊加以形成整合特徵點F3,也就是說,整合特徵點F3是包含了所有第一特徵點F1與所有第二特徵點F2,而能保留機械視覺偵測單元131辨識出來的結果與深度學習偵測單元132辨識出來的結果。
對習知之特徵點擷取方法而言,其對於環境變化大時特徵點的捕捉有一定限制,例如前方光照過亮可能會使某些肉眼可見的特徵點被遺漏,但若針對整張影像進行調光又有可能將原來捕捉到的特徵點捨棄。因此,本發明透過讓機械視覺偵測單元131與深度學習偵測單元132對同幀影像進行特徵點辨識,讓深度學習偵測單元132著重於機械視覺偵測單元131較易失敗(即找不到第一特徵點F1)之位置,找出正確可用之第二特徵點F2,並補足機械視覺偵測單元131之不足,是以,經整合後的整合特徵點F3可不受光影或環境差異影響,而能完整地呈現出影像中各物件的特徵。在形成整合特徵點F3後,定位模組140可依據時間接續之二幀影像,來判定目前移動體110相對環境的位置,而能完成定位,由於影像中各物件的特徵點於二幀影像中均被完整呈現,而不會有丟失問題。
請參閱第5圖,並一併參閱第1圖至第4圖,其中第5圖繪示第1圖實施例之特徵點整合定位系統100與一比較例的定位誤差與時間關係圖,而比較例為基於第一特徵點F1進行定位之結果,其用以模擬採用習知之特徵點擷取方法來進行定位的定位系統。由第5圖可知,比較例之定位系統會產生較大的定位誤差,而有定位穩定性不足的問題,反觀本發明第1圖實施例,其定位誤差維持一定,而有良好的定位穩定性。
此外,特徵點整合定位系統100可更包含一地圖構建模組150,地圖構建模組150能建置出環境的地圖,並可於地圖中依據整合特徵點F3建立出環境中的各物體,各物體對應於影像中的各物件。
請參閱第6圖,並一併參閱第1圖至第4圖,其中第6圖繪示依照本發明另一實施例之一種特徵點整合定位方法200的方塊流程圖。特徵點整合定位方法200包含一拍攝步驟210、一分析步驟220、一整合步驟230以及一定位步驟240,以下將搭配特徵點整合定位系統100說明特徵點整合定位方法200的細節。
於拍攝步驟210中,使一影像輸入源120拍攝一環境以取得一序列影像資料,序列影像資料包含複數影像,前述複數影像與複數時間點一一對應。
於分析步驟220中,使一機械視覺偵測單元131依據各影像生成屬於各影像的複數第一特徵點F1,且使一深度學習偵測單元132依據各影像生成屬於各影像的複數第二特徵點F2。
於整合步驟230中,使一整合單元133將各影像的前述複數第一特徵點F1與前述複數第二特徵點F2整合為各影像的複數整合特徵點F3。
於定位步驟240中,使一移動體110依據各影像的前述複數整合特徵點F3進行定位。
因此,可使移動體110於一未知的環境中移動,並執行拍攝步驟210以不斷於各時間點拍攝對應各時間點的影像,再將影像用有線或無線訊號傳給機械視覺偵測單元131與深度學習偵測單元132,而能進行分析步驟220,對相同的影像分別生成第一特徵點F1及第二特徵點F2。之後,進行整合步驟230,整合單元133透過無線或有線的方式取得第一特徵點F1及第二特徵點F2,而能將所有第一特徵點F1及所有第二特徵點F2疊加,以產出各影像的整合特徵點F3,且於整合步驟230中,更可使整合單元133以一立體幾何模式對各影像的前述複數整合特徵點F3求得一三維點群資料,點群中每個特徵點是由機械視覺偵測單元131與深度學習偵測單元132中之演算法計算提取而成,均帶有特徵描述包含位置與特徵向量等。最後,於定位步驟240中,可由時間接續的二幀影像來找出移動體110與環境的位置關係,而能完成定位,並可進一步地於定位步驟240中,依各影像的前述複數整合特徵點F3構建環境的一地圖。
特徵點整合定位方法200可更包含一事先匹配步驟250,其包含以複數環境差異影像訓練深度學習偵測單元132,並建立深度學習偵測單元132的一深度學習模型;使機械視覺偵測單元131依據時間接續之二實驗影像分別生成複數前幀第一實驗特徵點及複數後幀第一實驗特徵點,並使深度學習偵測單元132以深度學習模型,對二實驗影像分別生成複數前幀第二實驗特徵點及複數後幀第二實驗特徵點;使整合單元133將前述複數前幀第一實驗特徵點與前述複數前幀第二實驗特徵點整合為複數前幀整合實驗特徵點,並將前述複數後幀第一實驗特徵點與前述複數後幀第二實驗特徵點整合為複數後幀整合實驗特徵點;以及使前述複數後幀整合實驗特徵點與前述複數前幀整合實驗特徵點進行匹配,以取得一相似度。其中,若相似度大於或等於一閾值,使深度學習模型於分析步驟220中被深度學習偵測單元132使用;若相似度低於閾值,重覆事先匹配步驟250,重新訓練深度學習偵測單元132,以建立深度學習偵測單元132的另一深度學習模型,並更新前述複數後幀整合實驗特徵點及前述複數前幀整合實驗特徵點,以取得另一相似度。也就是說,本發明是利用事先匹配步驟250找出最佳的深度學習模型,而於特徵點整合定位系統100實際運作時,讓深度學習偵測單元132以此最佳的深度學習模型進行第二特徵點F2之擷取後,整合單元133可直接整合產生整合特徵點F3,而不需再進行匹配。
請參閱第7圖,並一併參閱第1圖至第6圖,其中第7圖繪示第6圖實施例之事先匹配步驟250的流程圖。仔細而言,於事先匹配步驟250中,是先進行子步驟251以訓練深度學習偵測單元132,而用來訓練深度學習偵測單元132的各環境差異影像中可包含複數物件,複數物件可具有光線差異或位置差異。一部分的環境差異影像可例如與第2圖類似,其包含了天空、車道、樹及建築物等物件,而天空與樹之光線差異過大,導致樹的邊界霧化而不易偵測;而在另一部分的環境差異影像中,可包含轉角處,因物件的位置差異過大,而導致前幀影像中已偵測到之特徵點消失於後幀影像中。上述這些環境差異影像,可以是著重於機械視覺偵測單元131較易辨識丟失之位置對深度學習偵測單元132進行強化訓練,提高深度學習偵測單元132在環境變化強烈之場景中擷取的第二特徵點F2數量及正確性,並將訓練重點聚焦於特定場景而非一般習知的特徵,藉此找正確可用之特徵點並補足機械視覺偵測單元131之不足。
之後,可再進行子步驟252,取得二實驗影像,此二實驗影像可以是由影像輸入源120即時取得,或是可取自存於資料庫中之檔案,不以此為限。於子步驟253中,機械視覺偵測單元131可對二實驗影像進行分析,而能生成前幀第一實驗特徵點及後幀第一實驗特徵點;於子步驟254中,深度學習偵測單元132可分析二實驗影像,生成前幀第二實驗特徵點及後幀第二實驗特徵點,並進入子步驟255以讓整合單元133生成前幀整合實驗特徵點及後幀整合實驗特徵點。在此要特別說明的是,子步驟253及子步驟254可同時執行,亦可先生成前幀第一實驗特徵點、前幀第二實驗特徵點及前幀整合實驗特徵點後,再生成後幀第一實驗特徵點、後幀第二實驗特徵點及後幀整合實驗特徵點,不以此為限,而前幀第一實驗特徵點與後幀第一實驗特徵點相當於特徵點整合定位系統100實際運作時的第一特徵點F1;前幀第二實驗特徵點與後幀第二實驗特徵點相當於特徵點整合定位系統100實際運作時的第二特徵點F2;前幀整合實驗特徵點與後幀整合實驗特徵點相當於特徵點整合定位系統100實際運作時的整合特徵點F3,其特徵點萃取和整合的方式均相同,差別只在於定名不同。
再來,可執行子步驟256,進行匹配。其中,在將前述複數後幀整合實驗特徵點與前述複數前幀整合實驗特徵點進行匹配時,可計算複數歐幾里得距離;或是在將前述複數後幀整合實驗特徵點與前述複數前幀整合實驗特徵點進行匹配時,可計算複數夾角。並以歐幾里得距離的差異或夾角的變化來計算相似度,相似度愈高代表愈容易匹配,而代表越容易定位,換句話說,整體的穩定性越高。相似度的閾值可例如設定為75%,但不以此為限。
最後,執行子步驟257確認相似度是否大於閾值,若是,則表示前幀整合實驗特徵點與後幀整合實驗特徵點的相似度高,而不易有特徵點丟失之現象,即代表此一深度學習模型是合適的,而能於特徵點整合定位系統100實際運作時被使用,此時可進入子步驟258,完成事先匹配步驟250。反之,則回到子步驟251,重新訓練深度學習偵測單元132。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:特徵點整合定位系統 110:移動體 120:影像輸入源 130:分析模組 131:機械視覺偵測單元 132:深度學習偵測單元 133:整合單元 140:定位模組 150:地圖構建模組 200:特徵點整合定位方法 210:拍攝步驟 220:分析步驟 230:整合步驟 240:定位步驟 250:事先匹配步驟 251,252,253,254,255,256,257,258:子步驟 F1:第一特徵點 F2:第二特徵點 F3:整合特徵點
第1圖繪示依照本發明一實施例之一種特徵點整合定位系統的方塊示意圖; 第2圖繪示第1圖實施例之機械視覺偵測單元生成影像的第一特徵點的示意圖; 第3圖繪示第1圖實施例之深度學習偵測單元生成影像的第二特徵點的示意圖; 第4圖繪示第1圖實施例之整合單元合成影像的整合特徵點的示意圖; 第5圖繪示第1圖實施例之特徵點整合定位系統與一比較例的定位誤差與時間關係圖; 第6圖繪示依照本發明另一實施例之一種特徵點整合定位方法的方塊流程圖;以及 第7圖繪示第6圖實施例之事先匹配步驟的流程圖。
100:特徵點整合定位系統
110:移動體
120:影像輸入源
130:分析模組
131:機械視覺偵測單元
132:深度學習偵測單元
133:整合單元
140:定位模組
150:地圖構建模組

Claims (9)

  1. 一種特徵點整合定位系統,包含:一移動體;一影像輸入源,設置於該移動體並用以拍攝一環境以取得一序列影像資料,該序列影像資料包含複數影像,該些影像與複數時間點一一對應;一分析模組,訊號連接該影像輸入源以接收該序列影像資料,該分析模組包含:一機械視覺偵測單元,依據各該影像生成屬於各該影像的複數第一特徵點;一深度學習偵測單元,依據各該影像生成屬於各該影像的複數第二特徵點,其中,該深度學習偵測單元事先經複數環境差異影像訓練及匹配以建立一深度學習模型,並以該深度學習模型判別該些第二特徵點,各該環境差異影像中的複數物件具有光線差異或位置差異;及一整合單元,用以將各該影像的該些第一特徵點與該些第二特徵點整合為各該影像的複數整合特徵點;以及一定位模組,訊號連接該分析模組,該定位模組接收各該影像的該些整合特徵點,以確認該移動體於各該時間點相對該環境的一位置。
  2. 如請求項1所述之特徵點整合定位系統,其中,該機械視覺偵測單元以一ORB算法或一SIFT算法取得各該影像的該些第一特徵點。
  3. 如請求項1所述之特徵點整合定位系統,更包含一地圖構建模組,其用以建置出該環境的一地圖。
  4. 一種特徵點整合定位方法,包含:一事先匹配步驟,以複數環境差異影像訓練一深度學習偵測單元,並建立該深度學習偵測單元的一深度學習模型,其中,各該環境差異影像中的複數物件具有光線差異或位置差異;一拍攝步驟,使一影像輸入源拍攝一環境以取得一序列影像資料,該序列影像資料包含複數影像,該些影像與複數時間點一一對應;一分析步驟,使一機械視覺偵測單元依據各該影像生成屬於各該影像的複數第一特徵點,且使該深度學習偵測單元依據各該影像生成屬於各該影像的複數第二特徵點,且該深度學習偵測單元以該深度學習模型判別該些第二特徵點;一整合步驟,使一整合單元將各該影像的該些第一特徵點與該些第二特徵點整合為各該影像的複數整合特徵點;以及一定位步驟,使一移動體依據各該影像的該些整合特徵點進行定位。
  5. 如請求項4所述之特徵點整合定位方法,其中,於該整合步驟中,使該整合單元以一立體幾何模式對 各該影像的該些整合特徵點求得一三維點群資料。
  6. 如請求項4所述之特徵點整合定位方法,其中,於該定位步驟中,依各該影像的該些整合特徵點構建該環境的一地圖。
  7. 如請求項4所述之特徵點整合定位方法,其中,該事先匹配步驟更包含:使該機械視覺偵測單元依據時間接續之二實驗影像分別生成複數前幀第一實驗特徵點及複數後幀第一實驗特徵點,並使該深度學習偵測單元以該深度學習模型,對二該實驗影像分別生成複數前幀第二實驗特徵點及複數後幀第二實驗特徵點;使該整合單元將該些前幀第一實驗特徵點與該些前幀第二實驗特徵點整合為複數前幀整合實驗特徵點,並將該些後幀第一實驗特徵點與該些後幀第二實驗特徵點整合為複數後幀整合實驗特徵點;以及使該些後幀整合實驗特徵點與該些前幀整合實驗特徵點進行匹配,以取得一相似度;其中,若該相似度大於或等於一閾值,使該深度學習模型於該分析步驟中被該深度學習偵測單元使用;若該相似度低於該閾值,重覆該事先匹配步驟,重新訓練該深度學習偵測單元,以建立該深度學習偵測單元的另一深度學習模型,並更新該些後幀整合實驗特徵點及該些前幀整合實 驗特徵點,以取得另一相似度。
  8. 如請求項7所述之特徵點整合定位方法,其中,將該些後幀整合實驗特徵點與該些前幀整合實驗特徵點進行匹配時,計算複數歐幾里得距離。
  9. 如請求項7所述之特徵點整合定位方法,其中,將該些後幀整合實驗特徵點與該些前幀整合實驗特徵點進行匹配時,計算複數夾角。
TW110128825A 2021-08-05 2021-08-05 特徵點整合定位系統及特徵點整合定位方法 TWI773476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110128825A TWI773476B (zh) 2021-08-05 2021-08-05 特徵點整合定位系統及特徵點整合定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110128825A TWI773476B (zh) 2021-08-05 2021-08-05 特徵點整合定位系統及特徵點整合定位方法

Publications (2)

Publication Number Publication Date
TWI773476B true TWI773476B (zh) 2022-08-01
TW202307736A TW202307736A (zh) 2023-02-16

Family

ID=83807177

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110128825A TWI773476B (zh) 2021-08-05 2021-08-05 特徵點整合定位系統及特徵點整合定位方法

Country Status (1)

Country Link
TW (1) TWI773476B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
TW201915943A (zh) * 2017-09-29 2019-04-16 香港商阿里巴巴集團服務有限公司 對圖像內目標物體進行自動標註的方法、裝置及系統
US20210104064A1 (en) * 2019-10-07 2021-04-08 Lg Electronics Inc. System, apparatus and method for indoor positioning
CN112767480A (zh) * 2021-01-19 2021-05-07 中国科学技术大学 一种基于深度学习的单目视觉slam定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
TW201915943A (zh) * 2017-09-29 2019-04-16 香港商阿里巴巴集團服務有限公司 對圖像內目標物體進行自動標註的方法、裝置及系統
US20210104064A1 (en) * 2019-10-07 2021-04-08 Lg Electronics Inc. System, apparatus and method for indoor positioning
CN112767480A (zh) * 2021-01-19 2021-05-07 中国科学技术大学 一种基于深度学习的单目视觉slam定位方法

Also Published As

Publication number Publication date
TW202307736A (zh) 2023-02-16

Similar Documents

Publication Publication Date Title
Schönberger et al. Semantic visual localization
CN109631855B (zh) 基于orb-slam的高精度车辆定位方法
Toft et al. Semantic match consistency for long-term visual localization
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN106595702B (zh) 一种基于天文标定的多传感器空间配准方法
CN109086795A (zh) 一种图像误匹配精确剔除方法
WO2021169049A1 (zh) 一种真实场景下玻璃检测的方法
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
Barroso-Laguna et al. Scalenet: A shallow architecture for scale estimation
Savinykh et al. Darkslam: Gan-assisted visual slam for reliable operation in low-light conditions
TWI773476B (zh) 特徵點整合定位系統及特徵點整合定位方法
Feng et al. Effective venue image retrieval using robust feature extraction and model constrained matching for mobile robot localization
US20230169747A1 (en) Feature point integration positioning system and feature point integration positioning method
CN114937233A (zh) 一种基于多光谱数据深度学习的识别方法和识别装置
CN110969659B (zh) 一种被动式标记点的空间定位装置和方法
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
CN108876849B (zh) 基于辅助标识的深度学习目标识别及定位方法
Ruan et al. Performance of monocular and stereo camera in indoor environment for Visual SLAM using ORB method
CN115719446A (zh) 特征点整合定位系统及特征点整合定位方法
CN109815917A (zh) 一种消防无人机进行火源目标识别的方法
Zhao et al. Attention-enhanced cross-modal localization between 360 images and point clouds
Kweon et al. Robust invariant features for object recognition and mobile robot navigation
CN112667832B (zh) 一种未知室内环境下基于视觉的互定位方法
Dong et al. Learning‐based encoded target detection on iteratively orthorectified images for accurate fisheye calibration