TWI805077B - 路徑規劃方法及其系統 - Google Patents

路徑規劃方法及其系統 Download PDF

Info

Publication number
TWI805077B
TWI805077B TW110142540A TW110142540A TWI805077B TW I805077 B TWI805077 B TW I805077B TW 110142540 A TW110142540 A TW 110142540A TW 110142540 A TW110142540 A TW 110142540A TW I805077 B TWI805077 B TW I805077B
Authority
TW
Taiwan
Prior art keywords
road
image
camera
point cloud
map
Prior art date
Application number
TW110142540A
Other languages
English (en)
Other versions
TW202321651A (zh
Inventor
郭峻因
張仁碩
Original Assignee
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學 filed Critical 國立陽明交通大學
Priority to TW110142540A priority Critical patent/TWI805077B/zh
Priority to US17/584,879 priority patent/US20230154203A1/en
Publication of TW202321651A publication Critical patent/TW202321651A/zh
Application granted granted Critical
Publication of TWI805077B publication Critical patent/TWI805077B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本發明為一種路徑規劃方法及其系統，包括攝影裝置，拍攝第一、第二相機道路影像。點雲圖擷取裝置，擷取複數距離資料點組合成道路距離點雲圖。處理裝置接收道路距離點雲圖及第一、第二相機道路影像，以對道路距離點雲圖及第一相機道路影像進行校正融合，產生道路相機點雲合成圖，同時判斷第二相機道路影像圖影像中的道路線資訊，產生路面分割圖。將路面分割圖與道路相機點雲合成圖融合，以根據複數距離資料點取得路面分割圖中的距離資訊，並據其判斷出前方目標道路之行駛路徑。本發明透過特殊演算法，使得僅利用低成本的道路影像及距離感測器，即可精準偵測前方路徑，產生行駛路徑。

Description

路徑規劃方法及其系統
本發明係有關一種行車路徑產生之技術，特別是指一種路徑規劃方法及其系統。
近年來因為自駕車技術發展日漸成熟，相關開源自駕車軟體紛紛投入市場。過去前方路徑的偵測，多單純使用影像處理進行偵測，以利用前方影像得知車輛與前方路口的距離。但當前方影像轉換的距離參數與實際場域距離不符時，便無法正確得知車輛與前方路口的距離，可能導致通過路口時發生危險。
因此為解決上述距離難以估測的問題，進而開發了一種高精向量地圖，高精是指高精度定位，故高精向量地圖是指包含豐富地理資訊資料、具有高精度座標的地圖。透過高精向量地圖能夠獲得準確的路徑點，降低路徑規劃的難度。
日本名古屋大學Shinpei Kato團隊所提出Autoware自駕開源架構，使用高精向量地圖，其中包含道路線、紅綠燈、十字路口等交通資訊，透過向量資訊，在十字路口區域取得道路行駛的路徑。
中國網路公司亦提出一種自駕車軟體(Apollo)，其類似於Autoware的設計，Apollo也使用了高精向量地圖。
然而，高精向量地圖的標記需要投入大量人力，還要建構複雜的向量標記軟體，以及政府部門配合才能有效取得。另外，目前各地區高精向量地圖格式尚未完全統一，更增加了標記的困難度。
有鑑於此，本發明遂針對上述習知技術之缺失，提出一種路徑規劃方法及其系統，以有效克服上述之該等問題。
本發明之主要目的在提供一種路徑規劃方法及其系統，透過特殊演算法令本發明僅利用道路影像及距離感測器，即可精準偵測前方路徑，並產生行駛路徑，可大幅節省硬體成本。
本發明之另一目的在提供一種路徑規劃方法及其系統，其透過對前方影像中的道路線分割、道路線偵測，與距離感測器偵測產生的道路距離點雲圖進行整合，能夠大幅提升路徑偵測的精準度，及大幅節省運算量。
為達上述之目的，本發明係提供一種路徑規劃方法，包括下列步驟，首先輸入一目標道路之道路距離點雲圖、第一相機道路影像及第二相機道路影像，其中道路距離點雲圖為目標道路之複數距離資料點根據真實座標的位置組合而成。將道路距離點雲圖與第一相機道路影像進行校正融合，產生道路相機點雲合成圖，以及判斷第二相機道路影像圖影像中的道路線資訊，產生目標道路之路面分割圖。最後，將路面分割圖以及道路相機點雲合成圖依據特徵點融合，以根據複數距離資料點取得路面分割圖中的複數距離資訊，並根據複數距離資訊判斷出前方目標道路之行駛路徑。
在本實施例中，路徑規劃方法更包括，當複數距離資料點大於一閥值，且距離目標道路小於一半徑範圍，則對目標道路進行路徑計算，產生行駛路徑。
在本實施例中，產生行駛路徑之步驟更包括，使用向量量化演算法計算複數距離資料點，以判斷目標道路的初始道路資料。利用使用群中心演算法將複數初始道路資料聚類。利用圓方程式與多項式擬合目標道路的路徑，並據其產生行駛路徑。
在本實施例中，道路距離點雲圖為道路光達點雲圖。
在本實施例中，將道路距離點雲圖與第一相機道路影像進行校正融合之步驟更包括，取得拍攝第一相機道路影像之相機的內部參數與道路距離點雲圖的真實座標的外部參數，以根據內部參數以及外部參數之關係，將道路距離點雲圖與第一相機道路影像疊合。
在本實施例中，判斷第二相機道路影像圖影像中的道路線資訊之步驟更包括，對第二相機影像圖影像進行模型初始化，產生模型初始影像。分割該模型初始影像，產生道路預測圖。將利用概率圖模型計算道路預測圖，產生車道分割圖及道路線分割圖，並將車道分割圖及該道路線分割圖合成，產生該路面分割圖。
另外，本發明亦提供一種路徑規劃系統，包括一攝影裝置，拍攝目標道路之第一相機道路影像及第二相機道路影像。一點雲圖擷取裝置，擷取目標道路之複數距離資料點，並根據真實座標的位置組合成一道路距離點雲圖。一處理裝置，連接攝影裝置以及點雲圖擷取裝置，處理裝置包括一點雲影像融合模組，接收道路距離點雲圖與第一相機道路影像，以進行校正融合，產生道路相機點雲合成圖；一道路區域辨識模組，接收第二相機道路影像，以判斷第二相機道路影像圖影像中的道路線資訊，產生目標道路之路面分割圖；一路徑產生模組，連接點雲影像融合模組以及道路區域辨識模組，路徑產生模組接收道路相機點雲合成圖與路面分割圖，以將路面分割圖以及道路相機 點雲合成圖依據特徵點融合，以根據複數距離資料點取得路面分割圖中的複數距離資訊，並根據複數距離資訊判斷出前方目標道路之行駛路徑。
在本實施例中，路徑產生模組判斷當複數距離資料點大於一閥值，且距離目標道路小於一半徑範圍，則對目標道路進行路徑計算，產生行駛路徑。
在本實施例中，路徑產生模組產生行駛路徑係使用向量量化演算法計算複數距離資料點，以判斷目標道路的初始道路資料；利用使用群中心演算法將複數初始道路資料聚類；利用圓方程式與多項式擬合目標道路的路徑，並據其產生行駛路徑。
在本實施例中，點雲影像融合模組將道路距離點雲圖與第一相機道路影像進行校正融合，係先取得拍攝第一相機道路影像之相機的內部參數與道路距離點雲圖的真實座標的外部參數，以根據內部參數以及外部參數之關係，將道路距離點雲圖與第一相機道路影像疊合。
在本實施例中，道路區域辨識模組判斷第二相機道路影像圖影像中的道路線資訊係對第二相機影像圖影像進行模型初始化，產生模型初始影像；分割模型初始影像，產生道路預測圖；將利用概率圖模型計算道路預測圖，產生車道分割圖及道路線分割圖，並將車道分割圖及道路線分割圖合成，產生路面分割圖。
在本實施例中，攝影裝置為攝影機。
在本實施例中，點雲圖擷取裝置為光學雷達(lidar)。
底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
1:路徑規劃系統
10:攝影裝置
20:點雲圖擷取裝置
30:處理裝置
32:點雲影像融合模組
34:道路區域辨識模組
36:路徑產生模組
第一圖係為本發明之路徑規劃系統方塊圖。
第二圖係為本發明之路徑規劃方法步驟流程圖。
第三圖為本發明之道路相機點雲合成圖示意圖。
第四圖為本發明產生路面分割圖之步驟流程圖。
第五圖為本發明之路面分割圖示意圖。
第六圖為本發明產生行駛路徑之步驟流程圖。
第七圖為本發明之行駛路徑示意圖。
本發明為一種使用低成本之裝置，即能產生高精準度的路徑規劃之技術。首先請參照第一圖，說明本發明之系統架構。路徑規劃系統1可提供安裝在一可行駛車輛上，並連接一自動駕駛系統(圖中未示)，以偵測車輛前方十字路口的可直行、左轉或右轉的行駛路徑，提供給自動駕駛系統。
如第一圖所示，路徑規劃系統1包括，一攝影裝置10、一點雲圖擷取裝置20以及一處理裝置30。攝影裝置10及點雲圖擷取裝置20接連接處理裝置30，攝影裝置10及點雲圖擷取裝置20可將擷取到的資訊傳遞給處理裝置30進行車輛行駛路徑的運算。在本實施例中，攝影裝置10可為攝影機，且安裝在車頭前，對準前方目標道路拍攝，以目標道路之擷取第一相機道路影像以及一第二相機道路影像。點雲圖擷取裝置20可為光學雷達(lidar)，可提供安裝於車頂，並對準前方，以偵測於前方目標道路之物體距離，產生目標道路之複數距離資料點，並根據真實座標的位置將複數距離資料點組合成一道路距離點雲圖。在本實施例中道路距離點雲圖為道路光達點雲圖。
處理裝置30可為具有運算功能的計算機，在本實施例中，處理裝置包括一點雲影像融合模組32、一道路區域辨識模組34以及一路徑產生模組36。點雲影像融合模組32用以接收道路距離點雲圖與第一相機道路影像，以進行校正融合，產生道路相機點雲合成圖。道路區域辨識模組34，則用以接收第二相機道路影像，以判斷第二相機道路影像圖影像中的道路線資訊，產生路面分割圖。
路徑產生模組36連接點雲影像融合模組32以及道路區域辨識模組34。路徑產生模組36接收道路相機點雲合成圖與路面分割圖，以將路面分割圖以及道路相機點雲合成圖依據特徵點融合，以根據複數距離資料點取得路面分割圖中的複數距離資訊，並根據複數距離資訊判斷出前方目標道路之行駛路徑。
在說明完接路徑規劃系統1之系統架構後，接著詳細路徑規劃系統1產生行駛路徑之方法流程，請配合參照第二圖，以說明本發明之方法流程圖，首先進入步驟S10，首先透過攝影裝置10拍攝前方道路影像，以產生第一相機道路影像及第二相機道路影像。同時透過點雲圖擷取裝置20發出光達訊號，以擷取與前方物體的複數距離資料點，點雲圖擷取裝置20並根據真實座標的位置，將複數距離資料點組合成一道路距離點雲圖。接著將道路距離點雲圖、第一相機道路影像及第二相機道路影像輸入至處理器30中。
接著進入步驟S12，處理器30之點雲影像融合模組32將道路距離點雲圖與第一相機道路影像進行校正融合，產生道路相機點雲合成圖。同時道路區域辨識模組34判斷第二相機道路影像圖影像中的道路線資訊，產生路面分割圖。
上述將道路距離點雲圖與第一相機道路影像進行校正融合之詳細步驟如下，點雲影像融合模組32先取得拍攝第一相機道路影像之相機的內部參數與道路距離點雲圖的真實座標的外部參數，以根據內部參數以及外部參數之關係，將道路距離點雲圖與第一相機道路影像疊合，產生道路相機點雲合成圖。所產生的道路相機點雲合成圖如第三圖所示，將道路距離點雲圖顯示在第一相機道路影像的對應位置上。
請配合參照第四圖與第五圖，以詳細說明道路區域辨識模組34如何判斷第二相機道路影像圖影像中的道路線資訊，以產生路面分割圖。請參照第四圖，步驟S122，道路區域辨識模組34對第二相機影像圖影像進行模型初始化，產生模型初始影像。接著進入步驟S124，分割模型初始影像，產生道路預測圖。最後進入步驟S126，將利用概率圖模型計算道路預測圖，產生車道分割圖及道路線分割圖，並將車道分割圖及道路線分割圖合成，產生路面分割圖。所產生的路面分割圖如第五圖所示，其係標示車輛能行駛的道路區域。
在產生道路相機點雲合成圖及路面分割圖後，接著進入步驟S14，將相機點雲合成圖及路面分割圖傳遞至路徑產生模組36，路徑產生模組36將路面分割圖以及道路相機點雲合成圖依據特徵點融合，以根據複數距離資料點取得路面分割圖中的複數距離資訊，並根據複數距離資訊判斷出前方目標道路之行駛路徑。然而在產生行駛路徑之前，路徑產生模組36會先判斷複數距離資料點的數量是否大於一閥值，若距離資料點的數量大於一閥值，如大於80，且距離目標道路小於一半徑範圍時，也就是距離前方十字路口小於一半徑範圍，如小於1.2公尺，則傳遞通知給自動駕駛系統，使其控制車輛停止行駛，路徑 產生模組36並對目標道路進行路徑計算，產生行駛路徑給自動駕駛系統。
接著請參照第六圖，以詳細說明路徑產生模組36如何產生行駛路徑之步驟，首先進入步驟S142，路徑產生模組36使用向量量化演算法計算複數距離資料點，以判斷目標道路的初始道路資料。在本實施例中，向量量化演算法為k-平均演算法。
接著進入步驟S144，路徑產生模組36利用使用群中心演算法將該等初始道路資料聚類，其中群中心演算法為基於密度的聚類演算法(Density-based spatial clustering of applications with noise，DBSCAN)。
最後進入步驟S146，路徑產生模組36再利用圓方程式與多項式擬合目標道路的路徑，並據其產生行駛路徑。在本實施例中係以前方為遇到十字路口作為實施例，因此透過上述方法可產生直行的行駛路徑、左轉的行駛路徑或右轉的行駛路徑提供給自動駕駛系統，使其根據駕駛的目的地選擇所需路徑行駛。如第七圖所示，其係自動駕駛系統選擇左轉的行駛路徑之行駛路徑示意圖。
綜上所述，本發明透過特殊演算法令本發明僅利用道路影像及距離感測器，即可精準偵測前方路徑，並產生行駛路徑，可大幅節省硬體成本。且本發明過對前方影像中的道路線分割、道路線偵測，與距離感測器偵測產生的道路距離點雲圖進行整合，能夠大幅提升路徑偵測的精準度，及大幅節省運算量。
唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。
1：路徑規劃系統 10：攝影裝置 20：點雲圖擷取裝置 30：處理裝置 32：點雲影像融合模組 34：道路區域辨識模組 36：路徑產生模組

Claims (18)

  1. 一種路徑規劃方法，包括下列步驟：輸入一目標道路之一道路距離點雲圖、一第一相機道路影像及一第二相機道路影像，其中該道路距離點雲圖為該目標道路的複數距離資料點根據真實座標的位置組合而成；將該道路距離點雲圖與該第一相機道路影像進行校正融合，產生一道路相機點雲合成圖，以及判斷該第二相機道路影像圖影像中的道路線資訊，產生該目標道路之一路面分割圖；以及將該路面分割圖以及該道路相機點雲合成圖依據特徵點融合，以根據該等距離資料點取得該路面分割圖中的複數距離資訊，並根據該等距離資訊判斷出前方該目標道路之行駛路徑。
  2. 如請求項1所述之路徑規劃方法，更包括：當該等距離資料點大於一閥值，且距離該目標道路小於一半徑範圍，則對該目標道路進行路徑計算，產生該行駛路徑。
  3. 如請求項2所述之路徑規劃方法，其中產生該行駛路徑之步驟，包括：使用向量量化演算法計算該等距離資料點，以判斷該目標道路的初始道路資料；利用使用群中心演算法將該等初始道路資料聚類；及利用圓方程式與多項式擬合該目標道路的路徑，並據其產生該行駛路徑。
  4. 如請求項3所述之路徑偵測方法，其中該向量量化演算法為k-平均演算法。
  5. 如請求項3所述之路徑規劃方法，其中該群中心演算法為基於密度的聚類演算法(Density-based spatial clustering of applications with noise，DBSCAN)。
  6. 如請求項1所述之路徑規劃方法，其中該道路距離點雲圖為道路光達點雲圖。
  7. 如請求項1所述之路徑規劃方法，其中將該道路距離點雲圖與該第一相機道路影像進行校正融合之步驟，包括：取得拍攝該第一相機道路影像之相機的內部參數與該道路距離點雲圖的該真實座標的外部參數，以根據該內部參數以及該外部參數之關係，將該道路距離點雲圖與該第一相機道路影像疊合。
  8. 如請求項1所述之路徑規劃方法，其中判斷該第二相機道路影像圖影像中的該道路線資訊之步驟，包括：對該第二相機影像圖影像進行模型初始化，產生模型初始影像；分割該模型初始影像，產生道路預測圖；及將利用概率圖模型計算該道路預測圖，產生車道分割圖及道路線分割圖，並將該車道分割圖及該道路線分割圖合成，產生該路面分割圖。
  9. 一種路徑規劃系統，包括：一攝影裝置，拍攝一目標道路之一第一相機道路影像及一第二相機道路影像；一點雲圖擷取裝置，擷取該目標道路之複數距離資料點，並根據真實座標的位置組合成一道路距離點雲圖；以及一處理裝置，連接該攝影裝置以及該點雲圖擷取裝置，該處理裝置包括：一點雲影像融合模組，接收該道路距離點雲圖與該第一相機道路影像，以進行校正融合，產生道路相機點雲合成圖； 一道路區域辨識模組，接收該第二相機道路影像，以判斷該第二相機道路影像圖影像中的道路線資訊，產生該目標道路之一路面分割圖；及一路徑產生模組，連接該點雲影像融合模組以及該道路區域辨識模組，該路徑產生模組接收與該路面分割圖，以將該路面分割圖以及該道路相機點雲合成圖依據特徵點融合，以根據該等距離資料點取得該路面分割圖中的複數距離資訊，並根據該等距離資訊判斷出前方該目標道路之行駛路徑。
  10. 如請求項9所述之路徑規劃系統，其中該路徑產生模組判斷當該等距離資料點大於一閥值，且距離該目標道路小於一半徑範圍，則對該目標道路進行路徑計算，產生行駛路徑。
  11. 如請求項9所述之路徑規劃系統，其中該路徑產生模組產生該行駛路徑係使用向量量化演算法計算該等距離資料點，以判斷該目標道路的初始道路資料；利用使用群中心演算法將該等初始道路資料聚類；利用圓方程式與多項式擬合該目標道路的路徑，並據其產生該行駛路徑。
  12. 如請求項11所述之路徑規劃系統，其中該向量量化演算法為k-平均演算法。
  13. 如請求項11所述之路徑規劃系統，其中該群中心演算法為基於密度的聚類演算法(Density-based spatial clustering of applications with noise，DBSCAN)。
  14. 如請求項9所述之路徑規劃系統，其中該道路距離點雲圖為道路光達點雲圖。
  15. 如請求項9所述之路徑規劃系統，其中該點雲影像融合模組將道路距離點雲圖與該第一相機道路影像進行校正融合，係先取得拍攝該第一相機道路影像之相機的內部參數與該道路距離點雲圖的該真實座標的外部參數， 以根據該內部參數以及該外部參數之關係，將該道路距離點雲圖與該第一相機道路影像疊合。
  16. 如請求項9所述之路徑規劃系統，其中該道路區域辨識模組判斷該第二相機道路影像圖影像中的該道路線資訊係對該第二相機影像圖影像進行模型初始化，產生模型初始影像；分割該模型初始影像，產生道路預測圖；將利用概率圖模型計算該道路預測圖，產生車道分割圖及道路線分割圖，並將該車道分割圖及該道路線分割圖合成，產生該路面分割圖。
  17. 如請求項9所述之路徑規劃系統，其中該攝影裝置為攝影機。
  18. 如請求項9所述之路徑規劃系統，其中該點雲圖擷取裝置為光學雷達(lidar)。
TW110142540A 2021-11-16 2021-11-16 路徑規劃方法及其系統 TWI805077B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110142540A TWI805077B (zh) 2021-11-16 2021-11-16 路徑規劃方法及其系統
US17/584,879 US20230154203A1 (en) 2021-11-16 2022-01-26 Path planning method and system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110142540A TWI805077B (zh) 2021-11-16 2021-11-16 路徑規劃方法及其系統

Publications (2)

Publication Number Publication Date
TW202321651A TW202321651A (zh) 2023-06-01
TWI805077B true TWI805077B (zh) 2023-06-11

Family

ID=86323950

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110142540A TWI805077B (zh) 2021-11-16 2021-11-16 路徑規劃方法及其系統

Country Status (2)

Country Link
US (1) US20230154203A1 (zh)
TW (1) TWI805077B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274764B (zh) * 2023-11-22 2024-02-13 南京邮电大学 一种多模态特征融合的三维点云补全方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894382A (zh) * 2010-07-23 2010-11-24 同济大学 一种集成LiDAR点云的卫星立体影像阴影计算方法
US20160078610A1 (en) * 2014-09-11 2016-03-17 Cyberoptics Corporation Point cloud merging from multiple cameras and sources in three-dimensional profilometry
CN112154455A (zh) * 2019-09-29 2020-12-29 深圳市大疆创新科技有限公司 数据处理方法、设备和可移动平台
TW202124915A (zh) * 2019-12-24 2021-07-01 財團法人工業技術研究院 無人載具語意地圖建置系統及其建置方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894382A (zh) * 2010-07-23 2010-11-24 同济大学 一种集成LiDAR点云的卫星立体影像阴影计算方法
US20160078610A1 (en) * 2014-09-11 2016-03-17 Cyberoptics Corporation Point cloud merging from multiple cameras and sources in three-dimensional profilometry
CN112154455A (zh) * 2019-09-29 2020-12-29 深圳市大疆创新科技有限公司 数据处理方法、设备和可移动平台
TW202124915A (zh) * 2019-12-24 2021-07-01 財團法人工業技術研究院 無人載具語意地圖建置系統及其建置方法

Also Published As

Publication number Publication date
US20230154203A1 (en) 2023-05-18
TW202321651A (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
US20210350572A1 (en) Positioning method, apparatus, device, and computer-readable storage medium
US10990836B2 (en) Method and apparatus for recognizing object, device, vehicle and medium
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
EP3836018B1 (en) Method and apparatus for determining road information data and computer storage medium
Krämmer et al. Providentia--A Large-Scale Sensor System for the Assistance of Autonomous Vehicles and Its Evaluation
WO2021017212A1 (zh) 一种多场景高精度车辆定位方法、装置及车载终端
Cui et al. Real-time global localization of robotic cars in lane level via lane marking detection and shape registration
JP5057184B2 (ja) 画像処理システム及び車両制御システム
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
JP2019086508A (ja) 仮想経路を表示する方法、装置及びディスプレイ装置
WO2020042348A1 (zh) 自动驾驶导航地图的生成方法、系统、车载终端及服务器
WO2021057612A1 (zh) 传感器的标定方法和装置
WO2021056841A1 (zh) 定位方法、路径确定方法、装置、机器人及存储介质
WO2020043081A1 (zh) 定位技术
WO2018133727A1 (zh) 一种正射影像图的生成方法及装置
JP2011215056A (ja) 自車位置認識システム
JPWO2009072507A1 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
US20230399006A1 (en) Data integration from multiple sensors
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
TWI805077B (zh) 路徑規劃方法及其系統
JP2004265432A (ja) 走行環境認識装置
JP6989284B2 (ja) 車両位置推定装置及びプログラム
US20230316539A1 (en) Feature detection device, feature detection method, and computer program for detecting feature