TWI836366B - 裝載於車輛的自動泊車建圖系統及其方法 - Google Patents
裝載於車輛的自動泊車建圖系統及其方法 Download PDFInfo
- Publication number
- TWI836366B TWI836366B TW111108097A TW111108097A TWI836366B TW I836366 B TWI836366 B TW I836366B TW 111108097 A TW111108097 A TW 111108097A TW 111108097 A TW111108097 A TW 111108097A TW I836366 B TWI836366 B TW I836366B
- Authority
- TW
- Taiwan
- Prior art keywords
- detection area
- continuous image
- vehicle
- image frame
- point cloud
- Prior art date
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 13
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本案揭示一種裝載於車輛的自動泊車建圖系統,包括第一攝影機,安裝於車輛的第一側,以拍攝第一連續影像幀;第二攝影機,安裝於與第一側相對的第二側,以拍攝第二連續影像幀;影像訊息接收模組;車輛訊息總成介面,接收行車資料訊息;處理單元,以界定第一偵測區域及第二偵測區域,當第一偵測區域內及第二偵測區域內包括識別目標時,處理單元以第一連續影像幀及第二連續影像幀構建出對應於識別目標的二維點雲圖,當識別目標不包括於第一偵測區域或第二偵測區域內時,處理單元以第一連續影像幀及第二連續影像幀產生具有深度訊息的特徵點,並匹配車輛的行車資料訊息,構建出三維點雲圖;以及儲存單元,以儲存二維點雲圖及三維點雲圖。
Description
本發明涉及自動駕駛技術領域,具體涉及一種自動泊車建圖的方法。
自動泊車功能的優劣主要來自於停車場域地圖的建立及定位。而車輛的定位來自於精確的地圖建立。一般常見的室內停車場域受限於全球衛星定位系統(GPS)收訊不佳,因此為實現自動泊車而更有賴於車輛本身對於場域地圖的建立及辨識。同步定位與建圖(Simultaneous Localization and Mapping)技術常使用到三維點雲圖,三維點雲圖的使用大幅提升了二維點雲圖的不足,特別影響了車輛的定位位姿,而三維點雲圖可以透過不同的感測器感測後描繪,如光達(Lidar)、超聲波、雷達及攝影機。然而對於攝影機拍攝影像方式建立停車場域三維地圖所佔據的儲存容量較為龐大,進而影響了車載安全駕駛系統對於其他功能的運算或儲存。
為解決上述技術問題本發明提供了一種裝載於車輛的自動泊車建圖系統及其方法。
本發明的目的可以透過以下的技術方案來實現:一種裝載於車輛的自動泊車建圖系統,包括:一第一攝影機,安裝於一車輛的第一側,用來拍攝車輛周圍環境的第一連續影像幀;一第二攝影機,安裝於與所述車輛的第一側相對的第二側,用來拍攝車輛周圍環境的第二連續影像幀;一影像訊息接收模組,接收所述第一連續影像及所述第二連續影像;一車輛訊息總成介面,接收來自車輛的行車資料訊息;一處理單元,用來界定出分別對應於所述第一連續影像幀及所述第二連續影像幀的第一偵測區域及第二偵測區域,判斷所述第一偵測區域內及所述第二偵測區域內是否包含識別目標,其中當所述第一偵測區域內及所述第二偵測區域內包括所述識別目標時,所述處理單元以所述第一連續影像幀及所述第二連續影像幀構建出對應於所述識別目標的二維點雲圖;當所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內時,所述處理單元以所述第一連續影像幀及所述第二連續影像幀產生具有深度訊息的特徵點,並匹配所述車輛的行車資料訊息,構建出三維點雲圖;以及一儲存單元,用來儲存所述二維點雲圖及所述三維點雲圖。
根據本案構想,所述識別目標可為多重條件的設定,並可以根據多重條件作交集或聯集的方式設定。
根據本案構想,所述三維點雲圖是由不包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀以及判定所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內之前及/或之後一預定時間內所取得包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀所構建出來的。
根據本案構想,所述處理單元具有語意運算,可去除所述三維點雲圖中的動態特徵點。
根據本案構想,所述第一偵測區域及所述第二偵測區域為投影於地面的鳥瞰區域。
本發明更提供了一種裝載於車輛的自動泊車建圖的方法,包括:拍攝車輛第一側周圍環境的第一連續影像幀;拍攝與所述車輛第一側相對的周圍環境的第二連續影像幀;接收所述第一連續影像幀及所述第二連續影像幀;接收來自車輛的行車資料訊息;界定出分別對應於所述第一連續影像幀及所述第二連續影像幀的第一偵測區域及第二偵測區域;判斷所述第一偵測區域內及所述第二偵測區域內是否包含識別目標;當所述第一偵測區域內及所述第二偵測區域內包括所述識別目標時,以所述第一連續影像幀及所述第二連續影像幀構建出對應於所述識別目標的二維點雲圖;當所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內時,以所述第一連續影像幀及所述第二連續影像幀產生具有深度訊息的特徵點,並匹配所述車輛的行車資料訊息,構建出三維點雲圖;以及儲存所述二維點雲圖及所述三維點雲圖。
根據本案構想,所述識別目標可為多重條件的設定,並可以根據多重條件作交集或聯集的方式設定。
根據本案構想,所述三維點雲圖是由不包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀以及判定所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內之前及/或之後一預定時間內所取得包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀所構建出來的。
根據本案構想,進一步包括去除所述三維點雲圖中的動態特徵點。
根據本案構想,所述第一偵測區域及所述第二偵測區域為投影於地面的鳥瞰區域。
本發明具有以下優點:
1、在自動泊車建立停車場域地圖時,由於本發明的系統接收來自至少兩個單目攝影機拍攝車輛周圍環境的連續影像幀,透過在特定的偵測區域內辨識識別目標,可以選擇性地建構停車場域的二維或三維點雲圖,以節省地
圖的儲存容量,同時,為了達到更精確的停車場域的三維點雲圖,本發明可經由語意運算去除所述三維點雲圖中的動態特徵點。
2、由於本發明裝載於車輛前方、車輛後方及車輛左右兩側的單目攝影機,經由前後影像幀的取代方式,可減少鏡頭造成影像邊緣的失真情形,提高在建構停車場域的三維點雲圖的完整度與準確性。
100:自動泊車建圖系統
101:第一攝影機
102:第二攝影機
103:影像訊息接收模組
104:車輛訊息總成介面
105:處理單元
106:儲存模組
201:第一偵測區域
202:第二偵測區域
圖1是本發明的一種裝載於車輛的自動泊車建圖系統的結構示意圖;圖2是本發明的一種自動泊車建圖與定位的方法流程圖;圖3是本發明的第一實施方式的攝影機設置於車輛的示意圖;圖4是本發明的第一實施方式產生自動泊車建圖的示意圖;以及圖5是本發明的第二實施方式的攝影機設置於車輛的示意圖。
為使本發明實施方式的目的、技術方案和優點更加清楚,下面將結合本發明實施方式中的附圖,對本發明實施方式中的技術方案進行清楚、完整地描述,顯然,所描述的實施方式是本發明一部分實施方式,而不是全部的實施方式。基於本發明中的實施方式,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式,都屬於本發明保護的範圍。因此,以下對在附圖中提供的本發明的實施方式的詳細描述並非旨在限制要求保護的本發明的範圍,而是僅僅表示本發明的選定實施方式。基於本發明中的實施方式,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式,都屬於本發明保護的範圍。
在本發明的描述中,需要理解的是,術語“上”、“下”等指示的方位或位置關係為基於附圖所示的方位或位置關係,僅是為了便於描述本發明和簡化描述,而不是指示或暗示所指的設備或元件必須具有特定的方位、以特定的方位構造和操作,因此不能理解為對本發明的限制。
在本發明的描述中,“多個”的含義是兩個或兩個以上,除非另有明確具體的限定。
在本發明中,除非另有明確的規定和限定,術語“安裝”、“相連”、“連接”、“固定”等術語應做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或成一體;可以是機械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連,可以是兩個元件內部的連通或兩個元件的相互作用關係。對於本領域的普通技術人員而言,可以根據具體情況理解上述術語在本發明中的具體含義。
下面結合附圖與具體實施方式對本發明作進一步詳細描述:請參考圖1,本發明公開了一種裝載於車輛的自動泊車建圖系統100,包括第一攝影機101、第二攝影機102、影像訊息接收模組103、車輛訊息總成介面104、處理單元105與儲存模組106。
第一攝影機101與第二攝影機102通常為單目的攝影機,攝影機通常由殼體、鏡頭、影像感測電路板、影像處理電路板、連接器、電源線、影像輸出線或控制線所構成。鏡頭通過殼體的鏡頭槽洞暴露於外部,一般具備有魚眼鏡頭或是廣角鏡頭,影像感測電路板上設置有對應鏡頭的感光元件,其將來自鏡頭的光信號轉換成電子影像信號可安裝在車輛的前、後及/或側面,各自具有車輛周圍環境的不同視野。影像處理電路板上設置有處理模組以及記憶體,記憶體暫存電子影像信號,處理模組處理電子影像信號以產生經處理後的影像。連接器電性連接影像感測電路板以及影像處理電
路板。電源線穿過殼體電性連接影像處理電路板以提供電力,影像輸出線穿過殼體電性連接影像處理電路板。控制線穿過殼體電性連接影像處理電路板以輸入控制信號,處理模組根據控制信號選擇性從影像輸出線輸出經處理後的影像。而攝影機通常安裝在車輛的外側,避免受到車輛本身的視野遮蔽,其主要是用來拍攝車輛周圍環境的連續影像幀,為了能獲取較好的影像品質,連續影像框架格式可以為LVDS格式訊息。
本發明中,影像訊息接收模組103連接第一攝影機101與第二攝影機102,用來接收來自於第一攝影機101拍攝車輛第一側周圍環境的第一連續影像幀與接收來自第二攝影機102拍攝與所述車輛第一側相對的周圍環境的第二連續影像幀,影像訊息接收模組103並具有影像處理單元(ISP,Image Signal Processor),可處理如鏡頭矯正、圖元矯正、顏色插值、Bayer雜訊去除、白平衡矯正、色彩矯正、gamma矯正、色彩空間轉換等功能。影像訊息接收模組103一般可具有LVDS(Low Voltage Differential Signaling,低電壓差分信號)或MIPI CSI傳輸介面(未標示)。
車輛訊息總成介面104連接車輛CAN匯流排,接收來自車輛的行車資料訊息。車輛的行車資料訊息包括例如包括車速、引擎轉速、轉向角、加速度、檔位等,甚至可以包括來自裝載於車輛的慣性測量單元(Inertial Measurement Unit)以及輪速計、GPS等有關可以測量車輛移動距離的感測訊息。
處理單元105為本發明的主要的運算單元,內置有優化後的人工智慧,並具有影像的語意運算能力。通常處理單元105的處理器是DSP(digital signal processor,數位訊號處理器)。DSP適合用來進行各種乘加運算(SOP:Sum of Products),例如:有限脈衝回應濾波運算(FIR:Finite Impulse Response)、無限脈衝回應濾波運算(IIR:Infinite Impulse Response)、離散傅立葉轉換(DFT:Discrete Fourier Transform)、離散余弦轉換(DCT:Discrete Cosine Transform)、
點積運算(Dot product)、卷積運算(Convolution),以及矩陣多項式的求值運算等。處理單元105連接影像訊息接收模組103,運算自影像訊息接收模組103轉換後的連續影像幀,處理單元105同時與車輛訊息總成介面104連接,接收來自車輛的行車資料訊息,因此根據車輛周圍環境的連續影像幀及行車資料訊息,可以在自動泊車建圖功能開啟時,得到至少兩個單目攝影機的連續影像幀,開始構建點雲地圖。
儲存模組106主要功能是儲存來自單目攝影機的連續影像幀或/及各式行車資料訊息,以及儲存自動泊車建圖完成後的點雲地圖。儲存模組106可以是內建的積體電路的記憶體,也可以是外接式的存儲裝置,如SSD或SD卡。同時,儲存模組106與處理單元105連接,可根據處理單元105產生的訊息進行資料的儲存。
請一併參考圖1至圖4為根據本發明的一種裝載於車輛的自動泊車建圖系統100運作的實施方式。本發明的裝載於車輛的自動泊車建圖系統100進行以下的步驟:
步驟S01,拍攝車輛第一側周圍環境的第一連續影像幀及拍攝與所述車輛第一側相對的周圍環境的第二連續影像。用戶在車輛上開啟自動泊車功能時,必須先進行第一次建圖模式,因此在開啟自動泊車功能後,用戶必須自行駕駛至停車場域內的停車格(通常有畫設車格線)或特定停車空間中,本發明的系統100裝載在車輛上,連接有兩個單目攝影機裝載於車輛的外側,用以拍攝車輛周圍環境影像,有效建立自動泊車的場景地圖,這兩個單目攝影機通常具有較廣的影像視角,使得裝設於車輛右側及左側的單目攝像所拍攝的連續影像,盡可能涵蓋所有車輛周圍環境的視野,亦即構成一個幾近全景的視野,本實施例中,單目攝影機裝設在車輛的右側及左側,分別是第一攝影機101,安裝於一車輛的第一側,用來拍攝車輛周圍環境的第一連續影像幀,以及第二攝影機102,
安裝於與車輛的第一側相對的第二側,用來拍攝車輛周圍環境的第二連續影像幀,亦即這兩側所拍攝的連續影像幀是不同且相對的車輛周圍環境影像幀。
步驟S02,接收所述第一連續影像幀及所述第二連續影像幀及接收來自車輛的行車資料訊息。本發明的系統100具有影像訊息接收模組103,接收前述步驟由第一攝影機101拍攝的第一連續影像幀及第二攝影機102拍攝的第二連續影像幀。這些連續影像幀涉及到單目攝影機的內外參數,因此必須校正。在本發明中,影像訊息接收模組103具備有影像處理功能,可接收第一連續影像幀及第二連續影像幀並進行影像校正等處理。同時間,車輛訊息總成介面104連接車輛CAN匯流排,接收來自車輛的行車資料訊息。而這些車輛的料訊息主要是測量車輛移動距離及速度的感測訊息,以作為匹配車輛周圍環境的連續影像訊息之實際距離訊息。
步驟S03,界定出分別對應於所述第一連續影像幀及所述第二連續影像幀的第一偵測區域及第二偵測區域。請參考圖3,在接收經影像訊息接收模組103處理後的連續影像幀後,本系統中的處理單元105,用來界定出分別對應於第一連續影像幀及第二連續影像幀的第一偵測區域201及第二偵測區域202。基於本發明的單目攝影機為捕捉在停車場域內能被有效記憶的場域特徵,特別是這樣的特徵是能被存取且不佔據較大的儲存容量的二維特徵,如停車場域內的停車格(通常有畫設車格線)或是地面的標線,指示符號或是其他在停車場域地面上的裝置等,這樣被記憶且有效的二維特徵具備了與車輛之間由連續影像幀所估算的實際距離值,才足以作為建置停車場域二維地圖的資料。然而受到來自廣角的單目攝影機所拍攝到的影像限制(如影像的畸變),若藉由該影像來估算環境中物體距離時,會受限於單目攝影機本身的規格,因此在影像上勢必會有一定的有效偵測範圍。在本實施例中,通常第一偵測區域201及第二偵測區域202的長度(與車輛側邊平行方向的長度)可以為5~6米的有效範圍,以及寬度(與
車輛側邊垂直的方向深度)可以為3~5米的有效範圍。然而本發明不在此限,可根據設置單目攝影機在影像解析度的提升,第一偵測區域201及第二偵測區域202的有效偵測範圍亦隨其增加。在本實施例中,處理單元105對第一偵測區域201及第二偵測區域202的計算可以由第一連續影像幀及第二連續影像幀中做三維空間範圍的框限,或是將第一連續影像幀及第二連續影像幀進行鳥瞰視角的轉換後,再框限如前述長度及寬度的有效範圍,即第一偵測區域201及第二偵測區域202為投影於地面的鳥瞰區域。
步驟S04,判斷所述第一偵測區域內及所述第二偵測區域內是否包含識別目標。處理單元105由於具備影像辨識的人工智慧,可針對前項步驟的偵測區域進行特定識別目標的辨識,並根據辨識的結果建立自動泊車地圖。其中識別目標在設定上可為單一設定或多重條件的設定,並可以根據多重條件作交集或聯集的方式設定,亦即可設定兩種以上不同的識別目標,交集代表不同的識別目標同時存在,聯集則表示任一識別目標存在即可,本系統可以由開發者決定。一般而言,識別目標可以包括行人、各式車輛、地面標誌、車道線、人行道、車道類型、路沿石、停車格、地鎖、限位擋杆等。在本實施例中,由於是建立停車場域的識別目標以建立有效的泊車地圖,特別是在二維地圖的建立上,需要簡易且精准的識別目標,因此多為停車場域內固定物件,如畫設車格線停車格、無畫設車格線停車格、停車格號碼、地鎖、限位元擋杆、地面標誌及停車場的立柱、彎道線等。
經過界定自動泊車場域能作為地圖建立的有效識別目標後,請參考圖4,本發明的自動泊車地圖的建立方式為:
(1)處理單元105辨識的結果在於當第一偵測區域內201及第二偵測區域202內包括識別目標時,處理單元105以第一連續影像幀及第二連續影像幀構建出對應於識別目標的二維點雲圖。亦即在第一偵測區域內201及第二偵
測區域202內均包括識別目標時,處理單元105會根據識別目標相對於車輛的相對位置建立出二維點雲圖,如圖4中車輛於A的位置。這樣的二維點雲圖是以鳥瞰的視角建立。進一步的,處理單元105可透過二維點雲圖計算識別目標存在於第一偵測區域內201及第二偵測區域202內的比例或辨識率,一旦比例或辨識率達一定閾值時,則視為滿足建立二維點雲圖的條件,同樣的,這樣的閾值可由系統開發者決定。
(2)當處理單元105辨識識別目標不包括於所述第一偵測區域201或第二偵測區域202內時,處理單元105以第一連續影像幀及第二連續影像幀產生具有深度訊息的特徵點,並匹配車輛的行車資料訊息,構建出三維點雲圖。亦即在第一偵測區域內201或第二偵測區域202之中,若其一未能偵測到識別目標時,或未能達到滿足二維點雲圖建立的閾值時,處理單元105便將第一連續影像幀及第二連續影像幀進行運算以產生具有深度訊息的特徵點,同時匹配車輛的行車資料訊息,構建出三維點雲圖,如圖4中車輛於B的位置。詳細來說,處理單元105對第一連續影像幀及第二連續影像幀進行特徵點的提取,是以模型基底(Model-based)來取代電腦視覺(Computer Vision)的方式進行,主要針對影像每一幀中,特別具有停車場域內常見的柱子、牆壁、路標、符號等(但不限於上述)之點、邊角、紋路等特徵,估算各特徵點的描述子(descriptor),隨著車輛的移動,根據將前後幀特徵點的描述子做一對一的特徵點的配對,並計算配對後特徵點在立體座標上的投影變化,最後得到連續影像訊息的每一幀內具有深度訊息的特徵點,接著匹配特徵點與車輛的行車資料訊息。主要由於影像是連續幀數構成的記錄,影像的前後幀反應的是時間差,即使處理單元105對連續影像每一幀產生具有深度訊息的特徵點,但會與實際車輛行駛的距離間存在一定的差異,因此本實施例中,處理單元105透過車輛訊息總成介面104接收來自車輛的行車資料訊息,特別是慣性測量單元(Inertial Measurement Unit)以及輪速
計等有關可以測量車輛移動距離的感測訊息,當影像的前後幀對應的車輛移動距離已知時,便可以三角測量原理匹配所述特徵點與所述車輛的行車訊息後,得到實際特徵點的深度訊息。
然而,為建立更好的三維點雲圖,除了在處理單元105未能在第一偵測區域201或第二偵測區域202內辨識識別目標時,根據所對應的第一連續影像幀及第二連續影像幀建立三維點雲圖之外,在這些對應的第一連續影像幀及第二連續影像幀的前或後一預定時間(及前後數個幀)內一併產生具有深度訊息的特徵點,構建出三維點雲圖,即圖4中車輛行駛至B位置的前或後一預定時間(或前後數幀)內,可針對這些連續的影像幀具有深度訊息的特徵點。因此依據本發明,三維點雲圖可以是由不包含識別目標的第一連續影像幀及所述第二連續影像幀以及判定所述識別目標不包括於第一偵測區域或第二偵測區域內之前及/或之後一預定時間內所取得包含識別目標的第一連續影像幀及第二連續影像幀所構建出來的,如此前或後的數個連續幀內同時包括了三維點雲圖及二維點雲圖。同樣的,這樣的一預定時間(或幀數)可由系統開發者決定。
此外,針對影像中所有特徵點的標記,處理單元105具有語意運算,可去除所述三維點雲圖中的動態特徵點,其目的是對使用者第一次建圖而言,停車場域可能包括多數動態物體,如停放好的車輛、行人、可移動的消防設備等,若這些動態物體於建圖時被視為特徵點而成為三維點雲圖的一部分,則會在後續用戶開啟自動泊車時,隨著動態物體位置的改變或移動,造成自動泊車功能定位上的失效。因此,透過處理單元105的語意運算,其做法可在連續影像幀的每一幀根據語意運算所框選處的區域內的動態特徵點予以刪除,即不儲存這些具有動態特徵點的訊息於三維點雲圖中。
步驟S05,儲存二維點雲圖及三維點雲圖。此步驟即針對已經建立好的二維點雲圖及三維點雲圖儲存於儲存模組106中,而儲存的訊息可以包括
各個單目攝影機拍攝的連續影像訊息,也包括這些單目攝影機對應於二維點雲圖及三維點雲圖的相對座標。甚至儲存模組106可以儲存使用者於不同停車場域建立地圖,或是同一停車場域不同時間建立的地圖,更進一步地,可以儲存各停車場域經語意運算動態特徵點後的建圖完整度指數,以及來自車輛的GPS訊息、慣性測量單元訊息等。這些儲存於儲存模組106的訊息,將可以被讀取、重新寫入或是透過網路傳輸至雲伺服器以作為優化地圖、訊息交換之用途。
請參考圖5為根據本發明的一種裝載於車輛的自動泊車建圖系統100運作的第二實施方式。本實施方式與第一實施方式並無差異,但本實施方式中,在車輛上裝載了前方、後方及左右兩側的單目攝影機,用以拍攝車輛周圍環境的連續影像訊息,亦即影像訊息接收模組103,接收來車輛前方連續影像幀、車輛後方連續影像幀、車輛左右兩側的連續影像幀,構成一個全景的視野。由於單目攝影機的視角較廣,除了相對影像的深度訊息的可信度會降低,而單目攝影機所搭載的鏡頭,在影像靠近成像邊緣會容易造成失真(distortion),而失真的影像訊息在構建停車場域的全景視野的三維點雲圖時,特別是影像前後幀的特徵點匹配時,會造成匹配不佳,甚至對於同一物體上的特徵點的匹配異常,因此本實施方式同樣透過處理單元105在第一偵測區域內201(對應於車輛右側的單目攝影機拍攝的車輛周圍環境影像)及第二偵測區域202(對應於車輛左側的單目攝影機拍攝的車輛周圍環境影像)來辨識識別目標來產生二維點雲圖及三維點雲圖,在二維點雲圖及三維點雲圖的建立上,除了接收來車輛左右兩側的連續影像幀之外,更同時接收來自車輛前後方的連續影像幀,而這些車輛左右兩側的影像與車輛前方影像及車輛後方影像有影像重疊區。由於這些來自這些單目攝影機拍攝的影像訊息是同步且即時的影像,在影像重疊區的部分,除了確定全景視野的三維點雲圖可以被這些單目攝影機的視野完全涵蓋之外,對於這些影像重疊區,處理單元105給予標記而不計算影像訊息的特徵點,隨著車輛
移動位姿的改變,這些重疊且可能失真較高的影像可受影像前後幀的補償作為取代,大幅增加對於三維點雲圖的準確性。
對於使用本發明於停車場域的建圖步驟,可大幅節省停車場域地圖儲存的記憶容量,而又能達到有效且精確的地圖訊息,實現自動泊車在不同停車場域的應用,同時,為了達到更精確的停車場域地圖,透過重複進行前述S01至S05的步驟可使停車場域的精度達到優化為止。
以上所述,僅是本發明的較佳實施例,並非對本發明作任何形式上的限制,雖然本發明已以較佳實施例揭露如上,然而並非用以限定本發明,任何熟悉本專業的技術人員,在不脫離本發明技術方案範圍內,當可利用上述揭示的方法及技術內容作出些許的更動或修飾為等同變化的等效實施例,但凡是未脫離本發明技術方案的內容,依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾,均仍屬於本發明技術方案的範圍內。
100:自動泊車建圖系統
101:第一攝影機
102:第二攝影機
103:影像訊息接收模組
104:車輛訊息總成介面
105:處理單元
106:儲存模組
Claims (10)
- 一種裝載於車輛的自動泊車建圖系統,包括:一第一攝影機,安裝於一車輛的第一側,用來拍攝車輛周圍環境的第一連續影像幀;一第二攝影機,安裝於與所述車輛的第一側相對的第二側,用來拍攝車輛周圍環境的第二連續影像幀;一影像訊息接收模組,接收所述第一連續影像幀及所述第二連續影像幀;一車輛訊息總成介面,接收來自車輛的行車資料訊息;一處理單元,用來界定出分別對應於所述第一連續影像幀及所述第二連續影像幀的第一偵測區域及第二偵測區域;判斷所述第一偵測區域內及所述第二偵測區域內是否包含識別目標,其中當所述第一偵測區域內及所述第二偵測區域內包括所述識別目標時,所述處理單元以所述第一連續影像幀及所述第二連續影像幀構建出對應於所述識別目標的二維點雲圖;當所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內時,所述處理單元以所述第一連續影像幀及所述第二連續影像幀產生具有深度訊息的特徵點,並匹配所述車輛的行車資料訊息,構建出三維點雲圖;以及一儲存單元,用來儲存所述二維點雲圖及所述三維點雲圖。
- 如申請專利範圍第1項所述的自動泊車建圖系統,其中所述識別目標為多重條件的設定,並根據多重條件作交集或聯集的方式設定。
- 如申請專利範圍第1項所述的自動泊車建圖系統,其中所述三維點雲圖是由不包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀 以及判定所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內之前及/或之後一預定時間內所取得包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀所構建出來的。
- 如申請專利範圍第1項所述的自動泊車建圖系統,其中所述處理單元具有語意運算,以去除所述三維點雲圖中的動態特徵點。
- 如申請專利範圍第1項所述的自動泊車建圖系統,其中所述第一偵測區域及所述第二偵測區域為投影於地面的鳥瞰區域。
- 一種裝載於車輛的自動泊車建圖的方法,包括:拍攝車輛第一側周圍環境的第一連續影像幀;拍攝與所述車輛第一側相對的周圍環境的第二連續影像幀;接收所述第一連續影像幀及所述第二連續影像幀;接收來自車輛的行車資料訊息;界定出分別對應於所述第一連續影像幀及所述第二連續影像幀的第一偵測區域及第二偵測區域;判斷所述第一偵測區域內及所述第二偵測區域內是否包含識別目標;當所述第一偵測區域內及所述第二偵測區域內包括所述識別目標時,以所述第一連續影像幀及所述第二連續影像幀構建出對應於所述識別目標的二維點雲圖;當所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內時,以所述第一連續影像幀及所述第二連續影像幀產生具有深度訊息的特徵點,並匹配所述車輛的行車資料訊息,構建出三維點雲圖;以及儲存所述二維點雲圖及所述三維點雲圖。
- 如申請專利範圍第6項所述的自動泊車建圖的方法,其中所述識別目標為多重條件的設定,並根據多重條件作交集或聯集的方式設定。
- 如申請專利範圍第6項所述的自動泊車建圖的方法,其中所述三維點雲圖是由不包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀以及判定所述識別目標不包括於所述第一偵測區域或所述第二偵測區域內之前及/或之後一預定時間內所取得包含所述識別目標的所述第一連續影像幀及所述第二連續影像幀所構建出來的。
- 如申請專利範圍第6項所述的自動泊車建圖的方法,其中去除所述三維點雲圖中的動態特徵點。
- 如申請專利範圍第6項所述的自動泊車建圖的方法,其中所述第一偵測區域及所述第二偵測區域為投影於地面的鳥瞰區域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111108097A TWI836366B (zh) | 2022-03-04 | 2022-03-04 | 裝載於車輛的自動泊車建圖系統及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111108097A TWI836366B (zh) | 2022-03-04 | 2022-03-04 | 裝載於車輛的自動泊車建圖系統及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202335890A TW202335890A (zh) | 2023-09-16 |
TWI836366B true TWI836366B (zh) | 2024-03-21 |
Family
ID=88927265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111108097A TWI836366B (zh) | 2022-03-04 | 2022-03-04 | 裝載於車輛的自動泊車建圖系統及其方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI836366B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
CN110321398A (zh) * | 2019-06-26 | 2019-10-11 | 浙江吉利控股集团有限公司 | 一种无信号区泊车地图的建立方法、装置及终端 |
CN110497901A (zh) * | 2019-08-30 | 2019-11-26 | 的卢技术有限公司 | 一种基于机器人vslam技术的泊车位自动搜索方法和系统 |
CN111102986A (zh) * | 2018-10-29 | 2020-05-05 | 安波福技术有限公司 | 用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位 |
TW202115616A (zh) * | 2019-10-07 | 2021-04-16 | 財團法人車輛研究測試中心 | 應用路側特徵辨識之圖資定位系統及方法 |
CN112986979A (zh) * | 2019-12-17 | 2021-06-18 | 动态Ad有限责任公司 | 使用融合的照相机/LiDAR数据点的自动对象标注 |
CN113412614A (zh) * | 2019-03-27 | 2021-09-17 | Oppo广东移动通信有限公司 | 使用深度图像的三维定位 |
CN114063091A (zh) * | 2020-07-30 | 2022-02-18 | 北京四维图新科技股份有限公司 | 高精度的定位方法及产品 |
-
2022
- 2022-03-04 TW TW111108097A patent/TWI836366B/zh active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111102986A (zh) * | 2018-10-29 | 2020-05-05 | 安波福技术有限公司 | 用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位 |
CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
CN113412614A (zh) * | 2019-03-27 | 2021-09-17 | Oppo广东移动通信有限公司 | 使用深度图像的三维定位 |
CN110321398A (zh) * | 2019-06-26 | 2019-10-11 | 浙江吉利控股集团有限公司 | 一种无信号区泊车地图的建立方法、装置及终端 |
CN110497901A (zh) * | 2019-08-30 | 2019-11-26 | 的卢技术有限公司 | 一种基于机器人vslam技术的泊车位自动搜索方法和系统 |
TW202115616A (zh) * | 2019-10-07 | 2021-04-16 | 財團法人車輛研究測試中心 | 應用路側特徵辨識之圖資定位系統及方法 |
CN112986979A (zh) * | 2019-12-17 | 2021-06-18 | 动态Ad有限责任公司 | 使用融合的照相机/LiDAR数据点的自动对象标注 |
CN114063091A (zh) * | 2020-07-30 | 2022-02-18 | 北京四维图新科技股份有限公司 | 高精度的定位方法及产品 |
Also Published As
Publication number | Publication date |
---|---|
TW202335890A (zh) | 2023-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
JP6273352B2 (ja) | 物体検出装置、物体検出方法、および移動ロボット | |
JP6589926B2 (ja) | 物体検出装置 | |
CN108335337B (zh) | 一种正射影像图的生成方法及装置 | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
CN111489288B (zh) | 一种图像的拼接方法和装置 | |
CN112837207B (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
CN113408454A (zh) | 一种交通目标检测方法、装置、电子设备及检测系统 | |
CN114550042A (zh) | 一种道路消失点提取方法、车载传感器标定方法及装置 | |
TWI836366B (zh) | 裝載於車輛的自動泊車建圖系統及其方法 | |
CN110188665B (zh) | 图像处理方法、装置以及计算机设备 | |
CN111982132A (zh) | 数据处理方法、装置和存储介质 | |
CN115511944A (zh) | 基于单相机的尺寸估计方法、装置、设备及存储介质 | |
CN116246029A (zh) | 数据同步方法、装置、终端设备及计算机可读存储介质 | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
TWI793584B (zh) | 自動泊車建圖與定位的系統及其方法 | |
CN116758814A (zh) | 装载于车辆的自动泊车建图系统及其方法 | |
Li et al. | 3D mobile mapping with a low cost uav system | |
KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
CN111862211B (zh) | 定位方法、装置、系统、存储介质和计算机设备 | |
CN115619958B (zh) | 目标鸟瞰图的生成方法、装置、电子设备及存储介质 | |
CN115953328B (zh) | 一种目标矫正方法、系统及电子设备 | |
CN115205828B (zh) | 一种车辆定位方法、装置、整车控制器及可读存储介质 |