TW202036479A - 攝影機標定方法、路側感知設備和智慧交通系統 - Google Patents
攝影機標定方法、路側感知設備和智慧交通系統 Download PDFInfo
- Publication number
- TW202036479A TW202036479A TW108143615A TW108143615A TW202036479A TW 202036479 A TW202036479 A TW 202036479A TW 108143615 A TW108143615 A TW 108143615A TW 108143615 A TW108143615 A TW 108143615A TW 202036479 A TW202036479 A TW 202036479A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- location information
- camera
- target object
- geographic location
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本發明公開了一種對攝影機進行標定的方法,包括步驟:獲取該攝影機拍攝的多張圖像,這些圖像包括目標對象的圖像;接收目標對象在第一時刻的地理位置資訊;從多張圖像中選擇在第一時刻拍攝的圖像,並從所選擇的圖像中提取目標對象在圖像中的圖像位置資訊;以及根據所提取的圖像位置資訊和所接收的地理位置資訊對攝影機進行標定,以便基於標定結果,根據攝影機所拍攝的圖像來確定在攝影機拍攝範圍內的各個對象的地理位置資訊。本發明還公開了一種採用該標定方法的路側感知設備和標定系統。
Description
本發明係關於車輛輔助駕駛領域,尤其關於對輔助駕駛中的路側感知設備的攝影機進行標定的技術領域。
隨著車聯網V2X技術等的發展,出現了協同式環境感知系統。這個系統可以綜合利用車輛和周圍環境的資料來輔助車輛駕駛,並監控車輛的行駛狀況等,這個系統也可以稱為智慧交通系統。
在智慧交通系統中,需要在道路上部署大量的路側感知設備,這些設備具有攝影機,並可以透過攝影機採集視頻資料來計算一些交通的場景,比如車輛故障停駛,追尾等。在對攝影機所採集的視頻和圖像資料進行進一步處理之前,需要對攝影機進行標定,以確定所拍到的車輛等對象的實際位置和距離。
由於路側感知設備的數量較大,並且部署在道路附近,需要一種安全而且快捷的方式來對路側感知設備的攝影機進行標定。
目前的標定方法之一為人工標定方法,在該方法中,需要人工地在道路去擺放一些參考點,然後利用尺規或者手持定位設備去測量標定物體到感知設備的實際物理距離,同時拍照記錄手工找出對應點的像素座標。這種方法需要在封閉路段中進行或者設置障礙物,才能順利實行標定工作。對交通道路有一定影響,並且後續需要整理對記錄的資料,進行標定計算。週期較長,誤差較大,標定效率也不甚理想。
如何安全、快速而且準確地完成對路側感知設備中的攝影機的標定,是本領域所急需解決的問題之一。
為此,需要一種新的攝影機標定方案,可以為智慧交通系統中的路側感知設備的攝影機進行安全、快速和準確的標定,從而可以利用標定結果準確地計算出攝影機覆蓋範圍內各對象的地理位置和距離資訊。
為此,本發明提供了一種新的攝影機標定方案,以力圖解決或者至少緩解上面存在的至少一個問題。
根據本發明的一個態樣,提供了一種對攝影機進行標定的方法,包括步驟:獲取該攝影機拍攝的多張圖像,這些圖像包括目標對象的圖像;接收目標對象在第一時刻的地理位置資訊;從多張圖像中選擇在第一時刻拍攝的圖像,並從所選擇的圖像中提取目標對象在圖像中的圖像位置資訊;以及根據所提取的圖像位置資訊和所接收的地理位置資訊,對攝影機進行標定,以便基於標定結果,根據攝影機所拍攝的圖像來確定在攝影機拍攝範圍內的各個對象的地理位置資訊。
可選地,根據本發明的標定方法還包括步驟:獲取攝影機的地理位置資訊;以及對攝影機進行標定的步驟還包括:根據圖像位置資訊、目標對象的地理位置資訊以及攝影機的地理位置資訊來對攝影機進行標定。
可選地,在根據本發明的標定方法中,目標對象在圖像中的圖像位置資訊包括目標對象在圖像中的二維位置資訊,目標對象的地理位置資訊包括目標對象的三維位置資訊,對攝影機進行標定的步驟包括建立目標對象的二維位置資訊和三維位置資訊之間的映射關係。
可選地,在根據本發明的標定方法中,目標對象在圖像中的圖像位置資訊包括目標對象在圖像中的像素座標資訊,目標對象的地理位置資訊包括目標對象的世界座標資訊。對攝影機進行標定的步驟包括根據目標對象的像素座標資訊和目標對象的世界座標資訊來構造轉換矩陣,以便利用該轉換矩陣來將攝影機所拍攝圖像中的像素座標轉換為世界座標。
可選地,在根據本發明的方法中,構造轉換矩陣的步驟包括:該攝影機的世界座標為座標原點,對目標對象的世界座標資訊進行處理;以及利用目標對象的處理後的世界座標資訊和目標對象的像素座標資訊來構造轉換矩陣。
可選地,在根據本發明的方法中,構造轉換矩陣的步驟包括:將目標對象的世界座標資訊中的高度座標值設置為固定值。
可選地,在根據本發明的方法中,獲取攝影機拍攝的多張圖像的步驟包括獲取攝影機拍攝的視頻,該視頻中包括目標對象的圖像。從多張圖像中選擇在所述第一時刻拍攝的圖像包括從該視頻中截取在第一時刻處的視頻幀做為所選擇的圖像。
可選地,在根據本發明的方法中,接收目標對象在第一時刻的地理位置資訊的步驟包括接收目標對象在多個第一時刻的地理位置資訊。從多張圖像中選擇在第一時刻拍攝的圖像的步驟包括從視頻中截取分別在多個第一時刻處的多個視頻幀做為所選擇的圖像,以便構造多個圖像位置資訊和地理位置資訊配對。根據所提取的圖像位置資訊和所接收的地理位置資訊對攝影機進行標定包括根據所構造的多個圖像位置資訊和地理位置資訊配對來進行標定。
可選地,在根據本發明的方法中,從視頻中截取分別在所述多個第一時刻處的多個視頻幀做為所選擇的圖像包括獲取至少四張圖像,其中這至少四張圖像包括目標對象分別位於四個邊緣位置處的圖像。
可選地,根據本發明的方法還包括步驟:將攝影機的拍攝範圍劃分為多個區域。獲取攝影機拍攝的多張圖像包括:對於多個區域中的每個區域,獲取目標對象在該區域中的圖像。根據圖像位置資訊和地理位置資訊對攝影機進行標定的步驟包括根據針對每個區域所獲得的圖像位置資訊和地理位置資訊對每個區域進行標定。
可選地,在根據本發明的方法中,從所選擇的圖像中提取目標對象在圖像中的圖像位置資訊的步驟還包括:提取目標對象中的特定標識物在圖像中的圖像位置資訊做為目標對象在該圖像中的圖像位置資訊。
可選地,在根據本發明的方法中,其中目標對象具有適於提供地理位置資訊的定位設備。該定位設備靠近該特定標識物佈置。
可選地,在根據本發明的方法中,在對攝影機進行標定之後,還包括步驟:新獲取該攝影機拍攝的多張圖像;接收目標對象在第二時刻的地理位置資訊;從多張圖像中選擇在第二時刻拍攝的圖像,並從所選擇的圖像中提取目標對象在所述圖像中的圖像位置資訊;基於標定結果,並根據目標對象在圖像中的圖像位置資訊來計算目標對象的地理位置資訊;以及根據所計算的地理位置資訊和所接收的地理位置資訊的差異來對標定結果進行驗證。
可選地,在根據本發明的方法中,攝影機包含在路側感知設備中,以及目標對象為標定車輛。該標定車輛在路側感知設備所覆蓋的道路上行駛,並定時將標定車輛的地理位置資訊發送給路側感知設備。
根據本發明的另一個態樣,提供了一種路側感知設備,部署在道路位置處。該路側感知設備包括攝影機,適於拍攝道路上的各個對象;以及計算單元,適於執行根據本發明所述的方法,以便對攝影機進行標定。
根據本發明的還有一個態樣,提供了一種智慧交通系統,包括根據本發明所述的路側感知設備,部署在道路位置處;以及標定車輛,適於在道路上行駛。該標定車輛適於向路側感知設備發送該標定車輛的當前地理位置資訊。
可選地,在根據本發明的系統中,該標定車輛包括:標識物,便於在圖像中進行識別;以及定位設備,靠近標識物佈置,並適於提供標定車輛的地理位置資訊;以及通信單元,適於和路側感知設備進行通信,以便向路側感知設備發送標定車輛的當前地理位置資訊。
可選地,根據本發明的系統還包括:正常車輛,適於在道路上行駛,其中該路側感知設備的攝影機拍攝包含該正常車輛的圖像,並基於路側感知設備中的計算單元的標定結果、以根據正常車輛在圖像中的圖像位置資訊來確定正常車輛的地理位置資訊。
根據本發明的還有一個態樣,還提供了一種計算設備。該計算設備包括至少一個處理器和儲存有程式指令的記憶體,其中,程式指令被配置為適於由至少一個處理器執行並包括用於執行上述標定方法的指令。
根據本發明的還有另一個態樣,還提供了一種儲存有程式指令的可讀儲存媒體,當該程式指令被計算設備讀取並執行時,使得計算設備執行上述標定方法。
根據本發明的攝影機標定方案,在攝影機拍攝包含標定車輛的多個圖像期間,接收來自標定車輛的、在某個時刻的地理位置資訊,並從選擇在同一時刻的圖像,並從該時刻的圖像中提取標定車輛的圖像座標。這樣就可以獲取到標定車輛同一時刻在圖像中的像素座標和基於地理位置資訊的世界座標,從而可以精確地計算出標定結果,從而解決了二者不同步而導致的問題。
另外,根據本發明的攝影機標定方案,只要讓標定車輛在道路上行駛,就可以由路側感知設備完成標定,從而可以簡單的方式對攝影機進行多次標定和進行標定結果的檢測,顯著提高了標定效率。
另外,根據本發明的攝影機標定方案,標定車輛在進入路側感知設備的覆蓋區域時候,就定時發送其地理位置資訊,而攝影機一直在拍攝標定車輛的視頻,這樣,就可以在標定車輛通過道路期間獲得多個像素座標和世界座標對,從而可以從中選擇能夠準確對整個攝影機拍攝範圍進行標定的座標對,或者選擇對拍攝範圍中的某個小區域進行標定的座標對。這樣的多區域標定方式為崎嶇不平的道路提供了更準確的標定結果。
下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例,然而應當理解,可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
圖1示出了根據本發明一個實施方式的智慧交通系統100的示意圖。如圖1所示,智慧交通系統100包括車輛110和路側感知設備200。車輛110在道路140上行駛。道路140包括多個車道150。車輛110可以在道路140上行駛的過程中,可以根據路況和行駛目標切換不同的車道150。
路側感知設備200部署在道路周邊,並利用其所具有的各種感測器來收集在路側感知設備200周圍預定範圍內的各種資訊,特別是與道路相關的道路資料。如下面參考圖2所述,路側感知設備200包括攝影機210。攝影機210可以朝向道路進行拍攝,以拍攝在路側感知設備200覆蓋範圍之內的道路140以及在道路140上的各種對象。這些對象包括在道路140上行駛的車輛110和各種路邊的行人130等。攝影機210的位置和拍攝方向一般在路側感知設備200部署在道路上之後就固定了。根據本發明的一種實施方式,路側感知設備200可以包括多個攝影機210,以便對不同方向進行拍攝。
路側感知設備200具有預定的覆蓋範圍。根據每個路側感知設備200的覆蓋範圍和道路狀況,可以在道路兩側部署足夠數量的路側感知設備200,可以對整條道路實現全覆蓋。當然,根據一種實施方式,不用對整條道路實現全覆蓋,可以在每條道路的特徵點(拐彎,交叉口,分叉口)處部署路側感知設備200,獲得關於該條道路的特徵資料即可。本發明不受限於路側感知設備200的具體數量和對道路的覆蓋範圍。
在部署路側感知設備200時,首先根據單個路側感知設備200的覆蓋區域和道路140的狀況,計算需要部署的感知設備200的位置。路側感知設備200的覆蓋區域至少取決於感知設備200的佈置高度和感知設備200中的感測器進行感知的有效距離等。而道路140的狀況包括道路長度、車道150的數量、道路曲率和坡度等。可以利用本領域的任何一種方式來計算感知設備200的部署位置。
在確定了部署位置之後,在所確定的位置部署路側感知設備200。由於路側感知設備200需要感知的資料包含大量對象的運動資料,所以要進行路側感知設備200的時鐘同步,即保持各個感知設備200的時間和車輛110以及雲端平台的時間一致。
隨後,確定每個部署的路側感知設備200的位置。由於感知設備200要為道路140上高速行駛的車輛110提供輔助駕駛功能,所以感知設備200的位置必須是高精度的,以作為感知設備的絕對位置。可以有多種方式來計算感知設備200的高精度絕對位置。根據一個實施方式,可以利用全球衛星導航系統(GNSS)來確定高精度位置。
進入一個路側感知設備200的覆蓋範圍內的車輛110可以和路側感知設備200進行通信。一種典型的通信方式為V2X通信方式。當然,可以利用諸如5G、4G和3G之類的移動通信方式,由移動通信服務商提供的移動互聯網路與路側感知設備200進行通信。考慮到車輛行駛的速度較快,對通信的時間延遲要求盡可能的短,本發明的一般實施方式中採用V2X通信方式。但是,任何可以滿足本發明所需要的時間延遲要求的通信方式都在本發明的保護範圍之內。
車輛110可以各種方式接收與該車輛110相關的駕駛相關資訊以及該段道路的道路資料。在一種實現中,進入路側感知設備200的覆蓋範圍內的車輛110都可以自動收到這些資訊和資料。在另一種實現中,車輛110可以發出請求,由路側感知設備200回應於該請求而發送與該車輛110相關的駕駛相關資訊以及該段道路的道路資料給車輛110,以便駕駛員基於這些資訊來控制車輛110的行駛行為。本發明不受限於車輛110接收駕駛相關資訊以及該段道路的道路資料的具體方式,所有車輛110可以接收這些資訊和資料的方式都在本發明的保護範圍之內。
車輛110包括正常在道路140上行駛的車輛和用於對路側感知設備200中的攝影機210進行標定的標定車輛300。標定是指確定一個物理對象的三維幾何位置和該對象在圖像中的對應點之間的相互關係。透過對攝影機210進行標定,可以確定某個對象在攝影機所拍攝的圖像中的位置和該對象的實際地理位置之間的相互關係。例如,對於車輛110而言,透過對攝影機210進行標定之後,就可以根據攝影機210所拍攝到的車輛110在圖像中的位置來確定該車輛110的實際地理位置。這樣,在車輛出現故障或者發生諸如追尾這樣的交通事故時,就可以確定車輛對象的實際位置和相互距離。
如下面參考圖3所述,標定車輛300具有特定標識物310。標識物310具有顯著的視覺特徵,這樣當標定車輛300在道路140上行駛期間進入路側感知設備200的覆蓋範圍時,從攝影機210拍攝的、包括該標定車輛300的圖像中,可以很容易識別出特定標識物310及其尺寸位置。為了讓攝影機210更容易地拍攝到特別標識物310,可以將標識物310安裝在標定車輛300的頂部前端,並且容朝向攝影機方向,這樣,標定車輛300進入路側感知設備200的覆蓋範圍時,就可以拍攝到在標識物310並確定其尺寸。可選地,也可以將標識物310安裝在標定車輛300的頂部後端,這樣在標定車輛300離開路側感知設備200的覆蓋範圍時,也可以拍攝到標識物310。本發明不受限於標識物310在標定車輛300上的安裝位置和數量,所有可以讓攝影機210拍攝到標識物310的方式都在本發明的保護範圍之內。
標定車輛300具有定位設備320來提供其地理位置資訊。當標定車輛300進入路側感知設備200的覆蓋範圍而與路側感知設備200建立通信之後,可以將其當前地理位置資訊發送給路側感知設備200。根據一種實施方式,標定車輛300可以定時將其當前地理位置資訊發送給路側感知設備200。這樣路側感知設備200可以基於攝影機210所拍攝的圖像和/或視頻和從標定車輛300接收到的位置資訊,執行下面參考圖4和/或5所描述的方法來對攝影機210進行標定。
圖2示出了根據本發明一個實施方式的路側感知設備200的示意圖。如圖2所示,路側感知設備200包括攝影機210、通信單元220、感測器組230、儲存單元240和計算單元250。
路側感知設備200和進入其覆蓋範圍的各個車輛110進行通信,以便為車輛110提供駕駛相關資訊,給標定車輛300發送啟動和停止標定信號,從標定車輛300接收其當前地理位置資訊,以及從車輛110接收該車輛的車輛行駛資訊。同時路側感知設備200也需要和伺服器以及周邊的其它路側感知設備200進行通信。通信單元220為路側感知設備200提供了通信功能。通信單元220可以採用各種通信方式,包括但不限於乙太網、V2X、5G、4G和3G移動通信等,只要這些通信方式可以以儘量小的時間延遲完成資料通信即可。
攝影機210可以拍攝在路側感知設備200覆蓋範圍之內的道路140以及在道路140上的各種對象。這些對象包括在道路140上行駛的車輛110和各種路邊的行人130等。攝影機210的位置和拍攝方向一般在路側感知設備200部署在道路上之後就固定了。根據本發明的一種實施方式,路側感知設備200可以包括多個攝影機210,以便對不同方向進行拍攝。攝影機210的拍攝範圍覆蓋整個道路140,並產生視頻流並且將視頻流儲存到儲存單元240中以進行後續處理。例如在對攝影機210進行標定時,可以在將路側感知設備200發出啟動標定命令時刻和標定結束時刻之間的視頻流進行專門儲存以便後續進行下面參考圖4和5所述的攝影機標定處理。
感測器組230包括有各種除了攝影機之外的其它感測器,例如諸如毫米波雷達232、雷射雷達234之類的雷達感測器和諸如紅外線探頭236之類的圖像感測器等。對於同一對象,各種感測器可以獲得該對象的不同屬性,例如雷達感測器可以進行對象速度和加速度測量,而圖像感測器可以獲得對象外形和相對角度等。
感測器組230利用各個感測器對覆蓋區域內的道路靜態情況(車道線、護欄、隔離帶、路邊停車位、道路坡度和傾斜度、道路積水和積雪等)和動態情況(行駛車輛110、行人和抛灑物)進行採集感知,並且將各個感測器採集和感知的資料儲存到儲存單元240中。
計算單元250可以對各感測器所感知的資料進行融合以形成該段道路的道路資料,並也將道路資料儲存在儲存單元240中。另外,計算單元250還可以在道路資料的基礎上繼續進行資料分析,識別出其中的一個或者多個車輛和車輛運動資訊,進一步確定針對車輛110的駕駛相關資訊。這些資料和資訊都可以儲存在儲存單元240中。
本發明並不受限於融合各個感測器的資料以形成道路資料的具體方式。只要道路資料中包含了在該道路位置預定範圍內各種對象的靜態和動態資訊,則該方式就在本發明的保護範圍之內。
計算單元240還可以對攝影機210所拍攝的標定車輛300的圖像(例如,對儲存單元250中儲存的標定視頻)和從標定車輛300接收到的地理位置資訊進行處理,以實現下面參考圖4和5描述的攝影機標定方法。
可選地,路側感知設備200還包括定位設備260。定位設備260提供了路側感知設備200的地理位置資訊,由於感知設備200要為道路140上高速行駛的車輛110提供輔助駕駛功能,所以感知設備200的位置必須是高精度的。可以有多種方式來實現定位設備260。根據一個實施方式,定位設備260可以實現為利用全球衛星導航系統(GNSS)來確定高精度位置的高精度GPS設備。根據本發明的一種實施方式,考慮到攝影機210和路側感知設備200非常接近,可以將攝影機210的地理位置資訊設置為定位設備260所提供的地理位置資訊。本發明不受限於此,還可以在攝影機210中嵌入定位元設備來提供攝影機210的地理位置資訊。
圖3示出了根據本發明一個實施方式的標定車輛300的示意圖。如圖3所示,標定車輛300包括標識物310、通信單元320、計算單元330和定位設備340。
如上參考圖1和2所述,標定車輛300和其它車輛一樣,當在路側感知設備200所覆蓋的道路範圍內行駛時,可以和路側感知設備200進行通信,以便從路側感知設備200獲得有關道路和行駛的輔助資訊,如前方路障和車輛避嫌等,同時還可以將車輛300的運行狀態等資訊發送給路側感知設備200,以方便路側感知設備200進行道路資料處理。另外,標定車輛300還可以從路側感知設備200接收開始標定和結束標定指令,以便讓標定車輛300進入標定狀態和退出標定狀態。當標定車輛300進入標定狀態時,標定車輛300可以將其當前地理位置資訊發送給路側感知設備200。根據一種實施方式,標定車輛300可以定時將其當前地理位置資訊發送給路側感知設備200。
通信單元320為標定車輛300提供了通信功能。通信單元320可以採用各種通信方式,包括但不限於乙太網、V2X、5G、4G和3G移動通信等,只要這些通信方式可以以儘量小的時間延遲完成資料通信即可。
標識物310佈置在標定車輛300上並具有顯著的可視特徵,以便當標定車輛300進入路側感知設備200的覆蓋範圍內時,標識物310可以很容易地讓攝影機310拍攝到,並且可以在攝影機310拍攝的圖像中被識別出並進行後續處理。例如標識物310可以是一面旗幟、和標定車輛300的顏色差異比較大的牌子、以及車牌等。根據一種實施方式,標識物310可以安裝在標定車輛300的頂部前端,並且將顯示內容朝向攝影機方向。根據另一種實施方式,也可以將標識物310安裝在標定車輛300的頂部後端。這樣在標定車輛300進入或者離開路側感知設備200的覆蓋範圍時,都可以拍攝到在標識物310。本發明不受限於標識物310在標定車輛300上的安裝位置和數量,所有可以讓攝影機210拍攝到標識物310的方式都在本發明的保護範圍之內。
類似於路側感知設備200中的定位設備260,標定車輛300也包括定位設備340。定位設備340提供了標定車輛300的地理位置資訊。根據標定精度的要求,定位設備340的位置必須是高精度的。可以有多種方式來實現定位設備340。根據一個實施方式,定位設備340可以實現為利用全球衛星導航系統(GNSS)來確定高精度位置的高精度GPS設備。定位設備340在獲得高精度GPS座標的同時,還可以獲得與該GPS座標對應的時間資訊。為此,路側感知設備內部具有精確的守時單元。根據一種實施方式,守時單元可以選用高精度恆溫晶體振盪器,使裝置守時準確度優於7*10-9
,即在外部時間基準異常的情況下,每天時鐘走時誤差不超過0.6mS。
標定車輛300的體積通常遠大於定位設備340的尺寸,因此在攝影機210所拍攝的圖像中,標定車輛300一般佔據圖像中的一個區域。定位設備340提供的是定位設備340本身的地理位置資訊。當選擇標定車輛300所佔據的拍攝圖像區域中的一個點的像素座標和地理位置座標進行對應時,會產生誤差。為此,根據一種實施方式,可以將定位設備340佈置為緊貼標識物310,並且選擇標識物310在攝影機210拍攝圖像中的像素座標做為標定車輛300的像素座標,從而減少了因此產生的誤差。根據進一步的實施方式,將定位設備340佈置為緊貼標識物310的中心,並選擇標識位元310在攝影機210拍攝圖像中的圖像區域的中心點的像素座標做為標定車輛300的像素座標,從而可以進一步提高地理位置資訊和圖像位置資訊之間的匹配程度。
標定車輛300還包括計算單元330。計算單元330控制標定車輛300的標定操作。根據本發明的一種實施方式,在標定車輛300行駛進入路側感知設備200所覆蓋的道路區域中時,計算單元330經由通信單元320接收到來自路側感知設備200的啟動標定指令,從定位設備340獲取當前的地理位置資訊,並將當前的地理位置資訊連同當前時刻發送費路側感知設備200。根據一種實施方式,計算單元330還可以在接收到啟動標定指令之後,指示定位設備340定時(例如每秒鐘一次,或者每0.5秒一次)獲取當前的地理位置資訊,並且將當前的地理位置資訊連同當前時刻發送費路側感知設備200。路側感知設備200的攝影機210拍攝帶有標識物310的標定車輛300,並可以在標定車輛300離開攝影機210拍攝範圍時,發結束標定指令給標定車輛300,以便由計算單元300控制停止發送標定車輛300的當前地理位置資訊。
標定車輛300可以逐個車道或者來回地通過感知設備200覆蓋的道路區域,從而讓攝影機210拍攝多段標定視頻並儲存到儲存單元250中,以便由計算單元240執行下面參考圖4和5描述的攝影機標定方法,來對攝影機210進行標定。
圖4示出了根據本發明一個實施方式的攝影機標定方法400的示意圖。攝影機標定方法400適於在圖2所示的路側感知設備200中執行,特別是在路側感知設備200的計算單元240中執行,以便對攝影機210進行標定。
如圖4所述,方法400始於步驟S410。在步驟S410中,獲取至少一張攝影機210拍攝的圖像。可以從儲存單元250獲取所儲存的標定視頻做為要在步驟S410中獲取的圖像。圖像中應當包括標定車輛300的圖像。根據一種實施方式,圖像中應當包括標識物310。這樣後續可以從圖像中識別出標識車輛300和/或標識物310。
隨後,在步驟S420中,接收標定車輛300的地理位置資訊。在標定車輛300進入路側感知設備200的覆蓋範圍的道路上並開始進入標定狀態時,標定車輛300將其當前的地理位置資訊發送給路側感知設備。因此在步驟S420中,所接收到的標定車輛300的地理位置資訊還包括獲取該地理位置資訊的獲取時間。
根據一種實施方式,地理位置資訊為三維位置資訊,為每個位置確定一個唯一的位置點。因此,根據一種實施方式,地理位置資訊為世界座標資訊。世界座標為全球中的每個位置定義一個唯一座標值的坐標系統,其示例包括當不限於全球定位系統(GPS)、北斗系統和伽利略系統定義下的世界座標值。本發明不受限於具體的時間坐標系統,所有可以為標定車輛300提供唯一世界座標資訊的坐標系統都在本發明的保護範圍之內。
隨後,在步驟S430中,進行圖像資訊和地理位置資訊融合的處理。具體而言,對於在步驟S410中獲得的多張圖像,選擇其拍攝時間與在步驟S420所接收的地理位置資訊的獲取時間相同的圖像,並從所選擇的圖像中提取標定車輛300在該圖像中的圖像位置資訊。
根據一種實施方式,如果在步驟S410中獲取的多張圖像是以預定時間間隔拍攝的圖像,則可以選擇拍攝時間和步驟S420中的獲取時間相同,或者差距在預定閾值內的圖像。
根據另一種實施方式,如果在步驟S410中獲取的是一段視頻,則可以根據在步驟S420的獲取時間,從步驟S410所獲取的視頻中截取與該步驟S420的獲取時間相對應的視頻幀,做為要選擇的圖像。
可選地,如果未能在步驟S410中獲得的圖像中找到與步驟S420的獲取時間相匹配的圖像,則可以放棄步驟S410和S420的當前處理,並重新開始在步驟S410的處理,直到找到時間相匹配的圖像資訊和地理位置資訊為止。
在找到圖像之後,提取標定車輛300在圖像中的圖像位置資訊。存在有多種方法在攝影機310所拍攝的圖像中識別標定車輛300和/或標識物310。根據一種實施方式,可以利用包括卷積神經網路方式在內的各種深度學習方法來進行圖像識別。也可以採用其它根據圖像特徵來提取圖像對象的影像處理方法。本發明不受限於進行圖像識別的具體方式,所有可以對圖像中的標定車輛300和/或標識物310進行識別的方式都在本發明的保護範圍之內。
所識別的標定車輛300等對象佔據圖像中的一個圖像區域。根據本發明的一種實施方式,對象的圖像位置資訊為該對象在圖像所處平面上的二維位置資訊。根據本發明的一個實施例,可以獲取標定車輛300的圖像區域的像素座標資訊做為該對象的圖像位置資訊。進一步的,可以將該圖像的像素座標原點設置為圖像的左上角處,將該圖像區域相對原點的二維像素值做為標定車輛300的圖像區域的像素座標資訊。根據進一步的實施例,當標定車輛300中的定位設備340靠近標識物310的中心佈置的情況下,可以獲取標識物310的像素座標資訊、進一步地,獲取標識物310所對應的圖像區域的中心點的像素座標資訊做為該標定車輛300的像素座標資訊,此時,這個位置最接近定位設備340的物理位址。
在步驟S430中進行了標定車輛300的的圖像位置資訊和地理位置資訊的資訊融合之後,在步驟S440中,根據所提取的圖像位置資訊和地理位置資訊對攝影機210進行標定,以便基於標定結果,為該攝影機210拍攝的圖像中的各個對象確定其地理位置資訊。
根據本發明的一種實施方式,標定處理是為了查找在圖像位置資訊和地理位置資訊之間的映射關係,當圖像位置資訊為二維資訊而地理位置資訊為三維資訊時,標定處理的目的是為了查找在二維和三維資訊之間的映射關係。
如上在步驟S430中描述的那樣,根據一種實施方式,標定車輛300在每張圖像中的圖像位置資訊和地理位置資訊構成了像素座標資訊和世界座標資訊對。在步驟S440中,根據像素座標資訊和世界座標資訊對來構造轉換矩陣。轉換矩陣可以最小的誤差來將像素座標轉換為世界座標。
存在有多種方式來構造轉換矩陣。構造轉換矩陣就變成了查找一個轉換矩陣,其代表了從由標定車輛300在道路上的各個位置所構成的平面到攝影機210的拍攝圖像或者視頻所對應的平面之間的映射關係。
可選地,在構造轉換矩陣時,還可以先獲取攝影機210的地理位置資訊,攝影機210採用與標定車輛300相同的世界坐標系統來表徵其位置。如上參考圖1和2所述,可以利用路側感知設備200的定位設備260來為攝影機210獲取其地理位置。
根據一種實施方式,轉換矩陣T為3*3的矩陣,而標定車輛300的像素座標A和世界座標W、以及攝影機210的地理座標B為1*3的陣列。構造轉換矩陣T就變成了在已知有多組(A,W,B)的情況下,查找這樣的矩陣T,滿足:
A*T + B = W
並使整體的誤差最小。可以存在有多種計算方法來計算這樣的T,本發明不受限於具體的計算方法,所有可以計算得到轉換矩陣T的方式都在本發明的保護範圍之內。
根據一種實施方式,可以將地理位置資訊的原點設置在攝影機210所在的地理位置處,即將攝影機210位置設置為世界座標的原點。這樣可以根據標定車輛300和攝影機210的相對位置先對標定車輛300的世界座標值進行處理,即先進行W’=W-B的處理,而後再根據條件:
A*T = W’
來構造轉換矩陣T,從而可以簡化求解轉換矩陣T的處理。
根據另一種實施方式,考慮到在路側感知設備200的覆蓋範圍內的道路段基本為在同一個平面中的道路,可以將標定車輛300的世界座標值W中的高度值設置為一個固定值,例如固定為0,從而可以進一步簡化求解轉換矩陣T的處理過程。
在步驟S440中獲得轉換矩陣T而完成了對攝影機210的標定之後,可以利用標定結果,例如轉換矩陣T用於後續處理。例如當攝影機210拍攝到其它正常行駛的車輛110時,可以根據該車輛110在所拍攝圖像中的像素座標位置來確定該車輛110的地理位置,從而可以在該車輛110發生事故時,確定該車輛110的事故現場物理位置。根據另一種實施方式,還可以例如準確地判斷該車輛和其它車輛或者障礙物之間的相對物理距離,以提醒車輛110,進而輔助該車輛110的行駛。
根據一種實施方式,為了讓標定結果更加準確,在步驟S440中需要基於多個標定車輛300的圖像位置資訊和地理位置資訊配對來進行攝影機210的標定。根據一種實施方式,可以在步驟S420中從標定車輛300獲取多個在不同時刻的標定車輛300的地理位置資訊,並在步驟S430中,從步驟S410所獲取的多個圖像中分別查找與這多個不同時刻中的一個或者多個時刻相對應的圖像,以構成多個在同一時刻的標定車輛300的圖像位置資訊和地理位置資訊配對,從而可以在步驟S440中基於多個配對來進行攝影機210的標定。
根據一種實施方式,在步驟S410中獲取的是一段或者多段視頻的情況下,在步驟S430中,可以為在步驟S420所獲取的多個不同時刻的地理位置資訊,從該視頻中截取分別與這些時刻相對應的視頻幀,並構造多個圖像位置資訊和地理位置資訊的配對。
可選地,在步驟S430中所構造的配對數量大於在步驟S440中用於標定所需要的配對數量。在步驟S440中,可以從步驟S430所構造的配對中選擇適合用於標定的配對。根據一種實施方式,在步驟S440中,可以選擇標定車輛300分別位於攝影機拍攝範圍內的四個角落的至少四個圖像或者至少6-8個圖像以及相應的地理位置資訊配對。可選地,在步驟S440中,可以獲取更多張的圖像,並且讓標定車輛300在這些圖像中較為均勻地散佈在圖像的各個位置。本發明不受限於要獲取的圖像具體數量和標定車輛300在圖像中的具體位置,只要可以根據圖像的數量和標定車輛300在圖像中的位置獲得足夠的地理位置和圖像位置資訊,以便對攝影機310進行標定,則這樣的圖像數量和標定車輛300的位置都在本發明的保護範圍之內。
根據另一種實施方式,可以先將攝影機210的拍攝範圍劃分為多個區域,並針對每個區域分別進行標定,即構造適用於該區域的轉換矩陣。具體而言,在步驟S410中,從攝影機210所獲取的圖像應當足夠多,並滿足在每個所劃分的區域中都具有相應的標定車輛300在其中的圖像被獲取到。在步驟S420接收到在多個時刻獲取的標定車輛300的地理位置資訊。根據一種實施方式,可以接收定時從標定車輛300發送過來的地理位置資訊,例如每隔0.5秒或者1秒等。這個時間間隔可以根據標定車輛300的行駛速度來確定,行駛速度越快,時間間隔越小,反之亦然。在步驟S430中,根據所劃分的每個區域,選擇進行融合的圖像位置資訊和地理位置資訊,並在步驟S440中,針對每個區域進行攝影機210的標定。例如,為每個區域構造轉換矩陣。這樣,當攝影機210拍攝到其它正常行駛的車輛110時,可以根據該車輛110在所拍攝圖像中的像素座標位置來確定該車輛110位於哪個區域之內,隨後利用該區域的標定結果如轉換矩陣將該車輛的像素座標位置轉換為該車輛110的地理位置資訊。這種將攝影機210的拍攝範圍劃分為多個區域而分別進行標定的方法可以提高每個區域的標定精度,對於路側感知設備200佈置在崎嶇不平道路上的情況,這種方式有助於提高標定精度。
根據圖4所描述的標定方法,可以透過讓標定車輛300通過路側感知設備200所覆蓋的區域幾次,就可以完成對路側感知設備200中的攝影機210的標定。這種方式非常簡單,而且不會對道路上其它車輛的行駛造成影響。為此,當攝影機210的拍攝角度因為各種原因發生改變時(例如,颱風或者路側感知設備200被車輛撞了而重新佈置時),可以很容易就對攝影機210進行重新標定。
在參考圖4所述的攝影機標定方法400中,步驟S410和S420的順序可以發生改變。例如,標定車輛300在進行路側感知設備200的覆蓋範圍之後,就給路側感知設備200發送其地理位置資訊,而路側感知設備200在接收到地理位置資訊時就開始截取攝影機310所拍攝的視頻,並在檢測到標定車輛300離開其覆蓋範圍時,結束視頻截取,並將截取的視頻儲存為標定視頻。
步驟S410和S420幾乎同時開始執行,從而提高步驟S430中的資訊融合成功的可能性。
參考圖4所述的攝影機標定方法400以在道路上行駛的標定車輛300的具體形式為例進行了描述,應當注意的是,本發明不受限於標定車輛300這種特定形式,所有具有顯示設備來顯示其地理位置資訊的對象,都可以用於對攝影機進行標定而沒有超出本發明的保護範圍。
圖5示出了根據本發明另一個實施方式的攝影機標定方法500的示意圖。圖5所示的攝影機標定方法500是圖4所示的攝影機標定方法400的進一步發展,因此與圖4所示方法400中的步驟相同或者相似的步驟可以採用相同或者相似的標號表示,並表示基本相同或者相似的處理,並不再進行贅述。
如圖5所示,在步驟S430對攝影機210進行標定並獲得標定結果(例如,根據本發明的一種實施方式,獲得了轉換矩陣)之後。在步驟S510-S540中,對標定結果進行驗證。具體而言,在步驟S510中,透過攝影機210獲取包含標定車輛300的圖像。如上在步驟S410中所描述的那樣,在該圖像中,可以容易地識別出標定車輛300或者標識物310。根據一種實施方式,可以透過攝影機210來拍攝包括標定車輛300的一段視頻。
隨後,在步驟S520中,接收標定車輛300發送過來的地理位置資訊。標定車輛300在攝影機210完成標定之後的某個時刻,或者在定期對攝影機210的標定結果進行驗證時,將其地理位置資訊發送給標定車輛300。
在步驟S530中,針對步驟S520獲得的地理位置資訊和步驟S510獲得的圖像資訊進行資訊融合。步驟S530的處理和步驟S430中的描述相同,這裡不再進行贅述。
隨後,在步驟S540中,根據在步驟S430獲得的標定結果來為步驟S530獲得的標定車輛300的圖像位置資訊計算標定車輛300的地理位置資訊。根據一種實施方式,標定結果為轉換矩陣,而步驟S530獲得的標定車輛300的圖像位置資訊為標定車輛300在圖像中的像素座標資訊。可以利用轉換矩陣和像素座標來計算得到世界座標資訊。隨後在步驟S550中,將步驟S540計算得到的世界座標資訊和在步驟S520中獲得世界座標資訊進行比較,以確定二者之間的差異。可以有各種方式來計算兩個座標值之間的差異,例如可以計算兩個座標點之間的距離,或者幾個座標點的均方值等形式。如果在步驟S550中確定在步驟S540計算得到的地理位置資訊和步驟S520獲取的地理位置資訊的差異超過預定閾值,則可以認為先前的標定結果是存在問題的,則可以返回到步驟S410重新開始標定。也可以在獲得標定結果一定時間之後,執行步驟S510到S550中的處理,以在步驟S550確定差異超過預定閾值時,重新開始進行標定。
根據本發明的標定方案,透過資訊融合,可以同步攝影機拍攝到的標定車輛的圖像位置資訊和在該時刻的標定車輛的地理位置資訊,並可以基於這兩種資訊來計算標定結果。這種方式可以獲得在同一時刻的地理位置資訊和圖像位置資訊,減少了由於通信傳輸的延遲而造成的二者不一致的問題,提高了標定的準確度。
另外,根據本發明的標定方案,可以利用具有標識物和定位設備的標定車輛以正常速度通過路側感知設備的攝影機所覆蓋的道路,就可以完成標定,這對於需要不時重新進行標定,或者比較繁忙的道路來說,顯著減少了由於標定而導致的交通問題。
應當理解,為了精簡本公開並幫助理解各個發明態樣中的一個或多個,在上面對本發明的示例性實施例的描述中,本發明的各個特徵有時被一起分組到單個實施例、圖、或者對其的描述中。然而,並不應將該公開的方法解釋成反映如下意圖:即所要求保護的本發明要求比在每個申請專利範圍中所明確記載的特徵更多特徵。更確切地說,如下面的申請專利範圍所反映的那樣,發明態樣在於少於前面公開的單個實施例的所有特徵。因此,遵循具體實施方式的申請專利範圍由此明確地併入該具體實施方式,其中每個申請專利範圍本身都作為本發明的單獨實施例。
本領域那些技術人員應當理解在本文所公開的示例中的設備的模組或單元或元件可以佈置在如該實施例中所描述的設備中,或者可替換地可以定位在與該示例中的設備不同的一個或多個設備中。前述示例中的模組可以組合為一個模組或者此外可以分成多個子模組。
本領域那些技術人員可以理解,可以對實施例中的設備中的模組進行自適應性地改變並且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模組或單元或元件組合成一個模組或單元或元件,以及此外可以把它們分成多個子模組或子單元或子元件。除了這樣的特徵和/或過程或者單元中的至少一些是相互排斥之外,可以採用任何組合對本說明書(包括伴隨的申請專利範圍、摘要和附圖)中公開的所有特徵以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述,本說明書(包括伴隨的申請專利範圍、摘要和附圖)中公開的每個特徵可以由提供相同、等同或相似目的的替代特徵來代替。
此外,本領域的技術人員能夠理解,儘管在此所述的一些實施例包括其它實施例中所包括的某些特徵而不是其它特徵,但是不同實施例的特徵的組合意味著處於本發明的範圍之內並且形成不同的實施例。例如,在下面的申請專利範圍中,所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
此外,所述實施例中的一些在此被描述成可以由電腦系統的處理器或者由執行所述功能的其它裝置實施的方法或方法元素的組合。因此,具有用於實施所述方法或方法元素的必要指令的處理器形成用於實施該方法或方法元素的裝置。此外,裝置實施例的在此所述的元素是如下裝置的例子:該裝置用於實施由為了實施該發明的目的的元素所執行的功能。
如在此所使用的那樣,除非另行規定,使用序數詞“第一”、“第二”、“第三”等等來描述普通對象僅僅表示涉及類似對象的不同實例,並且並不意圖暗示這樣被描述的對象必須具有時間上、空間上、排序方面或者以任意其它方式的給定順序。
儘管根據有限數量的實施例描述了本發明,但是受益於上面的描述,本技術領域內的技術人員明白,在由此描述的本發明的範圍內,可以設想其它實施例。此外,應當注意,本說明書中使用的語言主要是為了可讀性和教導的目的而選擇的,而不是為了解釋或者限定本發明的主題而選擇的。因此,在不偏離所附申請專利範圍的範圍和精神的情況下,對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。對於本發明的範圍,對本發明所做的公開是說明性的,而非限制性的,本發明的範圍由所附申請專利範圍限定。
100:智慧交通系統
110:車輛
130:行人
140:道路
150:車道
200:路側感知設備
210:攝影機
220:通信單元
230:感測器組
232:毫米波雷達
234:雷射雷達
236:紅外線探頭
240:儲存單元
250:計算單元
260:定位設備
300:車輛
310:標識物
320:通信單元
330:計算單元
340:定位設備
400:方法
S410~S440:方法步驟
500:方法
S510~S550:方法步驟
為了實現上述以及相關目的,本文結合下面的描述和附圖來描述某些說明性態樣,這些態樣指示了可以實踐本文所公開的原理的各種方式,並且所有態樣及其等效態樣旨在落入所要求保護的主題的範圍內。透過結合附圖閱讀下面的詳細描述,本公開的上述以及其它目的、特徵和優勢將變得更加明顯。遍及本公開,相同的附圖標記通常指代相同的部件或元素。
[圖1]示出了根據本發明一個實施方式的智慧交通系統的示意圖;
[圖2]示出了根據本發明一個實施方式的路側感知設備的示意圖;
[圖3]示出了根據本發明一個實施方式的標定車輛的示意圖;
[圖4]示出了根據本發明一個實施方式的攝影機標定方法的示意圖;以及
[圖5]示出了根據本發明另一個實施方式的攝影機標定方法的示意圖。
100:智慧交通系統
130:行人
140:道路
150:車道
200:路側感知設備
210:攝影機
310:標識物
Claims (20)
- 一種對攝影機進行標定的方法,包括步驟: 獲取該攝影機拍攝的多張圖像,該圖像中包括目標對象的圖像; 接收該目標對象在第一時刻的地理位置資訊; 從該多張圖像中選擇在該第一時刻拍攝的圖像,並從所選擇的圖像中提取該目標對象在該圖像中的圖像位置資訊;以及 根據所提取的圖像位置資訊和所接收的地理位置資訊,對該攝影機進行標定,以便基於標定結果,根據該攝影機所拍攝的圖像來確定在該攝影機拍攝範圍內的各個對象的地理位置資訊。
- 如請求項1所述的方法,其中所述獲取該攝影機拍攝的多張圖像的步驟包括獲取該攝影機拍攝的視頻,該視頻中包括該目標對象的圖像;以及 所述從多張圖像中選擇在該第一時刻拍攝的圖像包括從該視頻中截取在該第一時刻處的視頻幀做為所選擇的圖像。
- 如請求項2所述的方法,其中所述接收目標對象在第一時刻的地理位置資訊的步驟包括接收該目標對象在多個第一時刻的地理位置資訊; 所述從多張圖像中選擇在該第一時刻拍攝的圖像的步驟包括從該視頻中截取分別在該多個第一時刻處的多個視頻幀做為所選擇的圖像,以便構造多個圖像位置資訊和地理位置資訊配對;以及 所述根據所提取的圖像位置資訊和所接收的地理位置資訊對攝影機進行標定包括根據所構造的多個圖像位置資訊和地理位置資訊配對來進行標定。
- 如請求項3所述的方法,其中所述從該視頻中截取分別在該多個第一時刻處的多個視頻幀做為所選擇的圖像包括獲取至少四張圖像,其中該至少四張圖像包括該目標對象分別位於四個邊緣位置處的圖像。
- 如請求項1-4中任一項所述的方法,還包括步驟: 將該攝影機的拍攝範圍劃分為多個區域; 所述獲取該攝影機拍攝的多張圖像包括:對於該多個區域中的每個區域,獲取該目標對象在該區域中的圖像;以及 所述根據圖像位置資訊和地理位置資訊對該攝影機進行標定的步驟包括根據針對每個區域所獲得的圖像位置資訊和地理位置資訊對該每個區域進行標定。
- 如請求項1所述的方法,所述從所選擇的圖像中提取該目標對象在該圖像中的圖像位置資訊的步驟還包括: 提取該目標對象中的特定標識物在該圖像中的圖像位置資訊做為該目標對象在該圖像中的圖像位置資訊。
- 如請求項6所述的方法,其中該目標對象具有適於提供地理位置資訊的定位設備,該定位設備靠近該特定標識物佈置。
- 如請求項1所述的方法,還包括步驟: 獲取該攝影機的地理位置資訊;以及 所述對攝影機進行標定的步驟還包括:根據該圖像位置資訊、該目標對象的地理位置資訊以及該攝影機的地理位置資訊來對該攝影機進行標定。
- 如請求項8所述的方法,其中該目標對象在該圖像中的圖像位置資訊包括該目標對象在該圖像中的二維位置資訊,該目標對象的地理位置資訊包括該目標對象的三維位置資訊, 所述對攝影機進行標定的步驟包括建立該目標對象的該二維位置資訊和該三維位置資訊之間的映射關係。
- 如請求項9所述的方法,其中該目標對象在該圖像中的圖像位置資訊包括該目標對象在該圖像中的像素座標資訊,該目標對象的地理位置資訊包括該目標對象的世界座標資訊,該攝影機的地理位置資訊包括該攝影機的世界座標資訊;以及 所述對攝影機進行標定的步驟包括根據該目標對象的像素座標資訊、該目標對象的世界座標資訊、和該攝影機的世界座標資訊來構造轉換矩陣,以便利用該轉換矩陣來將該攝影機所拍攝圖像中的像素座標轉換為世界座標。
- 如請求項10所述的方法,該構造轉換矩陣的步驟包括: 以該攝影機的世界座標為座標原點,對該目標對象的世界座標資訊進行處理;以及 利用該目標對象處理後的世界座標資訊和該目標對象的像素座標資訊來構造該轉換矩陣。
- 如請求項10或者11所述的方法,該構造轉換矩陣的步驟包括: 將該目標對象的世界座標資訊中的高度座標值設置為固定值。
- 如請求項1所述的方法,在對該攝影機進行標定之後,還包括步驟: 新獲取該攝影機拍攝的多張圖像,該圖像中包括目標對象的圖像; 接收該目標對象在第二時刻的地理位置資訊; 從該多張圖像中選擇在該第二時刻拍攝的圖像,並從所選擇的圖像中提取該目標對象在該圖像中的圖像位置資訊; 基於該標定結果,以便根據該目標對象在該圖像中的圖像位置資訊來計算該目標對象的地理位置資訊;以及 根據該計算的地理位置資訊和所接收的地理位置資訊的差異來對該標定結果進行驗證。
- 如請求項1所述的方法,其中: 該攝影機包含在路側感知設備中,以及 該目標對象為標定車輛,該標定車輛在該路側感知設備所覆蓋的道路上行駛,並定時將該標定車輛的地理位置資訊發送給該路側感知設備。
- 一種路側感知設備,部署在道路位置處,包括: 攝影機,適於拍攝該道路上的各個對象; 計算單元,適於執行如請求項1-14中任一個所述的方法,以便對該攝影機進行標定。
- 如請求項15所述的路側感知設備,其中該計算單元還適於根據標定結果來確定該攝影機拍攝的各個對象的地理位置資訊。
- 一種智慧交通系統,包括: 如請求項15或者16所述的路側感知設備,部署在道路位置處;以及 標定車輛,適於在該道路上行駛,該標定車輛適於向該路側感知設備發送該標定車輛的當前地理位置資訊。
- 如請求項17所述的系統,其中該標定車輛包括: 標識物,便於在圖像中進行識別;以及 定位設備,靠近該標識物佈置,並適於提供該標定車輛的地理位置資訊;以及 通信單元,適於和該路側感知設備進行通信,以便向該路側感知設備發送該標定車輛的當前地理位置資訊。
- 如請求項17或者18所述的系統,還包括: 正常車輛,適於在該道路上行駛, 其中該路側感知設備的攝影機拍攝包含該正常車輛的圖像,並基於該路側感知設備中的計算單元的標定結果,來根據該正常車輛在該圖像中的圖像位置資訊來確定該正常車輛的地理位置資訊。
- 一種計算設備,包括: 至少一個處理器;和 儲存有程式指令的記憶體,其中,該程式指令被配置為適於由該至少一個處理器執行,該程式指令包括用於執行如請求項1-14中任一項所述方法的指令。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910244157.1A CN111754581A (zh) | 2019-03-28 | 2019-03-28 | 一种摄像头标定方法、路侧感知设备和智慧交通系统 |
CN201910244157.1 | 2019-03-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202036479A true TW202036479A (zh) | 2020-10-01 |
Family
ID=72610239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108143615A TW202036479A (zh) | 2019-03-28 | 2019-11-29 | 攝影機標定方法、路側感知設備和智慧交通系統 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN111754581A (zh) |
TW (1) | TW202036479A (zh) |
WO (1) | WO2020192464A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI774445B (zh) * | 2021-06-28 | 2022-08-11 | 萬旭電業股份有限公司 | 偵測鐵路上障礙物之毫米波雷達裝置 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230021721A1 (en) * | 2020-01-14 | 2023-01-26 | Kyocera Corporation | Image processing device, imager, information processing device, detector, roadside unit, image processing method, and calibration method |
CN112116031B (zh) * | 2020-10-29 | 2024-02-09 | 重庆长安汽车股份有限公司 | 基于路侧设备的目标融合方法、系统、车辆及存储介质 |
CN112419722B (zh) * | 2020-11-18 | 2022-08-30 | 百度(中国)有限公司 | 交通异常事件检测方法、交通管控方法、设备和介质 |
CN112598753B (zh) * | 2020-12-25 | 2023-09-12 | 南京市德赛西威汽车电子有限公司 | 一种基于路侧单元rsu信息的车载摄像头标定方法 |
CN112804481B (zh) * | 2020-12-29 | 2022-08-16 | 杭州海康威视系统技术有限公司 | 监控点位置的确定方法、装置及计算机存储介质 |
CN112950677A (zh) * | 2021-01-12 | 2021-06-11 | 湖北航天技术研究院总体设计所 | 图像跟踪仿真方法、装置、设备及存储介质 |
CN112836737A (zh) * | 2021-01-29 | 2021-05-25 | 同济大学 | 一种基于车路数据融合的路侧组合感知设备在线标定方法 |
CN112816954B (zh) * | 2021-02-09 | 2024-03-26 | 中国信息通信研究院 | 一种基于真值的路侧感知系统评测方法和系统 |
US11661077B2 (en) | 2021-04-27 | 2023-05-30 | Toyota Motor Engineering & Manufacturing North America. Inc. | Method and system for on-demand roadside AI service |
CN113382171B (zh) * | 2021-06-21 | 2023-03-24 | 车路通科技(成都)有限公司 | 一种交通摄像头自动校正方法、装置、设备及介质 |
CN113421330B (zh) * | 2021-06-21 | 2023-09-29 | 车路通科技(成都)有限公司 | 车路协同的道路三维场景构建方法、装置、设备及介质 |
CN113284194B (zh) * | 2021-06-22 | 2024-06-11 | 智道网联科技(北京)有限公司 | 多rs设备的标定方法、装置及设备 |
CN113658268B (zh) * | 2021-08-04 | 2024-07-12 | 智道网联科技(北京)有限公司 | 摄像头标定结果的验证方法、装置及电子设备、存储介质 |
CN113689695B (zh) * | 2021-08-11 | 2022-07-08 | 上海智能网联汽车技术中心有限公司 | 路侧感知系统的数据采集、可视化和标定的方法及系统 |
CN113702953A (zh) * | 2021-08-25 | 2021-11-26 | 广州文远知行科技有限公司 | 一种雷达标定方法、装置、电子设备和存储介质 |
CN113916259A (zh) * | 2021-09-30 | 2022-01-11 | 上海智能网联汽车技术中心有限公司 | 一种路侧传感器动态标定方法及介质 |
CN116972749B (zh) * | 2023-07-31 | 2024-07-02 | 神思电子技术股份有限公司 | 一种基于视觉差分的设施定位方法、设备及介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009076182A1 (en) * | 2007-12-13 | 2009-06-18 | Clemson University | Vision based real time traffic monitoring |
CN102867414B (zh) * | 2012-08-18 | 2014-12-10 | 湖南大学 | 一种基于ptz摄像机快速标定的车辆排队长度测量方法 |
US9185402B2 (en) * | 2013-04-23 | 2015-11-10 | Xerox Corporation | Traffic camera calibration update utilizing scene analysis |
CN106570907B (zh) * | 2016-11-22 | 2020-07-10 | 海信集团有限公司 | 一种相机标定方法及装置 |
CN107146256B (zh) * | 2017-04-10 | 2019-07-05 | 中国人民解放军国防科学技术大学 | 基于差分gps系统的外场大视场条件下的摄像机标定方法 |
CN107657815A (zh) * | 2017-10-26 | 2018-02-02 | 成都九洲电子信息系统股份有限公司 | 一种高效的车辆图像定位识别方法 |
CN107845060A (zh) * | 2017-10-31 | 2018-03-27 | 广东中星电子有限公司 | 地理位置与对应的图像位置坐标转换方法及系统 |
CN108447291B (zh) * | 2018-04-03 | 2020-08-14 | 南京锦和佳鑫信息科技有限公司 | 一种智能道路设施系统及控制方法 |
CN108769573A (zh) * | 2018-04-27 | 2018-11-06 | 淘然视界(杭州)科技有限公司 | 车辆数据采集方法及装置 |
CN108922188B (zh) * | 2018-07-24 | 2020-12-29 | 河北德冠隆电子科技有限公司 | 雷达跟踪定位的四维实景交通路况感知预警监控管理系统 |
-
2019
- 2019-03-28 CN CN201910244157.1A patent/CN111754581A/zh active Pending
- 2019-11-29 TW TW108143615A patent/TW202036479A/zh unknown
-
2020
- 2020-03-16 WO PCT/CN2020/079437 patent/WO2020192464A1/zh active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI774445B (zh) * | 2021-06-28 | 2022-08-11 | 萬旭電業股份有限公司 | 偵測鐵路上障礙物之毫米波雷達裝置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020192464A1 (zh) | 2020-10-01 |
CN111754581A (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020192464A1 (zh) | 一种摄像头标定方法、路侧感知设备和智慧交通系统 | |
WO2020192646A1 (zh) | 一种摄像头标定方法、路侧感知设备和智慧交通系统 | |
US10403138B2 (en) | Traffic accident warning method and traffic accident warning apparatus | |
EP3967972A1 (en) | Positioning method, apparatus, and device, and computer-readable storage medium | |
EP3598874B1 (en) | Systems and methods for updating a high-resolution map based on binocular images | |
WO2021004548A1 (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
CA3028653C (en) | Methods and systems for color point cloud generation | |
EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
US11971274B2 (en) | Method, apparatus, computer program, and computer-readable recording medium for producing high-definition map | |
CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
CN104573733B (zh) | 一种基于高清正射影像图的高精细地图生成系统及方法 | |
Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
WO2019007263A1 (zh) | 车载传感器的外部参数标定的方法和设备 | |
EP3349143B1 (en) | Nformation processing device, information processing method, and computer-readable medium | |
CN106257242A (zh) | 用于调节道路边界的单元和方法 | |
KR20200127218A (ko) | 자율 주행을 위한 약도 | |
EP3842735B1 (en) | Position coordinates estimation device, position coordinates estimation method, and program | |
JP2012185011A (ja) | 移動体位置測定装置 | |
CN113465608B (zh) | 一种路侧传感器标定方法及系统 | |
EP3995858A1 (en) | Information processing system, sensor system, information processing method, and program | |
JP2007011994A (ja) | 道路認識装置 | |
CN108195359B (zh) | 空间数据的采集方法及系统 | |
US11461944B2 (en) | Region clipping method and recording medium storing region clipping program | |
JP5435294B2 (ja) | 画像処理装置及び画像処理プログラム |