TWI823721B - 車道線識別方法及相關設備 - Google Patents
車道線識別方法及相關設備 Download PDFInfo
- Publication number
- TWI823721B TWI823721B TW111149032A TW111149032A TWI823721B TW I823721 B TWI823721 B TW I823721B TW 111149032 A TW111149032 A TW 111149032A TW 111149032 A TW111149032 A TW 111149032A TW I823721 B TWI823721 B TW I823721B
- Authority
- TW
- Taiwan
- Prior art keywords
- sliding window
- curve
- coordinate
- lane line
- current position
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012937 correction Methods 0.000 claims description 31
- 238000009499 grossing Methods 0.000 claims description 31
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 29
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本發明提供一種車道線識別方法及相關設備，所述方法包括：從左車道線初始位置開始在鳥瞰圖中移動第一滑動視窗，根據第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第一曲線，根據第一曲線以及第一滑動視窗在當前位置覆蓋的非零圖元點擬合成第二曲線，從右車道線初始位置開始在鳥瞰圖中移動第二滑動視窗，對於第二滑動視窗的每一次移動，根據第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第三曲線，根據第三曲線以及第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線。本申請能提高車道線識別的準確度。
Description
本發明涉及人工智慧技術領域，尤其涉及一種車道線識別方法及相關設備。
車道線檢測是無人駕駛或者輔助駕駛場景中的重要技術，車道線檢測是指對道路上的交通指示線(即車道線)進行檢測。目前，通常採用基於行分類的方法，基於行分類的方法檢測速度快，具有即時性，但是這類方法容易因為車道結構的相似性而過擬合，從而導致檢測準確率較低。
本申請實施例公開了一種車道線識別方法及相關設備，解決了車道線檢測精度較低的問題。
本申請提供一種車道線識別方法，所述方法包括：獲取車輛行駛過程中拍攝的第一前景圖像，將所述第一前景圖像轉換為鳥瞰圖；在所述鳥瞰圖中確定左車道線初始位置以及右車道線初始位置；從所述左車道線初始位置開始，在所述鳥瞰圖中移動第一滑動視窗，對於所述第一滑動視窗的每一次移動，根據所述第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第一曲線，根據所述第一曲線以及所述第一滑動視窗在當前位置覆蓋的非零圖元點擬合成第二曲線，其中，所述第一滑動視窗的移動根據所述第一曲線進行動態調整；從所述右車道線初始位置開始，在所述鳥瞰圖中移動第二滑動視窗，對於所述
第二滑動視窗的每一次移動，根據所述第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第三曲線，根據所述第三曲線以及所述第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線，其中，所述第二滑動視窗的移動根據所述第三曲線進行動態調整；根據所述第二曲線得到左車道線，根據所述第四曲線得到右車道線。
在一些可選的實施方式中，所述將所述第一前景圖像轉換為鳥瞰圖，包括：對所述第一前景圖像進行畸變校正，得到第一校正圖像；對所述第一校正圖像進行透視變換，得到所述鳥瞰圖。
在一些可選的實施方式中，所述對所述第一前景圖像進行畸變校正，得到第一校正圖像，包括：對所述第一前景圖像建立圖像座標系，獲取所述第一前景圖像中每個非零圖元點在所述圖像座標系中的第一座標；獲取拍攝所述第一前景圖像的相機模組的內參；根據所述內參確定所述第一座標對應的第二座標，其中，所述第二座標是無畸變座標；計算所述第一座標與所述第一前景圖像的中心座標點之間的畸變距離；根據所述第一前景圖像中每個圖元點的灰階值，計算所述第一前景圖像的圖像複雜度，根據所述圖像複雜度確定所述第一前景圖像的校正參數；根據預設的平滑處理函數，確定所述畸變距離和所述校正參數對應的平滑處理係數；根據所述平滑處理係數與所述第二座標對所述第一座標進行平滑校正，得到所述第一校正圖像。
在一些可選的實施方式中，所述根據所述平滑處理係數與所述第二座標對所述第一座標進行平滑校正，包括：根據所述平滑處理係數確定所述第一座標的第一權重和所述第二座標的第二權重；計算所述第一權重和所述第一座標的第一乘積，以及計算所述第二權重與所述第二座標的第二乘積；根據所述第一乘積和所述第二乘積之和對所述第一座標進行平滑校正。
在一些可選的實施方式中，所述對所述第一校正圖像進行透視變換，包括：將所述第一校正圖像中的每個非零圖元點作為目標點，利用座標轉換公式對所述目標點進行計算，得到逆透視變換矩陣；利用所述逆透視變換矩陣對
所述第一校正圖像進行透視變換。
在一些可選的實施方式中，所述的車道線識別方法還包括：獲取所述車輛行駛過程中拍攝的第二前景圖像，所述第二前景圖像在所述第一前景圖像的下一時刻拍攝；對所述第二前景圖像進行畸變校正，得到第二校正圖像；根據預設的擴展距離將所述左車道線向第一方向擴展，得到第一邊界；根據所述預設的擴展距離將所述右車道線向第二方向擴展，得到第二邊界；根據所述第一邊界以及所述第二邊界在所述第二校正圖像上進行區域劃分，確定所述第二校正圖像中車道線所在的區域。
在一些可選的實施方式中，所述根據所述第一曲線以及所述第一滑動視窗在當前位置覆蓋的非零圖元點擬合成第二曲線，包括：獲取所述第一曲線對應的非零圖元點；計算所述第一滑動視窗在當前位置覆蓋的非零圖元點的數量；若所述第一滑動視窗在當前位置覆蓋的非零圖元點的數量大於或等於預設閥值，將所述第一曲線對應的非零圖元點與所述第一滑動視窗在當前位置覆蓋的非零圖元點擬合成所述第二曲線。
在一些可選的實施方式中，所述根據所述第三曲線以及所述第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線，包括：獲取擬合成所述第三曲線對應的非零圖元點；計算所述第二滑動視窗在當前位置覆蓋的非零圖元點的數量；若所述第二滑動視窗在當前位置覆蓋的非零圖元點的數量大於或等於預設閥值，將所述擬合成所述第三曲線對應的非零圖元點與所述第二滑動視窗在當前位置覆蓋的非零圖元點擬合成所述第四曲線。
本申請還提供一種電子設備，所述電子設備包括處理器和記憶體，所述處理器用於執行所述記憶體中存儲的電腦程式時實現所述的車道線識別方法。
本申請還提供一種電腦可讀存儲介質，所述電腦可讀存儲介質上存儲有電腦程式，所述電腦程式被處理器執行時實現所述的車道線識別方法。
本申請提供的車道線識別方法及相關設備，將第一前景圖像轉換為
鳥瞰圖，在鳥瞰圖中確定左車道線初始位置以及右車道線初始位置，利用第一滑動視窗從左車道線初始位置開始移動，得到左車道線，利用第二滑動視窗從右車道線初始位置開始移動，得到右車道線。本申請能夠有效避免檢測車道線時出現過擬合的現象，提高車道線識別的準確度。
1:電子設備
11:儲存器
12:處理器
13:通訊匯流排
14:拍攝裝置
141:相機模組
S21~S25:步驟
A1:第一個位置
A2:第二個位置
A3:第三個位置
圖1是本申請實施例提供的電子設備的結構示意圖。
圖2是本申請實施例提供的車道線識別方法的流程圖。
圖3是擬合第二曲線的示意圖。
圖4是根據第二時刻車道線所在區域的示意圖。
為了便於理解，示例性的給出了部分與本申請實施例相關概念的說明以供參考。
需要說明的是，本申請中“至少一個”是指一個或者多個，“多個”是指兩個或多於兩個。“和/或”，描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B可以表示：單獨存在A，同時存在A和B，單獨存在B的情況，其中A，B可以是單數或者複數。本申請的說明書和請求項書及附圖中的術語“第一”、“第二”、“第三”、“第四”等(如果存在)是用於區別類似的物件，而不是用於描述特定的順序或先後次序。
為了更好地理解本申請實施例提供的車道線識別方法及相關設備，下面首先對本申請車道線識別方法的應用場景進行描述。
圖1為本申請實施例提供的電子設備1的結構示意圖。參閱圖1所示，所述電子設備1包括，但不限於，至少一個處理器12和拍攝裝置14。儲存器11、處理器12和拍攝裝置14之間可以藉由通訊匯流排13連接，也可以直接連接。所述電子設備1設置在車輛上，所述電子設備1可以是車載電腦。
在一些實施例中，所述電子設備1可包括拍攝裝置14(例如，攝像頭)以及所述拍攝裝置14內部的相機模組141，以拍攝車輛前方的多個圖像或視頻。圖1僅為示例性說明，在其他實施例中，所述電子設備1也可以不包括拍攝裝置，而是外接於拍攝裝置，例如，行車記錄器，或者是車輛內部的一個或多個拍攝裝置，從而直接從外接的拍攝裝置中獲取多個圖像或視頻。例如，電子設備1可以與車輛中的行車記錄器進行通信連接並獲取相應的圖像或視頻。
本領域技術人員應該瞭解，圖1示出的電子設備1的結構並不構成本發明實施例的限定，所述電子設備1還可以包括比圖1更多或更少的其他硬體或者軟體，或者不同的元件配置。
所述電子設備1中的處理器12可以在執行電腦程式時，實現下文將詳細介紹的車道線識別方法，所述電腦程式包括車道線識別程式。
圖2是本申請實施例提供的車道線識別方法的流程圖。所述車道線識別方法應用在電子設備(例如圖1中的電子設備1)中，能夠提高車道線識別的準確度，保障車輛行駛的安全性。根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。在本實施方式中，所述車道線識別方法包括以下步驟：
步驟S21，獲取車輛行駛過程中拍攝的第一前景圖像，將第一前景圖像轉換為鳥瞰圖。
第一前景圖像是車輛前方景象的圖像，第一前景圖像包括車輛所在的車道。在電子設備包括拍攝裝置的情況下，可以藉由電子設備的拍攝裝置獲取第一前景圖像。
在電子設備不包括拍攝裝置的情況下，可以藉由車輛上的拍攝裝置(例如行車記錄器)獲取第一前景圖像。
可以對車輛前方景象進行圖像拍攝，得到第一前景圖像。或者，可以對車輛前方景象進行視頻拍攝，從拍攝的視頻中獲取第一前景圖像。
在一實施例中，將第一前景圖像轉換為鳥瞰圖，包括：對第一前景
圖像進行畸變校正，得到第一校正圖像；對第一校正圖像進行透視變換，得到鳥瞰圖。
在一實施例中，對第一前景圖像進行畸變校正，得到第一校正圖像，包括：對第一前景圖像建立圖像座標系，獲取第一前景圖像中每個非零圖元點在圖像座標系中的第一座標；獲取拍攝第一前景圖像的相機模組的內參；根據內參確定第一座標對應的第二座標，其中，第二座標是無畸變座標；計算第一座標與第一前景圖像的中心座標點之間的畸變距離；根據第一前景圖像中每個圖元點的灰階值，計算第一前景圖像的圖像複雜度，根據圖像複雜度確定第一前景圖像的校正參數；根據預設的平滑處理函數，確定畸變距離和校正參數對應的平滑處理係數；根據平滑處理係數與第二座標對第一座標進行平滑校正，得到第一校正圖像。
在一實施例中，根據平滑處理係數與第二座標對第一座標進行平滑校正，包括：根據平滑處理係數確定第一座標的第一權重和第二座標的第二權重；計算第一權重和第一座標的第一乘積，以及計算第二權重與第二座標的第二乘積；根據第一乘積和第二乘積之和對第一座標進行平滑校正。
由於拍攝裝置拍攝時的角度、旋轉、縮放等問題，可能會導致第一前景圖像出現失真(即畸變)，需要對第一前景圖像進行畸變校正。
在本實施中，通常在車輛上拍攝的第一前景圖像是畸變圖像，對第
一前景圖像進行畸變校正。建立第一前景圖像的圖像座標系，得到第一前景圖像中的每一個非零圖元點對應的第一座標，第一前景圖像對應的第一座標是具有一定畸變的座標。獲取拍攝第一前景圖像的相機模組的內參，所述相機模組的內參用於判斷第一座標的畸變程度，根據所述內參與第一座標，獲取所述第一座標對應的無畸變座標作為第二座標。
計算第一前景圖像中每個圖元點的灰階值，根據每個圖元點的灰階值計算第一前景圖像的圖像複雜度，計算每個圖元點的灰階值，以便計算所有灰階值的總和來表示圖像複雜度。第一前景圖像的灰階值總和越高，表徵圖像包含的內容越豐富，圖像複雜度越高。進一步，根據計算得到的圖像複雜度確定第一前景圖像的校正參數，可以藉由將圖像複雜度輸入預先建立的深度學習模型，基於該深度學習模型的輸出確定校正參數。
基於相機模組拍攝機制，越靠近圖像邊緣的畸變程度越高，越靠近圖像中心區域的畸變程度就越小。因此，可以獲取第一前景圖像的中心座標點，計算第一座標與中心座標點之間的畸變距離。根據預設的平滑處理函數和距離計算平滑處理係數，該平滑處理係數用於對第一前景圖像進行校正處理。
計算畸變距離與校正參數的和作為目標值，基於預設的平滑處理函數，得到所述目標值與平滑處理係數的正相關關係，也就是說，越靠近第一前景圖像的邊緣的區域，第一前景圖像對應的圖像複雜度越高，對應的目標值與平滑處理係數越大，需要較強的校正處理。針對第一前景圖像非邊緣的區域，對應的目標值與平滑處理係數越小，需要較弱的校正處理。基於目標值與平滑處理係數的正相關關係，針對不同的區域，本實施例採用平滑處理係數與第二座標對第一座標進行平滑校正，有效的提升了計算效率。
為了提高第一校正圖像的平滑度，獲取第一座標對應的第一權重以及第二座標對應的第二權重，其中，第一權重和平滑處理係數成反比關係，第二權重和平滑處理係數成正比關係，利用加權的方式，對第一座標進行平滑校正，保障了圖像的真實性。
在本申請的一個實施例中，將第一校正圖像進行圖像灰階化、梯度閥值和顏色閥值以及飽和度閥值預處理等，去除第一校正圖像中不相關的車道線資訊，得到二進位圖，對二進位圖進行透視變換，得到鳥瞰圖。所述鳥瞰圖是根據透視原理，用高視點法從高處某一點俯視地面起伏繪製而成的立體圖，相較於平面圖更具有真實感。
在一實施例中，對第一校正圖像進行透視變換，包括：將第一校正圖像中的每個非零圖元點作為目標點，利用座標轉換公式對目標點進行計算，得到逆透視變換矩陣；利用逆透視變換矩陣對第一校正圖像進行透視變換。
利用相同路面上的車道近似平行的特性，利用透視變換消除透視效應，將第一校正圖像中的每個非零圖元點作為目標點，利用座標轉換公式對目標點進行計算，得到逆變換矩陣，利用逆變換矩陣，得到鳥瞰圖。所述鳥瞰圖消除了道路周邊環境和天空的干擾，只保留車道線檢測中感興趣區域包含的路面車道資訊，用以減小複雜的背景計算量，便於後期的車道線檢測。
步驟S22，在鳥瞰圖中確定左車道線初始位置以及右車道線初始位置。
由於車輛在行駛的過程中，車道線是無線延伸的，車道線表現為具有縱向走勢的曲線，且車道線在較短的距離內不可能具有很大的彎曲程度，因此在較近的一段距離內近似為直線，在鳥瞰圖中表現為一段與圖像底部接近垂直的線。考慮到上述特性，可以對鳥瞰圖的下半部分圖像建立非零圖元點分佈圖，所述鳥瞰圖的下半部分可以是距離車輛最近的區域。
對所述鳥瞰圖的下半部分對應的非零圖元點建立非零圖元點分佈圖，藉由對每一列圖元點的非零圖元點的數量的累加值，得到第一峰值和第二峰值。其中，第一峰值可以是非零圖元點分佈圖的左邊區域對應的峰值，第二峰值可以是非零圖元點分佈圖的右邊區域對應的峰值，所述第一峰值在所述第二峰值的左邊，根據車道線的特性，所述第一峰值與所述第二峰值所在的位置之間存
在一定的距離。
為了提高識別車道線的準確度，將鳥瞰圖中的第一峰值作為搜索左車道線的左車道線初始位置，將第二峰值作為搜索右車道線的右車道線初始位置。搜索車道線的方向可以是沿著車道線的方向上下搜索。
步驟S23，從左車道線初始位置開始，在鳥瞰圖中移動第一滑動視窗，對於第一滑動視窗的每一次移動，根據第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第一曲線，根據第一曲線以及第一滑動視窗在當前位置覆蓋的非零圖元點擬合成第二曲線，其中，所述第一滑動視窗的移動根據所述第一曲線進行動態調整。
本實施例採用滑動視窗的方式對車道線進行搜索，根據預設尺寸確定滑動視窗的大小，在本實施例中，可以將滑動視窗在縱向上的寬度設置為移動距離，例如，可以使用200圖元(pixel)寬的滑動視窗進行移動，每一次移動的距離可以是200圖元。
根據滑動視窗的大小可以確定滑動視窗覆蓋的區域範圍，在本申請的一實施例中，需要對第一滑動視窗覆蓋區域內的非零圖元點進行確定與計算，所述第一滑動視窗在當前位置之前覆蓋的非零圖元點，具體為利用所述第一滑動視窗在當前位置之前覆蓋過的區域內的非零圖元點。具體地，針對左車道線初始位置對應的第一滑動視窗，確定左車道線初始位置對應的第一滑動視窗的橫座標，根據預設的移動距離(即縱座標)以及所述橫座標，確定第一滑動視窗內的非零圖元點，以及確定所述左車道線初始位置對應的第一滑動視窗內的每個非零圖元點對應的座標，利用最小二乘法對所述第一滑動視窗內的非零圖元點進行擬合，擬合成左車道線初始位置對應的第一滑動視窗對應的第一曲線。
若所述第一滑動視窗不是左車道線初始位置對應的第一滑動視窗，根據第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第一曲線，具體可以是：所述第一滑動視窗在當前位置之前覆蓋的非零圖元點為所述第一滑動視
窗在當前位置之前移動過的所有位置覆蓋的所有非零圖元點，然後，根據第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第一曲線。
根據第一曲線以及移動距離，計算得到第一滑動視窗在當前位置的橫座標，例如，將第一視窗中心對應的橫座標作為第一滑動視窗當前位置的橫座標。在一實施例中，第一滑動視窗的移動根據第一曲線進行動態調整，具體地，所述第一曲線根據第一滑動視窗在當前位置之前的所有覆蓋過的區域內的非零圖元點進行擬合得到，針對初始位置的第一滑動視窗，可直接擬合第一滑動視窗內的非零圖元點，針對非初始位置的第一滑動視窗，利用第一滑動視窗已經覆蓋過的區域擬合成第一曲線，進一步，根據第一曲線確定下一個滑動視窗的位置(具體可參照下文對圖3的詳細描述)，即第一滑動視窗的移動位置可以根據第一曲線來確定，而第一曲線的擬合是根據第一滑動視窗在滑動過程的覆蓋區域內的非零圖元點的數量動態變化，因此，在本實施例中，第一滑動視窗的移動可以根據第一曲線進行動態調整。根據第一曲線以及第一滑動視窗在當前位置覆蓋的非零圖元點可以進一步擬合成第二曲線。
例如：第一曲線為y=p(x)，根據移動距離y確定第一滑動視窗的第一滑動視窗中心對應的橫座標x，根據計算得到當前位置對應的第一滑動視窗，將左車道線初始位置對應的第一滑動視窗內的非零圖元點與當前位置的第一滑動視窗內的非零圖元點擬合成第二曲線，以此類推，將第一曲線以及第一滑動視窗在當前位置覆蓋的非零圖元點擬合成第二曲線。
在本實施例中，第一視窗中心的橫座標決定了第一滑動視窗移動的位置，而第一滑動視窗移動的位置由第一曲線確定，本實施例所述的方法在彎道時也能更好的找到車道線的位置，避免遺漏而導致識別不準確。為更好地確定車道線位置，需要根據所述第一曲線動態調整第一滑動視窗的滑動位置。具體地，根據第一曲線確定利用第一滑動視窗將要移動的位置，即第一視窗中心的位置，第一曲線的擬合依賴於利用第一滑動視窗覆蓋區域內非零圖元點的數量，利用不同位置對應的第一滑動視窗覆蓋區域，擬合成動態的第一曲線，利
用動態擬合成的第一曲線來動態確定第一滑動視窗下一個移動的位置。
圖3是擬合第二曲線的示意圖，圖3所示分別為第一個位置A1對應的第一滑動視窗、第二個位置A2對應的第一滑動視窗以及第三個位置A3對應的第一滑動視窗。
在一具體的實施例中，假設此時第一滑動視窗當前位置(如圖3中的第一個位置A1)為左車道線初始位置，利用最小二乘法擬合左車道線初始位置對應的第一滑動視窗內的非零圖元點並得到曲線F1。
假設此時第一滑動視窗當前位置為第二個位置A2，所述第二個位置A2為左車道線初始位置(如圖3中的第一個位置A1)對應的下一個移動位置。根據第二個位置A2對應的第一滑動視窗的縱座標(即根據預設的移動距離確定所述第一滑動視窗對應的頂點座標的縱座標作為第一滑動視窗的縱座標)與F1，計算得到第二個位置A2對應的第一滑動視窗中心對應的橫座標(即第一視窗中心位置，也就是第一滑動視窗移動的第一視窗中心位置)，進一步計算第二個位置A2對應的第一滑動視窗內的每個非零圖元點的座標，利用最小二乘法將左車道線初始位置對應的第一滑動視窗與第二個位置A2對應的第一滑動視窗內的非零圖元點擬合成F2。
假設此時第一滑動視窗當前位置為第三個位置A3，所述第三個位置A3為所述第二個位置A2下一個移動位置。根據第三個位置A3對應的第一滑動視窗的縱座標以及F2，計算出第三個位置A3對應的第一滑動視窗對應的橫座標，進一步計算第三個位置A3的第一滑動視窗內的每個非零圖元點的座標，利用最小二乘法將第一個位置A1對應的第一滑動視窗、第二個位置A2對應的第一滑動視窗以及第三個位置A3對應的第一滑動視窗內的非零圖元點擬合成F3，以此類推，得到第二曲線Fn，n表示第一滑動視窗移動的位置。
本實施例所述的方法使得搜索得到的車道線更準確，在彎道時也能更好的找到車道線的位置，避免遺漏而導致識別不準確。
在一實施例中，根據第一曲線以及第一滑動視窗在當前位置覆蓋的
非零圖元點擬合成第二曲線，包括：獲取第一曲線對應的非零圖元點；計算第一滑動視窗在當前位置覆蓋的非零圖元點的數量；若第一滑動視窗在當前位置覆蓋的非零圖元點的數量大於或等於預設閥值，將所述第一曲線對應的非零圖元點與第一滑動視窗在當前位置覆蓋的非零圖元點擬合成所述第二曲線。
當所述第一滑動視窗位於當前位置時，計算在當前位置對應的非零圖元點的數量，如果當前位置對應的非零圖元點的數量大於或等於預設閥值，將當前位置對應的第一滑動視窗與當前位置之前的第一滑動視窗內的非零圖元點進行擬合成所述第二曲線，其中，所述當前位置之前的第一滑動視窗內的非零圖元點為擬合成第一曲線對應的非零圖元點。如果當前位置對應的非零圖元點的數量小於預設閥值，不對當前位置對應的第一滑動視窗進行擬合，表示當前位置不存在左車道線。
步驟S24，從右車道線初始位置開始，在鳥瞰圖中移動第二滑動視窗，對於第二滑動視窗的每一次移動，根據第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第三曲線，根據第三曲線以及第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線，其中，第一滑動視窗的移動根據第一曲線進行動態調整，第二滑動視窗的移動根據第三曲線進行動態調整，其中，所述第二滑動視窗的移動根據所述第三曲線進行動態調整。
對於右車道線的搜索跟左車道線的搜索方式一致，即擬合左車道線與擬合右車道線的方式一致。
根據滑動視窗的大小可以確定滑動視窗覆蓋的區域範圍，在本申請的一實施例中，需要對第二滑動視窗覆蓋區域內的非零圖元點進行確定與計算，所述第二滑動視窗在當前位置之前覆蓋的非零圖元點，具體為利用所述第二滑動視窗在當前位置之前覆蓋過的區域內的非零圖元點。具體地，針對右車道線初始位置對應的第二滑動視窗，確定右車道線初始位置對應的第二滑動視窗的
橫座標，根據預設的移動距離(即縱座標)以及所述橫座標，確定第二滑動視窗內的非零圖元點，以及計算所述右車道線初始位置對應的第二滑動視窗內的每個非零圖元點對應的座標，利用最小二乘法對所述第二滑動視窗內的非零圖元點進行擬合，擬合成右車道線初始位置對應的第二滑動視窗對應的第三曲線。
若所述第二滑動視窗不是右車道線初始位置對應的第二滑動視窗，根據第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第三曲線，具體可以是：所述第二滑動視窗在當前位置之前覆蓋的非零圖元點為所述第二滑動視窗在當前位置之前移動過的所有位置覆蓋的所有非零圖元點，然後，根據第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第三曲線。
根據第三曲線以及移動距離，計算得到第二滑動視窗在當前位置的橫座標，例如，將第二視窗中心對應的橫座標作為第二滑動視窗當前位置的橫座標。在一實施例中，第二滑動視窗的移動根據第三曲線進行動態調整，具體地，所述第三曲線根據第二滑動視窗在當前位置之前的所有覆蓋過的區域內的非零圖元點進行擬合得到，針對初始位置的第二滑動視窗，可直接擬合第二滑動視窗內的非零圖元點，針對非初始位置的第二滑動視窗，利用第二滑動視窗已經覆蓋過的區域擬合成第三曲線，進一步，根據第三曲線確定下一個滑動視窗的位置，即第二滑動視窗的移動位置可以根據第三曲線來確定，而第三曲線的擬合是根據第二滑動視窗在滑動過程的覆蓋區域內的非零圖元點的數量動態變化，因此，在本實施例中，第二滑動視窗的移動可以根據第三曲線進行動態調整。根據第三曲線以及第二滑動視窗在當前位置覆蓋的非零圖元點可以進一步擬合成第四曲線。
例如：第三曲線為y=p(x)，根據移動距離y確定第二滑動視窗的第二滑動視窗中心對應的橫座標x，根據計算得到當前位置對應的第二滑動視窗，將右車道線初始位置對應的第二滑動視窗內的非零圖元點與當前位置的第二滑動視窗內的非零圖元點擬合成第三曲線，以此類推，將第三曲線以及第二
滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線。
在本實施例中，第二視窗中心的橫座標決定了第二滑動視窗移動的位置，而第二滑動視窗移動的位置由第三曲線確定，本實施例所述的方法在彎道時也能更好的找到車道線的位置，避免遺漏而導致識別不準確。為更好地確定車道線位置，需要根據所述第三曲線動態調整第二滑動視窗的滑動位置。具體地，根據第三曲線確定利用第二滑動視窗將要移動的位置，即第二視窗中心的位置，第三曲線的擬合依賴於利用第二滑動視窗覆蓋區域內非零圖元點的數量，利用不同位置對應的第二滑動視窗覆蓋區域，擬合成動態的第三曲線，利用動態擬合成的第三曲線來動態確定第二滑動視窗下一個移動的位置。
在一實施例中，根據第三曲線以及第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線，包括：獲取擬合成第三曲線對應的非零圖元點；計算第二滑動視窗在當前位置覆蓋的非零圖元點的數量；若第二滑動視窗在當前位置覆蓋的非零圖元點的數量大於或等於預設閥值，將擬合成第三曲線對應的非零圖元點與第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線。
當所述第二滑動視窗位於當前位置時，計算在當前位置對應的非零圖元點的數量，如果當前位置對應的非零圖元點的數量大於或等於預設閥值，將當前位置對應的第二滑動視窗與當前位置之前的第二滑動視窗內的非零圖元點進行擬合成所述第四曲線，其中，所述當前位置之前的第二滑動視窗內的非零圖元點為擬合成第三曲線對應的非零圖元點。如果當前位置對應的非零圖元點的數量小於預設閥值，不對當前位置對應的第二滑動視窗進行擬合，表示當前位置不存在右車道線。
步驟S25，根據第二曲線得到左車道線，根據第四曲線得到右車道線。
利用第一滑動視窗搜索左車道線，根據第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第一曲線，根據第一曲線以及第一滑動視窗在當前
位置覆蓋的非零圖元點擬合成第二曲線，根據第二曲線得到左車道線，有效的檢測當前位置對應的第一滑動視窗的第一滑動視窗中心所在的位置，提高了搜索左車道線的準確度。
利用第二滑動視窗搜索右車道線，根據第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第三曲線，根據第三曲線以及第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線，根據第四曲線得到右車道線，有效的檢測當前位置對應的第二滑動視窗的第二滑動視窗中心所在的位置，提高了搜索右車道線的準確度。
在一實施例中，所述方法還包括：獲取車輛行駛過程中拍攝的第二前景圖像，第二前景圖像在第一前景圖像的下一時刻拍攝；對第二前景圖像進行畸變校正，得到第二校正圖像；根據預設的擴展距離將左車道線向第一方向擴展，得到第一邊界；根據預設的擴展距離將右車道線向第二方向擴展，得到第二邊界；根據第一邊界以及第二邊界在第二校正圖像上進行區域劃分，確定第二校正圖像中車道線所在的區域。
圖4是根據第二時刻車道線所在區域的示意圖。本申請實施例中所述的方法考慮到車道變化的連續性，不需要對每一幀圖片都進行完整的視窗搜索，在第一時刻的一幀圖片處理完成以後，可以根據第一時刻得到的左車道線以及右車道線預測第二時刻車道線所在的區域。如圖4所示，利用兩根車道線之間的距離不變的特性，根據第一時刻得到的左車道線確定第一邊界，根據第二時刻得到的右車道線確定第二邊界，獲取第一邊界與第二邊界之間的區域，將拍攝得到的第二前景圖像的其他區域進行遮罩處理，利用獲取得到的第一邊界與第二邊界之間的區域作為第二時刻車道線所在的區域，提高了檢測車道線的效率。
本申請基於第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成的第一曲線，計算得到當前位置對應的第一滑動視窗的第一視窗中心的位置，基於第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成的第三曲線，計算
得到當前位置對應的第二滑動視窗的第二視窗中心的位置，提高了檢測車道線的準確度。基於車道線的特點，根據第一時刻得到的車道線獲取第二時刻的車道線所在的區域，提高了檢測車道線的效率。
請繼續參閱圖1，本實施例中，所述儲存器11可以是電子設備1的內部儲存器，即內置於所述電子設備1的儲存器。在其他實施例中，所述儲存器11也可以是電子設備1的外部儲存器，即外接於所述電子設備1的儲存器。
在一些實施例中，所述儲存器11用於存儲程式碼和各種資料，並在電子設備1的運行過程中實現高速、自動地完成程式或資料的存取。
所述儲存器11可以包括隨機存取儲存器，還可以包括非易失性儲存器，例如硬碟、記憶體(Memory)、插接式硬碟、智慧存儲卡(Smart Media Card,SMC)、安全數位(Secure Digital,SD)卡、記憶卡(Flash Card)、至少一個磁碟儲存元件、快閃儲存器元件、或其他易失性固態儲存元件。
在一實施例中，所述處理器12可以是中央處理單元(Central Processing Unit,CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array,FPGA)或者其他可程式設計邏輯元件、分立門或者電晶體邏輯元件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器也可以是其它任何常規的處理器等。
所述儲存器11中的程式碼和各種資料如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，例如車道線識別方法，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、
記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦儲存器、唯讀儲存器(Read-Only Memory,ROM)等。
可以理解的是，以上所描述的模組劃分，為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。另外，在本申請各個實施例中的各功能模組可以集成在相同處理單元中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同單元中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
S21~S25:步驟
Claims (9)
- 一種車道線識別方法，應用於電子設備，其中，該方法包括：獲取車輛行駛過程中拍攝的第一前景圖像，將所述第一前景圖像轉換為鳥瞰圖；在所述鳥瞰圖中確定左車道線初始位置以及右車道線初始位置；從所述左車道線初始位置開始，在所述鳥瞰圖中移動第一滑動視窗，對於所述第一滑動視窗的每一次移動，根據所述第一滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第一曲線，根據所述第一曲線以及所述第一滑動視窗在當前位置覆蓋的非零圖元點擬合成第二曲線，其中，所述第一滑動視窗的移動根據所述第一曲線進行動態調整；從所述右車道線初始位置開始，在所述鳥瞰圖中移動第二滑動視窗，對於所述第二滑動視窗的每一次移動，根據所述第二滑動視窗在當前位置之前覆蓋的非零圖元點擬合成第三曲線，根據所述第三曲線以及所述第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線，其中，所述第二滑動視窗的移動根據所述第三曲線進行動態調整；根據所述第二曲線得到左車道線，根據所述第四曲線得到右車道線；獲取所述車輛行駛過程中拍攝的第二前景圖像，所述第二前景圖像在所述第一前景圖像的下一時刻拍攝；對所述第二前景圖像進行畸變校正，得到第二校正圖像；根據預設的擴展距離將所述左車道線向第一方向擴展，得到第一邊界；根據所述預設的擴展距離將所述右車道線向第二方向擴展，得到第二邊界；根據所述第一邊界以及所述第二邊界在所述第二校正圖像上進行區域劃分，確定所述第二校正圖像中車道線所在的區域。
- 如請求項1所述的車道線識別方法，其中，所述將所述第一前景圖像轉換為鳥瞰圖，包括：對所述第一前景圖像進行畸變校正，得到第一校正圖像； 對所述第一校正圖像進行透視變換，得到所述鳥瞰圖。
- 如請求項2所述的車道線識別方法，其中，所述對所述第一前景圖像進行畸變校正，得到第一校正圖像，包括：對所述第一前景圖像建立圖像座標系，獲取所述第一前景圖像中每個非零圖元點在所述圖像座標系中的第一座標；獲取拍攝所述第一前景圖像的相機模組的內參；根據所述內參確定所述第一座標對應的第二座標，其中，所述第二座標是無畸變座標；計算所述第一座標與所述第一前景圖像的中心座標點之間的畸變距離；根據所述第一前景圖像中每個圖元點的灰階值，計算所述第一前景圖像的圖像複雜度，根據所述圖像複雜度確定所述第一前景圖像的校正參數；根據預設的平滑處理函數，確定所述畸變距離和所述校正參數對應的平滑處理係數；根據所述平滑處理係數與所述第二座標對所述第一座標進行平滑校正，得到所述第一校正圖像。
- 如請求項3所述的車道線識別方法，其中，所述根據所述平滑處理係數與所述第二座標對所述第一座標進行平滑校正，包括：根據所述平滑處理係數確定所述第一座標的第一權重和所述第二座標的第二權重；計算所述第一權重和所述第一座標的第一乘積，以及計算所述第二權重與所述第二座標的第二乘積；根據所述第一乘積和所述第二乘積之和對所述第一座標進行平滑校正。
- 如請求項2所述的車道線識別方法，其中，所述對所述第一校正圖像進行透視變換，包括：將所述第一校正圖像中的每個非零圖元點作為目標點，利用座標轉換公式對所述目標點進行計算，得到逆透視變換矩陣； 利用所述逆透視變換矩陣對所述第一校正圖像進行透視變換。
- 如請求項1所述的車道線識別方法，其中，所述根據所述第一曲線以及所述第一滑動視窗在當前位置覆蓋的非零圖元點擬合成第二曲線，包括：獲取所述第一曲線對應的非零圖元點；計算所述第一滑動視窗在當前位置覆蓋的非零圖元點的數量；若所述第一滑動視窗在當前位置覆蓋的非零圖元點的數量大於或等於預設閥值，將所述擬合成所述第一曲線對應的非零圖元點與所述第一滑動視窗在當前位置覆蓋的非零圖元點擬合成所述第二曲線。
- 如請求項1所述的車道線識別方法，其中，所述根據所述第三曲線以及所述第二滑動視窗在當前位置覆蓋的非零圖元點擬合成第四曲線，包括：獲取所述第三曲線對應的非零圖元點；計算所述第二滑動視窗在當前位置覆蓋的非零圖元點的數量；若所述第二滑動視窗在當前位置覆蓋的非零圖元點的數量大於或等於預設閥值，將所述第三曲線對應的非零圖元點與所述第二滑動視窗在當前位置覆蓋的非零圖元點擬合成所述第四曲線。
- 一種電子設備，其中，所述電子設備包括處理器和儲存器，所述處理器用於執行儲存器中存儲的電腦程式以實現如請求項1至7中任意一項的所述車道線識別方法。
- 一種電腦可讀存儲介質，其中，所述電腦可讀存儲介質存儲有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至7中任意一項所述的車道線識別方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111149032A TWI823721B (zh) | 2022-12-20 | 2022-12-20 | 車道線識別方法及相關設備 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111149032A TWI823721B (zh) | 2022-12-20 | 2022-12-20 | 車道線識別方法及相關設備 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI823721B true TWI823721B (zh) | 2023-11-21 |
Family
ID=89722824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111149032A TWI823721B (zh) | 2022-12-20 | 2022-12-20 | 車道線識別方法及相關設備 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI823721B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200821550A (en) * | 2006-07-06 | 2008-05-16 | Tomtom Int Bv | Navigation device with adaptive navigation instructions |
| TWI360085B (zh) * | 2007-07-17 | 2012-03-11 | Chunghwa Telecom Co Ltd | |
| US20150170514A1 (en) * | 2013-12-13 | 2015-06-18 | Here Global B.V. | Systems and Methods for Detecting Road Congestion and Incidents in Real Time |
| CN109359602A (zh) * | 2018-10-22 | 2019-02-19 | 长沙智能驾驶研究院有限公司 | 车道线检测方法和装置 |
| CN110443225A (zh) * | 2019-08-15 | 2019-11-12 | 安徽半问科技有限公司 | 一种基于特征像素统计的虚实车道线识别方法及其装置 |
| CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
-
2022
- 2022-12-20 TW TW111149032A patent/TWI823721B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200821550A (en) * | 2006-07-06 | 2008-05-16 | Tomtom Int Bv | Navigation device with adaptive navigation instructions |
| TWI360085B (zh) * | 2007-07-17 | 2012-03-11 | Chunghwa Telecom Co Ltd | |
| US20150170514A1 (en) * | 2013-12-13 | 2015-06-18 | Here Global B.V. | Systems and Methods for Detecting Road Congestion and Incidents in Real Time |
| CN109359602A (zh) * | 2018-10-22 | 2019-02-19 | 长沙智能驾驶研究院有限公司 | 车道线检测方法和装置 |
| CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
| CN110443225A (zh) * | 2019-08-15 | 2019-11-12 | 安徽半问科技有限公司 | 一种基于特征像素统计的虚实车道线识别方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020151109A1 (zh) | 基于点云带权通道特征的三维目标检测方法及系统 | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| Beyeler et al. | Vision-based robust road lane detection in urban environments | |
| CN106485182A (zh) | 一种基于仿射变换的模糊qr码复原方法 | |
| CN110378837B (zh) | 基于鱼眼摄像头的目标检测方法、装置和存储介质 | |
| CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
| CN107895375A (zh) | 基于视觉多特征的复杂道路线提取方法 | |
| EP2813973A1 (en) | Method and system for processing video image | |
| CN111382722B (zh) | 车牌图像优选方法、图像处理装置及具有存储功能的装置 | |
| KR20230110618A (ko) | 영상 보정 방법, 장치 및 시스템, 전자 장치 | |
| CN105427333A (zh) | 视频序列图像的实时配准方法、系统及拍摄终端 | |
| CN109543634B (zh) | 定位过程中的数据处理方法、装置、电子设备和存储介质 | |
| WO2020010620A1 (zh) | 波浪识别方法、装置、计算机可读存储介质和无人飞行器 | |
| CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
| Melekhov et al. | Image stylization for robust features | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| CN113610865B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111488762A (zh) | 一种车道级定位方法、装置及定位设备 | |
| TWI823721B (zh) | 車道線識別方法及相關設備 | |
| Shen et al. | Lane line detection and recognition based on dynamic ROI and modified firefly algorithm | |
| Itu et al. | An efficient obstacle awareness application for android mobile devices | |
| CN116129386A (zh) | 可行驶区域检测方法、系统及计算机可读介质 | |
| TWI819928B (zh) | 車輛偏移檢測方法及相關設備 | |
| CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
| CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 |