TWI832591B - 車道線檢測方法、電腦設備及儲存介質 - Google Patents
車道線檢測方法、電腦設備及儲存介質 Download PDFInfo
- Publication number
- TWI832591B TWI832591B TW111146061A TW111146061A TWI832591B TW I832591 B TWI832591 B TW I832591B TW 111146061 A TW111146061 A TW 111146061A TW 111146061 A TW111146061 A TW 111146061A TW I832591 B TWI832591 B TW I832591B
- Authority
- TW
- Taiwan
- Prior art keywords
- lane line
- area
- line detection
- pixel
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 42
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 31
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申請涉及影像處理，提供一種車道線檢測方法、電腦設備及儲存介質。所述方法包括：獲取道路圖像，對所述道路圖像進行影像處理，得到拼接區域，將所述拼接區域輸入至預先訓練完成的車道線檢測模型，得到車道線檢測圖像，將所述車道線檢測圖像進行圖像變換，得到變換圖像以及所述變換圖像中的車道線檢測結果，利用本申請能夠提高車道線的檢測準確性。
Description
本發明涉及影像處理領域，尤其涉及一種車道線檢測方法、電腦設備及儲存介質。
在目前對車道線進行檢測的方案中，由於逆光道路圖像的亮度大，使得圖像中的車道線模糊，導致無法從逆光道路圖像中準確檢測出車道線，進而影響駕車安全。
鑒於以上內容，有必要提供一種車道線檢測方法、電腦設備及儲存介質，能夠提高車道線的檢測準確性。
本申請提供一種車道線檢測方法，所述車道線檢測方法包括：獲取道路圖像，對所述道路圖像進行影像處理，得到拼接區域，將所述拼接區域輸入至預先訓練完成的車道線檢測模型，得到車道線檢測圖像，將所述車道線檢測圖像進行圖像變換，得到變換圖像以及所述變換圖像中的車道線檢測結果。
根據本申請可選實施例，所述對所述道路圖像進行影像處理，得到拼接區域包括：對所述道路圖像進行車道線檢測，得到感興趣區域，對所述感興趣區域進行變換，得到車道線鳥瞰區域，對所述車道線鳥瞰區域進行灰度長條圖均衡化處理，得到灰度區域，對所述灰度區域進行二值化處理，得到二值化區域，將所述車道線鳥瞰區域從初始顏色空間轉換至目標顏色空間，得到
目標區域，對所述目標區域的每個通道進行長條圖均衡化處理，得到均衡化區域，基於所述車道線鳥瞰區域、所述灰度區域、所述均衡化區域以及所述二值化區域生成所述拼接區域。
根據本申請可選實施例，所述對所述感興趣區域進行變換，得到車道線鳥瞰區域包括：從所述感興趣區域中選取預設數量的目標像素點，並獲取每個目標像素點在所述感興趣區域中的初始座標值，基於每個初始座標值對應的預設座標值以及多個所述初始座標值計算變換矩陣，根據所述感興趣區域中每個像素點的座標值以及所述變換矩陣，計算所述感興趣區域中每個像素點的目標座標值，將所述感興趣區域中每個像素點的像素值變換為對應的目標座標值，得到所述車道線鳥瞰區域。
根據本申請可選實施例，所述基於每個初始座標值對應的預設座標值以及多個所述初始座標值計算變換矩陣包括：根據預設值、每個初始座標值中的初始橫座標值以及初始縱座標值構建每個初始座標值對應的齊次像素矩陣，基於多個預設參數構建與所述齊次像素矩陣對應的參數矩陣，將所述參數矩陣與每個齊次像素矩陣進行相乘運算，得到每個初始座標值對應的相乘運算式，根據每個初始座標值對應的相乘運算式及每個初始座標值對應的預設座標值構建多個等式，對所述多個等式進行求解，得到每個預設參數對應的參數值，並將所述參數矩陣中的每個預設參數替換為對應的參數值，得到所述變換矩陣。
根據本申請可選實施例，所述基於所述車道線鳥瞰區域、所述灰度區域、所述均衡化區域以及所述二值化區域生成所述拼接區域包括：將所述車道線鳥瞰區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第一像素值，並將所述車道線鳥瞰區域中每個像素點的像素值調整為對應的第一像素值，得到第一區域，將所述灰度區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第二像素值，並將所述灰度區域中每個像素點的像素值調整為對應的第二像素值，得到第二區域，將所述均衡化區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第三像素值，並將所
述均衡化區域中每個像素點的像素值調整為對應的第三像素值，得到第三區域，將所述第一區域、所述第二區域及所述第三區域進行拼接，得到所述拼接區域。
根據本申請可選實施例，在將所述拼接區域輸入至預先訓練完成的車道線檢測模型之前，所述方法還包括：獲取車道線檢測網路、車道線訓練圖像以及所述車道線訓練圖像的標註結果，將所述車道線訓練圖像輸入至所述車道線檢測網路中進行特徵提取，得到車道線特徵圖，對所述車道線特徵圖中每個像素點進行車道線預測，得到所述車道線特徵圖的預測結果，根據所述預測結果以及所述標註結果對所述車道線檢測網路的參數進行調整，得到訓練完成的車道線檢測模型。
根據本申請可選實施例，所述根據所述預測結果以及所述標註結果對所述車道線檢測網路的參數進行調整，得到訓練完成的車道線檢測模型包括：根據所述預測結果以及所述標註結果計算所述車道線檢測網路的預測指標，基於所述預測指標對所述車道線檢測網路進行參數調整，直至所述預測指標滿足預設條件，得到所述訓練完成的車道線檢測模型。
根據本申請可選實施例，若所述預測指標為預測準確率，所述根據所述預測結果以及所述標註結果計算所述車道線檢測網路的預測指標包括：計算所述車道線訓練圖像的訓練數量，計算與對應的標註結果相同的預測結果的預測數量，並計算所述預測數量與所述訓練數量的比值，得到所述預測準確率。
本申請提供一種電腦設備，所述電腦設備包括：儲存器，儲存至少一個指令；及處理器，執行所述至少一個指令以實現所述的車道線檢測方法。
本申請提供一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦設備中的處理器執行以實現所述的車道線檢測方法。
由上述技術方案可知，本申請對所述道路圖像進行影像處理，得
到拼接區域，所述影像處理包括透視變換、二值化處理以及圖像融合，當所述道路圖像為逆光圖像時，由於透視變換改變了逆光道路圖像中原本的投影光束線，能夠降低圖像的亮度，因此能夠降低圖像亮度對車道線識別的影響，由於二值化處理能夠濾除圖像雜訊，圖像融合能夠融合更多的圖像資訊，因此，能夠使得所述拼接區域中的車道線的輪廓更加清晰，透過預先訓練完成的車道線檢測模型對所述拼接區域中的車道線進行檢測，由於所述車道線檢測模型學習到了車道線的類別、顏色以及位置等特徵，因此，能夠準確地預測出所述拼接區域中的車道線類別、顏色以及車道線位置，並根據所述車道線位置擬合出變換圖像中的車道線的預測曲線。
1:電腦設備
2:拍攝設備
12:儲存器
13:處理器
101~104:步驟
圖1是本申請的實施例提供的車道線檢測方法的應用環境圖。
圖2是本申請的實施例提供的車道線檢測方法的流程圖。
圖3是本申請實施例提供的車道線檢測圖像的示意圖。
圖4是本申請實施例提供的變換圖像的示意圖。
圖5是本申請實施例提供的電腦設備的結構示意圖。
為了使本申請的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本申請進行詳細描述。
如圖1所示，是本申請的實施例提供的車道線檢測方法的應用環境圖。所述車道線檢測方法可應用於一個或者多個電腦設備1中，所述電腦設備1與拍攝設備2相通信，所述拍攝設備2可以是單眼相機，也可以是具有拍攝功能的其它設備。
所述電腦設備1是一種能夠按照事先設定或儲存的指令，自動進行參數值計算和/或資訊處理的設備，其硬體包括，但不限於：微處理器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣
列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電腦設備1可以是任何一種可與用戶進行人機交互的電腦產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、互動式模型電視(Internet Protocol Television，IPTV)、穿戴式智能設備等。
所述電腦設備1還可以包括模型設備和/或使用者設備。其中，所述模型設備包括，但不限於單個模型伺服器、多個模型伺服器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或模型伺服器構成的雲。所述電腦設備1還可以是車輛中的車載設備。
所述電腦設備1所處的模型包括，但不限於：網際網路、廣域網路、都會區網路、區域網路、虛擬專用模型(Virtual Private Network，VPN)等。
如圖2所示，是本申請的實施例提供的車道線檢測方法的流程圖。根據不同的需求，所述流程圖中各個步驟的順序可以根據實際檢測要求進行調整，某些步驟可以省略。所述方法的執行主體為電腦設備，例如圖1所示的電腦設備1。
步驟101，獲取道路圖像。
在本申請的至少一個實施例中，所述道路圖像為三原色光(Red Green Blue，RGB)圖像，所述道路圖像中可以包含車輛，地面、車道線、行人、天空、樹木等對象。
在本申請的至少一個實施例中，所述電腦設備獲取道路圖像包括：所述電腦設備控制拍攝設備拍攝道路場景，得到所述道路圖像。
其中，所述拍攝設備可以為單眼相機或者車載攝像機等等，所述道路場景中可以包括車輛，地面、車道線、行人、天空、樹木等對象。
在本實施例中，所述道路圖像包括逆光道路圖像，所述逆光道路
圖像為所述拍攝設備逆著光線對所述道路場景進行拍攝得到的圖像。
步驟102，對所述道路圖像進行影像處理，得到拼接區域。
在本申請的至少一個實施例中，所述影像處理包括車道線檢測、透視變換、長條圖均衡化以及二值化處理等等。
在本申請的至少一個實施例中，所述車道線鳥瞰區域為所述道路圖像中的車道線的俯視圖。
在本申請的至少一個實施例中，所述電腦設備對所述道路圖像進行影像處理，得到拼接區域包括：所述電腦設備對所述道路圖像進行車道線檢測，得到感興趣區域，進一步地，所述電腦設備對所述感興趣區域進行變換，得到車道線鳥瞰區域，更進一步地，所述電腦設備對所述車道線鳥瞰區域進行灰度長條圖均衡化處理，得到灰度區域，更進一步地，所述電腦設備對所述灰度區域進行二值化處理，得到二值化區域，所述電腦設備將所述車道線鳥瞰區域從初始顏色空間轉換至目標顏色空間，得到目標區域，對所述目標區域的每個通道進行長條圖均衡化處理，得到均衡化區域，進一步地，所述電腦設備基於所述車道線鳥瞰區域、所述灰度區域、所述均衡化區域以及所述二值化區域生成所述拼接區域。
其中，所述感興趣區域為包含車道線的區域。所述電腦設備可以基於目標檢測演算法對所述道路圖像進行車道線檢測，其中，所述目標檢測演算法包括，但不限於：R-CNN、Fast R-CNN、Faster R-CNN等。所述初始顏色空間可以為RGB顏色空間，所述目標顏色空間可以為HSV顏色空間。
在本實施例中，當所述道路圖像為所述逆光道路圖像時，由於所述逆光道路圖像亮度很大，會導致所述逆光道路圖像中的車道線模糊不清，透過透視變換能夠改變所述逆光道路圖像中原本的投影光束線，從而能夠降低所述車道線鳥瞰區域的亮度，因此對所述逆光道路圖像進行透視辨別能夠降低圖像亮度對車道線識別的影響，同時透過統一的變換矩陣對所述感興趣區域中的所有像素點的座標值進行變換，能夠確保所述目標座標值的變換一致性，透過
目標檢測演算法能夠初步確定出所述逆光道路圖像中車道線的位置，並根據所述車道線的位置從所述逆光道路圖像中能夠初步選取包含車道線的感興趣區域。
具體地，所述電腦設備對所述感興趣區域進行變換，得到車道線鳥瞰區域包括：所述電腦設備從所述感興趣區域中選取預設數量的目標像素點，並獲取每個目標像素點在所述感興趣區域中初始座標值，進一步地，所述電腦設基於每個初始座標值對應的預設座標值以及多個所述初始座標值計算變換矩陣，更進一步地，所述電腦設備根據所述感興趣區域中每個像素點的座標值以及所述變換矩陣，計算所述感興趣區域中的每個像素點的目標座標值，更進一步地，所述電腦設備將所述感興趣區域的每個像素點的像素值變換為該像素點對應的目標座標值，得到所述車道線鳥瞰區域。
其中，所述預設數量可以根據所述感興趣區域的形狀自行設置，本申請對此不作限制。例如，若所述感興趣區域為四邊形，所述預設數量可以為4個，所述預設數量的目標像素點可以為所述感興趣區域中第一行第一列初始像素點、第一行最後一列的初始像素點、第一列最後一行的初始像素點以及最後一行最後一列的初始像素點。所述預設座標值的數量與所述預設數量相同。所述預設座標值可以自行設置，本申請對此不作限制。所述預設座標值包括預設橫座標值以及預設縱座標值，所述初始座標值包括初始橫座標值以及初始縱座標值，所述目標座標值包括目標橫座標值以及目標縱座標值。
在本實施例中，所述電腦設備將所述感興趣區域中每個像素點的座標值與所述變換矩陣進行相乘運算，得到所述感興趣區域中每個像素點的目標座標值。
具體地，所述電腦設備基於每個初始座標值對應的預設座標值以及多個所述初始座標值計算變換矩陣包括：所述電腦設備根據預設值、每個初始座標值中的初始橫座標值以及初始縱座標值構建每個初始座標值對應的齊次像素矩陣，進一步地，所述電
腦設備基於多個預設參數構建與所述齊次像素矩陣對應的參數矩陣，更進一步地，所述電腦設備將所述參數矩陣與每個齊次像素矩陣進行相乘運算，得到每個初始座標值對應的相乘運算式，更進一步地，所述電腦設備根據每個初始座標值對應的相乘運算式及每個初始座標值對應的預設座標值構建多個等式，更進一步地，所述電腦設備對所述多個等式進行求解，得到每個預設參數對應的參數值，所述電腦設備將所述參數矩陣中的每個預設參數替換為對應的參數值，得到所述變換矩陣。例如，多個預設參數可以包括a,b,c等，在計算得到每個預設參數對應的參數值之後，利用參數值替換對應的預設參數，例如，參數a對應的參數值為1，可在所述參數矩陣中，以1替換參數a。
在本實施例中，所述齊次像素矩陣與所述參數矩陣具有相同的維度。例如，若所述齊次像素矩陣的行數為3行，則所述參數矩陣的列數為3列。所述預設值為1。例如，若所述初始橫座標值為x，所述初始縱座標值為y，則所述齊次像素矩陣為
。
在本實施例中，由於長條圖均衡化能夠增強所述車道線鳥瞰區域的圖像對比度，因此能夠使得所述灰度化圖像中的車道線更加清晰，除此之外，由於所述灰度圖像中車道線的顏色相對於其它顏色會更加明亮，因此，所述灰度圖像中車道線所對應的像素點的像素值會大於其它像素點的像素值，因此，透過對所述灰度圖像進行二值化處理，能夠準確地區分出所述灰度圖像中屬於車道線的像素點。
具體地，所述電腦設備基於所述車道線鳥瞰區域、所述灰度區域、所述均衡化區域以及所述二值化區域生成所述拼接區域包括：所述電腦設備將所述車道線鳥瞰區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第一像素值，並將所述車道線鳥瞰區域中每個像素點的像素值調整為對應的第一像素值，得到第一區域，並將所述灰度區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第二像素值，並將所述灰度區域中每個像素點的像素值調整為對應的第二像素值，得到
第二區域，然後所述電腦設備將所述均衡化區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第三像素值，並將所述均衡化區域中每個像素點的像素值調整為對應的第三像素值，得到第三區域，所述電腦設備將所述第一區域、所述第二區域及所述第三區域進行拼接，得到所述拼接區域。
在本實施例中，將所述第一區域、所述第二區域及所述第三區域進行拼接，得到所述拼接區域，由於所述拼接區域融合了多個區域的車道線特徵，因此能夠使得所述拼接區域的車道線的特徵更加明顯。
具體地，所述電腦設備將所述第一區域、所述第二區域及所述第三區域進行拼接，得到所述拼接區域包括：所述電腦設備獲取所述第一區域對應的第一矩陣，獲取所述第二區域對應的第二矩陣，並獲取所述第三區域對應的第三矩陣，進一步地，所述電腦設備將所述第一矩陣、所述第二矩陣，以及所述第三矩陣進行拼接，得到所述拼接區域。
其中，所述拼接區域為三維的區域。
步驟103，將所述拼接區域輸入至預先訓練完成的車道線檢測模型，得到車道線檢測圖像。
在本申請的至少一個實施例中，所述車道線檢測模型包括特徵提取層，所述特徵提取層包括卷積層、池化層以及批標準化層(Batch Normalization Layer)等。
在本申請的至少一個實施例中，在將所述拼接區域輸入至預先訓練完成的車道線檢測模型之前，所述方法還包括：所述電腦設備獲取車道線檢測網路、車道線訓練圖像以及所述車道線訓練圖像的標註結果，進一步地，所述電腦設備將所述車道線訓練圖像輸入至所述車道線檢測網路中進行特徵提取，得到車道線特徵圖，更進一步地，所述電腦設備對所述車道線特徵圖中的每個像素點進行車道線預測，得到所述車道線特徵圖的預測結果，更進一步地，所述電腦設備根據所述預測結果以及所述標註結果對所述車道線檢測網路的參數進行調整，得到訓練完成的車道線檢測模型。
其中，所述電腦設備使用所述特徵提取層對所述車道線訓練圖像進行特徵提取，得到所述車道線特徵圖。
在本實施例中，所述標註結果包括第一車道線位置、車道線類別以及車道線顏色，所述預測結果包括所述車道線訓練圖像中的車道線預測曲線，所述車道線預測曲線的目標位置、所述目標位置的第一預測概率、所述車道線預測曲線的目標類別、所述目標類別的第二預測概率、所述車道線預測曲線的目標顏色以及所述目標顏色的第三預測概率。
其中，所述車道線訓練圖像為多張，每張車道線訓練圖像中包含車道線，所述多張車道線訓練圖像中的標註結果包括每張車道線訓練圖像的第一車道線位置、多個車道線類別、多種車道線顏色。所述多個車道線類別包括，但不限於：雙向兩車道路面中心線、車行道分界線、車行道邊緣線等等。所述多個車道線顏色包括，但不限於：黃色、白色等等。
在本實施例中，所述電腦設備對每張車道線特徵圖中的每個像素點進行車道線預測，得到每張車道線特徵圖中每個像素點的多個初始座標、多個初始類別、多個初始顏色、每個初始座標對應的座標概率、每個初始類別對應的類別概率、以及每個初始顏色對應的顏色概率，進一步地，所述電腦設備將最大的座標概率所對應的初始座標確定為所述目標位置，將最大的類別概率所對應的初始類別確定為所述目標類別，並將最大的顏色概率所對應的初始顏色確定為所述目標顏色，更進一步地，所述電腦設備將目標類別為所述車道線類別的像素點確定為車道線像素點，更進一步地，所述電腦設備根據多個所述車道線像素點、每個車道線像素點的目標顏色以及每個車道線像素點的目標位置進行擬合，得到所述車道線預測曲線。
具體地，所述電腦設備根據所述預測結果以及所述標註結果對所述車道線檢測網路的參數進行調整，得到訓練完成的車道線檢測模型包括：所述電腦設備根據所述預測結果以及所述標註結果計算所述車道線檢測網路的預測指標，進一步地，所述電腦設備基於所述預測指標對所述車道線檢測網路進
行參數調整，直至所述預測指標滿足預設條件，得到所述訓練完成的車道線檢測模型。
其中，所述預測指標包括預測準確率或者訓練損失值，若所述預測指標為所述預測準確率，所述預設條件可以為：所述預測準確率大於或者等於預設閥值或者所述預測準確率不再增大，所述預設閥值可以自行設置，本申請對此不作限制；若所述預測指標為所述訓練損失值，所述預設條件可以為：所述訓練損失值下降至預設配置值或者所述訓練配置值下降至最低，其中，所述預設配置值可以自行設置，本申請對此不作限制。
具體地，若所述預測指標為預測準確率，所述電腦設備根據所述預測結果以及所述標註結果計算所述車道線檢測網路的預測指標包括：所述電腦設備計算所述車道線訓練圖像的訓練數量，進一步地，所述電腦設備計算與對應的標註結果相同的預測結果的預測數量，更進一步地，所述電腦設備計算所述預測數量與所述訓練數量的比值，得到所述預測準確率。
在本申請的其它實施例中，所述車道線檢測網路還可以為：SegNet、U-Net、FCN等網路。
具體地，若所述預測指標為訓練損失值，所述電腦設備根據所述預測結果以及所述標註結果計算所述車道線檢測網路的預測指標包括：所述電腦設備計算所述多個初始座標對應的第一損失值，計算所述多個初始類別對應的第二損失值，並計算所述多個初始顏色對應的第三損失值，進一步地，所述電腦設備將所述第一損失值、所述第二損失值以及所述第三損失值進行加權求和運算，得到每張車道線訓練圖像對應的目標損失值，進一步地，所述電腦設備將多張所述車道線訓練圖像對應的目標損失值進行求和運算，得到所述訓練損失值。
在本實施例中，所述電腦設備使用one-hot編碼形式對每張車道線訓練圖像的多個初始類別進行編碼，得到編碼向量，其中，所述多個初始類別包括每張車道線特徵圖的車道線類別，所述編碼向量中包括每個初始類別對
應的元素值，進一步地，所述電腦設備根據所述訓練數量、所述初始類別的類別數量、所述編碼向量以及所述多個初始類別對應的多個類別概率計算所述第二損失值。
所述第二損失值的計算公式為：
其中，J表示所述第二損失值，M表示所述訓練數量，N表示所述類別數量，y ij 表示第i張車道線訓練圖像的編碼向量中的第j個元素，p ij 表示所述第i張車道線訓練圖像的第j個類別對應的類別概率。
例如，若任一張車道線訓練圖像的車道線類別為車行道分界線，所述多個初始類別為雙向兩車道路面中心線、車行道邊緣線以及車行道分界線，所述多個初始類別的類別數量為3個，使用one-hot編碼得到的編碼向量為
，
若所述多個初始類別對應的多個類別概率為
，則所述任一張車道線訓練圖像的目標損失值為
0.35。
在本實施例中，所述第一損失值以及所述第三損失值的生成過程與所述第二損失值的生成過程基本相同，故本申請在此不作贅述。所述車道線檢測圖像的生成過程與所述車道線檢測模型的訓練過程基本相同，故本申請在此不作贅述。如圖3所示，是本申請實施例提供的車道線檢測圖像的示意圖。圖3中的車道線為白色虛線。圖3中白色虛線車道線相當於俯視視角的車道線。
在本實施例中，透過所述預測準確率或者所述訓練損失值確定所述車道線檢測網路是否收斂，當所述車道線檢測網路收斂時，訓練損失值最小或者預測準確率最高，得到所述車道線檢測模型，因此，能夠確保所述車道線檢測模型的檢測準確性。
步驟104，將所述車道線檢測圖像進行圖像變換，得到變換圖像以及所述變換圖像中的車道線檢測結果。
在本申請的至少一個實施例中，所述圖像變換包括逆透視變換，
所述電腦設備對所述車道線檢測圖像進行逆透視變換的過程與對所述感興趣區域進行透視變換的過程基本相同，故本申請在此不做贅述。
在本申請的至少一個實施例中，所述車道線檢測結果包括所述變換圖像的檢測結果以及所述變換圖像中的車道線的預測曲線。其中，所述檢測結果的生成過程與所述預測結果的生成過程基本相同，故本申請在此不作贅述。
透過上述實施例，將所述車道線檢測圖像進行圖像變換，能夠將所述變換圖像中的車道線還原為使用者視角，便於使用者觀看。
如圖4所示，是本申請實施例提供的變換圖像的示意圖。圖4是對圖3進行透視變換後生成的圖。圖4中的白色虛線車道線相當於主視角的車道線。主視角相當於所述拍攝設備的拍攝視角。
由上述技術方案可知，本申請對所述道路圖像進行影像處理，得到拼接區域，所述影像處理包括透視變換、二值化處理以及圖像融合，當所述道路圖像為逆光圖像時，由於透視變換改變了逆光道路圖像中原本的投影光束線，能夠降低圖像的亮度，因此能夠降低圖像亮度對車道線識別的影響，由於二值化處理能夠濾除圖像雜訊，圖像融合能夠融合更多的圖像資訊，因此，能夠使得所述拼接區域中的車道線的輪廓更加清晰，透過預先訓練完成的車道線檢測模型對所述拼接區域中的車道線進行檢測，由於所述車道線檢測模型學習到了車道線的類別、顏色以及位置等特徵，因此，能夠準確地預測出所述拼接區域中的車道線類別、顏色以及車道線位置，並根據所述車道線位置擬合出變換圖像中的車道線的預測曲線。
如圖5所示，是本申請實施例提供的電腦設備的結構示意圖。
在本申請的一個實施例中，所述電腦設備1包括，但不限於，儲存器12、處理器13，以及儲存在所述儲存器12中並可在所述處理器13上運行的電腦程式，例如車道線檢測程式。
本領域技術人員可以理解，所述示意圖僅僅是電腦設備1的示例，並不構成對電腦設備1的限定，可以包括比圖示更多或更少的部件，或者組合
某些部件，或者不同的部件，例如所述電腦設備1還可以包括輸入輸出設備、模型接入設備、匯流排等。
所述處理器13可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立元器件門電路或者電晶體組件、分立硬體組件等。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等，所述處理器13是所述電腦設備1的運算核心和控制中心，利用各種介面和線路連接整個電腦設備1的各個部分，及獲取所述電腦設備1的作業系統以及安裝的各類應用程式、程式碼等。
所述處理器13獲取所述電腦設備1的作業系統以及安裝的各類應用程式。所述處理器13獲取所述應用程式以實現上述各個車道線檢測方法實施例中的步驟，例如圖2所示的步驟。
示例性的，所述電腦程式可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被儲存在所述儲存器12中，並由所述處理器13獲取，以完成本申請。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，該指令段用於描述所述電腦程式在所述電腦設備1中的獲取過程。
所述儲存器12可用於儲存所述電腦程式和/或模組，所述處理器13透過運行或獲取儲存在所述儲存器12內的電腦程式和/或模組，以及調用儲存在儲存器12內的資料，實現所述電腦設備1的各種功能。所述儲存器12可主要包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；儲存資料區可儲存根據電腦設備的使用所創建的資料等。此外，儲存器12可以包括非易失性儲存器，例如硬碟、記憶體、插接式硬碟，智慧儲存卡(Smart Media
Card,SMC)，安全數位(Secure Digital,SD)卡，記憶卡(Flash Card)、至少一個磁碟儲存器件、快閃儲存器件、或其他非易失性固態儲存器件。
所述儲存器12可以是電腦設備1的外部儲存器和/或內部儲存器。進一步地，所述儲存器12可以是具有實物形式的記憶體，如記憶條、TF卡(Trans-flash Card)等等。
所述電腦設備1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可儲存於一電腦可讀儲存介質中，該電腦程式在被處理器獲取時，可實現上述各個方法實施例的步驟。
其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可獲取檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦儲存器、唯讀記憶體(ROM，Read-Only Memory)。
結合圖2，所述電腦設備1中的所述儲存器12儲存多個指令以實現一種車道線檢測方法，所述處理器13可獲取所述多個指令從而實現：獲取道路圖像；對所述道路圖像進行影像處理，得到拼接區域；將所述拼接區域輸入至預先訓練完成的車道線檢測模型，得到車道線檢測圖像；將所述車道線檢測圖像進行圖像變換，得到變換圖像以及所述變換圖像中的車道線檢測結果。
具體地，所述處理器13對上述指令的具體實現方法可參考圖2對應實施例中相關步驟的描述，在此不贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以處於一個地方，或者也可以分佈到多個模型單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。本申請中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一、第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
101~104:步驟
Claims (10)
- 一種車道線檢測方法，應用於電腦設備，其中，所述車道線檢測方法包括：獲取道路圖像；對所述道路圖像進行影像處理，得到拼接區域，包括：對所述道路圖像進行車道線檢測，得到感興趣區域，對所述感興趣區域進行變換，得到車道線鳥瞰區域；所述對所述感興趣區域進行變換，得到車道線鳥瞰區域包括：獲取所述感興趣區域對應的變換矩陣，根據所述感興趣區域中每個像素點的座標值以及所述變換矩陣，計算所述感興趣區域中每個像素點的目標座標值，將所述感興趣區域中每個像素點的像素值變換為對應的目標座標值，得到所述車道線鳥瞰區域；將所述拼接區域輸入至預先訓練完成的車道線檢測模型，得到車道線檢測圖像；將所述車道線檢測圖像進行圖像變換，得到變換圖像以及所述變換圖像中的車道線檢測結果。
- 如請求項1所述的車道線檢測方法，其中，所述對所述道路圖像進行影像處理，得到拼接區域還包括：對所述車道線鳥瞰區域進行灰度長條圖均衡化處理，得到灰度區域；對所述灰度區域進行二值化處理，得到二值化區域；將所述車道線鳥瞰區域從初始顏色空間轉換至目標顏色空間，得到目標區域，對所述目標區域的每個通道進行長條圖均衡化處理，得到均衡化區域；基於所述車道線鳥瞰區域、所述灰度區域、所述均衡化區域以及所述二值化區域生成所述拼接區域。
- 如請求項2所述的車道線檢測方法，其中，所述獲取所述感興趣區域對應的變換矩陣包括： 從所述感興趣區域中選取預設數量的目標像素點，並獲取每個目標像素點在所述感興趣區域中的初始座標值；基於每個初始座標值對應的預設座標值以及多個所述初始座標值計算所述變換矩陣。
- 如請求項3所述的車道線檢測方法，其中，所述基於每個初始座標值對應的預設座標值以及多個所述初始座標值計算所述變換矩陣包括：根據預設值、每個初始座標值中的初始橫座標值以及初始縱座標值，構建每個初始座標值對應的齊次像素矩陣；基於多個預設參數構建與所述齊次像素矩陣對應的參數矩陣；將所述參數矩陣與每個齊次像素矩陣進行相乘運算，得到每個初始座標值對應的相乘運算式；根據每個初始座標值對應的相乘運算式及每個初始座標值對應的預設座標值構建多個等式；對所述多個等式進行求解，得到每個預設參數對應的參數值，並將所述參數矩陣中的每個預設參數替換為對應的參數值，得到所述變換矩陣。
- 如請求項2所述的車道線檢測方法，其中，所述基於所述車道線鳥瞰區域、所述灰度區域、所述均衡化區域以及所述二值化區域生成所述拼接區域包括：將所述車道線鳥瞰區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第一像素值，並將所述車道線鳥瞰區域中每個像素點的像素值調整為對應的第一像素值，得到第一區域；將所述灰度區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第二像素值，並將所述灰度區域中每個像素點的像素值調整為對應的第二像素值，得到第二區域；將所述均衡化區域與所述二值化區域中對應的像素點的像素值進行相乘運算，得到第三像素值，並將所述均衡化區域中每個像素點的像素值調整為對應 的第三像素值，得到第三區域；將所述第一區域、所述第二區域及所述第三區域進行拼接，得到所述拼接區域。
- 如請求項1所述的車道線檢測方法，其中，在將所述拼接區域輸入至預先訓練完成的車道線檢測模型之前，所述方法還包括：獲取車道線檢測網路、車道線訓練圖像以及所述車道線訓練圖像的標註結果；將所述車道線訓練圖像輸入至所述車道線檢測網路中進行特徵提取，得到車道線特徵圖；對所述車道線特徵圖中每個像素點進行車道線預測，得到所述車道線特徵圖的預測結果；根據所述預測結果以及所述標註結果對所述車道線檢測網路的參數進行調整，得到訓練完成的車道線檢測模型。
- 如請求項6所述的車道線檢測方法，其中，所述根據所述預測結果以及所述標註結果對所述車道線檢測網路的參數進行調整，得到訓練完成的車道線檢測模型包括：根據所述預測結果以及所述標註結果計算所述車道線檢測網路的預測指標；基於所述預測指標對所述車道線檢測網路進行參數調整，直至所述預測指標滿足預設條件，得到所述訓練完成的車道線檢測模型。
- 如請求項7所述的車道線檢測方法，其中，若所述預測指標為預測準確率，所述根據所述預測結果以及所述標註結果計算所述車道線檢測網路的預測指標包括：計算所述車道線訓練圖像的訓練數量；計算與對應的標註結果相同的預測結果的預測數量，並計算所述預測數量與所述訓練數量的比值，得到所述預測準確率。
- 一種電腦設備，其中，所述電腦設備包括： 儲存器，儲存至少一個指令；及處理器，執行所述至少一個指令以實現如請求項1至8中任意一項所述的車道線檢測方法。
- 一種電腦可讀儲存介質，其中，所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦設備中的處理器執行以實現如請求項1至8中任意一項所述的車道線檢測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111146061A TWI832591B (zh) | 2022-11-30 | 2022-11-30 | 車道線檢測方法、電腦設備及儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111146061A TWI832591B (zh) | 2022-11-30 | 2022-11-30 | 車道線檢測方法、電腦設備及儲存介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI832591B true TWI832591B (zh) | 2024-02-11 |
| TW202424906A TW202424906A (zh) | 2024-06-16 |
Family
ID=90824923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111146061A TWI832591B (zh) | 2022-11-30 | 2022-11-30 | 車道線檢測方法、電腦設備及儲存介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI832591B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI638343B (zh) * | 2015-12-22 | 2018-10-11 | 豪威科技股份有限公司 | 車道檢測系統及方法 |
| US10846543B2 (en) * | 2017-12-29 | 2020-11-24 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for detecting lane line, and medium |
| CN115376089A (zh) * | 2022-08-30 | 2022-11-22 | 华东交通大学 | 一种基于深度学习的车道线检测方法 |
| CN115376082A (zh) * | 2022-08-02 | 2022-11-22 | 北京理工大学 | 一种融合传统特征提取与深度神经网络的车道线检测方法 |
-
2022
- 2022-11-30 TW TW111146061A patent/TWI832591B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI638343B (zh) * | 2015-12-22 | 2018-10-11 | 豪威科技股份有限公司 | 車道檢測系統及方法 |
| US10846543B2 (en) * | 2017-12-29 | 2020-11-24 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for detecting lane line, and medium |
| CN115376082A (zh) * | 2022-08-02 | 2022-11-22 | 北京理工大学 | 一种融合传统特征提取与深度神经网络的车道线检测方法 |
| CN115376089A (zh) * | 2022-08-30 | 2022-11-22 | 华东交通大学 | 一种基于深度学习的车道线检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
| JP7146091B2 (ja) | ビデオへの情報埋め込み方法、コンピュータ機器及びコンピュータプログラム | |
| WO2021164234A1 (zh) | 图像处理方法以及图像处理装置 | |
| CN107274445B (zh) | 一种图像深度估计方法和系统 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| WO2021063341A1 (zh) | 图像增强方法以及装置 | |
| CN110163188B (zh) | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| CN115861380B (zh) | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 | |
| CN107909638A (zh) | 虚拟物体的渲染方法、介质、系统和电子设备 | |
| US20240029303A1 (en) | Three-dimensional target detection method and apparatus | |
| CN114187515A (zh) | 图像分割方法和图像分割装置 | |
| Dwivedi et al. | Single image dehazing using extended local dark channel prior | |
| CN112132753B (zh) | 多尺度结构引导图像的红外图像超分辨率方法及系统 | |
| TWI832591B (zh) | 車道線檢測方法、電腦設備及儲存介質 | |
| CN112257729A (zh) | 图像识别方法、装置、设备及存储介质 | |
| CN115631108A (zh) | 一种基于rgbd的图像去雾方法及相关设备 | |
| CN111126187A (zh) | 火情检测方法、系统、电子设备及存储介质 | |
| KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 | |
| TW202424906A (zh) | 車道線檢測方法、電腦設備及儲存介質 | |
| US20240177499A1 (en) | Method for detecting lane lines and electronic device | |
| CN114418897A (zh) | 眼部光斑图像的修复方法、装置、终端设备及存储介质 | |
| CN115797469A (zh) | 信号灯图像处理方法、装置、设备及存储介质 | |
| TWI807904B (zh) | 深度識別模型訓練方法、圖像深度識別方法及相關設備 | |
| TWI846177B (zh) | 道路分割方法、電腦設備及儲存介質 |