TWI834482B - 車載攝影機偏移的檢查方法 - Google Patents

Abstract

本案揭示一種車載攝影機偏移的檢查方法，其藉由一車載系統實現，所述車載系統裝設於一車輛上且包括一處理單元及複數個攝影機，處理單元電連接複數個攝影機，用於接收複數個攝影機所拍攝的影像並進行運算與處理，檢查方法包括：步驟S01：藉由所述複數個攝影機擷取所述車輛周圍的環景影像；步驟S02：所述處理單元判斷每兩個相鄰的所述複數個攝影機擷取圖像的疊合區域是否有足夠的檢測資料，如果有進入下一步；步驟S03：所述處理單元藉由每個所述疊合區域的檢測資料推估所有所述疊合區域是否共面，以判斷所述複數個攝影機是否存在偏移；步驟S04：若所述處理單元判斷所述複數個攝影機存在偏移，則發出提示資訊。

Description

車載攝影機偏移的檢查方法

本發明涉及行車影像技術領域，具體而言，涉及一種車載攝影機偏移的檢查方法。

一般車輛於車輛各個位置裝設複數個攝影機，以擷取車輛周圍環景影像，輔助駕駛者觀看車輛周邊，提高行駛安全。圖1A為車輛安裝4個攝影機及覆蓋區域示意圖，如圖1A所示，舉例來說，攝影機可分別裝設於車輛的前保杆，後保杆和左、右後視鏡上，如前攝影機101、左攝影機102、後攝影機103及右攝影機104，以採集周圍環境的各個區域的影像，如前鏡頭投影區、後鏡頭投影區、左鏡頭投影區及右鏡頭投影區，並藉由拼接組成車輛周圍的鳥視圖。然而，當車上載重發生變化或是攝影機本身發生偏移時，環景影像的拼接就可能造成錯位，於是在同時開啟四個攝影機觀看環景影像，或是在執行自動泊車AVP(Automated Valet Parking)或APA(Auto Parking Asist)時開啟部分攝影機作為車輛周圍偵測辨識時，會產生不良的影像品質，從而可能造成影像的誤判或影響行車的安全，因此，需要對車載攝影機進行偏移檢查。

現有對車載攝影機進行偏移檢查的方法一般為，在攝影機出廠標定後，記錄鏡頭影像中車身位置，在檢查時如發現車身位置有改變，則視為對應攝影機已偏移。然而，此種方法需要對不同車型、不同車色進行分別驗證， 驗證較為複雜，且當環境光線發生變化，如反光、倒影、過暗等，就會造成車身位置的誤判。

為解決上述問題，本發明提供一種車載攝影機偏移的檢查方法，藉由相鄰的攝影機所擷取圖像的疊合區域中的地面標線推估標線是否共面，反向確認攝影機是否偏移，以降低環境光、車型車色等外因對檢查結果的影響，檢查過程更為簡便。

為達到上述目的，本發明提供了一種車載攝影機偏移的檢查方法，其藉由一車載系統實現，所述車載系統裝設於一車輛上且包括一處理單元及複數個攝影機，所述處理單元電連接所述複數個攝影機，用於接收所述複數個攝影機所拍攝的影像並進行運算與處理，其中，所述檢查方法包括：步驟S01：藉由所述複數個攝影機擷取所述車輛周圍的環景影像；步驟S02：所述處理單元判斷每兩個相鄰的所述複數個攝影機擷取圖像的疊合區域是否有足夠的檢測資料，如果有進入下一步；步驟S03：所述處理單元藉由每個所述疊合區域的檢測資料推估所有所述疊合區域是否共面，以判斷所述複數個攝影機是否存在偏移；步驟S04：若所述處理單元判斷所述複數個攝影機存在偏移，則發出提示資訊。

在本發明一實施例中，其中，所述複數個攝影機包括4個攝影機且安裝在所述車輛的不同側，分別為前攝影機、左攝影機、後攝影機及右攝影機。

在本發明一實施例中，其中，所述疊合區域的檢測資料為地面標線，所述地面標線包括停車位車格線及/或路面標識線；所述疊合區域有足夠的檢測資料具體為每個所述疊合區域都存在所述地面標線，且所述地面標線的像素大小足夠用於推估地面所在的平面的座標計算。

在本發明一實施例中，其中，步驟S03中，所述處理單元藉由對每個所述疊合區域中的所述地面標線進行線和點的偵測，並根據偵測到的所述 線和點估測出所述地面標線在所述環景影像中的3D點，並計算所有所述疊合區域的所述3D點是否共面，以判斷所述複數個攝影機是否存在偏移。

在本發明一實施例中，其中，若所述處理單元判斷所述複數個攝影機未偏移時，還包括重新修正所述車輛的座標，具體為：所述處理單元根據所有所述疊合區域的所述3D點得到真實地面；所述處理單元獲取所述車輛出廠時的初始平面，並得到所述車輛在所述車輛出廠時的初始平面的車輛行進向量；所述處理單元獲取所述車輛行進向量投影於所述真實地面的夾角，並根據所述夾角修正所述車輛出廠時的初始平面，使其重合於所述真實地面。

在本發明一實施例中，其中，還包括：當所述處理單元判斷每個所述疊合區域沒有足夠的所述檢測資料時，則檢查所述複數個攝影機信號是否被中斷：如果所述複數個攝影機信號被中斷，則停止檢查；否則，返回步驟S01。

在本發明一實施例中，其中，所示檢查方法藉由執行AVP/APA功能時實現。

在本發明一實施例中，其中，在步驟S03中，在對所述複數個攝影機是否偏移進行判斷時，還包括對所述車輛的載重狀態進行判斷，用以將由載重所造成所述環景影像在拼接錯位的狀況排除後再進行判斷。

本發明提供的車載攝影機偏移的檢查方法，與現有技術相比至少具有以下優點：1)藉由地面標線對攝影機是否偏移進行檢查，其對應環境變因較為單純，不易受到環境光線、車型車色等的外因影響；2)可藉由執行自動泊車AVP或APA的功能時實現，減少因使用者採取不佳場地作為檢查場地帶來的影響。

101:前攝影機

102:左攝影機

103:後攝影機

104:右攝影機

105:處理單元

S01~S05:步驟

D1、D2、D3、D4:點

L1、L2、L3、L4:線

P1:3D點

圖1A為車輛安裝4個攝影機及覆蓋區域示意圖；圖1B為本發明一實施例的車載系統架構圖； 圖2為本發明一實施例的車載攝影機偏移檢查的流程圖；圖3為本發明一實施例的其中兩個攝影機擷取影像疊合區域的3D立體示意圖；圖4為本發明一實施例中所有攝影機擷取的影像的平面展開示意圖；圖5為本發明一實施例中藉由APA實施攝影機偏移檢查的過程示意圖；及圖6為本發明一實施例中車輛座標轉換示意圖。

為使本發明實施方式的目的、技術方案和優點更加清楚，下面將結合本發明實施方式中的附圖，對本發明實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本發明一部分實施方式，而不是全部的實施方式。基於本發明中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都屬於本發明保護的範圍。因此，以下對在附圖中提供的本發明的實施方式的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施方式。基於本發明中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都屬於本發明保護的範圍。

在本發明的描述中，需要理解的是，術語“上”、“下”等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了便於描述本發明和簡化描述，而不是指示或暗示所指的設備或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。

在本發明的描述中，“多個”的含義是兩個或兩個以上，除非另有明確具體的限定。

在本發明中，除非另有明確的規定和限定，術語“安裝”、“相連”、“連接”、“固定”等術語應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機械連接，也可以是電連接；可以是直接相連，也可以藉由中間媒介間接相連，可以是兩個元件內部的連通或兩個元件的相互作用關係。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明中的具體含義。

下面結合附圖與具體實施方式對本發明作進一步詳細描述。

圖1B為本發明一實施例的車載系統架構圖，如圖1A和圖1B所示，本實施例的車載攝影機偏移的檢查方法藉由一車載系統實現，所述車載系統裝設於一車輛上且包括一處理單元105及複數個攝影機，處理單元105電連接複數個攝影機，用於接收複數個攝影機所拍攝的影像並進行運算與處理，處理單元105例如可以為ECU(Electronic Control Unit，電子控制單元)，但不限於此。

在本實施例中，其中，複數個攝影機包括4個攝影機且安裝在所述車輛的不同側，分別為前攝影機101、左攝影機102、後攝影機103及右攝影機104。

圖2為本發明一實施例的車載攝影機偏移檢查的流程圖，如圖2所示，本發明提供了一種車載攝影機偏移的檢查方法，其藉由前述車載系統實現，包括以下過程：

步驟S01：藉由所述複數個攝影機擷取所述車輛周圍的環景影像，其中，複數個攝影機的數量可以如圖1A與圖1B所示為4個，分別為前攝影機101、左攝影機102、後攝影機103及右攝影機104，其所擷取的影像區域分別為前鏡頭投影區、左鏡頭投影區、後鏡頭投影區及右鏡頭投影區，4個投影區域的影像分別藉由前攝影機101、左攝影機102、後攝影機103及右攝影機104上傳至處理單元105，處理單元105(一般為ECU)作為接收攝影機影像的裝置，還需要將接收到的影像進行運算及處理後(例如鏡頭矯正、像素矯正、顏色插值、Bayer雜 訊去除、白平衡矯正、色彩矯正、gamma矯正、色彩空間轉換等運算與處理)組成一環景影像，且由於4個攝影機安裝在所述車輛的不同側，則每兩個相鄰的攝影機所擷取的影像區域存在有疊合區域，如圖1A中前鏡頭投影區與左鏡頭投影區的疊合區域，左鏡頭投影區與後鏡頭投影區的疊合區域，後鏡頭投影區與右鏡頭投影區的疊合區域，以及右鏡頭投影區與前鏡頭投影區的疊合區域。

步驟S02：所述處理單元105判斷每兩個相鄰的所述複數個攝影機擷取圖像的疊合區域是否有足夠的檢測資料，如果有進入下一步。

本實施例中所述疊合區域的檢測資料為地面標線，所述地面標線包括停車位車格線及/或路面標識線，如圖1A中分別位於四處疊合區域的四條地面標線(條狀)；所述疊合區域有足夠的檢測資料具體為每個所述疊合區域都存在所述地面標線，且所述地面標線的像素大小(像素量)足夠用於推估地面所在的平面的座標計算。本實施例之所以採用藉由如停車位車格線的地面標線做檢查，是因為地面相對水平，環境變因相對較為單純。只有當這些地面標線在擷取的影像中的像素大小(像素量)足夠被處理單元105用來計算對應的3D點，才能視其為有效的地面標線，通常同一疊合區域的3D點是複數多個。

步驟S03：處理單元105藉由每個所述疊合區域的檢測資料推估所有所述疊合區域是否共面，以判斷複數個攝影機是否存在偏移。

圖3為本發明一實施例的其中兩個攝影機擷取影像疊合區域的3D立體示意圖，圖4為本發明一實施例中所有攝影機擷取的影像的平面展開示意圖，如圖3和圖4所示，在本實施例中，其中步驟S03中，處理單元105藉由對每個所述疊合區域中的所述地面標線進行線和點的偵測，並根據偵測到的所述線和點估測出所述地面標線在所述環景影像中的3D點(如同一疊合區域中的複數個3D點)，並計算所有所述疊合區域的所述3D點是否共面，以判斷所述複數個攝影機是否存在偏移。由於複數個攝影機的影像可能會存在一些偏差(例如由 於攝影機內外參數所造成的)，因此這複數個3D點可能並非恰巧共面，因而在對複數個3D點是否共面的計算上可以採用線性回歸的方式使其逼近於一平面，且還需要預設一閾值作為計算上的誤差允許範圍，由於線性回歸演算法為已知演算法，在此不再贅述。

以圖4為例，首先，將前、後攝影機101、103分別對4個疊合區域中的地面標線進行點偵測，分別得到車輛周圍影像4個疊合區域的複數個點，然而本實施為了便於說明，僅以其中4個點D1、D2、D3及D4舉例，本發明並不對其數量進行限定，左、右攝影機102、104分別對4個疊合區域中的地面標線進行線偵測，分別得到車輛周圍影像4個疊合區域的4條線L1、L2、L3及L4；然後，對同一疊合區域的點和線進行估測得到此疊合區域地面標線在環景影像中的3D點，以圖3中前攝影機101與左攝影機102進行舉例說明，將前攝影機101偵測到的點D1與左攝影機102偵測到的線L1進行估測，得到疊合區域地面標線在環景影像中的3D點P1，其他3個疊合區域地面標線在環景影像中的3D點的估測過程與此類似，故不再贅述；最後，計算前述4個疊合區域的所有3D點(每個疊合區域均有複數個3D點)是否在同一平面，如果此時環景影像的拼接有錯位，且由於所有3D點經過計算後為共面，因此可以判斷環景影像的拼接錯位是由車輛載重所造成的，並非4個攝影機存在偏移，反之如果所有3D點經過計算後不共面，則表示4個攝影機中可能存在偏移的情況。

本實施例對攝影機偏移的判斷，無需考慮車輛載重狀況為何，一旦四個攝影機中任意一個存在有影像偏移的情況，則上述過程估測的多個標線的位置就無法共面，就可以以此判斷為攝影機本身的偏移，此時，可以通知駕駛者該車載攝影機裝置需進廠重新標定。

除此之外，前述環景影像拼接錯位除了是有可能是由攝影機本身的偏移所造成的，也有可能會因為車輛載重問題而造成的，例如車輛載重不均， 因此，在本實施例中，其中，在步驟S03中，在對複數個攝影機是否偏移進行判斷時，還包括會對所述車輛的載重狀態進行判斷，用以將由載重所造成環景影像在拼接錯位的狀況排除後再進行判斷。其中，對車輛載重狀態的判斷，可以採用現有技術的任意方法，本發明不對其進行限定。

在本實施例中，其中，還包括：步驟S05：當處理單元105判斷每個所述疊合區域沒有足夠的檢測資料時，即圖像的疊合區域沒有地面標線或顯示出的地面標線不足以用於檢測(例如地面標線的像素量不足)，則檢查複數個攝影機信號是否被中斷。

如果複數個攝影機信號被中斷，則停止檢查。否則，返回步驟S01。

步驟S04：若處理單元105判斷複數個攝影機存在偏移，則發出提示資訊，用以提示使用者回廠檢修或重新標定。其中，提示資訊可以例如為“攝影機已偏移，請返廠標定”或“攝影機已偏移，請回廠檢修”等，但不限定。

圖5為本發明一實施例中藉由APA實施攝影機偏移檢查的過程示意圖，如圖5所示，由於AVP/APA的功能本身就是依靠地面標線實現的，因此在本實施例中，前述檢查方法可以藉由執行AVP/APA功能時實現。

首先，啟動AVP/APA，如圖中(1)所示。然後，處理單元105藉由AVP/APA的自動識別功能確認是否有停車格，如圖中的(2)所示；由於在啟動AVP/APA功能後，因車輛行駛的過程中自然會有停車場地面的標線(如車輛停妥後的車格線)，因此無需駕駛者再單獨尋找合適的場地，可由AVP/APA中AI識別功能自動識別停車格，可以減少因使用者採取不佳場地作為檢查場地時對檢查結果帶來的影響。

接著，藉由AVP/APA將車輛駛入停車格內，如圖中(3)所示； 最後，由攝影機擷取帶有地面標線的圖像進行攝影機偏移檢查並回饋校準報告，例如在AVP/APA螢幕上顯示提示資訊“攝影機已偏移，請進廠標定”，如圖中(4)所示。

在本實施例中，其中，若處理單元105判斷複數個攝像未頭偏移時(即判斷為載重造成的影像錯位)，還可以重新修正所述車輛的座標，具體為：處理單元105根據所有所述疊合區域的所述3D點得到真實地面；處理單元105獲取所述車輛出廠時的初始平面，並得到所述車輛在所述車輛出廠時的初始平面的車輛行進向量；處理單元105獲取所述車輛行進向量投影於所述真實地面的夾角，並根據所述夾角修正所述車輛出廠時的初始平面，使其重合於所述真實地面。

然而，需說明的是，藉由此方法修正的車輛座標是作為修正攝影機輸出的環景影像之用，並非是用於檢查判斷車輛攝影機是否偏移，上述修正過程只是在由於車輛載重而造成環景影像拼接錯位時作為修正之用，但修正方法並不以此為限定，在其他實施例中，還可以採用其他修正方法。

圖6為本發明一實施例中車輛座標轉換示意圖，如圖6所示，本實施例以車前方向為y方向、車側方向(左側)為x方向、天空方向為z軸舉例說明，若判斷複數個攝影機未偏移時，重新修正所述車輛座標的過程如下。

需說明的是，此處修正車輛座標的過程是在預設複數個車載攝影機在出廠時沒有偏移為前提的，所以原則上地面上的複數個3D點應該是共面的，且攝影機的中心位置相對於車輛的幾何中心座標都是固定的，因此，處理單元105首先根據前述所有疊合區域的3D點得到真實地面，如圖6中虛線框出的平面。

然後，處理單元105獲取所述車輛出廠時的初始平面，並得到所述車輛在其出廠時的初始平面的車輛行進向量。

處理單元105再獲取所述車輛行進向量投影於上述真實地面的夾角，並根據所述夾角修正所述車輛出廠時的初始平面，使其重合於所述真實地面，例如得到修正後的車輛座標x’-y’-z’，座標原點為o’。

當所述車輛載重發生變化而攝影機本身沒有發生偏移時，雖然相對於真實的地面車輛座標已發生座標的偏移，但是由於攝影機的中心位置基本上相對於車輛的幾何中心座標也都是固定，因此，如果要顯示沒有錯位的環景影像，就必須針對座標的偏移進行上述修正。但如果是因為攝影機本身發生了偏移，那麼前述得到的這些真實地面的3D點就不可能是共面的，就需要回廠檢修或重新標定攝影機。

本發明提供的車載攝影機偏移的檢查方法，至少具有以下優點：1)藉由地面標線對攝影機是否偏移進行檢查，其對應環境變因較為單純，不易受到環境光線、車型車色等的外因影響；及2)可藉由執行自動泊車AVP或APA的功能時實現，減少因使用者採取不佳場地作為檢查場地帶來的影響。

以上所述，僅是本發明的較佳實施例，並非對本發明作任何形式上的限制，雖然本發明已以較佳實施例公開如上，然而並非用以限定本發明，任何熟悉本專業的技術人員，在不脫離本發明技術方案範圍內，當可利用上述揭示的方法及技術內容作出些許的更動或修飾為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。

S01~S05:步驟

Claims (7)

1. 一種車載攝影機偏移的檢查方法，其藉由一車載系統實現，所述車載系統裝設於一車輛上且包括一處理單元及複數個攝影機，所述處理單元電連接所述複數個攝影機，用於接收所述複數個攝影機所拍攝的影像並進行運算與處理，其特徵在於，所述檢查方法包括：步驟S01：藉由所述複數個攝影機擷取所述車輛周圍的環景影像；步驟S02：所述處理單元判斷每兩個相鄰的所述複數個攝影機擷取圖像的疊合區域是否有足夠的檢測資料，如果有進入下一步；步驟S03：所述處理單元藉由每個所述疊合區域的檢測資料推估所有所述疊合區域是否共面，以判斷所述複數個攝影機是否存在偏移，其中在對所述複數個攝影機是否偏移進行判斷時，還包括對所述車輛的載重狀態進行判斷，用以將由載重所造成所述環景影像在拼接錯位的狀況排除後再進行判斷；步驟S04：若所述處理單元判斷所述複數個攝影機存在偏移，則發出提示資訊。
2. 如申請專利範圍第1項所述車載攝影機偏移的檢查方法，其特徵在於，所述複數個攝影機包括4個攝影機且安裝在所述車輛的不同側，分別為前攝影機、左攝影機、後攝影機及右攝影機。
3. 如申請專利範圍第1項所述車載攝影機偏移的檢查方法，其特徵在於，所述疊合區域的檢測資料為地面標線，所述地面標線包括停車位車格線及/或路面標識線；所述疊合區域有足夠的檢測資料具體為每個所述疊合區域都存在所述地面標線，且所述地面標線的像素大小足夠用於推估地面所在的平面的座標計算。
4. 如申請專利範圍第3項所述車載攝影機偏移的檢查方法，其特徵在於，步驟S03中，所述處理單元藉由對每個所述疊合區域中的所述地面標線進行線和點的偵測，並根據偵測到的所述線和點估測出所述地面標線在所述環景影像中的3D點，並計算所有所述疊合區域的所述3D點是否共面，以判斷所述複數個攝影機是否存在偏移。
5. 如申請專利範圍第4項所述車載攝影機偏移的檢查方法，其特徵在於，若所述處理單元判斷所述複數個攝影機未偏移時，還包括重新修正所述車輛的座標，具體為：所述處理單元根據所有所述疊合區域的所述3D點得到真實地面；所述處理單元獲取所述車輛出廠時的初始平面，並得到所述車輛在所述車輛出廠時的初始平面的車輛行進向量；所述處理單元獲取所述車輛行進向量投影於所述真實地面的夾角，並根據所述夾角修正所述車輛出廠時的初始平面，使其重合於所述真實地面。
6. 如申請專利範圍第1項所述車載攝影機偏移的檢查方法，其特徵在於，還包括：當所述處理單元判斷每個所述疊合區域沒有足夠的所述檢測資料時，則檢查所述複數個攝影機信號是否被中斷：如果所述複數個攝影機信號被中斷，則停止檢查；否則，返回步驟S01。
7. 如申請專利範圍第1項所述車載攝影機偏移的檢查方法，其特徵在於，所示檢查方法藉由執行AVP/APA功能時實現。