TWI662484B - 物件偵測方法 - Google Patents

Abstract

本揭露提出一種物件偵測方法，包含使用影像擷取裝置擷取原始影像；偵測原始影像中的近側車道線；在原始影像中近側車道線上方的區域偵測遠側車道線；在原始影像中遠側車道線以及近側車道線之間的區域偵測物件區域；以及偵測物件區域中的移動方向。

Description

物件偵測方法

本揭露有關於一種物件偵測方法。

目前為因應無人車、自動駕駛等移動工具自動化的趨勢，而蓬勃發展出了許多影像辨識方法，輔助電腦自動判斷外部資訊並做出決策。此外在一般車輛行進時，影像辨識方法亦可自動判斷目前行車的安全狀況，並依據條件給予駕駛者警示。

本揭露提出一種用於提升行車的安全狀況並可判斷盲點區域中是否有外部物件之物件偵測方法。

本揭露之一實施方式提供了一種物件偵測方法，包含使用影像擷取裝置擷取原始影像；偵測原始影像中的近側車道線；在原始影像中近側車道線上方的區域偵測遠側車道線；在原始影像中遠側車道線以及近側車道線之間的區域偵測物件區域；以及偵測物件區域中的移動方向。

綜上所述，本揭露提出的物件偵測方法可以判斷盲點區域中是否有外部物件，而若有外部物件存在，亦可得知 該外部物件的移動方向以及速度，進而可提升行車的安全狀況。

100‧‧‧物件偵測方法

200‧‧‧原始影像

210‧‧‧路面

211‧‧‧近側車道線

211’‧‧‧近側車道近似線

212‧‧‧遠側車道線

212’‧‧‧遠側車道近似線

220‧‧‧車身

230‧‧‧外部物件

300‧‧‧第一影像

311‧‧‧候選近側車道線

400‧‧‧第二影像

412‧‧‧候選遠側車道線

BS‧‧‧盲點區域

L‧‧‧連接線

P1‧‧‧第一標記點

P2‧‧‧第二標記點

S110、S120、S121、S122、S123、S130、S131、S132、S133、S140、S141、S142、S150‧‧‧步驟

第1圖繪示依據本揭露一實施方式的物件偵測方法的流程圖。

第2A圖至第2D圖繪示第1圖中物件偵測方法中各階段的示意圖。

第3圖繪示第1圖中步驟S120細部的流程圖。

第4圖繪示第1圖中步驟S130細部的流程圖。

第5圖繪示第1圖中步驟S140細部的流程圖。

以下將以圖式揭露本發明之複數個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。並且，除非有其他表示，在不同圖式中相同之元件符號可視為相對應的元件。這些圖式之繪示是為了清楚表達這些實施方式中各元件之間的連接關係，並非繪示各元件的實際尺寸。

請參照第1圖，其繪示依據本揭露一實施方式的 物件偵測方法100的流程圖。物件偵測方法100包含步驟S110至步驟S150：S110使用一影像擷取裝置擷取一原始影像；S120偵測該原始影像中的一近側車道線；S130：在該原始影像中該內測車道線上方的區域偵測一遠側車道線；S140：在該原始影像中該遠側車道線以及該近側車道線之間的區域偵測一物件區域；S150：偵測該物件區域中的一移動方向。

請參照第2A圖，其繪示第1圖中物件偵測方法100中一階段的示意圖。物件偵測方法100由步驟S110開始：使用影像擷取裝置擷取原始影像200。在本實施方式中，影像擷取裝置為安裝於交通工具後照鏡的攝像裝置，如電子後照鏡鏡頭。如第2A圖所示，影像擷取裝置所擷取的原始影像200包含有路面210、車身220以及外部物件230，其中路面210包含有近側車道線211以及遠側車道線212。

在本實施方式中，影像擷取裝置固定於後照鏡上，並且其擷取的原始影像200會包含在智能交通系統認證ISO 17387標準中所規範的盲點區域BS(blind spot)。由於在車輛行駛時，影像擷取裝置的鏡頭路面210相距的高度幾乎是固定的，鏡頭與路面210所夾的傾斜角度也幾乎是固定的。因此盲點區域BS在原始影像200中的相對位置並不會隨著車輛行駛而有劇烈改變。因此，可以依據實際情形選定盲點區域BS在原始影像200中的位置。舉例而言，可以用人工的方式並參考ISO標準在原始影像200中標示出盲點區域BS。

接著請參考第2B圖，其繪示第1圖中物件偵測方法100中另一階段的示意圖。擷取原始影像200後，執行步驟 S120：偵測原始影像200中的近側車道線211。在此請一併參照第3圖，其繪示第1圖中步驟S120細部的流程圖。如第3圖所示，步驟S120還包含步驟S121至步驟S123。

如第2B圖以及第3圖所示，在步驟S121中使用斜向蓋伯遮罩(Gabor mask)處理第1圖中的原始影像200，得到第一影像300。經由設定蓋伯遮罩的傾斜角度，第一影像300中與蓋伯遮罩的傾斜角度近似的線段會被凸顯出來。由於原始影像200中近側車道線211的方向由左上延伸至右下，且其與原始影像200的夾角約為45度，因此可使用斜向45度的蓋伯遮罩。在其他實施方式中，可依據近側車道線211與原始影像200水平軸所夾的角度設定蓋伯遮罩的角度，並不以上述為限。

接著執行步驟S122，在第一影像300的每一直欄由下往上第一個碰到的蓋伯邊界點做一第一標記點P1，接著連接該些第一標記點P1，並得到複數個候選近側車道線311。蓋伯邊界點在此是指在每一直欄中由下往上最初碰到的交界點。舉例而言，蓋伯邊界點指的是一直欄中最近的高頻率響應點，並將該高頻率響應點標記為第一標記點P1(在此僅標記幾個第一標記點P1作為示意)。若亮度值差異未超過該預設好的閥值，則繼續往上查找。在其他實施方式中亦可以使用其他方法定義出第一影像300中第一標記點P1的位置，並不以上述為限。

在標示出第一影像300中第一標記點P1的位置後，接著使用直線近似該些第一標記點P1並得到多條候選近側車道線311。在本實施方式中使用斜率連線方法(slope-based connected component labelling,SBCCL)連接該些第一標記點P1。具體而言，斜率連線方法會判斷一群集的第一標記點P1中任兩者連線的斜率是否與其他兩者連線出的斜率近似，如果差異太大則將其踢除。使用此方法進行直線近似，可以避免路面210上其他高亮度雜訊會影響計算出的候選近側車道線311的準確度。

接著執行步驟S123，計算候選近側車道線311其中一者的亮度值與候選近側車道線311上方的像素點的亮度值差異，若該亮度值差異大於一個閥值，則判斷該條候選近側車道線311為可代表近側車道線211的近側車道近似線211’。由於在步驟S122中是由下方往上偵測蓋伯邊界點，且近側車道線211會比路面210亮，因此近似出的候選近側車道線311上方的區域應比候選近側車道線311下方的區域還要亮。藉由判斷一條候選近側車道線311上下方區域的亮度差異，即可確認該條候選近側車道線311是否為代表近側車道線211的近側車道近似線211’。上述之亮度差異的閥值可依據實務需求調整，本揭露並不加以限制。

接下來請參考第2C圖，其繪示第1圖中物件偵測方法100中另一階段的示意圖。偵測完近側車道近似線211’後執行步驟S130：在原始影像中近側車道近似線211’上方的區域偵測遠側車道線212。在此請一併參照第4圖，其繪示第1圖中步驟S130細部的流程圖。如第4圖所示，步驟S130還包含步驟S131至步驟S133。

如第2C圖以及第4圖所示，在步驟S131中使用水 平蓋伯遮罩(Gabor mask)處理第1圖中的原始影像200，得到第二影像400。與步驟S121近似，經由設定蓋伯遮罩的傾斜角度，第二影像400中與蓋伯遮罩的傾斜角度近似的線段會被凸顯出來。由於原始影像200中遠側車道線212的方向與近側車道線211相比，其與水平軸所夾的角度較小，因此可使用0度的蓋伯遮罩。在其他實施方式中，可依據遠側車道線212與原始影像200水平軸所夾的角度設定蓋伯遮罩的角度，並不以上述為限。

接著執行步驟S132，移除第二影像400中近側車道近似線211’所在位置的像素點的亮度值。雖然在步驟S121與步驟S131中分別針對近側車道線211與遠側車道線212使用不同角度的蓋伯遮罩，但是仍然無法完全避免在步驟S131中排除近側車道線211。為了進一步防止近側車道線211影響接下來進行線段偵測的步驟，因此先藉由偵測出的近側車道近似線211’定義出近側車道線211的位置，並移除第二影像400中對應位置的亮度值。

接著執行步驟S133，在第二影像400的每一直欄由近側車道近似線211’往上第一個碰到的蓋伯邊界點做第二標記點P2(在此僅標記幾個第二標記點P2作為示意)，接著由該些第二標記點P2近似出遠側車道近似線212’。在本實施方式中可使用如線性回歸(linear regression)的直線近似方法近似出遠側車道近似線212’，請詳見下段說明。有關步驟S123的段落中已經介紹了蓋伯邊界點的定義，於此不多贅述。因為已經移除了近側車道近似線211’附近的區域的亮度值，並且由近 側車道近似線211’往上查找蓋伯邊界，因此能確保不會找到近側車道線211下方的蓋伯邊界點。但應注意，第二標記點P2除了位於遠側車道線212以外，亦會位於外部物件230及其陰影的邊界。

在標示出第二影像400中第二標記點P2的位置後，接著使用直線近似方法近似該些第二標記點P2。具體而言，在本實施方式中使用線性回歸方法。執行線性回歸方法會得到多條候選遠側車道線412。由於外部物件230所產生的第二標記點P2離遠側車道線212較遠，因此在本實施方式中，可以允許一定比例以下的第二標記點P2與候選遠側車道線412有很大的距離差異。具體而言，只要有超過一定比例以上的第二標記點P2與一條候選遠側車道線412的距離小於一個預設距離，則判斷該條候選遠側車道線412為代表遠側車道線212的遠側車道近似線212’。若否，則繼續執行線性回歸方法，直到偵測符合判斷條件的候選遠側車道線412為止。在本實施方式中，上述提及的比例為70%，但可依據實務需求調整判斷的參數，並不以上述為限。

接下來請參照第2D圖，其繪示第1圖中物件偵測方法100中另一階段的示意圖。在步驟S140中，在原始影像200中遠側車道線212與近側車道線211之間的區域偵測外部物件230。在此請一併參照第5圖，其繪示第1圖中步驟S140細部的流程圖。如第5圖所示，步驟S140還包含步驟S141至步驟S142。

如第2D圖以及第5圖所示，在步驟S141中沿用第 2C圖中第二標記點P2的資訊：將與遠側車道近似線212’的距離高於上述預設距離的第二標記點P2連接為一條連接線L。在本實施方式中，連接該些第二標記點P2方法為物件連接方法(connected component labeling,CCL)。

接著同樣參照第2D圖以及第5圖，在步驟S142中將連接線L與遠側車道近似線212’之間的區域判斷為外部物件所在的物件區域A。

偵測出物件區域A後，執行步驟S150：偵測物件區域A中的移動方向。在本實施方式中，採用光流法偵測物件區域A中物體的移動方向。光流法可以計算出一個區域中所有物體的平均移動方向以及速度。藉由以上方法，本揭露所提出的物件偵測方法100可以偵測出盲點區域BS中是否存在外部物件230，而若有外部物件230，則可再進一步判斷該外部物件230的移動方向以及速度。

在一些情形中，有可能無法偵測出近側車道線211以及遠側車道線212。舉例而言，當外部物件230過大導致幾乎一半以上的遠側車道線212都被覆蓋住。因此在一些實施方式中，一旦偵測出了近側車道近似線211’以及遠側車道近似線212’，會將其作為預設車道近似線。當無法偵測出近側車道線211以及遠側車道線212時，會先套用預設車道近似線作為近側車道近似線211’或遠側車道近似線212’。

在其他情形中，有可能一直都無法偵測出近側車道近似線211’以及遠側車道近似線212’。舉例而言，在夜晚的時候可能因位亮度過低，導致原始影像200大部分的畫面都是 黑的。此時可以藉由偵測車頭燈來定義外部物件230所在物件區域。舉例而言，先計算出原始影像200中明亮區域的重心，並且判斷該些明亮區域的大小、該些明暗區域之間的距離，以確定該些明亮區域是否為外部物件230上的車頭燈。並藉由預設的尺寸來定義原始影像200中的物件區域，接著在執行光流法判斷物件區域中的移動方向。

綜上所述，本揭露提出的物件偵測方法可以判斷盲點區域中是否有外部物件，而若有外部物件存在，亦可得知該外部物件的移動方向以及速度。

本揭露已由範例及上述實施方式描述，應了解本發明並不限於所揭露之實施方式。相反的，本發明涵蓋多種更動及近似之佈置(如，此領域中之通常技藝者所能明顯得知者)。因此，附加之請求項應依據最寬之解釋以涵蓋所有此類更動及近似佈置。

Claims (11)

1. 一種物件偵測方法，包含：使用一影像擷取裝置擷取一原始影像，該原始影像包含位於車側的一盲點區域；偵測該原始影像中的一近側車道線；在該原始影像中該近側車道線上方的區域偵測一遠側車道線；在該原始影像中該遠側車道線以及該近側車道線之間的區域偵測一物件區域；以及偵測該物件區域中的一移動方向。
2. 如請求項1所述之物件偵測方法，其中偵測該近側車道線包含：使用一斜向蓋伯遮罩(Gabor mask)處理該原始影像，得到一第一影像，包含設定該蓋伯遮罩的一傾斜角度，該第一影像中與該蓋伯遮罩的傾斜角度近似的線段會被凸顯出來作為複數個蓋伯邊界點；在該第一影像的每一直欄由下往上第一個碰到的該蓋伯邊界點做一第一標記點，接著連接該些第一標記點，並得到複數個候選近側車道線；以及計算該些候選近側車道線其中一者的亮度值與其上方的該蓋伯邊界點的一亮度值差異，若該亮度值差異大於一閥值，則判斷該候選近側車道線為該近側車道線。
3. 如請求項2所述之物件偵測方法，其中該傾斜角度與一水平方向夾45度。
4. 如請求項2所述之物件偵測方法，其中使用斜率連線方法(slope-based connected component labelling,SCCL)連接該些第一標記點。
5. 如請求項1所述之物件偵測方法，其中偵測該遠側車道線包含：使用一水平蓋伯遮罩處理該原始影像，得到一第二影像，包含設定蓋伯遮罩的一傾斜角度，該第二影像中與該蓋伯遮罩的傾斜角度近似的線段會被凸顯出來作為複數個蓋伯邊界點，其中該傾斜角度與一水平方向的夾角約為0度；移除該第二影像中該近側車道線所在位置的像素點的亮度值；以及在該第二影像的每一直欄由該近側車道線往上第一個碰到的該蓋伯邊界點做一第二標記點，接著由該些第二標記點近似出該遠側車道線。
6. 如請求項5所述之物件偵測方法，其中由該些第二標記點近似出該遠側車道線包含：對該些第二標記點使用線性回歸(linear regression)方法近似出一回歸線，並判斷該回歸線是否為該遠側車道線，若否則再近似出另一回歸線，直到判斷出該遠側車道線為止。
7. 如請求項6所述之物件偵測方法，其中判斷該回歸線是否為該遠側車道線的方法為：計算該些第二標記點中與該回歸線的距離低於一預設距離的一第二標記點數量，若該第二標記點數量佔所有該些第二標記點數量的比例大於一閥值，則判斷該回歸線為該遠側車道線。
8. 如請求項5所述之物件偵測方法，其中偵測該物件區域包含：將與該遠側車道線的距離高於一預設距離的該些第二標記點連接為一連接線；以及將該連接線與該遠側車道線之間的區域判斷為該物件區域。
9. 如請求項8所述之物件偵測方法，其中該連接方法為連通物件連接(connected component labeling,CCL)方法。
10. 如請求項1所述之物件偵測方法，其中偵測該物件區域的該移動方向包含：對該物件區域中使用光流法，偵測該物件區域的移動方向。
11. 如請求項10所述之物件偵測方法，其中若該物件區域離該影像擷取裝置較近，對該原始影像整體執行光流法，偵測該物件區域的移動方向。