TWI691940B

TWI691940B - 車用攝影系統與物件偵測方法

Info

Publication number: TWI691940B
Application number: TW108111759A
Authority: TW
Inventors: 徐學賢; 張志平; 王承謙; 黃哲斌
Original assignee: 奇美車電股份有限公司
Priority date: 2019-04-02
Filing date: 2019-04-02
Publication date: 2020-04-21
Also published as: CN111762100A; CN111762100B; TW202038197A

Abstract

本發明提出一種物件偵測方法，適用於車用攝影機，此物件偵測方法包括：透過車用攝影機取得多個畫面；取得畫面之間的光流資訊，並根據光流資訊偵測出障礙物區域；取得障礙物區域的直方圖，並根據直方圖來過濾障礙物區域；以及若有尚未被過濾的障礙物區域，發出物件偵測訊息。

Description

車用攝影系統與物件偵測方法

本發明是有關於一種適用於車用攝影機的物件偵測方法。

行車安全是對於駕駛者與乘客而言是相當重要的。現已有許多技術來輔助行車安全。比如，在倒車時，可由車後鏡頭來擷取車後影像，駕駛者除了用目視外，亦可藉由後方安全輔助系統所擷取的車後影像來判斷車後是否有障礙物、行人等物體。因此，如何準確地偵測到物體，為此領域技術人員所關心的議題。

本發明的實施例提出一種物件偵測方法，適用於車用攝影機，此物件偵測方法包括：透過車用攝影機取得多個畫面；取得畫面之間的光流資訊，並根據光流資訊偵測出障礙物區域；取得障礙物區域的直方圖，並根據直方圖來過濾障礙物區域；以及若有尚未被過濾的障礙物區域，發出物件偵測訊息。

在一些實施例中，根據直方圖來過濾障礙物區域的步驟包括：取得直方圖的多個槽數值，取得多個最大槽數值，若最大槽數值的總和與所有槽數值的總和之間的比率大於第一臨界值，則過濾掉對應的障礙物區域。

在一些實施例中，根據直方圖來過濾障礙物區域的步驟包括：取得直方圖的多個槽數值，取得多個第一最大槽數值；取得畫面中預設區域的直方圖；取得預設區域的直方圖的多個第二最大槽數值，其中第二最大槽數值的槽位置分別相同於第一最大槽數值的槽位置；對於每一個第一最大槽數值，將第一最大槽數值減去對應的第二最大槽數值以得到一差值，並判斷差值是否小於第二臨界值；以及若所有的第一最大槽數值的差值都小於第二臨界值，過濾掉對應的障礙物區域。

在一些實施例中，從第一畫面取得第一樣板區域，並從第二畫面取得第二樣板區域，其中第二樣板區域包括多個子區域，每個子區域的大小都相同於第一樣板區域；計算每一個子區域與第一樣板區域之間的一樣板差並取得最小樣板差；以及判斷最小樣板差是否大於第三臨界值，若是則發出物件偵測訊息。

在一些實施例中，光流資訊包括多個特徵點以及每一個特徵點上的光流。物件偵測方法更包括：根據特徵點的個數與光流的平均長度計算出第三臨界值。

以另外一個角度來說，本發明的實施例提出一種車用攝影系統，包括車用攝影機與處理器。車用攝影機用以取得多個畫面，處理器用以執行上述的物件偵測方法。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

110‧‧‧車用攝影機

120‧‧‧處理器

210、220‧‧‧影像

211、221‧‧‧特徵點

230‧‧‧光流

240‧‧‧障礙物區域

251~253‧‧‧預設區域

310、410‧‧‧直方圖

310(1)~310(16)、410(1)~410(16)‧‧‧槽

510‧‧‧第一樣板區域

520‧‧‧第二樣板區域

521~523‧‧‧子區域

610‧‧‧曲線

701~704‧‧‧步驟

[圖1]是根據一實施例繪示車用攝影系統的示意圖。

[圖2]是根據一實施例繪示計算光流的示意圖。

[圖3]是根據一實施例繪示障礙物區域的直方圖的示意圖。

[圖4]是根據一實施例繪示預設區域的直方圖的示意圖。

[圖5]是根據一實施例繪示樣板比對的示意圖。

[圖6]是根據一實施例繪示所計算出的樣板差的示意圖。

[圖7]是根據一實施例繪示物體偵測方法的流程圖。

關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

圖1是根據一實施例繪示車用攝影系統的示意圖。請參照圖1，車用攝影系統包括了車用攝影機110與處理器120。車用攝影機110可包括感光耦合元件 (Charge-coupled Device，CCD)感測器、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor)感測器或其他合適的感光元件。處理器120可為中央處理器、微處理器、微控制器、數位信號處理器、影像處理晶片、特殊應用積體電路等。車用攝影機110是裝設在車子上，例如在圖1的實施例中是裝設在車子的尾端，用以協助駕駛在倒車時觀看車子後方是否有障礙物。然而，在其他實施例中，車用攝影機110可以裝設在車子的任何一處，例如前方、側方、車頂等，此外處理器120也可以設置在車子的任何一處，本發明並不在此限。車用攝影機110會取得多個畫面，而處理器120會根據這些畫面執行一個物件偵測方法，以下將詳細說明此方法。

圖2是根據一實施例繪示計算光流的示意圖。請參照圖2，車用攝影機110取得了畫面210、220，首先取得畫面210、220之間的光流資訊。在此可以採用任何的光流計算演算法，例如Lucas-Kanade光流計算法、Horn-Schunck光流計算法等等，本發明並不在此限。在一些實施例中，所採用的是低密度的光流計算法，因此會先計算畫面210、220中的特徵點(例如是角落)，然後計算兩個特徵點之間的光流(也可稱位移或移動向量)。上述的光流資訊便包括了畫面210、220中所有的特徵點以及每個特徵點上的光流方向與長度。為簡化說明起見，圖2中僅繪示了特徵點211、221以及兩者之間的光流230。接下來，根據這些光流資訊可以偵測出障礙物區域240，舉例來說，可以先挑選出長度大於一臨界值的光流，然後將相鄰的光流圈起來以得到障礙物區域，在一些實施例中也可以對障礙物區域240執行影像處理的侵蝕(erosion)與膨脹(dilation)等等，在此可以採用任何演算法以根據光流來偵測障礙物區域，本發明並不在此限。

圖3是根據一實施例繪示障礙物區域的直方圖的示意圖，請參照圖2與圖3，接下來取得障礙物區域240關於灰階值的直方圖310，直方圖310具有多個槽(bin)310(1)~310(16)，第一個槽310(1)統計灰階值位於0~15範圍內的像素的個數，第二個槽310(2)統計灰階值位於16~31範圍內的像素的個數，以此類推。在此，每個槽對應的像素個數亦稱為槽數值。直方圖310可以用來過濾非障礙物的障礙物區域，舉例來說，若直方圖310顯示槽數值過於集中，則代表障礙物區域240可能是地面而非一般的障礙物，或者若直方圖310類似於地面的直方圖，則也會被過濾。

具體來說，可先取得最大的幾個槽數值，例如槽310(3)~310(5)具有最大的三個槽數值，然後計算出這些槽數值的總和。如果上述計算出的總和與所有槽310(1)~310(16)的槽數值的總和之間的比率大於一第一臨界值，則表示槽數值過於集中，障礙物區域240可能是地面而非一般的障礙物。以另外一個角度來說，上述計算可表示為以下方程式(1)，其中bin_O,i代表直方圖310中第i個槽所對應的槽數值，i為正整數，介於1至16之間。MAX代表一集合，包含了具有最大槽數值的槽，在圖3的實施例中 MAX={3,4,5}。T ₁為上述的第一臨界值，例如為0.7。如果方程式(1)成立，則過濾掉對應的障礙物區域。

在一些實施例中，在畫面220中可以設定多個預設區域251~253，這些預設區域251~253的位置分別位於左邊、中間與右邊且都在畫面220的下緣，因此預設區域251~253的內容較可能是地面。如果障礙物區域240的直方圖類似於預設區域251~253的直方圖，則障礙物區域240也會被過濾掉。以預設區域251為例，圖4是根據一實施例繪示預設區域251的直方圖的示意圖。請參照圖3與圖4，預設區域251的直方圖410包括了槽410(1)~410(16)，每個槽都具有相對應的槽數值，其定義已說明如圖3，在此不再贅述。在取得直方圖310中最大的三個槽數值(在此稱第一最大槽數值，分別屬於槽310(3)~310(5))以後，從直方圖410中找到位置相同的槽410(3)~410(5)，並取得槽410(3)~410(5)的槽數值(亦稱為第二最大槽數值)。對於每一個第一最大槽數值，將此第一最大槽數值減去對應的第二最大槽數值以得到一差值，並判斷此差值是否小於一第二臨界值，若所有的差值都小於第二臨界值，則過濾掉對應的障礙物區域240。以另外一個角度來說，上述的計算可以表示為以下方程式(2)，其中bin_B,i表示直方圖410中第i個槽所對應的槽數值。T₂為第二臨界值。如果以下方程式(2)成立，則過濾掉障礙物區域240。

值得注意的是，對於每一個預設區域251~253都會計算各自的直方圖並執行上述方程式(2)，換言之只要障礙物區域240相似於預設區域251~253的任何一者都會被過濾掉。

在其他實施例中，每個直方圖也可以包括更多或更少個槽。在上述的實施例中，集合MAX具有三個槽，但在其他實施例中也可以具有更多或更少個槽。此外，本發明也不限制預設區域251~253的個數、大小與位置。

請參照圖1與圖2，在畫面210、220之間可能有多個障礙物區域，在經過上述的過濾以後，對於沒有被過濾掉的障礙物區域則可以發出一個物件偵測訊息，用以表示在畫面210、220之間具有移動的障礙物。此物件偵測訊息可以用文字、影像、聲音、或是二進位的方式發送給使用者、其他裝置或同一個裝置的其他程序。在一些實施例中，在收到物件偵測訊息以後可以再判斷障礙物區域240是否太靠近車子，若是則將車用攝影機110所拍攝的畫面切換至鳥瞰角度。然而，本發明並不限制物件偵測訊息的形式，也不限制在收到物件偵測訊息以後採取什麼措施。

圖5是根據一實施例繪示樣板比對的示意圖。請參照圖5，在一些實施例中可從畫面210取得第一樣板區域510，並從畫面220取得第二樣板區域520，其中第一樣板區域510與第二樣板區域520的大小與位置都是預設的。第二樣板區域520具有多個子區域，每個子區域的大小相同於第一樣板區域510的大小，這些子區域之間具有一間隔(例如2、4或6個像素)，因此這些子區域是彼此重疊，圖5中為了簡化起見，僅繪示了子區域521~523。對於每一個子區域，都可以計算此子區域與第一樣板區域510之間的樣板差，此樣板差例如是將子區域中的像素分別與第一樣板區域510中的像素相減後再相加，也就是說在此實施例是計算絕對差和(sum of absolute difference，SAD)，但在其他實施例中也可以計算誤差平方和(sum of squared difference)或其他的樣板差。

圖6是根據一實施例繪示所計算出的樣板差的示意圖。請參照圖5與圖6，根據不同的位置可以將所有子區域所計算出的樣板差繪示為曲線610(這些樣板差應為離散的，但為了簡化起見在圖6是繪示為連續的曲線610)。接下來從這些樣板差中取得最小樣板差D_min，並且判斷此最小樣板差D_min是否大於一個第三臨界值T₃，若是的話也會發出上述的物件偵測訊息。

在一些實施例中，上述的第三臨界值T₃可以根據畫面210、220的複雜度來決定，複雜度越大則第三臨界值T₃越大。例如，可以根據上述光流資訊中特徵點的個數與平均的光流長度來決定出第三臨界值T₃，表示為以下方程式(3)。

T₃=α．N+β．L…(3)

其中α、β為實數，N為所有特徵點的個數，L為所有光流的平均長度。值得注意的是，上述物件過濾的程序與樣板比對的程序是獨立執行地，換言之如果有障礙物區域沒有被過濾或者是最小樣板差D_min大於第三臨界值T₃，都會發出物件偵測訊息，其餘情況則不會發出物件偵測訊息。

圖7是根據一實施例繪示物體偵測方法的流程圖，請參照圖1，在步驟701，透過車用攝影機取得多個畫面。在步驟702，取得畫面之間的光流資訊，並根據光流資訊偵測出障礙物區域。在步驟703，取得障礙物區域的直方圖，並根據直方圖來過濾障礙物區域。在步驟704，若有尚未被過濾的障礙物區域，發出物件偵測訊息。然而，圖7中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖7中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖7的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖7的各步驟之間也可以加入其他的步驟。

在上述的車用攝影系統與物件偵測方法中，可以利用光流資訊來過濾掉障礙物區域的程序以及樣板比對的程序都可以更準確地偵測出車輛周圍的障礙物。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

701~704‧‧‧步驟

Claims

一種物件偵測方法，適用於一車用攝影機，該物件偵測方法包括：透過該車用攝影機取得多個畫面；取得該些畫面之間的光流資訊，並根據該光流資訊偵測出至少一障礙物區域；取得該至少一障礙物區域的直方圖，並根據該直方圖來過濾該至少一障礙物區域；以及若該至少一障礙物區域具有尚未被過濾的障礙物區域，發出一物件偵測訊息，其中根據該直方圖來過濾該至少一障礙物區域的步驟包括：取得該直方圖的多個槽數值，取得該些槽數值中取得多個最大槽數值，若該些最大槽數值的總和與該些槽數值的總和之間的比率大於一第一臨界值，則過濾掉對應的該至少一障礙物區域。
如申請專利範圍第1項所述之物件偵測方法，其中根據該直方圖來過濾該至少一障礙物區域的步驟包括：取得該直方圖的多個槽數值，取得該些槽數值中取得多個第一最大槽數值；取得該些畫面的其中之一的至少一預設區域的直方圖；取得該至少一預設區域的該直方圖的多個第二最大槽數值，其中該些第二最大槽數值的槽位置分別相同於該些第一最大槽數值的槽位置；對於每一該些第一最大槽數值，將該第一最大槽數值減去對應的該第二最大槽數值以得到一差值，並判斷該差值是否小於一第二臨界值；以及若所有的該些第一最大槽數值的該差值都小於該第二臨界值，過濾掉對應的該至少一障礙物區域。
如申請專利範圍第1項所述之物件偵測方法，更包括：從該些畫面的一第一畫面取得一第一樣板區域，並從該些畫面的一第二畫面取得一第二樣板區域，其中該第二樣板區域包括多個子區域，每一該些子區域的大小相同於該第一樣板區域；計算每一該些子區域與該第一樣板區域之間的一樣板差，取得該些樣板差中的一最小樣板差；以及判斷該最小樣板差是否大於一第三臨界值，若是則發出該物件偵測訊息。
如申請專利範圍第3項所述之物件偵測方法，其中該光流資訊包括多個特徵點以及每一該些特徵點上的光流，該物件偵測方法更包括：根據該些特徵點的個數與該些特徵點的光流的平均長度計算出該第三臨界值。
一種車用攝影系統，包括：一車用攝影機，用以取得多個畫面；以及一處理器，用以執行多個步驟：取得該些畫面之間的光流資訊，根據該光流資訊偵測出至少一障礙物區域；取得該至少一障礙物區域的直方圖，並根據該直方圖來過濾該至少一障礙物區域；以及若該至少一障礙物區域具有尚未被過濾的障礙物區域，發出一物件偵測訊息，其中根據該直方圖來過濾該至少一障礙物區域的步驟包括：取得該直方圖的多個槽數值，取得該些槽數值中取得多個最大槽數值，若該些最大槽數值的總和與該些槽數值之間的比率大於一第一臨界值，則過濾掉對應的該至少一障礙物區域。
如申請專利範圍第5項所述之車用攝影系統，其中根據該直方圖來過濾該至少一障礙物區域的步驟包括：取得該直方圖的多個槽數值，取得該些槽數值中取得多個第一最大槽數值；取得該些畫面的其中之一的至少一預設區域的直方圖；取得該至少一預設區域的該直方圖的多個第二最大槽數值，其中該些第二最大槽數值的槽位置分別相同於該些第一最大槽數值的槽位置；對於每一該些第一最大槽數值，將該第一最大槽數值減去對應的該第二最大槽數值以得到一差值，並判斷該差值是否小於一第二臨界值；以及若所有的該些第一最大槽數值的該差值都小於該第二臨界值，過濾掉對應的該至少一障礙物區域。
如申請專利範圍第5項所述之車用攝影系統，該些步驟更包括：從該些畫面的一第一畫面取得一第一樣板區域，並從該些畫面的一第二畫面取得一第二樣板區域，其中該第二樣板區域包括多個子區域，每一該些子區域的大小相同於該第一樣板區域；計算每一該些子區域與該第一樣板區域之間的一樣板差，取得該些樣板差中的一最小樣板差；以及判斷該最小樣板差是否大於一第三臨界值，若是則發出該物件偵測訊息。
如申請專利範圍第7項所述之車用攝影系統，其中該光流資訊包括多個特徵點以及每一該些特徵點上的光流，該些步驟更包括：根據該些特徵點的個數與該些特徵點的光流的平均長度計算出該第三臨界值。