TWI728811B

TWI728811B - 車輛轉向判斷方法

Info

Publication number: TWI728811B
Application number: TW109116565A
Authority: TW
Inventors: 徐學賢; 張志平; 王承謙; 鍾凱全
Original assignee: 奇美車電股份有限公司
Priority date: 2020-05-19
Filing date: 2020-05-19
Publication date: 2021-05-21
Also published as: TW202144216A

Abstract

本發明提出一種適用於車用攝影機之車輛轉向判斷方法，包括：透過車用攝影機取得多個畫面；將每個畫面分割為多個分割區域；取得每個分割區域內的光流特徵資訊；及根據光流特徵資訊來判斷裝設車用攝影機的車輛是否處於轉向狀態。

Description

車輛轉向判斷方法

本發明是關於一種車輛轉向判斷方法，且特別是關於一種基於影像來判斷車輛轉向的方法。

已知有許多的輔助裝置用於協助駕駛者觀察車輛周圍的移動物體，但是對於車輛的駕駛者而言仍會存在特定的視覺死角區域，特別是車輛在轉向時的內輪差更容易產生視覺死角區域，這種情形對於車身較長或具有多節車廂的大型車輛最為嚴重。

舉例而言，由動力車輛與其後方聯結之拖車所組成之聯結車，在轉向時動力車輛的前輪軌跡與其後方聯結之拖車的後輪軌跡的差距，使得聯結車因為內輪差而產生的視覺死角區域範圍極大。而且聯結車在轉向的過程中由於動力車輛與其後方聯結之拖車之間的相對角度會產生變化，於動力車輛的固定式後視鏡的影像將會在車體轉向時偏離原有的監視範圍，導致駕駛者在車輛轉彎時容易因此看不到視覺死角區域而發生碰撞之情事。

本揭露之目的在於提出一種車輛轉向判斷方法，適用於車用攝影機，所述車輛轉向判斷方法包括：透過車用攝影機取得多個畫面；將每個畫面分割為多個分割區域；取得每個分割區域內的光流特徵資訊；及根據光流特徵資訊來判斷裝設車用攝影機的車輛是否處於轉向狀態。

在一些實施例中，所述車輛轉向判斷方法更包括：根據車用攝影機裝設於車輛的位置來將每個畫面分割為多個分割區域。

在一些實施例中，所述車輛轉向判斷方法更包括：根據車用攝影機裝設於車輛的安裝高度來調整多個分割區域於每個畫面中的佔比。

在一些實施例中，所述光流特徵資訊包括：光流資訊數量、左方向數量、左方向平均角度、右方向數量、右方向平均角度。

在一些實施例中，所述車輛轉向判斷方法更包括：藉由將光流特徵資訊輸入經訓練的機器學習模型來判斷車輛是否處於轉向狀態。

在一些實施例中，所述車輛轉向判斷方法更包括：

在一些實施例中，當判斷出車輛處於轉向狀態時，若車輛為聯結車，則調整車輛於偵測其周邊是否有移動風險物體時的偵測範圍。

本揭露之目的在於另提出一種車輛轉向判斷方法，適用於車用攝影機，所述車輛轉向判斷方法包括：透過車用攝影機取得多個畫面，其中車用攝影機係裝設於聯結車；辨識出每個畫面所包含之該聯結車的拖車的車體部分；及根據每個畫面中的車體部分的變化情形來判斷聯結車是否處於轉向狀態。

在一些實施例中，所述畫面至少包含於第一時間取得的第一畫面與於第一時間之後的第二時間取得的第二畫面。所述車輛轉向判斷方法更包括：比較第一畫面中的車體部分與第二畫面中的車體部分；及當第二畫面中的車體部分為第一畫面中的車體部分往第一畫面的上半部變化或往第一畫面的下半部變化時，判定聯結車處於轉向狀態。

在一些實施例中，所述車用攝影機係裝設於聯結車的一側，所述車輛轉向判斷方法更包括：當第二畫面中的車體部分為第一畫面中的車體部分往第一畫面的上半部變化時，判定聯結車處於轉向狀態且聯結車係往該側進行轉向；及當第二畫面中的車體部分為第一畫面中的車體部分往第一畫面的下半部變化時，判定聯結車處於轉向狀態且聯結車係往與該側相反的另一側進行轉向。

在一些實施例中，所述車輛轉向判斷方法更包括：當判斷出聯結車處於轉向狀態時，調整聯結車於偵測其周邊是否有移動風險物體時的偵測範圍。

為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

以下仔細討論本發明的實施例。然而，可以理解的是，實施例提供許多可應用的概念，其可實施於各式各樣的特定內容中。所討論、揭示之實施例僅供說明，並非用以限定本發明之範圍。關於本文中所使用之『第一』、『第二』、…等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

圖1係根據本揭露的實施例之車用攝影系統的示意圖。請參照圖1，車用攝影系統包括車用攝影機110與處理器120。車用攝影機110裝設在車輛10上，例如在圖1的實施例中是裝設在車輛10的車頭的兩側。然而，在其他實施例中，車用攝影機110可以裝設在車輛10的其他位置，例如裝設在車輛10的車身的兩側或者是裝設在車輛10的車尾等等。

車用攝影機110用以拍攝車輛10的周邊場景。在本揭露的實施例中，車用攝影機110為廣角攝影機，使得車用攝影機110具有寬廣的水平視角及垂直視角，從而使車用攝影機110能夠拍攝到車輛10的部分車體且也能夠盡可能地拍攝車輛10的周邊場景。

在本揭露的實施例中，處理器120可為中央處理器、微處理器、微控制器、數位信號處理器、影像處理晶片、特殊應用積體電路等。在本揭露的實施例中，車用攝影系統還可包括紅外光源(圖未示)，紅外光源用以於夜間或光線不足時，發出紅外光以對車用攝影機110所拍攝到的周邊場景進行補光。

在本揭露的實施例中，車用攝影機110會藉由拍攝車輛10的周邊場景來取得多個畫面(意即：多個連續畫面)，而處理器120電性連接車用攝影機110以接收這些畫面，並且處理器120會根據這些畫面執行車輛轉向判斷方法，以下將詳細說明此方法。

圖2係根據本揭露的第一實施例之車輛轉向判斷方法1000的流程圖。車輛轉向判斷方法1000包含步驟1100-1400。於步驟1100，處理器120控制車用攝影機110拍攝車輛10的周邊場景來取得多個畫面。於步驟1200，處理器120將這些畫面之每一者皆分割為多個分割區域。

圖3係根據本揭露的第一實施例之將畫面分割為多個分割區域的示意圖。在本揭露的第一實施例中，如圖3所示，乃是先扣除畫面下方30%的區域，再將畫面中的其餘部分分割為位於畫面左上角的第一區域R1、位於畫面右上角的第二區域R2、位於畫面中間上方的第三區域R3及除了上述區域以外的第四區域R4。其中，第一區域R1、第二區域R2及第三區域R3中所包含的資訊主要為背景資訊，而第四區域R4中所包含的資訊主要為背景資訊與移動物體的資訊。在本揭露的第一實施例中，如圖3所示，畫面被分割為四個分割區域，但本發明不限於此。

在本揭露的第一實施例中，於步驟1200中，係根據車用攝影機110裝設於車輛10的位置來將每個畫面分割為多個分割區域。舉例而言，圖3所示者，乃是車用攝影機110裝設於車輛10的右側時，將畫面分割為多個分割區域的示意圖，據此，當車用攝影機110裝設於車輛10的左側時，則第一區域R1會改為位於畫面右上角，且第二區域R2會改為位於畫面左上角。舉另一例而言，當車用攝影機110裝設的位置由裝設於車輛10的車頭改為裝設於車輛10的車身時，第一區域R1於畫面中的佔比會增加且第二區域R2於畫面中的佔比會減少。舉又一例而言，當車用攝影機110裝設的位置為裝設於車輛10的車尾時，第一區域R1於畫面中的佔比會相等於第二區域R2於畫面中的佔比。應注意的是，上述之關於分隔區域的調整之說明僅為例示，本發明不限於此。

在本揭露的第一實施例中，於步驟1200中，係根據車用攝影機110裝設於車輛10的安裝高度來調整各個分割區域於每個畫面中的佔比。具體而言，於步驟1200中，係根據車用攝影機110裝設於車輛10的安裝高度H(例如80公分至400公分)來調整第一區域R1、第二區域R2及第三區域R3於畫面中的佔比R。上述之佔比調整方式可表示為以下方程式(1)：

(1) 其中，H為車用攝影機110裝設於車輛10的安裝高度。T ₁為高度閥值，例如T ₁=250公分。a為方程式參數，當安裝高度H小於高度閥值T ₁，則a=a ₀，安裝高度H大於等於高度閥值T ₁，則a=a ₁。b為影像佔比基底，例如b=0.08。c為方程式參數。a ₀、a ₁、c為經實測所得出的方程式參數，因此本發明並不限定其數值為何。

請回到圖2，於步驟1300，處理器120取得每個分割區域內的光流特徵資訊。在本揭露的第一實施例中，處理器120係透過採用光流計算演算法來取得每個畫面的每個分割區域中所包含的多個光流(也可稱為位移或移動向量)。在此可以採用任何的光流計算演算法，例如Lucas-Kanade光流計算法、Horn-Schunck光流計算法等等，本發明並不限制所採用的光流計算演算法。

接著，處理器120對於每個分割區域內所包含的多個光流進行統計來取得每個分割區域內的光流特徵資訊，其中光流特徵資訊包括：光流資訊數量x₁、左方向數量x₂、左方向平均角度x₃、右方向數量x₄、右方向平均角度x₅。光流資訊數量x₁為該分割區域內所包含的多個光流的總數量，左方向數量x₂為該分割區域內所包含的多個光流為左方向的總數量，左方向平均角度x₃為該分割區域內所包含的多個光流為左方向的平均角度，右方向數量x₄為該分割區域內所包含的多個光流為右方向的總數量，右方向平均角度x₅為該分割區域內所包含的多個光流為右方向的平均角度。

圖4係根據本揭露的第一實施例之用以將光流區分為左方向或右方向的象限圖的示意圖。如圖4所示，透過x軸與y軸將象限圖劃分為第一象限I、第二象限II、第三象限III及第四象限IV。具體而言，光流為左方向或右方向係以象限圖作區分，意即，透過判斷光流所在象限來區分該光流為左方向或右方向。當光流所在象限為第二象限II或第三象限III，代表光流為左方向；當光流所在象限第一象限I或第四象限IV，代表光流為右方向。

請回到圖2，於步驟1400，處理器120根據每個畫面的每個分割區域所包含的光流特徵資訊來判斷車輛10是否處於轉向狀態。在本揭露的第一實施例中，藉由將每個畫面的每個分割區域所包含的光流特徵資訊輸入已預先經過訓練的機器學習模型來判斷車輛10是否處於轉向狀態。具體而言，上述之預先訓練，係預先將已知的車輛處於轉向狀態與車輛處於直行狀態的訓練資料(光流特徵資訊)輸入上述之機器學習模型來對其進行訓練，從而使得上述之經過訓練的機器學習模型能於步驟1400判斷車輛10是否處於轉向狀態。在本揭露的第一實施例中，上述之機器學習模型可表示為以下方程式(2)與方程式(3)：

(2) 其中，y為機器學習模型信心度， w為權重向量，即 w=[w ₁w ₂w ₃w ₄w ₅]，w ₁、w ₂、w ₃、w ₄、w ₅為權重值， x為由光流特徵資訊所組成的特徵向量， x=[x ₁x ₂x ₃x ₄x ₅]，d為機器學習模型經訓練所得出的方程式參數，因此本發明並不限定其數值為何。

另外，對於第一區域R1、第二區域R2、第三區域R3及第四區域R4的權重向量 w的權重值而言，因為第一區域R1、第二區域R2及第三區域R3中所包含的資訊主要為背景資訊，而第四區域R4中所包含的資訊主要為背景資訊與移動物體的資訊，因此第四區域R4的權重值會相較於第一區域R1、第二區域R2及第三區域R3的權重值會較低。

藉由機器學習模型的上述方程式(2)計算出機器學習模型信心度y後，藉由機器學習模型的方程式(3)是否成立來判斷車輛10是否處於轉向狀態，方程式(3)如下所示：

(3) 其中，α、β為機器學習模型經訓練所得出的方程式參數，因此本發明並不限定其數值為何。γ為連續判斷車輛10處於轉向狀態的次數。T ₂為閥值，例如T ₂=0.5。在本揭露的第一實施例中，若由方程式(3)成立，則處理器120判定車輛10正處於轉向狀態；若由方程式(3)不成立，則處理器120判定車輛10仍處於直行狀態。

圖5係根據本揭露的第二實施例之車輛轉向判斷方法2000的流程圖。車輛轉向判斷方法2000包含步驟2100-2400。於步驟2100，處理器120控制車用攝影機110拍攝車輛10的周邊場景來取得多個畫面。在本揭露的第二實施例中，車輛10為由動力車輛(例如曳引車或貨車)與其後方聯結之拖車(例如半拖車或重型全拖車)所組成之聯結車。在本揭露的第二實施例中，車用攝影機110為廣角攝影機，使得車用攝影機110具有寬廣的水平視角及垂直視角，從而使車用攝影機110能夠拍攝到聯結車之聯結於後方的拖車的車體部分且也能夠盡可能地拍攝車輛10的周邊場景。

於步驟2200，處理器120辨識出每個畫面所包含之聯結車的拖車的車體部分。在本揭露的第二實施例中，處理器120係透過機器學習的方式來辨識出畫面中所包含之聯結車的拖車的車體部分。具體而言，可預先將已知之包含聯結車的拖車的車體部分的畫面與不包含聯結車的拖車的車體部分的畫面輸入一個機器學習模型來對其進行訓練，從而使得此經過訓練的機器學習模型能於步驟2200辨識出每個畫面中所包含之聯結車的拖車的車體部分。

於步驟2300，處理器120根據每個畫面中的車體部分的變化情形來判斷聯結車是否處於轉向狀態。具體而言，由於聯結車在轉向的過程中由於動力車輛與其後方聯結之拖車之間的相對角度會產生變化，因此聯結車在轉向的過程中，車用攝影機110所取得的多個畫面(連續畫面)中的車體部分的佔比會隨著聯結車之轉向而有所改變，故可據此來判斷聯結車是否處於轉向狀態。

圖6係根據本揭露的第二實施例之用以說明根據多個畫面中的車體部分的變化情形來判斷聯結車是否處於轉向狀態的例示圖。舉例而言，如圖6所示，於步驟2100所取得的多個畫面至少包含於第一時間取得的第一畫面210與於第一時間之後的第二時間取得的第二畫面220。於步驟2300，處理器120比較第一畫面210中的車體部分212與第二畫面220中的車體部分222。當第二畫面220中的車體部分222為第一畫面210中的車體部分212往第一畫面210的上半部變化，則處理器120判定聯結車處於轉向狀態且聯結車係往用以取得第一畫面210與第二畫面220的車用攝影機110所裝設於聯結車的同一側進行轉向。例如，用以取得第一畫面210與第二畫面220的車用攝影機110裝設於聯結車的右側，且當第二畫面220中的車體部分222為第一畫面210中的車體部分212往第一畫面210的上半部變化，則處理器120判定聯結車處於轉向狀態且聯結車係往聯結車的右側進行轉向。

另外，當第二畫面中的車體部分為第一畫面中的車體部分往第一畫面的下半部變化，則處理器120判定聯結車處於轉向狀態且聯結車係往用以取得第一畫面與第二畫面的車用攝影機110所裝設於聯結車的相反側進行轉向。

值得一提的是，本揭露的第一實施例之車輛轉向判斷方法1000與第二實施例之車輛轉向判斷方法2000可個別地獨立應用於車輛，也可合併地組合式地應用於車輛。舉例而言，於車輛轉向判斷方法1000的步驟1400之判斷車輛10是否處於轉向狀態時，可另外引入車輛轉向判斷方法2000來作為輔助以增強轉向判斷的可靠度。舉另一例而言，於車輛轉向判斷方法2000的步驟2300之判斷車輛10是否處於轉向狀態時，可另外引入車輛轉向判斷方法1000來作為輔助以增強轉向判斷的可靠度。

在本揭露的實施例中，於藉由車輛轉向判斷方法1000或車輛轉向判斷方法2000判斷出車輛10正處於轉向狀態後，若車輛10為聯結車，則處理器120調整車輛10於偵測其周邊是否有移動風險物體時的偵測範圍。

圖7與圖8係根據本揭露的實施例之用以說明調整車輛10於偵測其周邊是否有移動風險物體時的偵測範圍的例示圖。如圖7的左圖所示，根據移動風險物體與車輛10的距離來劃分於偵測其周邊是否有移動風險物體時的偵測範圍。舉例而言，當移動風險物體與車輛10的距離很近時，認定移動風險物體為高風險物體；當移動風險物體與車輛10的距離越來越遠時，認定移動風險物體為中風險物體、低風險物體或無風險物體(在圖7的左圖中標示為「略」)。然而，如圖7的右圖所示，當聯結車在轉向的過程中由於動力車輛與其後方聯結之拖車之間的相對角度會產生變化，因此聯結車在轉向的過程中，若不調整聯結車於偵測其周邊是否有移動風險物體時的偵測範圍，則於移動風險物體與聯結車的拖車的距離很近時，卻會被認定為中風險物體、低風險物體或甚至是無風險物體(在圖7的右圖中標示為「略」)，導致駕駛者在聯結車轉彎時容易因此認定移動風險物體的風險不高而發生碰撞之情事。

因此，在本揭露的實施例中，於藉由車輛轉向判斷方法1000或車輛轉向判斷方法2000判斷出車輛10正處於轉向狀態後，若車輛10為聯結車，則處理器120調整車輛10於偵測其周邊是否有移動風險物體時的偵測範圍。如圖8的右圖所示，當聯結車在轉向的過程中，若處理器120調整聯結車於偵測其周邊是否有移動風險物體時的偵測範圍，則於移動風險物體與聯結車的拖車的距離過近時，即會被認定為高風險物體，從而能夠給予駕駛者適當地的警示，以提醒駕駛者在聯結車轉彎時應避免碰撞到該移動風險物體。

綜合上述，本揭露提出一種車輛轉向判斷方法，基於裝設於車輛的車用攝影機所取得的影像來判斷車輛是否處於轉向狀態，從而能夠於判斷出車輛處於轉向狀態時，針對周邊的移動風險物體給予駕駛者適當地的警示，以避免發生碰撞之情事。

以上概述了數個實施例的特徵，因此熟習此技藝者可以更了解本揭露的態樣。熟習此技藝者應了解到，其可輕易地把本揭露當作基礎來設計或修改其他的製程與結構，藉此實現和在此所介紹的這些實施例相同的目標及/或達到相同的優點。熟習此技藝者也應可明白，這些等效的建構並未脫離本揭露的精神與範圍，並且他們可以在不脫離本揭露精神與範圍的前提下做各種的改變、替換與變動。

10:車輛 110:車用攝影機 120:處理器 210:第一畫面 212,222:車體部分 220:第二畫面 1000,2000:車輛轉向判斷方法 1100,1200,1300,1400,2100,2200,2300:步驟 R1:第一區域 R2:第二區域 R3:第三區域 R4:第四區域 I:第一象限 II:第二象限 III:第三象限 IV:第四象限

從以下結合所附圖式所做的詳細描述，可對本揭露之態樣有更佳的了解。需注意的是，根據業界的標準實務，各特徵並未依比例繪示。事實上，為了使討論更為清楚，各特徵的尺寸都可任意地增加或減少。

[圖1]係根據本揭露的實施例之車用攝影系統的示意圖。

[圖2]係根據本揭露的第一實施例之車輛轉向判斷方法的流程圖。

[圖3]係根據本揭露的第一實施例之將畫面分割為多個分割區域的示意圖。

[圖4]係根據本揭露的第一實施例之用以將光流區分為左方向或右方向的象限圖的示意圖。

[圖5]係根據本揭露的第二實施例之車輛轉向判斷方法的流程圖。

[圖6]係根據本揭露的第二實施例之用以說明根據多個畫面中的車體部分的變化情形來判斷聯結車是否處於轉向狀態的例示圖。

[圖7]與[圖8]係根據本揭露的實施例之用以說明調整車輛於偵測其周邊是否有移動風險物體時的偵測範圍的例示圖。

1000:車輛轉向判斷方法

1100,1200,1300,1400:步驟

Claims

一種車輛轉向判斷方法，用以根據一車用攝影機所取得的多個畫面來判斷裝設該車用攝影機的一車輛是否處於轉向狀態，所述車輛轉向判斷方法包括：透過該車用攝影機取得該些畫面；將每一該些畫面分割為多個分割區域；取得每一該些分割區域內的光流特徵資訊；及根據該光流特徵資訊來判斷裝設該車用攝影機的該車輛是否處於轉向狀態。
如請求項1所述之車輛轉向判斷方法，更包括：根據該車用攝影機裝設於該車輛的位置來將每一該些畫面分割為該些分割區域。
如請求項1所述之車輛轉向判斷方法，更包括：根據該車用攝影機裝設於該車輛的安裝高度來調整該些分割區域於每一該些畫面中的佔比。
如請求項1所述之車輛轉向判斷方法，其中該光流特徵資訊包括：光流資訊數量、左方向數量、左方向平均角度、右方向數量、右方向平均角度。
如請求項1所述之車輛轉向判斷方法，更包括：藉由將該光流特徵資訊輸入經訓練的一機器學習模型來判斷該車輛是否處於轉向狀態。
如請求項1所述之車輛轉向判斷方法，更包括：當判斷出該車輛處於轉向狀態時，若該車輛為聯結車，則調整該車輛於偵測其周邊是否有移動風險物體時的偵測範圍。
一種車輛轉向判斷方法，用以根據一車用攝影機所取得的多個畫面來判斷裝設該車用攝影機的一車輛是否處於轉向狀態，所述車輛轉向判斷方法包括：透過該車用攝影機取得該些畫面，其中該車輛係一聯結車；辨識出每一該些畫面所包含之該聯結車的一拖車的一車體部分；及根據每一該些畫面中的該車體部分的變化情形來判斷該聯結車是否處於轉向狀態。
如請求項7所述之車輛轉向判斷方法，其中該些畫面至少包含於一第一時間取得的一第一畫面與於該第一時間之後的一第二時間取得的一第二畫面，該車輛轉向判斷方法更包括：比較該第一畫面中的該車體部分與該第二畫面中的該車體部分；及當該第二畫面中的該車體部分為該第一畫面中的該車體部分往該第一畫面的上半部變化或往該第一畫面的下半部變化時，判定該聯結車處於轉向狀態。
如請求項8所述之車輛轉向判斷方法，其中該車用攝影機係裝設於該聯結車的一側，該車輛轉向判斷方法更包括：當該第二畫面中的該車體部分為該第一畫面中的該車體部分往該第一畫面的上半部變化時，判定該聯結車處於轉向狀態且該聯結車係往該側進行轉向；及當該第二畫面中的該車體部分為該第一畫面中的該車體部分往該第一畫面的下半部變化時，判定該聯結車處於轉向狀態且該聯結車係往與該側相反的另一側進行轉向。
如請求項7所述之車輛轉向判斷方法，更包括：當判斷出該聯結車處於轉向狀態時，調整該聯結車於偵測其周邊是否有移動風險物體時的偵測範圍。