TW201346841A

TW201346841A - 攝影影像處理裝置及攝影影像處理方法

Info

Publication number: TW201346841A
Application number: TW102103432A
Authority: TW
Inventors: Takumi Yokoyama
Original assignee: Nec Corp
Priority date: 2012-03-22
Filing date: 2013-01-30
Publication date: 2013-11-16
Also published as: JP5500194B2; JP2013196525A; CN103325249A

Abstract

本發明提供一種攝影影像處理裝置，用以對一攝影影像進行影像處理程序，來偵測該攝影影像所偵測到的一物體，包括：縮減影像產生單元，以複數個相異縮減比例產生該攝影影像的複數個縮減影像；特徵值計算單元，用以根據該等縮減影像的影像大小來改變每個該等縮減影像的一本地範圍，並且計算每個該本地範圍的一特徵值；歸一化輸入變量決定單元，用以計算具有相異縮減比例的該等縮減影像的該等特徵值之間的一差異值，並且將所計算出的該差異值設為一歸一化輸入變量；以及歸一化處理程序單元，利用該歸一化輸入變量執行歸一化處理程序。

Description

攝影影像處理裝置及攝影影像處理方法

本發明係有關於攝影影像處理裝置和攝影影像處理方法。

一般系統藉由設置在路邊的影像裝置來擷取移動中的車輛之影像，並且處理攝影影像，使得該系統得以偵測出該移動中車輛的位置和速度。這種系統包括一交通計數器，用以計數車輛的數量，以及一驅動安全支援系統，用以在能見度差的彎道或十字路口避免發生碰撞事故。

該驅動安全支援系統可由攝影影像判斷車輛的位置和速度，來估計碰撞前的剩餘時間，並且根據這些估計結果來警示駕駛人，或者適當地控制車輛的煞車系統。因此，該系統需要很高的精確度來從攝影影像中偵測車輛的位置和速度。

隨著天氣環境和道路表面環境的改變，攝影機所擷取的影像之對比度也會明顯的改變，此會造成難以高精確度地獲得車輛的位置和速度。

因此，執行預處理程序來調整攝影影像之對比度成為不可或缺的一環。這種對比度處理程序常被認為與歸一化處理程序有關。以下各例為傳統歸一化處理程序的方法。

在第一例方法中，歸一化處理程序為拉平全部攝影影像的對比度。在此歸一化處理程序中，使用全部攝影影像的照度(luminance)變異值或攝影影像的局部區域的平均照度(mean luminance)和變異值(variance value)，使得對比度較低的範圍受到對比度較高的範圍的影響，而較高對比度的範圍會鞏固其對比度。因此，藉由此方法可使車輛的外型更清楚。

在第二例方法中，藉由背景差異，將攝影影像中的車輛範圍和非車輛範圍區分開，並且只將車輛範圍進行歸一化程序，此可以著重調整所需要範圍的對比度。

日本專利第4427201號(專利文獻1)揭露一種用以偵測是否車輛在監控區域內之方法。在此方法中，對該監控區域內的一照度信號的每個照度值產生二值化影像(binarized image)，同時取得該二值化影像的熵來產生照度值的熵分佈(entropy distribution)，並且根據特定熵的分佈寬度(distribution width)判斷是否有車輛在該監控區域內。在此方法中，會先預處理二值化影像來計算出每個臨界值的熵，因此根據熵的變異來分辨出影像中的車輛範圍和非車輛範圍。

日本專利申請公開第H09-062986號(專利文獻2)揭露一種偵測車輛的方法，其中複數光發射裝置額外地設置在攝影機中，使得在晚上或雨天照度很低時，啟動光發射裝置並根據是否有照度上的差異來感應車輛。

在第一例方法中，不僅車輛範圍的對比度被放大，連道路表面的對比度差異也會被放大，此會導致在偵測道路表面時發生許多錯誤。

在第二例方法中，當影像環境變化時，在不同時間所擷取到的影像之間照度也會改變。因此，在非車輛範圍時，照度變異值變得很大，此會很難正確地區隔車輛區域和非車輛區域。此外，由於影像環境改變取決於時域和氣候環境，因此必須定期更新背景影像。由於陰影或壅塞的交通使得沒辦法取得足夠的背景影像，因此會發生的許多問題。

專利文獻1的技術係用以取得二值化影像的每個臨界值的熵，會有額外增加處理時間的問題。

在專利文獻2中的技術中，攝影影像處理裝置係由複數個偵測器所組成，此會增加攝影影像處理裝置額外的花費。

再者，由於攝影影像係和周圍環境有很大的關聯性，因此偵測車輛的準確性和影像周圍環境有關連性，並且受影像周圍環境影像。因此，當以歸一化處理程序作為前置處理程序時，處理程序時間和車輛偵測準確度將與歸一化處理程序有關。

有鑑於先前技術的缺陷，亟需一種擷取影像程序裝置和擷取影像程序方法，用以迅速地和自動化地以高準確度來決定歸一化的程度，並且偵測物體(如車輛)。

為了解決前述問題，本發明提供一種攝影影像處理裝置，用以對一攝影影像進行影像處理程序，來偵測該攝影影像所偵測到的一物體，包括：一縮減影像產生單元，以複數個相異縮減比例產生該攝影影像的複數個縮減影像；一特徵值計算單元，用以根據該等縮減影像的影像大小來改變每個該等縮減影像的一本地範圍，並且計算每個該本地範圍的一特徵值；一歸一化輸入變量決定單元，用以計算具有相異縮減比例的該等縮減影像的該等特徵值之間的一差異值，並且將所計算出的該差異值設為一歸一化輸入變量；以及一歸一化處理程序單元，利用該歸一化輸入變量執行歸一化處理程序。

本發明亦提供一種攝影影像處理方法，用以對一攝影影像進行影像處理，以便偵測從該攝影影像所偵測的一物體，包括：執行一縮減影像產生步驟，以複數個相異縮減比例產生該攝影影像的複數個縮減影像；執行一特徵值計算步驟，用以根據每一該縮減影像的大小來改變該縮減影像的一本地範圍，以便計算該本地範圍的一特徵值，計算具有相異縮減比例的該等縮減影像的該等特徵值之間的一差異值；執行一歸一化輸入變量決定步驟，用以將該差異值設為一歸一化輸入變量；以及執行一歸一化處理程序步驟，其中利用該歸一化輸入變量來執行歸一化處理程序。

在本發明中，歸一化執行程序係根據複數個縮減影像的特徵值之間的差異來決定，因此歸一化處理程序的程度可以很迅速地和自動化地決定，因此可以在高精確度下偵測車輛或其他物體。

2‧‧‧攝影影像處理裝置

11‧‧‧縮減影像產生單元

12‧‧‧特徵值計算單元

13‧‧‧歸一化輸入變量決定單元

14‧‧‧歸一化處理程序單元

4‧‧‧路邊攝影機

R‧‧‧道路表面

C‧‧‧車輛

Rb_1、Ra_1、Rb_2、Ra_2‧‧‧範圍

圖1係本發明之第一實施例之一方塊圖；圖2係擷取影像處理程序之第一實施例之一流程圖；圖3係第一實施例之物體被偵測到時灰階與頻率的關係圖；圖4係第一實施例之物體被偵測到時灰階與頻率的關係圖；圖5A係第一實施例之以低縮減比例之縮減影像；圖5B係第一實施例之以高縮減比例之縮減影像；圖6係第一實施例之雜訊移除處理程序之流程圖；圖7係第一實施例之平滑過濾處理程序之流程圖；圖8係擷取影像處理程序之第二實施例之一流程圖；以及圖9係擷取影像處理程序之第三實施例之一流程圖。

以下說明是執行本發明之最佳模式。在本發明中，攝影影像裝置藉由改變歸一化的程度(歸一化輸入變量(normalized input variable))並聚焦在攝影影像的畫素之灰階上，來完成物體的高準確度偵測。在下面的描述中，在道路上移動的車輛視為被偵測物的一種例子，但事實上本發明不局限於此。舉例來說，本發明可藉由戶外防護測影機所擷取的影像，來應用在入侵者之偵測。

第一實施例

圖1係本發明之第一實施例之一方塊圖，用以表示攝影影像處理裝置2。攝影影像處理裝置2具有一縮減影像產生單元(reduced image generation unit)11、一特徵值計算單元(characteristic value calculation unit)12、歸一化輸入變量決定單元(normalized input variable determination unit)13、和歸一化處理程序單元(normalization processing unit)14，並且攝影影像處理裝置2對一路邊攝影機4所擷取到的影像執行攝影影像處理程序。路邊攝影機4是一個設置在道路的攝影機，例如用來監控道路。在以下說明中，熵值被用來當做是一特徵值。

縮減影像產生單元11從路邊攝影機4所擷取到的影像中產生具有不同影像大小(不同縮減比例)之複數個縮減影像。特徵值計算單元12根據個別的影像大小改變縮減影像產生單元11所產生的影像的本地範圍，並且計算本地範圍的熵。

歸一化輸入變量決定單元13根據特徵值計算單元12所計算出的熵來取得每個影像之間的熵的一差異值。歸一化處理程序單元14藉由歸一化輸入變量決定單元13所計算出歸一化輸入變量來對每個畫素執行不同程度的歸一化程序。

接下來，說明擷取影像處理程序裝置執行攝影影像處理程序的步驟。圖2係擷取影像處理程序之一流程圖。

於步驟SA1，由路邊攝影機4擷取影像來取得攝影影像。攝影影像被傳送至縮減影像產生單元11。

於步驟SA2和SA3，藉由縮減影像產生單元11以一預定縮減比例來縮減攝影影像的大小。在此實施例中，縮減影像產生單元11產生兩種不同縮減比例(及1/4和1/16)的縮減影像。此後，任何影像被縮減後會以縮減影像來表示，並且當縮減影像與他的縮減比例一起被提到時，舉例來說，會以1/4縮減影像來表示。

在已取得的攝影影像中的薄化的畫素群中執行產生縮減影像程序。在後續會提到根據這些縮減影像來計算熵，使得縮點計算時間。

於步驟SA4至步驟SA5，藉由特特徵值計算單元12計算該攝影影像的熵。每個本地範圍的熵被計算出，其中本地範圍為目標畫素的周圍並且隨著攝影影像大小改變。

當本地範圍內的照度值i的機率被定義為Pi時，目標畫素n的熵Hn可以由以下方程式1表示：

如圖3所示，當畫素集中在一特定灰階(階度值)時，熵Hn在此階度值以一高頻呈現，而在其他階度值則假定係以低頻呈現。如果灰階沒有特定值，如圖4所示，則假定階度值以低頻值呈現。在圖3和圖4中，水平軸代表階度值(灰階)，垂直軸代表頻率。

這裡提供一種計算本地範圍的熵的方法，並且無論縮減影像的大小如何，本地範圍是固定的。接著，根據以下方程式2所示，能量En用以取代熵值來當作特徵值。能量En對於照度值Pi的作用如同熵值。

於步驟SA6，重新縮放這些縮減影像至相同影像大小。舉例來說，1/4縮放影像被調整至1/16縮放影像。

於步驟SA7，計算不同縮放比例的已縮放影像的每個畫素的熵值差。舉例來說，如圖5A和5B所示，攝影影像擷取車輛C正在道路表面R奔跑的影像。圖5A顯示以低縮減比例的縮減影像，圖5B顯示以高縮減比例的縮減影像。在這些圖中，範圍Ra_1和Ra_2只包含道路表面R，並且範圍Rb_1和Rb_2只包車輛C。

範圍Ra_1和Ra_2沒有包含如車輛等照度值改變的物體。因此，範圍Ra_2具有實質上與範圍Ra_1相同的熵值，其中範圍Ra_2是由範圍Ra_1執行畫素薄化處理程序(pixel thinning processing)產生。

然而，值得注意的是，由於範圍Rb_1和範圍Rb_2包含車輛，所以範圍Rb_1和範圍Rb_2所包含的所有畫素的照度值互相不同。因此，範圍Rb_2的熵值與範圍Rb_1的熵值不同，其中範圍Rb_2是由範圍Rb_1執行畫素薄化處理程序(pixel thinning processing)產生。

本實施例係利用此特徵值。詳細而言，由不同縮減比例所取得的影像來取得熵的差異值，並且當所取得的差異值為一預定臨界值或者是比該預定臨界值更大時，則判定該對應的範圍內具有一車輛。

於步驟SA8，當熵的差異值非常小時，則判斷在對應的範圍或畫素內沒有包含一車輛，並且認為此熵的差異值為一雜訊(noise)。因此，利用一小熵差異值(small entropy difference value)在該範圍內執行雜訊移除處理程序(noise removal processing)，但是不執行歸一化處理程序。圖6為雜訊移除處理程序的流程圖。

於步驟SB1和SB2中，以一方向掃描一影像來判斷在區間中熵值是否連續地相等或者大於一臨界值(之後稱為積分區間(interval of integration))。掃描方向可以是橫向或縱向。然後，在該預定區間計算出熵的積分值γ。

於步驟SB3和SB4中，由於非常低的積分值γ會很像雜訊，因此將積分值γ與預設的臨界值β進行比較。如果積分值γ小於臨界值β，則判斷該區間有雜訊。該區間被判斷有雜訊後就不進行歸一化處理程序，因此在該區間的所有畫素的熵值被設置為0(設為初始值)，前述即為雜訊移除處理程序。

回到圖2，繼續說明攝影影像處理程序。於步驟SA9，受到雜訊移除處理程序的縮減影像被還原成原來攝影影像的原始大小。可藉由插入已薄化畫素的相鄰畫素值，或者是線性內插法等等，來執行縮減影像的還原程序。

於步驟SA10，為了決定歸一化輸入變量，藉由歸一化輸入變量決定單元13將該熵差異值轉換成歸一化輸入變量。先將差異值0~1進行歸一化來進行轉換程序。在此程序中，當在如隧道內等等的環境時，在影像上部的對比度會變得低於比影像下部的對比度。因此，在上部輸入變量α會設得更大。

於步驟SA11，藉由歸一化處理程序單元14根據攝影影像F1產生一對比度強調影像F2，並且藉由調整對比度來產生一對比度歸一化影像F，並且同時根據具有輸入變量α的公式3調整每個畫素歸一化處理程序的程度。

F=(1-α)×F1+α×F2...(3)

此可只針對有車輛出現的範圍加強對比度，而沒有對道路的影像加強對比度。藉由此歸一化處理程序，車輛的影像會處理得很清楚，因此可以在高精確度下偵測車輛的位置和速度。

在以上說明中，雜訊移除處理程序(步驟SA8)係在差異值計算處理程序(步驟SA7)之後執行。然而，在本發明中，如圖7所示，亦可在差異值計算處理程序(步驟SA7)之後執行平滑過濾處理程序(smoothing filter processing)(步驟SC1)，但是在雜訊移除處理程序(SA8)之前執行平滑過濾處理程序(smoothing filter processing)(步驟SC1)。圖7為處理程序的部分流程圖，用以表示依序處理差異值計算處理程序和平滑過濾處理程序，然而才執行雜訊移除處理程序。

在平滑過濾處理程序中，可以藉由相鄰的畫素來抑制歸一化輸入變量的過度改變，該歸一輸入變量指出的過度改變顯示歸一化的程度。因此，此可以在高精確度下偵測車輛的位置和速度。

第二實施例

以下為本發明之第二實施例。在以下說明中，第二實施例和第一實施例相同元件的標號和說明將適當地省略。第一實施例係以兩相異縮減影像(也就是1/4縮減影像和1/16縮減影像)為例。然而，在本發明中，縮減影像並不限於兩個，亦可多於兩個。在本揭露第二實施例中，係以1/4縮減影像、1/16縮減影像和1/64縮減影像為例。

圖8係本揭露之第二實施例之攝影影像處理程序的流程圖。步驟SD1~SD5與步驟SA1~SA5相同，步驟 SD10~SD14與步驟SA7~SA11相同。因此，第二實施例與第一實施例的差別在於步驟SD6~SD9。

在計算熵的步驟SD4之後的步驟SD6中，將縮減影像重新縮放成1/64縮減影像。具體來說，1/4縮減影像被重新縮放成1/64縮減影像。在計算熵的步驟SD5之後的步驟SD7，將縮減影像重新縮放至1/64縮減影像。具體來說，1/16縮減影像被重新縮放成1/64縮減影像。

於步驟SD8和SD9，縮減影像產生單元11產生攝影影像的1/64縮減影像並計算熵值，其中該攝影影像由步驟SD1所取得。

因此，1/4縮減影像、1/16縮減影像和1/64縮減影像的熵值被計算出，並且影像大小被統一成1/64已縮放影像大小。

於步驟SD10，計算出每個縮減影像的熵的差異值。具體來說，分別計算出1/4縮減影像和1/16縮減影像的差異值、1/16縮減影像和1/64縮減影像的差異值，並且計算出這些影像中兩個差異值之間的差異。

在此方法中，偵測車輛的位置和速度的精確度提高，並且縮短處理時間。

第三實施例

接下來說明第三實施例。第三實施例和第一實施例相同元件的標號和說明將適當地省略。圖9係本揭露之第三實施例之攝影影像處理程序的流程圖。

在圖9中，步驟SE1~SE7、SE14~SE17與圖2之步驟SA1~SA7、SA8~SA11相同。圖9的攝影影像處理流程與圖2的差別在於圖9增加步驟SE8~SE13。步驟SE8~SE13說明如下。

於步驟SE8，對步驟SE7所計算出的熵值差執行平滑過濾處理程序，並且執行雜訊移除處理程序(參見圖7的步驟SC1)。

於步驟SE9和SE11，計算已執行雜訊移除處理程序的每個縮減影像的熵值，並且於步驟SE11，將縮減影像重新縮放。

於步驟SE10和SE12，產生1/16縮減影像來進行雜訊移除處理程序，並且計算出1/16縮減影像的熵值。於步驟SE10和SE12，根據縮減影像的大小來改變一目標畫素的一本地範圍(local region)，並且計算本地範圍的熵。

於步驟SE13，計算出平滑過濾處理程序的縮減影像的熵值(步驟SE9所計算出的熵)和縮減影像的熵值(步驟SE12所計算出的熵)之間的差異值。

在這些處理程序步驟之後，雖然道路表面或其他對比度改變小的地方的差異值略大，然而藉由多次取得熵差異值可降低在這範圍內的每分鐘對比度改變量的差異。

如上所述，藉由比較複數個縮減影像的熵之方法，可抑制道路表面的影像強度，並可加強車輛或其他物體的影像的對比度。

Claims

一種攝影影像處理裝置，用以對一攝影影像進行影像處理程序，來偵測該攝影影像所偵測到的一物體，包括：一縮減影像產生單元，以複數個相異縮減比例產生該攝影影像的複數個縮減影像；一特徵值計算單元，用以根據該等縮減影像的影像大小來改變每個該等縮減影像的一本地範圍，並且計算每個該本地範圍的一特徵值；一歸一化輸入變量決定單元，用以計算具有相異縮減比例的該等縮減影像的該等特徵值之間的一差異值，並且將所計算出的該差異值設為一歸一化輸入變量；以及一歸一化處理程序單元，利用該歸一化輸入變量執行歸一化處理程序。
如申請專利範圍第1項所述的攝影影像處理裝置，其中該特徵值為公式1之熵值或公式2之能量值，其中Pi代表在該本地範圍內的照度值i的發生率，Hn代表一目標畫素n的熵值，並且En代表該目標畫素n的能量：。
一種攝影影像處理方法，用以對一攝影影像進行影像處理，以便偵測從該攝影影像所偵測的一物體，包括：執行一縮減影像產生步驟，以複數個相異縮減比例產生該攝影影像的複數個第一縮減影像；執行一特徵值計算步驟，用以根據每一該等第一縮減影像的大小來改變每一該等第一縮減影像的一本地範圍，以便計算該本地範圍的一特徵值，計算具有相異縮減比例的該等第一縮減影像的該等特徵值之間的一差異值，以及將所計算出的該差異值設為一歸一化輸入變量；執行一歸一化輸入變量決定步驟，用以將該差異值設為一歸一化輸入變量；以及執行一歸一化處理程序步驟，其中利用該歸一化輸入變量來執行歸一化處理程序。
如申請專利範圍第3項所述的攝影影像處理方法，其中該等第一縮減影像為三個縮減影像並且分別具有相異縮減比例。
如申請專利範圍第3項所述的攝影影像處理方法，其中該特徵值為公式1之熵值或公式2之能量值，其中Pi代表在該本地範圍內的照度值i的發生率，Hn代表一目標畫素n的熵值，並且En代表該目標畫素n的能量：。
如申請專利範圍第3項所述的攝影影像處理方法，其中該特徵值計算步驟包含一平滑過濾處理步驟，用以處理一影像，以便藉由周遭的複數個畫素來避免該歸一化輸入變量的過度改變，其中該影像係藉由所計算出的該特徵值所構成。
如申請專利範圍第6項所述的攝影影像處理方法，其中該特徵值計算步驟包括產生該平滑過濾處理流程所取得的影像之一第二縮減影像，計算該影像與該第二縮減影像的該等特徵值，並且計算該等特徵值之間的一差異值。
如申請專利範圍第3項所述的攝影影像處理方法，其中該已歸一化變量決定步驟包括當該特徵值計算步驟在一範圍內所取得的差異值小於一預設臨界值，在該範圍內執行雜訊移除處理程序，並且根據該雜訊移除處理程序所處理的影像設置該歸一化輸入變量。
如申請專利範圍第8項所述的攝影影像處理方法，包括一影像還原步驟，用以藉由線性內插法將經該雜訊移除處理程序的影像重新儲存成該攝影影像的一原始大小。
如申請專利範圍第8項所述的攝影影像處理方法，其中該歸一化處理程序包括對經由雜訊移除處理程序的影像的上部和下部設置相異的該等歸一化輸入變量。