TW201809671A - 一種光流測速模組與其測速方法 - Google Patents

Abstract

一種光流測速模組包含：一攝影機陣列、一運算單元以及一統計單元。攝影機陣列包含有N×M個攝影機，用以拍攝N×M個周圍環境影像；運算單元根據N×M個周圍環境影像運算出N×M個攝影機速度與N×M個標準差；統計單元根據N×M個攝影機速度與N×M個標準差運算出一統計運動速度，其中N與M皆為大於1的自然數。相較於習知技術，本發明利用多個攝影機所組成的攝影機陣列拍攝多個影像，以減少因為地面反光或是環境光源造成影像紋理不易辨識的不利因素，可提升利用光流測速模組量測速度的可靠性。

Description

一種光流測速模組與其測速方法

本發明係關於一種光流測速模組與其測速方法，更明確地說，係關於一種利用一攝影機陣列拍攝多個影像以運算統計測速的光流測速模組與其測速方法。

光流測速模組是一套用來運算自身速度的模組。習知技術上，它常裝設於於UAV上，藉由一顆對地拍攝的相機，取得地面的影像，並運算影像像素的位移來得到速度的資訊。然而，實務上，在運算光線的流動卻常常容易受到環境光源或地面材質造成光線反射而影響到運算。

這是因為光流測速模組是透過連續拍攝地面，比對影像紋理的移動，來運算相對速度。若是影像的紋理清晰可辨識，則易於藉由光流運算法來推算光流測速模組的速度。但習知的光流測速模組通常只搭載一顆攝影機，若是拍攝時地面反光相當嚴重或環境光源過亮時，都會對光流運算產生影響。

因應前述問題，本發明之一範疇在於提供一種光流測速模組，藉由一具有多個攝影機的攝影機陣列，拍攝多组的多個影像，再進行影像分析以運算出每個影像所呈現的速度與標準差後，再進行一統計運算 以求取出一統計後的光流測速模組速度。

本發明提供的光流測速模組，裝設於一機動設備上用以量測該機動設備的一運動速度，包含：一攝影機陣列、一運算單元以及一統計單元。攝影機陣列包含有N×M個攝影機，用以拍攝而取得機動設備之多组N×M個周圍環境影像；運算單元與攝影機陣列電性連接，並根據多組N×M個周圍環境影像運算出N×M個攝影機速度與N×M個標準差；統計單元與運算單元電性連接，用於根據N×M個攝影機速度與N×M個標準差運算出機動設備的運動速度，其中N與M皆為大於1的自然數。

於本發明之一實施例中，其中該統計單元係以下列公式運算出該機動設備的該運動速度： 其中，K=N×M、V_s為每一該N×M個攝影機速度、σ_s為每一該N×M個標準差、V_out為該機動設備的該運動速度。

於本發明之一實施例中，其中運算單元包含一影像處理單元，用以將多組N×M個周圍環境影像的像素與亮度數值化，並對應產生N×M個周圍環境影像的數值化結果與像素數目-亮度分析直方圖。

於本發明之一實施例中，其中運算單元包含一速度運算裝置，速度運算裝置根據N×M個周圍環境影像的數值化結果，利用一光流運算法以運算出N×M個攝影機速度。

於本發明之一實施例中，其中運算單元包含一標準差運算裝置，用於根據每一N×M個像素數目-亮度分析直方圖所呈現的數據，進行每 一N×M個標準差的運算。

本發明之另一範疇在於提供一種光流測速模組的測速方法，用以量測一機動設備的一運動速度，機動設備上裝設有一光流測速模組，光流測速模組包含有一攝影機陣列、一運算單元以及一統計單元，其中攝影機陣列包含有N×M個攝影機，而N與M皆為大於1的自然數，光流測速模組的測速方法包含以下步驟：S1：使用攝影機陣列的N×M個攝影機進行拍攝，取得機動設備之多組N×M個周圍環境影像；S2：使用運算單元根據多組N×M個周圍環境影像，運算出N×M個攝影機速度；S3：使用該運算單元根據多組N×M個周圍環境影像，運算出N×M個標準差；以及S4：使用統計單元根據N×M個攝影機速度，與N×M個標準差運算出機動設備的運動速度。

於本發明之另一實施例中，其中該統計單元係以下列公式運算出該機動設備的該運動速度： 其中，K=N×M、V_s為每一該N×M個攝影機速度、σ_s為每一該N×M個標準差、V_out為該機動設備的該運動速度。

於本發明之另一實施例中，其中運算單元包含一影像處理單元，光流測速模組測速方法進一步包含步驟：使用影像處理單元將多組N×M個周圍環境影像的像素與亮度數值化，並對應產生N×M個周圍環境影像的數值化結果，以及像素數目-亮度分析直方圖。

於本發明之另一實施例中，其中運算單元包含一速度運算裝 置，用於根據N×M個周圍環境影像的數值化結果通過一光流運算法以運算出N×M個攝影機速度。

於本發明之另一實施例中，其中運算單元包含一標準差運算裝置，用於根據每一像素數目-亮度分析直方圖所呈現的數據，進行每一N×M個標準差的運算。

相較於習知技術，本發明利用多個攝影機所組成的攝影機陣列拍攝多個影像，以減少因為地面反光或是環境光源造成影像紋理不易辨識的不利因素，可提升利用光流測速模組量測速度的可靠性。

1‧‧‧光流測速模組

10‧‧‧攝影機陣列

102‧‧‧基座

104‧‧‧攝影機

12‧‧‧運算單元

122‧‧‧影像處理裝置

124‧‧‧速度運算裝置

126‧‧‧標準差運算裝置

14‧‧‧統計單元

2‧‧‧光流測速模組的測速方法

V_s‧‧‧攝影機速度

V_out‧‧‧機動設備的運動速度

σ_s‧‧‧標準差

圖1繪示了本發明一具體實施例的功能方塊示意圖。

圖2繪示了本發明之攝影機陣列的上視圖。

圖3繪示了本發明之攝影機陣列的側視圖。

圖4A至4B繪示了本發明一具體實施例的一周圍環境影像與其相應的像素數目-亮度分析直方圖。

圖5A至5B繪示了本發明一具體實施例的又一周圍環境影像與其相應的像素數目-亮度分析直方圖。

圖6A至6B繪示了本發明一具體實施例的另一周圍環境影像與其相應的像素數目-亮度分析直方圖。

圖7繪示了本發明一具體實施例的周圍環境影像、其相應的像素數目-亮度分析直方圖以及其代表之權重的示意圖。

圖8繪示了本發明另一範疇的功能方塊示意圖。

請先參閱圖1至圖3，圖1繪示了本發明一具體實施例的功能方塊示意圖。圖2繪示了本發明之攝影機陣列的上視圖。圖3繪示了本發明之攝影機陣列的側視圖。

本發明提供一種光流測速模組1，適於裝設於一機動設備上並運算該機動設備的一運動速度，包含：一攝影機陣列10、一運算單元12以及一統計單元14。

攝影機陣列10包含有一基座102與N×M個攝影機104，用以拍攝而取得機動設備之多組N×M個周圍環境影像；運算單元12與攝影機陣列10電性連接，並根據N×M個周圍環境影像運算出N×M個攝影機速度與N×M個標準差；N準差個標準差表示，針對N準差個攝影機104所拍攝的N拍攝個周圍環境影像，進行計算，一組N×M個周圍環境影像中的每一個周圍環境影像，都對應有一個標準差，這些標準差有N×M個，統稱為N×M個標準差。統計單元14與運算單元12電性連接，用於根據N接，個攝影機速度與N影機個標準差運算出機動設備的運動速度，其中N與M皆為大於1的自然數。

其中關於影像一詞，得被解釋為靜態影像或動態影像，惟於本實施例中係以靜態影像作解。然「多組」一詞係針對靜態影像所述，所屬領域具通常知識者亦可知曉此處係以N×M個攝影機拍攝到N×M個動態影像，再將N×M個動態影像逐格分解成多個的N×M個靜態影像。

於本實施例中，如圖2所示的攝影機陣列10係為一4×4方陣，亦即N=M=4的攝影機陣列，然此實施例僅為方便說明，本發明並不加以限制攝影機陣列10必須以方陣形成攝影機陣列，而且，本發明的攝影機陣列10裡的每顆攝影機104不以全往同一方向拍攝為限制，個別攝影機104得相 互往不同的方向拍攝，以進一步減少影響速度量測的環境因素。

本發明提供的光流測速模組1所裝設的機動設備包含無人飛行機、自行車、機動車輛等機動設備，當裝設有本發明的機動設備在運動時，攝影機陣列10的N×M個攝影機104將拍攝機動設備周圍的多組N×M個周圍環境影像，以供測速使用。這N×M個周圍環境影像再經由運算單元12來分別算出N×M個攝影機速度與N×M個標準差。

運算單元12包含有一影像處理裝置122、一速度運算裝置124以及一標準差運算裝置126。影像處理裝置122將每一個攝影機104所拍攝的周圍環境影像進行像素與亮度的分析，藉以對應產生N×M個周圍環境影像的數值化結果，並再根據那些數值化結果產生N×M個周圍環境影像的像素數目-亮度分析直方圖。

請參閱圖4A至圖4B、圖5A至圖5B以及圖6A至圖6B等三組圖組。圖4A至圖4B、圖5A至圖5B以及圖6A至圖6B分別繪示了本發明一具體實施例的一周圍環境影像與其相應的像素數目-亮度分析直方圖。

其中圖4A是經由攝影機陣列10的攝影機104所拍攝的在一般環境亮度下的周圍環境實驗影像，圖5A是在高環境亮度下由攝影機104拍攝的周圍環境實驗影像，圖6A是在低環境亮度下由攝影機104拍攝的周圍環境實驗影像。而圖4B、圖5B以及圖6B則分別是將圖4A、圖5A以及圖6A經由影像處理裝置122以電腦視覺處理後的數值化結果，再將之統計像素數目-亮度之間關係而產生的周圍環境實驗影像的像素數目-亮度分析直方圖。

請先參閱圖4A至圖4B，在一般環境亮度的背景下，可以明顯看出圖4A中圖像的紋理，而其相對應的圖4B中能看出圖4A有相當部分的 像素以高亮度呈現，但也有一定數量的像素分佈在中、低亮度的部分。呈現出影像亮度分布平均而標準差較高的傾向。

接著請參閱圖5A至圖5B，在較高環境亮度的背景下，圖5A中大約只剩一半的圖像紋理部分依然可見，而其相對應的圖5B中能看出圖5A極大部分的像素都以高亮度呈現，而鮮少有像素分布至中、低亮度的部分。呈現出影像亮度集中區域偏高亮度而標準差較低，平均亮度值高的傾向。

最後請參閱圖6A至圖6B，在較低環境亮度的背景下，圖6A中大部分的圖像紋理部分幾乎不易可見，而其相對應的圖6B中能看出圖6A極大部分的像素都以低亮度呈現，而鮮少有像素分布至中、高亮度的部分。呈現出影像亮度集中區域偏低亮度而標準差較低，平均亮度值低的傾向。

接著，N×M個周圍環境影像的數值化結果被輸出至速度運算裝置124，速度運算裝置124根據N×M個周圍環境影像的數值化結果，藉由光流運算法來算出每一個攝影機104所拍攝到的N×M個周圍環境影像所包含的運動速度，而N×M個周圍環境影像的像素數目-亮度分析直方圖則被傳送到標準差運算裝置126，以根據像素數目-亮度分析直方圖所呈現的數據運算出每一個周圍環境影像的標準差。

請參閱圖7，圖7繪示了本發明一具體實施例的周圍環境影像、其相應的像素數目-亮度分析直方圖以及其代表之權重的示意圖。需瞭解的是，若是有一周圍環境影像的像素數目-亮度分析直方圖表現出亮度分布都集中在高亮度區間，且其標準差值/或權重值偏低時，如圖7(C)所示，則代表該周圍環境影像受到光折射的影響過大，導致過曝光，無法提供足 夠的影像紋理來判斷速度。相反的，若是有一周圍環境影像的像素數目-亮度分析直方圖表現出亮度分布都集中在低亮度區間，且其標準差值/或權重值偏低時，如圖7(A)所示，則代表該周圍環境影像曝光不足，過暗，同樣無法提供足夠的影像紋理來判斷速度。而若有一周圍環境影像的像素數目-亮度分析直方圖表現出亮度分布在各個亮度區間都有像素分布，且其標準差值/或權重值不至偏低時，如圖7(B)所示，則代表該周圍環境影像幾乎未受到光折射的影響，沒有過曝光的問題，應可提供足夠的影像紋理來判斷速度。

而前述關於影像的數值化處理、利用光流運算法求取影像速度以及標準差計算的方法應屬習知技術，所屬技術領域具通常知識者在閱讀本說明書時應可自然知曉相關技術內容。

算得每一攝影機104的運動速度V_s與每一周圍環境影像的標準差之後，統計單元14則根據運動速度與每一周圍環境影像的標準差，以下列式一進行安裝有攝影機陣列10的機動設備之運動速度的計算。

其中，K=N×M、V_s為每一該N×M個攝影機速度、σ_s為每一該N×M個標準差、V_out為該機動設備的該運動速度。而於式一中，標準差σ_s代表權重，標準差σ_s值較高者，代表與該標準差值對應的周圍環境影像能提供較足夠的影像紋理，而拍攝下該周圍環境影像的攝影機速度具有較高的參考價值；相對的，標準差σ_s值較低者，代表與該標準差值對應的周圍環 境影像不能提供較足夠的影像紋理，而拍攝下該周圍環境影像的攝影機速度具有較低的參考價值。標準差σ_s有NxM個，統稱為N統稱個標準差，分別對應N標準個攝影機所拍攝的一組N組影個周圍環境影像中的每一個周圍環境影像。

經過統計單元14的運算，即可獲得一除去地面反光或環境光源過亮或是環境光源不足等不利因素的可靠的機動設備速度量測值。

接著請參閱圖8，圖8繪示了本發明另一範疇的功能方塊示意圖。本發明之另一範疇在於提供一種光流測速模組的測速方法，用以量測一機動設備的一運動速度，機動設備上裝設有一光流測速模組，光流測速模組包含有一攝影機陣列10、一運算單元12以及一統計單元14，其中攝影機陣列10包含有一基座102與N×M個攝影機104，而N與M皆為大於1的自然數，光流測速模組的測速方法包含以下步驟：S1：使用攝影機陣列的N×M個攝影機進行拍攝，取得機動設備之多組N×M個周圍環境影像；S2：使用運算單元根據多組N×M個周圍環境影像，運算出N×M個攝影機速度；S3：使用該運算單元根據多組N×M個周圍環境影像，運算出N×M個標準差；以及S4：利用統計單元根據N×M個攝影機速度，與N×M個標準差運算出機動設備的運動速度。

於步驟S1中，使用裝設於一機動設備，例如一無人飛行機上的具有N×M個攝影機的一攝影機陣列拍攝機動設備周圍的多組N×M個周圍環境影像。其中，本發明的攝影機陣列10裡的每顆攝影機104不以全往同一方向拍攝為限制，個別攝影機104得相互往不同的方向拍攝，以進一步減少影響速度量測的環境因素。

接著在步驟S2中，運算單元12將根據多組N×M個周圍環境影像運算出每一個攝影機104的速度。首先，運算單元12包含有一影像處理裝置122、一速度運算裝置124以及一標準差運算裝置126。影像處理裝置122先將每一個攝影機104所拍攝的周圍環境影像進行像素與亮度的分析，藉以對應產生N×M個周圍環境影像的數值化結果，並再根據那些數值化結果產生N×M個周圍環境影像的像素數目-亮度分析直方圖。故在步驟S1與S2之間，進一步包含步驟S15：使用影像處理單元將N×M個周圍環境影像的像素與亮度數值化，並對應產生N×M個周圍環境影像的數值化結果，以及像素數目-亮度分析直方圖。

而在N×M個周圍環境影像的數值化結果產生之後，速度運算裝置124執行步驟S2，藉由光流運算法來算出每一個攝影機104所拍攝到的周圍環境影像所包含的運動速度。

接著，N×M個周圍環境影像的像素數目-亮度分析直方圖則被傳送到標準差運算裝置126，而標準差運算裝置126將執行步驟S3以根據像素數目-亮度分析直方圖呈現的數據運算出每一個周圍環境影像的標準差。

最後在步驟S4中，統計單元14根據經由步驟S2算得的每一個攝影機的運動速度，以及經由步驟S3算得的每一個周圍環境影像的標準差，以下列公式進行安裝有攝影機陣列10的機動設備之運動速度的計算。

其中，K=N×M、V_s為每一該N×M個攝影機速度、σ_s為每一該N×M個標準差、V_out為該機動設備的該運動速度。而於式一中，標準差σ_s代表權重，標準差σ_s值較高者，代表與該標準差值對應的周圍環境影像能提供較足夠的影像紋理，而拍攝下該周圍環境影像的攝影機速度具有較高的參考價值；相對的，標準差σ_s值較低者，代表與該標準差值對應的周圍環境影像不能提供較足夠的影像紋理，而拍攝下該周圍環境影像的攝影機速度具有較低的參考價值。

經由上述步驟使用本發明的光流測速模組1，即可獲得一除去地面反光或環境光源過亮或是環境光源不足等不利因素的可靠的機動設備速度量測值。

綜上所述，本發明提供一種光流測速模組與其測速方法，光流測速模組包含一攝影機陣列、一運算單元與一統計單元。攝影機陣列包含N×M個攝影機，用以拍攝一機動設備之多組N×M個周圍環境影像，運算單元根據多組N×M個周圍環境影像分別算出N×M個周圍環境影像所代表的攝影機速度與其標準差，統計單元再根據N×M個攝影機速度與N×M個標準差運算出機動設備的運動速度。

相較於習知技術，本發明利用多個攝影機所組成的攝影機陣列拍攝多個影像，以減少因為地面反光或是環境光源造成影像紋理不易辨識的不利因素，可提升利用光流測速模組量測速度的可靠性。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排 於本發明所欲申請之專利範圍的範疇內。因此，本發明所申請之專利範圍的範疇應該根據上述的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具相等性的安排。

1‧‧‧光流測速模組

10‧‧‧攝影機陣列

12‧‧‧運算單元

122‧‧‧影像處理裝置

124‧‧‧速度運算裝置

126‧‧‧標準差運算裝置

14‧‧‧統計單元

Claims (10)

1. 一種光流測速模組，裝設於一機動設備上用以量測該機動設備的一運動速度，該光流測速模組包含：一攝影機陣列，該攝影機陣列包含有N×M個攝影機，用以拍攝而取得該機動設備之多組N×M個周圍環境影像；一運算單元，與該攝影機陣列電性連接，並根據該多組N×M個周圍環境影像運算出N×M個攝影機速度與N×M個標準差；以及一統計單元，與該運算單元電性連接，用於根據該N×M個攝影機速度與該N×M個標準差運算出該機動設備的該運動速度；其中N與M皆為大於1的自然數。
2. 如申請專利範圍第1項所述的光流測速模組，其中該統計單元係以下列公式運算出該機動設備的該運動速度： 其中，K=N×M、V_s為每一該N×M個攝影機速度、σ_s為每一該N×M個標準差、V_out為該機動設備的該運動速度。
3. 如申請專利範圍第1項所述的光流測速模組，其中該運算單元包含一影像處理單元，用以將該多組N×M個周圍環境影像的像素與亮度數值化，並對應產生N×M個周圍環境影像的數值化結果，與像素數目-亮度分析直方圖。
4. 如申請專利範圍第3項所述的光流測速模組，其中該運算單元包含一速度運算裝置，該速度運算裝置根據該N×M個周圍環境影像的數值化結果，利用一光流運算法以運算出該N×M個攝影機速度。
5. 如申請專利範圍第3項所述的光流測速模組，其中該運算單元包含一標準差運算裝置，用於根據每一該多組N×M個周圍環境影像的該N×M個像素數目-亮度分析直方圖所呈現的數據，進行每一該N×M個標準差的運算。
6. 一種光流測速模組的測速方法，用以量測一機動設備的一運動速度，該機動設備上裝設有一光流測速模組，該光流測速模組包含有一攝影機陣列、一運算單元以及一統計單元，其中該攝影機陣列包含有N×M個攝影機，而N與M皆為大於1的自然數，該光流測速模組的測速方法包含以下步驟：使用該攝影機陣列的該N×M個攝影機進行拍攝，取得該機動設備之多組N×M個周圍環境影像；使用該運算單元根據該多組N×M個周圍環境影像，運算出N×M個攝影機速度；使用該運算單元根據任一組該N×M個周圍環境影像，運算出該任一組該N×M個周圍環境影像所對應的NxM個標準差；以及使用該統計單元根據該N×M個攝影機速度，與該N×M個標準差，運算出該機動設備的該運動速度。
7. 如申請專利範圍第6項所述的光流測速模組測速方法，其中該統計單元係以下列公式運算出該機動設備的該運動速度： 其中，K=N×M、V_s為每一該N×M個攝影機速度、σ_s為每一該N×M個標 準差、V_out為該機動設備的該運動速度。
8. 如申請專利範圍第6項所述的光流測速模組測速方法，其中該運算單元包含一影像處理單元，該光流測速模組測速方法進一步包含步驟：使用該影像處理單元將該多組N×M個周圍環境影像的像素與亮度數值化，並對應產生N×M個周圍環境影像的數值化結果，以及像素數目-亮度分析直方圖。
9. 如申請專利範圍第8項所述的光流測速模組測速方法，其中該運算單元包含一速度運算裝置，用於根據該多組N×M個周圍環境影像的數值化結果通過一光流運算法以運算出該N×M個攝影機速度。
10. 如申請專利範圍第8項所述的光流測速模組測速方法，其中該運算單元包含一標準差運算裝置，用於根據每一該像素數目-亮度分析直方圖所呈現的數據，進行每一該N×M個標準差的運算。