JP2551319B2 - 動画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像処理方法に関し、
特に移動する物体の速度を計算する動画像処理方法に関
する。

【０００２】

【従来の技術】従来この種の動画像処理方法には、動画
像から画像上を動く物体の速度を計算する為に濃淡画像
の明度勾配とその時間変化から速度を計算する勾配法
と、着目した特徴点が設定した二点間を移動する時間を
計算する方法とが代表的方法であり、特に、三次元時空
間エネルギーを測定することにより速度を計算する方
法、即ち時空間エネルギー法がその柔軟性から優れてい
ると言われている。

【０００３】

【発明が解決しようとする課題】上述の従来の時空間エ
ネルギー法では、速度の測定範囲や誤差が時空間エネル
ギーフィルターの種類数に依存する。即ち、実用上十分
な速度計測をする為には、時空間上の多くの異なる点に
於いて時空間エネルギーを測定する必要がある。しかし
ながら、そのアルゴリズムを現実の電気回路で実現する
為には、多くの異なる中心空間周波数と中心時間周波数
を持つ時空間フィルター回路を備えなければならず、装
置の高集積化の実現が困難であると言う課題がある。

【０００４】

【課題を解決するための手段】上述した問題点を解決す
る為、本発明による動画像処理システムは、二次元画像
の時系列に対し、中心時間周波数は等しく、中心空間周
波数が異なる複数の三次元中心時空間周波数で時空間エ
ネルギーを測定し、その結果に対して再び中心時間周波
数は等しく、中心空間周波数が前段より小さい複数の三
次元中心時空間周波数で時空間エネルギーを測定するこ
と、もしくは、更に繰り返して中心時間周波数は等し
く、中心空間周波数が前段より小さい複数の三次元中心
時空間周波数で時空間エネルギーを測定することによっ
て入力画像中の物体の速度を求め、時空間エネルギーを
中心時間周波数についてはどれも等しい中心時間周波数
で測定することにより、必要な時空間フィルターの種類
を減少させて装置の高集積化を可能にした。

【０００５】

【実施例】

＜請求項１の場合、第一例＞次に、本発明について図面
を参照して説明する。図１は、本発明の一実施例を示す
ブロック図である。図１を参照すると、本発明の第一の
実施例は、継時的に入力される入力画像１に三次元時空
間フィルター処理を施す三次元Ｇａｂｏｒ関数時空間フ
ィルター２、局所平滑化処理部３、局所時空間エネルギ
ー算出部４、局所方向統合部５、三次元Ｇａｂｏｒ関数
時空間フィルター６、平滑化処理部７、広域時空間エネ
ルギー算出部８、中間層９、速度検出出力部１０とから
構成される。

【０００６】次に、図１を参照して、本実施例の動作に
ついて説明する。まず、継時的に入力される動画像１に
対して、三次元Ｇａｂｏｒ関数時空間フィルター２によ
り以下のように処理される。

【０００７】 Ｓ［ｘ，ｙ，ｔ，ｋ_I，θ_J，φ］＝Ｉ［ｘ，ｙ，ｔ］＊＊＊Ｇ［ｘ，ｙ， ｔ，ｋ_I，θ_J，φ］ ・・・（１） Ｇ［ｘ，ｙ，ｔ，ｋ_I，θ_J，φ］＝ｓｉｎ（Θ＋φ）ｅｘｐ（−Ｒ） ・・・（２） Θ＝２π（ｋ_Xｘ＋ｋ_Yｙ＋ωｔ）・・・・・・・・・・・・・・・（３） Ｒ＝（ｘ²＋ｙ²）／（２σ_I2）＋ｔ²／（２σ_T2） ・・・・・・・（４） σ _I ＝ｍ／２πｋ _I 、 σ _T ＝ｍ／２πω ｉ＝１〜ｎ_K、 ｊ＝１〜ｎθ、 ｍ＝１．０、 φ＝０，π／２ ここでＧは時空間フィルター２のカーネルで、Ｓはその
出力である。また、＊＊＊は、空間二次元、時間一次
元、合計三次元の畳み込み積分を示す。また、ｋ _X 、ｋ _Y
はＧａｂｏｒ関数の中心空間周波数を表し、σはＧａｂ
ｏｒ関数の空間的な広がりを表し、ωは時間周波数であ
る。

【０００８】次に、局所平滑化処理部３に於いて時空間
フィルター２の出力結果Ｓが以下のように平滑化され
る。

【０００９】 Ｓ₂ ［ｘ，ｙ，ｔ，ｋ_i ，θ_j ，φ］＝Ｓ［ｘ，ｙ，ｔ，ｋ_i ，θ_j ，φ］ ＊＊＊Ｗ［ｘ，ｙ，ｔ］・・・（５） Ｗ［ｘ，ｙ，ｔ］＝ｅｘｐ（−（（ｘ² ＋ｙ² ）／（２σ_{x y} ² ）＋ｔ² ／ （２σｔ² ）））・・・（６） ここでＷは平滑化処理部３のカーネルで、Ｓ₂ はその出
力である。

【００１０】Ｓ₂ を用いて局所時空間エネルギー算出部
４に於いて、局所時空間エネルギーＥ^L が以下のように
算出される。

【００１１】 Ｅ^L ［ｘ，ｙ，ｔ，ｋ_i ，θ_j ］＝ （Ｓ² ［ｘ，ｙ，ｔ，ｋ_i ，θ_j ，０］² ＋Ｓ² ［ｘ，ｙ，ｔ，ｋ_i θ_j ，π ／２］² ）^{1 / 2} ・・・（７） 局所方向統合部５にてＥ^L のθの統合が以下の式（８）
のように行われ、Ｉ^E が計算される。

【００１２】

【数８】

【００１３】ここで、重みＴ^L は適当に選ばれる。

【００１４】時空間で変化するＩ^E を入力として、時空
間フィルター６によりＳ^G が以下のように計算される。

【００１５】 Ｓ^G［ｘ，ｙ，ｔ，ｋ_I・，ｋ_I・・，θ_J，φ］＝Ｉ^E［ｘ，ｙ，ｔ，ｋ_I ・，ｋ_I・・］＊＊＊Ｇ^G［ｘ，ｙ，ｔ，ｋ_I・・，θ_J，φ］・・・（９） Ｇ^G［ｘ，ｙ，ｔ，ｋ_I，θ_J，φ］＝ｓｉｎ（Θ^G＋φ）ｅｘｐ（−Ｒ^G） ・・・（１０） Θ^G＝２π（ｋ_Xｘ＋ｋ_Yｙ＋ωｔ） ・・・・・・・・・・・・・（１１） Ｒ^G＝（ｘ²＋ｙ²）／（２σ_GI2）＋ｔ²／（２σ_GT2） ・・（１２） σ _GI ＝ｍ／２πｋ _GI 、 σ _GT ＝ｍ／２πω _G ｉ’’＝１〜ｎ_K '、 ｊ＝１〜ｎΘ、 ｍ＝１．０、 φ＝０，π／２ ここでＧ^Gは時空間フィルター６のカーネルで、Ｓ^Gはそ
の出力である。また、＊＊＊は、空間二次元、時間一次
元、合計三次元の畳み込み積分を示す。

【００１６】次に、広域平滑化処理部７に於いて時空間
フィルター６の出力結果Ｓ^G が以下のように平滑化され
る。

【００１７】 Ｓ^G ₂ ［ｘ，ｙ，ｔ，ｋ_{i '} ，ｋ_{i ' '} ，θ_j ，φ］＝Ｓ^G ［ｘ，ｙ，ｔ，ｋ _{i '} ，ｋ_{i ' '} ，θ_j ，φ］＊＊＊Ｗ^G ［ｘ，ｙ，ｔ］・・・（１３） Ｗ^G ［ｘ，ｙ，ｔ］＝ｅｘｐ（−（（ｘ² ＋ｙ² ）／（２σＧ_{x y} ² ）＋ｔ² ／（２σ_{G t} ² ）））・・・（１４） ここでＷ^G は平滑化処理部７のカーネルで、Ｓ^G ₂ はそ
の出力である。

【００１８】Ｓ^G ₂ を用いて広域時空間エネルギー算出
部８に於いて、広域時空間エネルギーＥ^G が以下のよう
に算出される。

【００１９】 Ｅ^G ［ｘ，ｙ，ｔ，ｋ_{i '} ，ｋ_{i ' '} ，θ_j ］＝ （Ｓ^G ₂ ［ｘ，ｙ，ｔ，ｋ_{i '} ，ｋ_{i ' '} ，θ_j ０］² ＋Ｓ^G ₂ ［ｘ，ｙ ，ｔ，ｋ_{i '} ，ｋ_{i ' '} ，θ_j ，π／２］² ）^{1 / 2} ・・・（１５） 中間層９にてＥ^G のθの統合が以下の式（１６）のよう
に行われる。

【００２０】

【数１６】

【００２１】ここで、Ｔ^G は適当に選ばれた重みであ
る。Ｔ^G から検出速度出力部１０において以下のように
して、画像の速度がｖ^m である事を示す量Ｐが以下のよ
うにして求められる。

【００２２】 Ｐ［ｘ，ｙ，ｔ，ｖ_m ］＝Ｆ［Ｅ₀ ^G ［ｘ，ｙ，ｔ，ｖ_m ］］・・・（１７） ＜請求項１の場合、第二例＞上述の第一例の中間層での
計算に用いられる重みＴ^G を、以下の式（１８）のよう
に、速度を検出する画像の特徴空間周波数毎に設定す
る。

【００２３】

【数１８】

【００２４】その結果、空間周波数成分がｋ_s で速度が
ｖ_m である画像の存在を示す量Ｐが検出速度出力部で以
下のようにして求められる。

【００２５】 Ｐ［ｘ，ｙ，ｔ，ｋ_s ，ｖ_m ］＝Ｆ［Ｅ₀ ^G ［ｘ，ｙ，ｔ，ｋ_s ，ｖ_m ］］ ・・・（１９） ＜請求項２の場合＞請求項１の場合での広域時空間エネ
ルギー算出部８の時系列出力に対して、局所方向統合部
１１、Ｇａｂｏｒ関数時空間フィルター１２、平滑化処
理部１３、広域時空間エネルギー算出部１４を設け、そ
の結果を中間層８に送る。この様に、処理の多段化を一
層すすめることにより、より広い速度範囲に亘検出を可
能にすることができる。

【００２６】

【発明の効果】以上説明したように、本発明による動画
像処理方式は、時空間エネルギーの検出を多段にするこ
とにより各段ごとの必要な時空間フィルターの種類を激
減させることを可能にしているため、そのアルゴリズム
を現実の電気回路で容易に実現することができると言う
効果がある。

【図面の簡単な説明】

【図１】本発明の請求項１の場合の一実施例の構成図で
ある。

【図２】本発明の請求項２の場合の一実施例の構成図で
ある。

【符号の説明】 １ 入力画像時系列 ２ 三次元Ｇａｂｏｒ関数時空間フィルター ３ 平滑化処理部 ４ 局所時空間エネルギー算出部 ５ 局所方向統合部 ６ Ｇａｂｏｒ関数時空間フィルター ７ 平滑化処理部 ８ 広域時空間エネルギー算出部 ９ 中間層 １０ 検出速度出力部 １１ 局所方向統合部 １２ Ｇａｂｏｒ関数時空間フィルター １３ 平滑化処理部 １４ 広域時空間エネルギー算出部

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 二次元画像の時系列に対し、中心時間周
   波数は等しく、中心空間周波数が異なる複数の三次元中
   心時空間周波数で時空間エネルギーを測定し、その結果
   に対して更に中心時間周波数は等しく、中心空間周波数
   が前段より小さい複数の三次元中心時空間周波数で時空
   間エネルギーを測定することにより、入力画像中の物体
   の速度を求めることを特徴とする動画像処理方法。
2. 【請求項２】 請求項１での処理結果に対して、更に繰
   り返して中心時間周波数は等しく、中心空間周波数が前
   段より小さい複数の三次元中心時空間周波数で時空間エ
   ネルギーを測定することにより、入力画像中の物体の速
   度を求める事を特徴とする動画像処理方法。