JPH07105382A - 動画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、例えばカメラにより撮像された連
続画像における物体の形状や動きをトレースし、計算機
で数値解析して監視や運動解析を行なう際に利用される
動画像処理装置において、全画像領域を対応候補点とし
て演算実行することなく、高速に且つ高精度に動画像の
対応点を求めることを目的とする。 【構成】 画像（ｔ）の各座標点（ｘ，ｙ，ｔ）に対
し、画像（ｔ＋１）の（Ｖｘ，Ｖｙ）により限定された
照合領域（ｘ′，ｙ′）を運動方程式に基づき決定し、
その決定照合領域内の各座標点（ｘ′，ｙ′）との相互
相関を計算し、その相関値が最も高い座標点（ｘ′，
ｙ′）を画像（ｔ）に対する画像（ｔ＋１）の動画像対
応点（オプティカルフロー）として決定する構成とす
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばカメラにより撮
像された連続画像における物体の形状や動きを、計算機
で数値解析してトレースし、監視や運動解析を行なう際
に利用される動画像処理装置に関する。

【０００２】

【従来の技術】例えば、連続する画像情報を計算機にて
入力し、その画像上の物体の形状や動きをトレースし、
運動解析するための１つの手段として、オプティカルフ
ロー演算処理が実行される。

【０００３】このオプティカルフロー演算処理では、例
えば時間ｔにおける画像情報とｔ＋Δｔにおける画像情
報とに基づき、元の画像上の座標点に対応する次の画像
上の座標点を求めるもので、これにより、画像上の物体
の形状や動きが解析される。

【０００４】ここで、従来の動画像処理装置では、例え
ば連続する２つの画像に対し、元の画像上の全ての画素
（座標点）のそれぞれに対して次の画像上の全ての画素
（座標点）とのオプティカルフロー演算を実行し、該元
の画像における各画素に対応する次の画像上での対応点
を求めている。

【０００５】

【発明が解決しようとする課題】従来の技術には、大き
く２つの手段があり、その第１は、グローバルな領域
（画面全体）に対して、全体エネルギが最小となるよう
にオプティカルフローを求めるものである。しかし、こ
の第１の手段では、演算数が膨大なものとなり、計算コ
ストが掛かるという問題がある。

【０００６】また、第２は、ローカルな領域でオプティ
カルフローを求めるものであり、従来、相互相関を用い
る方法では、ｔ時における画像上の１点に対し、ｔ＋Δ
ｔ時の全画素に対して相互相関演算を実行していた。し
かし、この第２の手段では、全画素に対して演算を実行
するために、演算数が多いということ、及び照合領域が
全画面に渡ることから、ノイズ等の影響により誤った対
応点に解がトラップしてしまう問題がある。

【０００７】本発明は上記課題に鑑みなされたもので、
全画像領域に対して演算実行することなく、解が存在す
ると思われる領域を限定し、高速に且つ高精度に動画像
の対応点（オプティカルフロー）を求めることが可能に
なる動画像処理装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】すなわち、本発明に係わ
る動画像処理装置は、連続する複数の画像を入力して保
持する画像入力保持手段と、この画像入力保持手段にて
保持された画像情報に基づき運動方程式の係数を決定す
るためのｘ方向の空間一次微分値，ｙ方向の空間一次微
分値，ｔ方向の時間一次微分値を計算する一次微分計算
手段と、この一次微分計算手段により得られたｘ，ｙ，
ｔ方向それぞれの一次微分値から上記連続画像の動画対
応点を求めるための照合領域を決定する照合領域決定手
段と、この照合領域決定手段により得られた照合領域を
対象として上記連続画像間の相互相関を演算する相互相
関演算手段とを備えて構成したものである。

【０００９】

【作用】つまり、連続する元の画像上の１点に対し、Δ
ｔ後の次の画像上の限定された照合領域が運動方程式に
基づき決定され、その決定照合領域内の各座標点との相
互相関が計算され、その相関値が最も高い座標点が元の
画像に対する次の画像の動画像対応点として決定される
ことになる。

【００１０】

【実施例】以下図面により本発明の一実施例について説
明する。図１は動画像処理装置の構成を示すブロック図
である。この動画像処理装置はＣＰＵ１１を備えてい
る。

【００１１】上記ＣＰＵ１１は主メモリ１２に予め記憶
されるシステムプログラムに基づき本装置各部の動作制
御を行なうもので、このＣＰＵ１１には、システムバス
１３を介し、カメラインターフェイス１４、フレームメ
モリ１５ａ，１５ｂ，…、画像処理部１６、照合領域発
生器１７、相互相関演算器１８、表示コントローラ１９
が接続され、上記カメラインターフェイス１４にはカメ
ラ２０が、表示コントローラ１９にはＣＲＴモニタ２１
が接続される。

【００１２】そして、上記カメラインターフェイス１
４、フレームメモリ１５ａ，１５ｂ，…、画像処理部１
６、照合領域発生器１７、相互相関演算器１８、表示コ
ントローラ１９は、それぞれ画像バス２２を介して接続
される。

【００１３】上記フレームメモリ１５ａ，１５ｂ，…に
は、上記カメラ２０からカメラインターフェイス１４を
介し一定周期で連続入力される画像データが、１画面デ
ータずつ格納される。

【００１４】上記画像処理部１６は、上記フレームメモ
リ１５ａ，１５ｂ，…に格納された画像データに基づ
き、後述する運動方程式（式３）の係数を決定するため
のｘ方向の空間一次微分値（fx＝df／dx）、ｙ方向の空
間一次微分値（fy＝df／dy）、ｔ方向の時間一次微分値
（ft＝df／dt）をそれぞれＣＰＵ１１において算出させ
るもので、このｘ，ｙ，ｔ方向の一次微分値ｆｘ，ｆ
ｙ，ｆｔは、照合領域発生器１７に与えられる。

【００１５】運動方程式（式３）は下記のように導出さ
れる。 ｆ(x+dx,y+dy,t+dt)＝ｆ(x,y,t)+fxdx+fydy+ftdt+ 高次元 …（式１） 連続する画像の対応点では（式２）が成立する。ここ
で、fx＝df／dx，fy＝df／dy，ft＝df／dtである。

【００１６】 ｆ(x+dx,y+dy,t+dt)＝ｆ(x,y,t) …（式２） 上記（式１）と（式２）により、１次元では下記の運動
方程式（式３）が成立する。

【００１７】fxdx+fydy+ftdt＝０ …（式３） 上記照合領域発生器１７は、上記連続入力された画像デ
ータに基づき求められたｘ，ｙ，ｔ方向の一次微分値ｆ
ｘ，ｆｙ，ｆｔから、ｔにおける元の画像データの各座
標の対応候補点として相互相関演算を実施すべくｔ＋１
における次の画像データの照合領域に制約を与える（Ｖ
ｘ，Ｖｙ）を決定するもので、この照合領域に制約を与
える（Ｖｘ，Ｖｙ）は、下記のように導出される。

【００１８】すなわち、上記運動方程式（式３）を変形
すると、 fx(dx/dt)+fy(dy/dt)+ft＝０ …（式４） となり、この（式４）において、Ｖｘ＝dx/dt ，Ｖｙ＝
dy/dt とおくと、 ｆｘＶｘ＋ｆｙＶｙ＋ｆｔ＝０ …（式５） が得られ、この（式５）を変形すると、 （ｆｘ，ｆｙ）・（Ｖｘ，Ｖｙ）＝−ｆｔ …（式６） となる。そして、

【００１９】

【数１】 とすると、

【００２０】

【数２】 が得られる。

【００２１】図２は上記動画像処理装置において照合領
域に制約を与える（Ｖｘ，Ｖｙ）の座標系を示す図であ
る。すなわち、上記（式７）に基づき、

【００２２】

【数３】 とは、図２に示す関係となり、ｔにおける元の画像デー
タの各座標の対応候補点として相互相関演算を実施すべ
くｔ＋１における次の画像データの照合領域に制約を与
える（Ｖｘ，Ｖｙ）は、図２のＶで示されるｌｉｎｅ１
上に限定されることになる。

【００２３】ここで、ｔにおける画像Ｉ（ｘ，ｙ，
ｔ），ｔ＋１における画像Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ，ｔ
＋１）とすると、 Ｖｘ＝{(x+dx)-x}／dt，Ｖｙ＝{(y+dy)-y}／dt …（式８） となる。

【００２４】つまり、上記Ｖで示されるｌｉｎｅ１上の
各（Ｖｘ，Ｖｙ）にあてはまる（ｘ，ｙ）座標のみに対
してｔにおける画像の各座標点に対する相互相関Ｃｏｒ
（ｘ，ｙ，ｄｘ＋ｘ，ｄｙ＋ｙ，ｔ）を求めればよいも
ので、この相互相関演算処理は相互相関演算器１８によ
り実行される。

【００２５】ここで、上記照合領域に制約を与える（Ｖ
ｘ，Ｖｙ）とは、ｔ＋１における画像内において、動画
認識の対象となる物体画像が存在すると思われる限定画
像領域を定義する（与える）ものとなる。

【００２６】この場合、相互相関演算器１８では、ｔに
おける画像の各座標点のそれぞれに対し相互相関を求め
た、ｔ＋１における画像の上記照合領域を与える（Ｖ
ｘ，Ｖｙ）により決定された対応する座標点のうち、最
も相関値の高い座標点が照合度が高い対応点として決定
される。

【００２７】上記相互相関演算器１８により決定された
ｔ＋１の画像上における対応点は、表示コントローラ１
９を介してＣＲＴモニタ２１に表示される。次に、上記
構成による動画像処理装置の動作について説明する。

【００２８】図３は上記動画像処理装置における演算処
理を示すフローチャートである。すなわち、カメラ２０
により撮像された連続画像が、カメラインターフェイス
１４を介して一定周期毎に入力されると、その連続画像
データ「Ｉ（ｘ，ｙ，ｔ）」及び「Ｉ′（ｘ′，ｙ′，
ｔ＋１）」は一画面毎にフレームメモリ１５に格納され
る（ステップＳ１）。

【００２９】すると、まず、カウンタｍに“０”がセッ
トされ、ｔにおける画像の座標点が、ｘ→ｘ1 ，ｙ→ｙ
1 として初期設定される（ステップＳ２）。ここで、上
記画像座標点（ｘ1 ，ｙ1)に基づくｘ方向の空間一次微
分値（fx＝df／dx）、ｙ方向の空間一次微分値（fy＝df
／dy）、ｔ方向の時間一次微分値（ft＝df／dt）がそれ
ぞれ画像処理部１６において求められる（ステップＳ
３）。

【００３０】この後、照合領域発生器１７により、上記
（式７）（式８）に従って、ｔにおける画像の座標点
（ｘ1 ，ｙ1 ）に対し相互相関を求めるべくｔ＋１にお
ける画像の照合領域に制約条件を与える（Ｖｘ，Ｖｙ）
より、照合領域（ｘ，ｙ）が設定される（ステップＳ
４，Ｓ５）。

【００３１】すると、相互相関演算器１８では、上記
（式７）のＶで示されるｌｉｎｅ１上の各（Ｖｘ，Ｖ
ｙ）により決定されるｔ＋１における画像上の座標点
（ｘ′，ｙ′）が、上記（式８）に従って順次更新さ
れ、その（Ｖｘ，Ｖｙ）により決定される照合領域内の
各座標点（ｘ′，ｙ′）について、ｔにおける画像の座
標点（ｘ1 ，ｙ1 ）に対する相互相関Ｃｏｒ（ｘ′，
ｙ′，ｘ1 ，ｙ1 ，ｔ）が演算算出される（ステップＳ
５〜Ｓ７）。

【００３２】こうして、まず、画像（ｔ）の初期座標点
（ｘ1 ，ｙ1 ，ｔ：ｍ＝０）に対する、画像（ｔ＋１）
の（Ｖｘ，Ｖｙ）により決定される照合領域上の各座標
点（ｘ′，ｙ′）それぞれにおける相互相関値が得られ
ると、その中で最も高い相関値となった座標点（ｘ′，
ｙ′）が、上記画像（ｔ）の座標点（ｘ1 ，ｙ1 ，ｔ：
ｍ＝０）に対し最も照合度が高い対応点として決定さ
れ、表示コントローラ１９を介しＣＲＴモニタ２１に表
示される（ステップＳ８）。

【００３３】すると、対応点を求めるべく画像（ｔ）の
座標点（ｘ，ｙ，ｔ）が更新（ｍ→ｍ＋１）される（ス
テップＳ９）。ここで、上記相互相関演算処理に基づき
既に対応点が決定された画像（ｔ）の座標点数（ｍ）が
該画像（ｔ）の全座標点数（ｍ1:画素数）を越えたか否
か、つまり、画像（ｔ）に対する画像（ｔ＋１）の動画
像処理が終了したか否か判断される（ステップＳ１
０）。

【００３４】このステップＳ１０において「ｍ≦ｍ1
」、つまり、画像（ｔ）に対する画像（ｔ＋１）の動
画認識処理は終了してないと判断されると、上記ステッ
プＳ３に戻り、画像（ｔ）上の別の座標点（ｘ，ｙ，
ｔ）に対し、再び、照合領域内各座標点との相互相関演
算処理、及び対応点決定処理が実行される（ステップＳ
１０→Ｓ３〜Ｓ９）。

【００３５】したがって、上記構成の動画像処理装置に
よれば、画像（ｔ）の各座標点（ｘ，ｙ，ｔ）に対し、
画像（ｔ＋１）の（Ｖｘ，Ｖｙ）により限定された照合
領域（ｘ′，ｙ′）を運動方程式（式３）に基づき決定
し、その決定照合領域内の各座標点（ｘ′，ｙ′）との
相互相関を計算し、その相関値が最も高い座標点
（ｘ′，ｙ′）を画像（ｔ）に対する画像（ｔ＋１）の
動画像対応点として決定するので、上記相互相関Ｃｏｒ
（ｘ，ｙ，ｘ′，ｙ′，ｔ）の演算数を大幅に減少させ
ることができ、高速処理が可能になると共に、画像上に
混入するノイズ等の影響を受け難くなり、高精度な動画
像対応点（オプティカルフロー）を求めることができ
る。

【００３６】

【発明の効果】以上のように本発明によれば、連続する
複数の画像を入力して保持する画像入力保持手段と、こ
の画像入力保持手段にて保持された画像情報に基づき運
動方程式の係数を決定するためのｘ方向の空間一次微分
値，ｙ方向の空間一次微分値，ｔ方向の時間一次微分値
を計算する一次微分計算手段と、この一次微分計算手段
により得られたｘ，ｙ，ｔ方向それぞれの一次微分値か
ら上記連続画像の動画対応点を求めるための照合領域を
決定する照合領域決定手段と、この照合領域決定手段に
より得られた照合領域を対象として上記連続画像間の相
互相関を演算する相互相関演算手段とを備えて構成した
ので、全画像領域を対応候補点として演算実行すること
なく、高速に且つ高精度に動画像の対応点を求めること
が可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる動画像処理装置の構
成を示すブロック図。

【図２】上記動画像処理装置において照合領域に制約条
件を与える（Ｖｘ，Ｖｙ）の座標系を示す図。

【図３】上記動画像処理装置における演算処理を示すフ
ローチャート。

【符号の説明】

１１…ＣＰＵ、１２…主メモリ、１３…システムバス、
１４…カメラインターフェイス、１５…フレームメモ
リ、１６…画像処理部、１７…照合領域発生器、１８…
相互相関演算器、１９…表示コントローラ、２０…カメ
ラ、２１…ＣＲＴモニタ、２２…画像バス。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/137 Ｚ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 連続する複数の画像を入力して保持する
   画像入力保持手段と、 この画像入力保持手段にて保持された画像情報に基づき
   運動方程式の係数を決定するためのｘ方向の空間一次微
   分値，ｙ方向の空間一次微分値，ｔ方向の時間一次微分
   値を計算する一次微分計算手段と、 この一次微分計算手段により得られたｘ，ｙ，ｔ方向そ
   れぞれの一次微分値から上記連続画像の動画対応点を求
   めるための照合領域を決定する照合領域決定手段と、 この照合領域決定手段により得られた照合領域を対象と
   して上記連続画像間の相互相関を演算する相互相関演算
   手段とを具備し、 相互相関演算数を減少させたことを特徴とする動画像処
   理装置。