JP3992253B2

JP3992253B2 - 動画像処理装置及びその方法

Info

Publication number: JP3992253B2
Application number: JP16345098A
Authority: JP
Inventors: 淳人牧; 一則小野口; 恭弘谷口; 宏章中井; 睦渡辺; 利一松井; 英治田中
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-06-11
Filing date: 1998-06-11
Publication date: 2007-10-17
Anticipated expiration: 2018-06-11
Also published as: JPH11353487A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を高速に取り込むと同時に処理することが可能なセンサから入力される高速な時系列画像から、様々な速度を持つ移動体を安定して検出することに用いられるものであり、画像情報に基づいて高速に機器の制御を行うことに有用な動画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来、外界の情報をコンピュータに入力する手段としてはＣＣＤカメラが利用されることがほとんどであり、カメラからコンピュータへのデータの転送はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度で行なわれていた。この為、計算機の能力が上がっても画像の取り込み速度がネックとなり、画像情報に基づいた高速な機器の制御を実現することは困難であった。
【０００３】
これに対して、感度可変素子を利用した新しいタイプのセンサを提案されている（特開平６−１３９３６１号）。
【０００４】
この素子には画像処理回路が搭載されており、簡単な画像処理を行なった結果を１秒間に１００枚程度の割合で出力することが可能となっている。
【０００５】
しかし、チップに搭載されているのはアナログの処理回路であり、処理可能な演算は比較的簡単なものである。
【０００６】
例えば、ジェスチャー入力型インタラクティブゲーム（画像ラボ１９９８年３月号）では３２画素×３２画素の人工網膜チップを利用して対象物体の動きを求めているが、得られる動き情報は精度、個数とも複雑な画像処理に利用するには不十分である。
【０００７】
また、スマート・ビジョン・センサを開発されている（画像ラボ１９９７年１２月号）。
【０００８】
このセンサはデジタル回路を使って画像を処理しており、領域のラベリングや重心計算などの簡単な画像処理を高速に行なうことができる。しかし、このセンサはライン毎の並列処理性能に重点がおかれており、２次元に広がる領域内の動き情報を高速に精度良く求めることは困難である。
【０００９】
これに対して、超並列・超高速視覚情報処理システム（応用物理学会誌第６７巻第１号：石川他著）は、デジタル処理を行なう回路をセンサに搭載して２次元画像内の領域を１秒間に１０００枚の速度で追跡することが可能である。
【００１０】
しかし、このシステムは近傍演算のみですべての画像処理をおこなうように設計されているため、対象物体の複雑さや速度が増すと十分な精度の演算結果を得ることが出来ない可能性がある。
【００１１】
今後はさらに前記のようなデジタル処理回路を搭載したセンサの開発が進むと考えられ、１秒間に１０００枚以上の速度でカラーや濃淡の画像を処理した結果を出力できるようになると考えられる。
【００１２】
【発明が解決しようとする課題】
上述したように、従来の方法では、カメラからコンピュータへのデータの転送が１秒間に３０フレーム程度の速度で行なわれている場合が多く、高速移動体は対処できない。３０分の１秒では画像上での移動範囲が広いので、複雑な処理を用いても正しいフローが得られない。また、画像処理回路を搭載して比較的高速な処理を可能とする新しいタイプのセンサーも提案されているが、処理可能な演算は領域のラベリングや重心計算などの簡単なものに限られており、動き情報が求められるものでも、対象物体の複雑さや速度が増すと、十分な精度の結果を得るには演算の領域設定などから問題があった。
【００１３】
本発明は前記のような点に鑑みなされたもので、われわれは画像を高速に取り込むと同時に処理することが可能なセンサから入力される高速な時系列画像から、様々な速度を持つ移動体を安定して検出することのできる動画像処理装置及びその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１の発明は、画像を時系列的に取り込む画像取得手段と、この画像取得手段によって取り込まれた時系列画像から画像間での各画素の移動量の情報、または、移動量の情報及び移動方向の情報を有するフローを検出するフロー検出手段と、このフロー検出手段によって検出された前記時系列画像の各画素に関するフローが一定の移動量に達する移動時間を計測する移動時間計測手段と、この移動時間計測手段によって計測された移動時間と前記一定の移動量から、前記時系列画像の各時点における前記各画素での速度情報の抽出を行う速度情報抽出手段と、を具備したことを特徴とする動画像処理装置である。
【００１５】
請求項２の発明は、前記フロー検出手段は、前記時系列画像のうち適当な時間における基準画像と、この基準画像と比較して時系列的に前の画像、または、後の画像との間のフローを、前記基準画像中の各画素においてそれぞれ検出することを特徴とする請求項１記載の動画像処理装置である。
【００１６】
請求項３の発明は、前記速度情報抽出手段は、前記一定の移動量を、前記移動時間計測手段によって計測された移動時間によって割り算演算することにより速度情報を抽出することを特徴とする請求項１記載の動画像処理装置である。
【００１７】
請求項４の発明は、前記動画像処理装置は、速度情報を表示する速度情報出力手段を有し、この速度情報出力手段は、各画素における速度情報を輝度情報に対応させる輝度情報対応手段と、この輝度情報対応手段によって輝度情報に変換した速度情報を基に、一定の速度をもった領域の検出を行う領域検出手段と、この領域検出手段によって検出した領域に対応して前記輝度情報に変換した速度情報を表示する表示手段と、を具備したことを特徴とする請求項１記載の動画像処理装置である。
【００１８】
請求項５の発明は、画像を時系列的に取り込む画像取得ステップと、この画像取得ステップによって取り込まれた時系列画像から画像間での各画素の移動量の情報、または、移動量の情報及び移動方向の情報を有するフローを検出するフロー検出ステップと、このフロー検出ステップによって検出された前記時系列画像の各画素に関するフローが一定の移動量に達する移動時間を計測する移動時間計測ステップと、この移動時間計測ステップによって計測された移動時間と前記一定の移動量から、前記時系列画像の各時点における前記各画素での速度情報の抽出を行う速度情報抽出ステップと、を具備したことを特徴とする動画像処理方法である。
【００１９】
請求項６の発明は、画像を時系列的に取り込む画像取得機能と、この画像取得機能によって取り込まれた時系列画像から画像間での各画素の移動量の情報、または、移動量の情報及び移動方向の情報を有するフローを検出するフロー検出機能と、このフロー検出機能によって検出された前記時系列画像の各画素に関するフローが一定の移動量に達する移動時間を計測する移動時間計測機能と、この移動時間計測機能によって計測された移動時間と前記一定の移動量から、前記時系列画像の各時点における前記各画素での速度情報の抽出を行う速度情報抽出機能と、を実現するプログラムを記録媒体であることを特徴とする動画像処理方法を記録した記録媒体である。
【００２０】
すなわち、本発明は、シーンの撮影によって得られる時系列画像を用い、その時系列画像の各画素のフローを検出し、そのフロー情報から各画素のフローが一定の移動量に達する移動時間を計測し、その移動時間から各画素の速度情報の抽出を行い、この速度情報を輝度情報に変換し、必要時応じて一定の速度をもった領域の検出を行い、これを前記シーンの速度情報として表示出力するものである。
【００２１】
このような構成により、画像を高速に取り込むと同時に処理することが可能なセンサから入力される高速な時系列画像から、例えば様々な速度を持つ移動体を安定して検出することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００２３】
図１に本実施形態の基本的な構成例を示す。
【００２４】
従来技術で説明した１秒間に１０００枚の画像が取得可能な装置である画像取込み部０により得られた動画像系列から、速度情報抽出部１により、速度情報を抽出する。
【００２５】
速度情報抽出部１は図２に示すように画像間フロー検出部１２、画像間対応評価部１３、速度情報出力部１４から構成される。
【００２６】
画像間フロー検出部１２では、時系列画像の各画素のフローを検出する。次に画像間対応評価部１３では、各画素のフローが一定量に達する移動時間を計測し、その移動時間から各画素の速度情報の抽出を行う。最後に、速度情報出力部１４により、得られた速度情報を輝度情報に変換し、また必要時応じて一定の速度をもった領域の検出を行い、これを表示出力する。
【００２７】
（ａ）画像間フロー検出部１２
図３に、画像間フロー検出部１２の詳細な構成例を示す。
【００２８】
画像間フロー検出部１２では２フレーム間の輝度パターンの対応づけからフローを求めものであり、局所マスク設定部２１、相関値計算部２２、対応判定部２３よりなる。
【００２９】
局所マスク設定部２１
局所マスク設定部２１において、各画素を含む５×５や７×７などのサイズを持つ局所マスク領域を各々の画像中に設定する。
【００３０】
相関値計算部２２
次に、相関値計算部２２において、これら局所マスク内の輝度情報から領域間の相関係数の値を計算する。現フレームの各画素を中心とした局所マスク領域を、後続フレームにおける同一座標、及びその周囲を中心とした局所マスク領域との間で比較し、各々との相関を算出する。相関の計算としてはマスクどうしで対応している画素の輝度の差分の自乗誤差の和を取る方法、あるいはその自乗誤差をマスク内の平均値及び分散によって正規化したものを用いる方法などが考えられる。
【００３１】
対応判定部２３
次に、対応判定部２３において、前記相関係数値がしきい値以上、かつ最大となる組を、対応づけが求まったものとして記憶部に格納する処理を、現フレームの各画素について順次行なう。この結果、各画素から後続フレーム内の対応画素へのベクトルが定義され、このベクトルによって直接フローが表される。
【００３２】
（ｂ）画像間対応評価部１３
図４に、画像間対応評価部１３の詳細な構成例を示す。
【００３３】
画像間対応評価部１３は、指標距離設定部３１、移動時間検出部３２、速度方向登録部３３よりなる。
【００３４】
指標距離設定部３１
まず、指標距離設定部３１において、速度計算の指標となる画素数を設定しＤとする。Ｄの選択は任意であるが、簡単のためここではＤ＝１とし、指標の距離Ｄを１画素と定義する。
【００３５】
あるシーンが指標の距離である１画素（Ｄ＝１）を移動するために掛かる移動時間を検出すると、その時間が短いほど速く移動していることを、逆に長いほどゆっくりと移動していることを意味し、シーンの速度に逆比例的に対応することになる。
【００３６】
移動時間検出部３２
次に、移動時間検出部３２では、あるフレームの画像と、これに続く時系列画像との間のフローを入力とする。
【００３７】
各画素（ｘ，ｙ）において、これに続くｎ番目のフレームとの間で計算されたフローを順にｆ（ｘ，ｙ；ｎ）とおく。フローは画像間フロー検出部２で検出されたものを用いる。このとき次式によって所要移動時間を定義する。
【００３８】
ｔ（ｘ，ｙ）＝｛ｎ｜ｆ（ｘ，ｙ；ｎ）＝Ｄ｝（１）
すなわち、現在考慮しているフレームの画素（ｘ，ｙ）におけるフローを考え、その量が指標の距離Ｄに等しくなるのが、後続ｎ番目のフレームとの間のフローであるとき、ｎをもってその画素（ｘ，ｙ）の所要移動時間ｔ（ｘ，ｙ）とする。ｔ（ｘ，ｙ）はフレーム内の各画素ごとに検出され、各画素が１画素を移動するのに必要な時間を表すため、これから速度を逆比例的に計算することができる。
【００３９】
上述の処理によれば、速度情報ｔ（ｘ，ｙ）の検出は適当な周期でサンプリングしたフレームを基準に行うのが適切で、ｔ（ｘ，ｙ）はこの周期ごとに全画素について同時に更新されることになる。これに対し、移動時間検出部３２の実現法としては、次の様に各画素ごとに逐次速度情報を更新していく方法も考えられる。
【００４０】
この場合は、各フレームにおけるフローを、それに先行するフレームとの間で計算する。つまり、フレームｋ₁におけるある画素（ｘ，ｙ；ｋ₁）で、このｎ番目前のフレームとの間で計算されたフローｆ_r（ｘ，ｙ；ｎ）が指標の距離Ｄ画素に達したとするとき、フレームｋ₁での画素（ｘ，ｙ）の速度（移動時間）を次式で定義する。
【００４１】
ｔ（ｘ，ｙ；ｋ₁）＝｛ｎ｜ｆ_r（ｘ，ｙ；ｎ）＝Ｄ｝（２）
また、ここで画素（ｘ，ｙ）を中心とするテンプレートＴ（ｘ，ｙ，ｋ₁）を記憶する。フレームｋ₁以降の画素（ｘ，ｙ）における速度は、Ｔ（ｘ，ｙ，ｋ₁）との相関を計算しながら再び画素（ｘ，ｙ）の移動距離がＤ画素に達するフレームｋ₂までの間はｔ（ｘ，ｙ；ｋ₁）とする。フレームｋ₂ではｔ（ｘ，ｙ；ｋ₂）に、テンプレートをＴ（ｘ，ｙ，ｋ₂）に更新し、以後同様の処理を繰り返す。これによると速いシーンほど移動量がすぐ指標の距離になるため速度とテンプレートの更新が頻繁に起こる。ただし、速度情報に関しては速度の時間変化を考慮に入れて計算することもできる。例えば速度の更新が起こらない時間が一定の閾値を越える場合は速度を零にリセットすることが考えられる。また、カルマンフィルターなどにより、時間軸上のフィルタリングを行うことで、より滑らかな速度変化を推定することが可能である。
【００４２】
速度方向登録部３３
速度方向登録部３３では移動時間検出部３２で検出された所要移動時間ｔ（ｘ，ｙ）に移動方向を併せて持たせる。
【００４３】
移動方向は、画像間フロー検出部２で検出されたフローの角度で表すことができる。
【００４４】
これを例えばθ（ｘ，ｙ）とおき、各画素（ｘ，ｙ）において所要移動時間と移動方向を（ｔ，θ）としてセットで登録する。
【００４５】
ただし、ここで考えている様に指標の距離Ｄが１画素の場合は、所要移動時間ｔ（ｘ，ｙ）に対応する移動方向は画素（ｘ，ｙ）の周囲の８画素のいずれかであるから、角度θ（ｘ，ｙ）の代わりに、これら８画素のいずれであるかを指示するによって平易に登録を行うことができる。
【００４６】
（ｃ）速度情報出力部１４
図５に、速度情報出力部１４の詳細な構成例を示す。
【００４７】
速度情報出力部１４は画像間対応評価部１３によって得られた速度情報の出力方法に関わるものであり、速度輝度変換部４１、速度区分設定部４２、速度表示部４３よりなる。
【００４８】
速度輝度変換部４１
速度輝度変換部４１は、基準フレーム設定部３１において設定された基準フレームの各画素の所要移動時間ｔ（ｘ，ｙ）を輝度情報Ｉ（ｘ，ｙ）に変換する。変換には、ｔ（ｘ，ｙ）が短いほど高い輝度値Ｉ（ｘ，ｙ）を割り当てるなど（又はその逆）の正規化処理を行えば良い。
【００４９】
速度区分設定部４２
また、速度区分設定部４２により基準フレームにおいて一定の速度をもった領域の検出を可能にする。速度区分の最小値と最大値をフレーム数によりｔ₁，ｔ₂（ｔ₁＜ｔ₂) などと設定すると、所要移動時間ｔ（ｘ，ｙ）が
ｔ₁≦ｔ（ｘ，ｙ）≦ｔ₂ （３）
を満足する画素（ｘ，ｙ）により、所要移動時間ｔ₁とｔ₂の間で設定された区分範囲の速度をもった領域が決定される。ここで、この領域情報を表現する手段として例えば、
Ｒ（ｘ，ｙ）＝１（ｔ₁≦ｔ（ｘ，ｙ）≦ｔ₂）（４）
Ｒ（ｘ，ｙ）＝０（ｔ（ｘ，ｙ）＜ｔ₁またはｔ₂＜ｔ（ｘ，ｙ））（５）
のような２値マスクＲ（ｘ，ｙ）を利用することができる。
【００５０】
一方、速度方向登録部３３においてｔ（ｘ，ｙ）に併せて登録された速度方向θ（ｘ，ｙ）を用いることにより、基準フレームにおいて一定の速度方向をもった領域検出を行うことも可能である。例えば、速度の向きをθ₁，θ₂（θ₁＜θ₂）の範囲として設定すると、速度方向θ（ｘ，ｙ）が
θ₁≦ｔ（ｘ，ｙ）≦θ₂ （６）
を満足する画素（ｘ、ｙ）により、速度方向がθ₁とθ₂の間である領域を指定できる。こうした領域も前記と同様の２値マスクとして次のように表現できる。
【００５１】
Ｒ（ｘ，ｙ）＝１（θ₁≦θ（ｘ，ｙ）≦θ₂）（７）
Ｒ（ｘ，ｙ）＝０（θ（ｘ，ｙ）＜θ₁またはθ₂＜θ（ｘ，ｙ））（８）
また、速度の大きさと方向との組合せにより領域を設定して選び出すこともできる。
【００５２】
速度表示部４３
最後に、速度表示部４３は、速度輝度変換部４１において輝度情報に変換された速度情報を、表示する。
【００５３】
基本的には基準フレームの各画素（ｘ，ｙ）に対し、速度ｔ（ｘ，ｙ）に応じた輝度情報Ｉ（ｘ，ｙ）を表示させるが、この輝度情報Ｉ（ｘ，ｙ）の表示を、Ｒ（ｘ，ｙ）＝１との論理和を経て、つまり前記速度区分設定部４２によって区分された速度の大きさと方向を参照し、設定区分範囲の速度をもった領域に限定して行うこともできる。またＲ（ｘ，ｙ）と、入力画像の輝度値そのままの論理和を出力するといったように、様々な形式で速度情報を表示するものである。
【００５４】
＜変更例＞
なお、本発明は前記実施例で記載した内容に限定されるものではない。
【００５５】
例えば、画像間フロー検出部１２において、フロー検出は前記の相関による方法に限られず、他の手法を用いても良い。
【００５６】
例として、輝度値から２次元の速度場を求めようとする時空間微分法による手法などが適用できる。図６に、時空間微分法を用いた前記画像間フロー検出部１２の構成変形例を示す。
【００５７】
局所勾配計算部２４
まず、局所勾配計算部２４では、画像内の空間的な輝度勾配と、２フレーム間の時間的な輝度勾配を、各画素において局所的に計算する。計算された輝度勾配を水平、垂直方向にそれぞれＩ_x，Ｉ_yとおき、時間的な輝度勾配をＩ_tとおくことにする。
【００５８】
拘束式生成部２５
次に、拘束式生成部２５では、前記局所勾配計算部で得られた局所勾配を、オプティカルフローの拘束式と呼ばれる拘束条件に代入し、次式を得る。
【００５９】
Ｉ_x・ｕ＋Ｉ_y・ｖ＋Ｉ_t＝０．（９）
ここでは（ｕ，ｖ）が速度ベクトルを表しており、同一の点に対応する画素の輝度がその点の時間的な移動にかかわらず一定であることと、輝度の空間的変化が線形であることが近似的な前提となっている。
【００６０】
フロー計算部２６
フロー計算部２６において、拘束式生成部２５で得られた拘束式を例えば水平、垂直方向に各々空間微分することにより（ｕ，ｖ）に関する連立方程式を立て、これを解くことで速度ベクトル（ｕ，ｖ）を求めることができる。
【００６１】
また、速度情報抽出部１の画像間フロー検出部１２、画像間対応評価部１３、速度情報出力部１４をパソコンで実現するために、画像間フロー検出部１２、画像間対応評価部１３、速度情報出力部１４の機能を実現するプログラムをＦＤ，，ＭＤ，ＣＤ−ＲＯＭ，ＤＶＤ等の記録媒体に記憶させておき、これを画像取り込部０が接続されたパソコンに記憶させて処理させてもよい。
【００６２】
このように、本発明は部分的な要素処理の置き換えなどにより様々な拡張が可能である。
【００６３】
【発明の効果】
本発明によれば、画像を高速に取り込むと同時に処理することが可能なセンサから入力される高速な時系列画像から、移動速度の速い物体から遅い物体までを安定して単純な処理で正しく検出することのでき、画像情報に基づいた高速な機器制御などの技術の実現に、大きく貢献する。
【図面の簡単な説明】
【図１】本発明の基本的な構成を示すブロック図である。
【図２】図１の速度情報抽出部の詳細な構成を示すブロック図である。
【図３】図２の画像間フロー検出部の詳細な構成例を示すブロック図である。
【図４】図２の画像間対応評価部の詳細な構成を示すブロック図である。
【図５】図２の速度情報出力部の詳細な構成を示すブロック図である。
【図６】図２の画像間フロー検出部の構成変形例を示すブロック図である。。
【符号の説明】
０…画像取り込部
１…速度情報抽出部
１２…画像間フロー検出部
１３…画像間対応評価部
１４…速度情報出力部
２１…局所マスク設定部
２２…相関値計算部
２３…対応判定部
２４…局所勾配計算部
２５…拘束式生成部
２６…フロー計算部
３１…指標距離設定部
３２…移動時間検出部
３３…速度方向登録部
４１…速度輝度変換部
４２…速度区分設定部
４３…速度表示部

Claims

画像を時系列的に取り込む画像取得手段と、
この画像取得手段によって取り込まれた時系列画像から画像間での各画素の移動量の情報及び移動方向の情報を有する２次元のフローを検出するフロー検出手段であって、
前記時系列画像の過去の画像上の各画素を中心とする一定サイズの領域を各画素のテンプレートとして記憶する手段、
前記時系列画像の現在の画像上の各画素を中心とする一定の範囲の領域から、前記現在の画像上の各画素と同一座標の前記テンプレートとの相関が最も高い領域を求める手段、
前記現在の画像上の各画素の座標と前記相関が最も高い領域の中心の座標との差から前記現在の画像上の各画素の移動量と移動方向とを求める手段、および、
前記現在の画像上の各画素のうち前記移動量が一定の画素数に達したものと同一座標の前記テンプレートを現在の画像の同一座標を中心とする一定サイズの領域に更新する手段、
を備えるフロー検出手段と、
このフロー検出手段によって検出された前記時系列画像の各画素に関する２次元のフローの移動量が一定の画素数に達した画像から当該画素と同一座標のテンプレートが記憶された画像までの画像の枚数に基づいて、前記現在の画像上の各画素の移動時間を計測する移動時間計測手段と、
この移動時間計測手段によって計測された移動時間と前記一定の画素数の移動量とを用いて、前記時系列画像の各時点における各画素の速度情報の抽出を行う速度情報抽出手段と、
を具備することを特徴とする動画像処理装置。
前記動画像処理装置は、速度情報を表示する速度情報出力手段を有し、
この速度情報出力手段は、
各画素における速度情報を輝度情報に対応させる輝度情報対応手段と、
この輝度情報対応手段によって輝度情報に変換した速度情報を基に、一定の速度をもった領域の検出を行う領域検出手段と、
この領域検出手段によって検出した領域に対応して前記輝度情報に変換した速度情報を表示する表示手段と、
を具備した
ことを特徴とする請求項１記載の動画像処理装置。
画像を時系列的に取り込む画像取得ステップと、
この画像取得ステップによって取り込まれた時系列画像から画像間での移動量の情報及び移動方向の情報を有する２次元のフローを検出するフロー検出ステップであって、
前記時系列画像の過去の画像上の各画素を中心とする一定サイズの領域を各画素のテンプレートとして記憶するステップ、
前記時系列画像の現在の画像上の各画素を中心とする一定の範囲の領域から、前記現在の画像上の各画素と同一座標の前記テンプレートとの相関が最も高い領域を求めるステップ、
前記現在の画像上の各画素の座標と前記相関が最も高い領域の中心の座標との差から前記現在の画像上の各画素の移動量と移動方向とを求めるステップ、および、
前記現在の画像上の各画素のうち前記移動量が一定の画素数に達したものと同一座標の前記テンプレートを現在の画像の同一座標を中心とする一定サイズの領域に更新するステップ、
を備えるフロー検出ステップと、
このフロー検出ステップによって検出された前記時系列画像の各画素に関する２次元のフローの移動量が一定の画素数に達した画像から当該画素と同一座標のテンプレートが記憶された画像までの画像の枚数に基づいて、前記現在の画像上の各画素の移動時間を計測する移動時間計測ステップと、
この移動時間計測ステップによって計測された移動時間と前記一定の画素数の移動量とを用いて、前記時系列画像の各時点における前記各画素での速度情報の抽出を行う速度情報抽出ステップと、
を具備したことを特徴とする動画像処理方法。
各画素における速度情報を輝度情報に対応させる輝度情報対応ステップと、
この輝度情報対応手段によって輝度情報に変換した速度情報を基に、一定の速度をもった領域の検出を行う領域検出ステップと、
この領域検出手段によって検出した領域に対応して前記輝度情報に変換した速度情報を表示する表示ステップと、
をさらに有する請求項３記載の動画像処理方法。
コンピュータに、
画像を時系列的に取り込む画像取得機能と、
この画像取得機能によって取り込まれた時系列画像から画像間での移動量の情報及び移動方向の情報を有する２次元のフローを検出するフロー検出機能であって、
前記時系列画像の過去の画像上の各画素を中心とする一定サイズの領域を各画素のテンプレートとして記憶する機能、
前記時系列画像の現在の画像上の各画素を中心とする一定の範囲の領域から、前記現在の画像上の各画素と同一座標の前記テンプレートとの相関が最も高い領域を求める機能、
前記現在の画像上の各画素の座標と前記相関が最も高い領域の中心の座標との差から前記現在の画像上の各画素の移動量と移動方向とを求める機能、および、
前記現在の画像上の各画素のうち前記移動量が一定の画素数に達したものと同一座標の前記テンプレートを現在の画像の同一座標を中心とする一定サイズの領域に更新する機能、
を備えるフロー検出機能と、
このフロー検出機能によって検出された前記時系列画像の各画素に関する２次元のフローの移動量が一定の画素数に達した画像から当該画素と同一座標のテンプレートが記憶された画像までの画像の枚数に基づいて、前記現在の画像上の各画素の移動時間を計測する移動時間計測機能と、
この移動時間計測機能によって計測された移動時間と前記一定の画素数の移動量とを用いて、前記時系列画像の各時点における前記各画素での速度情報の抽出を行う速度情報抽出機能と、
を実現させるための動画像処理プログラムを記録した記録媒体。
さらに、各画素における速度情報を輝度情報に対応させる輝度情報対応機能と、
この輝度情報対応手段によって輝度情報に変換した速度情報を基に、一定の速度をもった領域の検出を行う領域検出機能と、
この領域検出手段によって検出した領域に対応して前記輝度情報に変換した速度情報を表示する表示機能と、
を実現させる、請求項５記載の動画像処理プログラムを記録した記録媒体。