JP4317201B2 - 映像動きパターン解析装置、その方法及びプログラム - Google Patents

Description

本発明は、画像処理技術に関し、特に、流体変化を伴った自然現象を、映像を通じて可視化して解析する分野、映像センシングで遠隔の情報を知るサーベイランスの分野などの画像処理技術に関する。

実環境の状況変化を、映像を通じて把握するときに、雲の流れ、雪の舞などを通じて気流の変化を知ることができるようになれば、気象レーダーや各種センサでは捉えきれない気象現象をセンシングできる。

従来、流体変化を伴った自然現象を対象とした映像の動きのパターンを解析する方法としては、流体力学実験などでトレーサと呼ばれる粒子を流し込んで、気体中をトレーサが舞う様子を撮影し、撮影した映像の連続した時系列画像間でパターンマッチングを行い、トレーサの流速変化や渦の具合を解析して、速度の大きさや渦度、発散度などを計算する（例えば、非特許文献１を参照）。
可視化情報学会／編「ＰＩＶハンドブック」森北出版、２００２年７月（まえがき、詳細目次）

しかしながら、映像シーンにおいて速度変化のばらつきが多いような場合、データのばらつきに起因したはずれ値の影響により、モデルパラメータを精度よく推定することができず、安定かつ精度ある解析が困難であった。このため、例えば、ライブカメラの映像を通じて、遠隔地における複数のサイトの状況を判断するためには、携帯やＰＣでリンク先の各サイトにアクセスしてそれぞれの映像を時間をかけてダウンロードする必要があるという問題があった。

本発明は、上記問題点に鑑み、自然現象を対象とした映像の動きパターンを安定且つ高精度に解析し、時々刻々と変化する映像シーンの状況を認識可能とすることを課題とする。

第１の本発明に係る映像動きパターン解析装置は、自然現象を対象とした時系列画像の入力を受け付け、受け付けた時系列画像を記憶手段に記憶しておく画像データ受付手段と、オプティカルフロー法により時系列画像の動きベクトルを推定し、推定した動きベクトルを記憶手段に格納する動きベクトル推定手段と、動きベクトル推定手段が推定した動きベクトルと、線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、その目的関数を最小とする最小二乗推定によりシステムパラメータを推定し、推定したシステムパラメータを記憶手段に格納するパラメータ推定手段と、パラメータ推定手段が推定した動きベクトルのシステムパラメータを予め定められた条件式に代入し、システムパラメータが条件式を満たす場合には当該条件式に対応したパターンに動きベクトルを分類し、分類した動きベクトルのパターンを記憶手段に格納する動きベクトル分類手段と、動きベクトル分類手段が分類した動きベクトルのパターンに基づいてその動きベクトルの特徴を示すメタデータを生成し、生成したメタデータを記憶手段に格納するメタデータ生成手段と、メタデータ生成手段が生成したメタデータを表示するメタデータ表示手段と、を備えることを特徴とする。

本発明にあっては、オプティカルフロー法により推定した自然現象を対象とした時系列画像の動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、その目的関数を最小とする最小二乗推定により動きベクトルのシステムパラメータを推定するようにしたことで、動きベクトルのばらつきに起因したはずれ値の影響が抑制されシステムパラメータを精度良く推定することができ、システムパラメータにより分類した動きベクトルのパターンに基づいて、動きベクトルの特徴を示したメタデータを表示し、時系列画像に応じて時々刻々と変化させることが可能になる。

上記映像動きパターン解析装置は、時系列画像は、流体変化を伴う自然現象を対象とした時系列画像であって、動きベクトル推定手段が推定した動きベクトルに流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用して動きベクトルを補正し、補正した動きベクトルを記憶手段に格納する動きベクトル補正手段を更に備えることを特徴とする。

本発明にあっては、時系列画像の対象が流体を伴う自然現象であり、例えばボールなどとは違って重心がなく形状不定などの点で類似性が高いことから、流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用してオプティカルフロー法により推定した動きベクトルを補正することが可能になる。

上記映像動きパターン解析装置において、メタデータ生成手段が生成したメタデータをＵＲＬで記述して外部からリンク可能とし、そのリンクを通じて時系列画像を配信するメタデータ配信手段を更に備えることを特徴とする。

本発明にあっては、メタデータをＵＲＬで記述して外部からリンク可能とし、そのリンクを通じて時系列画像を配信するようにしたことで、外部から通信回線を介してアクセス可能な端末にはＵＲＬで記述されたメタデータを表示し、時系列画像に応じて時々刻々と変化させることが可能になると共に、必要に応じてリンクを通じて時系列画像をダウンロードさせることができる。

第２の本発明に係る映像動きパターン解析方法は、画像データ受付手段により、自然現象を対象とした時系列画像の入力を受け付け、受け付けた時系列画像を記憶手段に記憶しておくステップと、動きベクトル推定手段により、オプティカルフロー法により時系列画像の動きベクトルを推定し、推定した動きベクトルを記憶手段に格納するステップと、パラメータ推定手段により、動きベクトル推定手段が推定した動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、その目的関数を最小とする最小二乗推定によりシステムパラメータを推定し、推定したシステムパラメータを記憶手段に格納するステップと、動きベクトル分類手段により、パラメータ推定手段が推定した動きベクトルのシステムパラメータを予め定められた条件式に代入し、システムパラメータが条件式を満たす場合にはその条件式に対応したパターンに動きベクトルを分類し、分類した動きベクトルのパターンを記憶手段に格納するステップと、メタデータ生成手段により、パターン分類手段が分類した動きベクトルのパターンに基づいて当該動きベクトルの特徴を示すメタデータを生成し、生成したメタデータを記憶手段に格納するステップと、メタデータ表示手段により、前記メタデータ生成手段が生成したメタデータを表示するステップと、を有することを特徴とする。

上記映像動きパターン解析方法における時系列画像は、流体変化を伴う自然現象を対象とした時系列画像であって、動きベクトル補正手段により、前記動きベクトル推定手段が推定した動きベクトルに流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用して動きベクトルを補正し、補正した動きベクトルを記憶手段に格納するステップを更に有することを特徴とする。

上記記載の映像動きパターン解析方法においては、メタデータ配信手段により、前記メタデータ生成手段が生成したメタデータをＵＲＬで記述して外部からリンク可能とし、当該リンクを通じて前記時系列画像を配信するステップを更に有することを特徴とする。

第３の本発明に係る映像動きパターン解析プログラムは、上記いずれかに記載の映像動きパターン解析方法における各ステップをコンピュータシステムに実行させることを特徴とする。

本発明によれば、自然現象を対象とした映像の動きパターンを安定且つ高精度に解析し、時々刻々と変化する映像シーンを認識可能になる。

以下、本発明の一実施の形態について、図面を用いて説明する。

図１は、一実施の形態に係る映像パターン解析装置を利用したシステムの概略構成図ある。同図に示すように、映像パターン解析装置１００は、例えばビデオカメラ３００などの映像入力装置により撮影された映像シーンを解析して、ネットワークを介して接続されたユーザー端末２００に解析結果を配信する。

図２の構成図に示すように、映像パターン解析装置１００は、画像データ受付部１と、動きベクトル推定部２と、動きベクトル補正部３と、パラメータ推定部４と、動きベクトル分類部５と、メタデータ生成部６と、メタデータ配信部８と、メタデータ配信部８と、時系列画像とその解析結果を格納しておくメモリ９とを備える。

画像データ受付部１は、自然現象を対象とした時系列画像の入力を受け付け、受け付けた時系列画像をメモリ９に記憶しておく。ここで時系列画像は、流体変化を伴う自然現象を対象とした時系列画像であって、例えば監視カメラ・お天気カメラによる一般画像（例：木々の画像、河川・波の画像、煙の画像、雲の流れ・雪の舞いの画像）、衛星レーダーによる画像、落雷強度・落雷数・落雷電流の３つの要素を含んだ雷レーダによる画像などが対象となる。

動きベクトル推定部２は、オプティカルフロー法により時系列画像の動きベクトルを推定し、推定した動きベクトルを解析結果としてメモリ９に格納する。

動きベクトル補正部３は、動きベクトル推定部２が推定した動きベクトルに流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用して動きベクトルを補正する。ここでは時系列画像の対象が流体を伴う自然現象であり、例えばボールなどとは違って重心がなく形状不定などの点で類似性が高いことから、流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用してオプティカルフロー法により推定した動きベクトルを補正することが可能になる。動きベクトル補正部３は、このようにして補正した動きベクトルを解析結果としてメモリ９に格納する。

パラメータ推定部４は、動きベクトル補正部３が補正した動きベクトルと、線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、その目的関数を最小とする最小二乗推定によりシステムパラメータを推定し、推定したシステムパラメータを解析結果としてメモリ９に格納する。

動きベクトル分類部５は、パラメータ推定部４が推定した動きベクトルのシステムパラメータを予め定められた条件式に代入し、システムパラメータが条件式を満たす場合にはその条件式に対応したパターンに動きベクトルを分類し、分類した動きベクトルのパターンを解析結果としてメモリ９に格納する。

メタデータ生成部６は、動きベクトル分類部５が分類した動きベクトルのパターンに基づいてその動きベクトルの特徴を示すメタデータを生成し、生成したメタデータを解析結果としてメモリ９に格納する。

メタデータ表示部７は、メタデータ生成部６が生成したメタデータを表示する。ここでは例えば、液晶ディスプレイなどの表示装置であって、メモリ９に格納されたメタデータを読み出して、メタデータを表示する。

メタデータ配信部８は、メタデータ生成部６が生成したメタデータをＵＲＬで記述して外部からリンク可能とし、そのリンクを通じて時系列画像を配信する。ここではメモリ９に格納されたメタデータを読み出してＵＲＬで記述すると共に外部からリンク可能とし、そのリンクを通じて、ネットワークを介して時系列画像を配信する。

次に、映像パターン解析装置１００の処理について図３〜５を用いて具体的に説明する。図３は、処理の流れを示すフローチャートである。

ステップ１：画像データ受付部１により、自然現象を対象とした時系列画像の入力を受
け付ける。時系列画像は、図４の上段に示すように、例えば、ビデオカメラ３００により川の流れを撮影した映像データのうち、時間的に連続する２枚の画像データとする。ここでは時系列画像Ａを、例えば面積の等しい正方形の領域で区画された９つのサブ画像Ａ１〜Ａ９に分割し、各サブ画像の画素数を１０×１０とする。このようにして受け付けた時系列画像Ａを解析結果としてメモリ９に記憶しておく。

ステップ２：動きベクトル推定部２により、オプティカルフロー法により時系列画像の動きベクトルを推定する。推定された動きベクトルは、図４の中段の画像中における矢印のように示される。尚、「オプティカルフロー法により時系列画像の動きベクトルを推定する」方法の詳細については、「T.Corpetti, E.Memin, and P.Perez,"Dense estimation of fluid flows",IEEE Trans. PAMI, vol.24,no.3,pp.365-381,2002.」が参考技術として挙げられる。このようにして推定した動きベクトルを解析結果としてメモリ９に格納する。

ステップ３：動きベクトル補正部３により、動きベクトル推定部２が推定した動きベクトルに流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用して動きベクトルを補正する。補正された動きベクトルは、図４の下段の画像中における矢印のように示される。尚、「動きベクトルに対して流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用して動きベクトルを補正するための数値的な解法」の詳細については「荒川忠一，“数値流体工学”，東京大学出版会、１９９５．」が参考技術として挙げられる。このようにして補正した動きベクトルを解析結果としてメモリ９に格納する。

ステップ４：パラメータ推定部４により、動きベクトル推定部２が推定した動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、その目的関数を最小とする最小二乗推定によりシステムパラメータを推定する。

以下、パラメータ推定部４による具体的な処理について更に詳細に説明する。ここでは説明のため、まず、Ｐ，Ｑで示される一般的な時変システムを次式（１）のように定義する。尚、ｘ，ｙは位置座標である。

また、理論上の特異点を求めるには次式（２）に示すように時間変化をゼロとして停留点を求める。

ここで特異点の座標成分をｘ_０，ｙ_０とし、一般的な時変システムＰ，Ｑを線形モデルに適用してシステムパラメータａ，ｂ，ｃ，ｄで記述すると次式（３）のようになる。

式（１）〜式（３）で示したように動きベクトルＦ，Ｇに対して線形モデルを適用してシステムパラメータで記述すると次式（４）のようになる。

ここでシステムパラメータａ，ｂ，ｃ，ｄが推定されるべき未知数である。

また、動きベクトルＦ，Ｇの進行方向の角度θ、大きさｍは次式（５）、（６）のように表される。

ここで式（５）を変形して動きベクトルの進行方向の角度θのタンジェントをξとして次式（７）で表す。

式（７）を次式（８）のように変形する。

式（８）から動きベクトル推定部２が推定した動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルＦ，Ｇとの誤差関数ｚとして次式（９）を定義する。

更に、式（９）の誤差関数ｚに式（１０）に示される非線形なローレンツ型ロバスト関数を適用し、式（１１）で示される目的関数Ｅを設定する。式（１１）においてｎは、時系列画像Ａを９分割したサブ画像Ａ１〜Ａ９のそれぞれの画素数１０×１０に対応する。

非線形関数である式（１０）を適用した目的関数Ｅもまた非線形関数であるので、目的関数Ｅを最小化するために次式（１２）のような拘束条件を課し、非線形最小二乗推定によりシステムパラメータａ，ｂ，ｃ，ｄを推定する。ここではサブ画像毎にシステムパラメータを推定する。

上記のような非線形最小二乗推定を行うに際して、ここでは最小化アルゴリズムとして最急降下法を使用する。次式のように４つのパラメータａ，ｂ，ｃ，ｄを反復計算により推定する。例えば、４つのパラメータの初期値はゼロとする。

このような非線形システム理論はシステム系の安定性などを評価する場合に、システム工学、制御の分野で用いられている。最近ではカオスなどの非線形モデルの解析に適用されている。パラメータ推定部４は、このようにして推定したシステムパラメータａ，ｂ，ｃ，ｄを解析結果としてメモリ９に格納する。これにより、動きベクトルのばらつきに起因したはずれ値の影響が抑制されシステムパラメータを精度良く推定することができる。

ステップ５：動きベクトル分類部５により、パラメータ推定部４が推定した動きベクトルのシステムパラメータを予め定められた条件式に代入し、システムパラメータが条件式を満たす場合にはその条件式に対応したパターンに動きベクトルを分類する。

以下、動きベクトル分類部５による具体的な処理について更に詳細に説明する。

まず、動きベクトルをＶ_ｅとして、式（４）は、行列Ａ、位置ベクトルＸ、一列のパラメータを用いて次式（４）’のように表すことができる。

ここでステップ４で推定した動きベクトルＶ_ｅのシステムパラメータａ，ｂ，ｃ，ｄから動きベクトルＶ_ｅの渦度curl(Ｖ_ｅ)、発散度div(Ｖ_ｅ)、行列式def(Ｖ_ｅ)を計算し、予め定められた以下の６つの条件式に代入する。

システムパラメータａ，ｂ，ｃ，ｄがパターン１〜パターン６のいずれかの条件式を満たす場合にはその条件式に対応したパターンに動きベクトルを分類する。図５は、分類する動きベクトルの６つのパターンを示した図である。６つの条件式で示したパターン１〜パターン６のそれぞれは、同図のＰ１〜Ｐ６にそれぞれ対応している。

図６は、映像パターン解析装置１００のメモリ９に格納される解析結果の一例である。同図に示すように、ここでは時系列画像Ａのサブ画像Ａ１〜Ａ９に対応して動きベクトルが分類パターン６（同図ではＰ６）に分類されて格納されている。

ステップ６：メタデータ生成部６により、動きベクトル分類部５が分類した動きベクトルのパターンに基づいて動きベクトルの特徴を示すメタデータを生成する。まず、メタデータを生成するための第１の条件として、予め川の流れを撮影した時系列画像Ａにおいては、例えば９枚のサブ画像Ａ１〜Ａ９のうち渦状のパターン６に分類されたサブ画像が多い場合には川の流れが乱れており、川面に発生する波の形状から「低気圧」が近づいてきているというようにメタデータ（１）を割り当てるように設定しておく。

次に、メタデータを生成する第２の条件として、例えば、ステップ４において推定されたシステムパラメータから動きベクトルＶ_ｅの渦度curl(Ｖ_ｅ)、発散度div(Ｖ_ｅ)、行列式def(Ｖ_ｅ)を計算する際に、これらの値の定量的な変化から「強い」、「弱い」などの程度を示すメタデータ（２）を割り当てるように設定しておく。

その結果、時系列画像Ａに対応して生成されたメタデータは、図６の解析結果に示すように、メタデータ（１）は「低気圧」、メタデータ（２）は「強い」となる。メタデータ生成部６は、このように時系列画像Ａに対応して生成したメタデータをメモリ９に格納する。

ステップ７：メタデータ表示部７により、メモリ９に格納されたメタデータを読み出して、ネットワークを介して接続されたユーザー端末２００の表示装置に表示する。

図７は、動きベクトルを解析した時系列画像の状況を表示した一例である。同図に示すように、ユーザー端末２００の画面上には『「強い」「低気圧」が接近中』というように画像Ａの状況が表示され、状況に応じて解析結果が反映され表示された文字が変化する。このようにシステムパラメータにより分類した動きベクトルのパターンに基づいて、動きベクトルの特徴を示したメタデータを表示し、時系列画像に応じて時々刻々と変化させることが可能になる。

更に、メタデータ配信部８により、メモリ９に格納されたメタデータを読み出してＵＲＬで記述すると共に外部からリンク可能とし、そのリンクを通じて時系列画像を配信し、ネットワークを介してユーザー端末２００に表示する。

例えば、ユーザーは、図７に示したようにユーザー端末２００の画面上に表示された画像Ａに関する文字情報『「強い」「低気圧」が接近中』を画面上でクリックすると、図８に示すように時系列画像Ａをダウンロードすることができ、ユーザー端末２００上で直接時系列画像を閲覧できる。ここでは実際の画像Ａと共に画像Ａのオプティカルフローも画像情報としてダウンロードされ、画面上に表示されている。

このように外部からネットワークを介してアクセス可能な端末にはＵＲＬで記述されたメタデータを表示し、時系列画像に応じて時々刻々と変化させることが可能になると共に、必要に応じてリンクを通じて時系列画像をダウンロードさせることができる。

したがって、本実施の形態によれば、オプティカルフロー法により推定した自然現象を対象とした時系列画像の動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、その目的関数を最小とする最小二乗推定により動きベクトルのシステムパラメータを推定するようにしたことで、動きベクトルのばらつきに起因したはずれ値の影響が抑制されシステムパラメータを精度良く推定することができ、システムパラメータにより分類した動きベクトルのパターンに基づいて、動きベクトルの特徴を示したメタデータを表示し、時系列画像に応じて時々刻々と変化させることが可能になる。これにより、自然現象を対象とした映像の動きパターンを安定且つ高精度に解析し、時々刻々と変化する映像シーンを認識可能になる。

また、本実施の形態においては、時系列画像の対象が流体を伴う自然現象であり、例えばボールなどとは違って重心がなく形状不定などの点で類似性が高いことから、流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用してオプティカルフロー法により推定した動きベクトルを補正することが可能になる。

また、本実施の形態においては、メタデータをＵＲＬで記述して外部からリンク可能とし、そのリンクを通じて時系列画像を配信するようにしたことで、外部から通信回線を介してアクセス可能な端末にはＵＲＬで記述されたメタデータを表示し、時系列画像に応じて時々刻々と変化させることが可能になると共に、必要に応じてリンクを通じて時系列画像をダウンロードさせることができる。

［比較例］
ここで本実施の形態の理解を容易にするために比較例を挙げて説明する。ここでは推定した動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数の二乗和が最小となるような最小二乗推定によりシステムパラメータを推定する。すなわち式（８）から次式（１４）を記述し、拘束条件として次式（１５）、重みとして次式（１６）を与え、与えられるデータ数ｎ個から線形最小二乗法により、４つの未知数であるシステムパラメータを推定する。

具体的な解法として、例えば、ラグランジュの未定乗数法を使用して、次式（１７）のように未知数を含む２つのベクトルとラグランジュ乗数λに関して目的関数Γを最小化するための必要条件を課して式を整理すると連立方程式を得ることができ、４つのシステムパラメータを計算することができる。

尚、ここで説明した「推定した動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数の二乗和が最小となるような最小二乗推定によりシステムパラメータを推定する」技術の詳細については「Chiao-Fe Shu and Ramesh C. Jain,"Vector Field Analysis for Oriented Patterns",IEEE Trans. PAMI, vol.16,no.9,pp.946-950,1994.」が参考技術として挙げられる。

しかしながら、上記のような「線形最小二乗推定法では、データのばらつきに起因したはずれ値の影響により、モデルパラメータを精度よく推定することができない。」といった問題点が一般的には指摘される。このような問題に関する記載については参考文献として「中川徹，小柳義夫，“最小二乗法による実験データ解析”，東京大学出版会，１９９５．」が挙げられる。

そこで、本実施の形態によれば、オプティカルフロー法により推定した自然現象を対象とした時系列画像の動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、その目的関数を最小とする最小二乗推定により動きベクトルのシステムパラメータを推定するようにしたことで、動きベクトルのばらつきに起因したはずれ値の影響が抑制されシステムパラメータを精度良く推定することができる。これにより、システムパラメータにより分類した動きベクトルのパターンに基づいて、動きベクトルの特徴を示したメタデータを表示し、時系列画像に応じて時々刻々と変化させることが可能になる。

また、本実施の形態においては、映像パターン解析装置１００による解析結果を、ネットワークを介して接続されたユーザー端末２００上に表示、または画像情報を直接配信するような場合について説明したが、映像パターン解析装置１００において直接解析結果を閲覧してもよい。

尚、本実施の形態における映像パターン解析装置１００は、動きベクトル推定部２，動きベクトル補正部３，パラメータ推定部４，動きベクトル分類部５，メタデータ生成部６などの各部をコンピュータシステムにおいてメモリ９にロードされたプログラムを実行することでも実現可能とする。

一実施の形態に係る映像パターン解析装置を利用したシステムの概略構成図ある。 上記映像パターン解析装置の概略的な構成図である。 上記映像パターン解析装置による処理の流れを示すフローチャートである。 上記フローチャートのステップ１〜ステップ３で入力された時系列画像に対して算出される動きベクトルを概略的に示した図である。 上記フローチャートのステップ５において分類する動きベクトルの６つのパターンを示した図である。 上記映像パターン解析装置に格納された解析結果の一例である。 上記映像パターン解析装置により解析された時系列画像の状況をユーザー端末の画面上に表示した例である。 上記映像パターン解析装置により解析された時系列画像を配信しユーザー端末の画面上に表示した例である。

符号の説明

１…画像データ受付部
２…動きベクトル推定部
３…動きベクトル補正部
４…パラメータ推定部
５…動きベクトル分類部
６…メタデータ生成部
７…メタデータ表示部
８…メタデータ配信部
９…メモリ
１００…映像パターン解析装置
２００…ユーザー端末
３００…ビデオカメラ

Claims (7)

1. 自然現象を対象とした時系列画像の入力を受け付け、受け付けた時系列画像を記憶手段に記憶しておく画像データ受付手段と、
   オプティカルフロー法により前記時系列画像の動きベクトルを推定し、推定した動きベクトルを記憶手段に格納する動きベクトル推定手段と、
   前記動きベクトル推定手段が推定した動きベクトルと、線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、当該目的関数を最小とする最小二乗推定により前記システムパラメータを推定し、推定したシステムパラメータを記憶手段に格納するパラメータ推定手段と、
   前記パラメータ推定手段が推定した動きベクトルのシステムパラメータを予め定められた条件式に代入し、システムパラメータが条件式を満たす場合には当該条件式に対応したパターンに動きベクトルを分類し、分類した動きベクトルのパターンを記憶手段に格納する動きベクトル分類手段と、
   前記動きベクトル分類手段が分類した動きベクトルのパターンに基づいて当該動きベクトルの特徴を示すメタデータを生成し、生成したメタデータを記憶手段に格納するメタデータ生成手段と、
   前記メタデータ生成手段が生成したメタデータを表示するメタデータ表示手段と、
   を備えることを特徴とする映像動きパターン解析装置。
2. 前記時系列画像は、流体変化を伴う自然現象を対象とした時系列画像であって、
   前記動きベクトル推定手段が推定した動きベクトルに流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用して動きベクトルを補正し、補正した動きベクトルを記憶手段に格納する動きベクトル補正手段を更に備えることを特徴とする請求項１に記載の映像動きパターン解析装置。
3. 前記メタデータ生成手段が生成したメタデータをＵＲＬで記述して外部からリンク可能とし、当該リンクを通じて前記時系列画像を配信するメタデータ配信手段を更に備えることを特徴とする請求項１又は２に記載の映像動きパターン解析装置。
4. 画像データ受付手段により、自然現象を対象とした時系列画像の入力を受け付け、受け付けた時系列画像を記憶手段に記憶しておくステップと、
   動きベクトル推定手段により、オプティカルフロー法により前記時系列画像の動きベクトルを推定し、推定した動きベクトルを記憶手段に格納するステップと、
   パラメータ推定手段により、前記動きベクトル推定手段が推定した動きベクトルと線形モデルを適用してシステムパラメータで記述された動きベクトルとの誤差関数に非線形なロバスト関数を適用した目的関数を設定し、当該目的関数を最小とする最小二乗推定により前記システムパラメータを推定し、推定したシステムパラメータを記憶手段に格納するステップと、
   動きベクトル分類手段により、前記パラメータ推定手段が推定した動きベクトルのシステムパラメータを予め定められた条件式に代入し、システムパラメータが条件式を満たす場合には当該条件式に対応したパターンに動きベクトルを分類し、分類した動きベクトルのパターンを記憶手段に格納するステップと、
   メタデータ生成手段により、前記パターン分類手段が分類した動きベクトルのパターンに基づいて当該動きベクトルの特徴を示すメタデータを生成し、生成したメタデータを記憶手段に格納するステップと、
   メタデータ表示手段により、前記メタデータ生成手段が生成したメタデータを表示するステップと、
   を有することを特徴とする映像動きパターン解析方法。
5. 前記時系列画像は、流体変化を伴う自然現象を対象とした時系列画像であって、
   動きベクトル補正手段により、前記動きベクトル推定手段が推定した動きベクトルに流体力学の理論に基づいたナビエ・ストークス方程式と連続方程式を適用して動きベクトルを補正し、補正した動きベクトルを記憶手段に格納するステップを更に有することを特徴とする請求項４に記載の映像動きパターン解析方法。
6. メタデータ配信手段により、前記メタデータ生成手段が生成したメタデータをＵＲＬで記述して外部からリンク可能とし、当該リンクを通じて前記時系列画像を配信するステップを更に有することを特徴とする請求項４又は５に記載の映像動きパターン解析方法。
7. 請求項４乃至６のいずれかに記載の映像動きパターン解析方法における各ステップをコンピュータシステムに実行させることを特徴とする映像動きパターン解析プログラム。
   
   
   

Images