JP3565087B2 - 時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体に係り、特に、ビデオカメラや気象レーダ装置、リモートセンシング等により得られる時系列画像を入力とし、入力された時系列画像の未来の画像を予測する技術において、気象レーダ装置などから得られる時系列の気象画像を入力とし、観測時点から未来の画像を得ることで、局所短時間の降水量の空間分布の予報などへの応用が可能な時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
従来の時系列画像の予測技術としては、まず、直前に、数フレームから画像中の運動物体が存在する領域を抽出し、その動き情報（速度ベクトル）を推定し、この動き情報を用いて抽出した運動物体の領域を画像上で移動させることにより行う方法がある。
【０００３】
ここでは、時系列画像の予測技術の典型的な応用である短時間の降水量分布の予測の例をとって考えると、文献［１］ 遊馬芳雄、菊地勝弘、今久：“簡易気象レーダーによるエコーの移動速度について”，北海道大学地球物理学研究報告，Ｖｏｌ，４４， Ｏｃｔｏｂｅｒ， １９８４， ＰＰ．２３−３４ や、文献［２］ 遊馬芳雄、菊地勝弘、今久：“簡易気象レーダーによる降雪の短時間予測実験（その１）”、北海道大学地球物理学研究報告，Ｖｏｌ．４４， Ｏｃｔｏｂｅｒ，１９８４， ｐｐ．３５−５１にある相互相関法が広く知られている。
【０００４】
上記文献［１］ 、［２］ の手法では、一定時間毎に観測された時系列をなす気象画像から、その真近に観測された２つの時刻の気象画像を用い、一方をずらして、画像間の相互相関値を計算し、それが最大となるずれ幅から、画像中のパターンの移動速度を推定している。さらに、推定された移動速度を用いてパターンを外挿させることにより未来の画像中のパターンの分布の予測を提供している。気象レーダ装置のレーダエコー反射強度の空間分布を気象画像として用いる場合、画像中のパターンはエコーパターンと呼ばれ、その画像中での分布は降水強度の空間的な分布に対応し、また、画像中の各点の濃淡値は降水強度に対応している。
【０００５】
具体的には、図９に示すように、時間間隔Δｔをおいて計測された２枚の気象レーダ画像Ｒ_１ ，Ｒ_２ から、次式により相互相関値を求める。但し、レーダ画像上の格子点（ｉ，ｊ）における画像の濃度値を各々、Ｒ_１ （ｉ，ｊ），Ｒ_２ （ｉ，ｊ）とし、相関をとる領域を（Ａ，Ｂ）、相関値を計算する際の２枚のレーダ画像のズレを（ｋ，ｈ）とする（図９において斜線は相関値をとる領域を示し、中央の太線の矢印はエコーパターンの移動方向を表す）。
【０００６】
【数１】

【０００７】
上述の計算によって求められた相互相関値は、例えば、図１０に示すようになる。そこで、格子点上にある相互相関値の最大値をとる点（Ｋ，Ｈ）での相互相関値σ_Ｋ，Ｈ 、及び、その近傍の四点の相互相関値σ_−ｘ，σ_＋ｘ，σ_−ｙ，σ_＋ｙに対して二次関数による補間を行い、補間の結果相互相関値が最大となる点（格子点とは限らない）とのずれ（ｋ’，ｈ’）を次式により求める（図１１、但し、Ｘ成分のみを示す）。
【０００８】
【数２】

【０００９】
以上より、２枚の画像は（Ｋ＋ｋ’，Ｈ＋ｈ’）だけずらした場合に相互相関値が最大となる。このことから、エコーパターンの移動ベクトルは次の式（６）、式（７）より求めることができる。この移動ベクトルは、降水域の移動方向及び速度を表している。但し、Ｖ_Ｘ ，Ｖ_ｙ は、それぞれ移動量のｘ成分、ｙ成分を示す。
【００１０】
【数３】

【００１１】
次に、ある時刻に計測された気象レーダ画像中のエコーパターンを、式（６）、式（７）により求められる移動ベクトルを用いて外挿することで、計測時刻以後のレーダ画像を予測する。
気象レーダ画像Ｉ（ｉ，ｊ）を入力画像とし、第１の手段を用いて算出した移動ベクトルから入力画像Ｉ（ｉ，ｊ）が計測された時刻からΔＴ時間後の予測画像Ｊ（ｉ，ｊ）を求める。予測画像Ｊ（ｉ，ｊ）は、水平方向の移動量Ｓ_ｘ ，垂直方向の移動量Ｓ_ｙ
Ｓ_ｘ ＝ ΔＴ・Ｖ_Ｘ （８）
Ｓ_ｙ ＝ ΔＴ・Ｖ_ｙ （９）
に基づき、入力画像Ｉ（ｉ，ｊ）を平行移動したものと定義する。しかし、この移動量は整数値とは限らず、移動した画像の格子点からのずれを
【００１２】
【数４】

【００１３】
と定義する。
但し、入力画像からの対応がない予測画像Ｊの格子点、つまり、平行移動の結果として予測画像に空いた隙間については０の値をとるものとする。
なお、Ｖ_ｘ ＞０かつＶ_ｙ ＞０以外の場合についても同様にして予測画像を求めることができる。
【００１４】
【発明が解決しようとする課題】
しかしながら、従来の時系列画像予測方法では、直前、数フレーム内のパターンの動き及び変化の傾向が、この先も継続するという仮定に基づいているため、この仮定が成り立つ短い時間内でのみ妥当な予測画像ができ、また、観測していた画像系列内に存在しない物体の出現予測など、時間的に急激に画像パターンが変化する場合には予測ができないという問題がある。
【００１５】
本発明は、上記の点に鑑みなされたもので、過去に測定された時系列画像をデータベースに蓄積し、予測対象の時系列画像と類似する過去の画像系列を、画像特徴量についての類似尺度に基づき検索し、検索された過去の画像系列の画像特徴量の時間変化に基づき、予測対象の時刻の画像特徴量を予測し、その画像特徴量から画像を再構成することで、時間的に急激に画像パターンが変化するような時系列画像に対しても高精度の予測画像を提供することが可能な時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
本発明（請求項１）は、時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測方法において、
時系列画像を入力する画像入力ステップ(ステップ１) と、
時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップ（ステップ２）と、
予測対象である予測対象時系列画像を入力する予測対象画像入力ステップと、
予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップ（ステップ３）と、
画像特徴量記憶手段に格納されている時系列画像と、計算された予測対象画像特徴量が類似する時系列画像を検索する画像検索ステップと、
検索された画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する未来画像特徴量予測ステップ（ステップ４）と、
予測された未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する予測画像出力ステップ（ステップ５）と、からなり、
未来画像特徴量予測ステップにおいて、
画像検索ステップで検索された画像特徴量記憶手段中の複数の時系列画像の対象予測時間分先の時刻の画像特徴量を、検索された該時系列画像と予測対象画像との非類似度に逆比例して重み付けして、足し合わせたものを、予測対象時刻の画像特徴量として計算する。
【００１７】
本発明（請求項２）は、予測画像出力ステップにおいて、未来の画像を再構成する際に、
未来の画像特徴量ベクトルとの距離が小さい、画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる。
【００１８】
本発明（請求項３）は、時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測方法において、
時系列画像を入力する画像入力ステップと、
時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップと、
予測対象である予測対象時系列画像を入力する予測対象画像入力ステップと、
予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップと、
画像特徴量記憶手段に格納されている時系列画像と、計算された予測対象画像特徴量が類似する時系列画像を検索する画像検索ステップと、
検索された画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する未来画像特徴量予測ステップと、
予測された未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する予測画像出力ステップと、からなり、
未来画像特徴量予測ステップにおいて、
画像検索ステップで検索された画像特徴量記憶手段中の時系列画像の画像特徴量ベクトルの集合中の２つの画像特徴量ベクトルの差分と、対象とする予測時間先における該２つの画像特徴量ベクトルとの間の差分の間の写像関係を表現する行列を計算し、
予測対象として入力された予測対象時系列画像の画像特徴量ベクトルと、該予測対象時系列画像の画像特徴量ベクトルに最も類似する検索された画像の画像特徴量ベクトルとの間の差分を計算し、
計算された差分ベクトルを行列を用いて写像し、予測対象時刻での差分ベクトルを計算し、
差分ベクトルと最も類似する検索された画像の予測対象時刻先における画像特徴量のベクトルとの和を計算し、画像特徴量の予測値を計算する。
【００１９】
本発明（請求項４）は、予測画像出力ステップにおいて、未来の画像を再構成する際に、
未来の画像特徴量ベクトルとの距離が小さい、画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる。
図２は、本発明の原理構成図である。
【００２０】
本発明（請求項５）は、時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測装置であって、
時系列画像を入力する時系列画像入力手段１０１と、
時系列画像入力手段１０１により入力された時系列画像の画像特徴量を抽出する画像特徴量抽出手段２０２と、
画像特徴量抽出手段２０２により抽出された画像特徴量を蓄積する画像特徴量記憶手段２０３と、
予測対象である予測対象時系列画像を入力する予測対象時系列画像入力手段１０２と、
予測対象時系列画像入力手段により入力された予測対象時系列画像の予測対象画像特徴量を計算する画像特徴量計算手段２０７と、
画像特徴量記憶手段２０３に格納されている時系列画像と、画像特徴量計算手段２０７で計算された予測対象画像特徴量が類似する時系列画像を検索する検索手段２０４と、
検索手段で検索された画像特徴量記憶手段２０３中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測手段２０５と、
予測手段２０５で予測された未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する画像再構成手段２０６と、からなり、
予測手段２０５は、
検索手段２０４で検索された画像特徴量記憶手段中の複数の時系列画像の対象予測時間分先の時刻の画像特徴量を、検索された該時系列画像と予測対象画像との非類似度に逆比例して重み付けして、足し合わせたものを、予測対象時刻の画像特徴量として計算する、手段を有する。
【００２１】
本発明（請求項６）は、画像再構成手段において、未来の画像特徴量ベクトルとの距離が小さい、画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる手段を有する。
【００２２】
本発明（請求項７）は、時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測装置であって、
時系列画像を入力する時系列画像入力手段と、
時系列画像入力手段により入力された時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出手段と、
画像特徴量抽出手段により抽出された画像特徴量を蓄積する画像特徴量記憶手段と、
予測対象である予測対象時系列画像を入力する予測対象時系列画像入力手段と、
予測対象時系列画像入力手段により入力された予測対象時系列画像の予測対象画像特徴量を計算する画像特徴量計算手段と、
画像特徴量記憶手段に格納されている時系列画像と、画像特徴量計算手段で計算された予測対象画像特徴量が類似する時系列画像を検索する検索手段と、
検索手段で検索された画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測手段と、
予測手段で予測された未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する画像再構成手段と、からなり、
予測手段は、
検索手段で検索された画像特徴量記憶手段中の時系列画像の画像特徴量ベクトルの集合中の２つの画像特徴量ベクトルの差分と、対象とする予測時間先における該２つの画像特徴量ベクトルとの間の差分の間の写像関係を表現する行列を計算する手段と、
予測対象として入力された予測対象時系列画像の画像特徴量ベクトルと、該予測対象時系列画像の画像特徴量ベクトルに最も類似する検索された画像の画像特徴量ベクトルとの間の差分を計算する手段と、
計算された差分ベクトルを行列を用いて写像し、予測対象時刻での差分ベクトルを計算する手段と、
差分ベクトルと最も類似する検索された画像の予測対象時刻先における画像特徴量のベクトルとの和を計算し、画像特徴量の予測値を計算する手段と、を有する。
【００２３】
本発明（請求項８）は、画像再構成手段において、
未来の画像特徴量ベクトルとの距離が小さい、画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる手段を有する。
【００２４】
本発明（請求項９）は、時系列画像を入力し、該時系列画像の未来の画像を予測するプログラムを格納した時系列画像予測プログラムを格納した記憶媒体であって、
コンピュータに、
時系列画像を入力させる時系列画像入力ステップと、
時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップと、
予測対象である予測対象時系列画像を入力させる予測対象画像入力ステップと、
予測対象時系列画像入力ステップにおいて入力された予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップと、
画像特徴量記憶手段に格納されている時系列画像と、画像特徴量計算ステップで計算された予測対象画像特徴量が類似する時系列画像を検索する検索ステップと、
検索ステップで検索された画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測ステップと、
予測ステップで予測された未来の画像特徴量から、未来の画像を再構成し、予測画像として出力させる画像再構成ステップと、を実行させ、
予測ステップにおいて、
画像検索ステップで検索された画像特徴量記憶手段中の複数の時系列画像の対象予測時間分先の時刻の画像特徴量を、検索された該時系列画像と予測対象画像との非類似度に逆比例して重み付けして、足し合わせたものを、予測対象時刻の画像特徴量として計算するステップを実行させる、プログラムを格納する。
【００２５】
本発明（請求項１０）は、画像再構成ステップにおいて、未来の画像を再構成する際に、
未来の画像特徴量ベクトルとの距離が小さい、画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせるステップを実行させる。
【００２６】
本発明（請求項１１）は、時系列画像を入力し、該時系列画像の未来の画像を予測するプログラムを格納した時系列画像予測プログラムを格納した記憶媒体であって、
コンピュータに、
時系列画像を入力させる時系列画像入力ステップと、
時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップと、
予測対象である予測対象時系列画像を入力させる予測対象画像入力ステップと、
予測対象時系列画像入力ステップにおいて入力された予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップと、
画像像特徴量記憶手段に格納されている時系列画像と、画像特徴量計算ステップで計算された予測対象画像特徴量が類似する時系列画像を検索する検索ステップと、
検索ステップで検索された画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測ステップと、
予測ステップで予測された未来の画像特徴量から、未来の画像を再構成し、予測画像として出力させる画像再構成ステップと、を実行させ、
予測ステップにおいて、
画像検索ステップで検索された画像特徴量記憶手段中の時系列画像の画像特徴量ベクトルの集合中の２つの画像特徴量ベクトルの差分と、対象とする予測時間先における該２つの画像特徴量ベクトルとの間の差分の間の写像関係を表現する行列を計算ステップと、
予測対象として入力された予測対象時系列画像の画像特徴量ベクトルと、該予測対象時系列画像の画像特徴量ベクトルに最も類似する検索された画像の画像特徴量ベクトルとの間の差分を計算するステップと、
計算された差分ベクトルを行列を用いて写像し、予測対象時刻での差分ベクトルを計算するステップと、
差分ベクトルと最も類似する検索された画像の予測対象時刻先における画像特徴量のベクトルとの和を計算し、画像特徴量の予測値を計算するステップと、を実行させる。
【００２７】
本発明（請求項１２）は、画像再構成ステップにおいて、未来の画像を再構成する際に、
未来の画像特徴量ベクトルとの距離が小さい、画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせるステップを実行させる。
【００３０】
従来は、気象などの自然現象を観測した時系列画像は、複雑にパターンが変化し、パターンの背後にある現象のモデルや原理が不明確であり、時系列画像のみからは正確にモデルのパラメータの推定が困難である。このような対象に対しては、直前の時系列画像の情報から予測を行う方法では十分に対応できないが、本発明によれば、過去の時系列画像をデータベースに大量に蓄積し、その各時刻の画像を複数の画像特徴量ベクトルに変換し、その特徴量ベクトルの相違により、データベース中の画像との間の類似度を判定して、類似時系列画像を検索し、検索された過去の時系列画像の画像特徴量の変化に基づいて未来の画像特徴量を予測している。そのため、従来、モデル化が困難であった複雑な画像パターンに対しても精度よく未来の画像を予測することが可能となる。
【００３１】
また、本発明は、膨大なデータ量をもつ時系列画像から、画像中のパターンの特性を表現する望ましい画像特徴量を予め選択し、その画像特徴量の類似性に基づいて検索を行っている。そのため、時系列画像の元のデータの次元と比較して、大幅に少ない次元数の画像特徴量のベクトルを用いて処理が行われるため、検索に要する計算コストが削減することが可能となる。また、冗長性の大きい元データ同士の類似度を直接計算する場合と比較して、より、利用用途に叶った的確な検索が可能となり、検索時に各特徴についての類似度の度合いを利用者に提示することにより、検索されたデータの各特性を利用者が把握することが可能となる。
【００３２】
また、本発明は、予測された画像特徴量に類似する画像特徴量をもつ画像をデータベース中から選択し、その画像の特徴量と、予測された画像特徴量との距離の逆数により重み付けを行って、選択された過去の画像の各画素の濃淡値を足し合わせることで予測画像を再構成している。そのため、データベース中の単一の画像を予測画像として選択し、出力する場合と比べて、統計的に高い予測精度の予測画像を生成することが可能となる。
【００３３】
【発明の実施の形態】
図３は、本発明の時系列画像予測装置の構成を示す。
同図に示す時系列画像予測装置は、入力部１００と処理部２００と出力部３００から構成される。
入力部１００は、データベースに蓄積するための時系列画像を入力する時系列画像入力部１０１、予測対象となる時系列画像を入力する予測対象時系列画像入力部１０２からなる。これら入力の例としては、ビデオカメラや、衛星、レーダなどの撮影装置から得られる画像や、または、物理量の空間分布を画像化したもの（例えば、気圧分布など）が考えられる。
【００３４】
処理部２００は、時系列画像入力部１０１により入力される時系列画像を記憶するデータベースである時系列画像記憶部２０１、時系列画像記憶部２０１に蓄積されている時系列画像から一定時間間隔に、画像特徴を計算する画像特徴抽出部２０２と、画像特徴抽出部２０２で計算される画像特徴のベクトルの時系列を蓄積するデータベースである画像特徴記憶部２０３と、予測対象時系列画像入力部１０２を通して入力され、画像特徴抽出部２０２により計算される時系列画像の特徴量を入力とし、これと画像特徴記憶部２０３に記憶されている過去の時系列画像の特徴量のそれぞれと比較し、これと画像特徴記憶部２０３に記憶されている過去の時系列画像の特徴量のそれぞれと比較し、類似する時系列画像を検索する検索部２０４と、検索部２０４で得られた、過去の時系列画像の特徴量から、予測対象の時刻における入力された画像の特徴量の予測を行う特徴量予測部２０５と、特徴量予測部２０５で予測された画像特徴量に対応する画像を再構成することで予測画像を生成する予測画像生成部２０６から構成される。
【００３５】
出力部３００は、処理部２００から出力される検索結果の画像系列をディスプレイ装置やファイル装置等に出力する。
図４は、本発明の時系列予測装置に動作を示すフローチャートである。
ステップ１０１） 時系列画像入力部１０１からデータベース構築用の時系列画像が入力されると、入力された時系列画像を時系列画像記憶部２０１に記憶する。
【００３６】
ステップ１０２） 画像特徴抽出部２０２において、時系列画像記憶部２０１中の時系列画像から一定時間毎に画像特徴量を計算し、画像特徴量記憶部２０３に記憶する。
ステップ１０３） 予測対象時系列画像入力部１０２から予測対象時系列画像が入力されると、画像特徴抽出部２０２において、当該予測対象時系列画像の特徴量を抽出する。
【００３７】
ステップ１０４） 検索部２０４は、予測対象時系列画像の特徴量に基づいて像特徴量記憶部２０３から類似時系列画像を検索する。
ステップ１０５） 特徴量予測部２０５は、検索部２０４において検索された時系列画像の特徴量に基づいて、予測対象時刻の画像の特徴量を予測する。
ステップ１０６） 予測画像生成部２０６は、特徴量予測部２０５で予測された画像の特徴量より、予測画像を再構成し、出力部３００に出力する。
【００３８】
【実施例】
以下、図面と共に本発明の実施例を説明する。
本実施例では、図３の処理部２００を中心に具体的に説明する。
時系列画像記憶部２０１は、時系列画像入力部１０１を通して入力される時系列の画像系列を蓄積するデータベースである。画像系列は時間的に切れ目なく継続しているもの、及び任意の区間連続している画像系列の集合を入力、蓄積することができ、画像フレームの時刻またはフレーム番号を指定することで、対応する画像が取り出せるものとする。
【００３９】
画像特徴抽出部２０２では、時系列画像記憶部２０１に記憶されている画像系列、及び予測対象時系列画像入力部１０２を通じて入力される画像系列から、一定の時間間隔でデータの性質を表現する一つまたは、複数の特徴量ベクトルを計算する。
ここでは、例として画像中のパターンの濃淡値の空間分布を表すメッシュ特徴と、パターンの動き分布を表す速度ベクトル場と、パターン表面の細かい動きやテクスチャーを表現するテンポラルテクスチャ特徴の３つの特徴ベクトルを計算する例を示す。なお、以下で説明する以外の画面特徴量も使用可能である。
【００４０】
図５は、本発明の一実施例の時系列画像を対象データとする場合の特徴量ベクトルの例を説明するための図である。
メッシュ特徴は、ある時刻ｔにおいて、図５（ａ）の例のように得られた画像を、図５（ｂ）のようにメッシュに区切り、各メッシュ内の画像の濃淡値の平均値を要素とする１次元の特徴量ベクトルｘ_１ （ｔ）である。また、図５（ｂ）のような各メッシュ中に含まれるパターンの平均的な速度ベクトルを図５（ｃ）のような速度ベクトル場を計算し、その各成分を要素とする１次元ベクトルを速度ベクトル場の特徴量ベクトルｘ_２ （ｔ）とする。
【００４１】
さらに、テンポラルテクスチャ特徴は、パターン画面の細かい動きやテクスチャを表現する画像特徴であり、パターンの生成・消滅を伴う非剛体の動きパターンについて、その性質を定量化することができる。それは、複数の画像フレームに含まれるパターンの動き成分の確率密度分布を計算し、その分布から時系列画像の局所的な時空間領域中に含まれる動きの多様性や、画像要素の配置の規則性などの画像特徴を計算している。ここでは、優勢な速度の大きさ、動きの一様性、隠蔽率、輪郭配置の方向性、輪郭配置の粗さ、輪郭のコントラストなどの量を要素とするベクトルを一定時間毎に計算し、特徴量ベクトルｘ_３ （ｔ）とする。
【００４２】
時系列画像記憶部２０１に含まれるデータについて得られた特徴量ベクトルは、画像特徴量記憶部２０３に記憶される。なお、その際、各特徴量ベクトル毎に、その分散、平均についての正規化を行い、また、検索問い合わせ用の予測対象時系列画像入力部１０２から入力された問い合わせデータ系列から得られた特徴量ベクトルについても、同じパラメータで正規化を行う。
【００４３】
画像特徴量記憶部２０３では、画像特徴抽出部２０２により計算された特徴量ベクトルを記憶し、検索部２０５、及び予測画像生成部２０６からの要求に応じて、要求された時刻に対応する特徴量ベクトルを出力する。
検索部２０４では、予測対象時系列画像入力部１０２を通して入力され、画像特徴量抽出部２０２により計算される時系列画像の特徴量を入力とし、これと画像特徴量記憶部２０３に記憶されている過去の時系列画像の特徴量のそれぞれと比較し、類似する時系列画像の検索を行い、特徴量予測部２０５へ出力を行う。
【００４４】
ここでは、その一例として以下の方法を示す。
いま、予測対象時系列画像として、予測対象時系列画像入力部１０２から時刻 Ｔに観測された画像を含むＬ時間ステップの画像系列｛Ｔ−Ｈ＋１，…，Ｔ−１，Ｔ｝を入力すると考える。ここでこの画像系列としてＴを表記する。そこで、時刻Ｔの画像系列と時系列画像記憶部２０１に記憶されている過去の時刻ｔの部分データ系列｛ｔ−Ｌ＋１，…，ｔ−１，ｔ｝との間について、各特徴量ベクトルｋに関する類似度
Ｄ（Ｔ，ｔ）＝｛Ｄ_ｋ （Ｔ，ｔ）｜ｋ＝１，２，３｝
を計算する方法を示す。本実施例では、２つの部分系列の間の時間伸縮を補正するためにＤＰマッチングを用いた方法を用い、次のように計算する。
【００４５】
【数５】

【００４６】
ただし、ηは定数とし、｜・｜はユークリッドノルムである。また、Ｖ_ｋ （Ｔ）は、問い合わせデータ系列のパターン変化の速さであり、
Ｖ_ｋ （Ｔ）＝｜ｘ_ｋ （Ｔ）−ｘ_ｋ （Ｔ−１）｜． （１４）
のように計算できる。このＶ_ｋ （Ｔ）を用いて、２つの時刻間のパターン変化の速さに依らない正規化された非類似度ｄ_ｋ （ｍ，ｎ）を計算し、それを問い合わせデータの時間ステップ幅Ｌについて、和が最小となるような非類似度Ｄ_ｋ （Ｔ，ｔ）を計算する。
【００４７】
次に、以上で定義した方法を用いて、問い合わせデータＴと、元データ系列記憶部２０１中の各時刻のデータとの間の非類似度を、それぞれの特徴量ベクトルｋについて計算する。そして、検索されるデータ系列の候補として、各特徴量ベクトルの非類似度について、利用者が与える閾値ξ＝｛ξ_１ ，ξ_２ ，ξ_３ ｝を満たすデータ系列の集合Ｓ_Ｔ を求める。
【００４８】
【数６】

【００４９】
ここで、Ｓ_Ｔ の各要素を検索候補と呼ぶ。
次に、検索候補集合Ｓ_Ｔ 中の各要素について、各特徴量ベクトルの非類似度を統合して、総合的な非類似度を求める。ここではその一例として、非類似度Ｄ_ｋ （Ｔ，ｔ）についての多項式の関数ｆとして、総合的な非類似度Ｙ_Ｔ （ｔ）を求める。
【００５０】
Ｙ_Ｔ （ｔ）＝ｆ（Ｄ（Ｔ，ｔ）） （１６）
関数ｆとしては、各非類似度Ｄ_ｋ （Ｔ，ｔ）の重み付き和等が使用できる。
次に、検索結果の画像系列の最大数Ｋと、検索結果の画像系列が満たしているべき総合的な非類似度の閾値ｅ_ＴＨを与えて、以下のように画像系列を選択する。
Ｃ_ｐ ＝｛ｑ_１ ，ｑ_２ ，…，ｑ_ｐ ｝ （１７）
但し、 Ｙ_Ｔ （ｑ_ｉ ）≦Ｙ_Ｔ （ｑ_ｉ＋１ ）
ｐ＝ｍａｘ ｛ｉ｜ｉ≦Ｋ，Ｙ’（ｑ_ｉ ）≦ｅ_ＴＨ ｝，
特徴量予測部２０５では、検索部２０４で検索された過去の時系列画像の特徴量から、予測対象の時刻における入力された画像の特徴量の予測を行う。
【００５１】
ここでは、その例として、次の２つの方法を説明する。なお、以下の方法以外の方法も使用可能である。
一つ目の方法は、検索されたデータベース中の時系列画像の予測時間分先の時刻Ｔ＋ηの画像特徴量を、検索された画像系列と予測対象の画像系列との類似度に比例して重み付けをして足し合わせたものを予測対象時刻の画像特徴量として計算する方法である。具体的には、前述の検索部２０４の説明において、検索された過去の時系列画像の集合Ｃ_ｐ の時刻に対応する画像特徴量｛ｘ_ｋ （ｑ_１ ），ｘ_ｋ （ｑ_２ ），…，ｘ_ｋ （ｑ_ｐ ）｝の予測対象時系列画像の時刻Ｔから予測時間ステップ先Ｔ＋ηの時刻における特徴量値
｛ｘ_ｋ （ｑ_１ ＋η），ｘ_ｋ （ｑ_２ ＋η），…，ｘ_ｋ （ｑ_ｐ ＋η）｝
を、重みを付けて平均するという方法により、時刻Ｔ＋ηにおける画像特徴量の予測値
【００５２】
【数７】

【００５３】
を次のように計算する。
【００５４】
【数８】

【００５５】
ここで、ｗ（ｑ_ｉ ）は、検索された各画像の重みであり、検索時における予測対象時系列画像と検索候補の時系列画像との間の非類似度の逆数に比例している。また、もう一つの方法としては、検索されたデータベース中の時系列画像の画像特徴量のベクトルの集合中の、任意の２つの画像特徴量の間のベクトルの差分が、予測時間先においてはどのように変化するかという写像関係を取得し、予測対象として入力された時系列画像の画像特徴量ベクトルｘ_ｋ （Ｔ）と最も類似する検索された画像の画像特徴量のベクトルｘ_ｋ （ｑ_１ ）との間の差分から、予測対象時刻先における差分ベクトルを計算し、対応する時刻での画像特徴量のベクトルｘ_ｋ （ｑ_１ ＋Ｔ）との和から、画像特徴量の予測値を計算する方法が利用できる。
【００５６】
具体的には、検索結果の画像系列に対応する特徴量ベクトルの集合
Ｘ＝｛ｘ_ｋ （ｑ_１ ），ｘ_ｋ （ｑ_２ ），…，ｘ_ｋ （ｑ_ｐ ）｝
中の２つのベクトルの組み合わせ（ｘ_ｋ （ｑ_ｉ ），ｘ_ｋ （ｑ_ｊ ））、（但し、｜ｑ_ｉ −ｑ_ｊ ｜＞△、△は定数）について、２つの特徴量ベクトル間の変位ベクトル
ｚ（ｑ_ｉ ，ｑ_ｊ ）＝ｘ_ｋ （ｑ_ｉ ）−ｘ_ｋ （ｑ_ｊ ） （２０）
と、２つの特徴ベクトルの予測対象時間先における変位ベクトル
ｚ’（ｑ_ｉ ，ｑ_ｊ ）＝ｘ_ｋ （ｑ_ｉ ＋η）−ｘ_ｋ （ｑ_ｊ ＋η） （２１）
との間の関係が、
ｚ’（ｑ_ｉ ，ｑ_ｊ ）＝Ｇ_ｚ （ｑ_ｉ ，ｑ_ｊ ） （２２）
のように局所線形変換Ｇにより表されると仮定とし、検索結果の集合Ｃ_ｐ 中の２つのベクトル間の組み合わせについて、
【００５７】
【数９】

【００５８】
が最小となるような行列Ｇを最小２乗法により計算する。
そして、得られた行列Ｇを用いて、特徴量の予測値
【００５９】
【数１０】

【００６０】
と計算できる。
このようにして各種の画像特徴量ｋ毎に対象となる予測時間Ｔ＋ηにおける画像特徴量の予測値
【００６１】
【数１１】

【００６２】
が得られ、これは、予測画像生成部２０６へと出力される。
予測画像生成部２０６では、特徴量予測部２０５で予測された画像特徴量に対応する画像を再構成することで予測画像を生成し、出力部３００へ出力を行う。その具体的な方法の一例と以下の方法を示す。但し、以下の方法以外の方法も利用可能である。
【００６３】
まず、画像特徴量の予測値
【００６４】
【数１２】

【００６５】
に類似する画像特徴量記憶部２０５に含まれる特徴量を選択する。その一つの方法として、前述の検索部２０４で検索され、特徴量予測部２０５において、画像特徴量の予測を求める際に用いた画像系列の集合を用いる方法がある。
これは、画像特徴量の予測値
【００６６】
【数１３】

【００６７】
と、データベース中の画像系列の集合
Ｘ＝｛ｘ_ｋ （ｑ_１ ＋η），ｘ_ｋ （ｑ_２ ＋η），…，ｘ_ｋ （ｑ_ｐ ＋η）｝
のそれぞれとの間の距離を計算し、その逆数として各画像特徴量に対応する時系列画像記憶部２０１に記憶されている画像の重みＷ_ｋ （ｑ_ｉ ＋η）を計算する。
【００６８】
【数１４】

【００６９】
次に、得られた重みＷ_ｋ （ｑ_ｉ ＋η）を用いて、各画像特徴量ｘ_ｋ （ｑ_ｉ ＋η）に対応する時系列画像記憶されている画像Ｉ（ｑ_ｉ ＋η）の各画素の濃淡値を加重平均し、予測画像
【００７０】
【数１５】

【００７１】
を再構成する。
【００７２】
【数１６】

【００７３】
得られた予測画像
【００７４】
【数１７】

【００７５】
は、出力部３００へ出力される。
以下で、気象レーダ画像を対象とした具体的な例を説明する。
図６は、本発明の一実施例の予測対象の時系列画像の例を説明するための図であり、予測対象として入力した時系列画像の始めと最後のフレームを示す。但し、単位時間ステップは１時間であり、問い合わせデータ系列（予測対象として入力した時系列画像）は３時間分のデータを含み、３６フレームで構成される。
【００７６】
画像特徴抽出部２０２の説明で述べた通り、特徴量ベクトルとして、メッシュ特徴、速度ベクトル場、テンポラルテクスチャ特徴の３種を用いた。また、時系列画像記憶部２０１には、およそ９０００時間分（１２万フレーム）の時系列画像を記憶した。
図７は、本発明の一実施例の図６の予測対象の時系列画像に対して得られた検索結果の画像系列の様子を説明するための図であり、図６について得られた類似画像系列を上位５位まで示す。予測対象である時系列画像には、線状のパターンが、その形状を若干崩しながら、陸地へ接近する様子が示されているが、検索された時系列画像にも、同じような傾向を持ったパターンが得られたことが確認できる。
【００７７】
図８は、本発明の一実施例の図６の予測対象の時系列画像に対して得られた２時間後から３時間後の累積雨量分布の予測と実際とを説明するための図である。同図（ａ）には、図６の最終フレームの時刻から、２時間先から３時間先の累積雨量分布の予測を示す。なお、ここでは、レーダ画像中の濃淡値と雨量値とは単調増加の関係にあるものとして変換を行った。または、同図（ｂ）には、後から観測された実際の雨量分布を示す。この例のパターンでは、始め線状で海上に存在したパターンが、南下しつつ形状を崩し、３時間後には広く陸地に広がり、また、海上には筋状のパターンが出現しているが、予測においても、同様のパターンが現れ、本発明による予測の有効性が分かる。
【００７８】
なお、本発明は、データを保存し、それらを自由に読み出し可能なハードディスクやそれに準ずる装置と、データを処理する際に必要なバックアップやそれに準ずる装置と、所望の情報を表示、出力するディスプレイやファイル装置などの装置を備え、それらを予め定められた手順に基づいて制御する中央演算装置などを備えたコンピュータやそれに準ずる装置を元に、上述した実施例での各部の処理の一部もしくは全部、ないしは、図４のフローチャートに示した手順、もしくは、アルゴリズムを記述した処理プログラムやそれに準ずる物を、当該コンピュータに対して与え、制御、実行させることで実現することが可能である。ここで、当該処理プログラムやそれに準ずるものを、コンピュータが実行する際に読み出して実行できるＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、光磁気ディスク（ＭＯ）あるいは、それらに準ずる記憶媒体に記録して、配布することが可能である。
【００７９】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【００８０】
【発明の効果】
上述のように、本発明では、予測対象の時系列画像を入力し、予めデータベースに蓄積されている過去の時系列画像の集合の中から予測対象の時系列画像に類似する画像を画像特徴量の類似性から検索し、さらに、検索された過去の時系列画像の画像特徴量の変化に基づいて、予測対象の時系列画像の未来の画像特徴量の予測を行い、最後に、予測された画像特徴量に類似するデータベース中の過去の画像を用いて、画像を再構成することで予測画像を生成している。
【００８１】
そのため、従来は、画像中のパターンの挙動のモデル化が困難である自然現象を観測したような複雑で、急激に画像パターンが変化するような時系列画像に対しても精度の高い予測画像を提供することができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の時系列画像即装置の構成図である。
【図４】本発明の時系列画像予測装置の処理部の動作を示すフローチャートである。
【図５】本発明の一実施例の時系列画像を対象データとする場合の特徴量ベクトルの例を説明するための図である。
【図６】本発明の一実施例の予測対象の時系列画像の例を説明するための図である。
【図７】本発明の一実施例の図６の予測対象の時系列画像に対して得られた検索結果の画像系列の様子を説明するための図である。
【図８】本発明の一実施例の図６の予測対象の時系列画像に対して得られた２時間後から３時間後の累積雨量分布の予測と実際とを説明するための図である。
【図９】従来の相互の相関手法の処理を示す図である。
【図１０】従来の相互相関手法により求められた相関値分布の一例を示す図である。
【図１１】従来の相関分布から二次補間により最大値をとる点ｋ’を算出する方法を示す図である。
【符号の説明】
１００ 入力部
１０１ 時系列画像入力手段、時系列画像入力部
１０２ 予測対象時系列画像入力手段、予測対象時系列画像入力部
２００ 処理部
２０１ 時系列画像記憶部
２０２ 画像特徴量抽出手段、画像特徴抽出部
２０３ 画像特徴量記憶手段、画像特徴量記憶部
２０４ 検索手段、検索部
２０５ 予測手段、特徴量予測部
２０６ 画像再構成手段、予測画像生成部
３００ 出力部

Claims (12)

1. 時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測方法において、
   時系列画像を入力する画像入力ステップと、
   前記時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップと、
   予測対象である予測対象時系列画像を入力する予測対象画像入力ステップと、
   前記予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップと、
   前記画像特徴量記憶手段に格納されている時系列画像と、計算された前記予測対象画像特徴量が類似する時系列画像を検索する画像検索ステップと、
   検索された前記画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する未来画像特徴量予測ステップと、
   予測された前記未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する予測画像出力ステップと、からなり、
   前記未来画像特徴量予測ステップにおいて、
   前記画像検索ステップで検索された前記画像特徴量記憶手段中の複数の時系列画像の対象予測時間分先の時刻の画像特徴量を、検索された該時系列画像と前記予測対象画像との非類似度に逆比例して重み付けして、足し合わせたものを、前記予測対象時刻の画像特徴量として計算する、ことを特徴とする時系列画像予測方法。
2. 前記予測画像出力ステップにおいて、前記未来の画像を再構成する際に、
   前記未来の画像特徴量ベクトルとの距離が小さい、前記画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる請求項１記載の時系列画像予測方法。
3. 時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測方法において、
   時系列画像を入力する画像入力ステップと、
   前記時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップと、
   予測対象である予測対象時系列画像を入力する予測対象画像入力ステップと、
   前記予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップと、
   前記画像特徴量記憶手段に格納されている時系列画像と、計算された前記予測対象画像特徴量が類似する時系列画像を検索する画像検索ステップと、
   検索された前記画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する未来画像特徴量予測ステップと、
   予測された前記未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する予測画像出力ステップと、からなり、
   前記未来画像特徴量予測ステップにおいて、
   前記画像検索ステップで検索された前記画像特徴量記憶手段中の前記時系列画像の画像特徴量ベクトルの集合中の２つの画像特徴量ベクトルの差分と、対象とする予測時間先における該２つの画像特徴量ベクトルとの間の差分の間の写像関係を表現する行列を計算し、
   予測対象として入力された前記予測対象時系列画像の画像特徴量ベクトルと、該予測対象時系列画像の画像特徴量ベクトルに最も類似する検索された画像の画像特徴量ベクトルとの間の差分を計算し、
   計算された差分ベクトルを前記行列を用いて写像し、予測対象時刻での差分ベクトルを 計算し、
   前記差分ベクトルと最も類似する検索された画像の予測対象時刻先における画像特徴量のベクトルとの和を計算し、画像特徴量の予測値を計算することを特徴とする時系列画像予測方法。
4. 前記予測画像出力ステップにおいて、前記未来の画像を再構成する際に、
   前記未来の画像特徴量ベクトルとの距離が小さい、前記画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる請求項３記載の時系列画像予測方法。
5. 時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測装置であって、
   時系列画像を入力する時系列画像入力手段と、
   前記時系列画像入力手段により入力された前記時系列画像の画像特徴量を抽出する画像特徴量抽出手段と、
   前記画像特徴量抽出手段により抽出された前記画像特徴量を蓄積する画像特徴量記憶手段と、
   予測対象である予測対象時系列画像を入力する予測対象時系列画像入力手段と、
   前記予測対象時系列画像入力手段により入力された前記予測対象時系列画像の予測対象画像特徴量を計算する画像特徴量計算手段と、
   前記画像特徴量記憶手段に格納されている時系列画像と、前記画像特徴量計算手段で計算された前記予測対象画像特徴量が類似する時系列画像を検索する検索手段と、
   前記検索手段で検索された前記画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測手段と、
   前記予測手段で予測された前記未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する画像再構成手段と、からなり、
   前記予測手段は、
   前記検索手段で検索された前記画像特徴量記憶手段中の複数の時系列画像の対象予測時間分先の時刻の画像特徴量を、検索された該時系列画像と前記予測対象画像との非類似度に逆比例して重み付けして、足し合わせたものを、前記予測対象時刻の画像特徴量として計算する、手段を有することを特徴とする時系列画像予測装置。
6. 前記画像再構成手段は、
   前記未来の画像特徴量ベクトルとの距離が小さい、前記画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる手段を有する請求項５記載の時系列画像予測装置。
7. 時系列画像を入力し、該時系列画像の未来の画像を予測する時系列画像予測装置であって、
   時系列画像を入力する時系列画像入力手段と、
   前記時系列画像入力手段により入力された前記時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出手段と、
   前記画像特徴量抽出手段により抽出された前記画像特徴量を蓄積する画像特徴量記憶手段と、
   予測対象である予測対象時系列画像を入力する予測対象時系列画像入力手段と、
   前記予測対象時系列画像入力手段により入力された前記予測対象時系列画像の予測対象画像特徴量を計算する画像特徴量計算手段と、
   前記画像特徴量記憶手段に格納されている時系列画像と、前記画像特徴量計算手段で計算された前記予測対象画像特徴量が類似する時系列画像を検索する検索手段と、
   前記検索手段で検索された前記画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測手段と、
   前記予測手段で予測された前記未来の画像特徴量から、未来の画像を再構成し、予測画像として出力する画像再構成手段と、からなり、
   前記予測手段は、
   前記検索手段で検索された前記画像特徴量記憶手段中の前記時系列画像の画像特徴量ベクトルの集合中の２つの画像特徴量ベクトルの差分と、対象とする予測時間先における該２つの画像特徴量ベクトルとの間の差分の間の写像関係を表現する行列を計算する手段と、
   予測対象として入力された前記予測対象時系列画像の画像特徴量ベクトルと、該予測対象時系列画像の画像特徴量ベクトルに最も類似する検索された画像の画像特徴量ベクトルとの間の差分を計算する手段と、
   計算された差分ベクトルを前記行列を用いて写像し、予測対象時刻での差分ベクトルを計算する手段と、
   前記差分ベクトルと最も類似する検索された画像の予測対象時刻先における画像特徴量のベクトルとの和を計算し、画像特徴量の予測値を計算する手段と、を有することを特徴とする時系列画像予測装置。
8. 前記画像再構成手段は、
   前記未来の画像特徴量ベクトルとの距離が小さい、前記画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせる手段を有する請求項７記載の時系列画像予測装置。
9. 時系列画像を入力し、該時系列画像の未来の画像を予測するプログラムを格納した時系列画像予測プログラムを格納した記憶媒体であって、
   コンピュータに、
   時系列画像を入力させる時系列画像入力ステップと、
   前記時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップと、
   予測対象である予測対象時系列画像を入力させる予測対象画像入力ステップと、
   前記予測対象時系列画像入力ステップにおいて入力された前記予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップと、
   前記画像特徴量記憶手段に格納されている時系列画像と、前記画像特徴量計算ステップで計算された前記予測対象画像特徴量が類似する時系列画像を検索する検索ステップと、
   前記検索ステップで検索された前記画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測ステップと、
   前記予測ステップで予測された前記未来の画像特徴量から、未来の画像を再構成し、予測画像として出力させる画像再構成ステップと、を実行させ、
   前記予測ステップにおいて、
   前記画像検索ステップで検索された前記画像特徴量記憶手段中の複数の時系列画像の対象予測時間分先の時刻の画像特徴量を、検索された該時系列画像と前記予測対象画像との非類似度に逆比例して重み付けして、足し合わせたものを、前記予測対象時刻の画像特徴量として計算するステップを実行させる、プログラムを格納したことを特徴とする時系列画像予測プログラムを格納した記憶媒体。
10. 前記画像再構成ステップにおいて、前記未来の画像を再構成する際に、
    前記未来の画像特徴量ベクトルとの距離が小さい、前記画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡 値を画素毎に足し合わせるステップを実行させる請求項９記載の時系列画像予測プログラムを格納した記憶媒体。
11. 時系列画像を入力し、該時系列画像の未来の画像を予測するプログラムを格納した時系列画像予測プログラムを格納した記憶媒体であって、
    コンピュータに、
    時系列画像を入力させる時系列画像入力ステップと、
    前記時系列画像の画像特徴量を抽出し、画像特徴量記憶手段に蓄積する画像特徴量抽出ステップと、
    予測対象である予測対象時系列画像を入力させる予測対象画像入力ステップと、
    前記予測対象時系列画像入力ステップにおいて入力された前記予測対象時系列画像の予測対象画像特徴量を計算する特徴量計算ステップと、
    前記画像像特徴量記憶手段に格納されている時系列画像と、前記画像特徴量計算ステップで計算された前記予測対象画像特徴量が類似する時系列画像を検索する検索ステップと、
    前記検索ステップで検索された前記画像特徴量記憶手段中の時系列画像の画像特徴量に基づいて、予測対象として入力された予測対象時系列画像の未来の画像特徴量を予測する予測ステップと、
    前記予測ステップで予測された前記未来の画像特徴量から、未来の画像を再構成し、予測画像として出力させる画像再構成ステップと、を実行させ、
    前記予測ステップにおいて、
    前記画像検索ステップで検索された前記画像特徴量記憶手段中の前記時系列画像の画像特徴量ベクトルの集合中の２つの画像特徴量ベクトルの差分と、対象とする予測時間先における該２つの画像特徴量ベクトルとの間の差分の間の写像関係を表現する行列を計算ステップと、
    予測対象として入力された前記予測対象時系列画像の画像特徴量ベクトルと、該予測対象時系列画像の画像特徴量ベクトルに最も類似する検索された画像の画像特徴量ベクトルとの間の差分を計算するステップと、
    計算された差分ベクトルを前記行列を用いて写像し、予測対象時刻での差分ベクトルを計算するステップと、
    前記差分ベクトルと最も類似する検索された画像の予測対象時刻先における画像特徴量のベクトルとの和を計算し、画像特徴量の予測値を計算するステップと、を実行させることを特徴とする時系列画像予測プログラムを格納した記憶媒体。
12. 前記画像再構成ステップにおいて、前記未来の画像を再構成する際に、
    前記未来の画像特徴量ベクトルとの距離が小さい、前記画像特徴量記憶手段に存在する画像の画像特徴量を検索し、該距離の逆数に比例した重み付けで、検索された画像の濃淡値を画素毎に足し合わせるステップを実行させる請求項１１記載の時系列画像予測プログラムを格納した記憶媒体。

Images