JPH11328407A

JPH11328407A - 時系列画像予測方法、装置、および時系列画像予測プログラムを記録した記録媒体

Info

Publication number: JPH11328407A
Application number: JP10127830A
Authority: JP
Inventors: Kazuhiro Otsuka; 和弘大塚; Tsutomu Horikoshi; 力堀越; Satoshi Suzuki; 智鈴木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-05-11
Filing date: 1998-05-11
Publication date: 1999-11-30

Abstract

(57)【要約】【課題】より長い時間先までの予測、および時間的に
急激に画像パターンが変化するような時系列画像に対し
てより精度の高い予測画像を得る。【解決手段】学習用の画像系列を入力し（ステップ４
０１）、その学習用の画像系列に対し特徴量の系列を計
算し（ステップ４０２）、学習用の画像系列に対する固
有空間を構築し（ステップ４０３）、学習用の画像系列
に対応する固有空間上での軌跡を計算する（ステップ４
０４）。予測の対象となる入力キー画像系列を入力し、
対応する固有空間上での軌跡を計算し（ステップ４０
５）、固有空間上において、入力キー画像系列の軌跡と
類似する学習用の画像系列の軌跡を検索し、その軌跡上
で最もよく合致する位置を検出し（ステップ４０６）、
検索された学習用の画像系列の位置から時間的に先の画
像系列を取りだし、予測画像を合成し（ステップ４０
６）、予測画像系列を出力する（ステップ４０７）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラ、気
象レーダ装置、リモートセンシング等により得られた時
系列像を入力し、入力された時系列画像の未来の画像を
予測する技術に関する。

【０００２】

【従来の技術】時系列画像の従来の予測方法として、ま
ず、直前、数フレームから画像中の運動物体が存在する
領域を抽出し、その動き情報（速度ベクトル）を推定
し、この動き情報を用いて、抽出した運動物体の領域を
画像上で移動させることによりおこなう方法があった。

【０００３】ここでは、時系列画像の予測技術の典型的
な応用である短時間の降水量分布の予測の例をとって考
えると、文献［１］遊馬芳雄、菊池勝弘、今久“簡易気
象レーダーによるエコーの移動速度について”、北海道
大学地球物理学研究報告、Ｖｏｌ．４４，Ｏｃｔｏｂｅ
ｒ，１９８４，ｐｐ．２３−３４．や文献［２］遊馬芳
雄、菊池勝弘、今久：“簡易気象レーダーによる降雪の
短時間予測実験（その１）”、北海道大学地球物理学研
究報告、Ｖｏｌ．４４，Ｏｃｔｏｂｅｒ，１９８４，ｐ
ｐ．３５−５１．にある相互相関法が広く知られてい
る。

【０００４】上記文献は［１］、［２］の手法では、一
定時間毎に観測され時系列をなす気象画像から、その真
近に観測された２つの時刻の気象画像を用い、一方をず
らして、画像間の相互相関値を計算し、その最大となる
ずれ幅から、画像中のパターンの移動速度を推定してい
る。さらに、推定された移動速度を用いてパターンを外
挿させることにより未来の画像中のパターンの分布の予
測を提供している。気象レーダ装置の反射強度を気象画
像として用いる場合、画像中のパターンはエコーパター
ンと呼ばれ、その画像中での分布は降水強度の空間的な
分布に対応し、また画像中の各点での濃淡値は降水強度
に対応している。

【０００５】具体的には、図１２に示すように、時間間
隔△ｔをおいて計測された２枚の気象レーダ画像Ｒ₁、
Ｒ₂から、次式により相互相関値を求める。ただし、気
象レーダ画像Ｒ₁，Ｒ₂上の格子点（ｉ，ｊ）における画
像の濃度値を各々Ｒ₁（ｉ，ｊ），Ｒ₂（ｉ，ｊ、）と
し、相関をとる領域を（Ａ，Ｂ）、相関値を計算する際
の２枚の気象レーダ画像Ｒ₁，Ｒ₂のズレを（ｋ，ｌ）と
する（図１２において斜線は相関値をとる領域を示し、
中央の太線の矢印はエコーパターンの移動方向を表
す）。

【０００６】

【数１】上述の計算によって求められた相互相関値は、例えば、
図１３に示すようになる。そこで、格子点上にある相互
相関値の最大値をとる点（Ｋ，Ｌ）での相互相関値
σ_K、_L、および、その近傍の４点の相互相関値

【０００７】

【外１】に対して二次関数による補間を行ない、補間の結果相互
相関値が最大となる点（格子点とは限らない）とのずれ
（ｋ′，ｌ′）を次式により求める（図１４。但し、Ｘ
成分のみを示す）。

【０００８】

【数２】以上より、２枚の気象レーダ画像Ｒ₁，Ｒ₂は、（Ｋ＋
ｋ′，Ｌ＋ｌ′）だけずらした場合に相互相関値が最大
となる。このことから、エコーパターンの移動ベクトル
は次の式（６）、式（７）より求めることができる。こ
の移動ベクトルは、降水域の移動方向および速度を表し
ている。ただし、Ｖ_x、Ｖ_yは、それぞれ移動量のｘ成
分、ｙ成分を示す。

【０００９】

【数３】次に、ある時刻に計測された気象レーダ画像中のエコー
パターンを、式（６）、（７）により求められる移動ベ
クトルを用いて外挿することで、計測時刻以後のレーダ
画像を予測する。

【００１０】気象レーダ画像Ｉ（ｉ，ｊ）を入力画像と
し、第１の手段を用いて算出した移動ベクトルから入力
画像Ｉ（ｉ、ｊ）が計測された時刻から△Ｔ時間後の予
測画像Ｊ（ｉ、ｊ）を求める。予測画像Ｊ（ｉ、ｊ）は
水平方向の移動量Ｓ_x、垂直方向の移動量Ｓ_y

【００１１】

【数４】に基づき、入力画像Ｉ（ｉ、ｊ）を平行移動したものと
定義する。しかし、この移動量は整数値とは限らず、移
動した画像の格子点からのずれを

【００１２】

【数５】と表すと、予測画像Ｊ（ｉ，ｊ）は、

【００１３】

【数６】と定義する。

【００１４】ただし、入力画像からの対応がない予測画
像Ｊの格子点、つまり平行移動の結果として予測画像に
空いた隙間については０の値をとるものとする。

【００１５】なお、Ｖ_x＞０、かつＶ_y＞０以外の場合に
ついても同様にして予測画像を求めることができる。

【００１６】

【発明が解決しようとする課題】しかしながら、従来の
時系列画像予測方法では、直前、数フレーム内のパター
ンの動きおよび変化の傾向がこの先も継続するという仮
定に基づいていたため、この仮定が成り立つ短い時間内
でのみ妥当な予測画像ができ、また、観測していた画像
系列内に存在しない物体の出現の予測など、時間的に急
激に画像パターンが変化する場合には予測ができなかっ
た。

【００１７】そこで、本発明の目的は、より長い時間先
までの予測、および時間的に急激に画像パターンが変化
するような時系列画像に対してより精度の高い予測画像
が得られる時系列画像予測方法および装置を提供するこ
とである。

【００１８】

【課題を解決するための手段】本発明の時系列画像予測
方法は、予測対象の時系列をなす画像系列を入力するス
テップを、前もって蓄積された過去の時系列画像の中か
ら、入力された画像系列に類似する画像系列を検索する
ステップと、検索された画像系列の先の時刻の画像系列
を用いて予測画像を得るステップを有する。

【００１９】本発明の他の時系列画像予測方法は、時系
列をなす画像系列の集合を入力するステップと、該入力
された画像系列について画像特徴量の系列を計算するス
テップと、該画像特徴量の系列から固有空間を計算する
ステップと、該入力された画像系列に対応する画像特徴
量の系列を前記固有空間上に投影したときの軌跡を計算
するステップと、予測対象の時系列をなす画像系列を入
力する手順と、該予測対象の画像系列を固有空間上に投
影したときの軌跡を計算するステップと、該過去の画像
系列に対応する固有空間上の軌跡の集合から、該予測対
象の画像系列に対応する固有空間上の軌跡に類似する軌
跡を検索するステップと、該検索された軌跡上の位置か
ら時間的に先の部分に対応する画像系列を抽出し、この
系列を用いて予測画像系列を出力するステップとを有す
る。

【００２０】本発明の時系列画像予測装置は、予測対象
の時系列をなす画像系列を入力する手段と、前もって蓄
積された過去の時系列画像の中から、入力された画像系
列に類似する画像系列を検索する手段と、検索された画
像系列の先の時刻の画像系列を用いて予測画像を得る手
段を有する。

【００２１】本発明の他の時系列画像予測装置は、時系
列をなす過去の画像系列の集合を入力する手段と、該入
力された画像系列について画像特徴量の系列を計算する
手段と、該画像特徴量の系列から固有空間を計算する手
段と、該入力された画像系列に対応する画像特徴量の手
段を前記固有空間上に投影したときの軌跡を計算する手
段と、予測対象の時系列をなす画像系列を入力する手段
と、該予測対象の画像系列を固有空間上に投影したとき
の軌跡を計算する手段と、該過去の画像系列に対応する
固有空間上の軌跡の集合から、該予測対象の画像系列に
対応する固有空間上の軌跡に類似する軌跡を検索する手
段と、該検索された軌跡上の位置から時間的に先の部分
に対応する画像系列を抽出し、この系列を用いて予測画
像系列を出力する手段とを有する。

【００２２】降水の空間パターンなどを含む時系列画像
は、複雑にパターンが変化し、パターンの背後にある現
象のモデルや原理が不明確であり、時系列画像のみから
は正確にモデルのパラメータの推定が困難である。この
ような対象に対しては、直前の時系列画像の情報から予
測を行う従来の手法では十分な対応できなかった。

【００２３】これに対して、本発明では、気象現象のよ
うに類似したパターンが繰り返し現れるというパターン
の周期性を利用して、前もって蓄積された過去の時系列
画像の中から、入力された画像系列に類似する画像系列
を検索し、その時間発展を用いて予測画像を得る。その
ため、パターン変化が複雑で予測が難しい対象に対し
て、より精度の高い予測を行うことが可能となる。

【００２４】さらに、本発明では、画像系列を次元数の
小さい固有空間中の軌跡として表現しているため、検索
の計算コストを低く抑えることができる。また、時系列
画像を軌跡（曲線）として表現することにより、画像系
列間の類似度が、固有空間中での軌跡間の距離として簡
易に計算することができる。また、固有空間中におい
て、画像系列は近似画像の系列として表現されるため
に、画像パターンの顕著な特徴を重点的に考慮すること
ができ、ノイズなどの影響によるパターンのばらつきを
許容することができる。

【００２５】本発明では、画像平面をメッシュ状に区切
り、各メッシュ内での濃淡値の平均を特徴量としてい
る。そのため、画像パターンの細かなテクスチャーの違
いによらず、パターンの存在する位置や大まかな形の特
徴を捉えることが可能となる。また、時系列画像の速度
ベクトル場も特徴として使用することができ、画像中の
移動物体の移動方向、速度の大きさの特徴を捉えること
ができる。

【００２６】さらに、気象予報士は長年の経験により、
「このパターンが現れると、次にはこういうパターンが
来るだろう」というパターン変化の規則を経験則として
獲得することができるが、本発明では、過去の去の時系
列画像の中から現況に類似する画像系列を検索し、その
時間発展を予測として用いており、気象予報士の経験則
を機械的に実現するものと考えることができる。よっ
て、学習用の画像系列の観測期間を長くすればするほ
ど、より類似するパターンが検索できる可能性が高ま
り、予測画像の精度も向上する。

【００２７】

【発明の実施の形態】次に、本発明の実施の形態を図面
を参照して詳細に説明する。

【００２８】図１を参照すると、本発明の一実施形態の
時系列画像予測装置は、入力部１００と処理部２００と
出力部３００で構成されている。

【００２９】入力部１００は、時系列をなす画像系列を
得るための撮像装置１０１と、学習用の画像系列を入力
する学習画像系列入力部１０２と、予測対象の画像系列
を入力する入力キー画像系列入力部１０３からなる。

【００３０】処理部２００は、学習画像系列入力部１０
２から送られた学習用の画像系列を蓄積する学習画像系
列記憶部２０１と、画像系列から特徴量を計算する画像
特徴計算部２０２と、学習画像の系列から固有空間を求
める固有空間構築部２０３と、固有空間を張る基底ベク
トルを記憶する固有空間基底記憶部２０４と、画像系列
を固有空間上の軌跡として得るための固有空間投影部２
０５と、学習用の画像系列から得られた固有空間上での
軌跡を記憶する学習画像系列軌跡記憶部２０６と、予測
対象の画像系列から得られる固有空間上での軌跡と、類
似する学習用の画像系列の軌跡を検索する検索部２０７
と、検索された学習用の画像系列を学習画像系列記憶部
２０１から取りだし、予測画像の系列をつくる予測画像
系列合成部２０８からなる。

【００３１】出力部３００は、処理部２００から出力さ
れた予測画像の系列をディスプレイ装置やファィル装置
などに出力する。

【００３２】図２は図１の実施形態の処理の流れを示す
フローチャートである。

【００３３】学習用の画像系列を入力し（ステップ４０
１）、その学習用の画像系列に対し特徴量の系列を計算
し（ステップ４０２）、学習用の画像系列に対する固有
空間を構築し（ステップ４０３）、学習用の画像系列に
対応する固有空間上での軌跡を計算し（ステップ４０
４）、予測の対象となる入力キー画像系列を入力し、対
応する固有空間上での軌跡を計算し（ステップ４０
５）、固有空間上において、入力キー画像系列の軌跡と
類似する学習用の画像系列の軌跡を検索し、その軌跡上
で最もよく合致する位置を検出し（ステップ４０６）、
検索された学習用の画像系列の位置から時間的に先の画
像系列を取りだし、予測画像を合成し（ステップ４０
６）、予測画像系列を出力する（ステップ４０７）。

【００３４】以下では、処理部２００のを処理例を中心
に具体的に説明する。

【００３５】学習画像系列記憶部２０１は、学習画像系
列入力部１０２において入力された時系列をなす画像系
列を蓄積する。

【００３６】この画像系列としては時間的に切目なく継
続しているもの、および任意の区間連続している画像系
列の集合を入力、蓄積することができる。ここで、蓄積
された画像系列が本発明の予測の基盤となるため、予測
対象の画像系列と、場所などの撮像の条件が一致してい
る必要がある。

【００３７】画像特徴計算部２０２は、学習画像系列記
憶部２０１に蓄積されている学習用の画像系列、および
入力キー画像入力部１０３で入力された予測対象の画像
系列に対して、ある時刻毎に一組の画像特徴を計算し、
１次元ベクトルとして出力する。

【００３８】ここでは、画像特徴の例として、画像平面
をメッシュ状に区切り、各メッシュに含まれる画像の濃
淡値の平均をある時間間隔毎に計算し、各時刻毎に１次
元の特徴量ベクトルとして求める方法、および各時刻に
おける速度ベクトル場を求め、各時刻毎にこれを一列に
並べて特徴量ベクトルとして求める方法のいずれか、ま
たは両方を用いて特徴量を得る方法を示す。

【００３９】前者の特徴の場合、ある時刻ｔにおいて図
３の例のように得られた画像Ｉ（ｉ，ｊ，ｔ）を、図４
のようにＮ_x×Ｎ_yのメッシュに区切り、各メッシュ内の
画素の濃淡値Ｉ（ｉ，ｊ，ｔ）の平均値をそのメッシュ
の値Ｄｔ（ｘ、ｙ）とする。特徴量としては各メッシュ
の値をラスタースキャンし一次元ベクトルとして

【００４０】

【外２】と表す。

【００４１】後者の速度場の特徴は、時刻ｔの最新の画
像Ｉ（ｉ，ｊ，ｔ）と、１〜数フレーム前の時刻の画像
Ｉ（ｉ，ｊ，ｔ−ａ）を図５のようにメッシュに区切
り、その各部分画像について従来の技術において説明し
た画像間の相互相関係数を用いたマッチングを行ない、
相互相関係数が最大になるずれ幅からパターンの移動速
度を得る方法により、各メッシュ毎の速度成分として計
算できる。その結果、気象画像の速度場

【００４２】

【外３】を求めることができる。これもまた、１次元ベクトルと
して

【００４３】

【外４】と表現する。

【００４４】さらに、特徴量としてパターンの面積やレ
ーダエコーの平均的な強度値、パターン表面のテクスチ
ャー特徴なども利用可能である。その他、気温、気圧、
風速、風向などの物理量も特徴量として利用することが
できる。

【００４５】このようにして得られた幾つかの特徴量を
１時刻当り１次元の特徴ベクトルに統合する。時刻ｔに
おける気象画像の特徴量は、

【００４６】

【外５】のように表現できる。

【００４７】固有空間構築部２０３は、画像特徴計算部
２０２を通して得られた学習用の画像系列の特徴量から
固有空間を求め、その固有空間を張る基底ベクトルを固
有空間基底記憶部２０４に記憶させる。

【００４８】画像特徴計算部２０２により得られた学習
用の画像系列の特徴量は１時刻当り１組の特徴ベクトル

【００４９】

【外６】として表されている。ここで、全ての学習用の画像系列
の特徴量ベクトルの平均

【００５０】

【外７】を

【００５１】

【数７】のように計算する。ただし、Ｎは、全特徴量ベクトルの
個数である。

【００５２】次に、全ての学習用の画像系列の特徴量ベ
クトル

【００５３】

【外８】から平均ベクトル

【００５４】

【外９】を引き、一つの行列

【００５５】

【外１０】にまとめる。

【００５６】

【数８】次に、学習用の画像系列の特徴量集合の共通分散行列

【００５７】

【外１１】を

【００５８】

【数９】と計算し、学習用の画像系列に対する固有方程式

【００５９】

【数１０】を解き、ｋ個の大きい固有値

【００６０】

【外１２】に対応する固有ベクトル

【００６１】

【外１３】を基底ベクトルした固有空間を得る。この基底ベクトル

【００６２】

【外１４】は固有空間基底記憶部２０４に記憶させる。

【００６３】固有空間投影部２０５は、学習画像系列記
憶部２０１に蓄積されている学習用の画像系列、および
検索キー画像入力部１０３で入力された予測対象の画像
系列に対応する特徴量の系列を入力し、それらの画像系
列に対して、固有空間基底記憶部２０４に蓄積されてい
る基底ベクトルが張る固有空間中に投影して得られる軌
跡を計算する。入力の画像系列の特徴量が、学習画像系
列記憶部２０１に蓄積されている学習画像系列から得ら
れたものの場合、対応する固有空間中の軌跡は、学習画
像系列軌跡記憶部２０６に記憶される。また、入力の画
像系列の特徴量が、入力キー画像入力部１０３で入力さ
れる予測対象の画像系列から得られたものの場合には、
対応する固有空間中の軌跡は、検索部２０７へと出力さ
れる。

【００６４】入力される特徴量ベクトルの系列

【００６５】

【外１５】に対応する固有空間上での点

【００６６】

【外１６】は、

【００６７】

【数１１】のように得られ、画像系列は固有空間上での点列からな
る軌跡として表現される。

【００６８】予測を行う前（学習段階）には、学習画像
系列記憶部２０１に蓄積されている学習用の画像系列の
軌跡を求め、学習画像系列軌跡記憶部２０６に記憶させ
る。この軌跡を学習画像軌跡と呼ぶ。

【００６９】また、予測の段階では、検索キー画像入力
部１０３で入力された予測対象の画像系列に対応する固
有空間上での軌跡を求め、検索部２０７へと出力する。

【００７０】検索部２０７は、固有空間投影部２０５に
より得られた予測対象の画像系列に対応する固有空間上
での軌跡を入力し、学習画像系列軌跡記憶部２０６に記
憶されている学習用の画像系列に対応する固有空間上の
軌跡の中から類似するものを検索し、その軌跡上の位置
を検出する。

【００７１】ここでは、その方法の一例として以下の方
法を示す。入力キー画像入力部１０３で入力された予測
対象の画像系列に対応する固有空間上での軌跡の点列を

【００７２】

【外１７】と表す。ただし、Ｍは予測対象の画像系列について特徴
量を計算した時刻の個数である。この点列を入力画像軌
跡と呼ぶ。ここで、入力画像軌跡と学習画像軌跡

【００７３】

【外１８】との間の距離Ｄ（τ）を次のように計算する。

【００７４】

【数１２】ただし、τは学習用の画像系列の時刻に対応している。
距離Ｄ（τ）が小さければ小さいほど、入力画像軌跡と
学習用の部分画像系列が類似していることを意味する。

【００７５】そこで、このような距離Ｄ（τ）を学習用
の画像系列の全時刻について計算し、距離Ｄ（τ）が小
さい部分画像系列を１つまたは複数個抽出する。その部
分画像系列に対するτをそれぞれｒ₁、ｒ₂、・・・、ｒ
_Rと表す。

【００７６】

【数１３】ただし、Ｒは抽出された部分画像系列の個数を表す。ま
た、抽出されるそれぞれの部分画像系列は、互いに重な
りがないように、ある時間幅離れていることを条件とす
る。

【００７７】予測画像合成部２０８では、検索部２０７
において検索された学習用の時系列画像に対応する複数
の軌跡について、予測対象の時系列画像に対応する固有
空間上の軌跡と合致する部分から、時間的に先の部分を
取りだし、この部分画像系列について、各予測先行時刻
ごとに画像を合成したものを予測画像として、出力部３
００へ出力する。

【００７８】例えば、検索部２０７において検索され
た、入力画像軌跡に最もよく類似する一つの学習画像軌
跡

【００７９】

【外１９】について、この先の時間ｒ＋Ｍ＋１、ｒ＋Ｍ＋２、・・
・に対応する学習用の画像系列を取りだし、これを予測
画像Ｊ（ｎ）として出力する。

【００８０】

【数１４】ただし、ｎは予測先行時間を意味する。

【００８１】また、検索部２０７において検索された、
複数の学習画像軌跡

【００８２】

【外２０】について、それぞれ先の時間に対応する学習用の画像系
列を取りだし、それらを合成して予測画像Ｊ（ｎ）を得
る。その合成の方法の一例として、次式で表わされる画
像濃度の平均値を用いることができる。

【００８３】

【数１５】例えば、濃淡値が降水量に対応している場合、予測画像
は予測先行時間ｎの未来における降水量の期待値に相当
する。

【００８４】このように得られた予測画像系列Ｊ
（１）、Ｊ（２）、・・・は出力部３００に出力され
る。

【００８５】以下、具体的な例を説明する。対象とする
画像が気象レーダ画像の場合の例を示す。いま、特徴量
として、前述したような画像平面をメッシュ状に区切っ
た時の各メッシュの平均画像濃淡値（これをメッシュ特
徴と呼ぶ）、および各メッシュ上での速度ベクトルを用
いる。例えば、図６（ａ）のような４時間分の画像系列
を入力すると、図７（ａ）のようにメッシュ特徴および
速度ベクトル場が得られる。

【００８６】次に、学習用の画像系列を、約１０００時
間分の気象レーダ画像として、１時間毎に１組の特徴量
を計算した。この特徴量の系列から固有空間を求めた。
図８は、固有値の大きい方から３つの固有ベクトルをメ
ッシュ特徴および速度ベクトル場として表したものであ
る。実際には、１５次元の固有ベクトルを基底とした。

【００８７】続いて、図６（ｂ）のような画像系列を予
測対象の画像系列として入力し、固有空間上で類似する
学習画像軌跡を検索した。図９に、固有空間上において
入力画像の系列に対応する軌跡の様子を示す。ただし、
図９は表示のために３次元に射影した固有空間の様子を
示す。また、図９には、最も類似する軌跡として検索さ
れた学習画像軌跡を合わせて示す。さらに、図６（ｂ）
に、この学習画像軌跡に対応する画像系列を示す。図６
（ａ）と比較しても類似する画像系列が得られたことが
わかる。さらに、図１０には、３時間後を予測した予測
画像系列（図１０（ｂ））と、実際に観測された画像系
列（図１０（ａ））を示す。よく類似した予測画像が得
られていることがわかる。

【００８８】図１１を参照すると、本発明の他の実施形
態の時系列画像予測装置は入力装置５０１と記憶装置５
０２、５０３、５０４と出力装置５０５と記録媒体５０
６とデータ処理装置５０７で構成されている。

【００８９】入力装置５０１は時系列をなす画像系列お
よび予測対象の時系列の画像を入力する、モデム等の装
置である。記憶装置５０２、５０３、５０４はそれぞれ
図１中の学習画像系列記憶部２０１、固有空間基底記憶
部２０４、学習画像系列軌跡記憶部２０６に相当する。
出力装置５０５は、図１中の出力部３００に相当し、フ
ァイル装置やディスプレイ装置である。記録媒体５０６
は、図１中の学習画像系列入力部１０２、入力キー画像
系列入力部１０３、画像特徴計算部２０２、固有空間構
築部２０３、固有空間投影部２０５、検索部２０７、予
測画像系列合成部２０８の各処理からなる時系列画像予
測プログラムを記録した、ＣＤ−ＲＯＭ、フロッピーデ
ィスク（ＦＤ）、光磁気ディスク（ＭＯ）、半導体メモ
リ等の記録媒体である。データ処理装置５０７は記憶媒
体５０６から時系列画像予測プログラムを読み込んで、
実行する中央処理装置（ＣＰＵ）である。

【００９０】

【発明の効果】以上説明したように、本発明は、予測対
象の時系列をなす画像系列と類似する過去の画像系列を
検索し、検索された過去の画像系列の先の時刻の画像系
列から予測画像を得ることで、より長い時間先までの予
測、および時間的に急激に画像パターンが変化するよう
な画像系列に対してもより精度の高い予測画像の系列を
提供することが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態の時系列画像予測装置の構
成図である。

【図２】図１の装置の処理の流れを示すフローチャート
である。

【図３】図１の実施形態における入力気象画像の例を示
す図である。

【図４】図１の実施形態で用いたパターンの空間分布特
徴を説明する図である。

【図５】図１の実施形態で用いたパターンの速度場を説
明する図である。

【図６】本発明の具体例で用いた入力画像系列（図６
（ａ））と、検索された画像系列の様子を示す図（図６
（ｂ））である。

【図７】本発明の具体例で入力した入力画像系列に対す
るメッシュ特徴および速度場を示し（図７（ａ））、こ
の入力画像系列に対して検索された画像系列に対する特
徴（図７（ｂ））を示した図である。

【図８】本発明の具体例で得た固有ベクトルをメッシュ
特徴および速度場の形式で表示した図である。

【図９】本発明の具体例で得た固有空間上における入力
画像系列に対応する軌跡と学習用の画像系列の中から検
索された軌跡の様子を示した図である。

【図１０】本発明の具体例で得た入力画像系列に対する
３時間後の予測画像（図１０（ｂ））と、その時点で実
際に観測された画像（図１０（ａ））を説明する図であ
る。

【図１１】本発明の他の実施形態の時系列画像予測装置
の構成図である。

【図１２】相互相関手法の処理の様子を示す図である。

【図１３】相互相関手法により求められた相関値分布の
一例を示す図である。

【図１４】相関値分布から二次補間により最大値をとる
点ｋ′を算出する方法を示す図である。

【符号の説明】

１００入力部１０１撮像装置１０２学習画像系列入力部１０３入力キー画像系列入力部２００処理部２０１学習画像系列記憶部２０２画像特徴計算部２０３固有空間構築部２０４固有空間基底記憶部２０５固有空間投影部２０６学習画像系列軌跡記憶部２０７検索部２０８予測画像系列合成部３００出力部４０１〜４０８ステップ５０１入力装置５０２、５０３、５０４記憶装置５０５出力装置５０６記録媒体５０７データ処理装置

Claims

【特許請求の範囲】

【請求項１】予測対象の時系列をなす画像系列を入力
するステップと、前もって蓄積された過去の時系列画像
の中から、入力された画像系列に類似する画像系列を検
索するステップと、検索された画像系列の先の時刻の画
像系列を用いて予測画像を得るステップを有する時系列
画像予測方法。
【請求項２】時系列をなす画像系列の集合を入力する
ステップと、該入力された画像系列について画像特徴量
の系列を計算するステップと、該画像特徴量の系列から
固有空間を計算するステップと、該入力された画像系列
に対応する画像特徴量の系列を前記固有空間上に投影し
たときの軌跡を計算するステップと、予測対象の時系列
をなす画像系列を入力するステップと、該予測対象の画
像系列を前記固有空間上に投影したときの軌跡を計算す
るステップと、前記過去の画像系列に対応する前記固有
空間上の軌跡の集合から、前記予測対象の画像系列に対
応する前記固有空間上の軌跡に類似する軌跡を検索する
ステップと、該検索された軌跡上の位置から時間的に先
の部分に対応する画像系列を抽出し、この系列を用いて
予測画像系列を出力するステップを有する時系列画像予
測方法。
【請求項３】前記画像系列の画像特徴量を計算するス
テップが、画像平面をメッシュ状に区切り、各メッシュ
に含まれる画像の濃淡値の平均をある時間間隔毎に計算
し、各時刻毎に１次元の特徴量ベクトルとして前記画像
特徴量を求めるステップを含む請求項２記載の時系列画
像予測方法。
【請求項４】前記時系列画像の画像特徴量を計算する
ステップが、各時刻における速度ベクトル場を求め、各
時刻毎にこれを一列に並べて１次元の特徴量ベクトルと
して前記画像特徴量を求めるステップを含む請求項２記
載の時系列画像予測方法。
【請求項５】前記固有空間を計算するステップが、画
像系列に対してある時間間隔毎に得られる１次元ベクト
ルの特徴量を全画像系列についてまとめて行列をつく
り、この行列から全画像系列の特徴量のベクトルの平均
値を引いた行列について共分散行列を求め、この行列の
固有値問題を解いて得られる大きい固有値に対応する固
有ベクトルを基底とする固有空間を得るステップを含む
請求項２記載の時系列画像予測方法。
【請求項６】前記画像系列に対応する画像特徴量の系
列を固有空間上に投影したときの軌跡を計算するステッ
プが、画像系列に対してある時間間隔毎に得られる１次
元ベクトルの特徴量をそれぞれ順番に固有空間上の点に
変換し、その点列を画像系列に対する固有空間上の軌跡
として求めるステップを含む請求項２記載の時系列画像
予測方法。
【請求項７】前記過去の画像系列に対応する固有空間
上の軌跡の集合から、予測対象の画像系列に対応する固
有空間上の軌跡に類似する軌跡を検索するステップが、
それぞれの軌跡について、各時刻の特徴量に対応する軌
跡上の点列の間の距離を、各々の点の時間順序を守り総
和し、この距離の総和が最小となる過去の画像系列に対
応する軌跡の部分とその位置を求めるステップを含む請
求項２記載の時系列画像予測方法。
【請求項８】前記検索された過去の画像系列に対応す
る軌跡上の位置から時間的に先の部分に対応する画像系
列を抽出し、この系列を用いて予測画像系列を出力する
ステップが、検索された一つまたは複数の画像系列のそ
れぞれについて、予測対象の画像系列に対応する固有空
間上の軌跡と合致する部分から、時間的に先の部分を取
りだし、この部分に対応する過去の画像系列の部分を予
測画像系列として出力するステップを含む請求項２記載
の時系列画像予測方法。
【請求項９】前記検索された過去の画像系列に対応す
る軌跡上の位置から時間的に先の部分に対応する画像系
列を抽出し、この系列を用いて予測画像系列を出力する
ステップが、検索された一つまたは複数の画像系列のそ
れぞれについて、予測対象の画像系列に対応する固有空
間上の軌跡と合致する部分から、時間的に先の部分を取
りだし、この部分に対応する過去の画像系列の部分を合
成して予測画像系列を求めるステップを含む請求項２記
載の時系列画像予測方法。
【請求項１０】予測対象の時系列をなす画像系列を入
力する手段と、前もって蓄積された過去の時系列画像の
中から、入力された画像系列に類似する画像系列を検索
する手段と、検索された画像系列の先の時刻の画像系列
を用いて予測画像を得る手段を有する時系列画像予測装
置。
【請求項１１】時系列をなす画像系列の集合を入力す
る手段と、該入力された画像系列について画像特徴量の
系列を計算する手段と、該画像特徴量の系列から固有空
間を計算する手段と、該入力された画像系列に対応する
画像特徴量の系列を前記固有空間上に投影したときの軌
跡を計算する手段と、予測対象の時系列をなす画像系列
を入力する手段と、該予測対象の画像系列を前記固有空
間上に投影したときの軌跡を計算する手段と、前記過去
の画像系列に対応する前記固有空間上の軌跡の集合か
ら、該予測対象の画像系列に対応する前記固有空間上の
軌跡に類似する軌跡を検索する手段と、該検索された軌
跡上の位置から時間的に先の部分に対応する画像系列を
抽出し、この系列を用いて予測画像系列を出力する手段
とを有する時系列画像予測装置。
【請求項１２】前記画像系列の画像特徴量を計算する
手段が、画像平面をメッシュ状に区切り、各メッシュに
含まれる画像の濃淡値の平均をある時間間隔毎に計算
し、各時刻毎に１次元の特徴量ベクトルとして求める手
段を含む請求項１１記載の時系列画像予測装置。
【請求項１３】前記時系列画像の特徴量を計算する手
段が、各時刻における速度ベクトル場を求め、各時刻毎
にこれを一列に並べて１次元の特徴量ベクトルとして求
める手段を含む請求項１１記載の時系列画像予測装置。
【請求項１４】前記固有空間を計算する手段が、画像
系列に対してある時間間隔毎に得られる１次元ベクトル
の特徴量を、全画像系列についてまとめて行列をつく
り、この行列から全画像系列の特徴量のベクトルの平均
値を引いた行列について共分散行列を求め、この行列の
固有値問題を解いて得られる大きい固有値に対応する固
有ベクトルを基底とする固有空間を得る手段を含む請求
項１１記載の時系列画像予測装置。
【請求項１５】前記画像系列に対応する画像特徴量の
系列を固有空間上に投影したときの軌跡を計算する手段
が、画像系列に対してある時間間隔毎に得られる１次元
ベクトルの特徴量をそれぞれ順番に固有空間上の点に変
換し、その点列を画像系列に対する固有空間上の軌跡と
して求める手段を含む請求項１１記載の時系列画像予測
装置。
【請求項１６】前記過去の画像系列に対応する固有空
間上の軌跡の集合から、予測対象の画像行列に対応する
固有空間上の軌跡に類似する軌跡を検索する手段が、そ
れぞれの軌跡について、各時刻の特徴量に対応する軌跡
上の点列の間の距離を、各々の点の時間順序を守り総和
し、この距離の総和が最小となる過去の画像系列に対応
する軌跡の部分とその位置を求める手段を含む請求項１
１記載の時系列画像予測装置。
【請求項１７】前記検索された過去の画像時系列に対
応する軌跡上の位置から時間的に先の部分に対応する画
像系列を抽出し、この系列を用いて予測画像系列を出力
する手段が、検索された一つまたは複数の画像系列のそ
れぞれについて、予測対象の画像系列に対応する固有空
間上の軌跡と合致する部分から、時間的に先の部分を取
りだし、この部分に対応する過去の画像系列の部分を予
測画像系列として出力する手段を含む請求項１１記載の
時系列画像予測装置。
【請求項１８】前記検索された過去の画像系列に対応
する軌跡上の位置から時間的に先の部分に対応する画像
系列を抽出し、この系列を用いて予測画像系列を出力す
る手段が、検索された一つまたは複数の画像系列のそれ
ぞれについて、予測対象の画像系列に対応する固有空間
上の軌跡と合致する部分から、時間的に先の部分を取り
だし、この部分に対応する過去の画像系列の部分を合成
して予測画像系列を求める手段を有する請求項１１記載
の時系列画像予測装置。
【請求項１９】予測対象の時系列をなす画像系列を入
力する処理と、前もって蓄積された過去の時系列画像の
中から、入力された画像系列に類似する画像系列を検索
する処理と、検索された画像系列の先の時刻の画像系列
を用いて予測画像を得る処理をコンピュータに実行させ
るための時系列画像予測プログラムを記録した記録媒
体。
【請求項２０】時系列をなす画像系列の集合を入力す
る処理と、該入力された画像系列について画像特徴量の
系列を計算する処理と、該画像特徴量の系列から固有空
間を計算する処理と、該入力された画像系列に対応する
画像特徴量の系列を前記固有空間上に投影したときの軌
跡を計算する処理と、予測対象の時系列をなす画像系列
を入力する処理と、該予測対象の画像系列を前記固有空
間上に投影したときの軌跡を計算する処理と、前記過去
の画像系列に対応する前記固有空間上の軌跡の集合か
ら、前記予測対象の画像系列に対応する前記固有空間上
の軌跡に類似する軌跡を検索する処理と、該検索された
軌跡上の位置から時間的に先の部分に対応する画像系列
を抽出し、この系列を用いて予測画像系列を出力する処
理をコンピュータに実行させるための時系列画像予測プ
ログラムを記録した記録媒体。
【請求項２１】前記画像系列の画像特徴量を計算する
処理が、画像平面をメッシュ状に区切り、各メッシュに
含まれる画像の濃淡値の平均をある時間間隔毎に計算
し、各時刻毎に１次元の特徴量ベクトルとして求める処
理を含む請求項２０記載の記録媒体。
【請求項２２】前記時系列画像の特徴量を計算する処
理が、各時刻における速度ベクトル場を求め、各時刻毎
にこれを一列に並べて１次元の特徴量ベクトルとして求
める処理を含む請求項２０記載の記録媒体。
【請求項２３】前記固有空間を計算する処理が、画像
系列に対してある時間間隔毎に得られる１次元ベクトル
の特徴量を全画像系列についてまとめて行列をつくり、
この行列から全画像系列の特徴量のベクトルの平均値を
引いた行列について共分散行列を求め、この行列の固有
値問題を解いて得られる大きい固有値に対応する固有ベ
クトルを基底とする固有空間を得る処理を含む請求項２
０記載の記録媒体。
【請求項２４】前記画像系列に対応する画像特徴量の
系列を固有空間上に投影したときの軌跡を計算する処理
が、画像系列に対してある時間間隔毎に得られる１次元
ベクトルの特徴量をそれぞれ順番に固有空間上の点に変
換し、その点列を画像系列に対する固有空間上の軌跡と
して求める処理を含む請求項２０記載の記録媒体。
【請求項２５】前記過去の画像系列に対応する固有空
間上の軌跡の集合から、予測対象の画像系列に対応する
固有空間上の軌跡に類似する軌跡を検索する処理が、そ
れぞれの軌跡について、各時刻の特徴量に対応する軌跡
上の点列の間の距離を、各々の点の時間順序を守り総和
し、この距離の総和が最小となる過去の画像系列に対応
する軌跡の部分とその位置を求める処理を含む請求項２
０記載の記録媒体。
【請求項２６】前記検索された過去の画像系列に対応
する軌跡上の位置から時間的に先の部分に対応する画像
系列を抽出し、この系列を用いて予測画像系列を出力す
る処理が、検索された一つまたは複数の画像系列のそれ
ぞれについて、予測対象の画像系列に対応する固有空間
上の軌跡と合致する部分から、時間的に先の部分を取り
だし、この部分に対応する過去の画像系列の部分を予測
画像系列として出力する処理を含む請求項２０記載の記
録媒体。
【請求項２７】前記検索された過去の画像系列に対応
する軌跡上の位置から時間的に先の部分に対応する画像
系列を抽出し、この系列を用いて予測画像系列を出力す
る処理が、検索された一つまたは複数の画像系列のそれ
ぞれについて、予測対象の画像系列に対応する固有空間
上の軌跡と合致する部分から、時間的に先の部分を取り
だし、この部分に対応する過去の画像系列の部分を合致
して予測画像系列を求める処理を含む請求項２０記載の
記録媒体。