JP3953350B2

JP3953350B2 - 映像シーン予測方法、装置、プログラム、および記録媒体

Info

Publication number: JP3953350B2
Application number: JP2002092915A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-03-28
Filing date: 2002-03-28
Publication date: 2007-08-08
Anticipated expiration: 2022-03-28
Also published as: JP2003288603A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＷＥＢやさまざまな観測源から得られる画像化されたパターンの変化を予測する方法に関する。
【０００２】
【従来の技術】
従来、複雑な形状やパターンを含んだ映像パターンから濃淡値の変化を予測する方法は、ほとんどが剛体モデルを仮定して、予測の間は、予測開始時のパターン形状が不変で、初期パターン（初期とは予測開始する直前の、現在の時間でのパターン）平行移動をした結果を予測結果としていた。符号化の分野における、ＭＰＥＧ４や、気象レーダ、衛星画像、落雷画像等、すべて、画像を複数のサブブロックに分割して、分割した個々を独立に平行移動させて予測する方法が主流となっている。
【０００３】
図１４は従来の気象レーダ画像における予測方法によるものである。４駒を示すが、旋回状の低気圧性パターンについて、従来法では、連続する時系列画像（フレーム）間で、相互相関係数により、類似性を計算して、最も類似している点間を移動ベクトルとし、線形外挿を行うことをパターン予測としている。しかしながら、基本的なパラメータは、画像を複数に分割するときの、その数である。４駒は分割数をなし、１枚の初期画像を分割して得られるサブブロックの数が２５、１００、４００の場合であるが、いずれの場合も、不自然にブロック間が離れてしまっている問題がある。
【０００４】
【発明が解決しようとする課題】
上述した従来の方法は、剛体モデルを仮定しているため、剛体モデルでは容易に近似できない、形状やテクスチャーが複雑に変化するパターンを含んだ映像から精度良く予測パターンを生成することができなかった。
【０００５】
本発明の目的は、剛体モデルでは容易に近似できない、形状やテクスチャーが複雑に変化するパターンを含んだ映像情報だけから、精度良く予測パターンを生成する映像シーン予測方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の映像シーン予測方法は、さまざまな観測源から得られた画像化されたパターンの変化を予測するための映像シーン予測方法であって、予め、時系列の画像の画素毎の濃淡値情報を入力とする偏微分方程式に含まれる所定の項を、拡散と、移流と、異なる時刻の時系列画像の濃淡値の差分値をその平均と標準偏差に基づいて分類して得られる発達、衰退、停滞とに割り当てておく割り当てステップと、時系列の画像情報を入力する画像入力ステップと、画像入力ステップで入力された画像情報を蓄積する画像蓄積ステップと、画像を複数に分割したブロック毎に最適な正則化係数を算出する正則化係数算出ステップと、正則化係数算出ステップで算出されたブロック毎の正則化係数と、過去と現在の連続した画像とを入力情報とし、オプティカルフロー推定で画素毎の速度のオプティカルフローを推定し、その画素毎の速度のオプティカルフローを画像に対応する行列と見なした特異値分解を用いて重要なオプティカルフローを絞る第１のパラメータ推定ステップと、第１のパラメータ推定ステップで絞り込まれたオプティカルフローを、偏微分方程式の移流項の速度項に代入し、同時に現在の画像を偏微分方程式の移流項および拡散項に入力し、偏微分方程式を解いて未来の画像を計算する第２のパラメータ推定ステップと、現在の画像を過去の画像に置き換え、第２のパラメータ推定ステップで得られた未来の画像を現在の画像に置き換えて、第１のパラメータ推定ステップと第２のパラメータ推定ステップを繰り返して、必要な予測時間まで未来の予測画像を計算する予測演算ステップとを有する。
【０００７】
時系列画像を入力して、移流等の各要素パターンに関する偏微分方程式や差分関数を、時間発展を含んだ予測方程式で統合し、時間積を繰り返すことで、（未来の）予測画像を得ることができる。
【０００８】
本発明は、気象分野では、気象予測として防災につながり、気象では降水レーダー画像による降水量の予測、衛星画像ならば、可視画像や赤外画像から雲と晴予測、落雷画像から落雷予測が、降水と落雷情報を統合すれば、集中豪雨と雷雲予測ができ、気象以外の一般映像ならば、木々が揺らぐシーンからの風向きと強さのセンシング、波立ちの変化を予測する波浪予測、交通渋滞や交通流の映像からの車両パターンの予測、人の流れの予測、医療画像における血流パターンの変化と認知過程予測、など、重心を明瞭に定義できなく、また、領域分割が容易でない画像や映像シーンにおいて、未来の映像情報を予測することで新しい価値をもった情報をつくりだすさまざまな分野に適用できる。
【０００９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１０】
図１は本発明の一実施形態の映像シーン予測装置のブロック図である。
【００１１】
本実施形態の映像シーン予測装置は画像入力部１と画像蓄積部２とパラメータ推定部３と予測演算部４と表示部５で構成されている。
【００１２】
さまざまなセンサー、観測機器、ＷＥＢを情報源とし、画像入力部１より時系列画像を入力し、画像蓄積部２に蓄積する。パラメータ推定部３で数理方程式で必要とされるパラメータを時系列画像が更新される毎に自動的に推定し、予測演算部４で必要な予測時間まで、画像中のパターンの変化を予測し、表示部５で予測された画像を表示する。
【００１３】
図２は、５つの基本時空間パターンモデルを示す。さまざまに入力される画像パターンを５つの時空間パターンで近似する。図２（１），（２），（３），（４），（５）はそれぞれ異方拡散，流れを伴った移流，衰退・吸い込み，湧き出し・発達，停滞の各パターンの変化例である。それぞれのパターンは時間とともに、特徴的な変化を画素単位で示す。与えられる初期パターン形状については任意である。
【００１４】
図３は、差分近似のオーダーの違いによる予測パターンの不安定性を示す。入力画像は１００×１００画素数中、中心に濃淡値１２０の円を生成し、配置した。円の半径は２０画素である。円以外は画素値は２５５である。１画素８ビット階調である。移流方程式（式１）を用いて、その差分近似のオーダーを変えた場合のパターンの変化の相違を示す。
【００１５】
【数１】

移流方程式は、流体力学の分野で広く用いられている基本方程式の一つである。数式中、濃淡値Ｉは、２次元のある１点の位置
【００１６】
【外１】

、時間ｔ、速度
【００１７】
【外２】

をパラメータとしてもつ。右辺は、演算子
【００１８】
【外３】

があるが、これは、濃淡値についての１次の空間微分である。差分法で、未来の濃淡値変化は、式（２）のように、時間と空間について離散化し、時間発展を計算すれば容易に得ることができる。初期の画像濃淡値は、ここでは、円の濃淡値そのものである。時間項は前進差分、空間項は、１次オーダーの場合である。３次オーダーの場合は、式（３）となる。離散項において、Δｔ，Δｘ，Δｙは、それぞれ時間，水平，垂直方向の離散幅である。
【００１９】
【数２】

このシミュレーションでは、すべて１とした。速度場については、斜め右下方向に、全面に一定の速度を与えている。数値実験の結果、差分近似のオーダーの相違による予測パターンの相違は、１次近似１と、３次近似２となった。同一の速度場と、時間積分幅であっても、１次近似の場合は途中から振動解が発生してしまっており、不安定な予測結果がでている。一方、３次近似の場合は、最後までほとんど振動解が見られず安定であると言える。このことから、長時間のパターン予測は移流方程式を３次オーダーのように、高次のオーダーで近似するのが適当である。
ここで、移流基本方程式を導出する。
【００２０】
ある変量
【００２１】
【外４】

の微小時間における時間と１次元移動の変化するものとして、式（４）のように、２次オーダまでテイラー展開する。
【００２２】
【数３】

ここで、
【００２３】
【外５】

が発達や衰退等の変化がない場合、
【００２４】
【外６】

に対する１次元の移流基本方程式を導出できる。特に、空間微分を拡張すれば、２次元移流方程式（式（５））を得る。
【００２５】
【数４】

次に、式（５）を風上差分方法により離散化すると、式（６）のようになる。この方法は、流れの方向に応じて、前進差分と後退差分を適応的選択して計算することで、誤差伝播の影響による差分誤差を制御することを特徴とする。式（６）は１次オーダである。
【００２６】
【数５】

式（６）をテイラー展開してその特性を解析する。
【００２７】
【数６】

式（７）式の右辺第二項が数値拡散項であり、数値解を平滑化する効果を有する。第３項は数値分散項であり、数値解を振動させる。次に式（６）から３次元オーダの風上差分式を導出する。空間上の１点を近傍の３点を用いて、２次式で補間をすると、式（８）を得る。
【００２８】
【数７】

式（８）を速度の絶対を用いて、１つにまとめると、式（９）を得る。
【００２９】
【数８】

式（９）の特性を見るために、テイラー展開すると、
数値分散項の
【００３０】
【数９】

が含まれる。安定化のために、第一項を
【００３１】
【数１０】

で置き換えて相殺効果をつくる（河村スキーム）。さらに式（９）の第二項に含まれる４階微分の数値拡散項の効果を緩和させるために、
【００３２】
【数１１】

で置き換える。これらをまとめて、本明細書で適用している３次オーダの風上差分式（１０）を得る。ここでは、１次元であるが、２次元も場合も同様に導出できる。
【００３３】
【数１２】

式（１０）をテイラー展開で解析する。αの大きさによって、４階微分項に起因する数値拡散効果が大きいことがわかる。
【００３４】
【数１３】

図４は等方拡散法と異方拡散法の相違を示す。ここでは、入力画像（降水）パターンは、気象庁レーダ画像から得られる、降水強度に関する画像であり、雨または雪の降水量と降水域に関する。８ビット階調であり、表示上、白ほど強く、黒ほど弱い。降水パターンは、２０００年７月４日、都内で史上２番目の降水量を記録したときの、いわゆる集中豪雨パターンである。画像サイズは、２００×２００画素、１画素が２．５ｋｍ単位。ここでは、数値実験として、拡散方程式（式（１１））と異方拡散方程式（式（１２））を用いて、入力した初期画像パターン（集中豪雨パターンを示したときの気象レーダー画像パターンＩ）がどのように変化するかについてシミュレーションする。
【００３５】
【数１４】

拡散方程式の右辺は、濃淡値Ｉについての２次微分項である。拡散係数λである。単位フレーム当たりの、拡散の広がりの程度を制御する。異方拡散方程式の右辺の第一項は拡散項と同じ等方性を記述し、第二項は、画像濃淡値の１次の勾配（エッジ）の大きさに応じて、拡散係数が変化する。エッジが大きいところは拡散係数を小さく、小さいところは拡散係数が大きくなる。この制御機構により、拡散効果はあるものの、エッジ構造が保たれやすくなる利点を有する。なお、図４中のｎは式（１９）における、繰り返し計算した時の途中の回数である。
【００３６】
差分法により、式（１１），（１２）をそれぞれを離散化すると、式（１３），（１４）になる。離散項において、Δｔ，Δｘ，Δｙは、それぞれ時間，水平，垂直方向の離散幅である。
【００３７】
【数１５】

このシミュレーションでは、すべて１とした。濃淡値Ｉに関しての時間発展値が予測した濃淡値となる。実際の降水パターンにおいて、等方拡散（図４（２））と異方拡散（図４（１））の変化は反復回数が進むにつれて顕著に違いが生じてくる。異方拡散法は、エッジ構造を保ったまま平滑化を行うので、見かけのパターンのぼけが抑制される（参考文献：P.Perona and J.Malik, “Scale-space and edge detection using anisotropic diffusion”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.12, no.7, pp.629-639, 1990.）。等方拡散法は均一に平滑化を行う。
【００３８】
図５は、差分画像の３つの状態（発達，衰退，停滞）の相違を示す。ここで用いているのは、降水パターンである。２０００年７月８日の、関東に上陸した大型台風パターンである。図５（１）上段に、連続した台風の降水パターンの実物を示す。１０分間の観測時間の開きがある。下段には、左側に発達と衰退領域として差分計算された結果を示し、右側は停滞である。連続する時系列画像（図５（１））から差分画像をつくり、それの正負と大きさで３つの状態（発達、衰退、停滞）をつくりだすことができる。差分計算は、単純に、それぞれの時刻での降水パターンＩの、単位時間Δｔ当たりの、濃淡値の変化量である。式（１５）に示す、Ｉ（ｉ，ｊ，ｎ）は、画素値（ｉ，ｊ）、離散時刻ｎ番目での値である。
【００３９】
【数１６】

差分をとったときの、濃淡値の差分値のヒストグラム２をとると、近似的にラプラス分布になることが広く知られている。もう一段階粗く近似すると、ガウス分布（式（１６））として扱いやすくなる。
【００４０】
【数１７】

３つの状態に差分値に基づいて分類するためには、濃度値に関する３つのしきい値（式（１７））が必要となる。
【００４１】
【数１８】

このとき、ガウス分布をモデルとすれば、ヒストグラム上の標準偏差により分類することができる。すなわち、標準偏差が１のときは、全体の６０％、２のときは９０％のデータが含まれる。このことから、発達や衰退などは、全体の変化では、起こりにくいと仮定すれば、しきい値は、標準偏差が平均からみて、１より離れたデータセットが対応することになる。停滞は、発達と衰退の中間的な変化であることから、標準偏差１よりも小さい平均値付近に分布する。
【００４２】
図６は、正則化係数が一定の場合の推定される速度場の相違を示す。図５と同じ、台風の、連続する２枚の降水パターンを例題として、パターン速度を計算した。
【００４３】
さまざまな速度推定法の中で、Ｈｏｒｎ＆Ｓｃｈｕｎｃｋにより提案された、標準正則化理論に基づいた画素単位の速度場推定法がある。本手法では、目的関数として、式（１８）に示すように、濃淡値Ｉと未知数である速度場についての汎関数である。
【００４４】
【数１９】

この関数を最小化するように、速度を計算すればよい（文献：B.K.P.Horn and B.G.Schunck, “Determining Optical Flow”, Artifical Intelligence, vol.17, no.1, pp.185-203, 1981.）。解き方は、この方程式を２つの未知数である、速度成分について、オイラー微分をつくる。その結果、２つの線形方程式をつくれるので、連立１次方程式をＧｕａｓｓ−Ｓｅｉｄｅｌ法で反復計算をすれば、容易に速度は得られる。ただし、目的関数中、重み付け係数ωは、通常経験的に固定値が与えられる。なお、時間項について、２つの画像パターンを用いて計算する。
【００４５】
最大の欠点は、いかに最適な正則化係数を推定することである。ここでは、画像全体について同じ正則化係数をおいた場合の、速度場の相違を渦構造をもつ、台風パターンに適用した場合の結果を６つ示す。係数が小さいほど、速度場の平滑化が弱く、ノイズが多くなる。係数が大きいと、速度場の平滑化が強まるが遅い速度成分は消滅するか、過小評価される欠点が残る。
【００４６】
図７は、最適正則化係数を推定するための正弦波パターン（図７（１））と推定例（図７（２））を示す。ここでは、２次元正弦波の振幅を濃淡値で示している。ただし、異なる波長パターンを８種類例示している。ｆは周波数、ａｍｐは振幅、速度は１画素／フレームである。同じ周波数のパターンでは、縦に１画素／フレームだけ進行させたパターンを並べて示している。ｗａｖｅｌｅｎｇｔｈは波長である。最適正則化係数を推定するために、入力するパターンの画像特徴量毎に、一定範囲内の正則化係数をすべて探索するしかない。Ｈｏｒｎ＆Ｓｃｈｕｎｃｋ（Ｈ＆Ｓ）法における目的関数は、濃淡値についての時間と空間の１次微分値が左右するため、差分法的にみれば、目的関数は、隣接する数点の濃淡値だけにのみ依存することがわかる。すなわち、入力する既知パターン（図７（１））は、時間と空間方向にさまざまな正弦波で生成すればよい。既知パターンの動きも既知とすれば、正則化係数を変えたときに、正解の動きと最も近いときの係数が最適係数とみなせる。速度ベクトルの類似性の評価には、正解ベクトルと推定されたベクトルとの内積をとればよい。フレーム当たり１画素ずらした場合の、正解ベクトルと推定されたベクトルとの内積の値を、さまざまな正則化係数ごとでの結果を図７（２）に示す。複数の曲線は、異なる画像特徴量をもつ正弦波に対するものである。すなわち、正弦波を扱うと基本画像特徴量は、振幅、波数、速度の３つに集約できる。振幅は、濃淡値のばらつきであり、一定画像サイズの中の、濃淡値の標準偏差を計算すればよく、波数もフーリエ変換により容易にその周波数成分が求まる。速度については既知である。
【００４７】
図８は本発明による渦速度の推定結果の例を示す。図６で説明したような解法により、速度計算ができる。台風パターン２フレームを用いた。最適な正則化係数を用いて、Ｈ＆Ｓ法を適用すると、渦構造（図８（１））が明瞭に検出できる。ここでは、渦の中心まわりに速度ベクトルが反時計まわりに推定できた。さらに、速度成分について、移動平均フィルター（式（１９））を適用すると、パターンが存在していない領域にも速度場が生成・補間される（図８（２））。
【００４８】
【数２０】

これは、パターン予測をする場合に、速度がゼロの領域へはパターンが進行しないために、非ゼロの速度を与える必要があるためである。
【００４９】
図９は、ナビエ・ストークス方程式による流体的な速度場の再構成と気圧の推定の例である。パターン予測に必要な速度場を形成するためには、移動平均フィルター以外もさまざまに考えられる。移動平均フィルターは速度場の低周波数成分が伝播する点はいいのだが、流体的な性質は含まれていない。そこで、流体力学の分野で広く適用されているナビエ・ストークス方程式（式（２０））を適用する。
【００５０】
【数２１】

本方程式は速度と気圧（圧力）の２つを主変数にもつ。速度場を初期値１として速度と気圧を推定すると、図示したような結果になる（図９（２））。台風パターンの場合、移動した直後には、高い気圧（白色）が、渦中心には、低気圧域が存在することが推定できている。
【００５１】
ここで、ナビエ・ストークス（ＮＳ）方程式の解法を示す。
【００５２】
本文中、ＮＳ方程式についていは、ＨＳＭＡＣ法と呼ばれる方法で解いている。
この方法では、ＮＳ式と連続式を圧力（もしくは気圧）に関して調整をしながら、非線形連立方程式を反復的に解いていく、ＮＳ式は、速度と圧力の２つの独立変数を含む。流れの対象を非圧縮流体と仮定すると、離散化した連続式はゼロが速度場に対する条件となる（式（２１））。計算格子点上、圧力変数は１メッシュ毎に１変数、速度変数については、その垂直・水平成分を格子点上に配置するものとする。
【００５３】
【数２２】

また、降水パターンへ外部力はここではないものとする（式（２２））。
【００５４】
【数２３】

次に、未来の速度場を得るために、時間に関して、前進差分化する（式（２３））
【００５５】
【数２４】

本明細書では、オプティカルフローにより推定された速度成分をＮＳ式を解くときの初期値として与え、圧力については全領域ゼロとして推定している。境界条件は、画像輪郭部に連続条件を課している。また、粘性係数と密度については経験的に決定した。
【００５６】
各メッシュ毎に、圧力の傾きを考えた場合、その傾きに沿って速度の方向と大きさが決定される。式（２１）が各メッシュ毎に満たされるように、圧力を調整するような解法をとる。式（２４）、（２５）を用いて、メッシュ毎に速度成分と圧力を微少量ずつ、全メッシュについて反復的に計算をすすめる。条件式（２１）が一定微小値未満になり続ける。
【００５７】
【数２５】

収束した結果が、ある離散時間から次の時間ステップまでの、速度成分と圧力が予測できる。時間積分を所定回数繰り返せばよい。
【００５８】
図１０は、特異値分解による速度場の補正の例である。別の渦パターンの例である（図１０（１））。推定された速度場（図１０（２））には部分的にノイズが含まれており、速度場が乱れている。したがって、特異値分解を適用する。この方法は情報圧縮技法の一つであるが、２次元速度場をそのまま特異値分解して、速度の主成分を検出する（図１０（３））。適用前（図１０（２））と後（図１０（３））の速度場をそれぞれ拡大して図示する（図１０（４），（５））。明らかに、ノイズ成分が緩和されていることがわかる。未来の速度場は、ノイズを含まない主成分との相関が高い。特異値分解については、式（２６）に示すように、元の速度場はそれを行列
【００５９】
【外７】

と見なすと、特異値の累積値が８０％以上のときの、次元数ＫＮ個で近似される。ＳＶＤ（Singular Value Decomposition：特異値分解）ではノイズと重要な情報量において客観的な指標をおくことができる。
【００６０】
【外８】

はそれぞれ特異値、上三角、下三角行列である（参考：Numerical Recipes in C：技術評論社）。
【００６１】
【数２６】

以下に画像パターンを予測するために必要な主な方程式を列挙する。式（２７）は５つの基本時空間パターンを統一的に偏微分方程式系としてまとめたものである。画像の濃淡値Ｉは位置と時間の関数である。式（２７）を時間項について前進差分法により、次のフレーム（時間）の濃淡値の変化を計算できる形に変形すると式（２８）になる。式（２８）の右辺のＳＴＥはここでは、３つあり、式（２９）に示す。上から、移流、異方拡散、差分（湧き出し、停滞、吸い込み）である。３つそれぞれが、式（３０）〜（３３）で与えられる。移流項の中の速度項については、式（３７）〜（４１）の結果が使われる。式（２８）に含まれる各数式は式（２９）〜式（３６）である。式（２９）は移流方程式、異方拡散方程式、状態方程式である。式（３０）、式（３１）は異方拡散方程式である。数（３３）は移流方程式である。ここでは３次オーダーの近似精度のものを示す。式（３６）は連続するフレームからの差分画像による状態方程式である。状態を識別するために、差分値をガウス分布で統計的に近似する（式（３４））。そのとき、しきい値は式（３５）になる。
【００６２】
【数２７】

式（３７）はＨ＆Ｓ法に基づいた標準正則化理論に基づいた定式化であり、速度を画素単位に推定できる。このとき、ωは正則化係数であり、画素ごとに最適な値が与えられるべきである。式（３８）は移動平均フィルター、式（３９）、式（４０）、式（４１）はナビエ・ストークス方程式と連続式である。流体的な速度場と気圧場を推定するために適用される。
【００６３】
【数２８】

数（４２）は最適正則化係数を算出する式であり、右辺は、波数ｋ、濃淡値の標準偏差ＳＤであり、ここでは、画像サイズが３２×３２画素の場合である。画像をサブブロックに分割し、各ブロック毎にＨ＆Ｓ法の計算に必要な最適な正則化係数が与えられる。
【００６４】
式（４３）は特異値分解であり、左辺の行列Ａが特異値Ｗ、上三角行列Ｕ、下三角行列Ｖに分解され、項数ＫＮだけで行列Ａを近似できる。ここでは２次元の速度場を行列Ａで近似する。
【００６５】
【数２９】

図１１は、予測精度の統計評価実験の結果である。６つの方法で降水パターンに対して予測精度を評価した場合の結果である。予測パターンは、式（１６）を時間発展的に解いていけばよい。変数Ｉは画像パターンの濃淡値が画素単位に含まれる。時間ｎ，ｎ＋１は、初期の入力画像は連続した２つの画像パターンが対応する。
【００６６】
ここでは、本発明による方法をＤＴ法と呼ぶ。予測には、現在と一つ過去の画像を用いる。横軸３時間先まで、１０分毎、縦軸は、雨量誤差であり、一画素当りの値である。最も悪いのは、従来法であり、相互相関法（ＣＣ）と線形外挿法を組み合わせた場合である。続いて、持続予報である。比較のために、Ｈ＆Ｓでの最適正則化係数の効果を示すために、速度場を別の従来法である、ＮＡＧＥＬ法、ＡＮＡＮＤＡＮ法で行ってみると、従来法とあまり差異が見られない。速度場の予測方法について、ナビエ・ストークス（ＮＳ）方程式と特異値分解の有無についての比較をさらに行う。最も精度がいいのが、すべての効果を含めた場合であり、続いて、ＮＳ方程式と特異値分解を適用しない場合である。従来法と比較して３時間後で４０％前後の誤差が改善された。
【００６７】
図１２は、一般シーンでの予測画像の例である。式（１６）を時間発展的に解いていけばよい。変数Ｉは画像パターンの濃淡値が画素単位に含まれる。時間ｎ，ｎ＋１は、初期の入力画像は連続した２つの画像パターンが対応する。
【００６８】
一般シーンに対して、ＤＴ法を用いて予測した場合を示す。画像サイズは１８０×１２０画素（１，２）と３００×３００画素（３）である。
【００６９】
実際の画像はいずれも、家庭用のビデオ画像である。ビデオレートで入力した、連続画像２枚だけを使って、予測画像（未来画像）を本発明により生成する。気象パターンと異なるのは、サンプリングレイトと画像サイズである。３種類のシーンごとに、左から、実画像、予測画像と速度場、実画像と予測画像の濃淡値の誤差である。上から、煙が拡散するシーン、木々が風で揺らぐシーン、ズームインしていくシーンである。５フレーム先の予測結果を示す。いずれのシーンも予測誤差をほとんど生じていない。降水パターンや一般シーンなど、局所的なモデリングの有効性が確認できた。従来法で行っても、このような非線形、非定常な動きのあるシーンでは、１フレーム先の予測でもほとんどうまく予測画像を生成できない。
【００７０】
図１３は、衛星、降水、落雷の３つのレーダから観測される、時系列の画像化されたパターンを用いて、それぞれの変化を予測する方法を説明するものである。いずれも、２００×２００画素サイズ、１０分間のデータとする。１画素８ビット階調。衛星パターンは、可視、赤外、水蒸気、降水は降水量と降水域に関して、落雷は、落雷位置、落雷数、落雷強度に関して観測され、いずれも、時系列２次元パターンとして扱うことができる。予測の方法は、それぞれのパターンについて、図１２で述べた方法に基づく。差分画像情報については、予測開始時と１つ前の、２つの連続した画像パターンを用いる。
【００７１】
各パターンの組合せとその効果は次の通りである。
１．衛星レーダの可視と赤外、降水レーダ、落雷レーダ：画像内１地点で、晴、曇、雨がわかる（図１３（１））。衛星レーダでは、昼間は可視、夜間は赤外パターンを使い分ける。可視は曇か晴かは分別できる情報として利用する。一方、夜間は太陽光がないために、暗くなるので、赤外パターンで代用する。可視と赤外は比較的類似性が高い場合がある。１地点で、落雷があったかどうかに加えて、どの程度の雨量で生じたのか、あるいは、雲は濃かったのか、薄かったのかも、総合に情報を統合すれば有効な生活情報としての予測（予報）につながる。
２．降水レーダ、落雷レーダ：落雷情報は基本的に、点列の集合体であるため、落雷情報の移動速度を画像から検出する際は、フレーム間でうまく対応点がとれないため、相関の高い、降水パターンの移動速度を代用する（図１３（２））。また、降水パターンの強度が高い領域（降水量が多い）と落雷数、落雷電流はほぼ同領域にある。いわゆる、雷曇予測に適合する。
３．衛星レーダの水蒸気、降水レーダ：集中豪雨に関しては、降水パターンからわかるが、その兆候については、ある程度雨が強くなってからでないと予測できない。そこで、水蒸気パターンを使って、ある領域を大量の水蒸気が通過してから、数時間以内に同領域で集中豪雨が発生する可能性を予測する（図１３（３））。降水パターン予測時に、ＤＴ法の中の、発達項に、水蒸気パターンを予測させて、量が多かった領域と時間を記憶しておいて、発達項に降水量が多くなるように制御すれば容易に実現できる。
【００７２】
なお、以上説明した映像シーン予測方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００７３】
また、本願発明は気象予測に限定されるものではなく、映像中に移動物体がある一般的な画像の予測に適用可能である。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、次のような効果がある。複雑な映像シーンであっても局所的に５つの基本的な時空間パターン（拡散、移流、差分画像（衰退、発達、停滞））で近似することから、対象に依存せず、予測シーンを生成できる。シーン中の対象の変化が非線形で非定常であっても適用対象を選ばす、各時空間パターンが時間と空間方向に変化するが、一つの偏微分方程式で統合するために、近傍のさまざまな変化を考慮した予測が可能となっており、その結果予測誤差の大幅な低減ができる。また、速度における最適正則化係数や差分画像などは、シーンを予測するときどきで、変わることから未来の画像の変化のパラメータも信頼できるものとなっている。
【図面の簡単な説明】
【図１】本発明の一実施形態の映像シーン予測装置の構成図である。
【図２】５つの基本時空間パターンモデルを示す図である。
【図３】差分近似のオーダーの違いによる予測パターンの不安定性を示す図である。
【図４】等方拡散法と異方拡散法の相違を示す図である。
【図５】差分画像の３つの状態の相違を示す図である。
【図６】正則化係数が一定の場合の推定される速度場の相違を示す図である。
【図７】最適正則化係数を推定するための正弦波パターンと推定例を示す図である。
【図８】本発明による渦速度の推定結果の例を示す図である。
【図９】ナビエ・ストークス方程式による流体的な速度場の再構成と気圧の推定の例を示す図である。
【図１０】特異値分解による速度場の補正の例を示す図である。
【図１１】予測精度の統計評価実験の結果を示す図である。
【図１２】一般シーンでの予測画像の例を示す図である。
【図１３】衛星、降水、落雷の３つのレーダから観測される、時系列の画像化されたパターンを用いてそれぞれの変化を予測する方法を説明する図である。
【図１４】気象レーダ画像における従来の予測方法を示す図である。
【符号の説明】
１画像入力部
２画像蓄積部
３パラメータ推定部
４予測演算部
５表示部

Claims

さまざまな観測源から得られた画像化されたパターンの変化を予測するための映像シーン予測方法であって、
予め、時系列の画像の画素毎の濃淡値情報を入力とする偏微分方程式に含まれる所定の項を、拡散と、移流と、異なる時刻の時系列画像の濃淡値の差分値をその平均と標準偏差に基づいて分類して得られる発達、衰退、停滞とに割り当てておく割り当てステップと、
時系列の画像情報を入力する画像入力ステップと、
前記画像入力ステップで入力された画像情報を蓄積する画像蓄積ステップと、
画像を複数に分割したブロック毎に最適な正則化係数を算出する正則化係数算出ステップと、
前記正則化係数算出ステップで算出された前記ブロック毎の正則化係数と、過去と現在の連続した画像とを入力情報とし、オプティカルフロー推定で画素毎の速度のオプティカルフローを推定し、前記画素毎の速度のオプティカルフローを画像に対応する行列と見なした特異値分解を用いて重要なオプティカルフローを絞る第１のパラメータ推定ステップと、
前記第１のパラメータ推定ステップで絞り込まれた前記オプティカルフローを、前記偏微分方程式の移流項の速度項に代入し、同時に現在の画像を前記偏微分方程式の移流項および拡散項に入力し、前記偏微分方程式を解いて未来の画像を計算する第２のパラメータ推定ステップと、
現在の画像を過去の画像に置き換え、前記第２のパラメータ推定ステップで得られた未来の画像を現在の画像に置き換えて、前記正則化係数算出ステップから前記第２のパラメータ推定ステップを繰り返して、必要な予測時間まで未来の予測画像を計算する予測演算ステップと、
を有する映像シーン予測方法。
前記偏微分方程式を３次オーダの近似精度で表し、当該近似式の所定の項を、拡散、移流、発達、衰退、停滞に割り当てる、請求項１に記載の映像シーン予測方法。
前記偏微分方程式を、差分法により、離散化近似で解く、請求項１または２に記載の映像シーン予測方法。
前記予測演算ステップにおいて、速度をナビエ・ストークス方程式および／または移動平均フィルターを用いて予測する、請求項１から３のいずれか１項に記載の映像シーン予測方法。
前記画像情報が気象情報である、請求項１から４のいずれか１項に記載の映像シーン予測方法。
衛星レーダ、降水レーダ、落雷レーダの３つのレーダの情報を用い、衛星レーダでは昼間は可視の画像パターン、夜間は赤外の画像パターンを用い、降水レーダの画像パターンと落雷レーダの画像パターンから予測演算を行い、これらを統合して画像内１地点での晴、曇、雨、落雷を予測する、請求項５に記載の映像シーン予測方法。
降水レーダと落雷レーダの２つのレーダの情報を用い、各レーダから得られた降水パターン、落雷パターンから予測演算を行い、落雷パターンの移動速度を検出する際には降水パターンの移動速度を代用することにより、画像１地点での雷雲を予測する、請求項５に記載の映像シーン予測方法。
衛星レーダと降水レーダの２つのレーダの情報を用い、衛星レーダから得られた水蒸気パターンから予測演算を行い、その後降水レーダで得られた降水パターンから予測演算を行うことで、画像１地点での集中豪雨を予測する、請求項５に記載の映像シーン予測方法。
さまざまな観測源から得られた画像化されたパターンの変化を予測する映像シーン予測装置であって、
予め、時系列の画像の画素毎の濃淡値情報を入力とする偏微分方程式に含まれる所定の項を、拡散と、移流と、異なる時刻の時系列画像の濃淡値の差分値をその平均と標準偏差に基づいて分類して得られる発達、衰退、停滞とに割り当てておく割り当て手段と、
時系列の画像情報を入力する画像入力手段と、
前記画像入力手段で入力された画像情報を蓄積する画像蓄積手段と、
画像を複数に分割したブロック毎に最適な正則化係数を算出する正則化係数算出手段と、
前記正則化係数算出手段で算出された前記ブロック毎の正則化係数と、過去と現在の連続した画像とを入力情報とし、オプティカルフロー推定で画素毎の速度のオプティカルフローを推定し、前記画素毎の速度のオプティカルフローを画像に対応する行列と見なした特異値分解を用いて重要なオプティカルフローを絞る第１のパラメータ推定手段と、
前記第１のパラメータ推定手段で絞り込まれた前記オプティカルフローを、前記偏微分方程式の移流項の速度項に代入し、同時に現在の画像を移流項および拡散項に入力し、前記偏微分方程式を解いて未来の画像を計算する第２のパラメータ推定手段と、
現在の画像を過去の画像に置き換え、前記第２のパラメータ推定手段で得られた未来の画像を現在の画像に置き換えて前記正則化係数算出手段に戻すことで、前記正則化係数算出手段と前記第１のパラメータ推定手段と前記第２のパラメータ推定手段とによる処理を繰り返させて、必要な予測時間まで未来の予測画像を計算する予測演算手段と、
を有する映像シーン予測装置。
前記割り当て手段は、前記偏微分方程式を３次オーダの近似精度で表し、当該近似式の所定の項を、拡散、移流、発達、衰退、停滞に割り当てる、請求項９に記載の映像シーン予測装置。
請求項１から８のいずれか１項に記載の映像シーン予測方法をコンピュータに実行させるための映像シーン予測プログラム。
請求項１１に記載の映像シーン予測プログラムを記録した記録媒体。