JP4199214B2 - 動画生成装置、動画生成方法、動画生成プログラム - Google Patents

Description

本発明は、１枚の画像などの限られた映像素材に基づいて時系列画像を生成する技術に関する。

近年、ディジタル映像や画像に様々な表現効果を与え、新しい画像を生成する技術が急増している。例えば、写真画像に対する画質改善が代表的である。しかし、画像に動きを与える手法については、２枚の画像からその中間画像を生成するモーフィングと呼ばれる手法があるが、１枚の画像から動画を生成する技術については、ワーピング法と特許文献１に記載のものが中心で、それ以外の手法については殆ど知られていない。

ワーピング法は、連続的な変化を画像に与えようとする場合、画像の各フレーム間で単純な線形補間を行う。これは、映像製作者が１枚の画像について多くの時間を費やして試行錯誤を繰り返すことで、少しずつ動きを作るものである。しかし、一般利用者にとっては試行錯誤を行う時間をとることはできず、映像製作業者においても、画像と画像の間の微妙な動き量とバランスを視覚的に調整する必要があり、生産効率が低いという問題がある。

一方、特許文献１の技術は、時間項と速度場ベクトルを用いた移流項とを有する偏微分方程式（以下、適宜「移流方程式」という）を適用し、１枚の画像に対して任意の時刻における画像を順次作成する。偏微分方程式式は、有限差分法により離散化され、計算される。

ワーピング法がフレーム間で１画素対１画素の対応で次フレームの画像を生成するものであり数学的な表現に留まっているのに対し、移流方程式はフレーム間で複数の画素対１画素の対応で画像を生成するものであり、次フレームにおける各画素に対して近傍画素の情報が次々に反映する物理表現が含まれている。なお、本願に関連する技術文献としては以下のものがある。
特開２００４−３３４６９４号公報 B.K.P.Horn and B.G.Schunck, "Determining Optical Flow",Artifical Intelligence, vol. 17, no.1, pp.185-203, 1981. 田村秀行監修、日本工業技術センター編、"コンピュータ画像処理入門"、総研出版 上坂吉則、尾関和彦、"パターン認識と学習のアルゴリズム"、文一総合出版 長尾智晴、"最適化アルゴリズム"、昭晃堂 H.K.Lee and J.H.Kim, "An HMM-based threshold model approach for gesture recognition", IEEE Trans. PAMI, vol.21, no. 10, pp.961-973, 1999. 中川徹、小柳義夫、"最小二乗法による実験データ解析"、東京大学出版会、１９９５． 池田駿介、"流体の非線形現象−数理解析とその応用−"、朝倉書店 T.Yabe and T.Aoki, "A universal solver for hyperbolic equations by cubic-polynomial interpolation l. One-dimensional solver", Computer Physics Communications 66, North-Holland, pp.219-232, 1991.

しかしながら、特許文献１では、木や水面といった複雑でリアルな動きをするオブジェクトの画像について、実在感のある動きを与えることについては何ら考慮されていない。

また、移流方程式を用いる場合には、１枚の画像から次フレーム以降の複数の画像を生成するために再帰的に繰り返し計算を行うことになるが、数値誤差拡散の影響により画像がぼやけたり、不安定減少により振動状の模様が発生するという問題がある。これは、特に高速化を図るときに必ず生じる。

本発明は、上記に鑑みてなされたものであり、その課題とするところは、１枚の画像から実在感のある動画を生成可能にすることにある。

本発明の別の目的は、移流方程式を用いた場合の数値誤差拡散による画質劣化を防止することにある。

第１の本発明に係る動画生成装置は、時系列の画像と当該画像を用いて得られた速度場情報とを対応付けて記憶しておく記憶手段と、画像の入力を受け付ける入力手段と、入力された画像に類似する画像を前記記憶手段から検索し、検索された画像に対応する速度場情報を前記記憶手段から読み出す検索手段と、入力された画像および読み出された速度場情報を、時間項および移流項を有する偏微分方程式の移流項に代入し処理することで動画を生成する生成手段と、を有することを特徴とする。

本発明にあっては、時系列画像とその画像を用いて得られた速度場情報とを対応付けて記憶しておき、入力された画像から動画を生成する際に、入力された画像に類似する画像を検索し、この類似の画像に対応する速度場情報を時間項および移流項を有する偏微分方程式の移流項に代入し処理することで、入力された画像に適した速度場情報を用いて偏微分方程式が処理されるので、入力された画像に適した動画の生成が可能となる。なお、記憶手段は、例えば磁気記憶装置、光ディスク装置、メモリ等に相当する。

ここで、前記移流項は、速度成分と画像強度の空間１次微分との積で表されるものとし、前記速度場情報を当該速度成分に入力することが、動画生成の精度を確保するうえで望ましい。

また、前記検索手段は、入力された画像と時系列の画像との類似度を相関関数を用いて計算し、当該類似度に基づいて類似の画像を検索することが、類似画像の検索精度を確保するうえで望ましい。

上記動画生成装置は、前記記憶手段から時系列の画像を読み出し、当該画像にオプティカルフロー法を適用して速度場情報を検出し、当該速度場情報を時系列の画像に対応付けて記憶手段に記憶させる速度場検出手段を有することを特徴とする。

本発明にあっては、時系列画像にオプティカルフロー法を適用して検出した速度場情報を、入力された画像の動画を生成する際の速度場情報として利用することで、動きが単純な動画を容易に生成することが可能となる。

上記動画生成装置は、前記記憶手段から時系列の画像およびこれに対応する速度場情報を読み出し、これらを画像と係数の入力に対して速度場情報を出力する入出力関数に代入して係数を学習し、時系列の画像と当該係数とを対応付けて記憶手段に記憶させ、前記検索手段により検索された類似の画像に対応する係数を記憶手段から読み出し、前記入力された画像および読み出された係数を前記入出力関数に代入し速度場情報を算出して記憶手段に記憶させる学習手段を有し、前記検索手段は、前記学習手段により算出された速度場情報を当該記憶手段から読み出すことを特徴とする。

本発明にあっては、時系列画像と速度場情報を、画像と係数の入力に対して速度場情報を出力する入出力関数にそれぞれ代入して係数を学習し、入力された画像とこの係数を入出力関数に代入することにより、入力された画像についてより適切な速度場情報を算出し、この速度場情報を偏微分方程式の移流項に代入して動画を生成することで、動きが複雑な対象物の画像についても適切な動画を生成することが可能となる。

上記動画生成装置において、前記動画生成手段は、前記偏微分方程式をＣＩＰ法による離散解法を適用して解くことを特徴とする。

本発明にあっては、ＣＩＰ法による離散解法を適用して偏微分方程式を解くことで、３次補間関数により隣接する画素がもつ値が補間されるので、数値誤差の抑制が可能となる。

第２の本発明に係る動画生成方法は、時系列の画像と当該画像を用いて得られた速度場情報とを対応付けて記憶手段に記憶しておくステップと、入力手段により画像の入力を受け付けるステップと、検索手段により、入力された画像に類似する画像を前記記憶手段から検索し、検索された画像に対応する速度場情報を前記記憶手段から読み出すステップと、生成手段により、入力された画像および読み出された速度場情報を、時間項および移流項を有する偏微分方程式の移流項に代入し処理することで動画を生成するステップと、を有することを特徴とする。

第３の本発明に係る動画生成プログラムは、時系列の画像と当該画像を用いて得られた速度場情報とを対応付けて記憶手段に記憶させておく処理と、画像の入力を受け付ける入力処理と、入力された画像に類似する画像を前記記憶手段から検索し、検索された画像に対応する速度場情報を前記記憶手段から読み出す検索処理と、入力された画像および読み出された速度場情報を、時間項および移流項を有する偏微分方程式の移流項に代入し処理することで動画を生成する生成処理と、をコンピュータに実行させることを特徴とする。

本発明によれば、入力された１枚の画像について実在感のある動画を生成することができる。また、数値誤差拡散による画質劣化を防止することができる。

図１は、一実施の形態における動画生成装置の構成を示すブロック図である。同図の動画生成装置１は、入力部１１、速度場検出部１２、速度場学習部１３、速度場検索部１４、動画生成部１５、表示部１６、記憶装置１７を有する構成である。動画生成装置１は、演算処理装置、記憶装置、メモリ等を備えたコンピュータで構成され、各部の処理はプログラムによって実行される。このプログラムは記憶装置１７に記憶されており、演算処理装置が読み出して実行する。

本動画生成装置１は、その特徴として、入力部１１により入力された１枚の画像に対して、動画生成部１５において時間項・移流項を有する偏微分方程式を処理することにより動画を生成する際に、移流項における速度成分として、速度場検出部１２により別の時系列画像を用いて予め検出しておいた速度場情報あるいは速度場学習部１３により別の時系列画像等を用いて学習した速度場情報のうち、その１枚の画像に類似する時系列画像に対応する速度場情報を用いることで、実在感のある動画を生成するものである。以下、各部での処理について詳細に説明する。

入力部１１は、時系列画像をカメラやデータベースから受け取って記憶装置１７に記憶させる。また、動画生成対象の１枚の画像の入力を受け付けて記憶装置１７に記憶させる。

速度場検出部１２は、記憶装置１７から時系列画像を読み出し、この画像にオプティカルフロー法（非特許文献１参照）を適用して速度場情報を検出し、この速度場情報をその時系列画像に対応付けて記憶装置１７に記憶させる。具体的には、速度場検出部１２は、図２に示すように、２枚の画像を比較することで移動対象物の動きの大きさと方向を示す速度ベクトルを速度場情報として検出する。同図（ａ）は例えば時刻ｎにおける波の画像、同図（ｂ）は時刻ｎ＋１における波の画像、同図（ｃ）は（ａ）と（ｂ）の画像を用いて得られる速度場情報を画像により示す図であり、矢印はその画素点での動きの大きさと方向を表している。また、別の例としては、図３に示すように、同図（ａ）の小さい星の画像と同図（ｂ）の大きい星の画像を比較することで、同図（ｃ）に示す星の形状の変化を示す速度場ベクトルを検出する。オプティカルフロー法は、動きが比較的単純な移動対象物について速度場情報を検出するのに適している。

速度場検索部１４は、入力部１１により動画生成対象の１枚の画像が入力された場合に、この画像に類似する時系列画像を記憶装置１７から検索し、検索された類似の画像に対応する速度場情報を記憶装置１７から読み出す。具体的には、入力された画像と時系列画像との類似度を相関関数を用いて計算し、この類似度に基づいて画像を検索する。例えば、類似度が最も高い画像を検索するようにする。この相関関数には、例えば非特許文献２の第１５０頁の式（５．３４）に記載の正規化相関関数を用いる。この式は次のように示されている。

本実施の形態においては、ｆは入力された画像、ｔは時系列画像とし、出力ｍ^＊（ｕ，ｖ）においてはｕ＝ｖ＝０とする。出力ｍ^＊（０，０）は、０〜１の範囲で類似度を表し、０のとき全く似ていないことを示し、１のとき一致することを示す。通常は、閾値を設定し、例えばｍ^＊（０，０）＞０．８のとき類似していると判断する。

速度場検索部１４は、この相関関数を用いて類似度を計算する際に、図４に示すように、入力された画像４００と時系列画像４１０をそれぞれ複数のサブブロックに分割する。同図では一例として各画像を４つに分割した状態を示す。そして、入力された画像４００の１つのサブブロックについて、時系列画像４１０における全てのサブブロックとの類似度を求め、最も類似度が高い時系列画像を１つ検索する。続いて、この検索された類似の画像に対応する速度場情報４２０を記憶装置１７から読み出して、動画生成部１５へ送る。

速度場学習部１３は、時系列画像とこれにオプティカルフロー法を適用して求めた速度場情報とを記憶装置１７から読み出し、ニューラルネット（非特許文献３，４参照）等を適用して更に精度の高い速度場情報を求め、記憶装置１７に記憶させる。ニューラルネットを適用するときの具体的な処理は次のようになる。

ここでは、非特許文献４の第１０５頁に記載の式（８．１）を用いる。この式は次のように示されている。

ここで、ｎは画素数、θは所定の閾値である。本実施の形態においては、関数ｆ（ｘ）は、画像Ｏと重み結合係数ｗの入力に対して速度場情報ｙを出力する入出力関数である。入出力関数ｆ（ｘ）には、例えば非特許文献４の式（８．７）に示されるような次式のシグモイド関数が用いられる。

速度場学習部１３は、式（２）のＯに時系列画像を代入するとともに、ｙにオプティカルフロー法で求めた速度場情報を代入する。この速度場情報としては、例えば図５に示すような、画像Ｏと同じ画素数をもつ２次元画像として表現できるものを用いる。そして、非特許文献４にも記載があるように、式（２）に対して例えば最急降下法を用いて一定の収束条件を満たすまで処理を繰り返すことで、重み結合係数ｗを決定する。これを学習過程という。学習で得られた重み結合係数ｗは記憶装置１７に記憶させておく。

そして、入力部１１により動画生成対象の１枚の画像が入力され、速度場検索部１４により、この画像に類似する時系列画像が記憶装置１７から検索されたときに、速度場学習部１３は、この検索された類似の画像に対応する重み結合係数ｗを記憶装置１７から読み出し、式（２）に対して、入力された画像をＯに、読み出された重み結合係数をｗにそれぞれ代入して、入力された画像に適した速度場情報ｙを算出し、記憶装置１７に記憶させる。速度場検索部１４は、この速度場情報ｙを記憶装置１７から読み出して、動画生成部１５へ送る。

なお、速度場学習部１３では、係数の学習手法としてニューラルネットのほか、ＨＭＭ法（Hidden Markov Model、非特許文献５参照）や最小二乗法（非特許文献６参照）を適用してもよい。ＨＭＭ法では、推移行列の要素が係数に相当する。最小二乗法では、時系列画像と係数の入力に対して速度場情報を出力する線形和結合モデルをつくり、この係数を最小二乗法により求める。それぞれの手法により用いた係数の利用の仕方は、上記で説明したニューラルネットにおける重み結合係数と同様である。

動画生成部１５は、入力された画像と、記憶装置１７から読み出された速度場情報とを時間項・移流項を有する偏微分方程式に代入して動画を生成する。ここで用いる速度場情報は、速度場検出部１２あるいは速度場学習部１３により求められたものであって、入力された画像に類似する時系列画像に対応した速度場情報である。速度場検出部１２と速度場学習部１３のいずれにより求められた速度場情報を用いるかは、入力された画像に基づいて判断する。例えば、入力された画像の動きが簡単な場合には速度場検出部１２によるものを利用し、入力された画像の動きが複雑な場合には速度場学習部１３によるものを利用する。

時間項・移流項を有する偏微分方程式は次式で表される（非特許文献７参照）。

ここでは、画素を（ｘ，ｙ）、離散化した時間をｎとして、画像強度をＩ（ｘ，ｙ，ｎ）と定義する。時間係数Δｔはここでは１．０とする。Ｕは２次元速度場ベクトルであり速度場情報により与えられる。▽は１次の空間微分演算子、・はベクトル内積である。式（４）の左辺第１項は時間項、左辺第２項は移流項である。

本実施の形態では、上記の偏微分方程式をＣＩＰ法（Cubic Interpolation Profile、非特許文献８参照）による離散解法を適用して解く。ここでは、説明の便宜上、式（４）を次式のように１次元に置き換えて説明する。

ここで、ｆは１次元量であり、画像強度に相当する。ｕは速度場ベクトルである。ある画素点ｉの画像強度をｆ_ｉ、ｆ_ｉの微分値をｇ_ｉ＝∂ｆ_ｉ／∂ｘと記す。ここで、２画素間の３次補間関数を次のように定義する。

Ｆ_ｉ（ｘ）は［ｉ−１，ｉ］の間の関数とする。Ｆ_ｉ（ｘ）の値とその微分値を次のようにおく。

上記の関係から次式を得る。

時刻ｎ＋１での画像は、時刻ｎでの画像をｕ・Δｔだけ移流させたものであることから次式を得る。

このようにして、ＣＩＰ法により、時刻ｎにおける画像から時刻ｎ＋１における画像ｆ^ｎ＋１が得られる。

次に、比較例として上記の偏微分方程式を差分法により求める場合の処理について説明する。ここでは、式（４）を次のように変形する。

計算手法は、式（１７）を差分法により離散化し、２次元画像面および離散時間軸に沿って再帰的に計算を繰り返す。画像強度Ｉの初期値は、入力部１１に入力された１枚の画像とする。所定の時間に相当する分だけ繰り返し計算することで、必要なだけ移動させた画像が得られる。

表示部１６は、動画化された画像を各種の手法により表示する。図６は、学習によって得られた速度場情報を用いて１枚の木の画像を動画化した例を示す図であり、図７は、学習によって得られた速度場情報を用いて人の唇の画像を動画化した例を示す図である。図８は、学習によって得られた速度場情報を用いて波の画像を動画化した例を示す図である。

それぞれの画像は、図６では別の木の時系列画像、図７では別の唇の時系列画像、図８では別の波の時系列画像を用いてそれぞれ予め係数を学習しておき、入力された画像に一番類似する画像に対応する係数を用いて得られた速度場ベクトルを適用したものである。ただし、対象物の移動の方向や大きさは様々にあることから、速度場ベクトルを線形アフィン変換し、入力された画像に応じて試行錯誤的にアフィン行列の要素を決定して反映させることが望ましい。

図９は、学習によって得られた風の速度場ベクトルを木９００と雪９１０が表現された静止画に適用し、木９００に揺らぎを与えつつ雪９１０が風により飛ばされる様子を動的に表現した例である。

次に、実施例のＣＩＰ法を適用したときの画質改善の効果について、比較例の差分法との比較により説明する。図１０は、実施例による画像生成の様子を示す図であり、同図の破線は入力された元の画像のプロファイル、実線は理想的な生成画像のプロファイル、黒丸はＣＩＰ法により移流方程式を解いて生成した画像のプロファイルである。元の画像のプロファイルは矩形波と三角波を表現したものであり、移流方程式の速度成分には右方向へ移動する速度場ベクトルを与えた。矩形波は画像のエッジ部分の保存性を、三角波は最大値の保存性をそれぞれ調べるために用いた。図１１は、比較例による画像生成の様子を示す図であり、同図の黒丸は差分法により移流方程式を解いて生成した画像のプロファイルである。同図の破線および実線は図１０のものと同一である。差分法では、再帰的な演算を１０００回行った時点の結果を示している。

図１０と図１１を比較すると、差分法では、図１１の破線丸印中に示されるように、誤差拡散によって矩形波のエッジ部分に乱れが生じている。これに対し、ＣＩＰ法では、図１０の破線丸印中に示されるように、そのような乱れは生じておらず、初期のプロファイルをほぼそのまま維持した状態で各波形が移動していることが確認された。これは、ＣＩＰ法は画像の不自然な乱れを抑制できる効果が高いことを示している。

図１２は、本動画生成装置１をグラフィカル・ユーザ・インタフェース（ＧＵＩ：Graphical User Interface）に適用した場合に表示部１６が表示する画面の例である。同図に示すように、表示部１６は、木２１０と星２２０が表現された画像２００、星を示すアイコン２３０、太陽を示すアイコン２４０、光の放射を示すアイコン２５０をそれぞれ表示する。アイコン２３０は、星２２０に類似する画像を用いて得られた星の移動を示す速度場情報に対応しており、アイコン２４０は太陽の動きを示す速度場情報に、アイコン２５０は星２２０に類似する画像を用いて得られた光放射の動きを示す速度場情報にそれぞれ対応している。ユーザがマウスを用いて画面内の星２２０を指定した上でアイコン２３０を指定すると、本動画生成装置１は、アイコン２３０に対応する速度場情報を記憶装置から読み出して移流方程式に代入し、星２２０の移動を示す動画を生成して画面に表示する。また、ユーザがマウスを用いて画面内の星２２０を指定した上でアイコン２５０を指定した場合には、アイコン２５０に対応する速度場情報を記憶装置から読み出して移流方程式に代入し、星２２０の光放射を示す動画を生成して画面に表示する。このように、１枚の画像に対し、関連する動きをメニューから選択して動画を生成することが可能となる。

したがって、本実施の形態によれば、記憶装置１７に時系列画像とその画像を用いて得られた速度場情報とを対応付けて記憶しておき、入力部１１により入力された画像から動画を生成する際に、速度場検索部１４により、入力された画像に類似する時系列画像を検索し、動画生成部１５により、この類似の画像に対応する速度場情報を時間項および移流項を有する偏微分方程式の移流項に代入し処理することで、入力された画像に適した速度場情報を用いて偏微分方程式が処理されるので、実在感のある動画の生成が可能になる。

本実施の形態によれば、速度場検出部１２により時系列画像にオプティカルフロー法を適用して検出した速度場情報を、入力された画像の動画を生成する際の速度場情報として利用することで、動きが単純な動画を容易に生成することができる。

本実施の形態によれば、速度場学習部１３により、時系列画像と速度場情報を、画像と係数の入力に対して速度場情報を出力する入出力関数にそれぞれ代入して係数を学習し、入力された画像とこの係数を入出力関数に代入することにより、入力された画像についてより適切な速度場情報を算出し、この速度場情報を偏微分方程式に代入して動画を生成することで、動きが複雑な対象物の画像についても適切な動画を生成することができる。

本実施の形態によれば、動画生成部１５により、ＣＩＰ法による離散解法を適用して偏微分方程式を解くことで、３次補間関数により隣接する画素がもつ値が補間され、画素間での速度変化が大きくても画像強度が安定するので、数値誤差を抑制することができる。また、時間刻み幅を大きくとれるので、高速化を実現することができる。

本実施の形態によれば、本動画生成装置１をＧＵＩに適用することで、１枚の画像に対し、関連する動きをメニューから選択して動画を生成でき、初心者であっても実在感のある複雑な動きを示す動画を一枚の画像から短時間で生成することができ、動画生成の生産効率を向上させることができる。

なお、入力部１１により入力する画像としては、実写画像のほか、様々な画像を用いることができ、例えばコンピュータグラフィックスにより生成した人工的な画像でもよい。

一実施の形態における動画生成装置の構成を示すブロック図である。 波の時系列画像にオプティカルフロー法を適用して速度場情報を求める様子を示す図であり、同図（ａ）は時刻ｎの画像、（ｂ）は時刻ｎ＋１の画像、（ｃ）は（ａ）と（ｂ）の画像から得られる速度場情報としての速度ベクトルを示す。 星型の画像にオプティカルフロー法を適用して速度場情報を求める様子を示す図であり、同図（ａ）は時刻ｎの星型画像、（ｂ）は時刻ｎ＋１の星型画像、（ｃ）は（ａ）と（ｂ）の画像から得られる速度場情報としての速度ベクトルを示す。 入力された画像に対して類似する画像を検索し、検索された類似の画像に対応する速度場情報を読み出す処理を説明するための図である。 学習の対象としてオプティカルフロー法を適用して求めた速度場情報を示す図である。 木の画像から生成した動画の例を示す図である。 唇の画像から生成した動画の例を示す図である。 川の画像から生成した動画の例を示す図である。 木と雪の画像に対して木に揺らぎを与え雪を風で動かした例を示す図である。 実施例による画像生成の様子を示す図であり、同図の破線は入力された元の画像のプロファイル、実線は理想的な生成画像のプロファイル、黒丸はＣＩＰ法により移流方程式を解いて生成した画像のプロファイルである。 比較例による画像生成の様子を示す図であり、同図の破線は入力された元の画像のプロファイル、実線は理想的な生成画像のプロファイル、黒丸は差分法により移流方程式を解いて生成した画像のプロファイルである。 本動画生成装置をＧＵＩに適用した場合の表示画面の例を示す図である。

符号の説明

１…動画生成装置
１１…入力部
１２…速度場検出部
１３…速度場学習部
１４…速度場検索部
１５…動画生成部
１６…表示部
１７…記憶装置

Claims (7)

1. 時系列の画像と当該画像を用いて得られた速度場情報とを対応付けて記憶しておく記憶手段と、
   画像の入力を受け付ける入力手段と、
   前記記憶手段から時系列の画像およびこれに対応する速度場情報を読み出し、これらを画像と係数の入力に対して速度場情報を出力する入出力関数に代入して係数を学習し、時系列の画像と当該係数とを対応付けて記憶手段に記憶させておき、前記入力手段により入力された画像に類似する画像を記憶手段から検索し、当該検索された画像に対応する係数を記憶手段から読み出し、前記入力された画像および読み出された係数を前記入出力関数に代入し速度場情報を算出して記憶手段に記憶させる学習手段と、
   前記入力された画像について前記学習手段により算出された速度場情報を前記記憶手段から読み出す検索手段と、
   前記入力された画像および前記算出された速度場情報を、時間項および移流項を有する偏微分方程式の移流項に代入し処理することで動画を生成する生成手段と、
   を有することを特徴とする動画生成装置。
2. 前記移流項は、速度成分と画像強度の空間１次微分との積で表されるものであって、前記速度場情報は当該速度成分に代入されることを特徴とする請求項１記載の動画生成装置。
3. 前記検索手段は、入力された画像と時系列の画像との類似度を相関関数を用いて計算し、当該類似度に基づいて類似の画像を検索することを特徴とする請求項１又は２記載の動画生成装置。
4. 前記記憶手段から時系列の画像を読み出し、当該画像に対してオプティカルフロー法を適用して速度場情報を検出し、当該速度場情報を時系列の画像に対応付けて記憶手段に記憶させる速度場検出手段を有することを特徴とする請求項１乃至３のいずれかに記載の動画生成装置。
5. 前記動画生成手段は、前記偏微分方程式をＣＩＰ法による離散解法を適用して解くことを特徴とする請求項１乃至４のいずれかに記載の動画生成装置。
6. 時系列の画像と当該画像を用いて得られた速度場情報とを対応付けて記憶手段に記憶しておくステップと、
   入力手段により画像の入力を受け付けるステップと、
   学習手段により、前記記憶手段から時系列の画像およびこれに対応する速度場情報を読み出し、これらを画像と係数の入力に対して速度場情報を出力する入出力関数に代入して係数を学習し、時系列の画像と当該係数とを対応付けて記憶手段に記憶させておき、前記入力手段により入力された画像に類似する画像を前記記憶手段から検索し、当該検索された画像に対応する係数を記憶手段から読み出し、前記入力された画像および読み出された係数を前記入出力関数に代入し速度場情報を算出して記憶手段に記憶させるステップと、
   検索手段により、前記入力された画像について前記学習手段により算出された速度場情報を前記記憶手段から読み出すステップと、
   生成手段により、前記入力された画像および前記算出された速度場情報を、時間項および移流項を有する偏微分方程式の移流項に代入し処理することで動画を生成するステップと、
   を有することを特徴とする動画生成方法。
7. 時系列の画像と当該画像を用いて得られた速度場情報とを対応付けて記憶手段に記憶させておく処理と、
   画像の入力を受け付ける入力処理と、
   前記記憶手段から時系列の画像およびこれに対応する速度場情報を読み出し、これらを画像と係数の入力に対して速度場情報を出力する入出力関数に代入して係数を学習し、時系列の画像と当該係数とを対応付けて記憶手段に記憶させる処理と、
   前記入力処理により入力された画像に類似する画像を前記記憶手段から検索し、当該検索された画像に対応する係数を記憶手段から読み出し、前記入力された画像および読み出された係数を前記入出力関数に代入し速度場情報を算出して記憶手段に記憶させる学習処理と、
   前記入力された画像について前記学習処理により算出された速度場情報を前記記憶手段から読み出す検索処理と、
   前記入力された画像および前記算出された速度場情報を、時間項および移流項を有する偏微分方程式の移流項に代入し処理することで動画を生成する生成処理と、
   をコンピュータに実行させることを特徴とする動画生成プログラム。

Images