JP6302045B2 - 動画処理方法、動画処理装置、及び動画処理プログラム - Google Patents

Description

本発明は、動画処理技術に関する。

近年、多様な映像表現に対するニーズが高まっている。これを可能とするため、従来より種々の画像処理方法が開発されている。例えば、ビデオ画像に水彩画風の処理を施す方法が提案されている（例えば、非特許文献１参照）。この方法では、水彩画風のタッチを与えるためのテクスチャ画像をビデオシーケンスに合わせて動かし、順方向と逆方向に流れていく移流テクスチャを生成し、合成する。一方向のみに流れる移流動画を用いると、フレーム（時間）が進むにつれて画像の伸び（歪み）が大きくなり、元のテクスチャ画像から離れたものになるが、双方向の移流を合成することで画像の伸びを軽減する。

図１は、従来の移流動画の合成方法を示す。縦軸は重みを表わし、横軸は時間を表わしている。従来法では、１周期（τ）の中で、最初のフレームは順方向の動画（移流テクスチャ）のみ、最後のフレームは逆方向の動画（移流テクスチャ）のみになるように重みを設定し、間のフレームは線形補間により順方向と逆方向の重みを設定する。

Adrien Bousseau et al. "Video Watercolorization using Bidirectional Texture Advection", ACM Transaction on Graphics (Proceedings of SIGGRAPH 2007), Volume 26, Nuimber3, 2007

従来の動画処理技術では、処理後の動画に局所的な伸びやぼやけが発生し、自然な映像表現が得られないことがある。特に、ｔ＝τ／２付近のフレームでは、２方向の移流画像を同程度の重みで重ね合わせることになり、周期端のフレームと比べて、ぼやけた（オーバーラップした）合成動画となることが多い。

そこで、本発明は、入力される動画または映像に視覚的な処理を施す際に、局所的な伸びやぼやけを抑制して自然な映像表現を実現することを課題とする。

上記の課題を実現するために、本発明の第１の側面では、動画処理方法は、
動画処理装置において、入力動画の移流ベクトルを取得し、
前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、
前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成し、
前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
ステップを含むことを特徴とする。

第２の側面では、動画処理方法は、
動画処理装置において、入力動画の移流ベクトルを取得し、
前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画と、を生成し、
前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成し、
前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
ステップを含むことを特徴とする。

第３の側面では、動画処理方法は、
動画処理装置において、入力動画からオプティカルフローを算出し、
前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
前記２種類以上の移流動画を合成して合成移流動画を生成し、
前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成するステップを含み、
前記オプティカルフローの算出は、
前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
ことを特徴とする。

上述した手法のいずれによっても、入力される動画または映像に視覚的な処理を施す際に、局所的な伸びやぼやけが抑制されて自然な映像表現を得ることができる。

従来の移流テクスチャの合成方法を説明する図である。 実施形態の動画処理方法のフローチャートである。 実施形態の動画処理方法の変形例のフローチャートである。 実施形態で用いるノイズ画像の例を示す図である。 実施形態のノイズ動画の合成方法を説明する図である。 実施形態で用いる入力動画の例を示す図である。 図５の入力動画に対して、実施形態の動画処理を施して得られる映像を示す図である。 比較例として、図５の入力動画に対して先行技術文献に記載の処理を施して得られる映像を示す図である。 オプティカルフロー作成における第１の改良ブロックマッチングを説明する図である。 オプティカルフロー作成における第２の改良ブロックマッチングを説明する図である。 実施形態の動画処理装置の機能ブロック図である。

以下で、図面を参照して本発明の実施形態を説明する。実施形態では、入力される動画に対してアート風のタッチを与える処理を行う。

図２Ａは、実施形態の動画処理方法のフローチャート、図２Ｂは、その変形例である。図２Ａでは、入力されるビデオ画像（以下、「入力動画」と称する）からオプティカルフローを生成して移流ベクトルを取得するのに対し、図２Ｂではあらかじめ準備されたベクトルデータを移流ベクトルとして用いる。図２Ａと図２Ｂで共通するステップには同じ符号を付して、説明を共通にする。これらの例では、入力動画にアート風のタッチを与える処理用画像として「ノイズ画像」を用いる。ノイズ画像を時間軸に沿って移流させた移流動画を「ノイズ動画」と称する。また、ノイズ動画を用いて加工処理が施された動画の一例として、水彩画風の動画を作成する。

図２Ａと図２Ｂで共通する処理の流れは以下のようになる。
（１）入力動画の準備（Ｓ１１）
（２）移流ベクトルの取得（オプティカルフローの算出（図２ＡのＳ１２）または既存のベクトルデータの使用（図２ＢのＳ２１））
（３）処理用動画（ノイズ動画）の作成（Ｓ１３及びＳ１４）
（４）処理用動画（ノイズ動画）の合成（Ｓ１５）
（５）加工処理がされた動画の作成（Ｓ１６）
以下で、各工程について、詳しく説明する。
（１）入力動画の準備
まず、Ｓ１１で加工処理の対象となる入力動画を準備する。入力動画の種類に制限はない。入力画像は、例えばビデオ撮影された画像であってもよいし、アニメーション動画であってもよい。入力動画は、風景動画を含んでもよいしキャラクターを含んでもよい。
（２）移流ベクトルの取得
移流ベクトルは、時間的に連続する視覚表現（ビデオシーケンス）の中で物体の動きをベクトルで表したものである。入力動画が例えばユーザによって撮影されたビデオ画像や購入されたアニメーション等である場合、図２Ａに示すように、入力動画からオプティカルフローを導出する（Ｓ１２）。オプティカルフロー導出の詳細については、後述する。入力動画が一部のコンピュータグラフィクス等のように、あらかじめ準備されたベクトルデータが存在する場合は、図２Ｂに示すように既存のベクトルデータを移流ベクトルとして用いることができる（Ｓ２１）。
（３）処理用動画（ノイズ動画）の作成
次に、移流ベクトルを用いて、入力動画に処理を施すための処理用動画（ノイズ動画）を作成する。まず、処理用動画のもととなる処理用画像を準備する（Ｓ１３）。実施形態では、図３に示す「ノイズ画像」を用いて入力動画に水彩画風のタッチを与えるが、処理用画像の種類に制限はない。例えば、抽象画タッチ、ポップアート風タッチ、油絵タッチ、パステルタッチなどに応じて、適切なノイズ画像を選択することができる。

選択したノイズ画像を、移流ベクトルに基づいて順方向と逆方向にそれぞれ動かすことにより、少なくとも２種類のノイズ動画を作成する（Ｓ１４）。

順方向のノイズ動画は、例えば、以下のようにして作成する。まず、最初のフレームにノイズ画像をセットする。引き続くフレームにおいて、ピクセルごとに、移流ベクトルに基づいて前のフレームのピクセルの参照先を求め、参照先のピクセルの色をセットする。参照先の座標は常に整数値になるとは限らないため、適当な補間方法を用いて、ピクセルにセットする色を決定する。補間方法としては、例えば、ニアレストネイバー（nearest neighbor）法、バイリニア（bilinear interpolation）法、バイキュービック（Bicubic）法などを用いることができる。この作業をすべてのフレームについて繰り返すことで、ノイズ画像が順方向に流れていくノイズ動画が作成される。

逆方向のノイズ動画は、例えば、以下のようにして作成する。最後のフレームにノイズ画像をセットする。次に、その前のフレームを逆順に求めていく。これを繰り返すことにより、ノイズ画像が逆方向に流れていくノイズ動画が作成される。

ノイズ動画は、あらかじめ作成して保持しておくこともできるが、大量のメモリが必要となり得る。そのため、ノイズ動画の作成は、後述するノイズ動画の合成を行う段階で行ってもよい。この場合、順方向と逆方向のノイズ動画を別途作成、保存することなく合成することが可能となり、必要なメモリ量が低減される。
（４）処理用動画（ノイズ動画）の合成
次に、順方向のノイズ動画と逆方向のノイズ動画を合成する（Ｓ１５）。上述のように、一方向のみのノイズ動画を用いた場合、フレーム（時間）の進行につれて画像がどんどん伸びていく。順方向のノイズ動画と逆方向のノイズ動画を合成することで、合成後のノイズ動画の伸びを軽減できる。また、動画の途中でオブジェクトが入ってくる、または出ていく場合、一方向のノイズ動画のみでは正しい移流画像を得ることができない。順方向と逆方向のノイズ動画を合成することにより、一方向のみのノイズ動画から生じるエラーを軽減することができる。

ノイズ動画を合成する場合、動画を複数の周期に分ける。この１周期をτ（frame）とする。τの値は、典型的には１５〜６０framesとし、好ましくは２５〜４０framesとする。τの値を小さくすると計算時間を短縮し、伸びも軽減できる。しかしながら、τの値を過度に小さくすると、全体的に動きが少なくなり、動画がサイクリックに見えてしまう。

図１の従来の合成法では、１周期の中で最初のフレームは順方向のノイズ動画のみ、最後のフレームは逆方向の動画のみとなる。フレームが進むにつれ、順方向のノイズ動画の重みは小さくなり、逆方向のノイズ動画の重みが大きくなる。この合成法は、式（１）で表される。

ここで、Ｎ(t)は合成後のノイズ動画、ｔは時間、τは１周期あたりのフレーム数、Ｎf(t)は順方向のノイズ動画、Ｎr(t)は逆方向のノイズ動画である。ｔ＝τ／２近傍のフレームでは、順方向のノイズ動画と逆方向のノイズ動画は、それぞれ０．５の重みで重ねられ、１周期の端部近傍のフレームと比較してぼやけた画像となる。

この問題を解決するために、３つの改良されたノイズ動画合成法を提案する。以下で述べる改良法は、それぞれ単独で用いてもよいし、２つ以上を組み合わせて用いてもよい。
（第１の改良法）
第１の改良法では、着目するピクセルの局所領域が、参照元の局所領域に比べてどのくらい伸びているか（または縮んでいるか）を調べる。伸びの検出は、例えば以下のようにして行う。まず、フレームｔにおける着目ピクセルＰ0(t)と、その局所領域に含まれるピクセルＰi(t)の間の距離をｄ(t)とする。また、もとのノイズ画像（フレーム０）におけるピクセルＰ0(0)とピクセルＰi(0)の間の距離をｄ(0)とする。ｄ(0)に対するｄ(t)の割合d(t)/d(0)が伸びの指標となる。この指標を、局所領域の他のすべてのピクセルについて算出し、平均を求める。これにより、着目するピクセルＰ0(t)の局所領域がどの程度伸びているか（または縮んでいるか）を算出する。

次に、式（２）に基づいて順方向のノイズ動画と逆方向のノイズ動画を合成する。

ここで、ｗf(t)とｗr(t)は、それぞれ、順方向と逆方向のノイズ動画に関する時間成分のみに依存する重み関数である。その関数形に制限はないが、例えば式（３）により与えられる。

式（２）におけるｈf（x,y,t）とｈr（x,y,t）は、それぞれ、順方向と逆方向のノイズ動画について求めた伸び成分（たとえば伸びの逆数）であり、時間と空間成分の両者に依存する。αは、伸び成分ｈf（x,y,t）とｈr（x,y,t）の寄与率を表わす定数である。αの値を１とするか、１未満（α＜１）とするか、１より大きくするか（α＞１）を決定することにより、ｗf(t)とｈf（x,y,t）のいずれを重視するか、ｗr(t)とｈr（x,y,t）のいずれを重視するかを調整することができる。式（２）の[ｈf(x,y,t)]^αと[ｈr(x,y,t)]^αは、各ピクセルでの伸びを補正する伸び補正係数を考えてよい。αは、好ましくは１／３から３までの範囲の定数であり、より好ましくは１／２から２の範囲の定数である。

αの値を調整することで、時間方向への調整と空間方向の調整のいずれを重視するかを選択することができる。時間方向だけではなく、空間方向にも伸びを抑制することができるので、自然な映像表現が実現される。
（第２の改良法）
第２の改良法では、コントラストの調整を行う。具体的には、合成後のノイズ動画のコントラストを、もとのノイズ画像のコントラストに近づける。まず、調整するピクセルの局所領域の輝度の平均μ_ｐと、標準偏差σ_ｐを求める。調整するピクセル自体の輝度をＰ_oldとする。また、調整するピクセルが参照している元画像のピクセルにおいても、対応する局所領域の輝度の平均μ_ｑと標準偏差σ_ｑを求める。このとき、調整後の輝度ｐ_newは、例えば式（４）で計算される。

これにより、調整するピクセルのコントラストが、元画像の対応するピクセルのコントラストと同程度になり、中間フレームでのぼやけ（オーバーラップ感）を軽減することができる。第２の改良法を用いることで自然な映像表現を実現することができる。
（第３の改良法）
第３の改良法では、３種類以上のノイズ動画を合成することにより、さらに自然な映像表現を実現する。３種類以上のノイズ動画のうちの２種類は、例えば、先に説明した順方向（ｔ＝０から開始）と逆方向（ｔ=τから開始）のノイズ動画を用いることができる。その他の１種類以上のノイズ動画としては、例えば、ｔ＝τ／２から開始する順方向のノイズ画像や、ｔ＝τ／２から開始する逆方向のノイズ画像を用いてもよい。

図４は、第３の改良法の一例を示す図である。順方向（ｔ＝０から開始）、逆方向（ｔ＝τから開始）、順方向（ｔ＝τ／２から開始）、及び逆方向（ｔ＝τ／２から開始）の４種類の位相の異なるノイズ動画を合成する。図４で、１周期の開始と終了の間のフレームについては線形補間により重みを設定しているが、重み付けの方法に制限はない。例えば、第１の改良法で述べたように、空間の伸び成分を考慮した重み付けを行ってもよい。

３種類以上のノイズ動画に重み付を行って合成することにより、周期の境界のフレーム（ｔ＝０及びｔ＝τ）が比較的目立ちにくくなる一方で、周期の中間のフレーム（ｔ＝τ／２）のぼやけた感じが軽減される。この方法によると、周期τが比較的短い場合や、オブジェクトの動きが速い場合でも、処置後の動画がサイクリックに見える問題が発生しにくくなる。また、この方法は、伸びの抑制やコントラストを均一にする効果もある。
（５）加工処理された画像の作成
Ｓ１１で準備した入力動画と、Ｓ１５で生成した合成ノイズ動画を重ね合わせて、加工処理された動画を生成する（Ｓ１６）。この例では、水彩画風の動画を生成する。各ピクセルで、入力動画の色をＣとし、合成ノイズ動画の色をＮとすると、加工処理された動画の色Ｃ’は、例えば式（５）で表わされる。

Ｃ’＝Ｃ［（１−（１−Ｃ）（Ｎ−０．５）］ （５）
このようにして、入力動画とノイズ画像から、加工処理が施された動画を生成することができる。

図５〜図７は、実施形態の合成方法の効果を示す図である。図５は入力動画の画像、図６は実施形態の方法により加工処理された動画の画像、図７は比較例として先行技術文献の方法により水彩画処理を施した動画の画像である。いずれの画像も動画における中間フレーム（ｔ＝τ／２、τ＝３０）を抽出したものである。

図５の入力動画の輝度分布は、平均値が118.76であり、標準偏差は16.41である。

図６の加工処理された動画は、上述した第１の改良法により、式（２）の関数で合成されたノイズ動画を用いている。重み関数として、式（３）の関数を用い、α＝１．０として処理を行っている。順方向のノイズ画像と逆方向のノイズ画像のそれぞれでピクセルごとの伸びの逆数が乗算され、空間方向の伸びや歪が補正されている。その輝度分布は、平均値が118.41、標準偏差が15.65である。また、中間フレームでの画像のぼやけはほとんど観察されない。

これに対し、図７の比較例の輝度分布は、平均値が119.92、標準偏差は13.65であり、画像が全体的にぼやけている。輝度分布が中央に偏っており、入力動画との差分がぼやけとして表れている。

加工処理された動画は入力されたオリジナル動画にできるだけ近い輝度分布とコントラストを有することが望ましい。図５〜図７から、実施例の手法は入力動画の輝度分布をほぼ維持しながら、コントラスト変化の少ない加工処理を実現することがわかる。
（６）オプティカルフローの導出
次に、入力画像からオプティカルフローを作成する場合の処理（図２ＡのＳ１２）を説明する。オプティカルフローは、連続するビデオシーケンスの前後のフレーム間でピクセルごとに移流ベクトルを求める手法である。その導出方法に制限はないが、例えば、勾配法やブロックマッチング法が挙げられる。

勾配法は、前後のフレームでの時間軸方向と空間軸方向の勾配を求めることにより移流ベクトルを導出する手法である。この手法は高速であり、拡大、縮小、回転等の動きへの追随性も高い。

ブロックマッチング法は、後のフレームのピクセルを含むあるサイズのブロックが、前のフレームのどの部分に一番マッチするのかを求めることにより移流ベクトルを導出する手法である。この方法は、激しい動きに対する順応性が高く、ノイズにも強い。なお、より高速化されたピラミッド型ブロックマッチング法を採用してもよい。
＜改良ブロックマッチング法＞
発明者らは、オプティカルフローの導出方法として、以下に述べる改良ブロックマッチング法を開発した。この方法は、キャラクターのような動きが激しいオブジェクトを含む入力動画に対して特に有用である。

改良法では、輪郭（エッジ）部分のみブロックマッチング法でオプティカルフローを求め、間のピクセルのオプティカルフローは補間で求める。これにより、計算量を大幅に低減し、誤差を軽減する。エッジ検出はどのような方法で行ってもよい。具体的な方法として、例えばソーベルフィルタを用いる。

補間は、例えば、図８及び図９に示す方法で行うことができる。

図８は第１の補間法を示す。図８において、オブジェクト１は入力動画中で移動している。オブジェクト１の輪郭（エッジ）上にあるピクセルについては、公知のブロックマッチング法等により、そのオプティカルフローが計算されている。オブジェクト１の内部のピクセルＰ0のオプティカルフローを、補間により計算する。

まず着目するピクセルＰ0から距離ｒの範囲に存在するピクセルの中ですでに計算済のピクセルＰiを抽出する。半径ｒの領域内にあり、かつオブジェクト１の輪郭に存在する白丸のピクセルが、すでに計算済みのピクセルである。次に、抽出されたピクセルＰiのオプティカルフロー（ベクトル）に、Ｐ0との距離に応じた重み付をして足し合わせる。このベクトル和が着目ピクセルＰ0のオプティカルフローとなる。重み付けは、各ピクセルＰiについて、Ｐ0からの距離が小さいほど重みが大きくなるようにする。例えば、各ピクセルＰiにＰ0からの距離の逆数を乗算する。オブジェクト１の内部のピクセルについて、順次同様の補間処理を行う。この方法によると、着目ピクセルＰ0と位置的に近い計算済みピクセルＰiの影響が大きくなるため、全体的にスムーズな変位を得ることが可能となる。

図９は第２の補間法を示す。図８と同様に、移動するオブジェクト１の輪郭上のピクセルについては、公知のブロックマッチング法等によりオプティカルフローがすでに算出されている。まず、着目するピクセルＰ0から８方向にエッジがどこにあるのかを探索する。その探索により検出されたピクセルＰiを抽出する。図９で、白丸のピクセルが検出されたピクセルＰiである。検出されたピクセルＰiについて、第１の方法と同様の方法で重み付けと足し合わせを行ってベクトル和（オプティカルフロー）を導出する。オブジェクト１の内部のピクセルについて補間処理を順次行う。この方法によると、より短い計算時間でオプティカルフローを導出することが可能となる。なお、エッジ上のピクセルを抽出の方向は８方向に限定されず、４方向、１６方向、３２方向等であってもよい。

発明者らの実験によると、図８と図９のいずれの方法を用いた場合も、公知の勾配法やブロックマッチング法を用いた場合と比較して、計算時間を１／２〜１／３程度に短縮することができた。また、キャラクターのような動きが激しいオブジェクトを含む入力動画に加工処理を施す場合であっても、誤差の少ないより自然な映像表現をすることが可能となった。

オプティカルフロー導出におけるその他の改良点として、以下の処理が挙げられる。以下で述べる処理は、単独で用いても２つ以上組み合わせてもよく、また、上述したオプティカルフロー導出の改良法と併用してもよい。
（Ａ）確からしさのチェックによる異常値除去
この処理では、ピクセルごとにブロック領域と、求めた移流ベクトルが示すターゲット距離との距離（マッチ度）を計算する。この距離が過度に大きい場合、その移流ベクトルの算出結果は正しくないと判断される。その場合は、算出結果を用いずに、周囲のピクセルの移流ベクトルから補間して得られる移流ベクトルに置き換える。これにより異常値（エラー）を軽減する。
（Ｂ）正規分布による異常値除去
この処理では、チェックするピクセルＰ0の周囲に存在するピクセルの移流ベクトルを調べ、それらの平均と標準偏差を求める。求めた平均をμ、標準偏差をσとする。ピクセルＰ0の移流ベクトルの値がμ±σの範囲に収まっていない場合、この値は異常値であるとみなし、μに置き換える。これを、例えばｘ軸方向とｙ軸方向でそれぞれ行う。ピクセルＰ0の動きが周囲のピクセルと同じような動きになるため、異常値（エラー）を軽減できる。この処理はすべてのピクセルで行ってもよいし、一部のピクセルについて行ってもよい。
（Ｃ）フーリエ変換による振動の除去
オプティカルフローは２フレーム間における移流ベクトルを求める手法であるため、時間軸方向の移流ベクトルの連続性は保障されない。そのため、オプティカルフローの算出結果をそのままノイズ動画の作成に利用すると、時間を進めたときに動きが連続的にならず、振動したように見える現象が発生することがある。

そこで本手法では、移流ベクトル（オプティカルフロー）に時間軸方向でフーリエ変換を適用し、高周波成分を取り除いた後、逆フーリエ変換により時間領域に戻す。これにより振動を抑え、連続的で滑らかな動きを表現できる。フーリエ変換としてＦＦＴ（Fast Fourier Transform：高速フーリエ変換）を用いると、計算コストを抑えることができる。
（Ｄ）マッチングの改良
通常のブロックマッチング法では、ブロック領域とターゲット領域の距離（マッチ度）を計算する際に、ＳＳＤ（Sum of Square Difference：輝度値の差の二乗の合計）やＳＡＤ（Sum of Absolute Difference：輝度値の差の絶対値の合計）が用いられる。しかしながら、これらの手法では、画像の明るさが変わった場合にエラーが増大することばある。この問題を解消するために、本手法ではＺＮＣＣ（Zero mean Normalized Cross-Correlation：正規化相互相関）を用いてもよい。これにより、画像の明るさが変わる場合にも対応することができる。

図１０は、実施形態の動画処理装置１０の機能ブロック図である。画像処理装置１０は入力部１１と、出力部１２と、合成関数記憶部１４と、メモリ１５と、プロセッサ２０を有する。プロセッサ２０は、オプティカルフロー作成部２１と、ノイズ動画作成部２２と、ノイズ動画合成部２３と、動画合成部２５と、ベクトルデータ取得部２６を有する。オプティカルフロー作成部２１とベクトルデータ取得部２６で、移流ベクトル取得部を構成する。動画処理装置１０は、１種類以上のノイズ画像を保存するノイズ画像記憶部１３を有してもよいし、処理の都度、ノイズ画像を外部から取り込んでもよい。

入力部１１は、処理対象となる動画を入力する。入力部１１は、場合に応じて加工処理に用いるノイズ画像や、入力動画に対応する既存のベクトルデータを入力する。入力部１００は、ノイズ画像記憶部１３に保存されているノイズ画像から所望のノイズ画像をユーザに選択させるユーザインタフェースとしても機能する。

関数記憶部１４は、式（２）で表されるノイズ動画合成用の関数式を記憶する。また、式（３）で表される重み関数、式（４）で表される輝度調整関数、式（４）の色関数を格納してもよい。

メモリ１５は、プロセッサ２０を動作させるプログラムを格納するメモリと、プロセッサの処理中に用いられるワークエリアを有するメモリを含む。メモリ１５は、動画処理装置１０の内部で生成された、あるいは入力部１１を介して外部から入力されたコンピュータグラフィクス動画とそのベクトルデータを格納してもよい。

プロセッサ２０において、オプティカルフロー作成部２１は、入力動画に基づいてオプティカルフローを算出する。このとき、上述した改良ブロックマッチング法を用いて自然な映像表現を可能にするオプティカルフローを高速に算出する。

ベクトルデータ取得部２６は、入力動画に対応するベクトルデータがすでに存在する場合は、入力部１１を介して取得し、あるいはメモリ１５から読み出すことで、ベクトルデータを取得する。

ノイズ動画作成部２２は、入力部１１を介して入力される、あるいはノイズ画像記憶部１３から読み出されるノイズ画像にもとにして、ノイズ動画を生成する。ノイズ画像に対して、移流ベクトル（算出されたオプティカルフローまたは既存のベクトルデータ）を適用して時間軸に沿った順方向と逆方向の少なくとも２種類のノイズ動画を生成する。好ましくは、図４のように互いに向きと位相の異なる３種類以上のノイズ動画を生成する。

ノイズ動画合成部２３は、関数記憶部１４から式（２）の合成関数を読み出して、２種類以上のノイズ動画を合成する。式（２）の合成関数には、ピクセルごとに伸びを補償する補正係数が含まれるため、局所的な伸びやぼやけが低減された合成ノイズ動画が生成される。

動画合成部２５は、入力動画と合成ノイズ動画を重ね合わせて、加工処理が施された動画を生成し、出力部１２から処理済み動画を出力する。動画の出力先は、画像処理装置１０が有する表示部であってもよいし、外部のプロジェクタであってもよい。

画像処理装置１０は汎用コンピュータで実現することもできる。その場合、メモリ１５に動画処理プログラムを格納し、ＣＰＵを含むプロセッサ２０に上述した動画処理プロセスを実行させる。

以上述べたように、実施形態では、入力動画に加工処理を施すための移流動画を合成する際に、ピクセルごとの伸び（または歪み）を補正する。

また、時間軸に沿って方向（順方向と逆方向）と位相の異なる２種類以上のノイズ動画（移流動画）を生成し合成することで、局所的なぼやけを低減する。

さらに、入力ビデオ画像からオプティカルフローを生成する場合は、改良されたオプティカルフロー生成プロセスを用いる。

これらの特徴の一つまたは複数の組み合わせにより、入力ビデオ画像に加工処理を施す際に、より自然な映像表現が可能になる。

位相の異なる移流動画（ノイズ動画）を追加する場合、追加される移流動画は１周期の最初のフレームと最後のフレームの間の任意のフレームから順方向または逆方向に流れる動画である。たとえば、ｔ＝τ／３とｔ＝τ２／３から順方向または逆方向に流れる移流動画を生成してもよい。

本出願は、２０１４年３月７日に米国特許商標庁に出願された仮出願番号６１／９４９，６４６号に基づきその優先権を主張するものであり、同仮出願の全内容を参照することにより本願に援用する。

１０ 動画処理装置
１１ 入力部
１２ 出力部
１３ ノイズ画像記憶部
１４ 関数記憶部
１５ メモリ
２０ プロセッサ
２１ オプティカルフロー作成部（移流ベクトル取得部）
２２ ノイズ動画作成部（移流動画作成部）
２３ ノイズ動画合成部（移流動画合成部）
２５ 動画合成部
２６ ベクトルデータ取得部（移流ベクトル取得部）

Claims (14)

1. 動画処理装置において、入力動画の移流ベクトルを取得し、
   前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
   前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、
   前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成し、
   前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
   ことを特徴とする動画処理方法。
2. 前記２種類以上の移流動画は、関数式
   Ｎ(t)＝ｗf(t)[ｈf（x,y,t）]^αＮｆ(t)＋ｗr(t)[ｈr（x,y,t）]^αＮｒ(t)
   に基づいて合成され、ここで、Ｎ(t)は視覚処理が施された動画、Ｎｆ(t)は順方向に移流する第１移流動画、Ｎｒ(t)は逆方向に移流する第２移流動画、ｗf(t)は前記第１移流動画の重み関数、ｗr(t)は前記第２移流動画の重み関数、[ｈf（x,y,t）]^αは前記第１移流動画の補正係数、[ｈr（x,y,t）]^αは前記第２移流動画の補正係数であることを特徴とする請求項１に記載の動画処理方法。
3. αは、１／３以上、３以下の定数であることを特徴とする請求項２に記載の動画処理方法。
4. 動画処理装置において、入力動画の移流ベクトルを取得し、
   前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画と、を生成し、
   前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成し、
   前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
   ことを特徴とする動画処理方法。
5. 前記第３の移流動画は、前記処理周期の中間のフレームから前記順方向または前記順方向に流れる移流動画であることを特徴とする請求項４に記載の動画処理方法。
6. 動画処理装置において、入力動画からオプティカルフローを算出し、
   前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
   前記２種類以上の移流動画を合成して合成移流動画を生成し、
   前記合成移流動画のコントラストをもとの移流動画のコントラストに近づけるコントラスト調整を行い、
   前記コントラスト調整が成された前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
   ステップを含み、
   前記オプティカルフローの算出は、
   前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
   前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
   ことを特徴とする動画処理方法。
7. 前記第２ピクセルから一定の距離内に存在する前記第１ピクセルを抽出し、
   抽出された前記第１ピクセルの前記第１移流ベクトルに前記第２ピクセルからの距離に応じた重み付けをし、
   前記重み付けがされた前記第１移流ベクトルの和を、前記第２移流ベクトルとして補間する、
   ことを特徴とする請求項６に記載の動画処理方法。
8. 前記第２ピクセルから複数方向に延びる線上に位置する前記第１ピクセルを抽出し、
   抽出された前記第１ピクセルの前記第１移流ベクトルに前記第２ピクセルからの距離に応じた重み付けをし、
   前記重み付けがされた前記第１移流ベクトルの和を、前記第２移流ベクトルとして補間する、
   ことを特徴とする請求項６に記載の動画処理方法。
9. 処理対象となる入力動画を入力する入力部と、
   前記入力動画の移流ベクトルを取得する移流ベクトル取得部と、
   前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する移流動画作成部と、
   前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成する移流動画合成部と、
   前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する動画合成部と、
   を有することを特徴とする動画処理装置。
10. 処理対象となる入力動画を入力する入力部と、
    前記入力動画の移流ベクトルを取得する移流ベクトル取得部と、
    前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画と、を作成する移流動画作成部と、
    前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成する合成移流動画作成部と、
    前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する動画合成部と、
    を有することを特徴とする動画処理装置。
11. 処理対象となる入力動画を入力する入力部と、
    前記入力動画からオプティカルフローを算出するオプティカルフロー計算部と、
    前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する移流動画作成部と、
    前記２種類以上の移流動画を合成して合成移流動画を生成する移流動画合成部と、
    前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する動画合成部と、
    を有し、
    前記移流動画合成部は、前記合成移流動画のコントラストをもとの移流動画のコントラストに近づけるコントラスト調整を行い、
    前記動画合成部は、前記コントラスト調整が成された前記合成移流動画と前記入力動画を合成し、
    前記オプティカルフロー計算部は、
    前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
    前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
    ことを特徴とする動画処理装置。
12. コンピュータに、
    処理対象となる入力動画を入力する手順と、
    前記入力動画の移流ベクトルを取得する手順と、
    前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する手順と、
    前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成する手順と、
    前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する手順と
    を実行させる動画処理プログラム。
13. コンピュータに、
    処理対象となる入力動画を入力する手順と、
    前記入力動画の移流ベクトルを取得する手順と、
    前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画とを作成する手順と、
    前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成する手順と、
    前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する手順と
    を実行させる動画処理プログラム。
14. コンピュータに、
    処理対象となる入力動画を入力する手順と、
    前記入力動画からオプティカルフローを算出する手順と、
    前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する手順と、
    前記２種類以上の移流動画を合成して合成移流動画を生成する手順と、
    前記合成移流動画のコントラストをもとの移流動画のコントラストに近づけるコントラスト調整を行う手順と、
    前記コントラスト調整が成された前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する手順と
    を実行させ、
    前記オプティカルフローを算出する手順は、
    前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
    前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
    手順を含むことを特徴とする動画処理プログラム。