JP5254997B2 - 発見フレーム領域についての動き推定 - Google Patents

Description

本発明は、一般に画像処理に関する。特には、画像における発見領域の動き推定に関する。

フレームレートのアップコンバージョンに関する動機付けは、高フレームレートのビデオシーケンスが、フレームレートの低いビデオシーケンスよりもより高品質の体験を提供すると一般的に考えられていることに因っている。ビデオシーケンスのフレームレートは、既存のフレーム間に予測フレームを挿入することにより増加させることができる。良好なアプローチは、入力ビデオシーケンスにおいて、前フレームと次フレームとの間の連続的な動きを探索して、双方向のブロックベースの動き推定を利用して中間フレームを予測するものである。加速度を表す非連続のアプローチを利用することもできるが、連続性を利用したアプローチは、その簡潔さ及び複雑度が低いために利用されている。中間フレームはブロックに分割され、各ブロックには動きベクトルが何らかの方法で割り当てられる。

フレームレートのアップコンバージョン・アルゴリズムの多くに関連する問題、或いは、欠点は、画像のパン、回転、ズームの扱いである。図１は、画像２０から画像１０へ遷移する際の、左方向へのカメラパンを示している。このように、新しいエリアが画像１０の左側境界に沿って登場する。画像１０では、画像２０には含まれていない観衆を写す部分や広告表示がある。これらの“新しい”領域は、前の画像２０において正確な参照領域を有しない。対照的に、新しい領域に含まれる画素ブロックは、典型的にはイントラモードにより符号化されるか、或いは、もしインター符号化される場合は、類似しているが実際の動き（カメラパン）は表さない前の画像２０内の領域をポイントする動きベクトルを有する。これらの画素ブロックについて正確な動きベクトルが得られないことにより、フレームレートのアップコンバージョンは困難となり、補間画像に視覚的な副作用をもたらす可能性がある。

非特許文献１は、判定対象フレームＦ_t及び後続フレームＦ_t+1において、発見領域（uncovered area）としてのブロックＢ_iが発見できる一方で、前フレームＦ_t-1には発見できない場合の、該ブロックの識別方法について述べている。そのようなブロックは、イントラ・ブロックとして符号化され、他のブロックにより動き補償はなされない。

チェン Y.Kら 「送信された真の動きを利用したフレームレート・アップコンバージョン」、マルチメディア信号処理に関するIEEEワークショップ、１９９８年１２月 ウィガンド Tら 「Ｈ．２６４／ＡＶＣ ビデオ符号化標準概説」、ビデオテクノロジーのための回路及びシステムに関するIEEEワークショップ、２００３年７月

非特許文献１は、発見ブロック(uncovered blocks)の取り扱いを記載するが、発見画素(uncovered pixels)についてはイントラ符号化を想定している。このことは、フレームレートのアップコンバージョンにおいて利用可能な、いかなる動きベクトルも発見ブロックが有していないことを意味する。

本発明は、先行技術におけるこれらの欠点及び他の欠点を解消する。

本発明の一般的な目的は、ビデオフレームの発見領域における画像要素を識別することである。

本発明の他の目的は、識別された発見グループ(uncovered groups)の画像要素について動き推定を行うことである。

これらの目的及び他の目的は、特許請求の範囲に記載の本発明により達成される。

端的には、本発明はビデオシーケンスにおけるフレームの発見領域における画像要素のグループについての識別及び動き推定を含む。この発見領域は、カメラのパン、ズーミング、或いは、回転のためにビデオシーケンスの前フレームに存在しない画像要素または画素を含む。

典型的には前フレームであるところのビデオシーケンスにおける参照フレームの少なくとも一部から現フレームの少なくとも一部への、画像要素の特性値の大域的動きを表す値が決定される。決定された大域的動き値は、現フレーム内の発見グループを識別するために用いられる。即ち、これらのグループは、フレームの発見領域に存在する少なくとも１つの画像要素を含む。好ましくは、発見グループは、参照フレームに対するフレーム内のグループの大域的動きを適用する際に、原フレームにおいて、参照フレームにおいて関連グループを有しないグループとして識別される。典型的に、大域的動きは代わりに参照画像の境界の外側を示す。

本発明の動き推定では、所定の大域的動きを、識別された発見グループの動きを表す値として割り当てる。このことは、従来はどんな“真の”動きベクトルも割り当てられなかったこれらのグループが、例えば、フレームレートのアップコンバージョンにおいて利用できるような、動きを表す値を有するであろうことを意味する。

好適な実施形態では、フレームの発見領域と残りのフレーム領域との間の境界上に存在する、境界発見グループは、大域的動きの代わりに局所的動きを再割り当てするために調査される。その場合、残りのフレーム部分に存在する隣接グループの動きを表す値は、それぞれが互いに比較され、また、大域的動きとも比較される。もし所定の基準を満たす場合には、即ち、少なくとも最小数の隣接する動き値が、大域的動きと有意差を有し、かつ、この少なくとも最小数の隣接する動き値が、互いに大きく異ならない場合に、発見グループには、隣接する動き値に基づいて決定されるローカル動き値が再割り当てされる。

ゆえに本発明は、フレーム内の発見グループにも動き値を割当てることを可能とする。これらの動き値は、構築されるフレーム内の画像要素の特性値を決定する際に利用される参照フレームを識別するために、フレームレートのアップコンバージョンにおいて有用とされる。

本発明は、その更なる目的及び利益と共に、添付する図面と共に以下の記述を参照することにより最も良く理解されるであろう。

ビデオシーケンスにおける２つの画像フレームを示す図である。 本発明の実施形態に対応する動き推定方法のフローチャートである。 ビデオシーケンスにおける隣接フレームを示す図である。 図２の推定方法の追加ステップを示すフローチャートである。 図２の推定方法の追加ステップを示すフローチャートである。 本発明の実施形態に対応する局所的動き値の割当てを示す図である。 本発明の実施形態に対応する特性値の推定方法のフローチャートである。 図７の推定方法における推定ステップの実施形態を示すフローチャートである。 ビデオシーケンスにおける隣接フレームを示す図である。 フレームレートのアップコンバージョンにおいて本発明を利用することの利点と、従来技術の課題を説明する図である。 本発明に対応する動き推定器のブロック図である。 本発明に対応するグループ推定装置のブロック図である。

図面全体を通して、同一の参照番号は、対応するか、または、類似の要素について使用される。

本発明は一般に画像処理技術に関連し、特には、ビデオシーケンスにおける画像及びフレームの発見領域における画像要素のグループを取り扱うための方法及び装置に関する。

本発明では、ビデオシーケンス或いはフレームシーケンスは、複数の、即ち少なくとも２つのフレーム或いは画像を有する。そのようなフレームは、順に、連続する１以上のスライスで構成されるものと見なされ、そのようなスライスは、画像要素或いは画素を含む１以上のマクロブロックからなる。本発明では、“画像要素”はシーケンスにおけるフレームや画像の最小要素を定義するために使用される。そのような画像要素は、色（ＲＧＢ空間における、赤、緑、青）或いは、輝度（Ｙ）とクロミナンス（Ｃｒ、Ｃｂ、場合によってはＵ，Ｖで定義される）といった、関連する画像要素特性を有する。画像要素の典型的な例は、フレーム或いは写真の画素である。本発明は特に、所定のフレームレートにおいて複数の連続するフレームを有するビデオシーケンスに適合されている。

画像要素は、画像要素のグループに整理される。“画像要素のグループ”という表現は、先行技術において知られているあらゆるフレーム区分を定義し、復号及び符号化においてまとめて扱われる画像要素の集合と見なされる。一般に、そのようなグループは長方形（Ｍ×Ｎ）或いは、正方形（Ｍ×Ｍ）の画像要素のグループである。そのようなグループ化の一例には、動画像圧縮標準規格におけるマクロブロックがある。そのようなマクロブロックは、一般には１６×１６の画像要素のサイズを有する。マクロブロックは、１６×８、８×１６、８×８、８×４、４×８及び４×４の画像要素といった、複数のいわゆるサブマクロブロック・パーティションから構成される。８×８のサブマクロブロック・パーティションは、しばしばサブマクロブロック或いはサブブロックとして定義され、４×４パーティションは、しばしばブロックと定義される。

画像或いはフレームにおける所謂発見領域は、ビデオシーケンスにおける前フレームとの対応を有しない画像要素に対応する。発見領域は、典型的には、動画の記録におけるパン、ズーミング及び回転の少なくともいずれかにより、新たなオブジェクトが登場することにより発生する。ビデオシーケンスのビットサイズを小さくするためには、イントラ符号化やインター符号化のような公知の技術に従ってフレームが符号化されなければならない［非特許文献２］。インター符号化は一般的に、イントラ符号化に比べて符号化ブロックにおけるビット数の効率がよい。しかしながら、インター符号化は現ブロックの参照を開始する場合に利用可能な、ビデオシーケンスの他のフレームにおける対応、或いは、（近い）マッチングのとれた参照領域を有することが前提となる。もし、そのようなマッチングが取れない場合、ブロックは一般的にはイントラ符号化されるので、比較的多くのビット数が必要となる。

発見領域における画像要素は、前フレームとどのような対応も有しない。結果として、これらはイントラ符号化されるか、或いは、正確なマッチングが得られない場合であっても、最大限に努力したインター符号化が施されるであろう。これは後続の復号及び描画処理においては、一般には十分に機能し、視覚的に許容可能な結果を提供するものである。しかしながら、もしビデオシーケンスにフレームレートのアップコンバージョンが施される場合、発見画像要素について“真正でない”動き値を利用したインター符号化が行われていたならば、構築された中間フレームには視覚的に許容できない重大な問題が発生することが考えられる。

図１０は、ビデオシーケンスにおける２つのフレームの中間フレームとして構成されたフレーム３０を示す。フレーム３０の右側部分は線審を示しており、これは拡大して更に示されている。左側の図から分かるように、この線審の一部には視聴者から見れば明らかに誤った色が割り当てられている。そのような問題は、先行技術におけるインター符号化をフレームレートのアップコンバージョンと共に利用する限り発生するかも知れない。

本発明は、ビデオシーケンスのフレーム内の少なくとも１つの画像要素のグループについて動き推定を実行する方法を提供することにより、そのような視覚的エラーのリスクを軽減する。本方法の動作ステップは図２のフローチャートに示される。本方法はステップＳ１で開始され、フレーム／ビデオシーケンスにおいて、参照フレームの少なくとも参照部分から、現フレームの少なくとも一部への、画像要素特性値の大域的動き値を決定する。この大域的動き値は、シーケンス内で参照フレームから現フレームへ向かう、画素のグローバルな、或いは、全体的な動きを示している。

次のステップＳ２では、決定された大域的動き値を利用して、少なくとも１つの画像要素の所謂発見グループを少なくとも１つ識別する。これらの発見グループは、フレームの発見領域に存在する。よって、少なくとも１つのグループは、ビデオシーケンスの前フレームに存在しない画像要素を含む。本ステップＳ２の好適な実施形態では、発見グループを、現フレームにおいて、現フレームのグループから前フレームのグループへ大域的動きを適用した場合に関連グループを前フレームに有しないグループとして識別する。言い換えると、もし大域的動きが前フレームにおける発見グループのための動きベクトル或いは位置ずれベクトルとして利用されるとすれば、大域的動きは、前フレームの境界の外側に存在する（想像上の）グループに向かうであろう。この状況は、図３に示される。左側のフレーム２０は、現フレーム１０に対するビデオシーケンス１における前の時間インスタンスの前フレームに対応する。前フレーム２０から現フレーム１０へ向かう場合に画像はパンされており、それにより前フレーム２０内に存在しない画像要素１１の領域１３が現れる。この場合、大域的動き５０は右から左への運動である。

画像要素１１の現グループ１２が、発見グループであるかどうか、及び、フレーム１０の発見領域１３に属するかどうかを決定するためには、現グループ１２に適用された決定大域的動き値５０が、現フレーム２０の境界の外側を指し示すかをチェックする。そのような場合、現グループ１２は、発見領域１３に属し、さもなくば、現フレームの残りの部分１５に対応する。また、前フレーム２０において、現フレーム１０における現グループ１２と同一部分を占める画像要素２１のグループ２２が識別される。グループ２２は、決定された大域的動き値５０に従って移動され、最後のグループ位置２４へ到達する。もしこの位置２４が、フレーム境界２０の外部となる場合、現グループ１２は発見領域１３に属する。さもなくば、現グループ１２は、現フレーム１０の残りの部分１５に対応する。

Ｓ２において発見グループが一旦識別されると、Ｓ３に進んで、決定された大域的動き値が、発見グループの動き推定値或いは位置ずれ推定値として割り当てられる。よって、発見グループは、位置ずれ値が割り当てられることとなり、当該位置ずれ値は、ここで更に説明するような、フレームレートのアップコンバージョンにおいて新フレームを構築するなどと行った、異なる目的のために後々利用することができる。

本発明の好適な実施形態では、グループが発見フレーム領域と残りの領域とのいずれに属するのかを判定するために大域的動き値を利用することで、フレーム内の画像要素グループの全て、或いは一部がテストされる。その場合、ステップＳ２において発見グループと識別された全てのグループは、大域的動き値が、その動き推定値として割り当てられる。このことは、ステップＳ２及びＳ３が、フレーム内の異なるグループについてシリアル又はパラレルに、好ましくは複数回実行されることを意味する。

本発明の大域的動き値は、あらゆるベクトル値ｖ＝[x,y]を取ることができ、シーケンスにおいて参照フレームから現フレームへ移る際に、画素パラメータがどの程度移動したかに応じて、ベクトル成分ｘ及びｙはゼロベクトルから非ゼロ値の範囲を有する。

図４は、本発明の実施形態の大域的動き値の決定処理を示すフローチャートである。当該方法はステップＳ１０において開始され、ベクトルセットが与えられる。このベクトルセットは、現フレームの少なくとも一部における各画像要素グループについて、参照フレームにおける少なくとも１つの画像要素の参照グループを参照する各関連位置ずれベクトル又は動きベクトルを含む。よって、現フレームの少なくとも一部における各グループには、好ましくはフレーム内の各グループには、参照フレーム内の参照グループを指し示す、或いはそれと関連づけられた位置ずれベクトルが割り当てられる。

この位置ずれベクトルは、Ｈ．２６４のようなビデオコーデックの符号化済動きベクトルフィールドから与えられる。そのような動きベクトルは、従来的にフレームのインター符号化において利用され、本発明に対応する別の目的以外でも再利用できる。もし、そのような動きベクトルがビデオコーデックから入手可能でない場合、動き推定探索により決定することができる。その場合、好ましくは、動きベクトルセットを生成する目的は有しないが、本発明の大域的動き値を決定するために利用できる先行技術のアルゴリズムに従った、専用の動き推定探索が実行される。

一般に、現フレームの残り部分における各画像要素グループは、ビデオコーデックにより生成されたか、或いは、動き推定により生成された関連動きベクトルを有することができる。しかしながら、新たに発見された範囲に属するグループのような、いくつかのグループは、ビデオコーデックによりイントラブロックとして符号化されることがあるため、動きベクトルが割り当てられていないかもしれない。そのような場合、係るグループは本発明の動きベクトルの処理を省略することができる。このことは、現フレームの一部（だが、主要な部分）のグループのみと、それに対して割り当てられた動き／位置ずれベクトルが、大域的動き値を計算するために以下のステップＳ１１において利用されることを意味する。

次のステップＳ１１は、ステップＳ１０から提供された（フェッチされた、或いは、計算された）ベクトルセットからの位置ずれベクトルを利用して、大域的動き値を決定する。簡素な実施形態では、大域的動き値はベクトルセットの位置ずれベクトルの平均ベクトルとして決定される。これは計算上は簡単な実施形態であるが、正確な大域的動き値の取得という観点で考えた場合には最適なものからはほど遠い。よって、ステップＳ１１の好適な実施形態では、各画像要素の現フレームにおける位置に応じて変化するベクトル成分値を有する位置依存の大域的動きベクトル（値）、即ち、ｖ＝ｖ（ｘ、ｙ）が、ステップＳ１１において決定される。

ステップＳ１１好適な実施形態では、以下の大域的動き値の式を利用する。

ｖ＝Ａｘ＋ｂ
ここで、ｘ＝［ｘ ｙ］は、現グループの現フレームにおける位置を示す。ｖ＝［ｖ_x ｖ_y］は、現グループにおける大域的動き値を示す。

及びｂ＝［ｂ₁ ｂ₂］は、ステップＳ１０で提供される位置ずれベクトルに基づいて推定される行列及びベクトルを示す。行列Ａ及びベクトルｂについて値を計算するために、与えられる位置ずれベクトルについて最小二乗法が使用される。よって、位置ずれベクトルと大域的動き値との間の二乗誤差を最小化する点で、最良の結果を与える行列及びベクトルが、ステップＳ１１において推定される。最終的な大域的動き値ｖ＝Ａｘ＋ｂは、カメラのパン、ズーミング及び回転のような、背景に最も共通する動きを補足することができる。

上記コンセプトは、大域的動き値の他のパラメータ化にも、以下のように適用できる。

あるいは、より高次の要素でもよい。方法は、図２のステップＳ２に続く。そこでは、決定された大域的動き値が適用され、現グループのグループ座標ｘ及びｙを利用して、当該位置での大域的動き値が計算され、そのグループが発見グループか否かが判定される。

ビデオコーデックから、或いは、専用動き推定探索から得られた位置ずれベクトルの利用は、本発明の大域的動き値を決定するために利用される位置ずれベクトルを取得する特定の実施形態である。他の実施形態をその代わりに採用することもでき、本発明により考慮される。例えば、位相補正に基づく動き推定を、大域的動き値を取得するために利用することができる。他の例は、大域的動きのための動き推定が画素について繰り返し行われるもの、即ち、画素ベースの動き推定である。

図５は、図２の動き推定方法の好適な実施形態の追加ステップを示すフローチャートである。本方法は、図２のステップＳ３から継続する。次のステップＳ２０は、フレーム内で発見領域に属すると識別されたグループについて実行される。さらに、発見グループは、フレーム内で、発見領域に属しないと識別された隣接グループのセットを有する。よって、発見グループは、カバーされたフレーム領域と残りの領域との間の境界に存在する。ここで、隣接グループのセットは、残りのフレーム領域内にある。

上述のように、フレームの残り部分に存在するグループは、好ましくは位置ずれ値や動き値とそれぞれ関連している。これらの動き値は、ビデオコーデックの符号化された動きベクトルフィールドから、或いは、専用動き推定探索から取得することができる。ステップＳ２０は、隣接グループに関連する動き値を、決定された大域的動き値と比較する。次のステップＳ２１は、発見グループの周辺に大域的動きからの局所的動き分散が存在するかどうかを判定する。このように、ステップＳ２１は、少なくとも最小数の動き値が、大域的動き値と異なるかどうかを、少なくとも最小差分を有するこれらのグループ位置に適用した場合に判定する。図６は、発見領域１３と残りのフレーム領域１５との間の境界を示すフレームの一部を表した図である。現在の発見グループ１２は検証中である。このグループは、発見領域１３には存在しない３つの隣接グループ１６，１８を含む（、また、発見領域１３に５つの隣接グループ１４が存在する）。これらの発見済の隣接グループ１８、１６のそれぞれは、関連動き値５０、５２を有する。この例では、グループ１８の位置を検討すると、隣接グループ１８の１つが、フレームの大域的動き値と一致するか、ほぼ一致する動き値５０を有している。しかしながら、残りの２つの隣接グループ１６は、大域的動き値５０とは明らかに異なる動き値５２を有する。このことは、隣接グループの３分の２は、局所的動き分散を提供することを意味する。

典型的な実施形態では、ステップＳ２１において、局所的動き分散を有するために大域的動きとは異なる動き値を有するはずの最小数の隣接グループは、好ましくは隣接グループの半数より多い。発見領域１３と残りのフレーム部分１５との間の水平方向或いは垂直方向の境界に関する最も典型的なケースでは、発見グループ１２は３つ又は２つの隣接グループ１６、１８を残りの部分に有する。前者の場合、隣接グループの少なくとも２つは局所的動き分散を有するために大域的動きとは異なる動き値を有するに違いない。後者の場合、全ての隣接グループはこの分散を提供するはずである。

隣接グループの動き値と、大域的動きとの間の相違点は、異なる実施形態に従って決定することができる。第１の場合、ベクトル間の相対的方向のみにより検証される。その場合、大域的動きｖと動き値ｄとの間の角度θは、以下のように求められる。

θ＝arccos{(ｖ・ｄ)／(|ｖ||ｄ|)}
この角度θは、参照角度θ_refと比較することができ、もし２つの角度の相違が最小閾値を超える場合、或いは、２つの角度の商が閾値を超える（或いは下回る）場合、動き値ｄは大域的動き値ｖとは少なくとも最小差分だけ異なると見なされる。

別の実施形態では、動き値と大域的動き値との間の差分ベクトルｑが計算される。
ｑ＝ｖ−ｄ

もしこの差分ベクトルの長さ（|ｑ|）が最小閾値を超える場合、動き値ｄは、少なくとも最小差分だけは大域的動き値ｖと異なると見なされる。これは、Ｘ値とＹ値とを独立に大域的動き値と比較することにより実現することができる。もし、ｄのＸ成分とＹ成分の両方が対応するｖの成分と最小閾値以上に異ならなかった場合、動き値ｄは大域的動き値ｖと同一の動きを表現するものと見なされる。さもなくば、動き値は大域的動き値と明らかな差を有する。

好適な実施形態では、最小数の隣接グループのみが、大域的動き値とは著しく異なる動き値を有し、ステップＳ２１における局所的動き分散を有する訳ではない。更なる好適な状況では、大域的動き値と有意差を有する動き値は、それらが互いに大きく異なるはずはない。このことは図６にも示されている。大域的動き値５０とは異なる動き値５２を有する２つの隣接グループ１６は、完全に平行で等価な動き値５２をそれぞれ有する。ゆえに、その相違は、ゼロ度、或いは、ゼロ差分ベクトルであり、使用する特定の相違を調査する実施形態に依存する。

上述と同一のテストを、関連する動き値５２の間の相違を判定するために利用することができる。その場合、対になったテストされる動き値の間の角度はは、最大角度を超えてはならないか、或いは、対になったテストされる動き値の間の差分ベクトルは、最大長を超えるベクトル長を有してはならない。もし、最小数の値がこれらの条件を満足する場合、ステップＳ２１における局所的動き分散を入手することができるが、それ以外では入手できない。最小数は、大域的動き値と著しく異なる動き値の半数より多い値とすることができる。即ち、図６の例では、２つの動き値５２は、互いに大きく異なるべきではない。或いは、動き値は、他のテストされたいずれの動き値からも大きく異なるべきではない。

もし、上記の１つ又は、好ましくは２つの基準（（i）第１の最小数の動きベクトルが、大域的動き値から著しく異なる、ii）これらの動きベクトルのうち、少なくとも第２の最小数の動きベクトルは、互いに大きく異なってはならない。）を満たすような、ステップＳ２１における局所的動き分散が存在する場合、方法はステップＳ２２に移行し、それ以外は、処理を終える。

ステップＳ２２は、隣接グループと関連づけられた動きベクトルから得られた動き値を、動き推定として、テストされる発見グループのために割り当てる。このことは、現在の発見グループについて、従前に割り当てられた（図２のステップＳ３）大域的動き値が、隣接グループと関連づけられた動き値、または、そこから計算された動き値により置き換えられることを意味する。動き値は、単一の基準i)を満たす、或いは、２つの基準i）とii）を要求する場合には２つの基準を満たす、関連する隣接グループの何れの値とすることもできる。また、平均動き値を基準i）または基準i）及びii)を満たす隣接動き値に基づいて決定するといった、より詳細な実施形態を利用することもできる。この平均局所的動き値は、ステップＳ２２において発見グループに割り当てられる。

次の追加のステップＳ２３は、発見現グループと同一行或いは同一列に、さらに発見グループが有るかどうかを調べる。本実施形態では、発見フレーム部分と残りのフレーム部分との間の境界が垂直方向で有れば、同一行が調べられる。同様に、水平方向の境界の場合には同一列が調べられる。図６は、垂直境界の場合における、発見グループ１２と同一行に存在する１つの追加グループ１４を示している。その場合、ステップＳ２２において発見グループに新たに割り当てられた局所的動き値は、ステップＳ２４において、この（これらの）隣接グループにも割り当てられる。これらのステップＳ２３及びＳ２４は、ステップＳ２２における大域的動き値の代わりに局所的動き値が割り当てられる発見各グループについて、好ましくは実行される。

好ましくは、同一行或いは同一列の、識別された全ての発見グループは、カバーされたフレーム部分と残りのフレーム部分との境界と隣り合う発見グループと同一の局所的動き値が割り当てられる。より詳細な実施形態では、同一行或いは同一列に沿っており、発見残りの境界にも及んでいる局所的動きの傾向が、発見グループの局所的動き値の決定に利用される。その場合、行或いは列に沿った動きの局所的変化をより正確に反映するために、発見グループについての動き値の線形外挿が計算される。動き値のセットの情報は、同一行、或いは、同一列に存在し、発見フレーム部分の境界に最も近接するが依然として残りの部分に存在しているＮグループを含み、この外挿処理に利用することができる。ここでＮは、例えば、２或いは３といった、ある複数の整数値を表す。

本発明の教示を採用することにより、フレーム内の全てのグループは動き値と関連づけられるであろう。残りのフレームグループに存在するグループは、それらの動き値をビデオコーデックや専用の動き探索から取得し、発見グループには、グローバル動き値が割り当てられるか、或いは、本発明に従い局所的動き値が再割当てされる。

フレーム内のグループの全て或いは大多数に対する動き値の割当ては、ビデオシーケンス内で新たなフレームを構築する際のフレームレートのアップコンバージョンにおいて大きな利益をもたらす。

図７は、後続する或いは先行する時間インスタンスを有する、シーケンス内の既存の参照フレームとの関連で、ビデオシーケンス内の特定の時間インスタンスにおいて構築されるべきフレーム内の少なくとも１つの画像要素のグループの特性値を推定する方法を示すフローチャートである。本方法は、図２のステップＳ３、或いは図５のステップＳ２４から継続するものである。このことは、本発明の動き推定方法は、動き値を、参照フレームの発見領域内に存在する少なくとも１つの発見グループに割り当てるために、最初に参照フレームに対して適用されることを意味する。

次のステップＳ３０では、参照フレームにおける発見グループの中から参照グループが選択される。この選択された参照グループは、構築されるフレームにおいて決定されるべきグループを横切る（グローバル或いは局所的な）動き値が割り当てられている。この状況は図３に示されている。参照フレーム１０における発見グループ１２に、本発明に対応する大域的動き値５０が割り当てられている。その場合、構築されるフレーム３０が、前フレームｔ_i-1と参照フレームｔ_i+1の時間の中間の時間ｔ_iに位置する場合、大域的動き値の半分により、参照グループ１２が決定されるべき画像要素３１の現グループ３２の位置に移動される。このことは、特定の参照グループを選択して、決定されるグループ３２内の画像要素３１の画素値の決定のために利用する場合に、参照フレーム１０における発見グループ１２に割り当てられる動き値が利用されることを意味する。即ち、利用する参照グループは、構築されるフレーム３０内のグループ３２を通過する動き値を有する発見グループ１２である。

グループ内の画像要素の特性値は、参照グループの特性値に基づいてステップＳ３１において推定される。ある実施形態では、この推定ステップは単純に、参照グループの特性値を、グループの各画像要素に割り当てることを含む。特性値にはまた、ローパスフィルタ処理が施されても良い。これは、この処理を施さないと、これらのグループが、双方向の補間の結果いくらかのボケが発生している他のグループと比較して、鮮明になってしまうことがあるからである。

本発明では、構築されるフレーム内の画像要素の他のグループについては、従来技術に従って、前フレームの参照グループ、及び、後フレームの別の参照グループに基づく特性値の従来の双方向補間が実行される、ことが期待される。しかしながら、発見グループは、前（或いは後）フレームにおいていかなる関連グループも有していないため、上述の実施形態に従って扱われる。

上述の実施形態では、現グループのために、特性値を推定する際に単一の参照グループを利用した。図８及び図９は、推定に際し、異なる参照フレームにおける２つの参照グループを利用する別の実施形態を図示する。本方法は、図７のステップＳ３０から継続する。次のステップＳ４０は、ビデオシーケンス１における第２の異なる時間インスタンスと関連づけられた第２の参照フレーム４０における少なくとも１つの画像要素の第２の参照グループ４２を識別する。２つの参照フレーム１０、４０は、構築されるフレーム３０に対して、時間基準でビデオシーケンス１の同一の側に位置する。よって、２つの参照フレーム１０、４０は、時間インスタンスｔ_iの構築されるフレーム３０に対して、時間インスタンスｔ_i-1及びｔ_i-3のような２つの先行フレーム、或いは、時間インスタンスｔ_i+1及びｔ_i+3のような２つの後続フレームとなり得る。

第２の参照グループ４２は、参照グループ４２に割り当てられた動き値に基づいてステップＳ４０において識別される。好適な実施形態では、第２の参照グループ４２が、第１の参照フレーム１０の第１の参照グループ１２に向かう動き値が割り当てられた第２の参照フレーム４０におけるグループとして識別される。

次のステップＳ４１は、第１の参照グループ１２と第２の参照グループ４２の特性値に基づいて、グループ１２における画像要素の特性値を外挿する。そのような外挿処理は公知の技術であるが、例えば、第２の参照グループ４２と比較して構築されるフレーム３０に時間的に近い第１の参照グループ１２の特性値が、第２の参照グループ４２よりも重み付けが大きくなるような重み付けを行うことを含んでもよい。

図１０は、フレームレートのアップコンバージョンを行う場合の、発見グループについての真正な動き推定を行わない従来技術と比較した、本発明を利用する利点を説明する図である。左側の写真は、ビデオシーケンスから従来の補間技術及び外挿技術を利用してフレーム構築を行った場合を示している。右側の対応する写真は、本発明に従って構築されたものである。２つの拡大部分からよく分かるように、本発明は、写真の右側に存在するラインズマンのより正確な構築を可能としている。

本発明は、フレームレートのアップコンバージョンとの関係でのみ利点があるわけではない。本発明はまた、符号化ビットストリームからの動きベクトルフィールドの改良にも利用することができる。このことは、従来は動きベクトルが割り当てられなかった発見グループが、本発明により動き値を割り当てられることを意味する。

本発明の別の応用例には、エラー隠蔽がある。フレームやフレームの一部に歪みがある場合に、本発明により生成された改良ベクトルフィールドを利用して、当該フレーム等を一方向予測、或いは、双方向予測により置き換えることができる。本発明はまた、復号される次フレームについてより良好な符号化効率を達成する手段として、予測動きベクトルフィールドを、再構成された動きベクトルフィールドから取得するために利用することもできる。

図１１は、ビデオシーケンスのフレーム内の少なくとも１つの画像要素のグループについての動き推定を行う装置の構成を示すブロック図である。参照フレームの少なくとも一部から、シーケンス内の現フレームの少なくとも一部への画像要素の特性値の大域的動き値を決定するための大域的動き決定器１１０は、装置１００に配置される。決定器１１０は、フレームの一部における各画像要素グループについて、参照フレーム内の参照グループを参照する位置ずれベクトルを含むベクトルセットを提供するように構成されたセット提供器１４０に、好ましくは接続される。セット提供器１４０は、このセットを内部或いは外部のビデオコーデックからフェッチするか、或いは、動き推定探索において位置ずれベクトルを推定する機能を含むことができる。決定器１１０は、大域的動き値の行列Ａ及びベクトルｂを決定することにより、好ましくは、上記の位置依存の大域的動き値の一つとして大域的動き値を生成する。

装置１００はまた、決定器１１０からの大域的動き値に基づいて、フレームの発見領域内の、少なくとも１つの画像要素の発見グループを識別するためにグループ識別器１２０を含む。このグループ識別器１２０は、好ましくは発見グループを、フレーム内のグループからの大域的動き値を、参照フレームに適用した場合に、参照フレーム内にいかなる関連グループも有しないフレーム内のグループとして識別する。典型的な実施形態では、参照フレームの境界の外側に結局たどり着く。

動き割当器１３０は、大域的動き値を、グループ識別器１２０により識別された発見グループのための動き値、或いは、動きベクトルとして割り当てる。

装置１００は、任意であるが好ましくは、グループのセットの動き値を比較するように構成された動き比較器１５０を含むものである。これらのグループは、フレーム内の発見領域には存在しないが、発見グループに隣接する。比較器１５０は、これらの隣接グループのそれぞれの動き値を、決定器１１０からの大域的動き値と比較し、少なくとも最小数の動き値が大域的動き値と有意差を有するかどうか、即ち、少なくとも最小差分を有するかを調べる。

もし、発見グループと関連する局所的動き分散が存在する場合、即ち、少なくとも最小数の検証された隣接動き値が、大域的動き値と有意差を有する場合、動き割当器１３０は、新しい動き値を大域的動き値と置き換えて発見グループに割り当てる。この新しい動き値は、大域的動きに対して、有意差のある動きを有する隣接グループの一つの動き値であるか、或いは、大域的動き値と有意差のある隣接する動きの少なくとも一部に基づいて計算される動き値である。

代替的な実施形態では、動き比較器１５０はまた、大域的動き値と有意差を有する隣接動き値同士を比較する。比較器１５０は、もし、隣接する動き値が互いに大きく異ならない、即ち、最大差分を超えない場合、発見グループについて、動き値を再割り当てするように割当器１３０に指示するだけである。上述の比較についての実施形態を、この基準について調査するために比較器１５０は利用することができる。このことは、もし、これらの２つの基準が満足されると比較器１５０が決定した場合には、割当器１３０は新しい動き値を発見グループに割り当てるだけであることを意味する。

発見グループが割当器１３０により再割当された局所的動き値を取得すると、グループ識別器１２０は、発見グループと同一のグループ行或いはグループ列に存在するが、残りのフレーム部分に存在する隣接グループからさらに離れている他の発見グループを、好ましくは識別する。その場合、動き割当器１３０は動き値を、この（これらの）発見グループにも再割り当てする。再割り当てされた動き値は、発見領域と残りのフレーム領域との間の境界に隣接する発見グループに従前に割り当てられたものと同一であるか、或いは、外挿などにより、そこから少なくとも部分的に計算された動き値である。

動き推定器１００のブロック１１０から１５０は、ハードウェア、ソフトウェア、及びハードウェア及びソフトウェアの組合せの少なくともいずれかにより提供することができる。ブロック１１０から１５０は、有線、或いは、無線の通信システムのノードにおいて実施される、或いは、当該ノードに接続される、ビデオやフレームを処理する端末、或いは、サーバにおいて実施することができる。また、動き推定器１００のブロック１１０から１５０は、ＴＶデコーダ、コンピュータ、移動体電話機、或いは、デコーダ及び画像描画デバイスの少なくともいずれかを有するか、そこに接続された他のユーザ機器のような、ユーザ端末内で構成することもできる。

図１２は、ビデオシーケンスで構築されたフレーム内の少なくとも１つの画像要素のグループの特性値を推定する、装置２００の構成を示すブロック図である。装置２００は、図１１に示す本発明に対応した上述の動き推定器１００を含む。動き推定器は、構築されるフレームに対しビデオシーケンスの時間軸上で前又は後ろに位置する参照フレーム上で、動き推定を実行するように構成される。動き推定器１００が実行する動き推定では、大域的動き値或いは、局所的動き値が、参照フレーム内の少なくとも１つ、好ましくは全ての発見グループに割り当てられる。

参照フレーム内で発見グループの中から参照グループを選択するために、グループセレクタ２１０が装置２００内に与えられる。セレクタ２１０は、構築されるフレーム内のグループを横切る動き値が割り当てられた、発見グループとして参照グループを好ましくは選択する。言い換えれば、その動き値は、参照フレームからシーケンス内の別の前のフレーム或いは後ろのフレームへ向かう参照グループの動き値に沿って移動する場合に、グループをまっすぐに通過するものである。

装置２００はまた、グループセレクタ２１０により選択された参照グループの特性値に基づいてグループの特性値を推定するように構成された、特性値推定器２２０を有する。この推定器２２０は、構築されるフレームにおけるグループの対応画像要素に対して、参照グループの特性値を好ましくは割り当てる。

好適な実施形態では、グループセレクタ２１０はまた、ビデオシーケンスにおける第２参照フレーム内の第２の参照グループを選択するようにも構成される。この第２参照フレームは、好ましくはフレーム時間について、第１の参照フレームと比較して構築されるフレームから離れて位置する。第２のグループは、第２の参照グループに割り当てられた動き値に基づいてグループセレクタ２１０により識別される。セレクタ２１０は典型的には、第２の参照グループを、第１の参照フレーム内の第１の参照グループに向かう動き値が割り当てられた第２のフレームにおけるグループとして選択する。

推定器２２０は、第１及び第２の参照グループの両方の特性値に基づいて、グループの特性値を推定する。この特性値推定は、構築されるグループに時間的に近い参照フレームに位置する参照グループからの参照特性値に対して、他の参照フレームからのものよりも重み付けを高くすることで、第１及び第２の参照グループの値について好ましくは異なる重み付けを利用して、特性値の外挿により実行される。

グループ推定装置２００のブロック１００、２１０及び２２０は、ハードウェア、ソフトウェア、及びハードウェア及びソフトウェアの組合せの少なくともいずれかにより提供することができる。ブロック１００、２１０及び２２０は、有線、或いは、無線の通信システムのノードにおいて実施される、或いは、当該ノードに接続される、ビデオやフレームを処理する端末、或いは、サーバにおいて実施することができる。また、グループ推定装置２００のブロック１００、２１０及び２２０は、ＴＶデコーダ、コンピュータ、移動体電話機、或いは、デコーダ及び画像描画デバイスの少なくともいずれかを有するか、そこに接続された他のユーザ機器のような、ユーザ端末内で構成することもできる。

当業者によれば、さまざまな修正及び変更を、特許請求の範囲に記載した発明の範囲から逸脱することなく本発明に対して施すことが可能であることを理解するであろう。

Claims (22)

1. ビデオシーケンスの時間インスタンスと関連づけられたフレーム内の少なくとも１つの画像要素のグループのための動き推定方法であって、
   前記ビデオシーケンスにおける前の時間インスタンスと関連する前フレームの少なくとも一部から、前記フレームの少なくとも一部への、画像要素の特性値の大域的動き値としてのベクトル値を決定する工程と、
   前記決定された大域的動き値に基づいて、前記前フレームとの対応を有しない前記フレームの発見領域における少なくとも１つの画像要素の発見グループを識別する工程と、
   前記大域的動き値を、前記発見グループの動き推定値として該発見グループ（１２，１４）に割り当てる工程と、
   を備えることを特徴とする方法。
2. 前記識別する工程は、前記発見グループを、前記フレーム内の前記グループから前記前フレームへ前記大域的動きを適用した場合に前記前フレーム内に関連グループを有しない、前記フレーム内のグループとして識別することを特徴とする請求項１に記載の方法。
3. 前記フレームの少なくとも一部に含まれる各グループについて、前記前フレーム内の関連グループを参照する各動き値を含む動きセットを提供する工程をさらに備え、
   前記決定する工程では、前記動きセットの動き値の少なくとも一部に基づいて、前記大域的な動き値を決定することを特徴とする請求項１又は２に記載の方法。
4. 前記決定する工程では、前記動きセットの動き値の少なくとも一部に基づいて、位置依存の大域的動き値を決定することを特徴とする請求項３に記載の方法。
5. 前記決定する工程は、前記動きセットの動き値の少なくとも一部に基づいて、式ｖ＝Ａｘ＋ｂで表現される前記位置依存の大域的動き値を決定するために、最小二乗法により行列
   

   

   とベクトルｂ＝［ｂ₁ ｂ₂］^Tの成分を推定し、
   ｖ＝［v_x v_y］^Tは、大域的動き値であって、v_xは、第１の方向における前記大域的動き値の第１ベクトル成分であり、v_yは、直交する第２の方向における前記大域的動き値の第２のベクトル成分であり、ｘ＝［x y］^Tは、前記フレームの画像要素の位置を示す
   ことを特徴とする請求項３または４に記載の方法。
6. 前記発見領域に属していないと識別された隣接グループの隣接セットを有する前記発見グループについて、前記隣接セットの前記隣接グループと関連する動き値を、前記大域的動き値と比較する工程と、
   少なくとも最小数の前記動き値が前記大域的な動き値と少なくとも最小差分において異なる場合に、前記発見グループに、前記隣接セットの隣接グループと関連づけられた動き値に基づいて提供される動き値を割り当てる工程と
   をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 少なくとも前記最小差分において前記大域的動き値と異なる前記動き値同士を比較する工程をさらに備え、
   前記割り当てる工程では、少なくとも前記最小差分において前記大域的動き値と異なる前記動き値同士が、最大差分を超えない範囲で互いに異なる場合に、前記隣接セットの前記隣接グループと関連づけられた動き値に基づいて提供される動き値を、前記発見グループに割り当てる
   ことを特徴とする請求項６に記載の方法。
8. 前記フレーム内で、前記発見グループと同一のグループ行、或いはグループ列に存在するが、前記発見領域と対応するものとして識別されていない隣接グループを有しない少なくとも１つの発見グループを識別する工程と、
   前記同一のグループ行又はグループ列の前記発見グループに割り当てられた動き値が、前記大域的動き値と異なる場合に、前記少なくとも１つの発見グループに、前記同一のグループ行又はグループ列の前記発見グループに割り当てられた動き値を割り当てる工程と
   をさらに備えることを特徴とする請求項６または７に記載の方法。
9. ビデオシーケンス内の第１の異なる時間インスタンスを有する第１の参照フレームに対する、該ビデオシーケンスの時間インスタンスと関連づけられたフレーム内の少なくとも１つの画像要素のグループの特性値を推定する方法であって、
   前記第１の参照フレーム内の少なくとも１つの発見グループについて、請求項１乃至８のいずれか１項に記載の動き推定を実行する工程と、
   前記少なくとも１つの発見グループに割り当てられた各動き値に基づいて、前記少なくとも１つの発見グループの中から、第１の参照グループを選択する工程と、
   前記第１の参照グループの前記特性値に基づいて、前記グループの前記特性値を推定する工程と
   を備えることを特徴とする方法。
10. 前記選択する工程では、前記第１の参照グループを、前記フレーム内の前記グループを横切る動き値が割り当てられた発見グループとして選択することを特徴とする請求項９に記載の方法。
11. 前記ビデオシーケンス内で第２の異なる時間インスタンスと関連づけられた第２の参照フレーム内の第２の参照グループを、前記第２の参照グループに割り当てられた動き値に基づいて識別する工程をさらに備え、
    前記推定する工程では、前記第１の参照グループの特性値と前記第２の参照グループの特性値とに基づいて、前記グループの前記特性値を推定する
    ことを特徴とする請求項９又は１０に記載の方法。
12. 前記識別する工程では、前記第２の参照グループを、前記第１の参照フレーム内の前記第１の参照グループに向かう動き値が割り当てられた、前記第２の参照フレーム内のグループとして識別することを特徴とする請求項１１に記載の方法。
13. ビデオシーケンス内で時間インスタンスと関連づけられたフレーム内の少なくとも１つの画像要素のグループについて動き推定を行う動き推定器であって、
    前記ビデオシーケンスにおける前の時間インスタンスと関連する前フレームの少なくとも一部から、前記フレームの少なくとも一部への、画像要素の特性値の大域的動き値としてのベクトル値を決定する動き決定器と、
    前記決定された大域的動き値に基づいて、前記前フレームとの対応を有しない前記フレームの発見領域における少なくとも１つの画像要素の発見グループを識別するグループ識別器と
    前記大域的動き値を、前記発見グループに割り当てる動き割当器と、
    を備えることを特徴とする動き推定器。
14. 前記グループ識別器は、前記発見グループを、前記フレーム内の前記グループから前記前フレームへ前記大域的動きを適用した場合に前記前フレーム内に関連グループを有しない、前記フレーム内のグループとして識別するように構成されることを特徴とする請求項１３に記載の動き推定器。
15. 前記フレームの少なくとも一部に含まれる各グループについて、前記前フレーム内の関連グループを参照する各動き値を含む動きセットを提供するセット提供器をさらに備え、
    前記動き決定器は、前記動きセットの動き値の少なくとも一部に基づいて、前記大域的な動き値を決定するように構成されることを特徴とする請求項１３又は１４に記載の動き推定器。
16. 前記発見領域に属していないと識別された隣接グループの隣接セットを有する前記発見グループについて、前記隣接セットの前記隣接グループと関連する動き値を、前記大域的動き値と比較する動き比較器をさらに備え、
    前記動き割当器は、少なくとも最小数の前記動き値が前記大域的な動き値と少なくとも最小差分において異なる場合に、前記発見グループに、前記隣接セットの隣接グループと関連づけられた動き値に基づいて提供される動き値を割り当てるように構成されることを特徴とする請求項１３乃至１５のいずれか１項に記載の動き推定器。
17. 前記動き比較器は、少なくとも前記最小差分において前記大域的動き値と異なる前記動き値同士を比較するように構成され、
    前記動き割当器は、少なくとも前記最小差分において前記大域的動き値と異なる前記動き値同士が、最大差分を超えない範囲で互いに異なる場合に、前記隣接セットの前記隣接グループと関連づけられた動き値に基づいて提供される動き値を、前記発見グループに割り当てるように構成される
    ことを特徴とする請求項１６に記載の動き推定器。
18. 前記グループ識別器は、前記フレーム内で、前記発見部ループと同一のグループ行、或いはグループ列に存在するが、前記発見領域と対応するものとして識別されていない隣接グループを有しない少なくとも１つの発見グループを識別するように構成され、
    前記動き割当器は、前記同一のグループ行又はグループ列の前記発見グループに割り当てられた動き値が、前記大域的動き値と異なる場合に、前記少なくとも１つの発見グループに、前記同一のグループ行又はグループ列の前記発見グループに割り当てられた動き値を割り当てるように構成されることを特徴とする請求項１６または１７に記載の動き推定器。
19. ビデオシーケンス内の第１の異なる時間インスタンスを有する第１の参照フレームに対する、該ビデオシーケンスの時間インスタンスと関連づけられたフレーム内の少なくとも１つの画像要素のグループの特性値を推定する装置であって、
    前記第１の参照フレーム内の少なくとも１つの発見グループについて動き推定を実行する、請求項１３乃至１８のいずれか１項に記載の動き推定器と、
    前記第１の参照グループに割り当てられた動き値に基づいて、前記少なくとも１つの発見グループの中から、第１の参照グループを選択するグループセレクタと、
    前記第１の参照グループの前記特性値に基づいて、前記グループの前記特性値を決定する特性値推定器と
    を備えることを特徴とする装置。
20. 前記グループ選択器は、前記第１の参照グループを、前記フレーム内の前記グループを横切る動き値が割り当てられた発見グループとして選択するように構成されることを特徴とする請求項１９に記載の装置。
21. 前記グループセレクタは、前記ビデオシーケンス内で第２の異なる時間インスタンスと関連づけられた第２の参照フレーム内の第２の参照グループを、前記第２の参照グループに割り当てられた動き値に基づいて選択するように構成され、
    前記特性値推定器は、前記第１の参照グループの特性値と前記第２の参照グループの特性値とに基づいて、前記グループの前記特性値を推定するように構成される
    ことを特徴とする請求項１９又は２０に記載の装置。
22. 前記グループセレクタは、前記第２の参照グループを、前記第１の参照フレーム内の前記第１の参照グループに向かう動き値が割り当てられた、前記第２の参照フレーム内のグループとして識別するように構成されることを特徴とする請求項２１に記載の装置。

Images