JP5197374B2 - 動き推定 - Google Patents

Description

本発明は、動き推定及びビデオ画像シーケンスのフィールド間の動きベクトルの判断の方法及び装置に関する。

動画ビデオは、一連のフィールド又はフレームから構成される。動き推定アルゴリズムは、これらのフレームが時間的に有意に変化することがないという事実を利用している。以前のフレームに対してフレーム内の各ピクセルの変位を説明しようとする動きベクトルフィールドが計算される。画像は、その後、単一の動きベクトルをピクセルの群又はブロックに関連付けて計算の複雑性を低減するためにグリッドに分割される。

動き推定は、例えば、いくつかの補間されたフレームが再構成されて連続的に元の画像間に表示される動き補正された補間を含む複数の用途に有用である。これは、画像シーケンスにおける移動する物体の動き振動を低減する。ここで、動きベクトルは、２つの画像間のいずれかの点、例えば中間点で定めることができ、動き補正を使用して補間フレームを再構成するためにも使用される。
更に別の用途は、例えば、空間的及び／又は時間的冗長性が除去されるビデオ圧縮である。動きベクトルをここでもまた使用して、連続フレーム間の画像ピクセルの変位を説明し、かつこの用途では画像データの代わりに送信され、それによって画像シーケンスを表現するために必要なデータ量が低減される。
ビデオシーケンスを強化するために動き推定を使用する他の用途は、インターレース解除及びノイズ除去を含む。

動き推定は、例えば以下を含むいくつかの異なる方法を使用して実行することができる。
・文献［１］の節ＩＩに説明のブロックマッチング技術
・文献［２］に説明の勾配ベースの技術
動き推定の共通の目標は、特定の動きベクトルの適合性を評価することである。これは、例えば、典型的には輝度値の絶対差分和（ＳＡＤ）又は平均二乗誤差（ＭＳＥ）のような判断基準に基づく何らかの形式の誤差関数によって達成することができる。

動きぼけの検出及び測定は、動きベクトルの導出にも関係がある。動きぼけは、カメラが移動する物体を捕捉しようとする際に自然な画像シーケンスに発生する効果である。カメラのシャッターが開いている間に物体が移動する場合、フィルムは、蓄積媒体として作用し、発生した動きは、動きの軌道に沿ってぼけとして可視である。この効果を図１に示している。
物体がカメラに対してより早く動けば、動きぼけがより大きくなる。従って、画像のエリアにおけるエッジの鮮明さは、動きの程度の指示として使用することができる。これは、動きぼけが軌道に沿ってのみ発生するという事実を利用することにより更に拡張することができる。鮮明なエッジが特定の方向で検出された場合、直角方向に早い動きが起こりそうもないと推定することができる。図２は、更に深くこの点を示している。例Ａでは、垂直の動きがあり、垂直のエッジは鮮明であるが、水平のエッジは、ぼんやりしている。例Ｂでは、動きは、水平方向であり、従って、水平のエッジは鮮明であり、垂直のエッジはぼやけている。

画像内の動きぼけの程度又はエッジの強さを測定する多数の公知の方法がある。例えば、簡単な方法は、小さなエリアにわたってピクセルの輝度勾配を測定する。高い輝度勾配は、強い又は鮮明なエッジを表し、一方、低い勾配は、柔らかい又はぼやけたエッジを表している。「エッジ検出技術」の詳細な概要は、文献［３］に提供されているが、これらの技術は、当業者には公知であろう。
評価基準、例えば、ＳＡＤ又はＭＳＥは、正しいベクトルの選択を常にもたらすものではない。これは、真の動きベクトルが望ましい動き補正補間のような用途に対して特に重要になる。例えば、画像シーケンスに小さな物体又は詳細部が存在する場合では、曖昧性が生じる。これらのエリアでは、小さな詳細部の両側の類似のブロックに適合する誤った動きベクトルが検出される可能性があると考えられる。これを図３に示している。

更に、多くの動き推定器の方式は、移動物体の輝度が一定のままであるという仮定の下に作動する。画像シーケンスに明暗の変化があるので、これは、いつも当て嵌まるわけではなく、これらは、類似の輝度のブロックを発見しようとする誤った動きベクトルをもたらす可能性がある。
他の曖昧性は、画像のある一定のエリア、例えば透明エリア又は反射に関連付けられた１つよりも多い動きが存在する場合に生じる。
更に、動き推定器は、多くの場合に再帰的であり、動きベクトルフィールドが正確になるまでいくつかの繰返しが必要である。このために候補ベクトルの評価を改善する必要性が生じる。

ベクトル評価の曖昧性を低減するために、一部の方式が既に提案されている。これらは、候補にそれらの位置に基づいてペナルティを課すことを含み、例えば、処理前の時間的位置から選択された候補は、より最近処理された位置から選択されたものよりも多くのペナルティを課せられる。
他の方式は、候補と一部の隣接ベクトルの間の差に関連した誤差関数にペナルティを加えることを伴っている。
更に別の方式が、候補の全体的大きさ及び位置に依存する誤差関数に付加的な項が加えられる米国特許第６、７８２、０５４号に提案されている。

米国特許第６、７８２、０５４号

本発明の好ましい実施形態は、方向重み付け項を計算するのに局所画像エリアに存在する動きぼけ情報を使用する。２つの独立した水平及び垂直項から成る重み付け項は、ベクトル評価の一部として使用され、ベクトルの選択を改善し、かつ正しいベクトルへのより速い収束をもたらす。
画像のエリア内の動きぼけを推定することにより、どの方向に動きが発生しているかを大局的に推定することができる。この情報を使用して、測定された動きぼけと一致しないベクトルは、関連した重み付け項を調節することによってペナルティを課すことができる。
重み付け項は、動きの程度、すなわち、候補ベクトルの方向及びマグニチュードに依存している。

本発明の更に別の実施形態では、動きぼけ情報は、継続した小さい、静的、又はゆっくり移動する物体及びオーバーレイに起因して問題が発生する場合がある画像のエリアの検出に使用することができる。これらの問題エリアは、水平及び垂直の両方向の強いエッジによって特徴付けられる。これらの特徴が同じ画像内のいくつかのフレームにわたって常に検出される場合、動き推定は、例えば最大許容ベクトルサイズを低減することにより、誤ったベクトル及びアーチファクトから保護することができる。
ここで、添付図面を参照して本発明の実施形態を以下に例示的に詳細に説明する。

本発明の実施形態は、動き補正された補間を使用するテレビシステムに組み込むことができ、ビデオシーケンスのフレームレートを高める。図４は、このようなテレビシステム（１０）内への本発明の実施形態を示している。アンテナ（２０）（又は、ＤＶＤプレーヤのような他のビデオ入力）は、チューナーに受信信号を供給し、チューナーは、信号を復調するプロセッサ（３０）にビデオ信号を供給する。次に、復調された信号は、動き推定ユニット（４０）に供給される。ビデオ信号の時間的フレームレートは、動き推定ユニット（４０）から供給される動きベクトルを使用して、動き補正された補間器（５０）によって増幅される。次に、増強されたビデオ信号は、表示装置（６０）に表示される。補間は、例えば、インターレース付５０Ｈｚからインターレースなしの１００Ｈｚへフレームレートを高めるために使用される場合がある。

図４に使用される動き推定の好ましい実施形態は、ブロックマッチング法を使用しており、図５を参照して説明する。
動き推定ユニット（４０）は、入力フィールド又はフレームシーケンスのそれぞれのものの各ブロックに対するピクセルを記憶するために使用される２つ又はそれよりも多くのフィールドメモリ（４１）を含む。このデータは、候補評価ユニット（４３）に供給される。入力フィールドのブロックの各ピクセルに対して、候補評価ユニットは、いくつかの候補動きベクトルを試験し、第２のフィールド内のデータに対する第１のフィールド内のデータの照合において最良のマッチングを与えるものを判断し、この実行後、全体のブロックに対して使用することができる全体的に最適のブロック動きベクトルを判断する。

候補評価ユニット（４３）は、候補選択（４２）によって候補ベクトルを供給する。この候補選択は、いくつかの空間的及び時間的候補ベクトルをそれ以前にフレーム中で計算されているブロック周辺の場所から取り出す。時間的候補ベクトルは、シーケンス中でそれ以前に計算された現在のブロックの周辺のブロック位置から得られる。これらの候補ベクトルは、候補選択（４２）によってベクトルメモリ（４６）から検索される。

候補ベクトルの評価は、各ピクセルに対して最適の候補ベクトルを判断する修正された候補評価ユニット（４５）によって実行される。候補評価プロセスに対する修正は、そのピクセルにおけるブロック内の動きぼけの存在を判断する動きぼけ評価ユニット（４４）の使用を通して生じる。これは、そのピクセルにおける水平及び垂直エッジの強さに関連した尺度である。これは、全体のブロックに対して計算することができ、かつピクセル毎に実行することができる。

動きぼけが推定された状態で、これは、候補ベクトルの評価を修正するために使用される。動きぼけと矛盾する大きな成分を有する候補には、ペナルティが課せられ、動きぼけの方向に大きな成分を有するものは、影響されない。これは、測定された動きぼけに基づいて、候補評価ユニット（４５）内の重み付け係数を使用することにより達成される。
候補選択器も、候補ベクトルが最大許容ベクトル範囲（±Ｍａｘ_x、±Ｍａｘ_y）内にあることを保証する。この範囲は、ハードウエア制限、例えば、フィールドメモリの大きさによって始めに判断することができる。この実施形態では、最大許容ベクトルの大きさは、続いてブロックに関連付けられたカウンタに従って設定される。これは、より詳細に以下に説明する。許容範囲を超すいかなるベクトルも、相応に固定される。

候補評価器（４３）は、通常８×８の大きさのピクセルであるピクセルのブロックに対する最良の適合を選択しようとする。
候補選択器（４２）は、ブロックに関して評価されるいくつかの動きベクトル候補：
を選択する。この実施例では、いくつかの空間的及び時間的候補ベクトルが、ベクトルメモリ（４６）からの現在のブロックの周りの位置から選択され、候補評価器（４３）に供給される。空間的候補は、それ以前にフレーム中で計算されている現在のブロックの周りのブロック位置から得られる。時間的候補は、以前のフレーム中で計算された現在のフレームの周りのブロック位置から得ることができる。候補評価器内で、最適候補を判断するために、誤差関数を使用してベクトルが比較される。

一般的に、ＳＡＤは、以下の式１によって説明するように誤差関数の基本として使用される。
（式１）
ここで、
は、動きベクトル候補を表し、
は、空間的位置を表し、
は、評価が発生するピクセルのブロックを表し、
は、空間的位置：
及び時間的位置ｎにおけるピクセルの輝度値を表している。このピクセル情報は、図５に示すようなフィールドメモリ（４１）から検索される。最低の誤差関数を有する候補は、現在のブロックに最適合と判断され、関連する動きベクトルが、ピクセルのブロックに対して割り当てられる。

動き推定を改善するために、本発明は、可能性がある動きの強度及び方向に依存して独立のベクトル成分に作用する誤差関数内の付加的な項を利用する。次に、この実施例に対する誤差関数は、以下の式２によって説明される。
（式２）
ここで、Ｃ_x及びＣ_yは、候補ベクトルそれぞれの水平及び垂直成分であり、Ｗ_H及びＷ_Vは、図５に示されている動きぼけ評価器（４４）によって判断されるスケール係数である。

上述のように、画像内の動きぼけの程度又はエッジの強さを評価する多数の方法がある。本発明は、動きぼけ評価の特定の方法に限定されるものではなく、例えば、簡易な方法は、Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ、又はＲｏｂｅｒｔｓカーネルのようなエッジ判断カーネルを使用することである。単純化して、上述の実施例は、３×３Ｐｒｅｗｉｔｔ演算子の使用を組み込むことになる。水平及び垂直カーネルは、以下の式３及び４それぞれの中に示されている。

畳み込み演算は、以前のフレーム（時間的位置ｎ−１における）又は現在のフレーム（時間的位置ｎにおける）からのピクセルに対して実行することができる。しかし、ブロックは、動いている可能性があり、好ましい実施形態は、最も最近のフレームからのピクセルを使用する。
（式３）

（式４）
位置：
におけるピクセルに対して、畳み込み演算の出力は、以下の式５によって与えられる。次に、Ｅの絶対値は、中心のピクセル位置におけるエッジの強さの指示である。
（式５）

Ｐｒｅｗｉｔｔ演算子のような特定のカーネルは、局所エリア内の水平及び垂直動きぼけの程度に対する全体的尺度を得るためにいくつかの異なる方法で使用することができる。例えば、現在のブロック上に中心を置く任意の大きさのエリア内のピクセルに対して畳み込み演算の結果を集積することは可能である。別の可能性は、所定エリア内のピクセルに対して別々の畳み込み演算を実行することであり、畳み込み演算からの最大絶対値出力を記憶することができるであろう。

この例に関して、上述の実施例は、最近の技術を使用し、現在の位置におけるブロック内の各画像上の水平及び垂直畳み込み演算を実行し、各方向に対する最大絶対値出力を記憶する。これらの値｜Ｅ_{H_MAX}｜及び｜Ｅ_{V_MAX}｜は、ブロックそれぞれに存在する最も強い水平及び垂直エッジを表している。
先に図２に示すように、強い水平エッジ（弱い水平動きぼけ）に対しては、より大きなｙ成分を有する候補ベクトルにペナルティを課すことが所望される。強い垂直エッジ（弱い垂直動きぼけ）に対しては、より大きなｘ成分を有する候補ベクトルにペナルティを課すことが所望される。従って、スケール係数Ｗ_H及びＷ_Vは、以下の式６及び７によって説明するように設定される。
（式６）

（式７）
ここで、ｋは、畳み込み演算出力に乗じる定数であり、ベクトル評価に対するバイアス効果を制御する。ｋを増加すると、それが組み込まれた本発明がもたらすバイアスを増加させる。

ここで、動きぼけ評価器（４４）から利用可能なこれらのスケール係数及びフィールドメモリ（４１）からの画像情報により、選択された候補は、図５に示すように修正誤差関数（４５）を使用して評価することができる。検出された動きぼけと矛盾する大きなベクトル成分を有する候補は、ペナルティを課せられる一方、適切な方向のベクトルは、殆ど影響されない。
候補の選択から、最小誤差関数との最良マッチングのベクトルが判断され、図５に示すように、ベクトルメモリ（４６）内の現在のブロックに割り当てられる。

本発明の好ましい実施形態はまた、以下の動きぼけ情報を利用することにより問題エリア内のアーチファクトを低減する。検出された最も強いエッジ｜Ｅ_{H_MAX}｜及び｜Ｅ_{V_MAX}｜両方が、定められた閾値「エッジ限界」よりも上にある場合、ブロックは、小さな静的詳細部を含むか又はオーバーレイの一部である可能性があり、従って、問題エリアの一部とすることができる。この理由によって、ブロック（４８）と関連したカウンタは、この場合には増加される。両方のエッジ測定値が閾値よりも上にない場合、カウンタは、ゼロに再設定される。カウンタが高くなれば、アルゴリズムは、静的詳細部がこのブロック中に存在することをより確固としたものにすることができ、従って、動き推定は、許容されたベクトル範囲内でより制限的である可能性がある。例えば、この実施例においては、候補選択器（４２）は、以下の式８及び９によるその後の繰返しにおけるブロックに対して最大許容ベクトル範囲を設定する。
（式８）

（式９）
ここで、Ｃは、現在のブロックに関するカウンタである。カウンタは、０から５の範囲に制限される。小さな静的詳細部を有する画像シーケンス又はいくつかのフレームに残存するオーバーレイに対して、アルゴリズムは、この時点でこれらの画像エリアに対するベクトル範囲を益々低減し、アーチファクトの可能性を低減する。

次に、図４に示すように、動き推定ユニット（４０）からのベクトルフィールドは、動き補正された補間器（５０）によって使用され、ビデオ信号のフレームレートを高めるために新しいフレームを再構成する。
本発明は、疑わしい候補に選択的にペナルティを課すことにより、動き推定器に改善されたベクトルフィールドを発生させ、画像シーケンス内の物体の真の動きに向ってより速い収束を提供する。

動きぼけを示す図である。 動きぼけのエッジを示す図である。 検出された動きベクトルを示す図である。 本発明の実施例にかかるテレビシステムを示す図である。 動き推定ユニットのブロック図である。

符号の説明

１０ テレビシステム
３０ プロセッサ
４０ 動き推定ユニット
５０ 動き補正された補間器

Claims (6)

1. 一連のビデオ画像内の動きを推定する方法であって、
   一連のビデオ画像の複数のフィールドを記憶する段階と、
   各フィールド又はフレームのピクセルの複数のブロックの各々に対して、そのブロックに対して隣接フィールド又は隣接フレーム間で前記画像内の動きを判断する際にどの動きベクトルが最良の適合を与えるかを判断するために、該画像に存在する動きぼけの量を判断する段階を含む、複数の候補動きベクトルを試験する段階と、
   前記そのように判断された動きぼけに基づいて前記候補動きベクトルを試験する段階を修正する段階と、
   を含み、
   前記候補動きベクトルを試験する段階を修正する前記段階は、前記判断された動きぼけに基づいて各候補動きベクトルに重み付け係数を適用する段階を含み、前記適用される重み付け係数は、前記動きぼけに基づいて検出された動きの方向と一致しない候補動きベクトルにペナルティを課すようにして、動きぼけの方向に対するベクトルの方向に依存することを特徴とする方法。
2. 前記候補動きベクトルは、所定範囲内のマグニチュードを有することを特徴とする請求項１に記載の方法。
3. 前記所定範囲よりも大きいマグニチュードを有する前記候補動きベクトルは、該範囲に固定されることを特徴とする請求項２に記載の方法。
4. 一連のビデオ画像内の動きを推定するための装置であって、
   一連のビデオ画像の複数のフィールドを記憶するための手段と、
   各フィールド又はフレームのピクセルの複数のブロックの各々に対して、そのブロックに対して隣接フィールド又は隣接フレーム間で前記画像内の動きを判断する際にどの動きベクトルが最良の適合を与えるかを判断するために、該画像に存在する動きぼけの量を判断する手段を含む、複数の候補動きベクトルを試験するための手段と、
   前記そのように判断された動きぼけに基づいて候補動きベクトルの前記試験を修正するための手段と、
   を含み、
   候補動きベクトルの前記試験を修正するための前記手段は、判断された動きぼけに基づいて各候補動きベクトルに重み付け係数を適用するための手段を含み、前記適用される重み付け係数は、前記動きぼけに基づいて検出された動きの方向と一致しない候補動きベクトルにペナルティを課すようにして、前記動きぼけの方向に対するベクトルの方向に依存することを特徴とする装置。
5. 前記候補動きベクトルは、所定範囲内のマグニチュードを有することを特徴とする請求項４に記載の装置。
6. 前記所定範囲よりも大きいマグニチュードを有する候補動きベクトルは、該範囲に固定されることを特徴とする請求項５に記載の装置。