JP5594968B2 - ビデオ画像間の運動を確定するための方法と装置 - Google Patents

Description

本発明は、第１及び第２ビデオ画像の間の運動（「動き」とも言う。以下、同じ）を確定するための、特に、運動を確定するために使用する必要のある画素の数を低減するための、方法と装置に関する。

動画は、連続する画像フレームで構成されている。運動推定アルゴリズムは、これらのフレームが一度に大きくは変わらないということを利用している。運動ベクトル場が計算されるが、これは、前のフレームに対する或るフレーム内の全ての画素の変位を記述するものである。画像は、普通は、計算上の複雑さを低減するために１つの運動ベクトルが或るグループ（ブロック）の画素に関係付けられるように、格子に分割される。

運動推定は数多くの異なる方法を使って実行することができるが、例えば、以下のようなものが含まれる。
・ブロックマッチング技法： section II of De Haan, G.,Biezen, P.W.A.C. “An efficient true-motion estimator using candidate vectors from a parametric motion model” Circuits and Systems for Video Technology, IEEE Transaction on Vol.8, Issue 1, Feb 1998, pp 85-91 に記載されている。
・勾配に基づく技法：Horn, B.K.P. & B.G. Schunck, “Determining Optical Flow,” Artificial Intelligence, Vol.16, No.1-3, August 1981, pp.185-203 に記載されている。

図１は、連続する２つの画像の間の既知のブロックマッチング技法を示しており、ブロックマッチング運動推定器は、通常、現在のフレーム内のピクセルのブロック（２０）と高い相関性を有する前のフレーム内の等しいサイズのピクセルのブロック（３０）を見つけ出すよう試みる。相関性は、普通は、絶対差異の和（ＳＡＤ）又は平均二乗誤差（ＭＳＥ）の様な誤差関数の形で測定される。最も良くマッチングしたブロックの間の変位は、運動ベクトル（４０）を表す。「全検索」運動推定器は、前の画像の全範囲に亘ってマッチングブロックを求めて検索することを選択する。しかしながら、計算を減らすため、大部分の運動推定器は、最大検索区域（１０）を定義することによってマッチングブロックのための検索ウィンドウを小さくし、そのウィンドウ内では全検索を実行するか、或る数の「候補」ブロックだけを評価するかの何れかを行う。検索区域は、サポートされる最大運動ベクトルサイズを、従って図２に示すように成功裏に推定できる最高速の運動を、効果的に制限する。

運動推定は、例えば、数多くの挿間フレームが元の画像の間に順に再構築され表示される運動補償挿間を含め、幾つかのアプリケーションで有用である。これは、画像シーケンス内で運動している物体の運動の震動を低減する。運動ベクトルは、ここでは、２つの画像の間の任意の時点で、例えば中間点で、定義することができ、運動補償を使って挿間されるフレームを再構築するのに使用することもできる。

この他のアプリケーションは、例えば、空間的及び／又は時間的冗長性が除去される、ビデオ圧縮である。運動ベクトルは、ここでも、連続するフレームの間の画像画素の変位を記述するのに使用され、このアプリケーションでは、画像データに代えて伝送され、これによって画像シーケンスを表すのに必要なデータの量が削減される。

運動推定を使ってビデオシーケンスを強化する他のアプリケーションには、非飛び越し走査及びノイズ低減が含まれる。

運動ぶれの検出と測定も、運動ベクトルの振れに関係する。運動ぶれは、カメラが運動している物体を捕捉しようと試みる際の自然な画像シーケンスに生じる効果である。カメラのシャッターが開いているときに物体が動くと、フィルムは統合媒体として働き、発生した運動は、運動の軌道に沿ったぶれとして見える。この既知の効果は、図３に示しており、運動画像画素上のローパスフィルタ作用の効果である。

物体がカメラに対して高速で動くほど、運動ぶれは大きくなる。運動ぶれは軌道に沿ってのみ生じるので、運動している物体上に存在する細部には、この方向にのみローパスフィルタが掛かることになる。これは更に図３に見ることができ、同図では、運動している車両の前後縁部の細部は見えず、これに対して天井及び底部縁部はなお見分けることができる。画像の区域内の縁部の鮮明さの程度は、運動の程度の指標として使用することができる。或る特定の方向で鮮明な縁部が検出される場合、直角方向には高速の運動は起こっていそうにないと推論することができる。

多種多様な画像シーケンスを成功裏に推定するためには、大きなベクトル範囲が必要となる。これは、検索区域を広げることになり、従って、その領域内の運動ベクトルの計算と評価の際に使用できるようにする必要がある画素の数が増すことになる。

大きな検索区域で運動推定を実行するためには、大量の画像情報を処理ブロックの間で伝送する必要があり、これには広い帯域幅が要求される。

画素記憶装置は、ハードウェアに実装して組み込むと、費用が掛かり嵩張るので、運動推定及び補償段階で必要とされる使用可能な画素の数は減らすのが望ましい。

大きな検索区域を実施するコストを下げるために幾つかの方式がこれまでに提案されてきており、これらの技法については、当業者は既知であろう。例えば、米国特許第６，６８７，３０３号は、評価されるブロック内の近隣の画素が４：１又は２：１で副次標本採取される方式が記載されている。同様の方式が、米国特許第６，３１７，１３６号及び米国特許第５，９８２，９１０号に記載されており、そこでは、入ってくる画素データに対し２：１で副次標本採取されている。この様な単純な２：１副次標本採取は、複雑さを低減するのには成功するが、有用な画像情報が処理の間に廃棄されることになる。そうすると、ベクトルの推定と適用範囲を支援する画像シーケンス内の細部が失われるので、運動推定の品質低下に繋がる。

画像内の物体の運動速度が上がるほど、運動の軌道に沿って運動ぶれが現れ細部が見えなくなることにより、画像内の物体にローパスフィルタの掛かる程度が上がる。従って、運動が速くなるほど、画像内のこの場所に存在する高周波成分が少なくなる。そこからの標本採取から、信号内の周波数成分が高いほど、信号を完全に再構築するためには、標本採取速度を高くしなければならないことが知られている。従って、運動速度が上がると、必要な標本採取速度は低くなる。

この延長として、水平方向に動いている物体は、水平方向のみに沿ってぶれ、同様に、垂直に動いている物体は、この方向に細部を失うが、水平方向の細部は残る。従って、或る特定の方向の運動を受けている画素には、この軌道に沿って比較的低い周波数成分があり、一方、この方向に直角な周波数成分は維持される。これは、運動の軌道に沿って必要とされる標本採取周波数は、直角方向に必要とされるものより低いことを意味する。従って、重要な画像細部の損失を最小化するためには、水平方向の運動を受ける画素は、水平方向に副次標本採取すればよく、垂直方向の運動を受ける画素は、垂直方向に副次標本採取すればよい。

米国特許第６，６８７，３０３号 米国特許第６，３１７，１３６号 米国特許第５，９８２，９１０号 section II of De Haan, G.,Biezen, P.W.A.C. "An efficient true-motion estimator using candidate vectors from a parametric motion model" Circuits and Systems for Video Technology, IEEE Transaction on Vol.8, Issue 1, Feb 1998, pp 85-91 Horn, B.K.P. & B.G. Schunck, "Determining Optical Flow," Artificial Intelligence, Vol.16, No.1-3, August 1981, pp.185-203

検索区域の細部を最大限に維持するためには、全ての画素を維持すべきであることを我々は理解している。しかしながら、画素記憶装置は高価で、大量の画素情報の伝送には、広い帯域幅が必要になる。運動している物体を含んでいる画像はぶれを含んでおり、我々は、その様な場合、運動方向に沿う標本採取周波数は、画像細部の有意な損失を被ること無く減じることができることを理解している。

本発明の好適な実施形態は、検索区域内の画素の副次標本採取を予め定めたパターンで実行する。副次標本採取される画素のパターンは、重要な画像細部を維持しながら、記憶される画素の数を減らし、而してシステムの演算処理とメモリの要件を減らすため、検索区域全体に亘って変化する。

本発明の好適な実施形態は、検索区域の中心からの距離が増すにつれて、中心から遠くに現れるブロックの画素は、最高速で運動することになり、且つ画像細部の損失無しに副次標本採取できることから、画像画素の副次標本採取の程度を上げる。

本発明の好適な実施形態は、静止しているか又は低速で動いているブロックの細部を維持するため、検索区域の中心近くで高い画素解像度を維持する。この高解像度区域のサイズは、最大使用可能検索区域メモリに影響される。

本発明は、その様々な態様において、特許請求の範囲に定義することとし、それについて参照してゆく。

本発明の好適な実施形態について、添付図面を参照しながら以下に説明する。

以下、本発明の好適な実施形態について、テレビジョンシステムに組み込まれた場合を、図４を参照しながら説明する。この実施形態は、運動補償挿間を使用して高精細度（ＨＤ）動画シーケンスのフレーム率を上げるのに使用されている。高精細度シーケンスは、フレーム間の運動を記述するのに標準精細度（ＳＤ）の場合よりも大きなベクトル限界を必要とする高品質になった垂直及び水平解像度を有している。

図４は、テレビジョンシステム（１０）を示している。アンテナ（２０）（又は、ＤＶＤプレーヤーの様な他のビデオ入力）はチューナーに供給し、チューナーは、ビデオ信号をプロセッサ（３０）に提供する。処理されたビデオ信号は、次に、運動推定器ユニット（４０）に供給される。運動推定器は、フレーム間の運動の方向と程度を推定し、好適には、このデータをベクトルによって提供する。ビデオ信号の時間的フレーム率は、中間フレームを構築するために、運動推定器から供給されたベクトルを運動補償挿間器（５０）に送給することによって、上げられる。増強されたビデオ信号は、次に、表示装置（６０）上に表示される。

本発明を組み込んだ運動推定器ユニット（４０）について、図５を参照しながら以下に説明する。運動推定器ユニット（４０）の機能は、連続するフレームの間の運動を確定することである。この運動は、ベクトルによって記述される。フレーム間の運動は、各ビデオフレームを予め定められた数の画素を含む一連のブロックに分解することによって確定される。このブロックは、次に、ブロックマッチング技法、例えばＳＡＤ又はＭＳＣ、を使ってフレーム間のブロックの運動を確定するために、隣接するフレーム内の画素のブロックと比較される。

ブロックマッチングが実行されるフレームの区域を小さくするために、本発明の各実施形態は、隣接するフレームの特定の検索区域内でブロック比較を実施する。検索区域は、元のフレームのブロックの位置に中心があるのが望ましい。検索区域のサイズは、システムのメモリと演算処理の能力に基づいて選択される。図２に関して上で議論したように、検索区域が大きいほど、検出される運動の程度が大きくなり、より高速の運動を推定できるようになる。ブロックの運動は、次に、検索区域内でブロックマッチング技法を使用して確定される。本発明の好適な実施形態は、フレームの各部ロックを演算処理する。

運動推定の最高の品質を提供するため、検索区域内の全ての画素が使用され、運動しているブロックと比較されることになる。しかしながら、画素記憶装置は、ハードウェアに実装して組み込まれると、高価なので、検索区域で使用される画素の数は減らすのが望ましい。画素の数を減らすために、本発明の実施形態は、検索区域の画素を副次標本採取する。

検索区域の画素をどの様に副次標本採取するかを決めるときには、以下のような多数の因子が考慮される。
・運動推定を最も正確に行う必要のある方向；
・画素の数を減らすために情報を失うのが許容されるか否か；
・ブロックの運動の強さ；
・比較ブロックとして使用されることになる検索区域内の画素のブロックの場所。

或る特定の方向に最も正確に運動を推定するためには、その方向に画素の最高の解像度を維持して、より多くの画素をブロックマッチング計算に使用できるようにしなければならない。従って、水平方向の正確な運動推定が必要な場合は、最高の解像度を水平方向に維持することができる。記憶する必要のある画素の数は、垂直方向に副次標本採取することによって減らすことができる。水平方向に最高の解像度を維持しながら、垂直方向に画素を副次標本採取する例が、図６に示されている。その様な副次標本採取パターンは、物体の水平方向の動きとカメラのパン操作による運動が垂直方向の運動よりもよく起こる自然な画像のビデオシーケンスに使用することができる。この様なパターンは、垂直方向に副次標本採取することによって画素記憶装置を削減しながら、水平方向に高精度の運動を確定できるようにする。

代わりに、副次標本採取の方向は、副次標本採取がデータ損失に及ぼす影響が最小になる方向に基づいて選定してもよい。画素のブロックが或る特定の方向に動いている場合、細部は、運動ぶれのために運動の方向に失われることが生じ得る。ぶれの生じた画素からは殆ど情報を得ることができないので、運動の方向に副次標本採取することによって、記憶される画素の数は、有意な情報を失うこと無く減らすことができる。従って、物体が水平方向に動いている場合、水平方向の副次標本採取は、有意な情報を失うこと無く使用することができる。逆に、物体が垂直方向に動いている場合、垂直方向副次標本採取は、有意な情報を失うこと無く使用することができる。従って、図６の垂直方向副次標本採取画素パターンは、有意な情報を失うこと無く記憶される画素の数を減らすために、垂直方向の運動に使用することができる。

この他に副次標本採取パターンを決める際に考慮すべきことは、予測されるブロックの運動の程度である。ブロックが画素フレームの間を動いたとき、ブロックの元の位置の中心にある検索区域は、検索区域の中心から離れた関連画素を含んでいる。具体的には、水平方向運動の場合、関連画素は中心の右と左にあり、垂直方向運動の場合、関連画素は検索区域の中心の上方と下方に位置している。物体の運動速度が上がるにつれて、副次標本採取の程度は、映像細部の損失に関する犠牲を払うことなく上げることができる。逆に、殆ど又は全く動きがない場合、運動推定に必要となる関連画素は、主に、検索区域の中心に向けて配置されることになる。静止しているか又は低速で動いているブロックには運動ぶれが無いので、重要な画像細部を失うのを避けるため、検索区域の中心に近い画素データは副次標本採取しないのが望ましい。

最後の選択される副次標本採取パターンは、静止、中間及び高速運動の測定ができるように選定される。副次標本採取の程度は、中心の最高の解像度区域の外側では一定に保たれるように選定されるか、又は、検索区域の中心からの距離が増すにつれ上げることができるように選定されるのが望ましい。例えば、２：１副次標本採取の地帯は中程度の運動に使用することができ、４：１は高速運動に、８：１は超高速運動に使用することができる。その様なパターンは、ブロックが静止しているときは、検索区域の中心で最高の解像度を維持することにより細部を維持し、運動速度が上がり、関連ブロックが中心から遠くなるにつれ、情報の損失は、運動ぶれの程度が上がるため制限される。

画素記憶装置要件の更なる低減は、水平及び垂直方向の副次標本採取の組み合わせを最高の解像度の領域と組み合わせて使用することによって得ることができる。この場合も、有用な情報の損失を最小限に抑えながら記憶する画素の数を最小限にするために、副次標本採取率の組み合わせを、検索区域の異なる領域で使用することができる。

図７は、検索区域の異なる領域で異なる程度の垂直及び水平方向両方の副次標本採取を組み込んでいる副次標本採取パターンの例を示している。図７の実施形態は、等価なサイズの検索区域に対し、図６よりも記憶すべき画素の数が少なくて済む。

図８は、画素記憶装置要件を低減するために、対角線方向の画素も取り除かれている、別の副次標本採取検索区域を示している。

図５に戻るが、入力フレーム内の各部ロック毎に、候補選択器（４２）は、決められた検索区域内のブロックに関係する、下記の或る数の候補運動ベクトルを選定する。

この一組の候補ベクトルが、最も良いマッチングを見つけ出すために候補評価器（４４）に供給される。運動推定器は、検索区域内の全ての可能性のある運動ベクトルを使用するために、又はベクトルの選択を試験するだけのために選定することができる。この決定は、通常、システムの設計の際に行われるが、使用する際に選択することもできる。ここに記載する例では、候補評価器は、簡素化のため、式１に記述するようなＳＡＤ標準を使って最も適した候補を確定するためにベクトルを比較する。

式１
ここに、

は候補運動ベクトルを表し、

は検索区域内の空間的場所を表し、

は評価が行われる画素のブロックを表し、

は空間的場所

及び時間的位置ｎにおける画素の強度値を表す。

画素情報

は、現在のブロック（４８）から、入力画像データより供給される。前のフレーム

から画素情報を取得するため、入力画像データは、遅延器（４１）を通して副次標本採取ブロック（４７）に送られる。このブロックの処理については、後で詳しく説明する。副次標本採取ブロックは、検索区域メモリ（４３）に副次標本採取された画素を提供し、検索区域メモリは、挿間器（４９）を介して候補評価器（４４）に、ベクトル候補にアクセスするのに必要な画素情報を提供する。副次標本採取された画素は、次に、候補運動ベクトルを使用して現在のブロックの画素情報と比較される。最低の誤差関数を有する候補が、現在のブロックに対する最良のマッチングと判断され、関係付けられた運動ベクトルが画素のブロックに割り当てられる。

この実施形態では、決められた検索区域は、図９に示すように、水平方向に＋／−６４画素、垂直方向に＋／−３２画素の最大ベクトルを使用できるようにする。別の実施形態では、システムの要件及び拘束条件次第で、異なるサイズの検索区域を使用することができる。１６ｘ１６画素のブロックサイズでは、これは、検索区域を１４４ｘ８０の寸法の画素のセットとして定めている。副次標本採取ブロック（４７）は、方向性を持って検索区域内の画素を副次標本採取することによって、記憶する画素の数を減らすことができるようにする。この例では、水平及び垂直方向の副次標本採取を利用し、副次標本採取操作で選択された画素を図１０に示している。画素選択のパターンは原点に対して対称なので、簡素化のため、全検索区域（１０）の右半分だけを示している。標識は、それぞれ水平及び垂直方向の座標を、ブロックの中心の原点に対して表示している。

中間的な画素は、最早記憶する必要がなく、代わりに、図５に示すように、挿間器（４９）による評価の間に推定することができる。この挿間器は、例えば、使用可能な画素の間で線形挿間を実行するが、他の挿間を使用してもよい。図１０に示す座標系を使用すると、例えば、検索区域内の座標（２４，０）の画素が必要な場合、挿間は、検索区域メモリから入手可能な画素（２３，０）と画素（３１，０）の間で、式２に記述するように実行される。

式２
これは、水平及び垂直方向の挿間を必要とする画素の対する２段階演算処理へと僅かに拡張されている。

副次標本採取検索区域と挿間器を使えば、大きな検索区域内の画素情報を、運動推定器の候補評価段階に、数を低減した記憶された画素と狭くなった帯域幅を使用して提供することができる。候補の選択から、最低の誤差関数と最も良くマッチングするベクトルが確定され、図５８に示すように、ベクトルメモリ（４６）内の現在のブロックに割り当てられる。

次に、運動推定器（４０）からのベクトル場を使って、運動補償挿間器（５０）は、図４に示すように、新しいフレームを再構築し、ビデオ信号のフレーム率を上げる。運動補償段階の間に、同じ検索区域メモリを利用して、再構築されたフレームに画素を提供することができる。

当業者には自明のように、本発明の各実施形態は、ビデオフレーム内の正しい運動ベクトルを確定するのに使用される重要な画像情報を維持しながら、検索区域に対する画像記憶装置要件を低減するために、副次標本採取を使用している。記憶する必要のある画素の数を減らした結果として、外部画素メモリと内部演算処理ブロックとの間の帯域幅要件も低減することができる。

先行技術で使用されている既知のブロックマッチング運動推定器を示している。 運動を推定するのに使用される検索区域示している。 物体のぶれのある動きを示している画像である。 テレビジョンシステムに組み込まれている本発明の或る実施形態を示している。 運動推定器を示しているブロック図である。 画素が垂直方向に副次標本採取されている検索区域を示している。 垂直及び水平方向の副次標本採取を含む検索区域を示している。 対角線方向に中心から遠い画素が除去されている、垂直及び水平方向の副次標本採取を含む検索区域を示している。 本発明の実施形態で使用されている検索区域を示している。 本発明の実施形態で使用されている副次標本採取された検索区域の例を示している。

Claims (10)

1. 第１及び第２のビデオ画像の間の運動を確定するための方法において、
   複数の画素を備えている第１ビデオ画像を受け取る段階と、
   前記第１ビデオ画像内の画素のブロックを選択する段階と、
   複数の画素を備えている第２ビデオ画像を受け取る段階と、
   前記第２ビデオ画像の少なくとも一部分を選択して検索区域を作る段階と、
   前記検索区域の画素を、所定のパターンで標本採取する段階と、
   前記第１ビデオ画像内の前記選択された画素のブロックを、前記検索区域の少なくとも１つの標本採取された画素のブロックを挿間処理することにより生成された画素のブロックと比較して、前記両画像の間の前記画素のブロックの運動を確定する段階と、から成り、
   前記標本採取される画素のパターンは、前記検索区域によって異なり、
   前記標本採取する段階は、前記検索区域の前記画素を副次採取する段階を更に含み、前記副次採取の程度は、前記検索区域の中心からの距離が遠くなると、上がり、
   前記第２ビデオ画像内の前記検索区域の位置は、前記第１ビデオ画像の画素のブロックの位置上に、中心が合わせられ、
   前記標本採取される画素のパターンは、運動推定が最も正確であることを要求される方向に依存している、
   ことを特徴とする方法。
2. 前記標本採取される画素のパターンは、画素情報の損失が受容される程度に依存している、請求項１に記載の方法。
3. 前記標本採取される画素のパターンは、比較に使用される前記検索区域の副次標本採取される画素のブロックの位置に依存している、請求項１又は２に記載の方法。
4. 前記パターンは、前記検索区域の中心に高い解像度の画素を含んでいる、請求項１、２又は３に記載の方法。
5. 前記画素のパターンは、前記検索区域内で水平及び垂直方向に標本採取することを含んでいる、請求項１、２、３又は４に記載の方法。
6. 第１及び第２のビデオ画像の間の運動を確定するための装置において、
   複数の画素を備えている第１ビデオ画像を受け取るための手段と、
   前記第１ビデオ画像内の画素のブロックを選択するための手段と、
   複数の画素を備えている第２ビデオ画像を受け取るための手段と、
   前記第２ビデオ画像の少なくとも一部分を選択して検索区域を作るための手段と、
   前記検索区域の画素を、所定のパターンで標本採取するための手段と、
   前記第１ビデオ画像内の前記選択された画素のブロックを、前記検索区域の少なくとも１つの標本採取された画素のブロックを挿間処理することにより生成された画素のブロックと比較して、前記両画像の間の前記画素のブロックの運動を確定するための手段と、を備えており、
   前記標本採取する段階は、前記検索区域の前記画素を副次採取する段階を更に含み、前記副次採取の程度は、前記検索区域の中心からの距離が遠くなると、上がり、
   前記第２ビデオ画像内の前記検索区域の位置は、前記第１ビデオ画像の画素のブロックの位置上に、中心が合わせられ、
   前記標本採取される画素のパターンは、運動推定が最も正確であることを要求される方向に依存している、
   ことを特徴とする装置。
7. 前記標本採取される画素のパターンは、画素情報の損失が受容される程度に依存している、請求項６に記載の装置。
8. 前記標本採取される画素のパターンは、比較に使用される前記検索区域の前記少なくとも１つの標本採取される画素のブロックの位置に依存している、請求項６又は７に記載の装置。
9. 前記パターンは、前記検索区域の中心に高い解像度の画素を含んでいる、請求項６又は７に記載の装置。
10. 前記画素のパターンは、前記検索区域内で水平及び垂直方向に標本採取することを含んでいる、請求項６に記載の装置。

Images