JP3979977B2 - 階層的動きベクトルサーチを利用した動き推定法及び装置及びそれを適用した動映像符号化システム - Google Patents

Description

本発明は、リアルタイム動映像符号化システムに係り、特に階層的サーチを利用した動き推定法及び装置及びそれを適用した動映像符号化システムに関する。

一般的に動映像エンコーダにて最も多くの計算量を占める部分は動き推定部である。高速動き推定技法はかような動き推定部の計算量を減らせる。高速動き推定技法は全域サーチ技法に比べて性能が落ちずにも速い演算を行う。階層的サーチ方式はかような高速動き推定の要求を充足させている。

かような階層的サーチ方式はＭＰＥＧ−２に適用する場合、フレーム動き推定及びフィールド動き推定を全ての階層にて行わなければならない。

図１は、従来のＭＰＥＧ−２エンコーダに適用される階層的サーチ方式を説明するための概念図である。

図１を参照すれば、まず、参照（または以前）フレームと現在フレームとはサブサンプリングを介して階層的構造を形成する。例えば、３段階層的サーチ方式を考えてみる。この時、現在フレームと参照フレームとは最低解像度階層ＬＥＶＥＬ２ １１０、中間解像度階層ＬＥＶＥＬ１ １２０、最上解像度階層ＬＥＶＥＬ０ １３０より構成される。

階層的構造を利用して階層的動き推定を説明すれば、最低解像度階層ＬＥＶＥＬ２にて全域サーチを行い、最小ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を有する初期サーチ点を求める。次に、中間解像度階層ＬＥＶＥＬ１にて最低解像度階層ＬＥＶＥＬ２の初期サーチ点を中心に狭い領域の地域サーチを行う。結局、中間解像度階層ＬＥＶＥＬ１の地域サーチは最小ＳＡＤを有する新しい初期サーチ点を抽出する。次に、最上解像度階層ＬＥＶＥＬにて中間解像度階層ＬＥＶＥＬ１の新しい初期サーチ点を中心に狭い領域の地域サーチを行う。結局、最上解像度階層ＬＥＶＥＬ０の地域サーチは最終動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を抽出する。

従って、ＭＰＥＧ−２ではＰ−フレームである場合にかような階層的サーチをフレーム及びフィールドにて５回行わなければならない。すなわち、階層的動きサーチはフレーム間に、トップフィールドからトップフィールド間に、トップフィールド−ボトムフィールド間に、ボトムフィールド−トップフィールド間に、ボトムフィールド−ボトムフィールド間にそれぞれ行われる。Ｂ（ｂｉｄｉｒｅｃｔｉｏｎａｌ）−フレームである場合にかような階層的サーチは順方向及び逆方向について全て１０回行われる。従って、階層的サーチをＭＰＥＧ−２の動き推定に適用しようとするなら、フレーム動き推定及びフィールド動き推定のためのメモリを別途に備えなければならないだけではなく、計算量が相変らず多い短所がある。

本発明がなそうとする技術的課題は、ＭＰＥＧ−２に適用される一般的な階層的サーチ方式にてフィールド動き推定演算量を最小化するための動き推定法及び装置を提供するところにある。

本発明がなそうとする技術的課題は、前記階層的サーチ方式にてフィールド動き推定演算量を最小化するための動き推定を適用した動映像符号化システムを提供するところにある。

上記の技術的課題を解決するために、本発明のフレームを階層的構造に分けて動映像の動きを推定する方法において、（ａ）下位レベルフレームデータにて初期サーチ点を基にサーチを行い、最小ＳＡＤを有するサーチ点を求め、そのサーチ点を基準ＭＶに使用する過程と、（ｂ）前記基準ＭＶを基に上位レベルにてフレームデータ及びフィールドデータに共通にサーチを行い、最小ＳＡＤを有するサーチ点をフレーム及びフィールドのＭＶと推定する過程とを含むことを特徴とする。

上記の他の技術的課題を解決するために、本発明のフレームを階層的構造に分けて動映像の動きを推定する動き推定装置は、現在フレームと参照フレームとを低帯域通過フィルタリング及びサブサンプリングを介して階層的構造より形成する前処理部と、前記前処理部にて形成された高解像度階層のフレームにてサーチを行った後で最小ＳＡＤを有する一つ以上の初期サーチ点を探す第１動き推定部と、前記前処理部にて形成された高解像度階層にて前記フレーム動き推定部でサーチした初期サーチ点をフレーム及びフィールドの基準ＭＶにしてサーチを行った後で最小ＳＡＤを有するフレーム及びフィールドのＭＶを推定する第２動き推定部とを含むことを特徴とする。

本発明によれば、階層的サーチ方式をＭＰＥＧ−２に適用する場合、中間解像度階層ＬＥＶＥＬ１に得られた基準ＭＶをフレーム推定及びフィールド動き推定に共通に適用することにより動き推定の演算量を減らせる。

以下、添付された図面を参照として本発明の望ましい実施例を説明する。

図２は、本発明による動映像符号化システムを示したブロック図である。

入力される映像データはＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）単位に構成される。

ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部２２０は入力される映像データから空間重複性を得るために８×８ブロックについてＤＣＴを行う。

量子化（Ｑ）部２３０は、ＤＣＴ部２２０にてＤＣＴされた映像データを量子化する。逆量子化（ＩＱ）部２５０はＱ部２３０にて量子化された映像データを逆量子化する。

逆ＤＣＴ（ＩＤＣＴ）部２６０は、ＩＱ部２５０にて逆量子化された映像データを逆ＤＣＴする。フレームメモリ部（ＦＭ）２７０はＩＤＣＴ部２６０にて逆ＤＣＴされた映像データをフレーム単位に貯蔵する。

動き推定（ＭＥ）部２８０は、現在フレームの映像データとＦＭ２７０に貯蔵された以前フレームの映像データとをサンプリングして階層的構造より形成し、フレーム動き推定時に中間解像度階層ＬＥＶＥＬ１にて得られた基準ＭＶをフレーム及びフィールドに共通に適用して動き推定を行う。

ＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）部２４０は、ＭＥ部２８０にて推定されたＭＶにより量子化された映像データから統計的重複性を除去する。

図３は、図２のＭＥ部２８０の詳細図である。

図３を参照すれば、前処理部３１０は、現在フレームと参照フレームとを低帯域通過フィルタリング（Ｌｏｗ−Ｐａｓｓ Ｆｉｌｔｅｒｉｎｇ：ＬＰＦ）し、サブサンプリングを介して階層的構造より形成する。例えば、３段階層的サーチ方式を考えてみる。この時、現在フレームと参照フレームとはそれぞれ最低解像度階層ＬＥＶＥＬ２、中間解像度階層ＬＥＶＥＬ１、最上解像度階層ＬＥＶＥＬ０より構成される。最上解像度階層ＬＥＶＥＬ０の映像は元来の映像であり、中間解像度階層ＬＥＶＥＬ１の映像は元来映像の縦横にそれぞれ１／２サイズである。最低解像度階層ＬＥＶＥＬ２の映像は中間解像度階層ＬＥＶＥＬ１の映像の縦横にそれぞれ１／４サイズである。

第１フレームＭＥ部３２０は、前処理された最低解像度階層ＬＥＶＥＬ２にてフレーム単位の動き推定のための全域サーチを行った後で最小ＳＡＤを有する一つ以上の初期サーチ点（ベクトル）を探す。

第２フレームＭＥ部３３０は、前処理された中間解像度階層ＬＥＶＥＬ１にて最低解像度階層ＬＥＶＥＬ２の初期サーチ点（ＭＶ）を利用してフレーム単位の動き推定のための狭い領域の地域サーチを行い、地域サーチにより最小ＳＡＤを有する初期サーチ点を求める。この時中間解像度階層ＬＥＶＥＬ１にて求めたＭＶを基準ＭＶという。

第３フレームＭＥ部３４０は、最上解像度階層ＬＥＶＥＬ０にて行われ、中間解像度階層ＬＥＶＥＬ１にて得られた基準ＭＶを利用してフレーム単位の動き推定のための地域サーチとフィールド単位の動き推定のための地域サーチとを同時に行った後で、最小ＳＡＤを有するフレームＭＶ及び同一フィールド間ＭＶを求める。ここで、現在トップフィールドから以前トップフィールド間のＭＶをＴｏｐ２Ｔｏｐ ＭＶ、現在トップフィールドから以前ボトムフィールド間のＭＶをＴｏｐ２Ｂｏｔ ＭＶ、現在ボトムフィールドから以前トップフィールド間のＭＶをＢｏｔ２Ｔｏｐ ＭＶ、現在ボトムフィールドから以前ボトムフィールド間のＭＶをＢｏｔ２Ｂｏｔ ＭＶとする。この時、Ｔｏｐ２Ｔｏｐ及びＢｏｔ２Ｂｏｔ ＭＶはフレーム動き推定時に自ら得られるフィールド別ＳＡＤを別途に貯蔵して推定するために別途の演算が必要でない。

第１スケーラ３５０は、現在フレームのトップフィールド−以前フレームのボトムフィールド間の距離を考慮して基準ＭＶをスケーリングする。

第１フィールドＭＥ部３６０は、最上解像度階層ＬＥＶＥＬ０のトップフィールド−ボトムフィールドにて第１スケーラ３５０でスケーリングされた基準ＭＶを基にフィールド単位の動き推定のための地域サーチを行い、最小ＳＡＤを有するＴｏｐ２Ｂｏｔ ＭＶを求める。

第２スケーラ３７０は、現在フレームのボトムフィールド−以前フレームのトップフィールド間の距離を考慮して基準ＭＶをスケーリングする。

第２フィールドＭＥ部３８０は、最上解像度階層ＬＥＶＥＬ０のボトムフィールド−トップフィールドにて第２スケーラ３７０でスケーリングされた基準ＭＶを基にフィールド単位の動き推定のための地域サーチを行った後で、最小ＳＡＤを有するＢｏｔ２Ｔｏｐ ＭＶを求める。

図４は、本発明による階層的動き推定法を示すフローチャートである。

まず、現在フレームと参照フレームとを低域通過フィルタリング及びサブサンプリングを介して階層的構造より形成する。

次に、最低解像度階層ＬＥＶＥＬ２にてフレーム単位の動き推定のための全域サーチを行う。この時、最低解像度階層ＬＥＶＥＬ２にて全域サーチは最小ＳＡＤを有する一つ以上の初期サーチ点（ベクトル）を抽出する（４１０）。

次に、中間解像度階層ＬＥＶＥＬ１にて最低解像度階層ＬＥＶＥＬ２の初期サーチ点（ＭＶ）を利用してフレーム単位の動き推定のための地域サーチを行う。この時、地域サーチは中間解像度階層ＬＥＶＥＬ１にて最小ＳＡＤを有するフレーム単位の初期サーチ点を求める（４２０）。ここで、中間解像度階層ＬＥＶＥＬ１にて求めたＭＶを基準ＭＶという。

次に、最上解像度階層ＬＥＶＥＬ０にて中間解像度階層ＬＥＶＥＬ１の基準ＭＶをフレーム動き推定及びフィールド動き推定に共通に適用する（４３０、４４０）。すなわち、最上解像度階層ＬＥＶＥＬ０にて中間解像度階層ＬＥＶＥＬ１の基準ＭＶを利用してフレーム単位の動き推定のための地域サーチとフィールド単位の動き推定のための地域サーチとをそれぞれ行う。この時、地域サーチは最上解像度階層ＬＥＶＥＬ０にて最小ＳＡＤを有するフレーム単位のＭＶ及びフィールド単位のＭＶを同時に推定する。

この時、Ｔｏｐ２Ｔｏｐ ＭＶ及びＢｏｔ２Ｂｏｍ ＭＶはフレーム動き推定時に自動的に得られるフィールド別ＳＡＤを参照して推定する。そして、トップフィールド−ボトムフィールド及びボトムフィールド−トップフィールドについての動き推定はフィールド間に距離が変わって基準ＭＶをそのまま適用できない。従って、トップフィールド−ボトムフィールド及びボトムフィールド−トップフィールドの動き推定はフィールド間距離を考慮してスケーリングされた基準ＭＶを基に地域サーチを行い、その地域サーチを介して最小ＳＡＤを有するＴｏｐ２Ｂｏｔ ＭＶ及びＢｏｔ２Ｔｏｐ ＭＶを求める。

結局、フィールド動き推定は最低解像度階層ＬＥＶＥＬ２及び中間解像度階層ＬＥＶＥＬ１にてサーチを行わない代わりに中間解像度階層のフレーム動き推定から求めたサーチ点を使用して最上解像度階層にて狭いサーチ領域の地域サーチを行う。

図５は、Ｔｏｐ２Ｂｏｔ ＭＶを推定するために基準ベクトルをスケーリングする実施例を示したことである。

図５を参照すれば、以前フレーム及び現在フレームにそれぞれトップフィールド及びボトムフィールドが存在すると仮定する。同一フィールド間の距離がｍ、他のフィールド間の距離がｎ、基準ベクトルがＢＭＶならば、Ｔｏｐ２Ｂｏｔ ＭＶは、ＢＭＶ×ｎ／ｍと推定できる。追加でフィールド特性を考慮したオフセットがスケーリングされたＭＶに加えられる。Ｂｏｔ２Ｔｏｐ ＭＶもＴｏｐ２Ｂｏｔ ＭＶと類似の方式で得られる。

本発明は、前述の実施例に限定されずに本発明の思想内にて当業者による変形が可能であることはもちろんである。本発明はまたコンピュータで読み込める記録媒体にコンピュータが読み込めるコードでもって具現できる。コンピュータが読み込める記録媒体はコンピュータシステムにより読み込めるデータが貯蔵される全ての種類の記録装置を含む。コンピュータが読み込める記録媒体の例ではＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ貯蔵装置などがあり、またキャリアウエーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータが読み込める記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み込めるコードでもって貯蔵されて実行できる。

従来のＭＰＥＧ−２エンコーダに適用される階層的サーチ方式を説明するための概念図である。 本発明による動映像符号化システムを示したブロック図である。 図２のＭＥ部の詳細図である。 本発明による階層的動き推定法を示すフローチャートである。 Ｔｏｐ２Ｂｏｔ ＭＶを推定するために基準ベクトルをスケーリングする実施例を示した図面である。

符号の説明

２２０ ＤＣＴ部
２３０ Ｑ部
２４０ ＶＣＬ部
２５０ ＩＱ部
２６０ ＩＤＣＴ部
２７０ ＦＭ
２８０ ＭＥ部

Claims (5)

1. フレームを階層的構造に分けて動映像の動きを推定する方法において、
   （ａ）下位レベルフレームデータにて初期サーチ点を基にサーチを行い、最小ＳＡＤを有するサーチ点を求め、そのサーチ点を基準動きベクトルに使用する過程と、
   （ｂ）前記基準動きベクトルを上位レベルにてフレームデータ及びフィールドデータに共通に適用してフレーム単位の動き推定のためのサーチとフィールド単位の動き推定のためのサーチとを行い、最小ＳＡＤを有するサーチ点をフレーム及びフィールドの動きベクトルと推定する過程とを含み、
   前記（ｂ）過程にてフィールド間の動きベクトル推定は、
   フレーム単位動き推定時に得られるフィールド別ＳＡＤを参照し、トップフィールド−トップフィールド及びボトムフィールド−ボトムフィールドの動きベクトルを推定し、
   トップフィールド−ボトムフィールド間及びボトムフィールド−トップフィールド間の距離を考慮して前記基準動きベクトルをスケーリングし、
   前記スケーリングされた基準動きベクトルでトップフィールド−ボトムフィールド及びボトムフィールド−トップフィールドにてサーチを行い、最小ＳＡＤを有する動きベクトルを推定する過程である動き推定法。
2. 前記基準動きベクトルは、フィールド間距離を考慮したスケーリング係数によりスケールされることであることを特徴とする請求項１に記載の動き推定法。
3. トップフィールド−ボトムフィールド及びボトムフィールド−トップフィールドについての動きベクトルは同一フィールド間の距離がｍ、他のフィールド間の距離がｎ、基準ベクトルがＢＭＶならば、ＢＭＶ×ｎ／ｍであることを特徴とする請求項２に記載の動き推定法。
4. フレームを階層的構造に分けて動映像の動きを推定する動き推定装置において、
   現在フレームと参照フレームとを低帯域通過フィルタリング及びサブサンプリングを介して階層的構造より形成する前処理部と、
   前記前処理部にて形成された高解像度階層のフレームにてサーチを行った後で最小ＳＡＤを有する一つ以上の初期サーチ点を探す第１動き推定部と、
   前記前処理部にて形成された高解像度階層にて前記第１動き推定部でサーチした初期サーチ点をフレームデータ及びフィールドデータに共通に適用してフレーム単位の動き推定のためのサーチとフィールド単位の動き推定のためのサーチとを行った後で最小ＳＡＤを有するフレーム及びフィールドの動きベクトルを推定する第２動き推定部とを含み、
   前記第２動き推定部は、
   高解像度階層のフレームデータを前記高解像度階層にて推定された動きベクトルを基準にフレームとフィールド別にサーチを行い、最小ＳＡＤを有するフレームの動きベクトルを推定し、フレーム単位動き推定時に得られるフィールド別ＳＡＤを参照してトップフィールド−トップフィールド及びボトムフィールド−ボトムフィールドについての動きベクトルを推定するフレーム動き推定部と、
   現在フレームのトップフィールド−以前フレームのボトムフィールド間の距離により前記基準動きベクトルをスケーリングする第１スケーラと、
   前記第１スケーラにてスケーリングされた基準動きベクトルを利用して前記高解像度階層のトップフィールド−ボトムフィールドにて垂直及び水平の地域サーチを行い、その地域サーチにより最小ＳＡＤを有するトップフィールド−ボトムフィールドの動きベクトルを推定する第１フィールド動き推定部と、
   現在フレームのボトムフィールド−以前フレームのトップフィールド間の距離により前記基準動きベクトルをスケーリングする第２スケーラと、
   前記第２スケーラにてスケーリングされた基準動きベクトルを利用して前記高解像度階層のボトムフィールド−トップフィールドにて垂直及び水平の地域サーチを行い、その地域サーチにより最小ＳＡＤを有するボトムフィールド−トップフィールドの動きベクトルを推定する第２フィールド動き推定部とを含む動き推定装置。
5. 動映像符号化システムにおいて、
   入力される映像データを離散コサイン変換する離散コサイン変換部と、
   前記離散コサイン変換部にて離散コサイン変換された映像データを量子化する量子化部と、
   前記量子化部にて量子化された映像データを逆量子化する逆量子化部と、
   前記逆量子化部にて逆量子化された映像データを逆離散コサイン変換する逆離散コサイン変換部と、
   前記逆離散コサイン変換部にて逆離散コサイン変換された映像データをフレーム単位に貯蔵するフレームメモリ部と、
   現在フレームの映像データと前記フレームメモリ部に貯蔵された以前フレームの映像データとをサンプリングを介して階層的構造より形成し、下位階層のフレームにてサーチした最小ＳＡＤを有する初期サーチ点を上位階層のフレームデータ及びフィールドデータに共通に適用してフレーム単位の動き推定のためのサーチとフィールド単位の動き推定のためのサーチとを行った後で最小ＳＡＤを有するフレーム及びフィールドの動きベクトルを推定する動き推定部と、
   前記動き推定部で推定された動きベクトルにより量子化された映像データから統計的重複性を除去する可変長コーディング部とを含み、
   前記動き推定部は、
   前記上位階層のフレームデータを前記上位階層にて推定された動きベクトルを基準にフレームとフィールド別にサーチを行い、最小ＳＡＤを有するフレームの動きベクトルを推定し、フレーム単位動き推定時に得られるフィールド別ＳＡＤを参照してトップフィールド−トップフィールド及びボトムフィールド−ボトムフィールドについての動きベクトルを推定するフレーム動き推定部と、
   現在フレームのトップフィールド−以前フレームのボトムフィールド間の距離により前記基準動きベクトルをスケーリングする第１スケーラと、
   前記第１スケーラにてスケーリングされた基準動きベクトルを利用して前記上位階層のトップフィールド−ボトムフィールドにて垂直及び水平の地域サーチを行い、その地域サーチにより最小ＳＡＤを有するトップフィールド−ボトムフィールドの動きベクトルを推定する第１フィールド動き推定部と、
   現在フレームのボトムフィールド−以前フレームのトップフィールド間の距離により前記基準動きベクトルをスケーリングする第２スケーラと、
   前記第２スケーラにてスケーリングされた基準動きベクトルを利用して前記上位階層のボトムフィールド−トップフィールドにて垂直及び水平の地域サーチを行い、その地域サーチにより最小ＳＡＤを有するボトムフィールド−トップフィールドの動きベクトルを推定する第２フィールド動き推定部とを含む動映像符号化システム。

Images