JPH09224254A

JPH09224254A - 動き推定のための装置および方法

Info

Publication number: JPH09224254A
Application number: JP9008232A
Authority: JP
Inventors: Neil Linzer Elliott; エリオット・ニール・リンツァー
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1996-02-05
Filing date: 1997-01-21
Publication date: 1997-08-26
Also published as: KR970064259A; US5737023A; KR100246168B1

Abstract

(57)【要約】【課題】本発明の目的は、経済的な動き推定方式を使
用することである。【解決手段】本発明には、動き推定を実行するための
システムおよび方法が含まれる。インターレース式フレ
ームは、フィールドに基づくスケーリングを使用するこ
とによって解像度を減らされ、最初の探索は、解像度を
減らされたフレームに対して実行される。この最初の探
索は、現フレームのフィールドと基準フレームのフィー
ルドの間の動き誤差を計算して、フィールド間動きを近
似的に記述するベクトルを得ることによって実行され
る。これらの同一の動き誤差は、フレーム誤差の計算に
使用され、フレーム誤差は、フレーム間動きを近似的に
記述するベクトルを得るのに使用される。その後、近似
フィールド・ベクトルと近似フレーム・ベクトルの精度
を上げて、より正確なベクトルを得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ圧縮の分野
に関し、具体的には、ディジタル・モーション・ビデオ
信号を圧縮するためのシステムおよび方法に関する。

【０００２】

【従来の技術】ディジタル伝送網と、ディジタル記憶媒
体と、超大規模集積（ＶＬＳＩ）デバイスと、ビデオ信
号およびオーディオ信号のディジタル処理の技術的進歩
は、ディジタル・ビデオの伝送と記憶を広範囲の応用分
野で経済的にすることに集中している。ディジタル・ビ
デオ信号の記憶と伝送は、多くの応用分野の中心であ
り、ビデオ信号の非圧縮表現は、大量の記憶域を必要と
するので、ディジタル・ビデオ圧縮技法の使用が、この
進歩しつつある技術にとって重要である。これに関し
て、ディジタル・ビデオ信号の圧縮に関する複数の国際
規格が、この１０年間に出現してきたが、現在さらに多
くの標準規格が開発中である。これらの標準規格は、テ
レビ電話（video-telephony）およびテレビ会議、同軸
ケーブル網および光ファイバ網ならびに地上放送および
衛星放送での高品位ディジタル・テレビジョン送信、Ｃ
Ｄ−ＲＯＭ、ディジタル・オーディオ・テープおよびウ
ィンチェスタ・ディスク駆動装置での対話型マルチメデ
ィア製品を含む、さまざまな応用分野での圧縮ディジタ
ル・ビデオの伝送と記憶のためのアルゴリズムに適用さ
れる。

【０００３】これらの標準規格のいくつかでは、共通の
核となる圧縮技法に基づくアルゴリズム、たとえばＣＣ
ＩＴＴ（国際電信電話諮問委員会）勧告Ｈ．１２０、Ｃ
ＣＩＴＴ勧告Ｈ．２６１、ＩＳＯ／ＩＥＣのＭＰＥＧ−
１およびＭＰＥＧ−２標準規格が用いられる。ＭＰＥＧ
アルゴリズムは、国際標準化機構（ＩＳＯ）および国際
電気標準会議（ＩＥＣ）の合同技術委員会の一部である
Moving Picture Experts Group（ＭＰＥＧ）によって開
発された。ＭＰＥＧ委員会は、ビデオ信号および関連オ
ーディオ信号を多重化した圧縮表現の標準規格を開発し
てきた。この標準規格では、圧縮ビット・ストリームの
構文と復号の方法は指定されるが、エンコーダに使用さ
れるアルゴリズムには、新規性と多様性についてかなり
の許容範囲が残されている。

【０００４】ＭＰＥＧ−１アルゴリズムとＭＰＥＧ−２
アルゴリズムのどちらもが、変換符号化と動き補償のハ
イブリッド・エンコーダとして記述できる。エンコーダ
が動き補償を効率的に使用するためには、通常は、動き
推定と称するタスクを実行しなければならない。

【０００５】動き推定は、一般的に、あるピクチャの特
定の領域が、時間的に前または後に発生する１つまたは
複数のピクチャのどこ「から生じる」かの決定と、現ピ
クチャの１領域が、どれだけ正確に他のピクチャ「から
生じた」といえるかの決定として記述できる。

【０００６】

【発明が解決しようとする課題】動き推定は、ＭＰＥＧ
−２エンコーダが実行するタスクのうちで最も計算集中
型のタスクの１つである。したがって、ＭＰＥＧ−２エ
ンコーダを作成する際の重要な考慮点が、経済的な動き
推定方式を使用することである。

【０００７】

【課題を解決するための手段】本発明には、動き推定を
実行するためのシステムおよび方法が含まれる。インタ
ーレース式フレームは、フィールドに基づくスケーリン
グを使用して解像度を減らされ、最初の探索は、解像度
を減らされたフレームに対して実行される。この最初の
探索は、現フレームのフィールドと基準フレームのフィ
ールドの間の動き誤差を計算して、フィールド間動きを
近似的に記述するベクトルを得ることによって実行され
る。これらの同一の動き誤差は、フレーム誤差の計算に
使用され、フレーム誤差は、フレーム間動きを近似的に
記述するベクトルを得るのに使用される。その後、近似
フィールド・ベクトルと近似フレーム・ベクトルの精度
を上げて、より正確なベクトルを得る。

【０００８】有利なことに、本発明は、ＩＳＯ／ＩＥＣ
ＭＰＥＧ−２標準規格と共に使用するのに適したエン
コーダを実施することができる。

【０００９】

【発明の実施の形態】

ａ．ＭＰＥＧ−２環境本発明は、ＭＰＥＧ−２エンコーダに関連して適用でき
るので、本発明を理解しやすくするために、ＭＰＥＧ−
２圧縮アルゴリズムの本発明に関係する態様の一部を再
検討する。しかし、本発明は、ＭＰＥＧアルゴリズムの
特徴の一部を共有する他のビデオ・コーディング・アル
ゴリズムにも適用可能であることに留意されたい。

【００１０】まず、テキストのページ、イメージ、会話
の一部、ビデオ・シーケンスなどのデータ・オブジェク
トの圧縮は、１）そのオブジェクトのトークンの集合へ
の分解、２）なんらかの意味で最小の長さを有する２進
文字列によるこれらのトークンの表現、および３）明瞭
に定義された順序での文字列の連結、を含む、一連のス
テップとみなすことができることを理解されたい。ステ
ップ２およびステップ３は、ロスレスすなわち、原デー
タを反転時に忠実に回復可能であり、ステップ２は、エ
ントロピ・コーディングとして既知である。ステップ１
は、一般にロスレスまたはロッシイのいずれかとするこ
とができる。ほとんどのビデオ圧縮アルゴリズムは、ビ
ット速度要件が厳格なので、ロッシイである。ロッシイ
圧縮アルゴリズムが成功すると、冗長で不適切な情報が
除去され、視覚的に重要ではない傾向を有する部分では
比較的大きい誤差が許容され、人間の観察者が非常に敏
感なシーケンスの態様は注意深く表現される。ステップ
１のためにＭＰＥＧ−２アルゴリズムで使用される技法
は、予測／補間動き補償ハイブリッドＤＣＴ／ＤＰＣＭ
コーディングとして説明できる。可変長コーディングと
も称するハフマン・コーディングを、ステップ２で使用
する。すでに述べたように、ＭＰＥＧ−２標準規格は、
実際にはデコーダと圧縮ビット・ストリーム構文の仕様
であるが、以下のＭＰＥＧ−２仕様の説明は、提示を簡
単にするために、主にエンコーダの観点から見たもので
ある。

【００１１】ＭＰＥＧ−２ビデオ標準規格では、ＩＳＯ
−ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１、「Generic
Coding of Moving Pictures and Associated Audio Inf
ormation: Video, International Standard」（１９９
４年）に記載されているように、伝送用のビデオのコー
ド化表現が指定されている。このアルゴリズムは、イン
タレース式または非インタレース式のコンポーネント・
ビデオに対して動作するように設計されている。各ピク
チャは、３つの成分すなわち、輝度（Ｙ）、赤色差（Ｃ
_r）および青色差（Ｃ_b）を有する。ビデオ・データは、
Ｙサンプルごとに１つのＣ_rサンプルと１つのＣ_bサンプ
ルがある４：４：４フォーマット、水平方向で輝度サン
プルの半分のＣ_rサンプルとＣ_bサンプルがある４：２：
２フォーマット、または、水平方向と垂直方向の両方で
輝度サンプルの半分のＣ_rサンプルとＣ_bサンプルがある
４：２：０フォーマットでコーディングすることができ
る。

【００１２】ＭＰＥＧ−２データ・ストリームは、シス
テム情報およびおそらくは他のビットストリームと共
に、層化されているとみなすことができるシステム・デ
ータ・ストリームにパックされる、ビデオ・ストリーム
とオーディオ・ストリームからなる。ＭＰＥＧ−２デー
タ・ストリームのビデオ層内では、圧縮データがさらに
層化される。層の編成を説明すると、本発明の理解に役
立つであろう。ＭＰＥＧ−２ビデオ層構造のこれらの層
を、図１ないし図３に示す。これらの層は、圧縮アルゴ
リズムの動作ならびに圧縮ビット・ストリームの構成に
関係がある。最上位の層は、全シーケンスの制御情報と
パラメータを含むビデオ・シーケンス層である。次の層
では、シーケンスが、「グループ・オブ・ピクチャ」
（ＧＯＰ）と称する連続するピクチャの組に分割され
る。この層の一般的な図解を、図１に示す。復号は、基
本的に前のＧＯＰに無関係に、任意のＧＯＰの先頭から
開始することができる。あるＧＯＰに含まれるピクチャ
の数に制限はなく、すべてのＧＯＰに同数のピクチャが
含まれる必要もない。

【００１３】第３の層であるピクチャ層は、単一のピク
チャである。この層の一般的な図解を、図２に示す。各
ピクチャの輝度成分は、１６×１６個の領域に分割され
る。色差成分は１６×１６個の輝度領域と空間的に同じ
位置にある適当なサイズのブロックに分割され、４：
４：４ビデオの場合には１６×１６、４：２：２ビデオ
の場合には８×１６、４：２：０ビデオの場合には８×
８である。これら同位置の輝度領域と色差領域がひとま
とめになって、「マクロブロック」（ＭＢ）と称する第
５層を構成する。ピクチャ内のマクロブロックは、マク
ロブロック１から始めて、辞書順に連続した番号をつけ
られる。

【００１４】ピクチャ層とＭＢ層の間には、第４層の
「スライス」層がある。各スライスは、ある個数の連続
するＭＢからなる。最後に、各ＭＢは、４つの８×８輝
度ブロックと、４：４：４ビデオでは８つ、４：２：２
ビデオでは４つ、４：２：０ビデオでは２つのクロミナ
ンス・ブロックからなる。シーケンス層、ＧＯＰ層、ピ
クチャ層およびスライス層のすべてが、ヘッダを関連付
けられている。ヘッダは、バイト位置合せされた開始コ
ードから始まり、ヘッダには、対応する層に含まれるデ
ータに関する情報が含まれる。

【００１５】ピクチャは、フィールド構造またはフレー
ム構造のいずれかとすることができる。フレーム構造の
ピクチャには、全フレームすなわち、奇数走査線を含む
１フィールドと偶数走査線を含むもう１つのフィールド
の組合せを再構成するための情報が含まれる。フィール
ド構造のピクチャには、１フィールドを再構成するため
の情報が含まれる。各輝度フレームの幅（画素単位）を
Ｃと表記し、高さをＲと表記する（Ｃは列（columns）
を表し、Ｒは行（rows）を表す）と、フレーム構造のピ
クチャには、Ｃ×Ｒ画素の情報が含まれ、フィールド構
造のピクチャには、Ｃ×Ｒ／２画素の情報が含まれる。

【００１６】フィールド構造のピクチャのマクロブロッ
クには、単一のフィールドからの１６×１６画素セグメ
ントが含まれる。フレーム構造のピクチャのマクロブロ
ックには、両方のフィールドによって構成されるフレー
ムからの１６×１６画素セグメントが含まれ、各マクロ
ブロックには、２つのフィールドのそれぞれからの１６
×８領域が含まれる。

【００１７】ＧＯＰ内には、３タイプのピクチャが現れ
る可能性がある。ピクチャ・タイプを区別する相違点
は、使用される圧縮方法である。第１のタイプであるイ
ントラモード（Intramode）ピクチャすなわちＩピクチ
ャは、他のピクチャから独立に圧縮される。Ｉピクチャ
間の距離に対する固定された上限は存在しないが、ラン
ダム・アクセスおよび他の特殊モードの動作が容易にな
るように、Ｉピクチャは、１シーケンスを通じて十分頻
繁に存在することが期待される。予測動き補償（Predic
tively motion-compensated）ピクチャすなわちＰピク
チャは、そのピクチャの圧縮データと、前に表示された
ＩピクチャまたはＰピクチャから再構成される２つのフ
ィールドから再構成される。両方向動き補償（Bidirect
ionally motion-compensated）ピクチャすなわちＢピク
チャは、そのピクチャの圧縮データと、前に表示された
ＩピクチャまたはＰピクチャから再構成される２つのフ
ィールドと、将来表示されるＩピクチャまたはＰピクチ
ャから再構成される２つのフィールドから再構成され
る。再構成されるＩピクチャまたはＰピクチャは、他の
ピクチャの再構成に使用される可能性があるので、これ
らをアンカ・ピクチャと称する。

【００１８】一般的な圧縮技法が、変換コーディングで
ある。ＭＰＥＧ−２および複数の他の圧縮標準規格で
は、離散コサイン変換（ＤＣＴ）が選択された。Ｉピク
チャの圧縮は、１）画素のブロックのＤＣＴを求めるス
テップと、２）ＤＣＴ係数を量子化するステップと、
３）結果をハフマン・コーディングするステップによっ
て達成される。ＭＰＥＧ−２では、ＤＣＴ演算によっ
て、ｎ×ｎ画素のブロックをｎ×ｎ個の変換係数の組に
変換する。複数の国際圧縮標準規格と同様に、ＭＰＥＧ
−２アルゴリズムでは、８×８のＤＣＴブロック・サイ
ズが使用される。ＤＣＴ変換自体はロスレス演算であ
り、それを実行する計算装置およびアルゴリズムの精度
の範囲内で逆転可能である。

【００１９】第２ステップであるＤＣＴ係数の量子化
は、ＭＰＥＧ−２アルゴリズムにおけるロスの主な原因
である。ＤＣＴ係数の２次元配列の要素をｃ_mnと表し
（ｍとｎは０から７までの範囲）、切捨補正または丸め
補正を除くと、量子化は、各ＤＣＴ係数ｃ_mnをｗ_mn×Ｑ
Ｐで割ることによって達成される。ここで、ｗ_mnは重み
係数であり、ＱＰは量子化パラメータである。重み係数
ｗ_mnを用いると、視覚的な重要さが低い係数に粗い量子
化を適用できるようになる。量子化パラメータＱＰは、
ＭＰＥＧ−２の品位対ビット速度のトレード・オフのた
めの主な手段である。ＱＰは、１ピクチャ内のＭＢごと
に変更できることに留意されたい。

【００２０】量子化の後に、各ＭＢのＤＣＴ係数情報
は、ハフマン・コードの組を使用して編成され、コード
化される。このステップの詳細は、本発明の理解にとっ
て本質的ではなく、当技術分野で一般に理解されている
ので、本明細書ではこれ以上説明しない。

【００２１】ほとんどのビデオ・シーケンスでは、連続
するピクチャの間に高い度合の相関がみられる。ピクチ
ャをコーディングする前にこの冗長性を除去するのに有
用な方法が、「動き補償」である。ＭＰＥＧ−２では、
動き補償の複数の方法のためのツール（下で説明）が提
供される。

【００２２】動き補償の多くの方法が、下記の共通点を
有する。マクロブロックごとに、１つまたは複数の動き
ベクトルがビット・ストリーム内で符号化される。これ
らの動きベクトルを用いると、デコーダが、予測マクロ
ブロックと称するマクロブロックを再構成できるように
なる。エンコーダは、符号化されるマクロブロックから
「予測」マクロブロックを減算して、「差分」マクロブ
ロックを形成する。エンコーダは、差分マクロブロック
の圧縮に、イントラ・マクロブロックの圧縮に使用され
るものと基本的に類似したツールを使用する。

【００２３】ピクチャのタイプ（Ｉ、ＰまたはＢ）と構
造（フィールドまたはフレーム）によって、使用できる
動き補償の方法が決定される。エンコーダは、ピクチャ
内のマクロブロックごとに、これらの方法の中から選択
する。エンコーダは、各マクロブロックについて選択さ
れた動き補償方法と共に使用する動きベクトルも選択す
る。この処理を、動き推定と称する。好ましい実施例で
は、本発明は、フレーム構造のピクチャの動き推定を扱
う。フレーム構造のピクチャの動き補償方法を、これか
ら説明する。

【００２４】動き補償の方法を、使用されるマクロブロ
ック・モードと動き補償モードによって説明する。マク
ロブロック・モードには、イントラ（Ｉ）モード、順方
向（Ｆ）モード、逆方向（Ｂ）モード、補間双方向（Ｆ
Ｂ）モードの４つがある。Ｉモードの場合、動き補償は
使用されない。他のマクロブロック・モードの場合、フ
レーム（ＦＲ）またはフィールド（ＦＩ）動き補償モー
ドを使用することができる（場合によっては、別のモー
ド（デュアル・プライム）も使用できる。デュアル・プ
ライムの動き推定方法は、本発明の対象ではなく、した
がって、デュアル・プライム動き補償は説明しない）。
本明細書では、マクロブロックによって使用されるマク
ロブロック・モードと動き補償モードの組合せを、動き
補償「方法」と呼称する。動き補償方法には、Ｆ／Ｆ
Ｒ、Ｂ／ＦＲ、ＦＢ／ＦＲ、Ｆ／ＦＩ、Ｂ／ＦＩおよび
ＦＢ／ＦＩの６つがある。これらの方法を、下で説明す
る。

【００２５】どのピクチャのマクロブロックでも、Ｉマ
クロブロック・モードで圧縮できる。このモードは、Ｉ
ピクチャ内で使用可能な唯一のマクロブロック・モード
であり、動き補償を使用しない。

【００２６】Ｆマクロブロック・モードは、Ｐピクチャ
またはＢピクチャでは使用できるが、Ｉピクチャでは使
用できない。Ｆマクロブロック・モードを使用する時に
は、現ピクチャの前に表示されるアンカ・ピクチャ（前
アンカ・フレーム）から最も最近に復号された上フィー
ルドと下フィールドから、予測マクロブロックが形成さ
れる。

【００２７】ＢまたはＦＢのマクロブロック・モード
は、Ｂピクチャでは使用できるが、ＩピクチャまたはＰ
ピクチャでは使用できない。Ｂマクロブロック・モード
を使用する時には、現ピクチャの後で表示される最も最
近に復号されれた２つのアンカ・フィールド（将来のア
ンカ・フレーム）から、予測マクロブロックが形成され
る。ＦＢマクロブロック・モードを使用する時には、将
来のアンカ・フレームと前アンカ・フレームから予測マ
クロブロックが形成される。

【００２８】Ｆマクロブロック・モードとＦＲ動き補償
モードを使用する動き補償の方法（Ｆ／ＦＲ）は、次の
ように説明できる。エンコーダは、単一のベクトルをビ
ット・ストリーム内で送る。このベクトルは、以前のフ
レーム内のインデックスの組を生成するのに使用され、
予測マクロブロックは、これらのインデックスの位置に
置かれる１６×１６領域である。この動き補償方法を使
用する時には、２つのフィールドの間に区別がない。す
なわち、以前のフレームと現マクロブロックは、２つの
フィールドではなく単一のイメージとみなされ、予測マ
クロブロックは、以前のフレームのどの位置からでも開
始することができる。

【００２９】動き補償のＢ／ＦＲ方法は、以前のフレー
ムではなく将来のフレームが予測マクロブロックの生成
に使用される点を除いて、Ｆ／ＦＲ方法と同一である。

【００３０】Ｆマクロブロック・モードとＦＩ動き補償
モードを使用する動き補償方法は（Ｆ／ＦＩ）、次のよ
うに説明できる。エンコーダは、ビット・ストリーム内
で２つのベクトルを送る。各ベクトルは、以前のフレー
ムのフィールドのうちの１つから１６×８画素の配列を
形成するのに使用される。各ベクトルと共に基準フレー
ムのどのフィールドを使用するかを示すために、２ビッ
トを送る。予測マクロブロックは、これら２つの配列を
インターリーブすることによって形成される。すなわ
ち、第１の配列は、予測マクロブロックの奇数走査線を
提供し、第２の配列は、偶数走査線を提供する（各配列
は、予測マクロブロックの異なるフィールドに使用され
る）。

【００３１】動き補償のＢ／ＦＩ方法は、以前のフレー
ムではなく将来のフレームが、予測マクロブロックの生
成に使用される点を除いて、Ｆ／ＦＩ方法と同一であ
る。

【００３２】動き補償のＦＢ／ＦＲ方法は、次のように
動作する。エンコーダは、２つの動きベクトルすなわ
ち、１つの順方向ベクトルと１つの逆方向ベクトルを送
る。順方向ベクトルは、動き補償のＦ／ＦＲ方法でベク
トルを使って予測マクロブロックを形成するのと同じ方
法で、以前のフレームからマクロブロックを構成するの
に使用され、逆方向ベクトルは、動き補償のＢ／ＦＲ方
法でベクトルを使って予測ブロックを形成するのと同じ
方法で、将来のフレームからマクロブロックを構成する
のに使用される。これら２つのマクロブロックの平均を
とって、予測マクロブロックを形成する。

【００３３】動き補償のＦＢ／ＦＩ方法は、次のように
動作する。エンコーダは、４つの動きベクトルすなわ
ち、２つの順方向ベクトルと２つの逆方向ベクトルを送
る。順方向ベクトルは、動き補償のＦ／ＦＩ方法で２つ
のベクトルを使って予測マクロブロックを形成するのと
同じ方法で、以前のフレームからマクロブロックを構成
するのに使用され、逆方向ベクトルは、動き補償のＢ／
ＦＩ方法で２つのベクトルを使って予測マクロブロック
を形成するのと同じ方法で、将来のフレームからマクロ
ブロックを構成するのに使用される。これら２つのマク
ロブロックの平均をとって、予測マクロブロックを形成
する。

【００３４】動き補償のモードのいずれかのために送ら
れるベクトルは、半画素単位とすることができる。動き
補償のＦ／ＦＲ、Ｆ／ＦＩ、Ｂ／ＦＲおよびＢ／ＦＩ方
法の場合、使用されるベクトルが半画素単位の時には、
空間補間を使用して予測マクロブロックを生成する。Ｆ
Ｂ／ＦＲおよびＦＢ／ＦＩ方法の場合、使用されるベク
トルが半画素単位の時には、空間補間を使用して、予測
マクロブロックを作るために平均をとられるマクロブロ
ックを生成する。

【００３５】エンコーダは、動き推定を実行して、使用
する動き補償の方法と動きベクトルを決定する。エンコ
ーダが使用する可能性がある方法の１つが、ベクトルと
動き補償方法の規則に従う組合せのすべてを調べ、各組
合せの誤差を計算し、誤差が最も小さい組合せを選択す
ることである。誤差尺度の例が、動き補償方法と動きベ
クトルの特定の組合せによって使用される差分マクロブ
ロックのノルムである。この方法（網羅的探索）は、計
算集中的であるから、実際にはほとんど使用されない。

【００３６】各ＭＢのコーディングに使用されるＭＢモ
ードとそのモードに関連する動きベクトルに関係する付
随情報をコーディングする必要を除いて、動き補償され
たマクロブロックのコーディングは、イントラモードＭ
Ｂのコーディングに非常に類似している。量子化にわず
かな相違があるが、ｗ_mn×ＱＰによる除算というモデル
は、やはりあてはまる。

【００３７】ＭＰＥＧ−２アルゴリズムは、固定ビット
速度伝送媒体と共に使用することができる。しかし、各
ピクチャのビット数は、ピクチャ処理のタイプの相違、
ならびに、コーディングされるシーンの空間−時間的複
雑さの時間に伴う不可避の変動のために、正確に一定で
はなくなる。ＭＰＥＧ−２アルゴリズムでは、バッファ
に基づく速度制御戦略を使用して、ビット速度に許容さ
れる変動に意味のある限界を設ける。ＶＢＶ（Video Bu
ffer Verifier）は、仮想バッファの形で考案され、そ
の唯一の仕事は、各ピクチャのコーディングに使用され
るビット数に上限を設け、その結果、総合ビット速度が
ターゲットの割振りと等しくなり、ターゲットからの短
期間偏差が制限されるようにすることである。この速度
制御方式は、次のように説明することができる。バッフ
ァの後に仮定のデコーダがあるシステムを検討する。バ
ッファは、一定のビット速度で、記憶媒体からのビット
・ストリームに含まれる圧縮データを書き込まれる。バ
ッファ・サイズとビット速度の両方が、圧縮ビット・ス
トリーム内で伝送されるパラメータである。やはりビッ
ト・ストリーム内の情報から導出される初期遅延の後
に、仮定のデコーダは、最初のピクチャに関連するデー
タのすべてを即座にバッファから除去する。その後、そ
のシーケンスのピクチャ速度に等しい間隔で、デコーダ
は、バッファ内の最も古いピクチャに関連するデータの
すべてを除去する。

【００３８】このビット・ストリームがＭＰＥＧ−２速
度制御要件を満足するためには、各ピクチャのすべての
データが、デコーダがそれを必要とする瞬間にバッファ
内で使用可能になり、バッファは絶対にオーバーフロー
してはならない。この可用性要件は、通常は、各ピクチ
ャ内で許容されるビット数の上限および下限に置き換え
られる。所与のピクチャの下限と上限は、その前のすべ
てのピクチャで使用されたビット数に依存する。この要
件を満たすビット・ストリームを作成するのは、エンコ
ーダの機能である。

【００３９】図４は、通常のＭＰＥＧ−２エンコーダを
簡略化したブロック図である。ＭＰＥＧ−２符号化は、
当技術分野で一般に既知であるから、ＭＰＥＧ−２エン
コーダの構成要素のすべてを図示するのではなく、主要
構成要素と、本発明の諸態様を理解するのに必要な要素
を中心に図示した。具体的に言うと、ＭＰＥＧ−２エン
コーダの構成要素のうち、フレーム・メモリ４０１、動
き推定ユニット４０２、速度制御ユニット４０３、動き
補償ユニット４１３、変換ユニット４１４、量子化ユニ
ット４１５、可変長エンコーダ・ユニット４１９および
出力バッファ４２１を図示した。図４のビデオ・エンコ
ーダへの入力は、画素データＹ、Ｃ_bおよびＣ_rを含む信
号４０９である。出力は、圧縮ビット・ストリーム４２
２である。

【００４０】図４のエンコーダの場合、入力画素データ
は、フレーム・メモリ４０１に記憶される。動き推定ユ
ニット４０２は、各マクロブロックの動き推定を行う。
具体的に言うと、マクロブロックのそれぞれについて、
動き推定ユニット４０２は、どの動き補償方法を使用す
るかと、どの動きベクトルを使用するかを決定する。

【００４１】動き推定ユニット４０２は、動き補償方法
と動きベクトルを、信号４１２として動き補償ユニット
４１３に送る。この信号は、信号４１１としてフレーム
・メモリ４０１から取り出される画素データと共に、差
分マクロブロックの計算に動き補償ユニット４１３によ
って使用され、差分マクロブロックは、信号４２６とし
て変換ユニット４１４に送られる。

【００４２】変換ユニット４１４は、差分マクロブロッ
ク（信号４２６）を８×８ブロックにセグメント化し、
各ブロックのＤＣＴを計算する。これらは、信号４２５
として量子化ユニット４１５に送られる。

【００４３】量子化ユニット４１５は、速度制御ユニッ
ト４０３（後で説明する）から信号４１７として送られ
る量子化パラメータＱｐに基づいて、各ＤＣＴ係数を量
子化する。これらの量子化されたＤＣＴ係数は、信号４
２４として可変長エンコーダ・ユニット４１９に送られ
る。

【００４４】マクロブロックごとに、可変長エンコーダ
・ユニット４１９は、量子化されたＤＣＴ係数（量子化
ユニット４１５からの信号４２４）と、マクロブロック
・モードと、動き補償モードおよび動きベクトル（動き
推定ユニット４０２からの信号４１６）と、Ｑｐ（速度
制御ユニット４０３からの信号４１８）の圧縮表現を作
る。圧縮マクロブロックは、信号４２０として出力バッ
ファ４２１に送られる。

【００４５】出力バッファ４２１は、可変長エンコーダ
４１９から信号４２０として各マクロブロックの圧縮表
現を受け取る。その後、出力バッファ４２１は、圧縮ビ
ット・ストリーム４２２として、先着順サービス式に受
け取ったビットを送り出す。出力バッファ４２１が満杯
であることを示す信号は、信号４２３として速度制御ユ
ニット４０３に送られる。

【００４６】速度制御ユニット４０３は、各マクロブロ
ックのＱｐの値を決定する。速度制御ユニット４０３
は、通常、出力バッファ４２１がほぼ満杯の場合には将
来のマクロブロックのＱｐの値を増加させ、出力バッフ
ァ４２１がほぼ空の場合には将来のマクロブロックのＱ
ｐの値を減少させる。

【００４７】"ISO-IEC/JTC1/SC29/WG11 Coded Represen
tation of Picture and Audio Information: Test Mode
l 5, Draft, 1993"に、通常の動き推定ユニットが記載
されている。これから、この参考文献に記載の方法に類
似した動き推定方法を説明する。動き補償の方法のそれ
ぞれ（Ｆ／ＦＲ、Ｆ／ＦＩ、Ｂ／ＦＲ、Ｂ／ＦＩ、ＦＢ
／ＦＲ、ＦＢ／ＦＩ）について、候補ベクトル（または
ベクトル・セット）を選択する。最も小さい「予測誤
差」を有する方法が、そのマクロブロックについて使用
される方法として選択され、その方法について前に選択
された候補ベクトル（またはベクトル・セット）が、使
用されるベクトル（またはベクトル・セット）になる。
予測誤差とは、予測マクロブロックが現マクロブロック
（符号化されつつあるマクロブロック）と一致しない度
合を示す数である。例として、常に予測誤差として差分
マクロブロックの「１ノルム」を使用する通常の動き推
定ユニットを説明する。１組の数の１ノルムとは、これ
らの数の絶対値の合計である。したがって、予測マクロ
ブロックの行ｉ列ｊの画素をａ（ｉ，ｊ）と表し、現マ
クロブロックの行ｉ列ｊの画素をｃ（ｉ，ｊ）と表す
と、差分マクロブロックの１ノルムΔ_aは、次式で表さ
れる。

【数１】

【００４８】時間的補間を使用しない方法のそれぞれ
（Ｆ／ＦＲ、Ｆ／ＦＩ、Ｂ／ＦＲおよびＢ／ＦＩ）につ
いて、所与の範囲内の各ベクトル（１つまたは複数）を
検査する。ベクトル（１つまたは複数）ごとに、予測誤
差を計算する。方法ごとに、最小の予測誤差を与えるベ
クトルまたはベクトル・セットを、候補ベクトルまたは
候補ベクトル・セットとして選択する。ＦＢ／ＦＲ方法
の場合、候補ベクトルは、Ｆ／ＦＲ方法およびＢ／ＦＲ
方法の候補として選択されるものと同一のベクトルであ
る。別々の計算を行って、所与の候補ベクトルによるＦ
Ｂ／ＦＲ方法の予測誤差を計算する。ＦＢ／ＦＩ方法の
場合、候補ベクトルは、Ｆ／ＦＩ方法およびＢ／ＦＩ方
法の候補として選択されるものと同一のベクトルであ
る。別々の計算を行って、所与の候補ベクトルによるＦ
Ｂ／ＦＩ方法の予測誤差を計算する。

【００４９】方法のそれぞれについてベクトル（または
ベクトル・セット）を選択した後に、最小の１ノルムを
有する方法および候補ベクトル（またはベクトル・セッ
ト）を選択する。

【００５０】ｂ．エンコーダの好ましい実施態様本発明のビデオ・エンコーダは、図１７に示される動き
推定ユニットを有する、図４に示された形のエンコーダ
である。図１７の動き推定ユニットの動作は、次のよう
に説明できる。

【００５１】ビデオ・データは、信号１１０２としてメ
モリ１１０４に送られる。階層フィールド／フレーム計
算エンジン１１０８は、メモリ１１０４に記憶されたビ
デオ・データを信号１１０６として読み取り、マクロブ
ロックごとにＦ／ＦＲ、Ｆ／ＦＩ、Ｂ／ＦＲおよびＢ／
ＦＩの動き補償方法の候補ベクトルを計算し、これらの
候補ベクトルは、信号１１１０として補間機構および最
終決定機構１１１４に送られる。補間機構および最終決
定機構１１１４は、ＦＢ／ＦＲ方法とＦＢ／ＦＩ方法の
候補動きベクトルを計算し、どの動き補償方法を使用す
るかを決定する。

【００５２】補間機構および最終決定機構１１１４の動
作は、通常通りである。たとえば、「ISO-IEC/JTC1/SC2
9/WG11 Coded Representation of Picture and Audio I
nformation: Test Model 5, Draft, 1993」の動き推定
機構は、図１７の動き推定機構と共に使用するのに適し
た補間機構および最終決定機構を有する。

【００５３】図１７に示された動き推定機構と従来の動
き推定機構、たとえば、「ISO-IEC/JTC1/SC29/WG11 Cod
ed Representation of Picture and Audio Informatio
n: Test Model 5, Draft, 1993」の動き推定機構の間の
相違は、図１７の動き推定機構が、階層フィールド／フ
レーム計算エンジン１１０８を用いて候補動きベクトル
を計算することである。

【００５４】図５は、階層フィールド／フレーム計算エ
ンジン１１０８の詳細なブロック図である。ビデオ・デ
ータ（全解像度）は、信号５０２として入り、メモリ５
０４（全解像度ビデオ・データを記憶）とスケーラ５０
６に向かう。スケーラ５０６は、入力ビデオのフィール
ドに基づくスケーリングを実行して、その解像度を下
げ、結果の解像度が下がったビデオ・データを信号５０
８として出力する。信号５０８によって供給される解像
度を減らされたビデオ・データは、メモリ５１０に記憶
される（フィールドに基づくスケーリングとは、各フィ
ールドが、水平または垂直の解像度を減らされるように
スケーリングされ、スケーリングされたフィールドが、
より低解像度のフレームに再構成されることを意味す
る）。

【００５５】フィールド誤差計算ユニット５１４は、解
像度を減らされたビデオを、メモリ５１０から信号５１
２として読み取り、各マクロブロックのフィールド動き
補償モードと逆方向マクロブロック・モード（Ｆ／ＦＩ
動き補償方法）またはフィールド動き補償モードと順方
法マクロブロック・モード（Ｂ／ＦＩ動き補償方法）の
異なる粗ベクトルの誤差を計算する。これらのベクトル
を粗ベクトルと称するのは、これらが、解像度を減らさ
れたデータから計算され、したがって、全解像度のデー
タから計算されるベクトルほどの精度で動きを記述して
いないからである。これらの誤差およびベクトルは、フ
ィールド誤差フレーム誤差変換ユニット５１８によって
信号５１６として読み取られ、フィールド誤差フレーム
誤差変換ユニット５１８は、フィールド誤差から、各マ
クロブロックのフレーム動き補償モードおよび逆方向マ
クロブロック・モード（Ｆ／ＦＩ動き補償方法）または
フレーム動き補償モードおよび順方向マクロブロック・
モード（Ｂ／ＦＩ動き補償方法）の異なる粗動きベクト
ルの誤差を計算する。好ましい実施例では、フィールド
誤差フレーム誤差変換ユニット５１８が、フレーム誤差
に対応するデータを用いて計算される２つのフィールド
誤差の合計として各フレーム誤差を計算する。これらの
誤差およびベクトル（信号５２０）ならびにフィールド
誤差およびベクトル（信号５１６）は、精度向上決定ユ
ニット５２２によって読み取られる。

【００５６】精度向上決定ユニット５２２は、粗動きベ
クトルの精度を高める必要があるかどうかを決定する。
たとえば、１実施例では、精度向上決定ユニット５２２
が、各方向（Ｐピクチャの場合は順方向、Ｂピクチャの
場合は順方向と逆方向）について、最小の誤差を有する
粗フレーム・ベクトルの精度を高めるかどうかと、各マ
クロブロックの上フィールドと下フィールドのそれぞれ
について、最小の誤差を有する粗フィールド・ベクトル
の精度を高めるかどうかを決定する。精度を高められる
ベクトルを識別するデータは、精度向上決定ユニット５
２２によって生成され、信号５２３として精度向上ユニ
ット５２５に送られ、精度向上ユニット５２５は、メモ
リ５０４から全解像度画素データを信号５２４として読
み取ることによって、粗ベクトルの精度を高めて、信号
５２６として最終候補ベクトルを作る。

【００５７】フィールドに基づくスケーリングを実行す
るためにスケーラがどのように働くかを示す最初の例
は、図７および図８からわかる。この例では、水平スケ
ーリングだけが実行される。図７は、全解像度フレーム
を示す図であり、図８は、水平に４：１にスケーリング
された同一のフレームを示す図である。この例では、ス
ケーリングは、４画素の平均をとることによって行われ
る。全解像度フレーム（図７）は、２０列（Ａないし
Ｘ）を有し、解像度を減らされたフレーム（図８）は、
５列だけを有する。後者の第１列は、図７の列Ａ、列
Ｂ、列Ｃおよび列Ｄの平均であり、第２列は、列Ｅ、列
Ｆ、列Ｇ、列Ｈの平均であり、以下同様である。

【００５８】スケーラがフィールドに基づくスケーリン
グをどのように実行するかを示す第２の例は、図９およ
び図１０からわかる。この例では、垂直スケーリングだ
けが実行される。図９は、全解像度フレームを示す図で
あり、図１０は、垂直に２：１にスケーリングされた同
一のフレームを示す図である。この例では、スケーリン
グは、２画素の平均をとることによって行われる。全解
像度フレーム（図９）は、２０行（ＡないしＸ）を有
し、解像度を減らされたフレーム（図１０）は、１０行
だけを有する。後者の第１行は、図９の行ＡおよびＣの
平均であり、第２行は、行ＢおよびＤの平均であり、第
３行は行ＥおよびＧの平均、第４行は行ＦおよびＨの平
均、以下同様である。解像度を減らされたフレーム（図
１０）では、上フィールド（奇数行）が、全解像度フレ
ーム（図９）の上フィールド（奇数行）からのデータを
スケーリングすることによって形成されることに留意さ
れたい。同様に、解像度を減らされたフレーム（図１
０）では、下フィールド（偶数行）が、全解像度フレー
ム（図９）の下フィールド（偶数行）からのデータをス
ケーリングすることによって形成される。

【００５９】図１１および図１２は、水平に２：１、垂
直に２：１のスケーリングが行われる、解像度を減らさ
れた基準フレームおよび現マクロブロックを示す図であ
る。図１１は、１０×１０画素サイズの解像度を減らさ
れた基準フレーム（元のフレームが２０×２０画素であ
ったことを意味する）を示す図である。図１２は、解像
度を減らされた現マクロブロックを示す図である。全解
像度マクロブロックは１６×１６であるから、解像度を
減らされたマクロブロックは、８×８である。図１３お
よび図１４は、図１１のフレームを２つのフィールドと
して示す図であり、図１３は上フィールド、図１４は下
フィールドを示す図である。図１５および図１６は、図
１２のマクロブロックをマクロブロックの２つのフィー
ルドとして示す図であり、図１５は上フィールド、図１
６は下フィールドを示す図である。図１１、図１２、図
１３、図１４、図１５および図１６は、フィールド誤差
計算ユニット５１４およびフィールド誤差フレーム誤差
変換ユニット５１８の動作の例を与えるのに使用され
る。

【００６０】図１５のマクロブロックの上フィールドを
検討する。この領域は、図１３に示された上フィールド
の８つの同様のサイズの領域と比較することができる。
フィールド誤差計算ユニット５１４は、下記の場合のそ
れぞれの誤差を計算する。マクロブロックフィールド基準ブ誤差・フィールドロックの左上角上 A0_0 TT_0_0 上 A0_1 TT_0_1 上 A0_2 TT_0_2 上 A0_3 TT_0_3 上 A2_0 TT_1_0 上 A2_1 TT_1_1 上 A2_2 TT_1_2 上 A2_3 TT_1_3 フィールド誤差計算ユニット５１４は、上マクロブロッ
ク・フィールドと下基準フィールドの間の誤差も計算す
る。マクロブロックフィールド基準ブ誤差・フィールドロックの左上角上 A1_0 BT_0_0 上 A1_1 BT_0_1 上 A1_2 BT_0_2 上 A1_3 BT_0_3 上 A3_0 BT_1_0 上 A3_1 BT_1_1 上 A3_2 BT_1_2 上 A3_3 BT_1_3 また、フィールド誤差計算ユニット５１４は、下マクロ
ブロック・フィールドと上基準フィールドの間の誤差も
計算する。マクロブロックフィールド基準ブ誤差・フィールドロックの左上角下 A0_0 TB_0_0 下 A0_1 TB_0_1 下 A0_2 TB_0_2 下 A0_3 TB_0_3 下 A2_0 TB_1_0 下 A2_1 TB_1_1 下 A2_2 TB_1_2 下 A2_3 TB_1_3 さらに、フィールド誤差計算ユニット５１４は、下マク
ロブロック・フィールドと下基準フィールドの間の誤差
も計算する。マクロブロックフィールド基準ブ誤差・フィールドロックの左上角下 A1_0 BB_0_0 下 A1_1 BB_0_1 下 A1_2 BB_0_2 下 A1_3 BB_0_3 下 A3_0 BB_1_0 下 A3_1 BB_1_1 下 A3_2 BB_1_2 下 A3_3 BB_1_3 たとえば、誤差ＢＴ＿０＿１は、 A1_1 A1_2 A1_3 A1_4 A1_5 A1_6 A1_7 A1_8 A3_1 A3_2 A3_3 A3_4 A3_5 A3_6 A3_7 A3_8 A5_1 A5_2 A5_3 A5_4 A5_5 A5_6 A5_7 A5_8 A7_1 A7_2 A7_3 A7_4 A7_5 A7_6 A7_7 A7_8 と B0_0 B0_1 B0_2 B0_3 B0_4 B0_5 B0_6 B0_7 B2_0 B2_1 B2_2 B2_3 B2_4 B2_5 B2_6 B2_7 B4_0 B4_1 B4_2 B4_3 B4_4 B4_5 B4_6 B4_7 B6_0 B6_1 B6_2 B6_3 B6_4 B6_5 B6_6 B6_7 の間の差の尺度である。たとえば、１ノルムを用いて誤
差を計算する場合、ＢＴ＿０＿１は、上のブロックの対
応する値の絶対値の合計になる。誤差ＴＢ＿１＿１は、 A2_1 A2_2 A2_3 A2_4 A2_5 A2_6 A2_7 A2_8 A4_1 A4_2 A4_3 A4_4 A4_5 A4_6 A4_7 A4_8 A6_1 A6_2 A6_3 A6_4 A6_5 A6_6 A6_7 A6_8 A8_1 A8_2 A8_3 A8_4 A8_5 A8_6 A8_7 A8_8 と B1_0 B1_1 B1_2 B1_3 B1_4 B1_5 B1_6 B1_7 B3_0 B3_1 B3_2 B3_3 B3_4 B3_5 B3_6 B3_7 B5_0 B5_1 B5_2 B5_3 B5_4 B5_5 B5_6 B5_7 B7_0 B7_1 B7_2 B7_3 B7_4 B7_5 B7_6 B7_7 の間の差の尺度である。これら２つの誤差を組み合わせ
て、位置Ａ１＿１から始まるフレーム・ブロック（図１
１に示されたフレーム内）と、マクロブロック（全体）
（図１２）の間の誤差を計算することができる。実際、 A1_1 A1_2 A1_3 A1_4 A1_5 A1_6 A1_7 A1_8 A2_1 A2_2 A2_3 A2_4 A2_5 A2_6 A2_7 A2_8 A3_1 A3_2 A3_3 A3_4 A3_5 A3_6 A3_7 A3_8 A4_1 A4_2 A4_3 A4_4 A4_5 A4_6 A4_7 A4_8 A5_1 A5_2 A5_3 A5_4 A5_5 A5_6 A5_7 A5_8 A6_1 A6_2 A6_3 A6_4 A6_5 A6_6 A6_7 A6_8 A7_1 A7_2 A7_3 A7_4 A7_5 A7_6 A7_7 A7_8 A8_1 A8_2 A8_3 A8_4 A8_5 A8_6 A8_7 A8_8 と B0_0 B0_1 B0_2 B0_3 B0_4 B0_5 B0_6 B0_7 B1_0 B1_1 B1_2 B1_3 B1_4 B1_5 B1_6 B1_7 B2_0 B2_1 B2_2 B2_3 B2_4 B2_5 B2_6 B2_7 B3_0 B3_1 B3_2 B3_3 B3_4 B3_5 B3_6 B3_7 B4_0 B4_1 B4_2 B4_3 B4_4 B4_5 B4_6 B4_7 B5_0 B5_1 B5_2 B5_3 B5_4 B5_5 B5_6 B5_7 B6_0 B6_1 B6_2 B6_3 B6_4 B6_5 B6_6 B6_7 B7_0 B7_1 B7_2 B7_3 B7_4 B7_5 B7_6 B7_7 の間の絶対画素差の合計は、ＢＴ＿０＿１とＴＢ＿１＿
１の和に等しい。前に述べたように、好ましい実施例で
は、フィールド誤差フレーム誤差変換ユニット５１８
が、フレーム誤差に対応するデータを用いて計算される
２つのフィールド誤差の和として各フレーム誤差を計算
する。したがって、上のフレーム・ブロックに関して、
フレーム誤差は、ＢＴ＿０＿１＋ＴＢ＿１＿１として計
算される。図１１および図１２のすべての一致のフレー
ム誤差がどのように計算されるかのわかりやすいリスト
を下に示す。フレーム・ブロッ誤差の計算値クの左上角 A0_0 TT_0_0 + BB_0_0 A0_1 TT_0_1 + BB_0_1 A0_2 TT_0_2 + BB_0_2 A0_3 TT_0_3 + BB_0_3 A1_0 BT_0_0 + TB_1_0 A1_1 BT_0_1 + TB_1_1 A1_2 BT_0_2 + TB_1_2 A1_3 BT_0_3 + TB_1_3 A2_0 TT_2_0 + BB_2_0 A2_1 TT_2_1 + BB_2_1 A2_2 TT_2_2 + BB_2_2 A2_3 TT_2_3 + BB_2_3 A3_0 BT_2_0 + TB_3_0 A3_1 BT_2_1 + TB_3_1 A3_2 BT_2_2 + TB_3_2 A3_3 BT_2_3 + TB_3_3

【００６１】好ましい実施例では、フィールド誤差フレ
ーム誤差変換ユニット５１８が、上のリストから明白な
パターンに従ってフレーム誤差を計算する。すなわち、
水平にｘ画素、垂直にｙ画素のオフセットを有する現マ
クロブロックの上フィールドを予測する基準フレームの
上フィールドの粗フィールド誤差を、水平にｘ画素、垂
直にｙ画素のオフセットを有する現マクロブロックの下
フィールドを予測する基準フレームの下フィールドの粗
フィールド誤差に加算して、水平にｘ画素、垂直に２ｙ
画素のオフセットに対応するフレーム誤差を得、水平に
ｘ画素、垂直にｙ画素のオフセットを有する現マクロブ
ロックの上フィールドを予測する基準フレームの下フィ
ールドの粗フィールド誤差を、水平にｘ画素、垂直にｙ
＋１画素のオフセットを有する現マクロブロックの下フ
ィールドを予測する基準フレームの上フィールドの粗フ
ィールド誤差に加算して、水平にｘ画素、垂直に２ｙ＋
１画素のオフセットに対応するフレーム誤差を得る。

【００６２】前に述べたように、１実施例では、精度向
上決定ユニット５２２は、各方向（Ｐピクチャの場合は
順方向、Ｂピクチャの場合は順方向と逆方向）につい
て、最小の誤差を有する粗フレーム・ベクトルの精度を
高めるかどうかと、各マクロブロックの上フィールドと
下フィールドのそれぞれについて、最小の誤差を有する
粗フィールド・ベクトルの精度を高めるかどうかを決定
する。もう１つの実施例では、マクロブロックのそれぞ
れと方向のそれぞれについて、精度向上決定ユニット５
２２は、フレーム・ベクトルだけまたはフィールド・ベ
クトルだけの精度を高める。前者は、フィールド誤差が
フレーム誤差より実質的に大きい（たとえば、フィール
ド誤差の和がフレーム誤差の１．５倍以上になる）場合
に行われ、後者はそれ以外の場合に行われる。

【００６３】精度向上ユニット５２５は、次のように動
作する。粗（フィールドまたはフレーム）ベクトルは、
その粗ベクトルがスケーリングされたビデオ・データか
ら計算されたという事実を補償するように粗ベクトルを
スケーリングすることによって精度を高められる。たと
えば、スケーラ５０６が、水平に４：１、垂直に２：１
の係数でビデオをスケーリングすると仮定する。水平ｘ
画素、垂直ｙ画素の粗ベクトルは、水平４ｘ画素、垂直
２ｙ画素のベクトルにスケーリングされる。その後、ス
ケーリングされたベクトルに中心を合わされた長方形領
域内のベクトルの誤差を計算する。前の例では、精度向
上ユニット５２５が、区間［４ｘ−７、４ｘ＋７］の水
平成分と区間［４ｙ−３、４ｙ＋３］の垂直成分を有す
るベクトルのすべてを調べることができる。その後、最
小の誤差を有するベクトルを選択する。

【００６４】デコーダに接続された、本発明のエンコー
ダのブロック図を図１８に示す。ビデオ・エンコーダ１
２０２には、階層フィールド／フレーム計算エンジン１
２０６を含む動き推定ユニット１２０４が含まれる。ビ
デオ・エンコーダ１２０２は、ビデオ・デコーダ１２１
０に送られる圧縮ビデオ・ストリーム１２０８を作る。
ビデオ・デコーダ１２１０は、ビデオを圧縮解除し、圧
縮解除されたビデオを信号１２１２として表示装置また
は記憶装置１２１４に送る。

【００６５】本発明に使用される動き推定方法の概要
を、図６に示す。ステップ６０２で、現フレームと基準
フレームが入力される。ステップ６０４で、基準フレー
ムを小さいフレームにスケーリングし、ステップ６０６
で、現フレームを小さいフレームにスケーリングする。
どちらの場合でも、フィールドに基づくスケーリングを
使用する。ステップ６０８で、現フレームの各マクロブ
ロックの各フィールドのデータを、基準フレームの同様
のサイズの領域と比較することによって、フィールドに
基づく誤差を計算する。ステップ６１０で、フィールド
に基づく誤差からフレームに基づく誤差を計算する。ス
テップ６１２で、精度向上候補としてフィールド・ベク
トルを選択する。ステップ６１４で、精度向上候補とし
てフレーム・ベクトルを選択する。ステップ６１６で、
精度向上候補のどちらの精度を高めるかに関する決定を
行う。ステップ６１８で、精度向上候補の精度を高め
る。

【００６６】本発明は、特定応用分野向け集積回路（Ａ
ＳＩＣ）内で、または、汎用コンピュータ上で実行され
るプログラム・コードとして、実施することができる。

【００６７】好ましい実施例によって本発明を説明した
ので、当業者であれば、さまざまな修正および改良を想
起するであろう。したがって、好ましい実施例は、１例
として提供されたものであり、制限として提供されたも
のではないことを理解されたい。本発明の範囲は、請求
の範囲によって定義される。

【００６８】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００６９】（１）水平方向および垂直方向のうちの少
なくとも１つで入力ビデオのフィールドに基づくスケー
リングを実行するためのスケーラと、前記スケーラに結
合され、現フレームの各フィールド内の領域と基準フレ
ームの各フィールド内の領域との間の誤差を計算するた
めのフィールド誤差計算ユニットと、前記フィールド誤
差計算ユニットに結合され、現フレーム内の領域と基準
フレーム内の領域との間の誤差を計算するためのフィー
ルド誤差フレーム誤差変換ユニットと、前記フィールド
誤差計算ユニットおよび前記フィールド誤差フレーム誤
差変換ユニットに結合され、精度を高めるベクトルを選
択するための精度向上決定ユニットと、前記精度向上決
定ユニットに結合され、前記精度向上決定ユニットによ
って選択されたベクトルの精度を高めるための精度向上
ユニットとを含む、動き推定ユニット。（２）前記スケーラが、水平方向のみでビデオをスケー
リングすることを特徴とする、上記（１）に記載の動き
推定ユニット。（３）前記スケーラが、水平方向に４対１の比率でビデ
オをスケーリングすることを特徴とする、上記（２）に
記載の動き推定ユニット。（４）前記スケーラが、水平方向と垂直方向の両方でビ
デオをスケーリングすることを特徴とする、上記（１）
に記載の動き推定ユニット。（５）前記フィールド誤差フレーム誤差変換ユニット
が、フィールド誤差の和としてフレーム誤差を計算する
ことを特徴とする、上記（１）に記載の動き推定ユニッ
ト。（６）さらに、前記スケーラおよび前記精度向上ユニッ
トに結合されたフレーム・メモリを含み、該フレーム・
メモリが、ビデオ供給源から符号化されるピクチャを含
むソース・ビデオ・データを受け取り、記憶するように
接続されることを特徴とする、上記（１）に記載の動き
推定ユニット。（７）基準フレームと現フレーム内の少なくとも１つの
領域とをフィールドに基づいてスケーリングするステッ
プと、前記スケーリングに応答して、現フレーム内の少
なくとも１つの領域について、少なくとも１つの領域内
の上フィールドと基準フレーム内の第１領域との間の第
１粗フィールド間誤差と、少なくとも１つの領域内の下
フィールドと基準フレーム内の第２領域との間の第２粗
フィールド間誤差とを計算するステップと、前記第１粗
フィールド間誤差と前記第２粗フィールド間誤差との和
としてフレーム間誤差を計算するステップと、前記フレ
ーム間誤差の計算に応答して、少なくとも１つの領域の
フレーム間動きを記述する動きベクトルを決定するステ
ップとを含む、ビデオ符号化と共に使用するための動き
推定の方法。（８）前記スケーリングするステップが、水平方向のみ
でビデオをスケーリングするステップを含むことを特徴
とする、上記（７）に記載の方法。（９）前記スケーリングするステップが、水平方向のみ
で４対１の比率でビデオをスケーリングするステップを
含むことを特徴とする、上記（７）に記載の方法。（１０）前記スケーリングするステップが、水平方向お
よび垂直方向でビデオをスケーリングするステップを含
むことを特徴とする、上記（７）に記載の方法。（１１）複数の解像度を下げられたフレームを作るた
め、フィールドに基づくスケーリングを用いてインタレ
ース式フレームの解像度を下げるステップと、現フレー
ムのフィールドと基準フレームのフィールドとの間のフ
ィールド間動きを近似的に記述するベクトルを得るた
め、現フレームのフィールドと基準フレームのフィール
ドとの間のフィールド動き誤差を計算することによっ
て、解像度を下げられたフレームに対する第１探索を実
行するステップと、前記フィールド動き誤差を使用して
フレーム動き誤差を計算するステップと、前記フレーム
動き誤差を使用してフレーム間動きを近似的に記述する
ベクトルを得るステップと、より正確なベクトルを得る
ために、フィールド間動きを近似的に記述するベクトル
と、フレーム間動きを近似的に記述するベクトルとの精
度を高めるステップとを含む、動き推定を実行するため
の方法。

【図面の簡単な説明】

【図１】２つのＧＯＰ（ピクチャのグループ）の例を示
す図である。

【図２】ピクチャのマクロブロック（ＭＢ）分割の例
（４：２：０フォーマットの場合）を示す図である。

【図３】マクロブロックのブロック分割（４：２：０フ
ォーマットの場合）を示す図である。

【図４】ビデオ・エンコーダのブロック図である。

【図５】図１７の階層フィールド・フレーム計算エンジ
ンのブロック図である。

【図６】本発明の原理による、動き推定の方法を示す流
れ図である。

【図７】本発明の原理による、水平イメージ・スケーリ
ングの例を示す図である。

【図８】本発明の原理による、水平イメージ・スケーリ
ングの例を示す図である。

【図９】本発明の原理による、垂直イメージ・スケーリ
ングの例を示す図である。

【図１０】本発明の原理による、垂直イメージ・スケー
リングの例を示す図である。

【図１１】本発明の原理による、フレーム形式で示され
た、解像度を下げられたフレームの例を示す図である。

【図１２】本発明の原理による、フレーム形式で示され
た、解像度を下げられたマクロブロックの例を示す図で
ある。

【図１３】本発明の原理による、フレーム形式で示され
た、解像度を減らされたフレームの例を示す図である。

【図１４】本発明の原理による、フレーム形式で示され
た、解像度を減らされたフレームの例を示す図である。

【図１５】本発明の原理による、フレーム形式で示され
た、解像度を減らされたマクロブロックの例を示す図で
ある。

【図１６】本発明の原理による、フレーム形式で示され
た、解像度を減らされたマクロブロックの例を示す図で
ある。

【図１７】本発明の実施例による、動き推定ユニットの
ブロック図である。

【図１８】本発明の実施例による、エンコーダ／デコー
ダ対のブロック図である。

【符号の説明】

５０４メモリ５０６スケーラ５１０メモリ５１４フィールド誤差計算ユニット５１８フィールド誤差フレーム誤差変換ユニット５２２精度向上決定ユニット５２５精度向上ユニット１１０４メモリ１１０８階層フィールド／フレーム計算エンジン１１１４補間機構および最終決定機構１２０２ビデオ・エンコーダ１２０４動き推定ユニット１２０６階層フィールド／フレーム計算エンジン１２０８圧縮ビデオ・ストリーム１２１０ビデオ・デコーダ１２１４表示装置または記憶装置

Claims

【特許請求の範囲】

【請求項１】水平方向および垂直方向のうちの少なくと
も１つで入力ビデオのフィールドに基づくスケーリング
を実行するためのスケーラと、前記スケーラに結合され、現フレームの各フィールド内
の領域と基準フレームの各フィールド内の領域との間の
誤差を計算するためのフィールド誤差計算ユニットと、前記フィールド誤差計算ユニットに結合され、現フレー
ム内の領域と基準フレーム内の領域との間の誤差を計算
するためのフィールド誤差フレーム誤差変換ユニット
と、前記フィールド誤差計算ユニットおよび前記フィールド
誤差フレーム誤差変換ユニットに結合され、精度を高め
るベクトルを選択するための精度向上決定ユニットと、前記精度向上決定ユニットに結合され、前記精度向上決
定ユニットによって選択されたベクトルの精度を高める
ための精度向上ユニットとを含む、動き推定ユニット。
【請求項２】前記スケーラが、水平方向のみでビデオを
スケーリングすることを特徴とする、請求項１に記載の
動き推定ユニット。
【請求項３】前記スケーラが、水平方向に４対１の比率
でビデオをスケーリングすることを特徴とする、請求項
２に記載の動き推定ユニット。
【請求項４】前記スケーラが、水平方向と垂直方向の両
方でビデオをスケーリングすることを特徴とする、請求
項１に記載の動き推定ユニット。
【請求項５】前記フィールド誤差フレーム誤差変換ユニ
ットが、フィールド誤差の和としてフレーム誤差を計算
することを特徴とする、請求項１に記載の動き推定ユニ
ット。
【請求項６】さらに、前記スケーラおよび前記精度向上
ユニットに結合されたフレーム・メモリを含み、該フレ
ーム・メモリが、ビデオ供給源から符号化されるピクチ
ャを含むソース・ビデオ・データを受け取り、記憶する
ように接続されることを特徴とする、請求項１に記載の
動き推定ユニット。
【請求項７】基準フレームと現フレーム内の少なくとも
１つの領域とをフィールドに基づいてスケーリングする
ステップと、前記スケーリングに応答して、現フレーム内の少なくと
も１つの領域について、少なくとも１つの領域内の上フ
ィールドと基準フレーム内の第１領域との間の第１粗フ
ィールド間誤差と、少なくとも１つの領域内の下フィー
ルドと基準フレーム内の第２領域との間の第２粗フィー
ルド間誤差とを計算するステップと、前記第１粗フィールド間誤差と前記第２粗フィールド間
誤差との和としてフレーム間誤差を計算するステップ
と、前記フレーム間誤差の計算に応答して、少なくとも１つ
の領域のフレーム間動きを記述する動きベクトルを決定
するステップとを含む、ビデオ符号化と共に使用するた
めの動き推定の方法。
【請求項８】前記スケーリングするステップが、水平方
向のみでビデオをスケーリングするステップを含むこと
を特徴とする、請求項７に記載の方法。
【請求項９】前記スケーリングするステップが、水平方
向のみで４対１の比率でビデオをスケーリングするステ
ップを含むことを特徴とする、請求項７に記載の方法。
【請求項１０】前記スケーリングするステップが、水平
方向および垂直方向でビデオをスケーリングするステッ
プを含むことを特徴とする、請求項７に記載の方法。
【請求項１１】複数の解像度を下げられたフレームを作
るため、フィールドに基づくスケーリングを用いてイン
タレース式フレームの解像度を下げるステップと、現フレームのフィールドと基準フレームのフィールドと
の間のフィールド間動きを近似的に記述するベクトルを
得るため、現フレームのフィールドと基準フレームのフ
ィールドとの間のフィールド動き誤差を計算することに
よって、解像度を下げられたフレームに対する第１探索
を実行するステップと、前記フィールド動き誤差を使用してフレーム動き誤差を
計算するステップと、前記フレーム動き誤差を使用してフレーム間動きを近似
的に記述するベクトルを得るステップと、より正確なベクトルを得るために、フィールド間動きを
近似的に記述するベクトルと、フレーム間動きを近似的
に記述するベクトルとの精度を高めるステップとを含
む、動き推定を実行するための方法。