JP4234607B2 - 画像／ビデオエンコーダおよび／またはデコーダにおける符号化変換係数 - Google Patents

Description

本発明は、デジタルビデオを符号化するための、方法、エンコーダ、デコーダおよび装置に関する。さらに詳細には、本発明は、可変長符号化（ＶＬＣ）を利用してビデオ／画像用エンコーダ／デコーダ内でのブロックベースの変換符号化の結果生成される量子化変換係数の符号化に関する。

フィルムに録画された通常の動画像のように、デジタルビデオシーケンスには一連の静止画像が含まれ、比較的高速なレート（一般に毎秒１５〜３０フレーム）で上記静止画像を次々に表示することにより動きの錯視が形成される。この比較的高速の表示レートに起因して、連続フレーム内の画像はきわめて類似したものになり、したがって、相当量の冗長な情報を含む傾向がある。例えば、一般的な場面には背景場面などの静止要素と、ニュースキャスタの顔や、人や車の動き等の多くの異なる形をとり得る若干の動画領域とが含まれる。上記とは別に、例えば、場面を録画するカメラ自体が移動している場合もある。その場合画像のすべての要素は同じ種類の動きを持つことになる。多くの場合、これは、１つのビデオフレームと次のフレームとの間の変化は全体としてはきわめて小さいことを意味する。

未圧縮のデジタルビデオシーケンスの個々のフレームは画像ピクセルからなる配列を有する。例えば、１／４共通交換フォーマット（ＱＣＩＦ）として知られる広く用いられているデジタルビデオフォーマットでは、１フレームに１７６×１４４ピクセルの配列が含まれ、各フレームは２５、３４４個のピクセルを有する。個々のピクセルは、そのピクセルに対応する画像領域の輝度および／またはカラー内容に関する情報を担持する一定のビット数により表される。一般に、画像の輝度とクロミナンスの内容を表すためにいわゆるＹＵＶカラーモデルが利用される。輝度（すなわちＹ）成分が画像の強度（輝度）を表すのに対して画像のカラー内容は、ＵとＶでラベルされる２つのクロミナンスすなわち色差により表される。

三原色（赤、緑、青、ＲＧＢ）を含む表示に基づくカラーモデルと比べた場合、画像内容の輝度／クロミナンス表示に基づくカラーモデルによって或る利点が得られる。人間の視覚系は、色の変動に対する場合に比べて強度の変動に対してより敏感であり、ＹＵＶカラーモデルは、輝度成分（Ｙ）に対する空間分解能よりも低いクロミナンス成分（Ｕ，Ｖ）に対する空間分解能を用いることにより上記属性を利用するものである。このようにして、画像の品質を損なわない範囲で画像内のカラー情報の符号化に必要な情報量の低減を図ることが可能となる。

クロミナンス成分の低い空間分解能は、サブサンプリングを行うことにより通常達成される。一般に、ビデオシーケンスの個々のフレームはいわゆる“マクロブロック”に分画されている。この“マクロブロック”には輝度（Ｙ）情報並びに空間的にサブサンプリングが行われる対応するクロミナンス（Ｕ，Ｖ）情報が含まれる。図３は、マクロブロックの形成を可能とする１つの方法を例示する図である。図３ａはＹＵＶカラーモデルを用いて表されるビデオシーケンスのフレームを示す図であり、個々の成分は同じ空間分解能を有する。マクロブロックは、１６×１６の画像ピクセル領域を表すことにより、輝度情報を示す４つのブロックとして原画像（図３ｂ）内に形成され、個々の輝度ブロックには８×８の配列からなる輝度（Ｙ）値、並びに、空間的に対応する２つのクロミナンス成分（ＵとＶ）が含まれる。この２つの色成分に対してｘおよびｙ方向に２分の１のサブサンプリングを行って、８×８の対応する配列のクロミナンス（Ｕ，Ｖ）値が得られる（図３ｃを参照）。国際電気通信連合（ＩＴＵ−Ｔ）勧告Ｈ.２６Ｌなどの或るビデオ符号化勧告によれば、マクロブロック内で使用されるブロックサイズは、例えば４×８や４×４などの８×８以外にすることが可能である（ジョイントモデル（ＪＭ）２.０作業用ドラフト番号２、文献ＪＶＴ−Ｂ１１８、ＩＳＯ／ＩＥＣ_ＭＰＥＧのジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−Ｔ ＶＣＥＧ、パタヤ、第２回ＪＶＴ会議、ジェノバ、ＣＨ、２００２年１月２９日〜２月１日、セクション３.２を参照）。

ＱＣＩＦ画像には１１×９のマクロブロックが含まれる。輝度ブロックとクロミナンスブロックとが（０〜２５５の範囲の数である）８ビット分解能で表される場合、マクロブロック当たりの必要総ビット数は、（１６×１６×８）＋２×（８×８×８）＝３０７２ビットとなる。したがって、ＱＣＩＦフォーマットでビデオフレームを表すのに必要なビット数は、９９×３０７２＝３０４，１２８ビットとなる。これは、ＱＣＩＦフォーマットで未圧縮のビデオシーケンスの送信／記録／表示を行うのに必要なデータ量であって、毎秒３０フレームの速度でＹＵＶカラーモデルを用いて表されるデータ量が９Ｍｂｐｓ（毎秒百万ビット）よりも多いデータ量となることを意味する。このレートは非常に高速のデータレートであり、非常に大きな記憶容量、送信チャネル容量および求められるハードウェアの性能に起因して、アプリケーションのビデオ録画時、アプリケーションの送信時、および、アプリケーションの表示の際に使用するには実際的な速度でない。

ビデオデータが、ＩＳＤＮ（総合デジタル通信網）や従来のＰＳＴＮ（公衆電話交換網）などの固定ラインネットワークを介してリアルタイムで送信される場合、利用可能なデータ送信帯域幅は一般に６４ｋｂｉｔ／ｓのオーダーである。無線通信リンクを介して少なくとも部分的に送信が行われる携帯型テレビ電話では、利用可能な帯域幅は２０ｋｂｉｔ／ｓほどの低い帯域幅になる可能性がある。これは、低い帯域幅の通信ネットワークでデジタルビデオシーケンスの送信を可能にするためには、ビデオデータを表すのに用いる情報量の著しい低減を達成することが必要であることを意味する。この理由のために、容認できる画像の品質を保持しながら送信を行う対象情報量の低減を図るビデオ圧縮技術が開発されてきた。

ビデオ圧縮法は、ビデオシーケンスの冗長な部分並びに知覚上無関係な部分の縮減に基づく方法である。ビデオシーケンス内の冗長性はカテゴリ上空間的、時間的およびスペクトル的冗長性に分類することができる。“空間的冗長性”とは、フレーム内で隣接するピクセル間の相関関係（類似性）の記述に用いる用語である。“時間的冗長性”という用語は、シーケンスの１つのフレーム内に現れる対象物が後続フレーム内に出現する可能性が大きいという事実を表現するものであり、一方、“スペクトル的冗長性”とは同じ画像の異なる色成分間での相関関係を意味するものである。

所定の画像シーケンス内の種々の形の冗長性を単に低減するだけでは十分効率のよい圧縮の達成を行うことは通常不可能である。したがって、最新のビデオエンコーダでは、ビデオシーケンスの主観的重要度が最も低い部分の品質を落すことも行われている。さらに、効率のよい、損失の少ない符号化によって、圧縮済みビデオビットストリーム自体の冗長性が低減される。一般に、これはエントロピー符号化として公知の手法を用いて達成される。

かなりの量の空間的冗長性が、デジタルビデオシーケンスの個々のフレームを形成するピクセル間に存在する場合が多い。言い換えれば、シーケンスのフレーム内のいずれのピクセル値もそのすぐ近辺の別のピクセル値とほぼ同一である。一般的に、ビデオ符号化システムは、"ブロックベースの変換符号化"として公知の技法を用いて空間的冗長性を低減するシステムであり、このシステムでは、２次元離散余弦変換（ＤＣＴ）などの数学的変換が画像ピクセルのブロックに対して適用される。この適用によって、ピクセル値を含む表示から、空間周波数成分を表す１組の係数値を含む形式へ画像データが変換され、空間的冗長性を大幅に低減させて、それにより、画像データのさらにコンパクトな表示が生成される。

シーケンス内の他のいずれのフレームも参照することなく、ブロックベースの変換符号化を用いて圧縮されたビデオシーケンスのフレームはイントラ符号化フレーム（Ｉ−フレーム）と呼ばれている。これに加えて、また、可能な場合には、同じフレーム内で前に符号化されたブロックからイントラ符号化済みフレームのブロックが予測される。この手法は、イントラ予測として公知のものであるが、イントラ符号化済みフレームの表示に必要なデータ量をさらに減らす効果がある。

一般的に、ビデオ符号化システムでは、ビデオシーケンスの個々のフレーム内の空間的冗長性の低減だけでなく、シーケンス内の時間的冗長性を低減する"動き補償予測"として公知の手法も利用される。動き補償予測を利用して、デジタルビデオシーケンス内のいくつかの（しばしば多数の）フレームの画像内容が"参照"フレームとして公知の、シーケンス内の１または２以上の別のフレームから"予測される"。画像内容の予測は、"動きベクトル"を用いて、符号化対象（被圧縮）フレームと、参照フレームとの間の画像オブジェクトまたは画像領域の動きを追尾することにより達成される。一般に、参照フレームは、ビデオシーケンスの符号化対象フレームに先行するものであってもよいし、符号化対象フレームに後続するものであってもよい。イントラ符号化の場合のように、一般にビデオフレームの動き補償予測はマクロブロック毎に行われる。

動き補償予測を利用して圧縮されたビデオシーケンスのフレームは一般にインター符号化フレームすなわちＰ−フレームと呼ばれる。動き補償予測は単独でビデオフレームの画像内容を十分正確に表示することはめったにない。したがって、個々のインター符号化済みフレームにいわゆる"予測誤差"（ＰＥ）フレームを設けることが一般に必要となる。予測誤差フレームとは、インター符号化フレームの復号化バージョンと、符号化対象フレームの画像内容との間の差を表すフレームである。さらに詳しく言えば、予測誤差フレームには符号化対象フレーム内のピクセル値と、当該フレームの予測バージョンに基づいて形成される対応する再構成済みピクセル値との間の差を表す値が含まれる。その結果、予測誤差フレームは静止画像と類似の特徴を有するものとなり、この予測誤差フレームの空間的冗長性、したがって上記フレームを表すのに必要なデータ量（ビット数）の低減のためにブロックベースの変換符号化の適用が可能となる。

さらに詳細にビデオ符号化システムの作動を示すために、次に図１と図２とを参照することにする。図１は、イントラ符号化およびインター符号化の組み合わせを用いて、圧縮された（符号化済み）ビデオビットストリームを生成する一般的なビデオエンコーダのブロック図である。対応するデコーダが図２に示されている。このデコーダについては後程テキストで説明する。

ビデオエンコーダ１００は、カメラまたは別のビデオソース（図示せず）からデジタルビデオ信号を受け取る入力部１０１を備える。ビデオエンコーダ１００は、ブロックベースの離散余弦変換（ＤＣＴ）を実行するように構成される変換ユニット１０４と、量子化器１０６と、逆量子化器１０８と、反転ブロックベースの離散余弦変換（ＩＤＣＴ）を実行するように構成される逆変換ユニット１１０と、コンバイナ１１２と１１６と、フレーム記憶部１２０も備える。エンコーダは、動き推定装置１３０、動きフィールドコーダ１４０および動き補償予測器１５０をさらに備える。スイッチ１０２と１１４はコントロールマネージャ１６０により協働して操作され、ビデオ符号化のイントラモードと、ビデオ符号化のインターモードとの間のエンコーダの切り替えが行われる。エンコーダ１００は、エンコーダ１００が生みだす種々のタイプの情報から単一のビットストリームを形成するビデオマルチプレクスコーダ１７０も備え、遠隔地にある受信端末へのさらなる送信や、例えば、コンピュータのハードドライブ（図示せず）などの大容量記憶媒体への記憶が行われる。

エンコーダ１００は以下のように作動する。ビデオソースから入力部１０１へ出力される未圧縮のビデオの個々のフレームが、好適にはラスタ・スキャン順にマクロブロック毎に受信され、処理される。新たなビデオシーケンスの符号化が開始されると、符号化の対象とする第１のフレームがイントラ符号化済みフレームとして符号化される。次に、以下の条件、すなわち、１）符号化中のフレームの現マクロブロックが、その予測時に用いられる参照フレーム内のピクセル値とは非常に異なる種類のものであるため、過剰な予測誤差情報が生みだされていると判断され、その場合現マクロブロックがイントラ符号化フォーマットで符号化されたものである；２）予め規定されたイントラフレーム反復間隔が時間切れになっている；あるいは、３）イントラ符号化フォーマットでフレームを出力すべき旨の要求を示すフィードバックが受信端末から受信される；のうちの１つの条件が満たされない限り、エンコーダはプログラムされて、個々のフレームの符号化がインター符号化フォーマットで行われる。

条件１）の発生は、コンバイナ１１６の出力信号のモニタを行うことにより検出される。コンバイナ１１６は、符号化中のフレームの現マクロブロックと、動き補償予測ブロック１５０で生成される、符号化中のフレームの現マクロブロックの予測マクロブロックとの間の差を形成する。この差の測定値（例えばピクセル値の絶対差の和）が所定のしきい値を上回った場合、コンバイナ１１６は制御ライン１１９を介してコントロールマネージャ１６０にこれを通知し、コントロールマネージャ１６０は、制御ライン１１３を介してスイッチ１０２と１１４を作動させて、エンコーダ１００のスイッチを入れ、イントラ符号化モードにする。このようにして、そうでない場合にはインター符号化フォーマットで符号化されるフレームはイントラ符号化済みマクロブロックを含むことができるようになる。条件２）の発生は、タイマまたはコントロールマネージャ１６０に実装されたフレームカウンタによってモニタされ、タイマが時間切れになった場合、または、フレームカウンタが所定数のフレームに達した場合、コントロールマネージャ１６０が制御ライン１１３を介してスイッチ１０２と１１４とを作動させて、エンコーダのスイッチを入れ、イントラ符号化モードにするように図られる。条件３）の場合、コントロールマネージャ１６０が、例えば受信端末によりイントラフレームのリフレッシュが必要であることを示す制御ライン１２１を介して受信端末からフィードバック信号を受け取った場合条件３）がトリガーされる。例えば、前に送信されたフレームがその送信の最中に障害によりひどく損なわれて受信側での復号化が不可能な場合に、このような条件が発生することが考えられる。この状況で、受信側デコーダは、イントラ符号化フォーマットで次のフレームを符号化する旨の要求を出し、符号化シーケンスの再初期化が行われる。

イントラ符号化モードでのエンコーダ１００の作動について以下説明する。イントラ符号化モードで、コントロールマネージャ１６０はスイッチ１０２を作動させて、入力ライン１１８からビデオ入力を受け入れる。このビデオ信号入力は、入力ライン１１８を介してマクロブロック毎に入力部１０１から受信される。ビデオ信号入力が受信されると、マクロブロックを形成する輝度値とクロミナンス値とからなるブロックがＤＣＴ変換ブロック１０４へ渡され、このＤＣＴ変換ブロック１０４は、複数の値からなる個々のブロックに対して２次元離散余弦変換を実行して、個々のブロックに対応する２次元配列のＤＣＴ係数を生成する。ＤＣＴ変換ブロック１０４は、個々のブロックに対応する係数値の配列を形成し、係数値の個数は、マクロブロックを形成するブロックの性質に依拠する。例えば、マクロブロックで使用される基本となるブロックサイズが４×４である場合、ＤＣＴ変換ブロック１０４は個々のブロックに対してＤＣＴ係数の４×４の配列を形成する。ブロックサイズが８×８である場合、８×８配列のＤＣＴ係数が形成される。

個々のブロックに対応するＤＣＴ係数は、量子化器１０６へ渡され、この量子化器１０６で、量子化パラメータＱＰを用いてＤＣＴ係数の量子化が行われる。量子化パラメータＱＰの選択は、制御ライン１１５を介してコントロールマネージャ１６０により制御される。量子化係数が、ＤＣＴ変換ブロック１０４により当初生成された係数よりも低い数値精度を持つため、量子化による情報の損失が生じる。この損失は、ビデオシーケンスの個々の画像を表すのに必要なデータ量を低減する更なる機構を提供する。しかし、実質的に損失のないＤＣＴ変換とは異なり、量子化により生じる情報の損失は、画質の不可逆的劣化を引き起こす。ＤＣＴ係数に印加される量子化の程度が大きければ大きいほど、画質の損失は大きくなる。

個々のブロックに対する量子化ＤＣＴ係数は、図１のライン１２５により示されるように、量子化器１０６からビデオマルチプレクスコーダ１７０へ渡される。ビデオマルチプレクスコーダ１７０は、ジグザグスキャニング手順を用いて個々のブロックに対応する量子化変換係数を並べる。この処理は２次元配列の量子化変換係数を一次元配列に変換する。図４に図示の４×４配列の場合のような一般的ジグザグスキャニング順序によって、空間周波数の昇順に近似的に係数が並べられる。これは、係数をその値に基づいて並べて、それによって一次元配列で以前に配置された係数のほうが配列内で後で配置された係数よりも大きな絶対値を持つ可能性が大きくなるようにするのに役立つ。これは、低い空間周波数のほうが、画像ブロック内でより高い振幅を持つ傾向があるということに起因する。したがって、量子化変換係数の一次元配列内の最後の値は一般に０である。

一般に、ビデオマルチプレクスコーダ１７０は、レベルとランと呼ばれる２つの値によって一次元配列の個々の非ゼロ量子化係数を表す。レベルとは量子化係数の値であり、ランとは当該係数に先行する連続するゼロ値係数の個数である。所定の係数に対するランとレベルとは、レベル値が対応するラン値に先行するように並べられる。０に等しいレベル値を利用して、ブロック内に非ゼロ係数値がそれ以上ないことが示される。この０-レベル値はＥＯＢ（ブロック終端）シンボルと呼ばれている。

上記とは別に、一次元配列内の個々の非ゼロ値量子化係数は３値（ラン，レベル，ラスト）によって表すことができる。レベルとランの意味は前の方式と同一であるのに対して、ラストは、現在の係数の後に続く一次元配列の中に別の任意の非ゼロ値係数が存在するかどうかを示す。したがって、個々のＥＯＢシンボルが不要となる。

エントロピー符号化利用してラン値とレベル値（適用可能であればラスト値）とはさらに圧縮される。エントロピー符号化とは、符号化の対象となるデータセット内のシンボルが一般に異なる発生確率を有するという事実を利用する無損失の処理である。したがって、個々のシンボルを表すために固定数のビットを用いる代わりに、発生確率のより大きいシンボルがより少数のビットを持つコードワードにより表されるように可変ビット数が割り当てられる。このため、エントロピー符号化は可変長符号化（ＶＬＣ）と呼ばれることが多い。或るレベル値とラン値の方が他の値に比べて発生確率が高いことに起因して、エントロピー符号化法を利用して、ラン値とレベル値を表すのに必要なビット数を効果的に少なくすることが可能となる。

ラン値とレベル値とをエントロピー符号化するとすぐに、ビデオマルチプレクスコーダ１７０は、当該種類の情報に適した可変長符号化法を用いてやはりエントロピー符号化した制御情報と上記値とを組み合わせ、符号化済み画像情報１３５の単一の圧縮ビットストリームを形成する。このビットストリームこそ、（ラン，レベル）対を表す可変長コードワードを含むものであり、エンコーダから送信されるものである。

ビデオマルチプレクスコーダ１７０により実行される処理と関連してエントロピー符号化について説明してきたが、別の実施例では別個のエントロピー符号化部を設けてもよいことに留意されたい。

マクロブロックのローカルな復号化バージョンもエンコーダ１００で形成される。この形成は、逆量子化器１０８を介して量子化器１０６が出力する個々のブロックに対応する量子化変換係数を渡し、次いで、逆変換ブロック１１０で逆ＤＣＴ変換を適用することにより行われる。このようにして、マクロブロックの個々のブロックに関連してピクセル値の再構成配列が構成される。結果として生じる復号化済み画像データがコンバイナ１１２へ入力される。イントラ符号化モードで、スイッチ１１４がセットされ、それによって、スイッチ１１４を介するコンバイナ１１２への入力信号はゼロになる。このようにして、コンバイナ１１２による実行処理は元のままの復号化画像データと同等となる。

現フレームの後続マクロブロックを受け取り、次いで、ブロック１０４、１０６、１０８、１１０、１１２での前述した符号化ステップおよびローカルな復号化ステップを経て、イントラ符号化済みフレームの復号化バージョンがフレーム記憶部１２０に蓄積される。現フレームの最期のマクロブロックのイントラ符号化を行い、その後復号化すると、フレーム記憶部１２０には、インター符号化フォーマットで後で受信したビデオフレームの符号化時に予測参照フレームとして利用できる完全に復号化されたフレームが含まれる。

インター符号化モードにおけるエンコーダ１００の作動について以下説明する。インター符号化モードで、コントロールマネージャ１６０はスイッチ１０２を作動させ、コンバイナ１１６からの出力信号を含むライン１１７からその入力信号を受け取る。コンバイナ１１６は入力信号１０１からビデオ入力信号をマクロブロック毎に受け取る。コンバイナ１１６は、マクロブロックを形成する輝度値とクロミナンス値とからなるブロックを受け取ると、対応する予測誤差情報ブロックを形成する。予測誤差情報は、当該ブロックと、動き補償予測ブロック１５０で形成される、当該ブロックの予測との誤差を表す。さらに詳しく言えば、マクロブロックの個々のブロックに対応する予測誤差情報には２次元配列の値が含まれ、これら値の各々は、以下に説明する処理手順に基づいて、輝度情報またはクロミナンス情報からなるブロック内の符号化中のピクセル値と、当該ブロックに対応する動き補償予測を形成することにより得られる復号化済みピクセル値との間の差を表すものである。したがって、個々のマクロブロックが、例えば、輝度値とクロミナンス値とを含む４×４ブロックのアセンブリを含む状況では、マクロブロックの個々のブロックに対応する予測誤差情報にも同様に４×４配列の予測誤差値が含まれる。

マクロブロックの個々のブロックに対応する予測誤差情報は、予測誤差値の個々のブロックに対して２次元離散余弦変換を実行するＤＣＴ変換ブロック１０４へ渡され、個々のブロックに対応する２次元配列のＤＣＴ変換係数が形成される。ＤＣＴ変換ブロック１０４は個々の予測誤差ブロックに対応する係数値の配列を形成し、係数値の個数はマクロブロックを構成するブロックの性質に依拠する。例えば、マクロブロックで使用される基本となるブロックサイズが４×４である場合、ＤＣＴ変換ブロック１０４は個々の予測誤差ブロックに対してＤＣＴ係数の４×４の配列を形成する。ブロックサイズが８×８である場合、８×８配列のＤＣＴ係数が形成される。

個々の予測誤差ブロックに対する変換係数は量子化器１０６へ渡され、この量子化器１０６で、イントラ符号化モードでのエンコーダの作動と関連して上述した場合と同じ様に、量子化パラメータＱＰを用いて量子化される。この場合もまた、量子化パラメータＱＰの選択は制御ライン１１５を介してコントロールマネージャ１６０により制御される。

マクロブロックの個々のブロックに対応する予測誤差情報を表す量子化済みＤＣＴ係数は、図１のライン１２５により示されるように量子化器１０６からビデオマルチプレクスコーダ１７０へ渡される。イントラ符号化モードにおける場合のように、ビデオマルチプレクスコーダ１７０は、前述したジグザグスキャニング手順（図４を参照）を用いて個々の予測誤差ブロックに対応する変換係数を並べ、次いで、個々の非ゼロ量子化係数をレベル値及びラン値として表す。ビデオマルチプレクスコーダ１７０は、イントラ符号化モードと関連して上述した場合と同様に、エントロピー符号化を用いてこのラン値及びレベル値をさらに圧縮する。ビデオマルチプレクスコーダ１７０は、ライン１２６を介して動きフィールド符号化ブロック１４０からの動きベクトル情報（以下に解説）およびコントロールマネージャ１６０からの制御情報も受け取る。ビデオマルチプレクスコーダ１７０は、動きベクトル情報と制御情報とのエントロピー符号化を行い、次いで、エントロピー符号化済み動きベクトル、予測誤差および制御情報を含む、符号化済み画像情報の単一のビットストリーム１３５を形成する。

マクロブロックの個々のブロックに対応する予測誤差情報を表す量子化済みＤＣＴ係数は、量子化器１０６から逆量子化器１０８へも渡される。ここでＤＣＴ係数は逆量子化され、結果として生じる逆量子化ＤＣＴ係数ブロックが逆ＤＣＴ変換ブロック１１０に適用され、この逆変換ブロックでＤＣＴ係数は逆ＤＣＴ変換を受け、予測誤差値のローカルに復号化されたブロックが形成される。次いで予測誤差値のローカルに復号化されたこのブロックはコンバイナ１１２に入力される。インター符号化モードでは、スイッチ１１４がセットされて、マクロブロックの個々のブロックに対応する予測ピクセル値であって、動き補償予測ブロック１５０により生成される予測ピクセル値をコンバイナ１１２がやはり受け取るようにセットされる。コンバイナ１１２は、予測誤差値のローカルに復号化されたブロックの各々を予測ピクセル値の対応するブロックと組み合わせ、再構成済み画像ブロックを生成し、これらの画像ブロックをフレーム記憶部１２０内に格納する。

ビデオ信号の後続するマクロブロックをビデオソースから受け取り、次いで、ブロック１０４、１０６、１０８、１１０、１１２で前述した符号化および復号化ステップを経て、フレームの復号化バージョンがフレーム記憶部１２０に蓄積される。フレームの最期のマクロブロックが処理されたとき、フレーム記憶部１２０には、インター符号化フォーマットで後程受信されるビデオフレームの符号化時に予測参照フレームとして利用できる完全に復号化されたフレームが含まれることになる。

現フレームのマクロブロック予測の形成について以下説明する。インター符号化フォーマットで符号化されたいずれのフレームも動き補償予測用参照フレームを必要とする。これは、ビデオシーケンスの符号化時に、シーケンス内の第１のフレームであるか、別の何らかのフレームであるかに関わらず、符号化の対象とする第１のフレームをイントラ符号化フォーマットで符号化しなければならないことを必然的に意味する。次いで、これは、コントロールマネージャ１６０によりビデオエンコーダ１００のスイッチが入れられ、インター符号化モードにされたとき、前に符号化したフレームをローカルに復号化することにより形成される完全な参照フレームがエンコーダのフレーム記憶部１２０ですでに利用可能であることを意味する。一般に、イントラ符号化済みフレームか、インター符号化済みフレームかのいずれかをローカルに復号化することにより参照フレームは形成される。

現フレームのマクロブロックに対する予測値を形成する第１のステップは動き推定ブロック１３０により実行される。動き推定ブロック１３０は、ライン１２８を介して符号化を行う対象フレームの現マクロブロックを形成する、輝度値とクロミナンス値とからなるブロックを受け取る。次いで、動き推定ブロック１３０はブロックマッチング処理を実行して、現マクロブロックとほぼ一致する参照フレーム内の領域の特定を図る。ブロックマッチング処理を実行するために、動き推定ブロックはライン１２７を介してフレーム記憶部１２０に格納された参照フレームデータにアクセスする。さらに詳しく言えば、動き推定ブロック１３０は、チェック中のマクロブロックと、フレーム記憶部１２０に格納された参照フレームから得られるピクセルの最適マッチングの候補領域との間のピクセル値の差を表す差値（絶対差の和など）を計算することによりブロックマッチングを実行する。参照フレームの予め規定された探索領域内での全ての可能なオフセット値で候補領域に対する差値が生成され、動き推定ブロック１３０は最小の計算された差値を決定する。現フレーム内のマクロブロックと、基準フレーム内のピクセル値の候補ブロックとの間の、最小の差値を生成するオフセット値によって当該マクロブロックに対する"動きベクトル"が規定される。

動き推定ブロック１３０は、ひとたびマクロブロックに対する動きベクトルを生成すると、動きフィールド符号化ブロック１４０へ動きベクトルを出力する。動きフィールド符号化ブロック１４０は、１組の基底関数と動き係数とを含む動きモデルを用いて、動き推定ブロック１３０から受信した動きベクトルを近似する。さらに詳しく言えば、動きフィールド符号化ブロック１４０は、基底関数を乗じたときに動きベクトルの近似値を形成する１組の動き係数値として動きベクトルを表す。一般に、２つだけの動き係数と、基底関数とを有する並進動きモデルが用いられるが、さらに大きな複雑さを示す動きモデルの使用も可能である。

動き係数は動きフィールド符号化ブロック１４０から動き補償予測ブロック１５０へ渡される。動き補償予測ブロック１５０は動き推定ブロック１３０により特定されたピクセル値の最適マッチング候補領域もフレーム記憶部１２０から受け取る。動きフィールド符号化ブロック１４０により生成される動きベクトルの近似表示と、参照フレームから得られる最適マッチング候補領域のピクセル値とを用いて、動き補償予測ブロック１５０は、マクロブロックの個々のブロックに対する予測ピクセル値の配列を生成する。予測ピクセル値の個々のブロックはコンバイナ１１６へ渡され、このコンバイナ１１６で、現マクロブロックの対応するブロックにおける実際の（入力）ピクセル値から予測ピクセル値が減算される。このようにしてマクロブロックに対応する１組の予測誤差ブロックが得られる。

図２に図示のビデオデコーダ２００の作動について以下説明する。デコーダ２００は、エンコーダ１００から符号化済みビデオビットストリーム１３５を受け取り、ビデオビットストリーム１３５をその構成要素に多重分離するビデオマルチプレクスデコーダ２７０と、逆量子化器２１０と、逆ＤＣＴ変換器２２０と、動き補償予測ブロック２４０と、フレーム記憶部２５０と、コンバイナ２３０と、コントロールマネージャ２６０と、出力部２８０とを備える。

コントロールマネージャ２６０は、イントラ符号化済みフレームとインター符号化済みフレームのいずれが復号化されているかに応答してデコーダ２００の作動を制御する。イントラ／インタートリガ制御信号は、復号化モード間でのデコーダの切り替えを生じさせるが、この制御信号は、例えば、エンコーダから受信した個々の圧縮済みビデオフレームと関連づけられるピクチャ種別情報から導出される信号である。イントラ／インタートリガ制御信号はビデオマルチプレクスデコーダ２７０により符号化済みビデオビットストリームから取り出され、制御ライン２１５を介してコントロールマネージャ２６０へ渡される。

イントラ符号化済みフレームの復号化はマクロブロック毎のベースで実行され、個々のマクロブロックに関する符号化済み情報がビデオビットストリーム１３５で受信されるのとほぼ同時に個々のマクロブロックの復号化が行われる。ビデオマルチプレクスデコーダ２７０は、マクロブロックのブロックに対応する符号化情報を当該マクロブロックに関する可能な制御情報から分離する。イントラ符号化済みマクロブロックの個々のブロックに対応する符号化済み情報には、ブロックの非ゼロ量子化ＤＣＴ係数に対応するエントロピー符号化されたレベル値とラン値とを表す可変長コードワードが含まれる。ビデオマルチプレクスデコーダ２７０は、エンコーダ１００で使用される符号化方法に対応する可変長復号化法を用いて上記可変長コードワードを復号化し、それによって、レベル値とラン値とを回復する。次いで、ビデオマルチプレクスデコーダ２７０は、マクロブロックの個々のブロックに対応する量子化変換係数値の配列を再構成し、これらの量子化変換係数値を逆量子化器２１０へ渡す。マクロブロックに関するいずれの制御情報も適正な復号化方法を用いてビデオマルチプレクスデコーダで復号化され、コントロールマネージャ２６０へ渡される。特に、変換係数に適用される量子化レベルに関する情報は、ビデオマルチプレクスデコーダ２７０により符号化済みビットストリームから取り出され、制御ライン２１７を介してコントロールマネージャ２６０へ出力される。次いで、コントロールマネージャは、制御ライン２１８を介してこの情報を逆量子化器２１０へ送信する。逆量子化器２１０は、マクロブロックの個々のブロックに対応する量子化済みＤＣＴ係数を制御情報に基づいて逆量子化し、その逆量子化されたＤＣＴ係数を逆ＤＣＴ変換器２２０へ出力する。

逆ＤＣＴ変換器２２０は、マクロブロックの個々のブロックに対応する逆量子化ＤＣＴ係数に対して逆ＤＣＴ変換を実行して、再構成済みピクセル値を含む画像情報の復号化済みブロックを形成する。マクロブロックの個々のブロックに対応する再構成済みピクセル値は、コンバイナ２３０を介してデコーダのビデオ出力部２８０へ渡され、このビデオ出力部２８０で、例えば、上記ピクセル値を表示装置（図示せず）へ出力することができる。マクロブロックの個々のブロックに対応する上記再構成済みピクセル値はやはりフレーム記憶部２５０に格納される。イントラ符号化済みマクロブロックの符号化／復号化の際に動き補償予測は利用されないため、コントロールマネージャ２６０はコンバイナ２３０を制御してピクセル値の個々のブロックをそのままビデオ出力部２８０とフレーム記憶部２５０とへ渡す。イントラ符号化済みフレームの後続するマクロブロックが復号化され、格納されるにつれて、復号化済みフレームがフレーム記憶部２５０に漸次蓄積される結果、この復号化済みフレームはその後受信したインター符号化済みフレームの復号化と対応する動き補償予測用参照フレームとして利用できるようになる。

インター符号化済みフレームがマクロブロック毎に復号化され、個々のインター符号化済みマクロブロックに関する符号化済み情報がビットストリーム１３５に受信されるのとほぼ同時に個々のインター符号化済みマクロブロックは復号化される。ビデオマルチプレクスデコーダ２７０は、符号化済み動きベクトル情報およびマクロブロックに関する可能な制御情報から、当該インター符号化済みマクロブロックの個々のブロックに対応する符号化済み予測誤差情報を分離する。上記で説明したように、マクロブロックの個々のブロックに対応する符号化済み予測誤差情報には、当該予測誤差ブロックの非ゼロ量子化変換係数に対応するエントロピー符号化されたレベル値とラン値とを表す可変長コードワードが含まれる。ビデオマルチプレクスデコーダ２７０は、エンコーダ１００で使用される符号化方法に対応する可変長復号化法を用いて上記可変長コードワードを復号化し、それによって、レベル値とラン値とを回復する。次いで、ビデオマルチプレクスデコーダ２７０は、個々の予測誤差ブロックに対応する量子化変換係数値の配列を再構成し、これらの量子化変換係数値を逆量子化器２１０へ渡す。インター符号化済みマクロブロックに関する制御情報が適正な復号化方法を用いてビデオマルチプレクスデコーダ２７０で復号化され、コントロールマネージャ２６０へ渡される。予測誤差ブロックの変換係数に適用される量子化レベルに関する情報は、符号化済みビットストリームから取り出され、制御ライン２１７を介してコントロールマネージャ２６０へ出力される。次いで、コントロールマネージャは、制御ライン２１８を介して逆量子化器２１０へこの情報を送信する。逆量子化器２１０は、マクロブロックの個々のブロックに対応する予測誤差情報を表す量子化済みＤＣＴ係数を制御情報に基づいて逆量子化し、その逆量子化されたＤＣＴ係数を逆ＤＣＴ変換器２２０へ出力する。次いで、個々のブロックに対応する予測誤差情報を表す逆量子化ＤＣＴ係数が逆ＤＣＴ変換器２２０で逆変換され、マクロブロックの個々のブロックに対応する再構成済み予測誤差値の配列が生成される。

マクロブロックと関連づけられた符号化済み動きベクトル情報はビデオマルチプレクスデコーダ２７０により符号化済みビデオビットストリーム１３５から取り出され、復号化される。このようにして得られた復号化済み動きベクトル情報は制御ライン２２５を介して動き補償予測ブロック２４０へ渡され、動き補償予測ブロック２４０は、エンコーダ１００でインター符号化済みマクロブロックの符号化に用いる動きモデルと同じ動きモデルを用いて、マクロブロックに対応する動きベクトルの再構成を行う。この再構成済み動きベクトルは、エンコーダの動き推定ブロック１３０により当初定められた動きベクトルを近似する。デコーダの動き補償予測ブロック２４０は、上記再構成済み動きベクトルを用いて、フレーム記憶部２５０に格納された予測参照フレームの再構成済みピクセル領域の位置を特定する。上記参照フレームは、例えば、前に復号化された、イントラ符号化済みフレームであってもよいし、あるいは、前に復号化された、インター符号化済みフレームであってもよい。いずれの場合にせよ、再構成済み動きベクトルにより指示されるピクセル領域を利用して当該マクロブロックに対する予測値が形成される。さらに詳しく言えば、動き補償予測ブロック２４０は、上記参照フレームで特定されるピクセル領域から、対応するピクセル値をコピーすることにより、マクロブロックの個々のブロックに対応するピクセル値からなる配列を形成する。参照フレームから導出されたピクセル値のブロックである予測値は、動き補償予測ブロック２４０からコンバイナ２３０へ渡され、コンバイナ２３０で復号化済み予測誤差情報と組み合わされる。実際には、個々の予測済みブロックのピクセル値が、逆ＤＣＴ変換器２２０により出力された対応する再構成済み予測誤差値に加算される。このようにして、マクロブロックの個々のブロックに対応する再構成済みピクセル値の配列が得られる。上記再構成済みピクセル値はデコーダのビデオ出力部２８０へ渡され、やはりフレーム記憶部２５０に格納される。

イントラ符号化済みフレームの後続するマクロブロックが復号化され、格納されるにつれて、復号化済みフレームがフレーム記憶部２５０に漸次蓄積された結果、この復号化済みフレームは、別のインター符号化済みフレームの動き補償予測用参照フレームとして利用できるようになる。

可変長符号化（ＶＬＣ）法を用いる量子化変換係数と対応するラン値とレベル値のエントロピー符号化を次にさらに詳細にチェックする。

一般に、ラン-レベル対は単一のシンボルとして符号化される。これは、個々の可能なラン-レベル対と規定されたコード番号との間でマッピングを規定することにより達成される。ラン-レベル対のコード番号へのマッピングの１例がルックアップテーブルとしての表３に示されている。ルックアップテーブル内のマッピングを利用して、ブロックの個々の（ラン，レベル）対へコード番号が割り当てられ、この結果生じるコード番号がＶＬＣ符号化により符号化される。例えば、ジョイントモデル（ＪＭ）２.０作業用ドラフト番号２、文献ＪＶＴ−Ｂ１１８、ＩＳＯ／ＩＥＣ_ＭＰＥＧのジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−Ｔ ＶＣＥＧ（パタヤ、第２回ＪＶＴ会議、ジェノバ、ＣＨ、２００２年１月２９日〜２月１日、（Ｈ.２６Ｌビデオ符号化規格）)では、コード番号上へ上記（ラン，レベル）対をマップ化する２つの異なるルックアップテーブルが規定されている。どの表を使用すべきかの選択は、ＱＰ値と、ブロックの符号化モードとに基づいている。さらに詳細には、符号化モードがイントラで、かつ、ＱＰが２４より小さい場合には、そうでない場合とは異なる表が用いられる。

ＪＶＴ Ｈ.２６ＬのジョイントモデルＪＭ２.０では、いわゆる“ユニバ−サル”可変長符号化方式（ＵＶＬＣと呼ばれる）が利用される。これに応じて、Ｈ.２６Ｌ ＪＭ２.０に準拠して実装されるビデオエンコーダでは、単一組の可変長コードワードを用いて、エンコーダからビットストリームの形で送信されるすべての情報（シンタックス要素）のエントロピー符号化が行われる。使用されるコードワードは同じであるが、異なるタイプの情報の符号化用として、異なるデータシンボルからコードワードへの所定数のマッピングが規定される。例えば、２つのデータシンボルからコードワードへのマッピングが輝度情報を含むブロックに対して行われ、マッピングの選択は、量子化されたＤＣＴ変換係数の並べかえに用いるジグザグスキャニング処理（単純スキャニングまたは２重スキャニング）のタイプに応じて決められる。Ｈ.２６Ｌに準拠して規定されてい単純ジグザグスキャニングと２重ジグザグスキャニング方式の詳細については、ＪＶＴ−Ｂ１１８、作業用ドラフト番号２、文献ＪＶＴ−Ｂ１１８、ＩＳＯ／ＩＥＣ_ＭＰＥＧのジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−Ｔ ＶＣＥＧ（パタヤ、第２回ＪＶＴ会議、ジェノバ、ＣＨ、２００２年１月２９日〜２月１日）を参照されたい。特に、マクロブロックタイプ（ＭＢ_Ｔｙｐｅ）情報、動きベクトルデータ（ＭＶＤ）およびイントラ予測モード情報に対しては異なるマッピングも行われる（下記の表３を参照）。

Ｈ.２６Ｌ ＪＭ２.０に規定されているＵＶＬＣコードワードは、下記の表１に示す以下の圧縮した形で書き込むことができる。但し、ｘ_nの項は０または１のいずれかの値をとることができる。

表２が表１に示した方式に準拠して生成された最初の１６個のＵＶＬＣコードワードを示すのに対して、表３はＨ.２６Ｌに準拠して行われる異なるデータシンボルからコードワードへのマッピングを示す。これらマッピングの完全な記載については、ジョイントモデル（ＪＭ）２.０作業用ドラフト番号２、文献ＪＶＴ−Ｂ１１８（ＩＳＯ／ＩＥＣ_ＭＰＥＧのジョイントビデオチーム（ＪＶＴ）およびＩＴＵ−Ｔ ＶＣＥＧ、パタヤ、第２回ＪＶＴ会議、ジェノバ、ＣＨ、２００２年１月２９日〜２月１日、セクション３.２）を再度参照されたい。

Ｈ.２６Ｌで採用されているユニバ−サル可変長符号化方式は複数の技術的な利点を提供する方式である。特に、表１に示す規則のような単純な規則に基づいて構成することができる単一組のＶＬＣコードワードを利用することにより１ビットずつのコードワードの作成が可能となる。これによって、エンコーダとデコーダ内にコードワード表を記憶する必要がなくなるため、エンコーダとデコーダ双方のメモリ要件が少なくなる。言うまでもなく、別の実現例で、エンコーダとデコーダでコードワード表の生成と記憶とを行うことが可能であることを付記しておく。異なるデータシンボルからコードワードへのマッピングを行うことによって、エントロピー符号化された種々のタイプの画像関連データと制御情報の異なる統計的性質に対して、ＵＶＬＣ符号化方式の少なくとも限定された適合を行うことが可能となる。データシンボルからコードワードへの種々のマッピングをエンコーダとデコーダとに記憶することができるため、エンコーダからデコーダへビットストリームでマッピング情報を送信する必要はない。これは誤り復元力の保持に役立つ。

しかし、ＵＶＬＣエントロピー符号化方式には、いくつかの欠点があるという問題点もある。特に、異なるデータシンボルからコードワードへのマッピングによって与えられる固定されたコードワードと限定されたレベルの適合性とによる必然の結果として、最適のデータ圧縮が得られない問題点がある。この問題は、画像符号化時に、異なる変換係数の発生頻度（すなわち発生確率）、したがって、異なる（ラン，レベル）対の発生確率が、画像内容と、符号化対象画像のタイプとに相応して変化するという事実に起因して生じるものである。したがって、単一組の可変長コードワードを使用し、かつ、符号化／復号化の対象データシンボルとＶＬＣ間で単一のマッピングのみを行う場合、一般に、最適の符号化効率の達成は不可能である。

この理由のために、基本ＵＶＬＣ符号化方式の修正が提案されている。さらに詳細には、２組以上のＶＬＣコードワードを含むことが示唆されている。このような１つの提案は、Ｑ.１５／ＳＧ１６“イントラＬｕｍａ係数のための２つのＶＬＣ間での適応型切り替えデータシンボルの統計的性質の利用”（文献Ｑ１５-Ｋ-３０、２０００年８月）でＧｉｓｌｅ Ｂｊｏｎｔｅｇａａｒｄにより行われた。この提案は、或るタイプの情報のエントロピー符号化のための第２の組のＶＬＣコードワードの利用を示唆したものである。文献Ｑ１５-Ｋ-３０によれば、この提案された第２の組のＶＬＣコードワード（ＶＬＣ２と呼ばれる）は表４の下記に示す方式に基づいて構成される。特にこの第２の組のＶＬＣコードワードを利用して、Ｈ.２６Ｌに準拠して規定された２重スキャンジグザグスキャニング方式を用いてスキャンされた４×４ピクセルイントラ符号化輝度ブロックの量子化変換係数と関連づけられるラン値とレベル値との符号化が行われる。表５は、ＶＬＣ２の最初の１６個のコードワードを明確な形で示すものである。

表４と表５を表１と表２とそれぞれ比較することによりわかるように、最初の組のＵＶＬＣコードワード内の最短コードワードへ割り当てられた単一ビットとは対照的に、ＶＬＣ２の最短コードワードは２ビットを有する。ＶＬＣコードワードが、他のいずれのコードワードのプレフィックスでもないようにするという一般的復号可能要件に起因して、この変更は他のＶＬＣ２コードワードの構造に対して著しい影響を有する変更である。特に、最短コードワードへ２ビットを割り当てることによって、より高いインデックスを有するコードワードをより少数のビットで表すことが可能となる。例えば、表２を参照すると、インデックス７を持つＵＶＬＣコードワードが７ビットを有するのに対して、インデックス７を持つＶＬＣ２コードワードは６ビットしか有していないということがわかる。

あるブロック内の非ゼロ係数の個数と同じブロック内の可能な（ラン，レベル）対との間の強い相関関係が存在することも観察された。あるブロック内の非ゼロ係数の個数は、（４×４の変換用の１６などの）変換ブロックサイズにより制限されることに留意されたい。同様に、ラン値は、（４×４変換用の１５などの）変換ブロックサイズにより制限される。非ゼロ係数の個数が大きい場合（たとえば配列の合計サイズに近い場合）、ラン値が小さく、レベル値が高い（ラン，レベル）対のほうがより高い発生確率を有することが観察されている。例えば、１５個の非ゼロ係数を持つ４×４変換の場合、ランは［０，１］の範囲の値しかとることできない。

これらの観察に基づいて、Ｋａｒｃｚｅｗｉｃｚが行った１つの提案“高ビットレート用ＶＬＣ係数符号化”（文献ＪＶＴ−Ｂ０７２、第２回ＪＶＴ会議、ジェノバ、ＣＨ、２００２年１月２９日〜２月１日）による可変長符号化方法が示唆された。この方法では、異なる個数の非ゼロ値量子化変換係数に対応して別々のルックアップテーブルが与えられる。この提案によれば、これらのテーブルの個々のテーブルに対応するコードワードと、（ラン，レベル）対とコードワードとの間でのマッピングとは、指定された個数の非ゼロ値係数を持つ量子化変換係数値の配列から導出された１組の（ラン，レベル）対に適用されると、最適なデータ圧縮を行うように設計される。非ゼロ値量子化変換係数の個数と対応する（ラン，レベル）対の統計的性質の変動に関する情報は、例えば、複数のテスト（“トレーニング”）画像またはビデオシーケンスを予め符号化することにより経験的に得られる。次いで、ＶＬＣコードワードと、上記コードワード間でのマッピングとを設計し、これらを１または２以上のルックアップテーブルとしてエンコーダ内に記憶することができる。

Ｋａｒｃｚｅｗｉｃｚにより提案されたアルゴリズムの明細は以下のようなものである：画像ピクセルまたは予測誤差値のブロックを変換符号化して、２次元配列の変換係数値を形成し、さらに、係数値の各々を量子化した後に、上記配列内の非ゼロ量子化係数値の個数を決定する。Ｎ_cと呼ばれる値が当該個数へ割り当てられ、この値を利用して配列内の非ゼロ係数値の個数が明白に伝えられる。したがって、ＥＯＢシンボル（例えば０に等しいレベル値）はもはや不要となる。次いで、（ラン，レベル）対とコードワード間のマッピングを規定するルックアップテーブルを用いてコードワード上への当該ブロック内の個々の（ラン，レベル）対のマッピングが行われ、ルックアップテーブルは上記Ｎ_c値に依拠して選択される。

２組以上のコードワード間でのコンテキストベースの切り替えによりコードワードが選択される前述のＶＬＣ符号化法の双方方法は、単一組のＶＬＣコードワードを利用する方法と比べてデータ圧縮効率の向上を提供するものである。しかし、多くのデータ圧縮の適用時に、特に、ビデオ符号化の適用時に、データ圧縮効率の向上を図りたいという継続的要望が存在する。したがって、計算の複雑さが少なく、メモリ要件が少なく、さらに、良好な誤り復元力を保持しながら、このタイプの方法に対する改善された適合性と、符号化対象のデータシンボルの統計的性質とを提供する新たな可変長符号化方法の開発に対する相当の関心が今でも存在している。この状況こそ本発明に準拠する方法が開発された状況である。

本発明の要約
本発明は、一般に、（ラン，レベル）対として表されるデータシンボルの可変長符号化に関するものである。本発明は、データシンボルとＶＬＣコードワード間での少なくとも２つのマッピングの利用を含み、マッピング間での切り替え規則を規定するものである。このマッピングは、可変長コード化を行う対象データシンボルの統計的性質を考慮に入れるものである。これにって、データシンボルとコードワード間での固定マッピングを利用するＶＬＣ符号化法と比べると改善されたデータ圧縮効率が得られる。この切り替え規則による設計の結果、ビットストリーム内に含むべきマッピング選択に関する情報をまったく必要とすることなく、本発明の方法に基づいて形成されるＶＬＣコードワードを含むビットストリームの復号化が可能となる。言い換えれば、ビットストリーム内に個々のコードワードを生成するのに用いるマッピングについて明確な指示を行う必要がなくなり、この特性によってデータ圧縮効率の改善が図られる。

特に、本発明は、符号化効率の向上を図るための、量子化変換係数の新たな符号化方法を提案するものである。さらに詳しく言えば、本発明の特定の目的は、非ゼロ値量子化変換係数を表す（ラン，レベル）対の符号化を行うための新しく、より効率的な方式を提供することである。“高ビットレート用ＶＬＣ係数符号化”（文献ＪＶＴ−Ｂ０７２、第２回ＪＶＴ会議、ジェノバ、ＣＨ、２００２年１月２９日〜２月１日）でＫａｒｃｚｅｗｉｃｚにより提案された方法のように、本発明は、変換係数からなるブロックにおける非ゼロ値係数の個数が、ラン値の場合と同様、変換ブロックサイズにより制限されているという観察に基づくものである。実世界画像を処理するエンコーダについての上記観察およびその他の分析によって、本発明の発明者らはブロック内の非ゼロ係数の個数と当該ブロックのラン値との間に相関関係が存在することを認識するに至った。特に、本発明の発明者らは、次第に多くの（ラン，レベル）対がブロックから符号化されるにつれて、ラン-レベルの組み合わせの可能性のある個数が減少し始めることを認識した。この後者の認識こそが本発明を導き出したものである。

したがって、本発明によるＶＬＣ符号化法は、連続的（ラン，レベル）対がコードワードへ割り当てられるにつれて、符号化対象の次の（ラン，レベル）対に対応するラン値の可能な範囲がさらに制限されるという事実を考慮に入れるものである。

ランの可能値が（ラン，レベル）対の個々の符号化と共に変化するという事実は、（ラン，レベル）対のインデックスのコード番号への割当て中に好適に利用することができる。

さらに詳細には、本発明の実施形態によれば、（ラン，レベル）対をコード番号に関係づけるために少なくとも２組のマッピングが行われる。ランがとり得る最大値を規定するｍａｘ_ｒｕｎの値に応じて、少なくとも２組のマッピングのうちの一方のマッピングから選択されたマッピング表を用いて、コード番号に対して個々の（ラン，レベル）対のマッピングがまず行われる。ｍａｘ_ｒｕｎは、ブロック内の非ゼロ値係数の個数を考慮することにより初期化され、次いで、個々の（ラン，レベル）対の符号化後に更新される。以下の例はその要点を例示するものである：

量子化変換係数のブロックにおいて、（ラン，レベル）対の中に、（２，１）、（３，２）、（４，３）、（２，３）および（１，２）を持つ５個の非ゼロ係数が含まれていると仮定する。通常、所定の係数のラン値とレベル値とは、レベル値が対応するラン値に先行するように並べられていることにここで留意されたい。このため、如上の（ラン，レベル）対では、レベル値は個々の対の第１の数（２，３，４，２，１）であり、ラン値は個々の対の最後の数（１，２，３，３，２）である。符号化処理の開始時に、５個の非ゼロ係数が存在し、多くて１６個のこのような係数が存在する能性があるため、ランは、多くて１１個の値をとる可能性がある。この最大可能ラン値をｍａｘ_ｒｕｎと示すと、（２，１）である第１の（ラン，レベル）対の符号化後、ｍａｘ_ｒｕｎは、減少する（正確には、現在のラン値を減じることにより、前回のｍａｘ_ｒｕｎ値の更新により得られる１０になる）ことがわかる。さらに詳細には、ｍａｘ_ｒｕｎは以下のように更新される：
ｍａｘ_ｒｕｎ＝ｍａｘ_ｒｕｎ−ｒｕｎ
但し、ｍａｘ_ｒｕｎはブロックの符号化の開始時に１６−Ｎ_cにより初期化される。

本発明の第１の態様によれば、ゼロ値データシンボルと非ゼロ値データシンボルとを含む１組のデータシンボルを符号化する方法が提供され、該方法は、マッピング処理によって、非ゼロ値データシンボルおよび先行するまたは後続するゼロ値データシンボルの対応する個数を表すようにコードワードを割り当てることを含む方法を有する。本方法によれば、非ゼロ値データシンボルと、該非ゼロ値データシンボルの先行するまたは後続するゼロ値データシンボルの対応する個数とへコードワードを割り当てるマッピング処理は、上記組のデータシンボル内のゼロ値データシンボルの最大可能個数に依拠するものとなる。

本発明の第２の態様によれば、ゼロ値データシンボルと非ゼロ値データシンボルとを含む１組のデータシンボルを表す１組のコードワードを復号化する方法が提供され、上記方法は、前記組のデータシンボル内の非ゼロ値データシンボルの個数の指示を受け取ることと、非ゼロ値データシンボルと、先行するまたは後続するゼロ値データシンボルの対応する個数とを表すコードワードを受け取ることと、逆マッピング処理を行うことにより、コードワードを復号化して、非ゼロ値データシンボルと、先行するまたは後続するゼロ値データシンボルの対応する個数とを回復することと、を有する。本方法によれば、非ゼロ値データシンボルと、該非ゼロ値データシンボルの先行するまたは後続するゼロ値データシンボルの対応する個数とを前記コードワードから復号化する逆マッピング処理は、前記組のデータシンボル内のゼロ値データシンボルの最大可能個数に依拠するものとなる。

本発明の第３の態様によれば、ゼロ値データシンボルと非ゼロ値データシンボルとを含む１組のデータシンボルを符号化するエンコーダであって、マッピング処理を行うことにより非ゼロ値データシンボルと、先行するまたは後続するゼロ値データシンボルの対応する個数とを表すためにコードワードを割り当てる手段を備えるエンコーダが提供される。本発明によれば、上記エンコーダで与えられるコードワードを割り当てる手段は、前記組のデータシンボル内のゼロ値データシンボルの最大可能個数に依拠してコードワードを割り当てるマッピング処理を適合させるように構成される。

本発明の第４の態様によれば、１組のデータシンボルを表す１組のコードワードを復号化するデコーダが提供され、前記組のデータシンボルには、ゼロ値データシンボル、並びに、非ゼロ値データシンボルが含まれ、上記デコーダは、前記組のデータシンボル内の非ゼロ値データシンボルの個数の指示を受け取る手段と、非ゼロ値データシンボルと先行するまたは後続するゼロ値データシンボルの対応する個数とを表すコードワードを受け取る手段と、逆マッピング処理を行うことにより、コードワードを復号化して、前記非ゼロ値データシンボルと、非ゼロ値データシンボルの先行するまたは後続するゼロ値データシンボルの対応する個数とを回復する手段とを備える。本発明によれば、コードワードを復号化する上記手段は、前記組のデータシンボル内のゼロ値データシンボルの最大可能個数に依拠して、非ゼロ値データシンボルと、該非ゼロ値データシンボルの先行するまたは後続するゼロ値データシンボルの対応する個数とを復号化する逆マッピング処理を適合させるように構成される。

本発明の第５の態様によれば、本発明の第３の態様に基づくエンコーダを備えたマルチメディア端末装置が提供される。

本発明の第６の態様によれば、本発明の第４の態様に基づくデコーダを備えたマルチメディア端末装置が提供される。

好適には、本発明の第５および／または第６の態様に基づく上記マルチメディア端末装置は、無線接続によって移動通信ネットワークと交信するように構成される移動マルチメディア端末装置であることが望ましい。

以下、添付図面を参照しながら、例示によって本発明の実施形態について説明する。

本発明の詳細な説明
以下の詳細な説明において、本発明の例示の実施形態を提示する。これらの実施形態は、ビデオエンコーダにおけるブロックベース変換符号化の結果として生成される非ゼロ値変換係数を表す（ラン，レベル）対の可変長符号化、並びに、対応するビデオデコーダにおける上記対の後続する復号化に関する。しかし、当業者であれば理解できるように、本発明による方法は（ラン，レベル）対として表されるデータシンボルのＶＬＣ符号化に対して、または符号化の対象とする１組のデータシンボルの任意の等価表現に対して一般に適用することが可能である。

図５は、本発明によるＶＬＣ符号化法を適用できるビデオエンコーダ６００の概略ブロック図である。図５に図示のビデオエンコーダの構造は、図１に図示の従来技術によるビデオエンコーダ構造とほぼ同一であるが、可変長符号化処理が行われるエンコーダの当該部分に対して適切な修正が施されている。前述した従来技術によるビデオエンコーダと同一の方法で機能を実現し、作動するビデオエンコーダのすべての部分は同一の参照番号によって特定される。本明細書において、すべての可変長符号化処理はビデオマルチプレクスコーダ６７０において行われるものと仮定されている。しかし、本発明の別の実施形態では、単数または複数の別々の可変長符号化ユニットを設けることも可能であると理解すべきである。ビデオエンコーダにより形成されるデータシンボル（非ゼロ値変換係数に対応する（ラン，レベル）対など）のうちの或る一定のデータシンボルに対して本発明による方法を適用することも可能であること、さらに、別のＶＬＣ符号化法を用いて別のデータシンボルを符号化することも可能であることも付記しておく。

次にビデオエンコーダ６００の作動について詳細に考察する。デジタルビデオのフレームを符号化する際、エンコーダ６００は図１と関連して前述した方法と同様の方法で作動して、イントラ符号化され、インター符号化された圧縮済みビデオフレームを生成する。本テキストで前述したように、イントラ符号化モードでは、画像データ（ピクセル値）の個々のブロックに離散余弦変換（ＤＣＴ）が適用され、変換係数値の対応する２次元配列の形成が図られる。変換ブロック１０４でＤＣＴ処理が行われ、この処理の結果生成された係数がその後量子化器１０６へ渡され、そこで上記の量子化が行われる。インター符号化モードで、ブロック１０４で行われたＤＣＴ変換が予測誤差値のブロックに対して適用される。この処理の結果生成された変換係数も量子化器１０６へ渡され、上記変換係数もそこで量子化される。

インター符号化されたフレームがイントラ符号化された画像ブロックを含むものであってもよいこと、さらに、状況によっては、特定の画像ブロックに対して変換符号化が適用されないことに留意されたい。例えば、イントラ符号化モードでイントラ予測を利用する場合、１または２以上の予め符号化済みの画像ブロックからいくつかの画像ブロックがエンコーダで予測される。この場合、エンコーダは予測時に使用する前のブロックの指示をデコーダに与え、変換係数データを出力しない。さらに、インター符号化モードでは、或るブロックに対する予測値とブロック自体の画像データとの間の差が非常に小さいため、予測誤差情報を送信しないことがデータ圧縮比という点からは好都合である。したがって、本発明によるＶＬＣ符号化法は、変換符号化と、後続する変換係数量子化とを受ける当該画像ブロックに対して適用されることになる。

本発明によれば、ビデオマルチプレクスコーダ６７０は、量子化変換係数ブロック（２次元配列）を受け取ると、配列内の非ゼロ値係数の個数Ｎ_cを決定し、この個数の指示がビットストリーム６３５の形でデコーダへ送信される。本発明の好ましい実施形態では、この送信に先行してＮ_cは可変長コード化される。別の実施形態では、Ｎ_cがそのまま送信される場合もあれば、別の符号化法が適用される場合もある。

次にビデオマルチプレクスコーダ６７０は（ラン，レベル）対として非ゼロ値係数を表す。さらに詳細には、２次元配列の量子化変換係数が、図４に図示の順序のような予め規定されたスキャニング順序を用いてまずスキャンされ、一次元配列が生成される。次いで、この順序に並べられた一次元配列の個々の非ゼロ値係数値が、ラン値とレベル値とにより表される。但し、レベル値は係数の値を表し、ラン値は非ゼロ値係数に先行する連続するゼロ値係数の個数を表す。

次いで、ビデオマルチプレクスコーダ６７０はラン値とレベル値に対して可変長符号化を適用して、個々の（ラン，レベル）対へ単一のＶＬＣコードワードを割り当てるように図る。本発明の好ましい実施形態によれば、シンボルを符号化する前に最大可能ラン（ｍａｘ_ｒｕｎとして示す）を考慮しながら、（ラン，レベル）対の異なるマッピングを選択することにより（ラン，レベル）対がコード番号に符号化される。量子化変換係数ブロックにおける最初の（ラン，レベル）対を符号化する際、ｍａｘ_ｒｕｎは、（ブロック内に存在する可能性がある非ゼロ値係数の最大可能個数−所定の決定されたＮ_cの値）に等しくなるように設定される。したがって、４×４ブロックの場合、ｍａｘ_ｒｕｎは以下のように初期化される：
ｍａｘ_ｒｕｎ＝１６−Ｎ_c （１）

以下の例示の擬似コードは、本発明に基づく（ラン，レベル）対へコードワードを割り当てる１つの処理手順を示すものである。
Ｉｎｄｅｘ_ＲＬ＝ＲＬ_ｉｎｄｅｘ［ｍａｘ_ｒｕｎ，ｌｅｖｅｌ，ｒｕｎ］（２)
但し、ＲＬ_ｉｎｄｅｘは、ｍａｘ_ｒｕｎ値に依拠して異なるコード番号に対するラン-レベル値の整数値をマッピングする。トレーニング用データを用いてシミュレーションを実行した後、ＲＬ_ｉｎｄｅｘの初期化が行われる。最後に、Ｉｎｄｅｘ_ＲＬは、表２または表５に掲載したＶＬＣコードワードのうちの１つのリストを用いて符号化される。

さらに詳細には、ｍａｘ_ｒｕｎの個々の可能値に対する、異なる（ラン，レベル）対の発生確率を分析することによりビデオデータの１または２以上の検査シーケンスから経験的にマッピング関数ＲＬ_ｉｎｄｅｘが構成される。次いで、マッピング処理手順の適用により生成されるコード番号（すなわちＩｎｄｅｘ_ＲＬ値）を用いて、（ラン，レベル）対を表すコードワードをコードワード表から選択する。本発明の望ましい実施形態では、表２の形で上記に示したコードワード表か表５に示したコードワード表かのいずれかの表が使用される。

表６と表７とに、ｍａｘ_ｒｕｎ値に基づくコード番号に対する（ラン，レベル）対の例示マッピングが示されている。双方の表では、行はレベル値に対応し、列はラン値に対応しているのに対して、個々のセル内へのエントリは当該特定のラン-レベル対（すなわちラン値とレベル値との組み合わせ）に対するＶＬＣコードワードのコード番号を指示している。最も蓋然性の高い対に対してはコード番号１が割り当てられ、第２に蓋然性の高い対にはコード番号２が割り当てられる等々となる。表６と表７の双方の表には最初の１５個の最も蓋然性の高い対が掲載されている。表６は、ｍａｘ_ｒｕｎが８である場合を示す表であるのに対して、表７は、ｍａｘ_ｒｕｎが３である場合を示す表である。

上述のマッピング処理手順を用いて、特定の（ラン，レベル）対を表すために、ＶＬＣコードワードを選択し、ビデオマルチプレクスコーダ６７０はビットストリーム６３５の形でデコーダへコードワードを送信する。現在のブロックに対する符号化の対象とすべきさらに多くの（ラン，レベル）対が存在する場合、ビデオマルチプレクスコーダ６７０は、現在のラン値を減じることにより、次の（ラン，レベル）対の符号化と関連して利用するｍａｘ_ｒｕｎの更新を行う。すなわち：
ｍａｘ_ｒｕｎ＝ｍａｘ_ｒｕｎ−ｒｕｎ

所定のブロックに対するすべての（ラン，レベル）対がコードワードとして表されるまで上記符号化処理手順は続く。その際、ビデオマルチプレクスコーダ６７０は符号化するための量子化変換係数の次の符号化用ブロックを受け取り、次のブロックに対する符号化プロセスを繰り返す。

本発明に基づくビデオデコーダ７００の作動について以下図６を参照して説明する。図６に例示のビデオデコーダの構造は、図２に図示の従来技術によるビデオデコーダの構造とほぼ同一であるが、可変長復号化処理を行うデコーダの当該部分に対して適切な修正が施されている。前述した従来技術によるビデオデコーダと同一の方法で機能を実行し、作動するビデオデコーダのすべての部分は同一の参照番号によって特定される。後続の説明では、すべての可変長復号化処理がビデオマルチプレクスデコーダ７７０内で行われると仮定されている。しかし、本発明の別の実施形態では、単数または複数の別々の可変長復号化ユニットを設けることも可能であると理解すべきである。

ビデオデコーダの作動について以下詳細に説明する。ここで、図６のビデオデコーダは、図５と関連して説明したエンコーダに対応するものであり、したがって、エンコーダ６００により送信されたビットストリーム６３５を受け取り、これを復号化することが可能であると仮定されている。このデコーダで、ビットストリームはビデオマルチプレクスデコーダ７７０により受信され、その構成要素へ分離される。従来技術についての前の説明と関連して説明したように、ビットストリームから取り出された圧縮済みのビデオデータはマクロブロック毎に処理される。本発明によれば、イントラ符号化されたマクロブロック用として圧縮済みのビデオデータには、個々のブロック内に存在する非ゼロ値量子化変換係数の個数Ｎ_cの指示、並びに、符号化済み制御情報（例えば量子化パラメータＱＰに対応する）と共に、マクロブロックの個々のブロックに対してＶＬＣ符号化された（ラン，レベル）対を表す可変長コードワードが含まれる。インター符号化されたマクロブロック用圧縮済みビデオデータには、個々のブロックに対するＶＬＣ符号化された予測誤差情報（ＶＬＣ符号化された（ラン，レベル）対と個々のブロックに対するＮ_cの指示とを含む）と、マクロブロックに関連する動きベクトル情報と、符号化済み制御情報とが含まれる。

イントラ符号化されたマクロブロックの個々のブロックに対する、並びに、インター符号化されたマクロブロックに対応する予測誤差データの個々のブロックに対するＮ_c値と、ＶＬＣ符号化された（ラン，レベル）対とは同一の方法で処理される。

さらに詳細には、イントラまたはインター符号化済みの画像ブロックに対してＶＬＣ符号化済みの（ラン，レベル）対の復号化時に、ビデオマルチプレクスデコーダ７７０はブロック内の非ゼロ値量子化変換係数の個数をまず決定する。前述したように、非ゼロ値量子化変換係数の個数（Ｎ_c）に関する情報はエンコーダ６００によりビットストリーム６３５の中へ挿入される。デコーダ７００のビデオマルチプレクスデコーダ７７０は受信したビットストリームからこの情報を取り出す。

次いで、ビデオマルチプレクスデコーダ７７０は、画像ブロックに対するＶＬＣ符号化済みの（ラン，レングス）対の復号化を開始する。本発明によれば、この復号化処理はエンコーダ内で行われる符号化処理手順の場合と同様に、また、上記記載のように行われる。さらに詳細には、特定の画像ブロックに対応する最初の可変長コードワードを復号化する際、ビデオマルチプレクスデコーダ７７０は、（ブロック内に存在し得る非ゼロ値係数の最大個数−受信したビットストリームから取り出した当該ブロックに対応するＮ_cの値）に等しくなるように上記最初の可変長コードワードを設定することによりｍａｘ_ｒｕｎの値を初期化する。次いで、ビデオマルチプレクスデコーダ７７０は、受信コードワードに対応するコード番号を決定し、ｍａｘ_ｒｕｎの値に依拠して、コード番号をラン値とレベル値の特定の組み合わせに関係づけるマッピング表を選択し、これらのマッピング表は、エンコーダ内でコードワードの生成に使用したマッピング表に対応して、デコーダ内で使用される。

ブロックの最初の非ゼロ値量子化変換係数に対応するレベル値とラン値を回復した後、ビデオマルチプレクスデコーダ７７０は、決定したばかりのラン値の減算を行うことによりｍａｘ_ｒｕｎの値を更新し、次いで、ブロック用の次のコードワードの復号化を開始する。特定の画像ブロックを表すすべてのコードワードが復号化されるまで上記処理は続き、その際、ビデオマルチプレクスデコーダ７７０は、復号化済みの（ラン，レベル）対からブロック用の量子化変換係数値を再構成し、これらの量子化変換係数値を逆量子化器２１０へ渡す。再構成されたピクセル値を個々の画像ブロック用として形成するビデオ復号化処理手順の残り部分は、従来技術によるビデオデコーダ２００と関連して記載したように進行する。

図７は、本発明に従って作動するように適合できるビデオ符号化用および復号化用機器を備えた端末装置を示す図である。さらに正確に述べれば、この図はＩＴＵ−Ｔ勧告Ｈ.３２４に準拠して実現されるマルチメディア端末装置８０を示す図である。この端末装置はマルチメディア送受信装置と考えることができる。上記端末装置は、通信ネットワークを介して送信するために、マルチメディアデータストリームを取得し、符号化し、多重化するエレメント、並びに、受信したマルチメディアコンテンツを受け取り、多重分離し、復号化し、表示するエレメントを備える。ＩＴＵ−Ｔ勧告Ｈ.３２４は端末装置の処理全体を規定し、該端末装置の種々の構成部の作動を決定する別の勧告を参照するものである。この種のマルチメディア端末装置は、通話用テレビ電話などのリアルタイムアプリケーションや、例えばインターネット内のマルチメディアコンテンツサーバから得られるビデオクリップの検索および／またはストリーミングなどの非リアルタイムアプリケーションで利用することができる。

本発明のコンテキストでは、図７に図示のＨ.３２４端末装置は、本発明の方法の適用に適した複数の代替マルチメディア端末実施構成のうちの１つの実施構成にすぎないと理解すべきである。複数の代替実施構成が端局装置の位置と実施構成とに関連して存在することにも留意されたい。図７に例示のように、マルチメディア端末装置は、アナログＰＳＴＮ（公衆電話交換網）などの固定ライン電話ネットワークと接続された通信用機器内に配置される場合もある。この場合、マルチメディア端末装置は、ＩＴＵ−Ｔ勧告Ｖ.８、Ｖ.３４およびオプションとしてＶ.８ｂｉｓに準拠するモデム９１を装備している。上記とは別に、マルチメディア端末装置は外部モデムと接続されたものであってもよい。このモデムによって、多重化されたデジタルデータおよびマルチメディア端末装置により生成された制御信号をＰＳＴＮを介する送信に適したアナログ形式に変換することが可能となる。さらに、上記モデムによって、マルチメディア端末装置によるデータの受信と、ＰＳＴＮからのアナログ形式の信号の制御と、上記信号のデジタルデータストリームへの変換とが可能となり、このデジタルデータストリームは端末装置により多重分離され、適切な方法で処理することが可能である。

Ｈ.３２４マルチメディア端末装置を実装して、ＩＳＤＮ（総合デジタル通信網）などのデジタル固定ラインネットワークと直接接続できるようにしてもよい。この場合、モデム９１はＩＳＤＮユーザ網インタフェースよって置き換えられる。図７に、このＩＳＤＮユーザ網インタフェースが別のブロック９２により表されている。

Ｈ.３２４マルチメディア端末装置は移動通信用アプリケーションでも使用できるように適合させることが可能である。無線通信用リンクと共に使用する場合、モデム９１は、図７に別のブロック９３により表されているように任意の適当な無線用インタフェースより置き換えることが可能である。例えば、Ｈ.３２４／Ｍマルチメディア端末装置は、現在の第２世代ＧＳＭ移動電話ネットワークや、本発明が提案する第３世代ＵＭＴＳ（一般移動電話システム）との接続を可能にする無線トランシーバを備えるものであってもよい。

ビデオデータの送受信のために２方向通信用として設計されたマルチメディア端末装置では、本発明に基づいて実装されたビデオエンコーダとビデオデコーダの双方を設けると好適であることを付記しておく。このようなエンコーダとデコーダの対は、“コーデック”と呼ばれる単一の複合型機能ユニットとして実装される場合が多い。

図７を参照しながら一般的なＨ.３２４マルチメディア端末装置について以下さらに詳細に説明する。

マルチメディア端末装置８０は“端局装置”と呼ばれる種々のエレメントを備えている。このマルチメディア端末装置８０には、それぞれ参照番号８１、８２、８３により一般的に示されるビデオ用装置、オーディオ用装置、およびテレマティック用装置が含まれる。ビデオ機器８１は、例えば、ビデオ画像取得用ビデオカメラ、受信したビデオの内容を表示するモニタ、およびオプションのビデオ処理用機器を備えるものであってもよい。オーディオ用機器８２は、一般に、例えば、音声メッセージを取得するマイクと、受信した音声の内容を再生するスピーカーとを備える。オーディオ用機器は追加の音声処理用ユニットを備えるものであってもよい。テレマティック機器８３は、データ端末装置、キーボード、電子ホワイトボードやファックス装置などの静止画像送受信装置を備えるものであってもよい。

ビデオ機器８１はビデオコーデック８５と接続される。ビデオコーデック８５は、本発明に基づいて実装されたビデオエンコーダと対応するビデオデコーダの双方を備える。このようなエンコーダとデコーダとについて以下説明する。ビデオコーデック８５は、通信リンクを介してさらに送信するために、取得済みビデオデータを適切な形式で符号化する役割と、通信ネットワークから受信した圧縮済みビデオ内容を復号化する役割とを果たすものである。図７に図示の例では、ビデオコーデックはＩＴＵ−Ｔ勧告Ｈ.２６Ｌに準拠して実装されたものであるが、本発明による適応型可変長符号化法を実現するための適切な修正がビデオコーデックのエンコーダとデコーダの双方に施されている。

端末のオーディオ用機器は、参照番号８６によって図７に示す音声コーデックと接続される。ビデオコーデックのように、音声コーデックも１対のエンコーダ／デコーダを備える。音声コーデックは端末のオーディオ用機器により取得した音声データを通信リンクを介する送信に適した形に変換し、ネットワークから受信した符号化済み音声データを端末のスピーカーなどで再生するのに適した形に変換する。音声コーデックの出力信号は遅延ブロック８７へ渡される。この遅延ブロックによって、ビデオ符号化プロセスにより生じた遅延の補正が行われ、それによって音声内容とビデオ内容との同期が保証される。

マルチメディア端末のシステム制御ブロック８４は、適切な制御プロトコル（信号制御ブロック８８）を用いて、終端からネットワークへの信号の制御を行って、送信端末と受信端末間での通常行われる動作モードを確立する。信号制御ブロック８８は、送信端末と受信端末の符号化機能および復号化機能に関する情報を交換し、ビデオエンコーダの種々の符号化モードを可能にするために利用することができる。システム制御ブロック８４はデータの暗号化の利用の制御も行う。データ送信時に利用する暗号方式の種別に関する情報は、暗号化ブロック８９からマルチプレクサ/デマルチプレクサ（ＭＵＸ／ＤＭＵＸユニット）９０へ渡される。

マルチメディア端末からのデータ送信中、テレマティック機器８３からのデータ入力と可能な制御データとを用いて、ＭＵＸ／ＤＭＵＸユニット９０は符号化済みでかつ同期化済みのビデオストリームおよびオーディオストリームの合成を行い、単一のビットストリームを形成する。（何らかの暗号化が行われる場合）暗号化ブロック８９により行われる、ビットストリームに適用されるデータ暗号化の種別に関する情報を利用して暗号化モードが選択される。これに対応して、多重化され、おそらく暗号化されたマルチメディアビットストリームの受信の際、ＭＵＸ／ＤＭＵＸユニット９０はビットストリームを解読し、このビットストリームを構成マルチメディアコンポーネントに分割して、復号化と再生とを行う適切なコーデックおよび／または端局装置へ当該コンポーネントを渡す役割を果たす。

本発明に基づくマルチメディア端末、ビデオエンコーダ、デコーダおよびビデオコーデックの機能エレメントは、ソフトウェアまたは専用ハードウェアあるいはこれら２つの組み合わせとして実現することが可能であることを付記しておく。本発明に基づく可変長符号化と復号化方法とは、本発明の機能ステップを実行するためのコンピュータでの読み取りが可能な命令を含むコンピュータプログラムの形での実施構成に特に適している。したがって、本発明に基づく可変長エンコーダおよびデコーダは記憶媒体に記憶されるソフトウェアコードとして実装され、デスクトップパソコンなどのコンピュータにおいて実行可能である。

マルチメディア端末８０が移動端末装置である場合、すなわち、無線トランシーバ９３を装備している場合、マルチメディア端末８０が追加のエレメントを備えるものであってもよいことは当業者であれば理解するであろう。１つの実施形態では、マルチメディア端末８０は、ユーザによるマルチメディア端末８０の作動を可能とする、表示部とキーボードとを有するユーザインタフェースと、マルチメディア端末装置の様々な機能の役割を果たすブロックを制御する、マイクロプロセッサなどの中央演算処理装置と、ランダムアクセスメモリＲＡＭと、リードオンリメモリＲＯＭと、デジタルカメラとを備えるものとなる。マイクロプロセッサの処理命令、すなわちマルチメディア端末８０の基本機能に対応するプログラムコードは、リードオンリメモリＲＯＭに記憶され、必要に応じて、例えばユーザの制御の下でマイクロプロセッサにより実行することが可能である。このプログラムコードに基づいて、マイクロプロセッサは無線トランシーバ９３を利用して、移動通信ネットワークとの接続を形成し、それによって無線路を介する、マルチメディア端末装置８０による移動通信ネットワークとの情報の送受信が可能となる。

マイクロプロセッサはユーザインタフェースの状態をモニタし、デジタルカメラを制御する。ユーザコマンドに応答して、マイクロプロセッサはデジタル画像をＲＡＭの中へ保存するようにカメラに命令する。画像が取得された後に、或いは、画像の取得プロセス中に、マイクロプロセッサは画像を画像セグメント（例えばマクロブロック）にセグメント化し、次いで、エンコーダを用いて上記セグメントの動き補償符号化を実行して、上記で説明したように圧縮済み画像シーケンスの生成を図るようにする。ユーザは、マルチメディア端末８０にコマンドを出して、取得した画像を該端末装置の表示部に表示したり、別のマルチメディア端末装置や、固定ラインネットワーク（ＰＳＴＮ）と接続されたテレビ電話や、別の何らかの通信装置へ無線トランシーバ９３を用いて圧縮済み画像シーケンスを送ったりしてもよい。好ましい実施形態では、最初のセグメントが符号化されるとすぐに画像データの送信が開始されて、受信側が、対応する復号化処理を最少の遅延で開始できるようになる。

特定の実施形態というコンテキストで説明したが、上記教示に対する複数の修正および種々の変更を行うことが可能であることは当業者には自明である。したがって、本発明の１または２以上の好ましい実施形態と関連して本発明を特に示し、説明を行ったが、上記に記載のように本発明の範囲と精神から逸脱することなく何らかの修正や変更を行うことが可能であることは当業者の理解するところであろう。

本発明の別の実施形態は、係数のジグザグスキャニングが係数の値に従って係数を並べる傾向があるため、一次元配列で前に配置された係数の方が、配列内の後半に配置された係数よりも大きな絶対値を持つ可能性が大きくなるという観察に基づくものである。したがって、連続するレベル値は著しい類似性を示す。すなわち、所定の変換係数ブロック内では、符号化対象の係数のレベルは一般に、前に符号化された係数のレベルとほぼ同様の大きさを有する。この代替実施形態は、以下の関係式に基づいて（ラン，レベル）対の符号化を行うことにより、上記類似性を利用するものである：
Ｉｎｄｅｘ_ＲＬ＝ＲＬ_ｉｎｄｅｘ［ｍａｘ_ｒｕｎ，ｌｅｖｅｌ，ｒｕｎ，ｐｒｅｖ_ｌｅｖｅｌ］ （３）
但し、ｐｒｅｖ_ｌｅｖｅｌはブロック内で前回符号化されたレベル値である。前述した実施形態と比べると、（ラン，レベル）対へのインデックス値の割当てに影響を与える付加パラメータ（すなわちｐｒｅｖ_ｌｅｖｅｌ）が存在する。

本発明の別の実施形態は、連続するレベル値が強い相関関係を示すという事実に基づくものである。さらに詳細には、前回符号化されたレベル値を用いて異なるＶＬＣコードブックを割り当て、インデックス割当て時における利用に加えて、現在のシンボルの符号化を行うことができるというものである。以下の例示の擬似コードは、前述した本発明の実施形態のうちの１つを用いることにより、（ラン，レベル）対のコード番号へＶＬＣコードブックを割り当てるための１つの処理手順を示すものである。
ＶＬＣ_Ｎ＝Ｎｃ_ｍａｐ［ｐｒｅｖ_ｌｅｖｅｌ］ （４）
但し、ｐｒｅｖ_ｌｅｖｅｌはブロック内で前回符号化されたレベル値であり、Ｎｃ_ｍａｐは、種々の異なる利用可能なＶＬＣコードに対して整数値のマッピングを行う配列である。

従来技術に基づく一般的ビデオエンコーダの概略ブロック図である。 従来技術に基づく、図１に図示のエンコーダに対応する一般的ビデオデコーダの概略ブロック図である。 従来技術に基づくマクロブロックの構成を示す図である。 例示のジグザグスキャニング順序を示す図である。 本発明の実施形態に基づくビデオエンコーダの概略ブロック図である。 本発明の実施形態に基づく、図５に図示のエンコーダに対応するビデオデコーダの概略ブロック図である。 本発明による方法を実現することが可能なマルチメディア通信端末の概略ブロック図である。

Claims (43)

1. ゼロ値データシンボルと非ゼロ値データシンボルとを含むデータシンボルの集合を符号化する方法であり、
   前記データシンボルの集合内のゼロ値データシンボルの最大可能個数に少なくとも部分的に基づいて適合させたマッピング処理を行うことによって、非ゼロ値データシンボルと、これに付随させて、先行または後続するゼロ値データシンボルの個数と、を組み合わせたデータシンボル対を表すコードワードを割り当て、
   前記データシンボル対をコードワードへ割り当てる際に、ゼロ値データシンボルの前記最大可能個数から、前記先行または後続するゼロ値データシンボルの個数を減じて、ゼロ値データシンボルの更新済み最大可能個数を生成することにより、前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数を更新し、
   前記マッピング処理は、データシンボル対に次のコードワードを割り当てる際に、ゼロ値データシンボルの前記更新済み最大可能個数に少なくとも部分的に基づいて適合されることを特徴とする符号化方法。
2. 前記データシンボルの集合内の全てのデータシンボル対にコードワードが割り当てられるまで、符号化を続けることを特徴とする請求項１に記載の符号化方法。
3. 前記データシンボルの集合内のデータシンボルの全個数から、前記データシンボルの集合内の非ゼロ値データシンボルの個数を減じることにより、前記データシンボルの集合内のゼロ値データシンボルの個数の最大可能個数を決定することを特徴とする請求項１または２に記載の符号化方法。
4. 前記データシンボルの集合内の非ゼロ値データシンボルの個数の指示を、対応する復号化装置へ送信することを特徴とする請求項１、２または３に記載の符号化方法。
5. 前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数に少なくとも部分的に基づいて、マッピング表の集合から特定のマッピング表を選択することにより前記マッピング処理を行い、前記マッピング表の集合内の各々のマッピング表が、コードワードへのデータシンボルの割当てを規定することを特徴とする請求項１乃至４のいずれか一項に記載の符号化方法。
6. 前記マッピング表の各々が、前記データシンボル対のコードワードへの割り当てを規定することを特徴とする請求項５に記載の符号化方法。
7. 前記マッピング表の各々が、前記データシンボル対のコード番号への割り当てを規定し、各コード番号がコードワードの集合中におけるあるコードワードを代表し、このコード番号を使用してコードワードの集合内を参照することにより、前記データシンボル対のコードワードへの割り当てが規定されることを特徴とする請求項５に記載の符号化方法。
8. 前記データシンボルの集合が変換係数値を表すことを特徴とする請求項１乃至７のいずれか一項に記載の符号化方法。
9. 前に符号化した非ゼロ値データシンボルの値を使用して、コードワードを含むコードブックの集合の中からコードブックを割り当て、現在の非ゼロ値データシンボルを符号化することを特徴とする請求項１乃至８のいずれか一項に記載の符号化方法。
10. ビデオエンコーダで利用する請求項１乃至９のいずれか一項に記載の符号化方法。
11. ゼロ値データシンボルと非ゼロ値データシンボルとを含むデータシンボルの集合を表すコードワードの集合の復号化方法であって、
    非ゼロ値データシンボルと、これに付随させて、先行または後続するゼロ値データシンボルの個数と、を組み合わせたデータシンボル対を表すコードワードを受信し、
    前記データシンボルの集合内のゼロ値データシンボルの最大可能個数に少なくとも部分的に基づいて適合させた逆マッピング処理を行うことにより、前記コードワードを復号化して前記データシンボル対を再生し、
    受信したコードワードを復号化してこのコードワードにより表されるデータシンボル対 を再生する際に、ゼロ値データシンボルの前記最大可能個数から、前記先行または後続するゼロ値データシンボルの個数を減じて、ゼロ値データシンボルの更新済み最大可能個数を生成することにより、前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数を更新し、
    前記逆マッピング処理は、次のコードワードを復号化してこれにより表されるデータシンボル対を再生する際に、ゼロ値データシンボルの前記更新済み最大可能個数に少なくとも部分的に基づいて適合されることを特徴とする復号化方法。
12. 前記データシンボルの集合内の非ゼロ値データシンボルの個数の指示を、受信することを特徴とする請求項１１に記載の復号化方法。
13. 前記データシンボルの集合内のデータシンボルの全個数から、前記データシンボルの集合内の非ゼロ値データシンボルの個数を減じることにより、前記データシンボルの集合内のゼロ値データシンボルの最大可能個数を決定することを特徴とする請求項１１または１２に記載の復号化方法。
14. 前記データシンボルの集合内の非ゼロ値データシンボルの個数の指示を、対応する符号化装置から受信することを特徴とする請求項１２または１３に記載の復号化方法。
15. 前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数に少なくとも部分的に基づいて、逆マッピング表の集合から特定の逆マッピング表を選択することにより前記逆マッピング処理を行い、前記逆マッピング表の集合内の各々の逆マッピング表が、データシンボルへのコードワードの割当てを規定することを特徴とする請求項１１乃至１４のいずれか一項に記載の復号化方法。
16. 前記逆マッピング表の各々が、データシンボル対へのコードワードの割当てを規定することを特徴とする請求項１５に記載の復号化方法。
17. 前記受信したコードワードを復号化してコード番号を再生し、
    このコード番号を利用して、前記データシンボルの集合内のゼロ値データシンボルの最大可能個数に少なくとも部分的に基づいて選択された前記特定の逆マッピング表内を参照することにより、
    前記コードワードにより表されるデータシンボル対を再生することを特徴とする請求項１５に記載の復号化方法。
18. 前記データシンボルの集合が変換係数値を表すことを特徴とする請求項１１乃至１７のいずれか一項に記載の復号化方法。
19. 前に復号化した非ゼロ値データシンボルの値を使用して、非ゼロ値データシンボルを表すコードワードを含むコードブックの集合の中から、現在のコードワードを復号化するためのコードブックを選択することを特徴とする請求項１１乃至１８のいずれか一項に記載の復号化方法。
20. ビデオデコーダで利用する請求項１１乃至１９のいずれか一項に記載の復号化方法。
21. ゼロ値データシンボルと非ゼロ値データシンボルとを含むデータシンボルの集合を符号化するエンコーダであって、
    マッピング処理を行うことにより、非ゼロ値データシンボルと、これに付随させて、先行または後続するゼロ値データシンボルの個数と、を組み合わせたデータシンボル対を表すコードワードを割り当てる手段であって、前記マッピング処理を、前記データシンボルの集合内のゼロ値データシンボルの最大可能個数に少なくとも部分的に基づいて適合させるように構成される、コードワードを割り当てる手段と、
    前記データシンボル対をコードワードへ割り当てる際に、ゼロ値データシンボルの前記最大可能個数から、前記先行または後続するゼロ値データシンボルの個数を減じて、ゼロ値データシンボルの更新済み最大可能個数を生成することにより、前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数を更新する手段と、を備え、
    前記データシンボル対を表すコードワードを割り当てる手段は、データシンボル対に次のコードワードを割り当てる際に、ゼロ値データシンボルの前記更新済み最大可能個数に 少なくとも部分的に基づいて、前記マッピング処理を適合させるように構成されることを特徴とするエンコーダ。
22. 前記データシンボルの集合内の全てのデータシンボル対にコードワードが割り当てられるまで、符号化を続けるように構成されることを特徴とする請求項２１に記載のエンコーダ。
23. 前記データシンボルの集合内のデータシンボルの全個数から、前記データシンボルの集合内の非ゼロ値データシンボルの個数を減じることにより、前記データシンボルの集合内のゼロ値データシンボルの最大可能個数を決定するように構成されることを特徴とする請求項２１または２２に記載のエンコーダ。
24. 前記データシンボルの集合内の非ゼロ値データシンボルの個数の指示を対応する復号化装置へ送信するように構成されることを特徴とする請求項２１、２２または２３に記載のエンコーダ。
25. 前記データシンボル対を表すコードワードを割り当てる手段が、前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数に少なくとも部分的に基づいて、マッピング表の集合から特定のマッピング表を選択することにより前記マッピング処理を行うように構成され、
    前記マッピング表の集合内の各々のマッピング表が、コードワードへのデータシンボルの割当てを規定する、
    ことを特徴とする請求項２１乃至２４のいずれか一項に記載のエンコーダ。
26. 前記マッピング表の各々が、前記データシンボル対へのコードワードの割り当てを規定することを特徴とする請求項２５に記載のエンコーダ。
27. 前記マッピング表の各々が、前記データシンボル対のコード番号への割り当てを規定し、
    各コード番号がコードワードの集合中におけるあるコードワードを代表し、
    前記データシンボル対を表すコードワードを割り当てる手段が、このコード番号を使用してコードワードの集合内を参照するように構成される、ことにより、
    前記データシンボル対のコードワードへの割り当てが規定されることを特徴とする請求項２５に記載のエンコーダ。
28. 前記データシンボルの集合が変換係数値を表すことを特徴とする請求項２１乃至２７のいずれか一項に記載のエンコーダ。
29. 前に符号化した非ゼロ値データシンボルの値を使用して、コードワードを含むコードブックの集合の中からコードブックを割り当て、現在の非ゼロ値データシンボルを符号化することを特徴とする請求項２１乃至２８のいずれか一項に記載のエンコーダ。
30. 請求項２１乃至２９のいずれか一項に記載のエンコーダを備えるビデオエンコーダ。
31. ゼロ値データシンボルと非ゼロ値データシンボルとを含むデータシンボルの集合を表すコードワードの集合を復号化するデコーダであって、
    非ゼロ値データシンボルと、これに付随させて、先行または後続するゼロ値データシンボルの個数と、を組み合わせたデータシンボル対を表すコードワードを受信する手段と、
    コードワードを復号化する手段であって、逆マッピング処理を行うことにより、受信した前記コードワードを復号化してデータシンボル対を再生するとともに、前記逆マッピング処理を、前記データシンボルの集合内のゼロ値データシンボルの最大可能個数に少なくとも部分的に基づいて適合させるように構成される手段と、
    受信したコードワードを復号化してこのコードワードにより表されるデータシンボル対を再生する際に、ゼロ値データシンボルの前記最大可能個数から、前記先行または後続するゼロ値データシンボルの個数を減じて、ゼロ値データシンボルの更新済み最大可能個数を生成することにより、前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数を更新する手段と、を備え、
    前記コードワードを復号化する手段は、次のコードワードを復号化してこれにより表さ れるデータシンボル対を再生する際に、ゼロ値データシンボルの前記更新済み最大可能個数に少なくとも部分的に基づいて、逆マッピング処理を適合させるように構成されることを特徴とするデコーダ。
32. 前記データシンボルの集合内の非ゼロ値データシンボルの個数の指示を、受信するように構成される特徴とする請求項３１に記載のデコーダ。
33. 前記データシンボルの集合内のデータシンボルの全個数から、前記データシンボルの集合内の前記非ゼロ値データシンボルの個数を減じることにより、前記データシンボルの集合内の前記ゼロ値データシンボルの最大可能個数を決定するように構成されることを特徴とする請求項３１または３２に記載のデコーダ。
34. 前記データシンボルの集合内の非ゼロ値データシンボルの個数の前記指示を、対応する符号化装置から受信する手段を備えることを特徴とする請求項３２または３３に記載のデコーダ。
35. 前記コードワードを復号化する手段が、前記データシンボルの集合内のゼロ値データシンボルの前記最大可能個数に少なくとも部分的に基づいて、逆マッピング表の集合から特定の逆マッピング表を選択することにより前記逆マッピング処理を行うように構成され、
    前記逆マッピング表の集合内の各々の逆マッピング表が、データシンボルへのコードワードの割当てを規定する、
    ことを特徴とする請求項３１乃至３４のいずれか一項に記載のデコーダ。
36. 前記逆マッピング表の各々が、データシンボル対へのコードワードの割当てを規定することを特徴とする請求項３５に記載のデコーダ。
37. 前記コードワードを復号化する手段が、受信したコードワードを復号化してコード番号を再生し、このコード番号を利用して、前記データシンボルの集合内のゼロ値データシンボルの最大可能個数に少なくとも部分的に基づいて選択された前記特定の逆マッピング表内を参照するように構成される、ことにより、
    前記コードワードにより表されるデータシンボル対を再生することを特徴とする請求項３５に記載のデコーダ。
38. 前記データシンボルの集合が変換係数値を表すことを特徴とする請求項３１乃至３７のいずれか一項に記載のデコーダ。
39. 前記コードワードを復号化する手段が、前に復号化した非ゼロ値データシンボルの値を使用して、非ゼロ値データシンボルを表すコードワードを含むコードブックの集合の中から、現在のコードワードを復号化するためのコードブックを選択するように構成されることを特徴とする請求項３１乃至３８のいずれか一項に記載のデコーダ。
40. 請求項３１乃至３９のいずれか一項に記載のデコーダを備えるビデオデコーダ。
41. 請求項３０に記載のビデオエンコーダを備えるマルチメディア端末装置。
42. 請求項４０に記載のビデオデコーダを備えるマルチメディア端末装置。
43. 無線通信ネットワークと接続する無線リンクを形成する手段を備えることを特徴とする請求項４１または４２に記載のマルチメディア端末装置。

Images