JP5345797B2 - ビデオ信号の変換方法及び装置 - Google Patents

Description

本発明は、ビデオ信号の変換方法及び変換装置の技術分野に関する。

本発明の実施の態様は、圧縮されたビデオストリームの動的なビットレート削減に係る。このような圧縮ビデオストリームのビットレートを削減する処理は、トランスレートと称され、該トランスレート処理を実施する装置は、トランスレータと称される。このようなトランスレート処理、或いは該トランスレート処理を実施するトランスレータは、一般的なトランスコード、或いは該トランスコード処理を実施する装置であるトランスコーダの技術における一領域に関する。ここに、ビデオのトランスコードとは、圧縮されたビデオデータを、他の圧縮された有効なビデオデータへと変換する処理を示す。本発明の具体的な実施形態は、ビットレートの削減が要求される、例えば、ビデオレコーダ、サーバ、ネットワークビデオサーバ、或いはネットワークビデオクライアントなどのような様々な用途で用いることが可能である。

デジタルビデオ圧縮技術によって、以前は必要な情報を伝達するためのデータファイルが膨大な量であることから非実用的とされていた大容量ビデオデータの保存や、ストリーミング或いは転送が可能となった。中でも、ＭＰＥＧ形式、特にＭＰＥＧ２形式が、ＤＶＤプレーヤー、衛星波及び地上波セットトップボックス、ネットワークビデオサーバ並びにネットワークビデオレシーバなどの装置において広く用いられている。

デジタルビデオは、連続的な再生によって動きの表現が可能となる個々の静止画像或いは「フレーム」より構成される。上述したビデオ圧縮形式は、夫々個々に特有の特性を有しているものの、他方で、各形式に共通する一般的な特徴というものも存在する。このような一般的な特徴の一例として、他のフレームから独立してコード化されるイントラフレームの使用が挙げられる。ＭＰＥＧ形式に係る技術用語においては、このようなイントラフレームは、「Ｉフレーム」と称される。Iフレームは、エンコード、デコード、及び再生の最中において、他のフレームとの比較点としての役割を有するキーフレーム、或いはリファレンスビデオフレームとしてのように見做される向きもある。

他の一般的な特徴として、他のフレームを参照してコード化されるインターフレームの使用がある。他方で、インターフレームは、その参照先であるリファレンスフレームがデコードされている状態において、デコードが可能であるフレームである。また、インターフレームには、ＭＰＥＧ形式に係る用語において、「Ｐフレーム」及び「Ｂフレーム」の２通りの形式が存在する。Ｐフレームは、参照インターフレーム、Ｂフレームは、非参照インターフレームと称されることもある。

上述の通り、本発明に係るトランスレートとは、トランスコードなどのより広いビデオストリーム処理における一領域である。また、本発明に係るトランスコードとは、新しく有効な形式でデジタル圧縮されたビデオストリームを生成するために、デジタル圧縮ビデオストリームの特性を変化させることを意味するために使用されている。トランスレートとは、ビットレートの変更（典型的には、ビットレートの低減）のみを目的として実施されるトランスコード処理であり、特に、帯域制限のあるネットワーク環境において極めて重要な技術である。

動的なビットレート適合メカニズムを有するトランスレータは、特に、可変ビットレート（ＶＢＲ）でエンコードされたビデオデータを、固定ビットレート（ＣＢＲ）においてストリーミングする際に重要な技術である。ＶＢＲビデオのビットレートが連続的に変動する場合、迅速なビットレートの適合が好適なＣＢＲ出力信号を生成するために要求される。従って、瞬間的な出力ビットレート及び入力ビットレートの比率は、トランスミッションチャンネルにおけるビットレートよりも常に低いビットレートを有するほぼＣＢＲであるビデオ出力信号を生成するために、動的に変動される必要がある。

また、トランスレートに関して、以下に示す４つの要素について考察する必要がある。それらは、演算の複雑性、出力信号への要求品質、出力信号への要求ビットレート及び適合速度である。つまり、最速の適合速度を有する最低のビットレート及び最も簡易なシステムを用いる、最高品質のビデオ出力を提供し得る方法或いは装置の実現が追求されている。相異なるトランスレート技術が、発展し、実施されてきた。これらの公知のシステムにおける構成及び性能は、相異なるものである。これらの公知のシステムは、適合速度を代償にして品質を優先しており、時間的な制限の無い環境での用途に適している。他の例では、トランスレータの構成は、リアルタイムでの処理用途に有用となるように、品質を代償にして適合速度及び簡易な構成を優先させている。

このような用途及び操作上の環境によって、現在使用されているトランスレータの構成には多くの種類が存在する。このようなトランスレータにおける構成及び方法に係る例として、図１から図７の夫々に示されるものがある。先ず、図１は、直列に接続されたデコーダ及びエンコーダを備える簡易なトランスレータを示す概要図である。この構成を用いることで、デジタルビデオストリームはフレームへとデコードされ、そして異なるエンコードパラメータを用いて再びエンコードされ得る。デコーダ部とエンコーダ部とが互いに分離していることから、これは非常に柔軟性のあるトランスレータ構成である。しかしながら、この柔軟性の代償は、高い計算量、比較的低い速度、及び多くの待ち時間である。
その上、このような高い代償にも関わらず、該構成は、本質的に損失の多い２つの工程（すなわち、デコード及びエンコード）が連続するため、必ずしも最高の出力を保証するものではない。従って、この構造は多くの用途において非実用的である。
図２は、Ｂフレームのみをトランスコードする例を示している。Ｉフレーム及びＰフレームは、システム中を直接通る。図２の装置で使用されるトランスコードシステムは、より詳細に図３に示される。図３に示される通り、該トランスコードシステムは、可変長デコード、逆量子化、逆変換、量子化、変換及び可変長エンコードの一連の流れを必要をとすることから、複雑である。従って、その複雑性は顕著である。このような構成は一定の効果を有するものの、Ｂフレームのみをトランスレートし、ＩフレームとＰフレームに対して処理を行わない構成では、多くのデジタルビデオにおいて求められる充分なビットレートの削減は実現することは出来ない。更に、Bフレームに実行される一連の複雑なステップは、その処理が遅いことを意味し、また、損失性の高い逆量子化処理は、出力信号の品質に顕著な劣化をもたらしかねない。

図４及び図５は、米国特許第６，７６３，０７０号明細書において説明される装置及び方法のフローチャートを示す。ここに示されるシステムは、削除指標値（cut-off index）が決定され且つ該削除指標を上回る変換係数を削除するトランスレート方法に関連する。また、削除指標値は、入力ビットレートより得られるレート制御情報、要求出力ビットレート及び前回処理されたマクロブロックにより決定される。

最後に、先行技術である米国特許第６，９３７，７７０号明細書には、ＭＰＥＧ形式でコード化されるビデオのビットレート削減を行う適合ビットレート制御のためのシステム及び装置が開示されている。該システムは、入力ストリームの平均フレームサイズ（すなわち、ビットの数）と、出力ストリームの要求フレームサイズとの倍率を用いる。該倍率は、要求レートでの出力ストリームにおける夫々のマクロブロックに使用されるビットの数を計数するために用いられる。また、該倍率は、必要なレートでの出力を生成するために動的に変更され得る。その簡易な構造と、速い適合性にも関わらず、該手法は、フレーム内の動きが多い領域における、歪み、重度のブロッキングやドリフトなどの不可逆圧縮による副作用の問題を引き起こす。

本発明に係る第一の要素によれば、、複数のピクセルからなる複数のブロックを夫々が含む複数のビデオのフレームを示す入力ビットストリームであり、且つ前記複数のピクセルからなるブロックの夫々に対応するデータのブロックを有する入力ビットストリームを含むビデオ信号をトランスレートする方法であって、前記ビデオ信号のフレームのビットストリームに対して、フレームの形式を識別する識別工程と、特定の形式を有する前記フレームに対して、前記フレーム内の複数の前記ブロックに関する設定可能なデータの部位を無視することで、前記フレーム内の局所的な動きを考察する制御工程とを備えることを特徴とする方法が提供される。

より好ましくは、フレーム内の全てのブロックに関する所定のデータ部位が無視される。より好ましくは、全てのブロックに関する所定のデータ部位は同一である。

より好ましくは、入力ビットストリームは、例えば、ＭＰＥＧ形式のうちの一形式などで予め圧縮されたビデオ信号などのビデオ信号のフレームの変換係数を代表し、そして、無視されるデータは、フレーム内の全てのブロックにおける非ゼロの変換係数の一部位である。

画像のブロック中の局所的な動きは、該ブロックにおいてコード化される非ゼロの変換係数の数に依存する。従って、ブロックごとの変換係数の数を考察することで、トランスレート処理において、局所的な動きは、考察されるとともに解釈される。このことは、トランスレートされたビデオ信号におけるフレーム内のマクロブロック夫々において割り当てられるビットサイズ或いはビット数を決定する際に考察される要素が、入力ビットレート及び要求出力ビットレートのみである公知のトランスレート処理とは対照的である。特定の数のものとは異なり、所定の変換係数の部位（より好ましくは、フレーム内の全てのブロックにおいて実質的に等しい）を使用することは、ブロック中の動きが説明されること、及び動きがあるブロックが顕著な画像の劣化を受けないことを保証する。

更に、該方法は、参照インターフレームであるＰフレームのトランスレート処理をも可能とする。このような方法を用いなければ、Ｐフレームのトランスレート処理は、特に、動きの多い場面におけるドリフトの影響やブロックノイズ（blockiness）を増加させる可能性がある。本発明に係る方法では、入力ビットストリーム中のＩフレームを完全なままで保持した上で、それらを直接出力ビットストリームへとコピーすることから、動きベクトル及びその他のパラメータ類が出力ビットストリームへと直接コピーされるため、上述の影響は抑制される。Ｉフレーム内のいかなるデータ喪失であっても、動的に関連するＰインターフレーム及びＢインターフレームへと伝播されることとなる。そして、出力ビットストリーム中のオリジナルのＩフレームを用いることで、ドリフト効果は顕著に軽減されることとなる。

本発明においては、フレーム内の全てのブロックに関する設定可能な所定の部位のデータが切り捨てられることで、トランスレート処理において局所的な動きが考察されるため、トランスレートされたビデオストリーム内で歪みが見え難くなるよう、また、フレーム内の画像中の動きの多い領域において、重度のブロッキングやドラフト等のアーティファクトが抑制されるよう、画像の劣化が均等に分配される。ここに、ブロックとは、フレーム内のピクセルの小区域を示す趣旨である。ＭＰＥＧ２圧縮に係る例では、典型的には、ブロックは８×８のピクセルの集合である。

本発明の特定の実施の態様は、複数のピクセルからなる複数のブロックを夫々が含む複数のビデオのフレームを示す一連の非ゼロの変換係数に対応する変換係数のブロックを含むビデオ信号をトランスレートする方法であって、前記ビデオ信号のフレームのビットストリームに対して、フレームの形式を識別する識別工程と、前記フレームの形式に基づき、所定の形式を有する前記フレーム内の全ての前記ブロックについて、設定可能な変換係数の所定の部位を切り捨てるトランスレート処理を実施することで、出力ビットストリームを生成する生成工程とを備えることを特徴とする方法を提供する。

より好ましくは、該方法は、フレームがＩフレーム、Ｐフレーム或いはＢフレームのいずれであるかを識別して、それがIフレームとして識別される場合には、該フレームに対してトランスレート処理を実行しない。

より好ましくは、出力ビットストリーム中のフレーム内の各ブロックにおいて定義された位置に対し、ＥＯＢ（End of Block）コードが挿入されることで、所定の変換係数が除去される。

より好ましくは、前記出力ビットストリームは、Ｉフレーム内のブロックからの全ての非ゼロの変換係数と、Ｐフレーム及びＢフレームより保持されるブロックの変換係数とを備えて生成される。

本発明に係る第二の要素によれば、複数のピクセルからなる複数のブロックを夫々が含む複数のビデオのフレームの一連の変換係数に対応するビットストリームを含むビデオ信号をトランスレートする装置であって、デジタルビットストリームの形式で前記エンコードされたビデオ信号を受信する受信器と、フレームの受信時にフレームの形式を識別するように構成される読取器と、前記フレームの形式に基づき、該フレームへの処理の態様を変更可能であって、特定の形式を有する前記フレームに対して、該フレーム内の複数のブロックに関する設定可能なデータの部位を無視することで、出力ビットストリームを生成する生成工程とを備えることを特徴とする装置が提供される。

本発明に係る他の態様によれば、複数のピクセルからなる複数のブロックを夫々が含む複数のビデオのフレームを示す入力ビットストリームであり、且つ前記複数のピクセルからなるブロックの夫々に対応するデータのブロックを有する入力ビットストリームを含むビデオ信号を変換する方法であって、前記ビデオ信号のフレームのビットストリームに対して、フレームの形式を識別する識別工程と、特定の形式を有する前記フレームに対して、該フレーム内の複数のブロック、或いは夫々のブロックに関する、該ブロックを示すために必要な実際のデータ量にかかわらず、実質的に等しいデータの部位を無視することで、前記フレーム内の局所的な動きを考察する制御工程とを備えることを特徴とする方法が提供される。

以下、付随の図面を参照して、本発明の実施形態の実施例について説明する。

図１から図７は、公知のトランスレータの構成を示す概略図である。

図８は、実施例に係るトランスレータの概略図を示す。

図９は、適合型ブロック符号化（block adaptive truncation）の概略図である。

図１０は、変換方法の実施形態に使用されるパラメータＭとパラメータＮとの間の考えられ得る関係の例である。

ここに、トランスコーダの一例である、トランスレータについて説明する。

図８のトランスレータは、ビデオデータの入力ビットストリームＸを受け、ビデオデータのトランスレートされた出力ビットストリームＹを生成するよう構成される。トランスレータ２は、入力された各フレームにおけるヘッダを復号化するように構成されるヘッダデコーダ４を備える。ブロック係数カウンタ６は、望ましくはインターフレームのみのストリームの各ブロックにおける非ゼロの変換係数の数Ｎを算出出来るように構成される。尚、当然のことながら、入力ビットストリームＸにおけるデータの各ブロックは、入力されるビデオ信号における、例えば８×８或いは４×４などのピクセルからなるブロックに対応する。ここに、非ゼロの変換係数の数Ｎは、特定の形式のフレーム、より好適にはインターフレーム（Ｐフレーム及びＢフレームの双方）に対してのみ決定されることが望ましい。

トランスレータは、処理されるフレーム内の複数のブロック（より好ましくは全てのブロック）についての非ゼロの変換係数のうち設定可能な特定の部位のを切り捨てるよう構成されている。ブロック内の局所的な動きは、該ブロックにおける非ゼロの変換係数の数Ｎに関連している。従って、画像の劣化の分布はフレーム内の全てのブロックにおいて生じ、動作シーケンスの一部を構成するブロックに集中するということがないため、局所的な動きも考察されることとなる。正確にブロックを表すために実際に必要な数にかかわらず、固定数の係数（数式に基づく特定の部位、又は数式に基づいて算出される値とは対象的に）がブロック毎に使用される場合、多数のブロックの係数への効果が不均衡に大きくなることが考えられる。局所的な動きのブロックは、比較的多くの変換係数を有しているため、このような影響はそのようなブロックの周囲における画像の劣化に集中することが考えられる。より好ましくは、フレーム内の任意のブロックにおいて同一の部位の変換係数が切り捨てられる。

後に詳述するように、これは、各ブロックにおけるＮの関数である整数Ｍが決定され、Ｎ−Ｍ個の非ゼロの係数が切り捨てられる一方で、最初のＭ個の非ゼロの係数が保持されることで実行されることが好ましい。

初期ＥＯＢ位置検出器８は、典型的には、入力ビットストリームＸ内の係数ブロック間に定められるＥＯＢコードの位置を検出可能な態様で備えられる。

スイッチ１０は、閉じた場合に、入力ビットストリームＸから出力ビットストリームＹへと直接的にビットをコピーすることが可能な態様で設けられる。具体的には、スイッチ１０が開かれている場合、入力ビットストリームＸから出力ビットストリームＹへの直接的なビットのコピーは停止することになる。このとき、ビットのストリームはストリームコピー制御部１２を介して供給される。より具体的には、ストリームコピー制御部１２は、スイッチ１０に対し、「開く」「閉じる」、或いは「開始」及び「停止」信号を送信可能な態様で設けられる。

ヘッダデコーダ４は、可変長復号処理（ＶＬＤ）を実施出来るよう、ブロックからのヘッダの復号に用いられる。ＥＯＢ位置検出部８は、入力ビットストリームＸ中の初期ＥＯＢコードのビット位置を検出し、該ビット位置をストリームコピー制御部１２へと送信する。上述したように、ブロック係数カウンタ６は、ブロック内の非ゼロの変換係数の数Ｎを算出するように設けられ、また、算出された数Ｎをストリームコピー制御部１２へと送信する。

フィードバック信号１４は、出力ビットストリームＹよりストリームコピー制御部１２へと入力される。加えて、要求ビットレート信号１６もまたストリームコピー制御部１２へと入力される。従って、ストリームコピー制御部１２は、フレーム内の夫々のブロックにおける非ゼロの変換係数の数Ｎ、画像又はフレーム形式（つまり、Ｉ、Ｐ又はＢ）、ストリームの各種パラメータ、要求ビットレート信号、実際の出力ビットレートおよび入力ビットストリームＸ内の初期ＥＯＢコードの位置などの各種の入力を受ける。

尚、実施にあたっては、インターフレーム（例えば、Ｐフレーム或いはＢフレーム）が存在しない場合、ストリームコピー制御部１２は、入力ビットストリームＸ中の全てのビットを出力ビットストリームＹへとコピーするように、スイッチ１０に対して信号を出力するよう構成されていることが好ましい。コピーは、バイト単位或いはワード単位ではなく、ビット単位で行われる。加えて、動作情報と共に、開始コード及びインターフレームにおけるヘッダ情報も、スイッチ１０によって全て出力ビットストリームＹへとコピーされる。

上述の入力を受けて、ストリームコピー制御部１２は、出力ビットストリームＹへとＥＯＢコードを挿入する場所と時期を決定する。このとき、ＥＯＢコードの挿入のために、スイッチ１０を停止する（すなわち、事実上は開く）必要があり、その後、要求されたＥＯＢコードが出力ビットストリームＹへと挿入される。入力ビットストリームＸから出力ビットストリームＹへのビットコピーは、ＥＯＢ位置検出部８によって入力ストリーム中の初期ＥＯＢコードが検出されるまでは、行われなくなる。ＥＯＢ位置検出部８によって初期ＥＯＢコードが検出されると、ストリームコピー制御部１２は、次のＥＯＢコードの挿入が実施されるまでビットコピー処理を再開させるように、スイッチ１０に対して信号を送信する。このような処理は、フレーム内の全てのブロックが処理されるまで継続される。

従って、本実施形態によれば、入力ビデオストリームを再量子化するべきときに要求される再量子化処理を要することなく、或いは可変長復号処理、逆量子化、逆変換、量子化、変換及び可変長符号化などの処理をも要しない。よって、コンピュータ的には又は計算的には処理は簡単である。

このように、図８に記載される装置は、構文解析命令中の変換係数を切り捨てるオープンループ構成を用いるとともに、比較的低いビットレートのビデオストリームを生成することによって、処理の複雑と、質と、オープンループ構成の導入による適合速度との間での好適な折衷を実現する。

更に、図８に示す実施例は、ブロックごとの局所的な動きを考察し、例えば、８×８ピクセルのブロックなどのフレーム内の全てのブロックに対して画像の劣化を均一に分布させる迅速且つ複雑性の低いトランスフォームドメイントランスレータを提供する。要求ビットレート入力とともに、出力ビットストリームＹからのフィードバック信号の利用により、可及的高速且つ、簡易な動的ビットレート適合が可能となる。

該装置は、局所的な動きを考察すると共に、特定のフレーム内の全てのブロックへ画像の劣化を均等に分布させることで、フレーム内の比較的動きが多い部位において、画像の歪みを視認し難くすると共に、重いブロッキングやドリフトなどのアーティファクトの抑制を行う。コンバージョンレートは、局所的な動きを踏まえながら、瞬間的な要求ビットレートに応じて動的に変化することが出来る。

本発明における装置及び方法によれば、所定の周波数レベル以上の変換係数が、エンコードに際して多数のビットを必要とする一方で、画質のためには少数のビットしか必要としないという性質が用いられる。これは、特に、動き補償後の、典型的には差分ブロックのみがエンコードされるインターフレームにおいて見られる。動き補償に起因する差分ブロックは、一般的に、イントラフレーム内の絶対ブロック及びフレーム内のブロックに比してその相関関係は低い。低い相関関係は、変換係数、特に高周波数の変換係数の全体的な重要性を低減させる。従って、これらのビット消費の係数の削除は、出力画像の画質において顕著な悪影響を与えることなく、他方で、ビデオストリームにおける実質的なビットレートの低減を実現する。

故に、フレーム形式に応じて、すなわち、特定のフレームであって、典型的にはＰフレーム及びＢフレームに対して、適合型ブロックの切捨てが適用される。これは、対応する出力ビットストリーム中における該出力ビットストリームが入力ビットストリームの完全なコピーである場合に現れるであろう位置の前に、ＥＯＢコードが挿入されることによって実施される。

上述の如く、ストリームコピー制御部１２は、（Ｎ個の中から）最初のＭ個の非ゼロの変換係数を表す数Ｍを生成することによって、変換係数の適合型ブロック切捨てを実現可能とする。最初のＭ個の非ゼロの変換係数は、ビット単位の順に、新たなＥＯＢコードの挿入前に出力にコピーされたストリームである。Ｍは、Ｎ、画像形式、画像中のブロック位置、画像グループ（ＧＯＰ）中の画像の位置、出力ビットレート及び他のストリームに係るパラメータの何れか又は全てを含むパラメータの関数である。ＭがＮの一部分であり且つ画像形式及び目標ビットレートの関数である場合には、ドリフト効果及びブロッキングなどのアーティファクトが顕著に減少する。ＭとＮとの好適な関係は、以下に詳述するように線形である必要はない。ここで、ＭがＮより大きな値であると決定される場合、ブロック中の全ての変換係数は、一つも切り捨てられることなく保持される。また、算出されるＭが整数でない場合、Ｍの整数値を決定するために丸め処理が実施される。

以上のように、イントラフレームに関しては、全てのデータが入力ビットストリームから出力ストリームへと直接コピーされる。入力ストリームのインターフレーム変換係数以外の全ての情報が出力ビットストリームへとコピーされる。インターフレーム変換係数は、入力ビットストリームにおけるビットレートに比して出力ビットストリームにおけるビットレートがビデオに関して減少するように、出力ビットストリームへと完全に、或いは部分的にコピーされる。

図９は、入力ストリームからのブロックと、図８に示される装置によって出力ストリームの一部として生成される対応ブロックとを示す概略図である。図９に関する例では、離散コサイン変換が最初に入力ビデオストリームを圧縮するのに使用された場合について説明する。このような圧縮は、例えば、ＭＰＥＧ２圧縮に使用されるものである。当然ながら、他の任意の変換によって変換係数を生成しても良く、また、その他の画像圧縮アルゴリズム及びその技術において、その他の空間周波数変換が用いられても良いものである。

入力ストリームからのブロック１８は、量子化された離散的なコサイン係数、及び入力ストリームが示すビデオのフレーム内のピクセルのブロックに対応する、ジグザグスキャンの走査順序から取られたＤＣＴ係数のための合計Ｎ個のランレングスコードから構成される。また、図９に示されるとおり、ビットストリーム内に供給されるＥＯＢコード２０の前には、合計Ｎ個の非ゼロの変換係数が存在する。

出力ストリームからのブロック２０は、Ｍ個の変換係数、及びその後に配置されるＥＯＢコード２４を備えて構成される。ＥＯＢコード２４は、図８に示される装置中のストリームコピー制御部１２によって、出力ビットストリームに挿入される。また、図９に示されるように、Ｃ_１からＣ_ＭまでのＭ個の変換係数は、入力ビットストリームからのブロック１８と、出力ビットストリームＹからのブロック２２とでは同一のものである。従って、入力ビットストリームからの任意のブロックにおける最初のＭ個の非ゼロの変換係数に対しては、処理は不要である。尚、残りの（Ｍ−Ｎ）個の変換係数は、そのまま破棄されることとなる。

出力ビットストリーム中の変換係数Ｃ_１からＣ_Ｍのブロックが、対応する入力ビットストリーム中の変換係数Ｃ_１からＣ_Ｎのブロックを符号化することを鑑みれば、複雑な処理を行うことなく、且つ処理されるビデオ中に顕著な歪みを導入することもなく、局所的な動きをも考察したビットレートの減少が達成される。

また、Ｍの値は、必ずしも必要ではないものの、Ｍの値がＮの値に対して係数αを積算した値となるようにＮの値の所定の比率としてに制限されてもよい、従って、ＭとＮとの関係は、一例として以下の数式８によって表すことが出来る：

ここに、αは０と１との間の数値であって、例えば、画像の符号化形式、出力ビットレート及び要求出力ビットレートなど他のストリームパラメータのいずれか又は全ての関数であってもよい。αは、出力ビットレート及び要求ビットレートの関数として、ブロック毎に応じて変化することから、要求ビットレートに対して出力ビットレートを動的に適合することが可能となる。更に、瞬間的なαの変化は、出力ビットレートを安定化させ、また、出力ビットレートが常に要求ビットレートを下回るようにαを制御することも可能であることから、チャンネル要求帯域に適合する。全てのブロック中に画像の劣化を分布させることによる効果が、αのブロック間の変化によって損なわれることのない様、αの変化範囲を極端に小さくすることも可能である。

Ｂインターフレームに加えて、Ｐリファレンスフレームのトランスレートを許容することによって、フレーム内の変換係数の適合型ブロック切り取りは、低ドリフト且つ低ビットレートのストリームを生成する。図８に示される構成は、量子化、逆量子化、変換、逆変換、動きベクトルサーチ、又は可変長符号化も行なわない。実質的には、ヘッダデコード、非ゼロの変換係数のカウント及びＥＯＢコード挿入をシンプルに実行する、極めて複雑性の低い構成である。実現される出力品質、ビットレートの減少及び速度に対し、要求される計算時間は比較的低い。

上述の如く、ＮとＭとが線形関係にある必要はない。Ｍ＝αＮによって定義される関係は、入力ビットのビットレートと及び出力のビットレートが線形関係であることを保証するものではない。あるブロックに関して、αの値が大きくなれば、より多くのビットが該ブロックにおいて消費されることは明確である。従って、要求出力ビットレートを得るために、最少二乗アルゴリズムを用いることで、αを更新することが可能となる。その一例は、以下の数式９或いは数式１０により表される：

ここに、ｔは更新時間である。

また、ｂ及びｐは、夫々Ｂフレーム及びＰフレームのブロック、マクロブロック、スライス又はフレームレベルにおけるビット消費である。

また、ｂ（α）及びｐ（α）は、αの関数であって、結果的なビット消費である。

また、μ（μ＞０）は、安定した適応アルゴリズムを持つことが可能な程度に小さく、また、システムを目標ビットレートに収束可能な程度に大きくなるよう選択されるステップサイズである。

このようなシステムにおいては、ｂ及びｐはオフラインにおいて、比較的簡単に演算可能である。

本発明は具体的な実施形態に沿って説明しているが、当該実施形態の形態及びその詳細は、本発明の技術的思想或いは発明の範囲から離れない限りにおいて変更されてもよいことは、当業者によって理解されている。例えば、上述の実施の態様は、ファームウェア、ソフトウェア或いはハードウェアを用いることでも実施され得る。更に、本発明の実施形態は、上述の限定に依らず、種々の通信手段を介して実施されるよう構成されていても構わない。例えば、上述の本発明の技術は、電話回線或いはワイヤレスネットワークなどを介する構成においても実施され得る。変換係数のフィルタリングは、広範囲のデータフォーマットにおける一次元或いは二次元の変換係数に対して適用され得る。従って、本発明の技術的範囲とは、請求の範囲に記載される技術的範囲によって決定される。

図１０は、数値ＭとＮとの間で採り得る関係の例を示す。図１０に示されるように、Ｂフレーム及びＰフレームにおいては、数値ＭとＮとの間での関係が異なるように理解されてもよい。例えば、Ｎ≦Ｎ１の領域、すなわち（０，０）から（Ｍ１，Ｎ１）の間の領域においては、（Ｍ，Ｎ）の値は線形関係にある。しかし、ＮがＮ１を上回る領域（すなわち、Ｎ＞Ｎ１）においては、ＭとＮとは線形関係にある。ＮがＮ１を超えると、ＭとＮとは線形関係にあるもののαの値は減少する。この場合のＭとＮとの関係は、以下の数式１１により定義され得る：

更に、Ｎが、Ｎ２及びＮ３を上回る領域（Ｐフレーム及びＢフレームの夫々について）においては、Ｍの値は一定となる。このような図１０に示される例は、ＭとＮとの間の任意の関係を用いても良いということを示しているに過ぎない。

本発明に係る実施形態は、特に図示された例を参照しながら説明された。しかしながら、本発明の範囲内において、上述の実施形態に変化及び変更を加えることは可能である。

公知のトランスレータの構成を示す概略図である。 公知のトランスレータの構成を示す概略図である。 公知のトランスレータの構成を示す概略図である。 公知のトランスレータの構成を示す概略図である。 公知のトランスレータの構成を示す概略図である。 公知のトランスレータの構成を示す概略図である。 公知のトランスレータの構成を示す概略図である。 実施例に係るトランスレータの概略図を示す。 適合型ブロック符号化（block adaptive truncation）の概略図である。 変換方法の実施形態に使用される数値Ｍと数値Ｎとの間で採り得る関係の例である。

Claims (23)

1. 複数のピクセルからなる複数のブロックを夫々が含む複数のビデオのフレームを示す入力ビットストリームであり、且つ前記複数のピクセルからなるブロックの夫々に対応するデータのブロックを有する入力ビットストリームを含むビデオ信号を変換する方法であって、
   前記ビデオ信号のフレームのビットストリームに対して、フレームの形式を識別する識別工程と、
   特定の形式を有する前記フレームに対して、前記フレーム内の複数の前記ブロックの夫々を対象として実質的に等しいある割合のデータを無視する処理を行う制御工程と
   を備え、
   前記入力ビットストリームは、前記ビデオ信号の複数のフレームの非ゼロの変換係数を示し、
   前記無視されるデータは、フレーム内の全ての前記ブロックにおけるある割合の前記非ゼロの変換係数であり、
   前記ある割合の変換係数は、係数αの変動によって規定され、Ｎは受信されたフレーム内の各ブロックにおける前記非ゼロの変換係数の数であり、Ｍは変換された前記ビデオストリームの各ブロックにおける前記非ゼロの変換係数の数であるとすると、Ｍ＝αＮであることを特徴とする方法。
2. 任意のフレーム内の全てのブロックに関するある割合のデータを無視することを特徴とする請求項１に記載の方法。
3. 前記フレームが、Ｉフレーム、Ｐフレーム或いはＢフレームのいずれであるかを識別する識別工程と、
   該フレームがＩフレームとして識別される場合、該フレームに対してトランスレート処理を実行しない工程を備えることを特徴とする請求項１に記載の方法。
4. 前記フレームがＰフレーム或いはＢフレームとして識別される場合、該フレーム内の全ての前記ブロックにおける特定の高い変換係数を取り除くことで該フレームをフィルタリングする工程を備えることを特徴とする請求項３に記載の方法。
5. 出力ビットストリーム中の前記フレーム内の各ブロックにおいて定義された位置に対し、ＥＯＢ（End of Block）コードを挿入することで、前記特定の変換係数を取り除くことを特徴とする請求項４に記載の方法。
6. 前記出力ビットストリーム中のＥＯＢコードが挿入される位置は、トランスレートされた前記ビデオ信号のビットレートを制御するために変更されることを特徴とする請求項５に記載の方法。
7. 係数αは、前記出力ビットストリームの前記ビットレートを動的に制御するために、リアルタイムで変更されることを特徴とする請求項１に記載の方法。
8. 前記出力ビットストリームは、Ｉフレーム内のブロックからの全ての前記係数と、前記Ｐフレーム及び前記Ｂフレームより保持されるブロックの前記係数とを備えて生成されることを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 第1の設定において、前記受信したビットストリームを直接前記出力ビットストリームに切り替え、第２の設定において、前記入力ビットストリームのうちのトランスコードされたビットストリームを前記出力ビットストリームに切り替えるスイッチを提供する工程を備えることを特徴とする請求項１から８のいずれか一項に記載の方法。
10. 前記スイッチは、前記Ｎ、要求出力ビットレート、フレームの形式、前記画像中のブロック位置、画像グループ（ＧＯＰ）中の画像の位置、出力ビットレート及びその他のストリームに係るパラメータのうちの一つ又は複数に基づき、制御されることを特徴とする請求項９に記載の方法。
11. 前記Ｍと前記Ｎは、前記係数αの変動に起因して非線形関係にあることを特徴とする請求項１に記載の方法。
12. 前記係数αの値は、最少二乗法によって、時刻ｔにおける係数α（ｔ）から時刻ｔ＋１における係数α（ｔ＋１）の値へと更新されることを特徴とする請求項１１に記載の方法。
13. 前記Ｍと前記Ｎとの間の関係は、下記の数式１にて規定されることを特徴とする請求項１２に記載の方法。
    ただし、αは下記数式２及び数式３により規定される
    ただし、ｔは、更新時間（update time）を表し、
    ｂ及びｐは、夫々Ｂフレーム或いはＰフレームにおける前記ブロック、マクロブロック、スライス又はフレームレベルにおける目標ビット消費であり、
    ｂ（α）及びｐ（α）は、αの関数であって、結果的なビット消費であり、
    μ（μ＞０）は、安定した適応アルゴリズムを持つことが可能な程度に小さく、目標ビットレートへ収束可能な程度に大きくなるよう選択されるステップサイズである。
14. 前記入力ビットストリームは、エンコードされたＭＰＥＧ２形式のビデオ信号であることを特徴とする請求項１から１３のいずれか一項に記載の方法。
15. 前記入力ビットストリームは、オリジナルの画像ファイルが離散コサイン変換された形式であることを特徴とする請求項１から１４のいずれか一項に記載の方法。
16. 複数のビデオのフレームに対応するビットストリームを含むエンコードされたビデオ信号を、請求項１から１５のいずれか一項に記載の方法に応じて変換する装置であって、
    各フレームは、複数のピクセルからなる複数のブロックから成り、
    デジタルビットストリームの形式で前記エンコードされたビデオ信号を受信する受信器と、
    前記受信器によるフレームの受信時にフレームの形式を識別するように構成される読取器と、
    特定の形式を有する前記フレームに対して、該フレーム内の複数のブロックの夫々を対象としてある割合のデータを無視する処理を行う制御器と
    を備えており、
    前記制御器は、
    受信されるブロック中の変換係数の数を計数し、非ゼロの変換係数の数Ｎを、スイッチを制御するように構成される制御ユニットへと送信する計数器と、
    所望のビットレートを実現するように、前記出力ビットストリーム中のブロックに含まれるべき変換係数の数Ｍを決定するように構成される制御ユニットと
    を備え、
    前記数Ｎは、前記ブロック中における動きに依存し、
    前記Ｍと前記Ｎとの間の関係は、数式４に示される線形関係であることを特徴とする装置。
    
17. 前記制御器は、前記フレーム内の全てのブロックに関する前記ある割合のデータを無視するように構成されることを特徴とする請求項１６に記載の装置。
18. 複数のブロックの終端の前記入力ビットストリーム内のＥＯＢブロックの位置を検出する検出器を備えることを特徴とする請求項１６または１７に記載の装置。
19. 第1の設定において、前記入力ビットストリームを直接前記出力ビットストリームにコピーし、第２の設定において、処理された前記フレームを前記出力ストリームにコピーするように構成される切替器を備えることを特徴とする請求項１６から１８のいずれか一項に記載の装置。
20. 前記制御ユニットは、要求出力ビットレート、実際の出力ビットレート、フレームの形式及び受信されるブロック中の非ゼロの変換係数の数Ｎのうちの一つ又は複数を含む各種パラメータに基づき、前記数Ｍを決定するように構成されることを特徴とする請求項１６に記載の装置。
21. 前記制御ユニットは、前記出力ストリーム中の係数のブロック中における、該ブロックがＭ個の係数のみを含むような位置に、前記出力ビットストリーム中のＥＯＢブロックを挿入するように構成されることを特徴とする請求項２０に記載の装置。
22. 前記Ｍと前記Ｎとの間の関係は、下記の数式５にて規定されることを特徴とする請求項２１に記載の装置。
    ただし、αは下記数式６及び数式７により規定される
    ただし、ｔは、更新時間を表し、
    ｂ及びｐは、夫々Ｂフレーム或いはＰフレームにおける前記ブロック、マクロブロック、スライス或いはフレームレベルにおける目標ビット消費であり、
    ｂ（α）及びｐ（α）は、αの関数であって、結果的なビット消費であり、
    μ（μ＞０）は、安定した適応アルゴリズムを持つことが可能な程度に小さく、目標ビットレートへ収束可能な程度に大きくなるよう選択されるステップサイズである。
23. 請求項１６から２２のいずれか一項に記載のビデオ信号の変換装置を備えるビデオ再生装置。