JP4669190B2 - ビデオ・データの品質を制御するための方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化および復号化を受けなければならないビデオ・データの品質を監視し、復号化の後にビデオ・データの所定の一定品質を維持することを可能にする方法および装置に関する。
【０００２】
【従来の技術】
ある規格、特にＭＰＥＧ２規格によるビデオ圧縮は、「非透過的」な符号化の方法として知られている。具体的には、この方法により、バイナリ要素のストリームの格納条件および／または移送条件に対してそのスループットが調節可能な前記ストリームの形態で、ビデオ・データ・シーケンスを表すことが可能となる。用語「非透過的」とは、使用される符号化アルゴリズムが、データ・シーケンスに適用される劣化のレベルを、ビデオ信号のエントロピー・レベルと、結果として得られるストリームに関する所望のスループットとの関数として適合させることを意味する。適用される劣化は、ＤＣＴ（離散コサイン変換）変換の後のビデオ信号を表す係数の量子化のプロセスの結果である。
【０００３】
一定スループットのバイナリ・ストリームの場合、ＭＰＥＧ２規格による符号化の方法は、その符号化が目標ビット伝送速度に従ってバイナリ・ストリームを生成するように、ＤＣＴ係数の量子化レベルを永続的に調節する。このような手法では、そのエントロピーが経時的に変動するビデオ信号に関する劣化のレベルが変動する傾向がある。したがって、固定スループット符号化により、可変レベルの符号化品質が生成される。
【０００４】
固定帯域幅を有する伝送チャネル上でいくつかのビデオ・シーケンスが一緒に移送されるとき（例えば、サテライト・トランスポンダの場合）、使用可能なスループットを、集中アルゴリズム割振りアルゴリズムを介して符号化方法間で共用することが好ましい。統計的多重化という題目の下で広範に提示されているこの解法により、ビデオ・シーケンスごとに固定スループットを有するモードに分割する場合と比べて、知覚される全劣化を平均で１０〜３０％だけ低減することが可能となる。
【０００５】
より具体的には、統計的多重化は、高エントロピーを示すビデオ・シーケンスに対して大きいスループットを配布することによって、ビデオ・シーケンス間の符号化品質の分散の低減を適用する。
【０００６】
しかし、統計的多重化は、有限数のビデオ・シーケンスのコンテントの統計的特性に基づき、したがって経時的に知覚される符号化品質は、なお変動を示す。例えば、すべてのビデオ・シーケンスが非常に高いエントロピーを同時に示すとき、符号化の品質全体は、平均サービス品質未満となる。逆に、低エントロピーのビデオ・シーケンスが同時に送られたとき、符号化の品質全体は平均符号化品質よりも高くなる。
【０００７】
後者の場合、オパチュニスティック（ｏｐｐｏｒｔｕｎｉｓｔｉｃ）な性質のデータ（そのスループットが保証されないデータ）にとって有利となるように、ビデオ・シーケンスの符号化に割り当てられた合計スループットを低減することが有利となる。次いで、各ビデオ・シーケンスの符号化が、想定されるサービスの品質を得ることが可能となるスループットにそのスループットを制限することによって行われる。
【０００８】
これに関して、国際特許出願第ＷＯ００／１６５５９号は、そのビジュアル品質が所定の品質よりも高くなるデータを生成することは不適切であることを説明している。この出願は、所定の品質レベルと量子化パラメータとの間の線形的対応について述べ、この対応がイメージの複雑さに関係せず、したがって符号化データに関して一定の品質を保証することができないことを述べている。
【０００９】
さらに、この出願は、チャネルを共用するストリームのスループットの和がチャネルの帯域幅未満であるときのオパチュニスティック・データの伝送についても述べている。
【００１０】
しかし、すべてのビデオ・シーケンスに関する品質のレベルを保証しながら、帯域幅を共用する効果的な方法を得るためには、ビデオ・シーケンスのコンテントを考慮に入れることが重要である。これは、ビデオ・シーケンスを符号化するのに必要な情報量がこのシーケンスのエントロピーに依存するからである。エントロピーが高いと、一定の品質を保証するためにそれを符号化するのに必要な情報量が増大し、逆にエントロピーが低いと、情報量が減少する。
【００１１】
【発明が解決しようとする課題】
したがって本発明は、量子化間隔を決定するためにデータの空間的複雑さおよび／または時間領域複雑さを考慮に入れて、復号化の後にビデオ・データの一定品質を保証することを提案する。
【００１２】
【課題を解決するための手段】
この目的のため、本発明は、符号化および復号化を受けなければならないビデオ・データの品質を監視し、復号化の後にビデオ・データの所定の一定品質を維持することを可能にする方法を提案する。本発明によれば、
符号化すべきビデオ・データの複雑さを表す情報が、少なくとも１つのコーダから受信され、
コード化すべき各ビデオ・データ項目について、基準量子化値が、コンテンツのレートを動的に調整するため、プログラムされた目標品質値及び前記複雑さの連続関数として計算され、
コード化すべき各ビデオ・データ項目について、基準量子化値の連続関数として計算される基準スループットが計算され、前記コーダに送られ、復号化の後に前記所定の品質でビデオ・データを得るように、前記コーダが各ビデオ・データ項目を符号化することが可能となる。
【００１３】
本発明の特定の特徴のうちの１つは、ユーザがそれを介して所望の品質のサービスを定義する立場となるパラメトリック品質モデルの定義である。この提案されるパラメトリック・モデルでは、符号化の後に主観的に知覚される品質を認識するための基準が考慮に入れられる。
【００１４】
これは、ＤＣＴ係数の量子化による符号化の方法が、所与のレベルの量子化に対する一定の主観的な品質を与えないという困難を示すからである。より正確には、主観的品質レンディションを等しくするために、コンテントの低リッチネスを特徴とするデータ・シーケンス（例えば、面上の大きな平面）は、高リッチネスを特徴とするコンテント（例えば、フットボール・スタジアムの群衆）よりも低いレベルの量子化を必要とする。
【００１５】
本発明の利点は、符号化すべきビデオ・シーケンスの時空的複雑さのレベルが、想定される平均量子化レベルを調節するための要素としての役割を果たすパラメトリック品質モデルで、前述の特徴を考慮に入れるという点である。
【００１６】
前記ビデオ・データの複雑さは、一方では離散コサイン変換、量子化、および可変長タイプの符号化によって得られる符号化コストの分析を実施することによって測定され、他方では、符号化ビデオ・データを生成するために必要な構文のコストの分析を実施することによって測定されることが好ましい。
【００１７】
特定の一形態によれば、ビデオ・データが、場合によっては空間モードでのイントラ・タイプ・データとして知られるデータ、または時間領域モードでのデータであり、インタ・タイプとして知られるビデオ・データが、場合によっては双方向または予測化データであり、符号化コストの分析が、イントラ・タイプおよびインタ・タイプのビデオ・データの場合に、コンテントの空間的分析を実施することにあり、インタ・タイプの場合には、時間領域分析がその後に続く。
【００１８】
本発明は、具体的にはＭＰＥＧ２タイプのコーダにあてはまる。
【００１９】
特定の一実施形態では、符号化後に帯域幅が固定された伝送チャネル上でビデオ・データが送られるとき、前記コーダの出力で印加されるスループットが、計算される基準スループットと、伝送チャネルのスループットとの間の最小値である。
【００２０】
特定の一実施形態では、符号化すべきビデオ・データの複雑さを表す情報が少なくとも２つのコーダから受信されたとき、様々なコーダによって出力されたデータが、同じ伝送チャネル上で送られることが意図され、チャネルの帯域幅の割合を表す目標ビット伝送速度（Ｄｉ）が各コーダについて計算され、スループットＤｉの和が、チャネルの帯域幅に等しく、
基準スループットの和がチャネルの帯域幅よりも大きいとき、様々なコーダにその基準スループット（Ｄ_ｒｅｆ）未満のその目標ビット伝送速度（Ｄｉ）が割り振られることによって、帯域幅がその様々なコーダ間で共用され、
基準スループットの和がチャネルの帯域幅以下であるとき、その基準スループット（Ｄ_ｒｅｆ）が各コーダに割り振られる。
【００２１】
したがって周知のシステムと比較すると、コーダがその最大品質スループットに達したとき、コーダは、オパチュニスティック・データを挿入するために自由空パケットを生成することによってスループットを解放せず、より多くのスループットを必要とする様々なコーダ間で帯域幅が公平に共用される。
【００２２】
有利には、基準スループットが伝送チャネルのスループット未満であるとき、オパチュニスティック・データとして知られるデータが伝送チャネルに挿入され、これらのオパチュニスティック・データのスループットが、多くとも、伝送チャネルのスループットから基準スループットを引いた差に等しい。
【００２３】
したがって、すべてのコーダが十分なスループットを有するとき、ビデオ・データの間にデータを挿入することが可能となる。
【００２４】
それに対応して、本発明は、符号化および復号化を受けなければならないビデオ・データの品質を監視し、復号化の後にデータの所定の一定品質を維持することを可能にするための装置に関する。本発明によれば、この装置は、
少なくとも１つのコーダから、符号化すべきデータの複雑さを表す情報を受け取るための手段と、
符号化すべき各データ項目について、基準量子化値を、コンテンツのレートを動的に調整するため、プログラムされた目標品質値及び前記複雑さの連続関数として計算するための手段と、
符号化すべき各データ項目について、基準量子化値の連続関数として計算される基準スループットを計算し、前記コーダに送り、復号化の後に前記所定の品質のデータを得るように、前記コーダが各データ項目を符号化することを可能とするための手段とを含む。
【００２５】
本発明は、符号化ビデオ・データおよびオパチュニスティック・データを同じ伝送チャネル上で送るために、少なくとも１つのビデオ・コーダと、請求項８に記載のビデオ・データの品質を監視するための装置と、マルチプレクサと、オパチュニスティック・データとして知られるデータを挿入するための手段とを含む、符号化ビデオ・データのためのシステムにも関する。
【００２６】
添付の図を参照しながら、例示によって示す以下の実施例を読むことにより、本発明をより良く理解し、かつ他の特徴および利点が明らかとなろう。
【００２７】
【発明の実施の形態】
ＭＰＥＧ２規格に従うコーダを参照ながら説明を行う。この説明は、限定的なものではなく、例示的なものとして与えられる好ましい実施形態を構成する。
【００２８】
図１に、本発明による、固定品質かつ可変スループットで符号化するためのアーキテクチャを表す。このアーキテクチャは、スループット・シンセサイザＢ１と、本発明によるパラメトリック品質モデルの適用を可能とするモジュールＣ１と連係する、ＭＰＥＧ２タイプのビデオ・コーダＡ１を含む。
【００２９】
このモジュールＣ１は、コーダＡ１によってフィードバックされる時空情報と、ユーザによってプログラムされた目標品質に基づいて、ＭＰＥＧ２ビデオ・ストリームの生成によるスループットの連続的割振りを等化する。したがって、符号化モジュールＡ１によって符号化された新しいイメージごとに、時空情報が更新され、モジュールＣ１に転送される。次いでモジュールＣ１は、基準品質レベルを維持することが可能となる、新しいスループットの値を計算する。
【００３０】
符号化品質の評価には心理的主観的な基準が関係し、そのことにより実装が複雑となる。符号化のレベルでは、品質は、各イメージの符号化に関して使用される量子化レベルの平均値によって表すことができる。これが均一の値に近づくほど、復号化の後に再現される品質が良好になる。
【００３１】
したがって、第１の解法は、固定量子化値を品質スケールに、線形またはその他の方法で関連付けることにある。この手法は、実装が単純になる利点を提供するが、２つの主な欠点を示す。
【００３２】
１−量子化に関係するアーチファクトの知覚は、ビデオ信号自体の符号化のコンテントによって自然にマスクされることを理解されたい。したがって、同じ量子化レベルに対して、高空間アクティビティ（細部にまでコンテント・リッチ）を示すイメージは、量子化効果をマスクする効果を有し、その場合、わずかなコンテント（細部が少ない）を有するイメージが、容易に知覚可能なアーチファクト（例えばブロック効果）を露呈する。
【００３３】
２−アーチファクトの知覚は、イメージのコンテントがあるイメージから別のイメージまで安定である場合、より敏感となることを理解されたい。したがって、そのコンテントが高速に運動する物体から構成されるイメージは、同じレベルの量子化に関する同じ静的コンテントを有するイメージよりも良好な品質であるように知覚される。
【００３４】
より正確には、図２に、本発明による一定品質符号化方法に到達することを可能とするＭＰＥＧ２ビデオ・コーダＡ１の弁別要素を提示する。
【００３５】
限定はしないが、この説明全体を通して、ビデオ・データがビデオ・イメージであるとして説明する。ビデオ・イメージは、基本１６×８ピクセル・ブロック１０１にセグメント化され、運動推定モジュール１０３および遅延モジュール１０２に対して同時に転送される。遅延モジュール１０２の出力は、微分器モジュール１０４ならびに運動推定モジュール１０３に転送される。運動推定モジュール１０３は、遅延モジュール１０２の上流側に位置するイメージと下流側に位置するイメージの間の基本ブロックの運動を測定する。
【００３６】
運動推定モジュール１０３はその出力で運動ベクトルのフィールドを供給し、それにより、以前に符号化し、イメージ・メモリ１１０内に記憶したイメージに基づいて、微分器１０４の入力で符号化すべきイメージの予測を生成することが可能となる。したがってメモリ１１０のコンテントは、ＭＰＥＧ２ビデオ・ストリームの復号化の方法によってレンダリングされたときの、以前に符号化されたイメージを表す。
【００３７】
空間モードでの符号化の場合（イントラ・イメージ）、符号化すべきイメージの基本ブロックがそのようなものとしてＤＣＴモジュール１０５に送られるようにルータ１１１がオープンされる。次いでモジュール１０５によって出力された係数は、モジュール１１３によって可変長コード（ＶＬＣ）にフォーマットされる前に、量子化モジュール１０６によって量子化される。結果として得られるバイナリ・トレインは、バッファ・メモリ１１４内に格納される。バッファ・メモリ１１４の役割は、スループット・シンセサイザ１１によって課されたスループットの速度でバイナリ・ストリームをスプールアウトすることである。
【００３８】
量子化モジュール１０６の出力は、逆量子化モジュール１０７と、それに続く逆ＤＴＣモジュール１０８にも送られる。この２つのステージは、ＭＰＥＧ２ビデオストリーム・デコーダによって実装されるときに、基本ブロックを再構築する機能を実施し、それによってデコーダによって再構築される間に使用される基準イメージをイメージ・メモリ１１０内に保持する。
【００３９】
遅延モジュール１０２の出力で提示されるイメージが差分モードで符号化されるとき（予測化イメージ）、ルータ１１１はクローズされる。このことは、イメージ・メモリ１１０内に格納されたイメージに対する運動補償によって、符号化すべきイメージと予測化イメージとの差の微分器モジュール１０４による測定を活動化する効果を有する。
【００４０】
次いで、微分器１０４の出力での符号化経路は、イントラ・イメージの場合についてと同じである。一方、イメージ・メモリ１１０内に格納される新しいイメージは、このイメージメモリモジュール１１０の出力と、逆ＯＣＴモジュール１０８による予測誤差出力との間の基本ブロックを加算することによって得られる。この加算は、そのイメージ・メモリ１１０を返す微分器モジュール１０９によって実施される。
【００４１】
ＭＰＥＧ２規格は、運動補償を使用することによってイメージのシーケンスの差分表現を可能とすることに留意されたい。ＭＰＥＧ２規格に従って符号化されたイメージのストリームにおいて、それらの一部は、単純ＤＣＴ変換と、それに続く量子化によって空間モードで表される。運動補償により、１つまたは複数の基準イメージと比較した差によって符号化されたイメージも得られる。
【００４２】
この最初のケースでは、基準イメージは時間的にイメージ・シーケンス中でより初期の瞬間に位置し、したがって予測化イメージと呼ばれる（用語「Ｐイメージ」が得られる）。２番目のケースでは（図１では説明せず）、時間の点での２つの基準イメージ・フレーム、双方向運動補償によって符号化すべきシーケンス中のイメージ（用語「Ｂイメージ」が得られる）。
【００４３】
したがって、そのうちの１つが運動補償されるビデオ・イメージの差の形で、ＰタイプおよびＢタイプ符号化イメージは提示され、それによって、ビデオ・イメージのシーケンス中に含まれる時間領域冗長度を著しく低減することが可能となる。例えば、固定イメージから構成されるビデオ・シーケンスは、タイプＰおよびタイプＢイメージを起動することによって有利に符号化することができる。これは、ビデオ・シーケンスの第１イメージを空間モードで符号化し（Ｉイメージ）、Ｐタイプおよび／またはＢタイプに従って符号化される差分イメージが空コンテントを提示するように他のイメージを符号化することで十分であるからである（基準イメージとの差は、固定イメージの場合ゼロである）。
【００４４】
運動補償および差分符号化の原理は、ＭＰＥＧ２規格による符号化の優れた点を構成する。一方、このタイプの符号化は、符号化から得られるバイナリ・ストリームが経時的に一定のスループットとなる条件を満たさなければならないときに、品質の激しい変動を引き起こす。直感的に、時間と共にコンテントがわずかに変化するイメージのシーケンスにより、低エントロピーの予測化イメージが得られ、したがって符号化後に小さいサイズのイメージが得られることを理解されたい。したがって、符号化スループットが同じ場合、そのシーケンスに対して使用される量子化レベルは、そのコンテントがイメージごとに激しく変化するシーケンスの符号化に対して有することになる量子化レベルよりも小さい。
【００４５】
したがって、ＤＣＴ４０１、量子化モジュール４０２、およびＶＬＣフォーマット・モジュール４０３が、遅延モジュール１０２と並列に加えられる。この３つのモジュールにより、空間モードで各ビデオ・イメージの事前符号化を実施する（イントラ・イメージ）ことが可能となり、この符号化の結果は、スループット調整モジュール４０４に転送される。この調整モジュールは、各イメージの空間的複雑さの尺度を以下の形で確立するようにモジュール４０２の量子化レベルを駆動する。
【００４６】
【数１】

【００４７】
Ｑ_Ｉ ^ｅｂ（ｉ）は、基本ブロックｉに関する、量子化モジュール４０２によって使用される量子化レベルの値である。
【００４８】
Ｃｃｏｅｆ_Ｉ ^ｅｂ（ｉ）は、基本ブロックｉのＤＣＴ係数を符号化するコスト（ＶＬＣフォーマット４０３によって生成されるビット数）である。
【００４９】
Ｎ_ｅｂは、各イメージ中の基本ブロックの数である。
【００５０】
モジュール４０２に適用される量子化レベルの値は、例えば、スループット調整モジュール４０４が受け取るスループットのレベルの関数として決定することができる。その駆動は、図１で説明したパラメトリック・イメージ品質モデルＣ１によって提供されることが好ましい。
【００５１】
尺度（２）と共に、調整モジュール４０４は、ＤＣＴ係数に関係しないＶＬＣモジュール４０３によって出力された情報（イメージ・ヘッダ、基本ブロックを表すためのモードなど）の構文コストを記録する。
【００５２】
Ｃｓｙｎ_Ｉは、空間モードで符号化されたイメージに関するＭＰＥＧ２ストリームの構文要素のコスト（ＶＬＣフォーマット４０３によって生成されたビット数）である。
【００５３】
次いで空間モードでのイメージの符号化に関する合計コスト（イメージに関するＭＰＥＧ２ストリームの空間モードのサイズ）は、以下のように表される。
【００５４】
【数２】

【００５５】
微分器１０４の入力で符号化すべきイメージが空間モードではないとき（例えば、予測化イメージの場合）、スループット調整モジュール４０４は、以下の形の、複雑さの第２尺度（時間領域尺度と呼ぶ）を有する。
【００５６】
【数３】

【００５７】
Ｑ_Ｐ ^ｅｂ（ｉ）は、基本ブロックｉに関する、量子化モジュール１０６によって使用される量子化レベルの値である。
【００５８】
Ｃｃｏｅｆ_Ｐ ^ｅｂ（ｉ）は、基本ブロックｉのＤＣＴ係数の符号化のコスト（ＶＬＣフォーマット１１３によって生成されるビット数）である。
【００５９】
Ｎ_ｅｂは、各イメージ中の基本ブロックの数である。
【００６０】
これらを用いると、前と同様に、
【数４】

【００６１】
最終的に、後者の、双方向モードで符号化されるイメージのケース（図２に明示的に表していないケース）では、
【数５】

となることに留意されたい。
【００６２】
したがって、各符号化イメージを用いて、スループット調整モジュール４０４は、複雑さおよび構文コストに関する利用可能な２組の統計量（Ｘ_Ｉ，Ｃｓｙｎ_Ｉ）および（Ｘ_Ｔ，Ｃｓｙｎ_Ｔ）を有し、それをパラメトリック・イメージ品質モジュール３１に転送する。指標Ｔは、現在のイメージの符号化のタイプに応じて、値Ｉ、Ｐ、またはＢを取る。
【００６３】
次いでパラメトリック・イメージ品質モジュールＣ１は、それが受け取る統計量の関数として、コーダＡ１に印加すべきスループットを計算することを実施する。これを行うために、パラメトリック・イメージ品質モジュールＣ１は、２つの段階に進む。
【００６４】
１−空間モードで符号化されたイメージに適用すべき量子化レベルを表す、「基準」量子化レベルとして知られる量子化レベルを、ユーザによってプログラムされた目標品質値の関数として計算する。
【００６５】
【数６】

ただし、
Ｋ＝０．１
α＝０．５
０．３＜γ＜０．５５
【００６６】
２−符号化の際に、この基準量子化レベルを満たすために印加すべきスループットを計算する。
【００６７】
【数７】

ただし、
Ｆ_{ｉｍａｇｅ}：毎秒符号化すべきイメージの数
Ｎ_Ｐ：ストリーム中の２つのタイプＩのイメージ間のＰイメージの数
Ｎ_Ｂ：ストリーム中の２つのタイプＩのイメージ間のＢイメージの数
Ｋ_Ｐ：１．１
Ｋ_Ｂ：０．６５
【００６８】
Ｋ_ＰおよびＫ_Ｂは、符号化イメージのタイプ間の平均量子化レベルを配分するための規則を決定するために、コーダによって使用される。
Ｑ_Ｉ＝Ｋ_ＰＱ_Ｐ＝Ｋ_ＢＱ_Ｂ （１０）
【００６９】
上式でＱ_Ｉ、Ｑ_Ｐ、およびＱ_Ｂは、それぞれタイプＩ、Ｐ、およびＢのイメージに関する平均量子化レベルである。
【００７０】
パラメトリック品質モジュールの入力でユーザによって選択された目標品質値は、式（７）中の値γに対する影響を有する。０（最小品質）から１００（最大品質）までのスケールで表される品質基準の場合、この関係は以下の形で表される。
【００７１】
【数８】

【００７２】
次いでパラメトリック・イメージ品質モジュールＣ１は、値Ｄ_ｒｅｆをスループット基準値としてコーダＡ１およびスループット・シンセサイザＣ１に送る。図２に示すようにコーダＡ１が値Ｑ_ｒｅｆを量子化モジュール４０２に印加することができるように、値Ｑ_ｒｅｆもコーダに転送することが好ましい。
【００７３】
スループット調整モジュール４０４によって転送される複雑さの値は、新しい符号化イメージごとに更新され、そのコンテントは、ある場合にはそのイメージ（Ｉ、Ｐ、またはＢ）に対して適合された符号化のタイプの関数としてのみ変化することに留意されたい。最近の値Ｘ_Ｉ、Ｘ_Ｐ、およびＸ_Ｂのメモリ記憶に関する機構が、符号化すべき新しい各イメージに式（８）および（９）を適用することを可能にする目的で、パラメトリック・イメージ品質モジュールＣ１によって使用される。
【００７４】
上記の方法は、コーダＡ１がツー・パス符号化機構を利用するケースに対して有利にあてはまることにも留意されたい。このケースでは、時空複雑さ情報が、第２パスの符号化を見越して第１符号化パスを介して得られる。より正確には、次いでイメージ品質モジュールＣ１によって出力された基準スループットの値Ｄ_ｒｅｆが、符号化すべきイメージに実際に関連する時空複雑さに基づいて得られる。単一パスを用いる符号化の場合、これらの時空複雑さは、既に符号化したイメージから生じ、符号化すべきイメージがコンテント中で著しい変化を受けるとき（例えばシーンが変化する場合）、局所的には不適切なスループットの値Ｄ_ｒｅｆとなる。
【００７５】
図３に、本発明によるパラメトリック符号化品質モジュールの使用の形態を示す。
【００７６】
ＭＰＥＧ２ビデオ・コーダＡ１は、図２で説明したように、パラメトリック・イメージ品質モジュールＣ１に符号化統計を送る。次いでモジュールＣ１は、最大スループットの値Ｄ_ｒｅｆに達し、基準値として適用される最大符号化品質レベルに達することを可能とするために、式（８）および（９）を適用する。次いでモジュールＣ１は、この最大スループットと、基準値として受け取った伝送チャネルのスループット値Ｄ_{ｃｈａｎｎｅｌ}との比較を実行する。
【００７７】
その結果、ＭＰＥＧ２ビデオ・コーダＡ１およびスループット合成モジュール１は、モジュールＣ１から以下のスループット値Ｄ_{ｃｏｄｅｒ}を受け取る。
Ｄ_{ｃｏｄｅｒ}＝ｍｉｎ（Ｄ_{ｃｈａｎｎｅｌ}，Ｄ_ｒｅｆ） （１２）
【００７８】
上式で、ｍｉｎ（Ａ，Ｂ）は、大きさＡとＢの間の最小値を計算するための演算子である。
【００７９】
したがって、復号化後のＭＰＥＧ２ビデオ・ストリームの品質レベルは、パラメトリック品質モジュールＣ１に対する基準値としてプログラムされる最大値に束縛されることがわかる。
【００８０】
スループットＤ_ｒｅｆが伝送チャネルＤ_{ｃｈａｎｎｅｌ}のスループット未満であるとき、データ挿入モジュール５３は、伝送チャネル５４上で利用可能な帯域幅の全体を満たすように、伝送チャネルにオパチュニスティック・データをスループットＤ_{ｃｈａｎｎｅｌ}−Ｄ_ｒｅｆで挿入することができる。オパチュニスティック・データの読取りは、データベース５２から行われる。
【００８１】
その結果、図３に示す装置により、符号化品質レベルが基準値に達したときに伝送チャネルの帯域幅の一部がオパチュニスティック・データの伝送のために使用されるようにして、この品質レベルを基準値に制限することが可能となる。
【００８２】
図４に、統計的多重化モードでのマルチプログラム符号化の場合における、本発明によるパラメトリック符号化品質モジュールの使用の形態を示す。この装置の１つの利点は、超過すべきでない最大品質レベルに従うための、最終的多重化を生成する各ＭＰＥＧ２ビデオ・コーダＡ１，Ａ２，．．．，Ａｎについての容量にある。
【００８３】
固定帯域幅を有するチャネル上で伝送するために符号化が意図され、かつ、この帯域幅が十分に広く、いくつかのＭＰＥＧ２ビデオ・ストリームの伝送が同時に可能となるとき、各プログラムのスループットを一緒に、動的に割り振ることにより、プログラムのそれぞれの品質の変動を低減することが可能となる。
【００８４】
この場合、マルチプログラム・ストリームは、多重化モジュール５１によってパケットに時分割多重化された、いくかのＭＰＥＧ２タイプのビデオ・ストリームを含む。この多重化モジュール５１は、経時的にそのスループットが変化する各ＭＰＥＧ２ビデオ・ストリームを受け取る。この動作原理は、各ＭＰＥＧ２ビデオ・コーダＡ１，Ａ２，．．．，Ａｎと、スループット割振りユニット５０との間の、パラメトリック・イメージ品質モデルＤ１，Ｄ２，．．．，Ｄｎを介する情報の交換に基づく。
【００８５】
具体的には、各ＭＰＥＧ２ビデオ・コーダＡ１，Ａ２，．．．Ａｎは、ビデオ・イメージ・シーケンスのコンテントの測定を実施する。各ＭＰＥＧ２ビデオ・コーダＡ１，Ａ２，．．．Ａｎは、符号化の困難を表す大きさの形でこのビデオ・イメージ・シーケンスのコンテントを符号化しなければならない。例えば、この大きさは、そのスループット調整モジュール４０４によって使用される間の平均量子化間隔と、そのバッファ・メモリ１１４の入力で観測される符号化コストとの積の形で表される時空的複雑さの尺度から導出することができる。したがって、コーダのグループ中の指標ｉのコーダからのスループット要求をＲ_ｉで示すことにする。
【００８６】
スループット割振りモジュール５０は、そのパラメトリック・イメージ品質モジュールＤ１，Ｄ２，．．．，Ｄｎを介して多重化モジュール５１に接続されたＭＰＥＧ２ビデオ・コーダから、これらの要求Ｒ_ｉを連続的に集める。次いで、スループット割振りモジュール５０は、各コーダによって戻された要求に比例する、コーダのこのグループに対する目標ビット伝送速度の分布に関する以下の形の規則を適用する。
【００８７】
【数９】

【００８８】
上式で、
Ｄ_ｉ：コーダｉに割り振られたスループット
Ｒ_ｉ：コーダｉによって発行された、スループット割振りモジュール５０に対するスループット要求
Ｄ_{ｃｈａｎｎｅｌ}：伝送チャネル５４上の使用可能スループット
Ｎ：マルチプレクサ５１に接続されたコーダの数
【００８９】
パラメトリック品質モジュールがない場合、式（１）は、多重化モジュール５１に連係した各コーダに対して適用される。したがって、モジュール５０によりコーダＡ１，Ａ２，．．．，Ａｎと、スループット・シンセサイザＢ１，Ｂ２，．．．，Ｂｎのそれぞれに転送されたスループットの和は一定であり、かつ伝送チャネル５４の使用可能スループットに等しい。
【００９０】
スループット割振りモジュールの実装の詳細な例は、会社Ｔｈｏｍｓｏｎ Ｂｒｏａｄｃａｓｔ Ｓｙｓｔｅｍｓの名義で出願された、欧州特許出願ＥＰ１０３７４７３で与えられている。
【００９１】
統計的多重化解法により、符号化ビデオ・シーケンスの数が伝送チャネル５４の帯域幅によって急速に限定されることによる一定品質の目的を決して満たすことなく、イメージのシーケンスの符号化の品質における時間領域変動を著しく低減することが可能となる。次いでビデオ・シーケンスの組の時空的複雑さに関する統計量は、多重化モジュール５１に接続されたコーダの数の関数として、より大きい、またはより小さい変動を示す。
【００９２】
これを行うために、ＭＰＥＧ２ビデオ・コーダＡ１，Ａ２，．．．Ａｎにそれぞれ関連するパラメトリック・イメージ品質モジュールＤ１，Ｄ２，．．．Ｄｎは、２つのレベルでスループット割振りモジュール５０に要求を送る。一方、パラメトリック・イメージ品質モジュールＤ１，Ｄ２，．．．Ｄｎは、スループット要求ＲがコーダＡ１，Ａ２，．．．Ａｎによって発行されたときにそれを転送する。それと一緒に、パラメトリック・イメージ品質モジュールＤ１，Ｄ２，．．．Ｄｎは、式（９）によって示したスループットＤ_ｒｅｆの形であり、かつ符号化品質レベル基準値に従う最大スループットの値を送る。次いでスループット割振りユニット５０は、式（１）に従って多重化を生成するＭＰＥＧ２ビデオ・コーダＡ１，Ａ２，．．．，Ａｎ間に、その関連するパラメトリック・イメージ品質モジュールによって計算される各コーダのスループットを最大値Ｄ_ｒｅｆに制限せずにスループットを配布する。
【００９３】
したがって、ＭＰＥＧ２コーダによって出力された最大スループットＤ_ｒｅｆの和がコーダのグループの目標ビット伝送速度の値未満となるとき、マルチプレクサ（６４）は、伝送チャネル５４の全体を満たすように「空」パケットを送るように設定される。次いでこの「空」パケットは、これらのデータをデータベース５２から読み取るモジュール５３により、オパチュニスティック・データ・パケットで置換される。
【００９４】
したがって図４の装置により、すべてのＭＰＥＧ２ビデオ・コーダが基準品質レベルを達したときにだけ、ＭＰＥＧ２ビデオ・ストリーム伝送チャネル上でオパチュニスティック・データ（経時的にそのスループットが保証されないデータ）を移送することが可能となる。
【００９５】
実際、各ＭＰＥＧ２ビデオ・コーダＡ１，Ａ２，．．．，Ａｎは、そのパラメトリック・イメージ品質モジュールＤ１，Ｄ２，．．．Ｄｎを介してそれに割り振られた目標品質値を有する。この基準値はコーダごとに異なる可能性があり、そのことは、あるコーダがその最大品質エンド・ストップに（したがって最大スループットに）、他のコーダより前に達する可能性が高いことを意味する。本発明によって提案される装置により、マルチプレクサ５１によるブランク・パケットの挿入が可能となるまで、コーダにとって利用可能なチャネルのスループットが優先順位順にその最大符号化品質に達しないようにすることが有利に可能となる。
【００９６】
この文書で提示されている、パラメトリック・モデリングによる符号化品質監視方法の応用の例は、ただ１つの可能な使用例を構成するに過ぎない。図の内容は、説明の構成部分を形成する。
【図面の簡単な説明】
【図１】本発明による、固定品質および可変スループットのコーダのブロック図である。
【図２】本発明による、固定品質および可変スループットのコーダの要素を表す図である。
【図３】本発明による、保証される最大の品質で符号化するためのシステムのブロック図の第１の例である。
【図４】本発明による、最大の品質で符号化するためのシステムの第２のブロック図の例である。

Claims (9)

1. 符号化および復号化を受けなければならないビデオ・データの品質を監視し、復号化の後にビデオ・データの所定の一定品質を維持することを可能にする方法であって、
   符号化すべきビデオ・データの複雑さを表す情報が、少なくとも１つのコーダ（Ａ１，Ａ２，．．．，Ａｎ）から受信され、
   コード化すべき各ビデオ・データ項目について、基準量子化値（Ｑ_ｒｅｆ）が、コンテンツのレートを動的に調整するため、プログラムされた目標品質値及び前記複雑さの連続関数として計算され、
   コード化すべき各ビデオ・データ項目について、基準量子化値（Ｑ_ｒｅｆ ）の連続関数として計算される基準スループット（Ｄ_ｒｅｆ）が計算され、前記コーダに送られ、復号化の後に前記所定の品質でビデオ・データを得るように、前記コーダが各ビデオ・データ項目を符号化することが可能となることを特徴とする方法。
2. 前記ビデオ・データの複雑さが、一方では離散コサイン変換、量子化、および可変長タイプの符号化によって得られる符号化コスト（Ｃｃｏｅｆ_Ｐ ^ｅｂ（ｉ））の分析を実施することによって測定され、他方では、符号化ビデオ・データを生成するために必要な構文のコスト（Ｃｓｙｎ_ｉ）の分析を実施することによって測定されることを特徴とする、請求項１に記載の方法。
3. ビデオ・データが、場合によっては空間モードでのイントラ・タイプ・データとして知られるデータ、または時間領域モードでのデータであり、インタ・タイプ・データとして知られるビデオ・データが、場合によっては双方向または予測化データであり、符号化コストの分析が、イントラ・タイプおよびインタ・タイプのビデオ・データの場合に、コンテントの空間的分析を実施することにあり、インタ・タイプの場合には、時間領域分析がその後に続くことを特徴とする、請求項２に記載の方法。
4. 符号化後に帯域幅が固定された伝送チャネル（５４）上でビデオ・データが送られるとき、前記コーダ（Ａ１，Ａ２，．．．，Ａｎ）の出力に印加されるスループットが、計算される基準スループット（Ｄ_ｒｅｆ）と、伝送チャネルのスループット（Ｄ_{ｃｈａｎｎｅｌ}）との間の最小値であることを特徴とする、請求項１ないし３のいずれか一項に記載の方法。
5. 基準スループット（Ｄ_ｒｅｆ）が伝送チャネル（５４）のスループット（Ｄ_{ｃｈａｎｎｅｌ}）未満であるとき、オパチュニスティック・データとして知られるデータが伝送チャネル（５４）に挿入され、これらのオパチュニスティック・データのスループットが、多くとも、伝送チャネルのスループット（Ｄ_{ｃｈａｎｎｅｌ}）から基準スループット（Ｄ_ｒｅｆ）を引いた差に等しいことを特徴とする、請求項４に記載の方法。
6. 符号化すべきビデオ・データの複雑さを表す情報が少なくとも２つのコーダ（Ａ１，Ａ２，．．．，Ａｎ）から受信されたとき、様々なコーダ（Ａ１，Ａ２，．．．，Ａｎ）によって出力されたデータが、同じ伝送チャネル（５４）上で送られることが意図され、チャネルのスループットの割合を表す目標ビット伝送速度（Ｄｉ）が各コーダについて計算され、スループットＤｉの和が、チャネルのスループット（Ｄ_{ｃｈａｎｎｅｌ}）に等しく、
   基準スループットの和がチャネルのスループットよりも大きいとき、様々なコーダにその基準スループット（Ｄ_ｒｅｆ）未満のその目標ビット伝送速度（Ｄｉ）を割り振ることによって、チャネルのスループット（Ｄ_{ｃｈａｎｎｅｌ}）がその様々なコーダ間で共用され、
   基準スループットの和がチャネルのスループット以下であるとき、その基準スループット（Ｄ_ｒｅｆ）が各コーダに割り振られることを特徴とする、請求項１ないし３のいずれか一項に記載の方法。
7. 基準スループット（Ｄ_ｒｅｆ）の和が伝送チャネル（５４）のスループット（Ｄ_{ｃｈａｎｎｅｌ}）未満であるとき、オパチュニスティック・データとして知られるデータが伝送チャネルに挿入され、これらのオパチュニスティック・データのスループットが、多くとも、伝送チャネル（５４）のスループットから基準スループット（Ｄ_ｒｅｆ）の和を引いた差に等しいことを特徴とする、請求項６に記載の方法。
8. 符号化および復号化を受けなければならないビデオ・データの品質を監視し、復号化の後にデータの所定の一定品質を維持することを可能にするための装置であって、
   少なくとも１つのコーダから、符号化すべきデータの複雑さを表す情報を受け取るための手段と、
   符号化すべき各データ項目について、基準量子化値（Ｑ_ｒｅｆ）を、コンテンツのレートを動的に調整するため、プログラムされた目標品質値及び前記複雑さの連続関数として計算するための手段と、
   符号化すべき各データ項目について、基準量子化値（Ｑ_ｒｅｆ ）の連続関数として計算される基準スループット（Ｄ_ｒｅｆ）を計算し、前記コーダに送り、復号化の後に前記所定の品質のデータを得るように、前記コーダが各データ項目を符号化することを可能とするための手段とを含むことを特徴とする装置。
9. 符号化ビデオ・データのためのシステムであって、符号化ビデオ・データおよびオパチュニスティック・データを同じ伝送チャネル（５４）上で送るために、少なくとも１つのビデオ・コーダ（Ａ１，Ａ２，．．．，Ａｎ）と、請求項８に記載のビデオ・データの品質を監視するための装置と、マルチプレクサ（５１）と、オパチュニスティック・データとして知られるデータを挿入するための手段（５３）とを含むことを特徴とするシステム。

Images