JP4723486B2 - グループオブピクチャへのランダム・アクセスを提供するためのグループオブピクチャの再構造化方法 - Google Patents

Description

本発明はデータ圧縮の分野に関する。詳細には、本発明はコンテンツへのランダム・アクセスを提供するようにコンテンツを圧縮するためのシステム及び装置に関する。

動画像圧縮は、セットトップボックス、ディジタル衛星システム、高精細度テレビジヨン、ディジタル多用途ディスクの再生装置など今日の最も一般的な装置の多くにおいて、及び他の動画像用途において、不可欠な構成要素である。動画像コンテンツを含むファイルは、動画像コンテンツに付随する多くの詳細記述のため、典型的には大きく取扱が困難なファイルである。したがって、動画像コンテンツを管理可能とするために、動画像コンテンツを含むピクチャ・ストリームは管理可能なサイズに圧縮される場合が多い。この処理によって、動画像コンテンツを利用する一般的な技術を効率的に高速で動作させることが可能となり、マイクロプロセッサの性能を保守処理ではなく専らサービス品質に用いることを可能とすることによって、エンドユーザには快適な経験が与えられる。

動画像コンテンツは、典型的には、１つ以上のグループオブピクチャ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）からなる。グループオブピクチャは、各々１つ以上のマクロブロックからなる、ピクチャの集合である、グループオブピクチャのピクチャの各々は、Ｉ（イントラ符号化）ピクチャ、Ｂ（双方向符号化）ピクチャ、又はＰ（予測符号化）ピクチャである。さらに、各々の個別のグループオブピクチャは、最初のＩフレームで始まり次のＩフレームの前のフレームで終わるピクチャの集合で定義される。

図１は、ＭＰＥＧ２規格によるグループオブピクチャを示す単純化したブロック図である。図１にピクチャ１０６，１２４として示したＩピクチャは、イントラ・ピクチャ符号化を利用して圧縮されるピクチャである。イントラ・ピクチャ符号化は、参照ピクチャを全く利用しない圧縮方法である。参照ピクチャは、圧縮目標ピクチャ中の動きを推定するために参照として用いられるピクチャである。Ｉピクチャのこの特性のため、ピクチャ１０２又は１０４など任意の前のピクチャのコンテンツに関わらず、Ｉピクチャ１０６など任意のＩピクチャにおいてグループオブピクチャに容易に直接的にアクセスすることが可能である。したがって、Ｉピクチャのこの特性によって、欠落した過去の参照ピクチャのために動画像コンテンツの復元に不利な影響を受けることなく、Ｉピクチャ１０６又は１２４など任意のＩピクチャにおいてグループオブピクチャへの直接アクセスが可能となる。

他方、Ｂピクチャ及びＰピクチャは、圧縮処理において参照ピクチャを利用する。Ｂピクチャは、ＭＰＥＧのグループオブピクチャのシーケンスのピクチャであり、現在のピクチャと前のピクチャ又は未来のピクチャとの間の差を比較することによって作成される。また、Ｐピクチャは前のピクチャのみを解析し、現在のピクチャにおいてオブジェクトが存在する場所を判定することによって構築される。Ｐピクチャでは、ピクチャの静的部分及び動的部分が位置する場所の予測が可能である。この情報は、続いてＭＰＥＧ−２復号処理において、動き遷移を最適化するために用いられる。

ＭＰＥＧ−２では、動き予測処理を用いることによって、Ｐピクチャは最も近くの先行のＩ又はＰピクチャに関連して符号化される。したがって、ＭＰＥＧ−２では、Ｐピクチャ１１２が参照経路１２６を介してＩピクチャ１０６を参照する場合がある。ＭＰＥＧ−２のＢピクチャは、最も近い過去のＩ又はＰピクチャを参照として用いるとともに、最も近い未来のＩ又はＰピクチャも参照として用いる。したがって、Ｂピクチャ１０８が参照経路１２８を介してＩピクチャ１０６を参照する場合や、参照経路１３０を介してＰフレーム１１２を参照する場合がある。

Ｂピクチャ及びＰピクチャの両方が過去の参照ピクチャを利用する場合にも、ＭＰＥＧ−２によるグループオブピクチャの圧縮では、必ずしもグループオブピクチャへのランダム・アクセスが防止されている訳ではない。ランダム・アクセスは、ランダムな点におけるグループオブピクチャへのアクセスである。ランダム・アクセスは、チャンネル変更及びコマーシャル挿入の用途などの機能をサポートするために必要とされる。任意の所与の点において、１つの未来のピクチャによって参照される可能性を有し得るのは現在のピクチャの過去の１つのピクチャのみであるため、依然としてランダム・アクセスが可能である。したがって、ＭＰＥＧ−２では、Ｉピクチャに関連するＰピクチャの位置は符号化装置には無関係である。

しかしながら、ＭＰＥＧ−４の第１０部、アドヴァンスド動画像符号化（ＡＶＣ）／Ｈ．２６４（これ以降、「ＡＶＣ」と称する）の導入により、Ｐピクチャのための複数の参照ピクチャの利用が具備された。この複数の参照ピクチャの利用によって、グループオブピクチャが圧縮され得る程度は増大するが、グループオブピクチャへのランダム・アクセスを試行する時に問題が生じる。例えば、任意のＩピクチャにおいてランダム・アクセスが試行される場合、Ｉピクチャより前の欠落した参照ピクチャが、アクセス点より後の未来のピクチャのための参照として用いられる可能性があり得る。この欠落した参照ピクチャは、その位置が時間的にアクセス点の過去であるため、未来のピクチャを復号する時に利用不可能な参照ピクチャである。したがって、欠落した参照ピクチャが利用不可能なため、復号装置は未来のピクチャを適切に復号することが不可能である。さらに、損失した参照ピクチャを参照する未来のピクチャも、さらに未来には参照ピクチャとして機能する場合がある。したがって最終的には、参照ピクチャの損失により、不適切に復号されるピクチャの連鎖が作り出されることによって、サービス品質の低下や、視認可能な動画像の損失を生じる。

例えば、ここで図２に示したような例示的なＡＶＣのグループオブピクチャを参照すると、ＡＶＣにおけるＰピクチャは、２つまでの過去の参照ピクチャを利用し得る。Ｐピクチャ２１２における一部のピクセルのグループは、参照経路２２６を介して参照としてＩピクチャ２０６を用いる場合があり、同じＰピクチャ２１２における他のピクセルのグループは、参照経路２２８を介して参照としてＰピクチャ２００を用いる場合がある。Ｉピクチャ２０６においてランダム・アクセスが試行される場合、Ｉピクチャの性質のため、Ｉピクチャ２０６は参照として他のピクチャを全く参照しないので、Ｉピクチャ２０６は適切に復号される。しかしながら、Ｐピクチャ２１２はＰピクチャ２００を参照し、Ｐピクチャ２００はランダム・アクセス点２０６より前の位置にあるために利用可能でないので、Ｐピクチャ２１２は適切に復号されない。さらに、Ｐピクチャ２１２が利用不可能なため、ピクチャ２１４，２１６，２１８など未来のピクチャも不適切に復号される。したがって、復号装置はアクセス点より後のグループオブピクチャ全体を不適切に復号する。

Ｐピクチャ２１２など、アクセス点より前の位置にあるために復号処理中に利用可能でない参照ピクチャを、これ以降「欠落した参照ピクチャ」と称する。復号された動画像コンテンツに対する欠落した参照ピクチャの最終的な影響によって、チャンネル変更、動画像編集、及びコマーシャル挿入の用途など、ランダム・アクセスによってサポートされる機能が妨げられる。さらに、グループオブピクチャが復号されると、サービス品質の低下又は視認可能な動画像の損失が生じる。

したがって、グループオブピクチャへのランダム・アクセスの成功を提供するように、グループオブピクチャを再構造化するための装置及び方法の必要が存在する。グループオブピクチャの符号化効率を保持することによって、結果として得られる動画像コンテンツに対して最小限の歪みしか生じないような、グループオブピクチャへのランダム・アクセスを提供する方法及びシステムの必要も存在する。

本発明は、動画像コンテンツ表現に不利な影響を与えることなく、グループオブピクチャへのランダム・アクセスを提供するように、グループオブピクチャを再構造化するための装置及び方法を提供することによって、上述の問題に対処する。現在のピクチャを符号化する時、現在のピクチャがＩピクチャの場合、現在のピクチャはイントラ符号化を利用して符号化される。現在のピクチャがＩピクチャではなく、且つ未来のピクチャによって参照されない場合、現在のピクチャは制限された数の過去のピクチャを参照として用いて圧縮される。

現在のピクチャがＩピクチャではなく、且つ未来のピクチャが現在のピクチャを参照しない場合、現在のピクチャは圧縮され、最後のＩピクチャより前のピクチャは参照として用いられない。この処理はグループオブピクチャの終りまで継続する。したがって、過去の参照ピクチャの数は、Ｉピクチャに対するそのピクチャの近さ（ｐｒｏｘｉｍｉｔｙ）の関数であり、一部のピクチャのための参照ピクチャの数は、グループオブピクチャへのランダム・アクセスの成功を可能とするように制限される。

以下では、好適な例示的実施形態のみを詳細に説明するが、本発明の範囲、適用性、又は構成を限定する意図ではない。むしろ、以下で好適な例示的実施形態を詳細に説明することにより、当業者には本発明の好適な実施形態の実施が可能となる。添付の特許請求の範囲に述べる本発明の精神及び範囲から逸脱することなく、要素の機能及び配置において種々の変更がなされ得ることが理解される。

図３は、本発明の方法を示す流れ図である。方法３００は工程３０２にて開始し、工程３０４における現在のピクチャの回収へ進行する。方法３００の開始時には、典型的には、現在のピクチャはグループオブピクチャにおいて時間的に最初のピクチャである。しかしながら、方法３００のそれ以降の各繰返しでは、現在のピクチャは、グループオブピクチャにおいて時間的に次のピクチャである。

工程３０６にて、システムは現在のピクチャがＩピクチャか否かを判定する。現在のピクチャがＩピクチャの場合、工程３１２にて、参照ピクチャとして過去のピクチャ又は未来のピクチャを全く利用することなく、その現在のピクチャはイントラ符号化を用いて圧縮される。方法３００は続いて工程３１６へ進行し、現在のピクチャに続いてグループオブピクチャに残りのピクチャが存在するか否かを判定する。存在する場合、方法は工程３０４にて次のピクチャを回収し、方法３００は処理を繰返す。

工程３０６にて、現在のピクチャがＩピクチャではない場合、方法は工程３０８へ進行する。現在のピクチャが未来のピクチャによって参照されない場合、現在のピクチャは過去の参照ピクチャの最大数に関して理論的に制限されることなく圧縮される。物理的には、ＡＶＣによって設定された制限まで、すなわち本発明に従って動作する装置の記憶容量までに、参照ピクチャの数が制限される場合がある。方法３００は続いて工程３１６へ進行し、グループオブピクチャに残りのピクチャが存在するか否かを判定する。存在する場合、方法は工程３０４にて時間的なシーケンスにおいて次のピクチャを回収する。

工程３０８にて、現在のピクチャは未来のピクチャによって参照されていると本発明によって判定される場合、方法３００は工程３１４へ進行する。続いて、最後のＩピクチャより前のピクチャは参照として用いられないという制限に従って、現在のピクチャが圧縮される。この制限が課されるのは、現在のピクチャが参照として用いられ、且つアクセス点より前の他のピクチャを参照する場合には、アクセス点より前の情報が欠落するためである。この欠落した情報のために現在のピクチャの適切な復号が妨げられるので、現在のピクチャに続くピクチャの全てで適切な復号が不可能となる。現在のピクチャは最後のＩピクチャより前のピクチャを参照することが不可能であるという制限を課すことによって、この所望されない結果が避けられる。

工程３１４の後、方法３００は工程３１６へ進行し、グループオブピクチャに残りのピクチャが存在するか否かを判定する。存在する場合、方法は工程３０４にて次のピクチャを回収し、処理を繰返す。工程３１６にて、グループオブピクチャに残りのピクチャが存在しない場合、グループオブピクチャ全体はランダム・アクセスを提供するように符号化されている。方法３００は工程３１８にて終了する。

Ｂピクチャを含むグループオブピクチャに対して方法３００が適用される場合、ランダム・アクセス点のＩピクチャにより近いＰピクチャは、より少ない参照フレームを伴うことになる。したがって、それらのＰピクチャの符号化効率は、グループオブピクチャのより後の方に現れる、より多数の参照ピクチャを利用するＰピクチャの符号化効率より低い。この結果を平衡させるため、グループオブピクチャにＢピクチャが含まれる場合には、代替のグループオブピクチャ構造が利用される。

図４には、本発明によってグループオブピクチャにおける符号化効率を平衡させるための代替のグループオブピクチャ構造を示す。この代替のグループオブピクチャ構造４００では、Ｉピクチャ４０１とその後の最初のＰピクチャ４０２との間の時間的な間隔は１ピクチャ期間（ｄｕｒａｔｉｏｎ）のみである。これに対して、周知のグループオブピクチャ構造では、３ピクチャ期間である。したがって、最初のＩピクチャ４０１と最初のＰピクチャ４０２との間にＢピクチャが存在しないという点で、この代替のグループオブピクチャ構造は従来のグループオブピクチャ構造と異なる。最初のＢピクチャ４０４は、最初のＰピクチャ４０２より後に位置する。次のＩピクチャ４２２まで、グループオブピクチャの残りのピクチャ４０６〜４２０に関する制限は全く存在しない。この代替のグループオブピクチャ構造では、Ｉピクチャ４２２の後、グループオブピクチャにＢピクチャが現れる前に次のピクチャ（図示せず）がＰピクチャであることが要求される。

上述の説明は、Ｂピクチャが未来のピクチャのための参照として用いられない時に適用される。しかしながら、ＡＶＣでは、「記憶Ｂピクチャ（ｓｔｏｒｅｄ Ｂ ｐｉｃｔｕｒｅ）」と呼ばれるＢピクチャのクラスが参照として用いられる場合がある。記憶Ｂピクチャは復号装置のメモリに記憶されたＢピクチャであり、未来のピクチャのための参照として用いられ得る。記憶ＢピクチャはＰピクチャと同一の多くの特性を有するが、記憶Ｂピクチャは双方向ベクトル（マクロブロックあたり２つの動きベクトル）を有する。記憶Ｂピクチャが参照として用いられる場合、Ｐピクチャについて上で述べたのと同じ規則が記憶Ｂピクチャに対して用いられる。

したがって、要約すると、本発明は、グループオブピクチャへのランダム・アクセスを提供するように、複数の参照ピクチャを利用してグループオブピクチャを再構造化するための装置を提供する。現在のピクチャを符号化する時、現在のピクチャがＩピクチャの場合、現在のピクチャはイントラ符号化を利用して符号化される。現在のピクチャがＩピクチャではなく、且つ未来のピクチャによって参照されない場合、現在のピクチャは任意数の過去のピクチャを参照として用いて圧縮される。現在のピクチャがＩピクチャではなく、且つ現在のピクチャが未来のピクチャによって参照されない場合、現在のピクチャは圧縮され、最後のＩピクチャより前のピクチャが参照として用いられないように、過去の参照ピクチャの数は制限される。この処理はグループオブピクチャの終りまで継続する。

上述では本発明の好適な実施形態を説明した。当然のことながら、本発明を説明する目的で、着想可能な手法のあらゆる組合せを記載することは不可能である。しかしながら、本発明において多くのさらなる組合せ、置換、及び修正が可能であることを、当業者は認めるであろう。したがって、以下の特許請求の範囲によって規定される本発明の範囲内には、そうした可能な組合せ、置換、及び修正の全てが含まれるものである。

ＭＰＥＧ２によるグループオブピクチャを示す単純化したブロック図。 ＡＶＣによるグループオブピクチャを示す単純化したブロック図。 本発明の方法を示す流れ図。 本発明によってグループオブピクチャにおける符号化効率を平衡させるための代替のグループオブピクチャ構造の図。

Claims (22)

1. グループオブピクチャを規定するピクチャ情報からなる信号を符号化するための装置において、
   Ｉピクチャ情報及びＰピクチャ情報を含む、グループオブピクチャを規定するピクチャ情報を受信するための入力装置と、
   圧縮されたピクチャ情報を含む信号を送信するための出力装置と、
   前記入力装置および前記出力装置に接続されている処理装置と、
   前記処理装置に接続されているメモリと、を備え、
   前記メモリは前記処理装置を動作させるための命令を格納するプログラム・モジュールを含み、該命令が実行されると前記処理装置は、イントラ符号化処理を利用してＩピクチャ情報を圧縮し、且つ過去の参照ピクチャ情報を利用してＰピクチャ情報を圧縮するように動作し、
   選択されたＰピクチャ情報は複数の過去の参照ピクチャを参照し、参照される過去の参照ピクチャの数は、該Ｐピクチャが未来のピクチャのための参照として用いられるか否かに基づく制限、すなわち、
   前記Ｐピクチャが未来のピクチャのための参照として用いられる場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられず、
   前記Ｐピクチャが未来のピクチャのための参照として用いられない場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられる、という制限にしたがって決定される、装置。
2. 前記複数の過去の参照ピクチャは、前記Ｐピクチャより前のＩピクチャより前の参照ピクチャを含む請求項１に記載の装置。
3. 前記選択されたＰピクチャ情報は、該Ｐピクチャ情報より前のピクチャ情報によって参照されるＰピクチャ情報を含む請求項１に記載の装置。
4. 前記処理装置は、過去の参照ピクチャ情報を利用してＢピクチャを圧縮するように動作する、請求項１に記載の装置。
5. 選択されたＢピクチャ情報は複数の過去の参照ピクチャと未来の参照ピクチャとを参照する請求項４に記載の装置。
6. 前記複数の過去の参照ピクチャは、前記Ｂピクチャより前のＩピクチャより前の参照ピクチャを含む請求項５に記載の装置。
7. 圧縮されたグループオブピクチャを規定するピクチャ情報からなる信号を復号するための装置において、
   圧縮されたＩピクチャ情報及び圧縮されたＰピクチャ情報を含む、圧縮されたグループオブピクチャを規定する信号を受信するための入力装置と、
   前記入力装置に接続されている処理装置と、
   前記処理装置に接続されているメモリと、を備え、
   前記メモリは前記処理装置を動作させるための命令を格納するプログラム・モジュールを含み、該命令が実行されると前記処理装置は、圧縮されたＩピクチャ情報をＩピクチャへ復号し、且つ圧縮されたＰピクチャ情報を過去の参照ピクチャ情報を利用してＰピクチャへ復号するように動作し、
   選択されたＰピクチャ情報は複数の過去の参照ピクチャを参照し、参照される過去の参照ピクチャの数は、該Ｐピクチャが未来のピクチャのための参照として用いられるか否かに基づく制限、すなわち、
   前記Ｐピクチャが未来のピクチャのための参照として用いられる場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられず、
   前記Ｐピクチャが未来のピクチャのための参照として用いられない場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられる、という制限にしたがって決定される、装置。
8. 前記選択されたＰピクチャ情報は、該Ｐピクチャ情報より前のピクチャ情報によって参照されるＰピクチャ情報を含む請求項７に記載の装置。
9. 前記複数の過去の参照ピクチャは、前記Ｐピクチャより前のＩピクチャより前の参照ピクチャを含む請求項７に記載の装置。
10. 前記処理装置は、圧縮されたＢピクチャ情報を、過去の参照ピクチャ情報および未来の参照ピクチャ情報を利用して、Ｂピクチャ情報へ復号するように動作する、請求項７に記載の装置。
11. 前記複数の過去の参照ピクチャは、前記Ｂピクチャより前のＩピクチャより前の過去の参照ピクチャを含む請求項１０に記載の装置。
12. グループオブピクチャを規定するピクチャ情報からなる信号の符号化方法において、
    Ｉピクチャ情報及びＰピクチャ情報を含む、グループオブピクチャを規定するピクチャ情報を受信するピクチャ情報受信工程と、
    イントラ符号化処理を利用することによってＩピクチャ情報を符号化するＩピクチャ情報符号化工程と、
    過去の参照ピクチャ情報を利用してＰピクチャ情報を符号化するＰピクチャ情報符号化工程と、を備え、
    選択されたＰピクチャ情報は複数の過去の参照ピクチャを参照し、参照される過去の参照ピクチャの数は、該Ｐピクチャが未来のピクチャのための参照として用いられるか否かに基づく制限、すなわち、
    前記Ｐピクチャが未来のピクチャのための参照として用いられる場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられず、
    前記Ｐピクチャが未来のピクチャのための参照として用いられない場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられる、という制限にしたがって決定される、方法。
13. 前記複数の過去の参照ピクチャは、前記Ｐピクチャより前のＩピクチャより前の過去の参照ピクチャを含む請求項１２に記載の方法。
14. 前記選択されたＰピクチャ情報は、該Ｐピクチャ情報より前のピクチャ情報によって参照されるＰピクチャ情報を含む請求項１２に記載の方法。
15. 前記ピクチャ情報は、過去の参照ピクチャ情報を利用して符号化されるＢピクチャ情報を含む請求項１２に記載の方法。
16. 選択されたＢピクチャ情報は複数の過去の参照ピクチャと未来の参照ピクチャとを参照する請求項１５に記載の方法。
17. 前記複数の過去の参照ピクチャは、前記Ｂピクチャより前のＩピクチャより前の参照ピクチャを含む請求項１６に記載の方法。
18. 圧縮されたグループオブピクチャを規定するピクチャ情報からなる信号の復号方法において、
    圧縮されたＩピクチャ情報及び圧縮されたＰピクチャ情報を含む、圧縮されたグループオブピクチャを規定するピクチャ情報を受信するピクチャ情報受信工程と、
    圧縮されたＩピクチャ情報をＩピクチャ情報へ復号するＩピクチャ情報復号工程と、
    圧縮されたＰピクチャ情報を過去の参照ピクチャ情報を利用してＰピクチャ情報へ復号するＰピクチャ情報復号工程と、を備え、
    選択されたＰピクチャ情報は複数の過去の参照ピクチャを参照し、参照される過去の参照ピクチャの数は、該Ｐピクチャが未来のピクチャのための参照として用いられるか否かに基づく制限、すなわち、
    前記Ｐピクチャが未来のピクチャのための参照として用いられる場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられず、
    前記Ｐピクチャが未来のピクチャのための参照として用いられない場合、前記Ｐピクチャより前のＩピクチャより前のピクチャは参照ピクチャとして用いられる、という制限にしたがって決定される、方法。
19. 前記選択されたＰピクチャ情報は、該Ｐピクチャ情報より前のピクチャ情報によって参照されるＰピクチャ情報を含む請求項１８に記載の方法。
20. 前記複数の過去の参照ピクチャは、前記Ｐピクチャより前のＩピクチャより前の参照ピクチャを含む請求項１８に記載の方法。
21. ピクチャ情報受信工程は、圧縮されたＢピクチャ情報および未来の参照ピクチャ情報を受信する工程を含む請求項１８に記載の方法。
22. 前記複数の過去の参照ピクチャは、前記Ｂピクチャより前のＩピクチャより前の参照ピクチャを含む請求項２１に記載の方法。

Images