JP6637151B2 - 動画像予測復号方法 - Google Patents

Description

本発明は、動画像予測復号方法に関するものであり、とりわけ、ランダム・アクセスに有効な画面間予測に係る動画像予測復号方法に関する。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。符号化効率を高めるため下記のような予測符号化方法が用いられる。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（過去に圧縮された画像データを復元したもの）を用いて予測信号を生成した上で、それを対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照し、信号の変位を検索し、その動いた分を補償して予測信号を生成し、それを対象ブロックの信号から引き算した差分信号を符号化する。動きの検索・補償を行うために参照される既再生の画像を、参照画像という。

また、双方向画面間予測では、出力時間順に過去にある画像だけではなくて、対象画像の後に出力される未来の画像もあわせて参照する場合がある（但し、この未来画像は対象画像より先に符号化し、予め再生しておく必要がある）。過去の画像と未来の画像から取得された予測信号を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であると同時に、両予測信号に含まれている雑音を軽減する効果がある。

さらに、Ｈ．２６４の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化した上で再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。対象ブロックの画素信号とこの最適な予測信号との差分を求め、離散コサイン変換を施し、量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像のどの領域から取得するかに関する情報（それぞれ、参照インデックスと動きベクトルという）も合わせて符号化する。Ｈ．２６４では、再生された４枚ないし５枚の画像が参照画像としてフレームメモリまたは再生画像バッファ（decoded picture buffer）に格納されている。

画面間予測符号化は、画像間の相関を活かして効率よく圧縮符号化することができるものの、テレビのチャンネルの切り替えで映像番組を途中から視聴できるようにするには、画面間の依存性を断ち切る必要がある。動画像の圧縮ビットストリームの中で、画面間の依存性のない箇所を、ランダム・アクセス・ポイントという。チャンネルの切り替えのほかに、動画像を編集したり、異なる動画像の圧縮データをつないだりする場合にも、ランダム・アクセス・ポイントが必要となるが、従来技術では、ランダム・アクセス・ポイントとして「クリーン・ランダム・アクセス・ポイント」が設けられている。クリーン・ランダム・アクセス・ポイントはNAL unit typeのクリーン・ランダム・アクセス・ピクチャ（以下「CRAピクチャ」という）によって特定される。一つのビットストリームには、複数のCRAピクチャを含むことが可能であり、動画像予測復号装置はどのクリーン・ランダム・アクセス・ポイントから復号を開始してもよい。

発明の開示のため、CRAピクチャに関連するピクチャのピクチャ・タイプを以下に定義する（図１０参照）。
a)パスト・ピクチャ：CRAピクチャよりも先に復号され、かつ、CRAピクチャよりも先に出力されるピクチャ
b)ラギング・ピクチャ：CRAピクチャよりも先に復号されるが、CRAピクチャよりも後に出力されるピクチャ
c)リーディング・ピクチャ：CRAピクチャよりも後に復号されるが、CRAピクチャよりも先に出力されるピクチャ
d)ノーマル・ピクチャ：.CRAピクチャよりも後に復号され、かつ、CRAピクチャよりも後に出力されるピクチャ

CRAピクチャは画面内予測のみのピクチャとして定義されているため、復号に必要な情報を完備しており、他のピクチャへの参照をせずに正しく復号することができる。CRAピクチャの後に続く全てのノーマル・ピクチャはパスト・ピクチャ、ラギング・ピクチャ、またはリーディング・ピクチャからの画面間予測をしてはならないと定義される。

ビットストリームをCRAピクチャから復号する際は、CRAピクチャ及びノーマル・ピクチャが画面間予測の誤りなしで正しく復号されることが保証される。しかしながら、リーディング・ピクチャは、CRAピクチャの後に復号され、画面間予測の誤りなしで正しく復号される保証はない。即ち、正しく復号されるリーディング・ピクチャが存在する一方で、正しく復号されないリーディング・ピクチャも存在しうる。

なお、ここで「正しく復号される」とは、復号されたピクチャが、CRAピクチャからではなくビットストリームの始めから復号された場合に得られるピクチャと同一であることを意味している。CRAピクチャから復号した際は、復号順で当該CRAピクチャに先行するピクチャ（例えばラギング・ピクチャ）は復号されず、再生画像バッファに存在しない。したがって、復号順で当該CRAピクチャに先行するピクチャを直接的あるいは間接的に画面間予測に使用する後続のピクチャは、復号誤りを含むおそれがある。

Benjamin Bross et. al., "High efficiency video coding (HEVC) text specification draft 7", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 9th Meeting: Geneva, CH, 27 April - 7 May 2012

上記のように動画像予測復号装置がランダム・アクセス・ポイントから復号を開始する際には、正しく復号できないピクチャが存在するおそれがあり、当該正しく復号できないピクチャは以降の復号に利用することができない。その一方で、正しく復号できるピクチャもあり、当該正しく復号できるピクチャは以降の復号に利用することができる。従来技術においては、復号順でランダム・アクセス・ポイントに続くどのピクチャが破棄されるのかを特定する方法が無いため、リーディング・ピクチャの全てが正しく復号できないピクチャとして扱われ破棄される。しかしながら、これらのピクチャの一部は実際には復号可能であり、後続のピクチャの予測性能改善に貢献することができるため、リーディング・ピクチャの全てを正しく復号できないピクチャとして破棄する方法は、望ましい方法ではない。

そこで、本発明は、復号可能なピクチャを判別可能とすることで、復号可能なピクチャを後続のピクチャの参照ピクチャとして利用可能とし予測性能改善に貢献することを目的とする。

本発明に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数のピクチャのための圧縮画像データであって、ピクチャごとに、ランダム・アクセスピクチャと、ランダム・アクセス・スキップ（ＲＡＳ）リーディングピクチャと、ｎｏｎ−ＲＡＳリーディングピクチャとを含む複数のピクチャ・タイプのうちのひとつとして当該ピクチャを識別するＮＡＬユニット・タイプの情報を有する圧縮画像データを含むビットストリームを入力する入力ステップと、前記ピクチャ・タイプに基づいて、前記圧縮画像データを復号し、再生画像に復元する復元ステップと、前記再生画像を出力する出力ステップと、を具備し、
１）ランダム・アクセスピクチャは、前記ビットストリームの任意のランダム・アクセスピクチャから開始される復号プロセスが当該ランダム・アクセスピクチャから開始される場合、復号順で前記ビットストリームの最初のピクチャであり、
２）ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には復号できないピクチャであり、
３）ｎｏｎ−ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、復号できるピクチャであり、
ｎｏｎ−ＲＡＳリーディングピクチャの画面間予測のために使用される参照ピクチャを含む前記ｎｏｎ−ＲＡＳリーディングピクチャのリファレンス・ピクチャ・セットは、ＲＡＳリーディングピクチャと、関連するランダム・アクセスピクチャに復号順で先行するピクチャとのいずれも含まず、第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まず、前記復元ステップにおいて、前記動画像予測復号装置は、当該ピクチャの復号開始時に、当該ピクチャが正しく復号されるか否かを判定する、ことを特徴とする。

前記復元ステップの判定において、前記動画像予測復号装置は、当該ピクチャが前記ＲＡＳリーディングピクチャであるか否かを判定し、当該ピクチャが前記ＲＡＳリーディングピクチャであれば当該ピクチャが正しく復号されないと判定し、当該ピクチャが前記ＲＡＳリーディングピクチャでなければ当該ピクチャが正しく復号されると判定する、ことを特徴としてもよい。

前記復元ステップの判定において、前記動画像予測復号装置は、当該ピクチャに関する参照ピクチャのリストにある全ての参照ピクチャが格納されているか否かを判定し、参照ピクチャのリストにある全ての参照ピクチャが格納されていれば当該ピクチャが正しく復号されると判定し、参照ピクチャのリストにある１つ以上の参照ピクチャが格納されていなければ当該ピクチャが正しく復号されないと判定する、ことを特徴としてもよい。

本発明によれば、復号可能なピクチャを判別可能とすることで、復号可能なピクチャを後続のピクチャの参照ピクチャとして利用可能とし予測性能改善に貢献することができる。より詳しくは、動画像予測復号装置は、ビットストリームの先頭のＣＲＡピクチャから復号が開始される場合に、（ラベルの利用あるいはリファレンス・ピクチャ・セットとの照合によって）あるピクチャが正しく復号できるか否かを検出することができる。このため、動画像予測復号装置は、全てのリーディング・ピクチャを破棄する代わりに、復号できないピクチャのみを選択して破棄することができ、復号可能なピクチャを後続のピクチャの参照ピクチャとして利用可能とし、予測性能改善に貢献することができる。

本発明の実施形態に係る動画像予測符号化装置を示すブロック図である。 本発明の実施形態に係る動画像予測復号装置を示すブロック図である。 本発明の実施形態に係るシンタックス・エレメントを説明するための図である。 本発明の実施形態に係る動画像予測符号化方法を示す流れ図である。 本発明の実施形態に係る動画像予測復号方法を示す流れ図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。 動画像予測符号化プログラムの構成例を示すブロック図である。 動画像予測復号プログラムの構成例を示すブロック図である。 本発明の背景を説明するための図である。

以下、本発明の実施形態について、図１〜図９を用いて説明する。

［動画像予測符号化装置について］
図１は本実施形態に係る動画像予測符号化装置１００の構成を示す機能ブロック図である。図１に示すように、動画像予測符号化装置１００は、機能的な構成として、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、入力端子１１３、及びフレームメモリ管理器（またはバッファ管理器ともいう）１１４を備える。各機能ブロックの動作は、後述する動画像予測符号化装置１００の動作の中で説明する。なお、変換器１０６及び量子化器１０７は符号化手段に対応し、逆量子化器１０８、逆変換器１０９及び加算器１１０は復号手段に対応する。

以上のように構成された動画像予測符号化装置１００の動作について、以下述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化処理の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。本実施形態では、８×８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。次に、符号化処理の対象となる領域（以下「対象ブロック」という）に対して、予測信号を生成する。本実施形態では、２種類の予測方法が用いられる。即ち、画面間予測と画面内予測である。

画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明による実施形態では、予測信号生成器１０３にて行われ、対象ブロックはラインＬ１０２、参照画像はＬ１０４経由で入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。詳細は従来の技術であるＭＰＥＧ−２、４、Ｈ．２６４のいずれかの方法と同じである。このように決定された動き情報及び小領域の分割方法はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（リファレンス・インデックス）もラインＬ１１２経由でエントロピー符号化器１１１に送られる。なお、本発明による実施形態では、４枚ないし５枚の再生画像をフレームメモリ１０４に格納し、参照画像として用いる。予測信号生成器１０３では、小領域の分割方法及びそれぞれの小領域に対応する、参照画像と動き情報をもとにフレームメモリ１０４から参照画像信号を取得し、予測信号を生成する。このように生成された画面間予測信号はラインＬ１０３経由で減算器１０５に送られる。

画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には予測信号生成器１０３では、フレームメモリ１０４から同じ画面内にある既再生の画素信号を取得し、これらの信号を外挿することによって画面内予測信号を生成する。外挿の方法に関する情報はラインＬ１１２経由でエントロピー符号化器１１１に送られ符号化した上で出力端子１１２から送出される。このように生成された画面内予測信号は減算器１０５に送られる。予測信号生成器１０３における画面内の予測信号生成方法は、従来の技術であるＨ．２６４の方法と同じである。上述のように求められた画面間予測信号と画面内予測信号に対し、誤差の最も小さいものが選択され、減算器１０５に送られる。

一枚目の画像については、それより前に画像がないため、全ての対象ブロックは画面内予測で処理される。また、テレビのチャンネルの切り替えに備えて、定期的にランダム・アクセス・ポイントとされた対象ブロックは画面内予測で処理される。このような画像はイントラフレームとよび、Ｈ．２６４ではＩＤＲピクチャとよぶ。

減算器１０５にて対象ブロックの信号（ラインＬ１０２経由）から予測信号（ラインＬ１０３経由）を引き算し、残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、その各係数は量子化器１０７にて量子化される。最後にエントロピー符号化器１１１にて量子化された変換係数を符号化して、予測方法に関する情報とともに出力端子１１２より送出される。

後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理し復元される。即ち、量子化された変換係数は逆量子化器１０８にて逆量子化されたのちに逆変換器１０９にて逆離散コサイン変換され、残差信号を復元する。加算器１１０にて復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では変換器１０６と逆変換器１０９を用いているが、これらの変換器に代わるほかの変換処理を用いてもよい。場合によって、変換器１０６と逆変換器１０９がなくてもよい。

フレームメモリ１０４は有限なものであり、すべての再生画像を格納することは不可能である。後続の画像の符号化に用いられる再生画像のみフレームメモリ１０４に格納される。このフレームメモリ１０４を制御するのがフレームメモリ管理器１１４である。フレームメモリ管理器１１４は、フレームメモリ１０４内にあるＮ枚（ここではＮ＝４であるが、予め決められた整数でもよい）の再生画像の中から、不要なもの（例えば最も古いもの）を消去し参照画像として用いられる直近の再生画像を格納できるようにラインＬ１１５経由で制御する。入力端子１１３より各画像の出力順番情報や画像を符号化するタイプ（画面内予測符号化、画面間予測符号化、双方向予測符号化）、またリファレンス・インデックスもラインＬ１１２経由で入力され、これらの情報に基づいてフレームメモリ管理器１１４が動作する。

同時に、各画像の出力順番情報や、後述するＮＡＬユニット・タイプの情報は必要に応じてラインＬ１１４経由でエントロピー符号化器１１１に送られ、符号化した上で圧縮された画像データとともに出力される。出力順番情報は各画像に付随するもので、画像の順番を示すものや画像を出力する時刻でもいいし、画像の出力参照時間（テンポラルリファレンス）でもよい。本実施形態では、出力順番情報の値をそのまま二値符号化に変換される。本実施形態のフレームメモリ管理器１１４の動作については後述する。

［動画像予測復号装置について］
次に、本発明に係る動画像予測復号装置について説明する。図２は本実施形態に係る動画像予測復号装置２００の構成を示す機能ブロック図である。図２に示すように、動画像予測復号装置２００は、機能的な構成として、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、予測信号生成器２０８、フレームメモリ２０７、出力端子２０６、フレームメモリ管理器２０９、制御器２１０、及び切替器２１１を備える。各機能ブロックの動作は、後述する動画像予測復号装置２００の動作の中で説明する。逆量子化器２０３及び逆変換器２０４は復号手段に対応する。なお、復号に係る手段としては、逆量子化器２０３及び逆変換器２０４に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器２０４を無くし逆量子化器２０３のみで構成してもよい。

以下、動画像予測復号装置２００の動作を述べる。動画像予測符号化装置１００にて上述した方法で圧縮符号化された圧縮データは、入力端子２０１から入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測信号の生成に関連する情報が含まれている。予測信号の生成に関連する情報として、画面間予測の場合はブロック分割に関する情報（ブロックのサイズ）や、動き情報と上述のリファレンス・インデックスやＮＡＬユニット・タイプに関する情報が含まれ、画面内予測の場合は周辺の既再生の画素からの外挿方法に関する情報が含まれている。

データ解析器２０２にて、圧縮データから対象ブロックの残差信号、予測信号の生成に関連する情報、量子化パラメータ、画像の出力順番情報を抽出する。対象ブロックの残差信号は逆量子化器２０３にて量子化パラメータ（ラインＬ２０２及びＬ２１１経由）をもとに逆量子化される。その結果は逆変換器２０４にて逆離散コサイン変換される。

次にラインＬ２０６ｂ経由で予測信号の生成に関連する情報が予測信号生成器２０８に送られる。予測信号生成器２０８では、予測信号の生成に関連する情報をもとに、フレームメモリ２０７にアクセスし、複数の参照画像の中から参照信号を取得し（ラインＬ２０７経由）予測信号を生成する。この予測信号はラインＬ２０８経由で加算器２０５に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインＬ２０５経由で出力端子２０６から出力すると同時にフレームメモリ２０７に格納される。

フレームメモリ２０７には、後続の画像の復号・再生に用いられる再生画像が格納されている。フレームメモリ管理器２０９はラインＬ２０９ａを介してフレームメモリ２０７を制御する。フレームメモリ２０７は、格納されているＮ枚（ここではＮ＝４であるが、予め決められた整数でもよい）の再生画像の中から、不要なもの（例えば最も古いもの）を消去し参照画像として用いられる直近の再生画像を格納できるように制御される。

制御器２１０は、ラインＬ２０６ａ経由で送られる対象画像の出力順番情報と画像の符号化タイプ及びＮＡＬユニット・タイプに関する情報に基づいて動作する。あるいはラインＬ２０６ａ経由で送られるリファレンス・インデックスとラインＬ２０９ｂ経由で送られてくるフレームメモリに格納されているフレームの情報に基づいて動作する。本発明による制御器２１０の動作については後述する。

切替器２１１は制御器２１０からラインＬ２１０を介して制御され、条件に応じて特定のフレームの復号をスキップするように動作する。本発明による切替器２１１の動作については後述する。

図３にビットストリームのシンタックス・エレメント５００を示す。ビットストリームのシンタックス・エレメント５００はひとつのピクチャ（５１０、５２０など）の復号に必要な複数のシンタックス・エレメントから構成されている。ピクチャのシンタックスにおいて、以下の３つのエレメントに注目する。
１）ネットワーク・アダプテーション・レイヤー・ユニット・タイプ（ＮＵＴ）またはＮＡＬユニット・タイプ（５３０）
２）ピクチャー・アウトプット・カウント（ＰＯＣ）（５４０）
３）リファレンス・ピクチャ・セット（ＲＰＳ）（５５０）

１）ＮＵＴは、ピクチャ・タイプに関する情報を含んでいる。本発明においては、ピクチャ・タイプをシグナリングする他の手段も使用可能であることに留意されたい。本実施形態では、各ピクチャは、３種類のＮＡＬユニット・タイプのうちのひとつとしてラベル付けされる。ＮＡＬユニット・タイプとは、以下に述べるＲＡＳ、ＣＲＡ、ｎｏｎ−ＲＡＳである。

ＲＡＳ（ランダム・アクセス・スキップ）ピクチャとしてラベル付けされたピクチャは、そのＲＡＳピクチャに関連付けされたＣＲＡピクチャから復号が開始された際に、スキップされ出力されない。一方、前記のＣＲＡピクチャがビットストームの最初のピクチャでない場合（あるいは復号が前記のＣＲＡピクチャから開始されていない場合）は、動画像予測復号装置２００はＲＡＳピクチャをｎｏｎ−ＲＡＳピクチャであると見なし、そのピクチャの出力指示に従って復号し、出力するものとする。

ＣＲＡ（クリーン・ランダム・アクセス）ピクチャとしてラベル付けされたピクチャは、ビットストリームの復号がそのＣＲＡピクチャから開始される場合に、前記ＣＲＡピクチャに関連付けされた、ＲＡＳピクチャ以外のピクチャを誤りなしで復号できることを示している。

ｎｏｎ−ＲＡＳピクチャとしてラベル付けされたピクチャは、動画像予測復号装置２００によって復号され、ピクチャの出力指示に従って出力されるものとする。ＣＲＡピクチャは特に断りがない限り、ｎｏｎ−ＲＡＳピクチャと見なされる。

２）ＰＯＣは、出力されるピクチャの順番の情報を含んでいる。

３）ＲＰＳは、現在のピクチャの画面間予測のために使用される参照ピクチャの情報を含んでいる。ＲＰＳに存在しない再生画像バッファ（ＤＰＢ）中の参照ピクチャは、現在のピクチャまたはいずれかのピクチャによって予測復号のための参照ピクチャとして利用することができない。

本実施形態においては、ビットストリームの復号がＣＲＡピクチャから開始される場合に、全てのｎｏｎ−ＲＡＳピクチャが正しく復号できることを保証するため、ＲＰＳに関して以下の特徴をもつ。
特徴１：リーディング・ピクチャによって利用されるＲＰＳに関して、ひとつ以上の参照ピクチャ（または少なくともひとつの参照ピクチャ）がＲＡＳピクチャである、または、関連付けされたＣＲＡピクチャに復号順で先行する場合、そのリーディング・ピクチャはＲＡＳピクチャとする。
特徴２：ｎｏｎ−ＲＡＳピクチャによって利用されるＲＰＳにある全ての参照ピクチャは、ｎｏｎ−ＲＡＳピクチャである参照ピクチャ、かつ、関連付けされたＣＲＡピクチャ以降に復号される参照ピクチャとする。

本実施形態においては、ノーマル・ピクチャはｎｏｎ−ＲＡＳピクチャとして扱われるため、特徴１と２を満たさないピクチャはビットストリーム中で許容されない。しかしながら、本発明は、特徴１で述べられたリーディング・ピクチャに限定されるものではなく、全てのピクチャに等しく適用することができる。特徴２に関して、本発明は、参照ピクチャがリーディング・ピクチャのみに制限された場合にも適用することができる。

［動画像予測符号化装置１００における特徴的な動作］
図４を用いて、本発明のポイントである前述の特徴をもつビットストリームを生成するための動画像予測符号化装置１００の動作を説明する。動画像予測符号化装置１００はランダム・アクセスを実現するため、一定周期でＣＲＡピクチャを挿入する。この挿入されたＣＲＡピクチャに符号化順で続く全てのピクチャは、次のＣＲＡピクチャが挿入されるまでの間、当該挿入されたＣＲＡピクチャに関連付けされ、以下のステップに従って符号化される。

ステップ６２０において、当該ピクチャのＲＰＳに含まれる参照ピクチャの１枚以上がＲＡＳピクチャであるか否かが判定される。当該ピクチャのＲＰＳに含まれる参照ピクチャの１枚以上がＲＡＳピクチャである場合（ＹＥＳ）はステップ６５０に、そうでない場合（ＮＯ）はステップ６３０に進む。

ステップ６３０において、当該ピクチャのＲＰＳに含まれる参照ピクチャの１枚以上が、当該ピクチャに関連付けされたＣＲＡピクチャに符号化順で先行するか否かが判定される。当該ピクチャのＲＰＳに含まれる参照ピクチャの１枚以上が、当該ピクチャに関連付けされたＣＲＡピクチャに符号化順で先行する場合（ＹＥＳ）はステップ６５０に、そうでない場合（ＮＯ）はステップ６４０に進む。

ステップ６５０において、当該ピクチャのＰＯＣと当該ピクチャに関連付けされたＣＲＡピクチャのＰＯＣとを比較することで、当該ピクチャがリーディング・ピクチャであるか否かを検査する。当該ピクチャのＰＯＣが当該ピクチャに関連付けされたＣＲＡピクチャのＰＯＣよりも小さい場合、当該ピクチャがリーディング・ピクチャである（ＹＥＳ）と判定され、ステップ６７０に進む。そうでない場合は、当該ピクチャがリーディング・ピクチャでない（ＮＯ）と判定されるが、ステップ６２０及びステップ６３０の判定はリーディング・ピクチャに対してのみ（ＹＥＳ）となり、当該ピクチャがリーディング・ピクチャでない（ＮＯ）との判定結果は異常であるため、ステップ６６０に進みエラーメッセージを出力してステップ６８０に進む。なお、ステップ６６０でエラーメッセージを出力した後は、図４の処理を異常終了してもよい。

ステップ６７０において、当該ピクチャはＲＡＳピクチャとして符号化され、当該ピクチャがＲＡＳピクチャであるという情報（ＮＡＬユニット・タイプ：ＲＡＳ）が符号化される。その後ステップ６８０に進む。

ステップ６４０において、当該ピクチャをｎｏｎ−ＲＡＳピクチャとして符号化され、当該ピクチャがｎｏｎ−ＲＡＳピクチャであるという情報（ＮＡＬユニット・タイプ：ｎｏｎ−ＲＡＳ）が符号化される。その後ステップ６８０に進む。ここで、特に断りがない限り、ＣＲＡピクチャはｎｏｎ−ＲＡＳピクチャに含まれる。

ステップ６４０と６７０において、当該ピクチャがＲＡＳピクチャであるかｎｏｎ−ＲＡＳピクチャであるかという情報は必ずしも符号化する必要がなく、当該情報を符号化する代わりに、各ピクチャの参照ピクチャリストとフレームメモリ１０４に格納されているピクチャとを照合することで当該ピクチャがＲＡＳピクチャであるかｎｏｎ−ＲＡＳピクチャであるかを判定してもよい。

ステップ６８０において、動画像予測符号化装置１００は符号化するピクチャがさらにあるか否かを判定し、ある場合（ＹＥＳ）はステップ６２０に戻って処理を繰り返し、一方、ない場合（ＮＯ）は図４の処理を終了する。

上述した一連の処理は、図１の動画像予測符号化装置１００全体の処理に該当するが、とりわけステップ６２０、６３０、６５０の判定処理はフレームメモリ管理器１１４により行われる。

［動画像予測復号装置２００における特徴的な動作］
本実施形態に係る動画像予測復号装置２００では、復号プロセスがビットストリームの最初のピクチャとしてＣＲＡピクチャから開始された場合と、ビットストリームの最初のピクチャがＣＲＡピクチャでない場合とで、動作が異なる。この復号プロセスは、次のＣＲＡピクチャの復号時に通常の復号プロセスに戻る。

図５を用いて、本発明のポイントである前述の特徴をもつビットストリームを復号するための動画像予測復号装置２００の動作を説明する。

ステップ７１０において、動画像予測復号装置２００はビットストリームの最初のピクチャ（即ち、ビットストリームの復号を開始する最初のピクチャ）がＣＲＡピクチャであるか否かを、ＮＡＬユニット・タイプに基づいて判定する。最初のピクチャがＣＲＡピクチャでない場合（ＮＯ）、ステップ７８０に進み、動画像予測復号装置２００は各ピクチャを通常通りに復号する。即ち、このステップ７８０ではＲＡＳピクチャはｎｏｎ−ＲＡＳピクチャとみなされ、通常通りにピクチャ内の指示に従って復号され、出力される。一方、ステップ７１０でビットストリームの最初のピクチャがＣＲＡピクチャである場合（ＹＥＳ）は、ステップ７２０に進む。

ステップ７２０からステップ７７０までの処理は、次のＣＲＡピクチャの復号が開始される直前までの期間、全てのピクチャに対して繰り返し実行され、その後ステップ７８０で通常の復号処理に戻る。以下では、ステップ７２０からステップ７７０までの処理について述べる。

ステップ７２０において、動画像予測復号装置２００は当該ピクチャの復号開始時に、当該ピクチャが正しく復号されるか否かを判定する。本実施形態におけるビットストリームは前述の特徴１、２を持つため、動画像予測復号装置２００は、以下の２つの方法のうちの少なくとも１つを用いて、当該ピクチャが正しく復号できるか否かを判定することができる。第１の方法は、当該ピクチャのＮＡＬユニット・タイプのラベルを見る方法である。もし、当該ピクチャがＲＡＳピクチャとしてラベル付けされていれば、当該ピクチャは正しく復号することができないと判定することができる。第２の方法は、動画像予測復号装置２００がＤＰＢに存在する参照ピクチャと、当該ピクチャのＲＰＳの参照ピクチャリストとを照合することである。もし、当該ピクチャのＲＰＳにある参照ピクチャのうちいずれかがＤＰＢに存在しない場合は、当該ピクチャを正しく復号することができないと判定することができる。以上のような第１、第２の方法の少なくとも１つを用いて、動画像予測復号装置２００が、当該ピクチャは正しく復号可能と判定した場合（ＹＥＳ）、ステップ７３０に進み、当該ピクチャは正しく復号することができないと判定した場合（ＮＯ）、ステップ７５０に進む。

ステップ７３０において、動画像予測復号装置２００は、当該ピクチャ内の指示に従って、当該ピクチャを復号し出力する。これはＣＲＡピクチャにも適用される。その後、ステップ７４０に進む。

ステップ７５０において、当該ピクチャのＰＯＣと、当該ピクチャに関連付けされたＣＲＡピクチャのＰＯＣとを比較することで、当該ピクチャがリーディング・ピクチャであるか否かを判定する。当該ピクチャのＰＯＣが、当該ピクチャに関連付けされたＣＲＡピクチャのＰＯＣよりも小さい場合（ＹＥＳ）は、当該ピクチャはリーディング・ピクチャであると判定され、後述のステップ７７０に進む。そうでない場合（ＮＯ）は、当該ピクチャはリーディング・ピクチャでなく、誤りが生じることから、ステップ７６０に進み、動画像予測復号装置２００はエラーメッセージを出力してステップ７４０に進む。なお、ステップ７６０でエラーメッセージを出力した後は、図５の処理を異常終了してもよい。また、前述の通り、ステップ７５０の判定は、特徴１がリーディング・ピクチャだけに限定される場合のみに必要となることに留意されたい。

ステップ７７０において、動画像予測復号装置２００は、当該ピクチャの復号をスキップし、以下のような必要なハウスキーピング処理を行う。ここで、必要なハウスキーピング処理としては、例えば、スキップされる当該ピクチャに対して「参照ピクチャとして利用不可能であり出力されない」ことを示すラベル付けを行う処理などが挙げられる。その後、ステップ７４０に進む。

ステップ７４０において、動画像予測復号装置２００は、次に復号されるピクチャがＣＲＡピクチャであるか否かを判定し、次のピクチャがＣＲＡピクチャでない場合（ＮＯ）はステップ７２０に戻って処理を繰り返す。一方、次のピクチャがＣＲＡピクチャである場合（ＹＥＳ）、次のＣＲＡピクチャ以降は本発明に係る復号プロセス（ランダム・アクセス復号プロセス）が必要でなくなるため、ステップ７８０に進み、通常の復号プロセス（全てのピクチャが復号され出力指示情報に従って出力される処理）に移る。

上述した一連の処理は、図２の動画像予測復号装置２００全体の処理に該当するが、とりわけステップ７２０、７５０の判定及びステップ７３０、７７０の制御は、制御器２１０により行われる。

以上のような本実施形態によれば、動画像予測復号装置２００は、ビットストリームの先頭のＣＲＡピクチャから復号が開始される場合に、（ラベルの利用あるいはリファレンス・ピクチャ・セットとの照合によって）あるピクチャが正しく復号できるか否かを検出することができる。このため、動画像予測復号装置２００は、全てのリーディング・ピクチャを破棄する代わりに、復号できないピクチャのみを選択して破棄することができ、復号可能なピクチャを後続のピクチャの参照ピクチャとして利用可能とし、予測性能改善に貢献することができる。

なお、ピクチャに対してＲＡＳというＮＡＬユニット・タイプが割り当てられる際に、動画像予測符号化装置１００は、正しく復号できるピクチャと正しく復号できないピクチャとを生成する。一方、動画像予測復号装置２００は正しく復号できないピクチャを出力しない。これにより、出力されるピクチャに時間的なギャップが生じ、フレームの出力レートに影響を及ぼすおそれがある。システムによっては、出力にギャップがあることは望ましくない。本実施形態においては、動画像予測符号化装置１００は、追加情報として、これらのＲＡＳピクチャでのギャップがあるか否かを、ＣＲＡピクチャ・ヘッダまたはビデオ・ユーザビリティー・シンタックス（ＹＵＩ）の中のフラグによって動画像予測復号装置２００に指示する。このフラグを受け取った動画像予測復号装置２００は、正しく復号可能であるがギャップのあるリーディング・ピクチャを出力するか否かを選択することができる。

また、上記とは別の手段として、出力順でＣＲＡピクチャに先行するＲＡＳピクチャでギャップが生じないように、ビットストリームに更なる制限を設けてもよい。即ち、ＲＡＳピクチャでのギャップを生じないようにビットストリームが連続的に出力されるようにしてもよい。

さらに別の手段として、動画像予測復号装置２００が、動画像予測符号化装置１００からの他の追加情報や、ピクチャの出力指示情報に依存せずに、ｎｏｎ−ＲＡＳのリーディング・ピクチャを復号するが出力しないことを決定してもよい。

本実施形態においては、ＮＡＬユニット・タイプ（ＲＡＳ、ＣＲＡ、ｎｏｎ−ＲＡＳ）のラベルは、動画像予測復号装置２００により検出され使用されるが、ＮＡＬユニット・タイプのラベルは、ネットワーク内の他の装置（例えばサーバ、適切なネットワークエレメンツなど）においても、ランダム・アクセス・ポイントから復号を開始する際に、ＲＡＳピクチャを破棄する処理実行のために検出され使用されてもよい。これにより、ネットワークの帯域を節約することができる。

本実施形態においては、ビットストリームはそれぞれが多数のＣＲＡピクチャを含むことができ、それぞれのＣＲＡピクチャに関連付けされたＲＡＳピクチャが存在する。復号順で２番目のＣＲＡピクチャが１番目のＣＲＡピクチャの後に続く場合、前述の２番目のＣＲＡピクチャのＲＰＳが、１番目のＣＲＡピクチャよりも前に復号される参照ピクチャを含むことは許容されない。これにより、１番目のＣＲＡピクチャがビットストリームの最初のピクチャであった場合に、２番目のＣＲＡピクチャのＲＡＳピクチャが復号されることが保証される。

［動画像予測符号化プログラム、動画像予測復号プログラムについて］
動画像予測符号化装置１００に係る発明は、コンピュータを動画像予測符号化装置１００として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置２００に係る発明は、コンピュータを動画像予測復号装置２００として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。

動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。なお、記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＵＳＢメモリ、ＤＶＤ、半導体メモリ等が例示される。

図８には、コンピュータを動画像予測符号化装置１００として機能させるための動画像予測符号化プログラムのモジュールを示す。図８に示すように、動画像予測符号化プログラムＰ１００は、入力モジュールＰ１０１、符号化モジュールＰ１０２、復元モジュールＰ１０３、画像格納モジュールＰ１０４、及び制御モジュールＰ１０５を備えている。

また、図９には、コンピュータを動画像予測復号装置２００として機能させるための動画像予測復号プログラムのモジュールを示す。図９に示すように、動画像予測復号プログラムＰ２００は、入力モジュールＰ２０１、復元モジュールＰ２０２、画像格納モジュールＰ２０３、及び制御モジュールＰ２０４を備えている。

上記のように構成された動画像予測符号化プログラムＰ１００及び動画像予測復号プログラムＰ２００は、図６及び図７に示す記録媒体１０に記憶可能であり、後述するコンピュータ３０により実行される。

図６は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図７は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。コンピュータとしては、ＣＰＵを具備しソフトウエアによる処理及び制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話なども含まれる。

図６に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムを実行することによって、本発明に係る動画像予測符号化装置として動作することが可能になる。同様に、コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムを実行することによって、本発明に係る動画像予測復号装置として動作することが可能になる。

図７に示すように、動画像予測符号化プログラム又は動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された動画像予測符号化プログラム又は動画像予測復号プログラムをメモリ１６に格納し、当該動画像予測符号化プログラム又は当該動画像予測復号プログラムを実行することができる。

本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、前記画像を画面内予測もしくは画面間予測のいずれかの方法で符号化することで、ランダム・アクセス・ポイントとなる画像を含む圧縮画像データを生成するとともに、各画像の出力順番情報と各画像のピクチャ・タイプに関する情報とを符号化する符号化手段と、前記圧縮画像データを復号し、再生画像に復元する復元手段と、前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、前記ピクチャ・タイプを判定し、判定結果に基づいて前記画像格納手段を制御する制御手段と、を具備し、前記制御手段は、
１）ＣＲＡピクチャ：ＣＲＡピクチャに続くタイプ２ピクチャが、前記ＣＲＡピクチャから復号が開始された場合に正しく復号することができる、ことを特徴とするピクチャ、
２）タイプ１ピクチャ：当該ピクチャに関連付けされたＣＲＡピクチャの後に復号され、前記ＣＲＡピクチャよりも先に出力されるピクチャであって、画面間予測を行うために、タイプ１ピクチャとしてラベル付けされた少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つピクチャ、
３）タイプ２ピクチャ：画面間予測を行うために、参照ピクチャのリストを持つピクチャであって、当該参照ピクチャのリストにある全ての参照ピクチャが、タイプ２ピクチャあるいはＣＲＡピクチャとしてラベル付けされ、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つのタイプのうちひとつとして、前記画像をラベル付けする、ことを特徴とする。

本発明に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、前記画像を画面内予測もしくは画面間予測のいずれかの方法で符号化することで、ランダム・アクセス・ポイントとなる画像を含む圧縮画像データを生成するとともに、各画像の出力順番情報と各画像のピクチャ・タイプに関する情報とを符号化する符号化ステップと、前記圧縮画像データを復号し、再生画像に復元する復元ステップと、前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納ステップと、前記ピクチャ・タイプを判定し、判定結果に基づいて前記画像格納ステップを制御する制御ステップと、を具備し、前記制御ステップにおいて、前記動画像予測符号化装置は、
１）ＣＲＡピクチャ：ＣＲＡピクチャに続くタイプ２ピクチャが、前記ＣＲＡピクチャから復号が開始された場合に正しく復号することができる、ことを特徴とするピクチャ、
２）タイプ１ピクチャ：当該ピクチャに関連付けされたＣＲＡピクチャの後に復号され、前記ＣＲＡピクチャよりも先に出力されるピクチャであって、画面間予測を行うために、タイプ１ピクチャとしてラベル付けされた少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つピクチャ、
３）タイプ２ピクチャ：画面間予測を行うために、参照ピクチャのリストを持つピクチャであって、当該参照ピクチャのリストにある全ての参照ピクチャが、タイプ２ピクチャあるいはＣＲＡピクチャとしてラベル付けされ、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つのタイプのうちひとつとして、前記画像をラベル付けする、ことを特徴とする。

本発明に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、前記画像を画面内予測もしくは画面間予測のいずれかの方法で符号化することで、ランダム・アクセス・ポイントとなる画像を含む圧縮画像データを生成するとともに、各画像の出力順番情報と各画像のピクチャ・タイプに関する情報とを符号化する符号化手段と、前記圧縮画像データを復号し、再生画像に復元する復元手段と、前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、前記ピクチャ・タイプを判定し、判定結果に基づいて前記画像格納手段を制御する制御手段、として機能させ、前記制御手段は、
１）ＣＲＡピクチャ：ＣＲＡピクチャに続くタイプ２ピクチャが、前記ＣＲＡピクチャから復号が開始された場合に正しく復号することができる、ことを特徴とするピクチャ、
２）タイプ１ピクチャ：当該ピクチャに関連付けされたＣＲＡピクチャの後に復号され、前記ＣＲＡピクチャよりも先に出力されるピクチャであって、画面間予測を行うために、タイプ１ピクチャとしてラベル付けされた少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つピクチャ、
３）タイプ２ピクチャ：画面間予測を行うために、参照ピクチャのリストを持つピクチャであって、当該参照ピクチャのリストにある全ての参照ピクチャが、タイプ２ピクチャあるいはＣＲＡピクチャとしてラベル付けされ、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つのタイプのうちひとつとして、前記画像をラベル付けする、ことを特徴とする。

本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し画面内予測もしくは画面間予測のいずれかによる符号化が行われることで得られた、ランダム・アクセス画像を含む圧縮画像データと、各画像の出力順番および各画像のピクチャ・タイプを示す符号化データとを入力する入力手段と、前記圧縮画像データと前記符号化データとを復号し、再生画像と出力順番情報とピクチャ・タイプ情報とに復元する復元手段と、前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、前記ピクチャ・タイプに基づいて、前記復元手段を制御する制御手段と、を具備し、前記ピクチャ・タイプは、
１）ＣＲＡピクチャ：ＣＲＡピクチャに続くタイプ２ピクチャが、当該ＣＲＡピクチャから復号が開始された場合に正しく復号することができる、ことを特徴とするピクチャ、
２）タイプ１ピクチャ：当該ピクチャに関連付けされたＣＲＡピクチャの後に復号され、前記ＣＲＡピクチャよりも先に出力されるピクチャであって、画面間予測を行うために、タイプ１ピクチャとしてラベル付けされた少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つピクチャ、
３）タイプ２ピクチャ：画面間予測を行うために、参照ピクチャのリストを持つピクチャであって、当該参照ピクチャのリストにある全ての参照ピクチャが、タイプ２ピクチャあるいはＣＲＡピクチャとしてラベル付けされ、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つのタイプのうちひとつとして各画像にラベル付けされており、前記復元手段は、符号化データの復号がＣＲＡピクチャから開始された場合、タイプ２ピクチャとしてラベル付けされた画像を復号し、タイプ１ピクチャとしてラベル付けされた画像の復号をスキップする、といった復号処理を、次のＣＲＡピクチャの処理直前までの期間、続ける、ことを特徴とする。

本発明に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し画面内予測もしくは画面間予測のいずれかによる符号化が行われることで得られた、ランダム・アクセス画像を含む圧縮画像データと、各画像の出力順番および各画像のピクチャ・タイプを示す符号化データとを入力する入力ステップと、前記圧縮画像データと前記符号化データとを復号し、再生画像と出力順番情報とピクチャ・タイプ情報とに復元する復元ステップと、前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納ステップと、前記ピクチャ・タイプに基づいて、前記復元ステップを制御する制御ステップと、を具備し、前記ピクチャ・タイプは、
１）ＣＲＡピクチャ：ＣＲＡピクチャに続くタイプ２ピクチャが、当該ＣＲＡピクチャから復号が開始された場合に正しく復号することができる、ことを特徴とするピクチャ、
２）タイプ１ピクチャ：当該ピクチャに関連付けされたＣＲＡピクチャの後に復号され、前記ＣＲＡピクチャよりも先に出力されるピクチャであって、画面間予測を行うために、タイプ１ピクチャとしてラベル付けされた少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つピクチャ、
３）タイプ２ピクチャ：画面間予測を行うために、参照ピクチャのリストを持つピクチャであって、当該参照ピクチャのリストにある全ての参照ピクチャが、タイプ２ピクチャあるいはＣＲＡピクチャとしてラベル付けされ、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つのタイプのうちひとつとして各画像にラベル付けされており、前記復元ステップにおいて、前記動画像予測復号装置は、符号化データの復号がＣＲＡピクチャから開始された場合、タイプ２ピクチャとしてラベル付けされた画像を復号し、タイプ１ピクチャとしてラベル付けされた画像の復号をスキップする、といった復号処理を、次のＣＲＡピクチャの処理直前までの期間、続ける、ことを特徴とする。

本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像に対し画面内予測もしくは画面間予測のいずれかによる符号化が行われることで得られた、ランダム・アクセス画像を含む圧縮画像データと、各画像の出力順番および各画像のピクチャ・タイプを示す符号化データとを入力する入力手段と、前記圧縮画像データと前記符号化データとを復号し、再生画像と出力順番情報とピクチャ・タイプ情報とに復元する復元手段と、前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、前記ピクチャ・タイプに基づいて、前記復元手段を制御する制御手段、として機能させ、前記ピクチャ・タイプは、
１）ＣＲＡピクチャ：ＣＲＡピクチャに続くタイプ２ピクチャが、当該ＣＲＡピクチャから復号が開始された場合に正しく復号することができる、ことを特徴とするピクチャ、
２）タイプ１ピクチャ：当該ピクチャに関連付けされたＣＲＡピクチャの後に復号され、前記ＣＲＡピクチャよりも先に出力されるピクチャであって、画面間予測を行うために、タイプ１ピクチャとしてラベル付けされた少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つピクチャ、
３）タイプ２ピクチャ：画面間予測を行うために、参照ピクチャのリストを持つピクチャであって、当該参照ピクチャのリストにある全ての参照ピクチャが、タイプ２ピクチャあるいはＣＲＡピクチャとしてラベル付けされ、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つのタイプのうちひとつとして各画像にラベル付けされており、前記復元手段は、符号化データの復号がＣＲＡピクチャから開始された場合、タイプ２ピクチャとしてラベル付けされた画像を復号し、タイプ１ピクチャとしてラベル付けされた画像の復号をスキップする、といった復号処理を、次のＣＲＡピクチャの処理直前までの期間、続ける、ことを特徴とする。

さて、本発明に係る動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラムは、以下の態様も採用することができる。

本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、前記画像を画面内予測もしくは画面間予測のいずれかの方法で符号化することで、ランダム・アクセス・ポイントとなる画像を含む圧縮画像データを生成するとともに、各画像の出力順番情報を符号化する符号化手段と、前記圧縮画像データを復号し、再生画像に復元する復元手段と、前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、前記画像格納手段を制御する制御手段と、を具備し、前記制御手段は、
１）符号化データの復号が開始されるＣＲＡピクチャ、
２）当該ピクチャに関連付けされたＣＲＡピクチャよりも後に復号され、前記関連付けされたＣＲＡピクチャよりも先に出力され、前記復元手段による復号処理がスキップされ、前記画像格納手段に格納されず出力されないピクチャであって、画面間予測を行うために、前記復元手段による復号処理がスキップされる少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つ、当該ピクチャ、
３）前記復元手段により復号され、必要に応じて参照のために前記画像格納手段に格納されるピクチャであって、当該ピクチャは画面間予測を行うために参照ピクチャのリストを持ち、当該参照ピクチャのリストにある全ての参照ピクチャが、前記復元手段により復号され、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つに、前記画像を分類し制御する、ことを特徴とする。

本発明に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、前記画像を画面内予測もしくは画面間予測のいずれかの方法で符号化することで、ランダム・アクセス・ポイントとなる画像を含む圧縮画像データを生成するとともに、各画像の出力順番情報を符号化する符号化ステップと、前記圧縮画像データを復号し、再生画像に復元する復元ステップと、前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納ステップと、前記画像格納ステップを制御する制御ステップと、を具備し、前記制御ステップにおいて、前記動画像予測符号化装置は、
１）符号化データの復号が開始されるＣＲＡピクチャ、
２）当該ピクチャに関連付けされたＣＲＡピクチャよりも後に復号され、前記関連付けされたＣＲＡピクチャよりも先に出力され、前記復元ステップによる復号処理がスキップされ、前記画像格納ステップにて格納されず出力されないピクチャであって、画面間予測を行うために、前記復元ステップによる復号処理がスキップされる少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つ、当該ピクチャ、
３）前記復元ステップにより復号され、必要に応じて参照のために前記画像格納ステップにて格納されるピクチャであって、当該ピクチャは画面間予測を行うために参照ピクチャのリストを持ち、当該参照ピクチャのリストにある全ての参照ピクチャが、前記復元ステップにより復号され、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つに、前記画像を分類し制御する、ことを特徴とする。

本発明に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、前記画像を画面内予測もしくは画面間予測のいずれかの方法で符号化することで、ランダム・アクセス・ポイントとなる画像を含む圧縮画像データを生成するとともに、各画像の出力順番情報を符号化する符号化手段と、前記圧縮画像データを復号し、再生画像に復元する復元手段と、前記再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、前記画像格納手段を制御する制御手段、として機能させ、前記制御手段は、
１）符号化データの復号が開始されるＣＲＡピクチャ、
２）当該ピクチャに関連付けされたＣＲＡピクチャよりも後に復号され、前記関連付けされたＣＲＡピクチャよりも先に出力され、前記復元手段による復号処理がスキップされ、前記画像格納手段に格納されず出力されないピクチャであって、画面間予測を行うために、前記復元手段による復号処理がスキップされる少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つ、当該ピクチャ、
３）前記復元手段により復号され、必要に応じて参照のために前記画像格納手段に格納されるピクチャであって、当該ピクチャは画面間予測を行うために参照ピクチャのリストを持ち、当該参照ピクチャのリストにある全ての参照ピクチャが、前記復元手段により復号され、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つに、前記画像を分類し制御する、ことを特徴とする。

本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し画面内予測もしくは画面間予測のいずれかによる符号化が行われることで得られた、ランダム・アクセス画像を含む圧縮画像データと、各画像の出力順番を示す符号化データとを入力する入力手段と、前記圧縮画像データと前記符号化データとを復号し、再生画像と出力順番情報とに復元する復元手段と、前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、前記復元手段を制御する制御手段と、を具備し、前記制御手段は、
１）符号化データの復号が開始されるＣＲＡピクチャ、
２）当該ピクチャに関連付けされたＣＲＡピクチャよりも後に復号され、前記関連付けされたＣＲＡピクチャよりも先に出力され、前記復元手段による復号処理がスキップされ、前記画像格納手段に格納されず出力されないピクチャであって、画面間予測を行うために、前記復元手段による復号処理がスキップされる少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つ、当該ピクチャ、
３）前記復元手段により復号され、必要に応じて参照のために前記画像格納手段に格納されるピクチャであって、当該ピクチャは画面間予測を行うために参照ピクチャのリストを持ち、当該参照ピクチャのリストにある全ての参照ピクチャが、前記復元手段により復号され、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つに、前記画像を分類して制御し、前記復元手段は、符号化データの復号が当該ピクチャに関連付けされたＣＲＡピクチャで開始された場合、当該ピクチャに関する参照ピクチャのリストにある全ての参照ピクチャが前記画像格納手段に格納されているか否かを判定し、参照ピクチャのリストにある全ての参照ピクチャが格納されていれば当該ピクチャを復号し、参照ピクチャのリストにある１つ以上の参照ピクチャが格納されていなければ当該ピクチャの復号をスキップする、といった復号処理を、次のＣＲＡピクチャの処理直前までの期間、続ける、ことを特徴とする。

本発明に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し画面内予測もしくは画面間予測のいずれかによる符号化が行われることで得られた、ランダム・アクセス画像を含む圧縮画像データと、各画像の出力順番を示す符号化データとを入力する入力ステップと、前記圧縮画像データと前記符号化データとを復号し、再生画像と出力順番情報とに復元する復元ステップと、前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納ステップと、前記復元ステップを制御する制御ステップと、を具備し、前記制御ステップにおいて、前記動画像予測復号装置は、
１）符号化データの復号が開始されるＣＲＡピクチャ、
２）当該ピクチャに関連付けされたＣＲＡピクチャよりも後に復号され、前記関連付けされたＣＲＡピクチャよりも先に出力され、前記復元ステップによる復号処理がスキップされ、前記画像格納ステップにて格納されず出力されないピクチャであって、画面間予測を行うために、前記復元ステップによる復号処理がスキップされる少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つ、当該ピクチャ、
３）前記復元ステップにより復号され、必要に応じて参照のために前記画像格納ステップにて格納されるピクチャであって、当該ピクチャは画面間予測を行うために参照ピクチャのリストを持ち、当該参照ピクチャのリストにある全ての参照ピクチャが、前記復元ステップにより復号され、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つに、前記画像を分類して制御し、前記復元ステップにおいて、前記動画像予測復号装置は、符号化データの復号が当該ピクチャに関連付けされたＣＲＡピクチャで開始された場合、当該ピクチャに関する参照ピクチャのリストにある全ての参照ピクチャが前記画像格納ステップにて格納されているか否かを判定し、参照ピクチャのリストにある全ての参照ピクチャが格納されていれば当該ピクチャを復号し、参照ピクチャのリストにある１つ以上の参照ピクチャが格納されていなければ当該ピクチャの復号をスキップする、といった復号処理を、次のＣＲＡピクチャの処理直前までの期間、続ける、ことを特徴とする。

本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像に対し画面内予測もしくは画面間予測のいずれかによる符号化が行われることで得られた、ランダム・アクセス画像を含む圧縮画像データと、各画像の出力順番を示す符号化データとを入力する入力手段と、前記圧縮画像データと前記符号化データとを復号し、再生画像と出力順番情報とに復元する復元手段と、前記再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、前記復元手段を制御する制御手段、として機能させ、前記制御手段は、
１）符号化データの復号が開始されるＣＲＡピクチャ、
２）当該ピクチャに関連付けされたＣＲＡピクチャよりも後に復号され、前記関連付けされたＣＲＡピクチャよりも先に出力され、前記復元手段による復号処理がスキップされ、前記画像格納手段に格納されず出力されないピクチャであって、画面間予測を行うために、前記復元手段による復号処理がスキップされる少なくとも１つの参照ピクチャ、あるいは、前記関連付けされたＣＲＡピクチャに復号順で先行する少なくとも１つの参照ピクチャ、を含む参照ピクチャのリストを持つ、当該ピクチャ、
３）前記復元手段により復号され、必要に応じて参照のために前記画像格納手段に格納されるピクチャであって、当該ピクチャは画面間予測を行うために参照ピクチャのリストを持ち、当該参照ピクチャのリストにある全ての参照ピクチャが、前記復元手段により復号され、当該ピクチャに関連付けされたＣＲＡピクチャ以降に復号されることを特徴とする、当該ピクチャ、
の計３つに、前記画像を分類して制御し、前記復元手段は、符号化データの復号が当該ピクチャに関連付けされたＣＲＡピクチャで開始された場合、当該ピクチャに関する参照ピクチャのリストにある全ての参照ピクチャが前記画像格納手段に格納されているか否かを判定し、参照ピクチャのリストにある全ての参照ピクチャが格納されていれば当該ピクチャを復号し、参照ピクチャのリストにある１つ以上の参照ピクチャが格納されていなければ当該ピクチャの復号をスキップする、といった復号処理を、次のＣＲＡピクチャの処理直前までの期間、続ける、ことを特徴とする。

本発明に係る動画像予測復号装置は、動画像を構成する複数のピクチャのための圧縮画像データであって、ピクチャごとに、ランダム・アクセスピクチャと、ランダム・アクセス・スキップ（ＲＡＳ）リーディングピクチャと、ｎｏｎ−ＲＡＳリーディングピクチャとを含む複数のピクチャ・タイプのうちのひとつとして当該ピクチャを識別するＮＡＬユニット・タイプの情報を有する圧縮画像データを含むビットストリームを入力する入力手段と、前記ピクチャ・タイプに基づいて、前記圧縮画像データを復号し、再生画像に復元する復元手段と、前記再生画像を出力する出力手段と、を具備し、
１）ランダム・アクセスピクチャは、前記ビットストリームの任意のランダム・アクセスピクチャから開始される復号プロセスが当該ランダム・アクセスピクチャから開始される場合、復号順で前記ビットストリームの最初のピクチャであり、
２）ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には復号できないピクチャであり、
３）ｎｏｎ−ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、復号できるピクチャであり、
ｎｏｎ−ＲＡＳリーディングピクチャの画面間予測のために使用される参照ピクチャを含む前記ｎｏｎ−ＲＡＳリーディングピクチャのリファレンス・ピクチャ・セットは、ＲＡＳリーディングピクチャと、関連するランダム・アクセスピクチャに復号順で先行するピクチャとのいずれも含まず、
第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まない、ことを特徴とする。

また、第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャに復号順で後続する他のピクチャの画面間予測に使用される参照ピクチャを含む、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まない、ことを特徴としてもよい。

本発明に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数のピクチャのための圧縮画像データであって、ピクチャごとに、ランダム・アクセスピクチャと、ランダム・アクセス・スキップ（ＲＡＳ）リーディングピクチャと、ｎｏｎ−ＲＡＳリーディングピクチャとを含む複数のピクチャ・タイプのうちのひとつとして当該ピクチャを識別するＮＡＬユニット・タイプの情報を有する圧縮画像データを含むビットストリームを入力する入力ステップと、前記ピクチャ・タイプに基づいて、前記圧縮画像データを復号し、再生画像に復元する復元ステップと、前記再生画像を出力する出力ステップと、を具備し、
１）ランダム・アクセスピクチャは、前記ビットストリームの任意のランダム・アクセスピクチャから開始される復号プロセスが当該ランダム・アクセスピクチャから開始される場合、復号順で前記ビットストリームの最初のピクチャであり、
２）ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には復号できないピクチャであり、
３）ｎｏｎ−ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、復号できるピクチャであり、
ｎｏｎ−ＲＡＳリーディングピクチャの画面間予測のために使用される参照ピクチャを含む前記ｎｏｎ−ＲＡＳリーディングピクチャのリファレンス・ピクチャ・セットは、ＲＡＳリーディングピクチャと、関連するランダム・アクセスピクチャに復号順で先行するピクチャとのいずれも含まず、
第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まない、ことを特徴とする。

また、第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャに復号順で後続する他のピクチャの画面間予測に使用される参照ピクチャを含む、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まない、ことを特徴としてもよい。

本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数のピクチャのための圧縮画像データであって、ピクチャごとに、ランダム・アクセスピクチャと、ランダム・アクセス・スキップ（ＲＡＳ）リーディングピクチャと、ｎｏｎ−ＲＡＳリーディングピクチャとを含む複数のピクチャ・タイプのうちのひとつとして当該ピクチャを識別するＮＡＬユニット・タイプの情報を有する圧縮画像データを含むビットストリームを入力する入力手段と、前記ピクチャ・タイプに基づいて、前記圧縮画像データを復号し、再生画像に復元する復元手段と、前記再生画像を出力する出力手段と、として機能させ、
１）ランダム・アクセスピクチャは、前記ビットストリームの任意のランダム・アクセスピクチャから開始される復号プロセスが当該ランダム・アクセスピクチャから開始される場合、復号順で前記ビットストリームの最初のピクチャであり、
２）ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には復号できないピクチャであり、
３）ｎｏｎ−ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、復号できるピクチャであり、
ｎｏｎ−ＲＡＳリーディングピクチャの画面間予測のために使用される参照ピクチャを含む前記ｎｏｎ−ＲＡＳリーディングピクチャのリファレンス・ピクチャ・セットは、ＲＡＳリーディングピクチャと、関連するランダム・アクセスピクチャに復号順で先行するピクチャとのいずれも含まず、
第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まない、ことを特徴とする。

また、第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャに復号順で後続する他のピクチャの画面間予測に使用される参照ピクチャを含む、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まない、ことを特徴としてもよい。

本発明に係る動画像予測復号装置は、動画像を構成する複数のピクチャのための圧縮画像データであって、ピクチャごとに、ランダム・アクセスピクチャと、ランダム・アクセス・スキップ（ＲＡＳ）リーディングピクチャと、ｎｏｎ−ＲＡＳリーディングピクチャとを含む複数のピクチャ・タイプのうちのひとつとして当該ピクチャを識別するＮＡＬユニット・タイプの情報を有する圧縮画像データを含むビットストリームを入力する入力手段と、前記ピクチャ・タイプに基づいて、前記圧縮画像データを復号し、再生画像に復元する復元手段と、前記再生画像を出力する出力手段と、を具備し、
１）ランダム・アクセスピクチャは、前記ビットストリームの任意のランダム・アクセスピクチャから開始される復号プロセスが当該ランダム・アクセスピクチャから開始される場合、復号順で前記ビットストリームの最初のピクチャであり、
２）ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には復号できないピクチャであり、
３）ｎｏｎ−ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、復号できるピクチャであり、
第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まず、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には、ＲＡＳリーディングピクチャは出力されない、ことを特徴とする。

本発明に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数のピクチャのための圧縮画像データであって、ピクチャごとに、ランダム・アクセスピクチャと、ランダム・アクセス・スキップ（ＲＡＳ）リーディングピクチャと、ｎｏｎ−ＲＡＳリーディングピクチャとを含む複数のピクチャ・タイプのうちのひとつとして当該ピクチャを識別するＮＡＬユニット・タイプの情報を有する圧縮画像データを含むビットストリームを入力する入力ステップと、前記ピクチャ・タイプに基づいて、前記圧縮画像データを復号し、再生画像に復元する復元ステップと、前記再生画像を出力する出力ステップと、を具備し、
１）ランダム・アクセスピクチャは、前記ビットストリームの任意のランダム・アクセスピクチャから開始される復号プロセスが当該ランダム・アクセスピクチャから開始される場合、復号順で前記ビットストリームの最初のピクチャであり、
２）ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には復号できないピクチャであり、
３）ｎｏｎ−ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、復号できるピクチャであり、
第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まず、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には、ＲＡＳリーディングピクチャは出力されない、ことを特徴とする。

１０…記録媒体、３０…コンピュータ、１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…入力端子、１１４…フレームメモリ管理器、２００…動画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…フレームメモリ管理器、２１０…制御器、Ｐ１００…動画像予測符号化プログラム、Ｐ１０１…入力モジュール、Ｐ１０２…符号化モジュール、Ｐ１０３…復元モジュール、Ｐ１０４…画像格納モジュール、Ｐ１０５…制御モジュール、Ｐ２００…動画像予測復号プログラム、Ｐ２０１…入力モジュール、Ｐ２０２…復元モジュール、Ｐ２０３…画像格納モジュール、Ｐ２０４…制御モジュール。

Claims (3)

1. 動画像予測復号装置により実行される動画像予測復号方法であって、
   動画像を構成する複数のピクチャのための圧縮画像データであって、ピクチャごとに、ランダム・アクセスピクチャと、ランダム・アクセス・スキップ（ＲＡＳ）リーディングピクチャと、ｎｏｎ−ＲＡＳリーディングピクチャとを含む複数のピクチャ・タイプのうちのひとつとして当該ピクチャを識別するＮＡＬユニット・タイプの情報を有する圧縮画像データを含むビットストリームを入力する入力ステップと、
   前記ピクチャ・タイプに基づいて、前記圧縮画像データを復号し、再生画像に復元する復元ステップと、
   前記再生画像を出力する出力ステップと、
   を具備し、
   １）ランダム・アクセスピクチャは、前記ビットストリームの任意のランダム・アクセスピクチャから開始される復号プロセスが当該ランダム・アクセスピクチャから開始される場合、復号順で前記ビットストリームの最初のピクチャであり、
   ２）ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、関連するランダム・アクセスピクチャが復号順で前記ビットストリームの最初のピクチャである場合には復号できないピクチャであり、
   ３）ｎｏｎ−ＲＡＳリーディングピクチャは、関連するランダム・アクセスピクチャに出力順で先行するピクチャであって、復号できるピクチャであり、
   ｎｏｎ−ＲＡＳリーディングピクチャの画面間予測のために使用される参照ピクチャを含む前記ｎｏｎ−ＲＡＳリーディングピクチャのリファレンス・ピクチャ・セットは、ＲＡＳリーディングピクチャと、関連するランダム・アクセスピクチャに復号順で先行するピクチャとのいずれも含まず、
   第２のランダム・アクセスピクチャが第１のランダム・アクセスピクチャの後に復号される場合、前記第２のランダム・アクセスピクチャのリファレンス・ピクチャ・セットは、前記第１のランダム・アクセスピクチャに復号順で先行するいずれのピクチャも含まず、
   前記復元ステップにおいて、前記動画像予測復号装置は、当該ピクチャの復号開始時に、当該ピクチャが正しく復号されるか否かを判定する、
   ことを特徴とする動画像予測復号方法。
2. 前記復元ステップの判定において、前記動画像予測復号装置は、当該ピクチャが前記ＲＡＳリーディングピクチャであるか否かを判定し、当該ピクチャが前記ＲＡＳリーディングピクチャであれば当該ピクチャが正しく復号されないと判定し、当該ピクチャが前記ＲＡＳリーディングピクチャでなければ当該ピクチャが正しく復号されると判定する、
   ことを特徴とする請求項１に記載の動画像予測復号方法。
3. 前記復元ステップの判定において、前記動画像予測復号装置は、当該ピクチャに関する参照ピクチャのリストにある全ての参照ピクチャが格納されているか否かを判定し、参照ピクチャのリストにある全ての参照ピクチャが格納されていれば当該ピクチャが正しく復号されると判定し、参照ピクチャのリストにある１つ以上の参照ピクチャが格納されていなければ当該ピクチャが正しく復号されないと判定する、
   ことを特徴とする請求項１に記載の動画像予測復号方法。
   

Images