JP5753595B2 - 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム - Google Patents

Description

本発明は、動画像予測符号化装置、方法、及びプログラム、並びに、動画像予測復号装置、方法、及びプログラムに関する発明である。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割し、各ブロックに対し符号化・復号処理を行う。符号化効率を高めるため、下記のような予測符号化方法が用いられる。画面内の予測符号化では、対象ブロックと同じ画面内の隣接する既再生の画像信号（過去に符号化された画像データを復元したもの）を用いて予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内の既再生の画像信号を参照して信号の変位を検索し、その変位分を補償して予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。このとき動きの検索・補償を行うために参照される既再生の画像を、参照画像という。

また、双方向画面間予測では、表示時間順において対象画像の前に表示される過去の画像だけではなくて、対象画像の後に表示される未来の画像も併せて参照する場合がある（ただし、未来の画像は対象画像よりも先に符号化し、予め再生しておく必要がある）。そして、過去の画像から取得された予測信号と未来の画像から取得された予測信号の両方を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であるとともに、両方の予測信号に含まれている雑音を軽減する効果がある。

さらに、Ｈ．２６４の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化して再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。そして、対象ブロックの画素信号とこの最適な予測信号との差分を求め、差分に対し離散コサイン変換を施し量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報（参照インデックス）及び最適な予測信号を参照画像内のどの領域から取得するかに関する情報（動きベクトル）も併せて符号化する。Ｈ．２６４では、再生された４ないし５枚の画像が参照画像としてフレームメモリに格納される。なお、本明細書ではフレームメモリには、いわゆる再生画像バッファ（decoded picture buffer）を含むものとする。

画面間予測符号化は、画像間の相関を活かして効率よく圧縮符号化することができるものの、テレビのチャンネルの切り替えで映像番組を途中から視聴できるようにするためには、画面間の依存性を断ち切る必要がある。動画像の圧縮ビットストリームの中で、画面間の依存性のない箇所を、以下「ランダムアクセスポイント」という。チャンネルの切り替えの他に、動画像を編集する場合及び異なる動画像の圧縮データをつなぐ場合にも、ランダムアクセスポイントは必要となる。Ｈ．２６４ではＩＤＲピクチャを指定し、指定されたＩＤＲピクチャを上述の画面内予測符号化方法で符号化すると同時に、フレームメモリ内に格納されている再生画像を不要と設定して、当該再生画像を参照不可とすることで実質的にフレームメモリを開放する（リフレッシュする）。このような処理は「メモリ・リフレッシュ」と呼ばれ、また場合によっては「フレーム・メモリ・リフレッシュ」又は「バッファ・リフレッシュ」とも呼ばれる。

図１１（Ａ）は、ＩＤＲピクチャを含む動画像の予測構造を示す模式図である。この図１１（Ａ）に示す複数の画像９０１、９０２、…、９０９は、動画像を構成する画像群の一部であり、各画像を「ピクチャ」又は「フレーム」ともいう。各矢印は予測の方向を示す。例えば、画像９０２は、画像９０２に向かう２つの矢印の起点である画像９０３、９０５を参照画像として予測信号を取得する。なお、図１１（Ａ）の画像９０１は、図１１（Ａ）に示されていない過去の画像を参照して符号化されるものとする。次に画像９０２，９０３，９０４を符号化するが、その際、圧縮率を高めるために上述の双方向予測符号化方法を用いる。即ち、先に画像９０５を符号化・再生して、次に、既に再生された画像９０１と９０５を参照して画像９０３を符号化する（図１１（Ａ）では画像９０１からの矢印は省略している）。そして、画像９０２、９０４の各々は、再生された３つの画像９０１、９０５、９０３を参照画像として符号化する（図１１（Ａ）では画像９０１からの矢印は省略している）。同じように画像９０６、９０７、９０８は画像９０５と９０９を参照して符号化する。そして、このようにして符号化（圧縮）された各画像の圧縮データは、図１１（Ｂ）のような順序で伝送もしくは蓄積される。図１１（Ｂ）の圧縮データと図１１（Ａ）の画像とは、Ｐ１、ＩＤＲ５、Ｂ３などの共通の符号によって対応関係を示している。例えば、圧縮データ９１０は、同じ符号Ｐ１を付した画像９０１の圧縮データであり、圧縮データ９１１は、同じ符号ＩＤＲ５を付した画像９０５の圧縮データである。

さて、ランダムアクセスを考慮して、画像９０５をＩＤＲピクチャに指定して画面内予測符号化を行う場合を考える。この場合、Ｈ．２６４におけるＩＤＲのルールによれば、圧縮データ９１１を復号することで画像９０５を再生した直後に（又は圧縮データ９１１の復号を開始する直前でもよいが）、フレームメモリに格納されている全ての参照画像（即ち、画像９０１を含む過去の再生画像）を不要と設定し参照不可にしなければならない。その結果、図１１（Ａ）の画像９０１は参照不可になり、画像９０２、９０３、９０４の符号化では、画像９０１からの参照ができなくなる。このようなＩＤＲピクチャに係る処理は、例えば下記の非特許文献１に記述されている。

国際公開公報ＷＯ２００５／００６７６３Ａ１

Iain E.G. Richardson, "H.264 and MPEG-4 Video Compression", John Wiley & Sons, 2003, section6.4.2.

ＩＤＲピクチャの導入によって、上述の予測に用いられる参照画像が制限されるため、画像の表示順においてＩＤＲピクチャよりも前にある画像（図１１（Ａ）の画像９０２、９０３、９０４）を効率よく符号化することができなくなる。この点を解決するために上記特許文献１には、フレームメモリのリフレッシュのタイミング（即ち、フレームメモリ内の参照画像を不要と設定するタイミング）を、ＩＤＲピクチャよりも後に符号化される画像の符号化実行時まで遅延させる方法が開示されている。フレームメモリのリフレッシュのタイミングを遅延させることにより、図１１（Ａ）の画像９０２、９０３、９０４の符号化実行時に画像９０１がフレームメモリに残っているため、画像９０２、９０３、９０４の符号化において画像９０１を参照できるようになり、効率よく符号化することができる。

特許文献１によれば、メモリ・リフレッシュのタイミングを遅延させる方法として、以下の方法が開示されている。
方法１：ＩＤＲピクチャに、遅延させる画像の枚数に関する情報を付加する。
方法２：メモリ・リフレッシュを実施するタイミングに対応する画像の圧縮データに、メモリ・リフレッシュの実行を指示する信号（フラグ）を付加する。
方法３：ＩＤＲピクチャの後に現れる最初のＰピクチャ（片方向予測画像）をリフレッシュのタイミングとする。

ところが、上記の方法は下記の欠点がある。
欠点１：上記の方法１では、動画像を編集する際に、複数の画像のうち一部の画像を捨てて別の画像をつないだり、別の画像を挿入したりすることが行われるため、ＩＤＲピクチャに付加されていた「遅延させる画像の枚数に関する情報」が適切でなくなり、誤動作を招くという不都合がある。
欠点２：上記の方法２では、同様にフラグを用いる場合でも、動画像の編集によって、対応する画像の圧縮データが削除されると、削除された圧縮データに付加されていたフラグがなくなり、誤動作を招くという不都合がある。
欠点３：上記の方法３では、メモリ・リフレッシュの合図（タイミング）はＰピクチャに限定されてしまうため、他の方法で符号化できなくなるという不都合がある。例えば、シーンの変わり目に、画面内予測（Ｉピクチャ）として符号化することができなくなる。

なお、ここでの「誤動作」とは、メモリ・リフレッシュが適切なタイミングで行われないことに起因し、後続のデータを復号する際に必要となる参照画像がフレームメモリに格納されていない状態となり、その結果、後続の画像が正しく再生できなくなることを意味する。

本発明は、上記の課題を解決し、ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を解消することを目的とする。

上記目的を達成するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段と、を具備し、前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、ことを特徴とする。

上記の符号化手段は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。

また、上記の符号化手段は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像については、各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。

本発明に係る動画像予測復号装置は、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段と、を具備し、前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。

上記の復元手段は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該復号対象画像の表示順番情報を復元することが望ましい。

また、上記の復元手段は、ランダムアクセス画像の次に復号対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する復号処理の完了後に最初に復号対象となる画像まで、の各画像についての表示順番情報については、当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該各画像の表示順番情報を復元することが望ましい。

本発明に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記画像格納手段を制御するメモリ管理ステップと、を具備し、前記メモリ管理ステップにおいて前記動画像予測符号化装置は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。

上記の符号化ステップにおいて前記動画像予測符号化装置は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。

また、上記の符号化ステップにおいて前記動画像予測符号化装置は、ランダムアクセス画像の次に符号化対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、の各画像については、各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化することが望ましい。

本発明に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記画像格納手段を制御するメモリ管理ステップと、を具備し、前記メモリ管理ステップにおいて前記動画像予測復号装置は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。

上記の復元ステップにおいて前記動画像予測復号装置は、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該復号対象画像の表示順番情報を復元することが望ましい。

また、上記の復元ステップにおいて前記動画像予測復号装置は、ランダムアクセス画像の次に復号対象となる画像から、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する復号処理の完了後に最初に復号対象となる画像まで、の各画像についての表示順番情報については、当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、前記ランダムアクセス画像の表示順番情報とを、加算することで、当該各画像の表示順番情報を復元することが望ましい。

本発明に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段、として動作させ、前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。

本発明に係る動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、前記画像格納手段を制御するメモリ管理手段、として動作させ、前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュすることを特徴とする。

以上のような本発明により、ランダムアクセスの箇所となる画像の前後にある画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を解消する。

本発明では、動画像を構成する各画像又は圧縮符号化された画像データに付随される表示順番を示す情報（以下「表示順番情報」という（従来技術における表示時間、時間参照情報、テンポラルリファレンスなどに相当））を利用して、ランダムアクセスの箇所となる画面内予測画像（イントラフレーム）より後に行われるメモリ・リフレッシュのタイミングを設定することにより、表示順番においてランダムアクセス画像の前後にある複数の画像を効率よく圧縮符号化すると同時に、従来技術の欠点に係る不都合を以下のように解消することができる。

即ち、表示順番情報は、各画像には必ず付随するものであるため、新たな情報（フラグ）を送る必要がなく、従来技術の欠点２は解消される。

また、動画像の編集（例えば一部の画像を捨てる、別の画像をつなぐ等）を行う場合でも、動画像を構成する各画像の表示順番情報は適切に設定されるため、誤動作を引き起こすことはなく、従来技術の欠点１は解消される。

さらに、本発明によるメモリ・リフレッシュのタイミングは、Ｐピクチャに限定されず、画像の符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に依存しないため、メモリのリフレッシュの要否にかかわらず符号化効率の最もよい符号化タイプで処理することができ、従来技術の欠点３は解消される。

本発明の実施形態に係る動画像予測符号化装置の構成を示す機能ブロック図である。 本発明の実施形態に係る動画像予測復号装置の構成を示す機能ブロック図である。 本発明の実施形態に係る動画像予測符号化・復号方法を示す流れ図である。 本発明の実施形態に係る動画像予測符号化・復号方法を説明するための模式図である。 本発明の実施形態の変形例に係る動画像予測符号化・復号方法を示す流れ図である。 本発明の実施形態の変形例に係る動画像予測符号化・復号方法を説明するための模式図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。 動画像予測符号化プログラムの構成例を示すブロック図である。 動画像予測復号プログラムの構成例を示すブロック図である。 従来の動画像予測符号化・復号方法の予測構造を示す模式図である。

以下、本発明の実施形態について、図１〜図１０を用いて説明する。

［動画像予測符号化装置について］
図１は本発明の実施形態に係る動画像予測符号化装置１００の構成を示す機能ブロック図である。図１に示すように、動画像予測符号化装置１００は、機能的な構成として、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、入力端子１１３、及びフレームメモリ管理器１１４を備える。各機能ブロックの動作は、後述する動画像予測符号化装置１００の動作の中で説明する。

以下、動画像予測符号化装置１００の動作を述べる。符号化処理の対象となる複数枚の画像から成る動画像の信号は入力端子１０１に入力され、各画像はブロック分割器１０２により、複数の領域に分割される。本実施形態では、各画像は、８×８の画素から成る複数のブロックに分割されるが、これ以外のブロックの大きさ又はブロック形状に分割してもよい。次に、符号化処理の対象となるブロック（以下「対象ブロック」と呼ぶ）を対象として、後述の予測方法により予測信号を生成する。本実施形態では、予測方法として、画面間予測と画面内予測の２種類の予測方法が利用可能とされており、画面間予測では背景技術で述べた双方向画面間予測も利用可能とされている。以下、画面間予測と画面内予測の各々の基本動作を概説する。

画面間予測では、過去に符号化された後に復元された再生画像を参照画像として用いて、この参照画像から、対象ブロックに対する誤差の最も小さい予測信号を与える動き情報（例えば動きベクトル）を求める。この処理は「動き検出」と呼ばれる。また、場合に応じて、対象ブロックを再分割し、再分割された小領域を対象として画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい、小領域の分割方法及び各小領域の動き情報を決定する。本実施形態では、画面間予測は、予測信号生成器１０３により行われ、対象ブロックはラインＬ１０２経由で、参照画像はラインＬ１０４経由で、それぞれ予測信号生成器１０３に入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。その詳細は従来の技術であるＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４のいずれかの方法と同じである。決定された小領域の分割方法情報及び各小領域の動き情報は、予測信号生成器１０３からラインＬ１１２経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で、その符号化データはラインＬ１１１経由で出力端子１１２から送出される。また、複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（リファレンスインデックス）も、予測信号生成器１０３からラインＬ１１２経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で、その符号化データはラインＬ１１１経由で出力端子１１２から送出される。なお、本実施形態では、一例として、４枚ないし５枚の再生画像がフレームメモリ１０４に格納され、参照画像として用いられる。予測信号生成器１０３は、小領域の分割方法、及び各小領域についての参照画像と動き情報に基づいて、フレームメモリ１０４から参照画像を取得し、参照画像及び動き情報から予測信号（画面間予測により得られた予測信号という意味で「画面間予測信号」という）を生成する。このように生成された画面間予測信号は、ラインＬ１０３経由で減算器１０５及び後述の処理に係る加算器１１０に送られる。

一方、画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には、予測信号生成器１０３は、同じ画面内にある既再生の画素信号をフレームメモリ１０４から取得し、既再生の画素信号を外挿することによって予測信号（画面内予測により得られた予測信号という意味で「画面内予測信号」という）を生成する。生成された画面内予測信号は、予測信号生成器１０３からラインＬ１０３経由で減算器１０５に送られる。予測信号生成器１０３における画面内予測信号の生成方法は、従来の技術であるＨ．２６４の方法と同じである。なお、画面内予測における外挿の方法に関する情報は、予測信号生成器１０３からラインＬ１１２経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化された上で、符号化データは出力端子１１２から送出される。

以上、画面間予測と画面内予測の各々の基本動作を概説した。実際には、対象ブロックごとに、上述のように求められた画面間予測信号と画面内予測信号のうち、誤差の最も小さいものが選択され、予測信号生成器１０３からラインＬ１０３経由で減算器１０５に送られる。

ところで、符号化される一枚目の画像については、それより前に画像がないため、当該一枚目の画像内の全ての対象ブロックは画面内予測で処理される。また、テレビのチャンネルの切り替えに備えて、ランダムアクセスポイントとして、ある画像内の全ての対象ブロックを画面内予測で定期的に処理する。このような画像はイントラフレームとよび、Ｈ．２６４ではＩＤＲピクチャと呼ぶ。

減算器１０５は、ラインＬ１０２経由で受け取った対象ブロックの信号から、ラインＬ１０３経由で受け取った予測信号を引き算することで、残差信号を生成する。この残差信号は変換器１０６にて離散コサイン変換され、その各変換係数は量子化器１０７にて量子化される。最後に、量子化された変換係数はエントロピー符号化器１１１により符号化され、得られた符号化データは、予測方法に関する情報とともにラインＬ１１１経由で出力端子１１２より送出される。

一方、後続の対象ブロックに対して画面内予測もしくは画面間予測を行うために、上記量子化された変換係数（対象ブロックの符号化データ）は、逆量子化器１０８にて逆量子化された後に逆変換器１０９にて逆離散コサイン変換され、これにより残差信号が復元される。そして、加算器１１０により、復元された残差信号とラインＬ１０３から送られた予測信号とが加算され、これにより対象ブロックの信号が再生され、得られた再生信号はフレームメモリ１０４に格納される。なお、本実施形態では変換器１０６と逆変換器１０９を用いているが、これらに代わる他の変換処理を用いてもよい。また、場合によっては、変換器１０６と逆変換器１０９がなくてもよい。

ところで、フレームメモリ１０４は有限なものであり、すべての再生画像を格納することは実際には不可能である。そのため、後続の画像の符号化に用いられる再生画像のみがフレームメモリ１０４に格納される。このフレームメモリ１０４を制御するのがフレームメモリ管理器１１４である。フレームメモリ管理器１１４は、フレームメモリ１０４に格納されているＮ枚（例えばＮ＝４）の再生画像の中から、最も古い再生画像を消去することで、参照画像として用いられる直近の再生画像をフレームメモリ１０４に格納できるように制御する。実際にフレームメモリ管理器１１４には、入力端子１１３より各画像の表示順番情報及び画像を符号化するタイプ情報（画面内予測符号化、画面間予測符号化、双方向予測符号化）が入力され、これらの情報に基づいてフレームメモリ管理器１１４が動作する。このとき、各画像の表示順番情報は、フレームメモリ管理器１１４からラインＬ１１４経由でエントロピー符号化器１１１に送られ、エントロピー符号化器１１１により符号化され、この符号化された表示順番情報は、符号化された画像データとともに、ラインＬ１１１経由で出力端子１１２より送出される。なお、表示順番情報は、各画像に付随するものであり、画像の順番を示す情報や、画像を表示する時刻を示す情報（例えば画像の表示参照時間（テンポラルリファレンス））でもいい。本実施形態では、例えば、表示順番情報をそのまま二値符号化により符号化する。また、フレームメモリ管理器１１４による制御方法については後述する。

［動画像予測復号装置について］
次に、本発明に係る動画像予測復号装置について説明する。図２は本発明の実施形態に係る動画像予測復号装置２００の構成を示す機能ブロック図である。図２に示すように、動画像予測復号装置２００は、機能的な構成として、入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、予測信号生成器２０８、フレームメモリ２０７、出力端子２０６、及びフレームメモリ管理器２０９を備える。各機能ブロックの動作は、後述する動画像予測復号装置２００の動作の中で説明する。なお、復号に係る手段としては、逆量子化器２０３及び逆変換器２０４に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器２０４を無くし逆量子化器２０３のみで構成してもよい。

以下、動画像予測復号装置２００の動作を述べる。上述した符号化方法で得られた圧縮データは入力端子２０１から入力される。この圧縮データには、対象ブロックの残差信号と、予測信号の生成に関する情報と、量子化パラメータと、画像の表示順番情報と、画像の符号化タイプに関する情報とが含まれている。このうち、予測信号の生成に関する情報としては、例えば画面間予測の場合は、ブロック分割に関する情報（小領域の分割方法情報（例えばブロックのサイズ等））、各小領域の動き情報、及びリファレンスインデックスが含まれ、画面内予測の場合は外挿の方法に関する情報が含まれている。

データ解析器２０２は、入力された圧縮データから、対象ブロックの残差信号、予測信号の生成に関連する情報、量子化パラメータ、画像の表示順番情報、及び画像の符号化タイプに関する情報を抽出する。これらのうち、対象ブロックの残差信号及び量子化パラメータは、ラインＬ２０２経由で逆量子化器２０３に送られ、逆量子化器２０３は量子化パラメータをもとに対象ブロックの残差信号を逆量子化し、さらに、逆変換器２０４は逆量子化の結果を逆離散コサイン変換する。このようにして復元された残差信号はラインＬ２０４経由で加算器２０５に送られる。

一方、抽出された予測信号の生成に関する情報は、ラインＬ２０６ｂ経由で予測信号生成器２０８に送られる。予測信号生成器２０８は、予測信号の生成に関する情報をもとに、フレームメモリ２０７内の複数の参照画像から適当な参照画像を取得し、当該適当な参照画像をもとに予測信号を生成する。生成された予測信号は、ラインＬ２０８経由で加算器２０５に送られ、加算器２０５により上記復元された残差信号に加算され、その結果、対象ブロックの信号が再生される。再生された対象ブロックの信号は、ラインＬ２０５経由で出力端子２０６から出力されると同時に、再生画像としてフレームメモリ２０７に格納される。

フレームメモリ２０７には、後続の画像の復号や再生に用いられる再生画像が格納されている。フレームメモリ管理器２０９は、フレームメモリ２０７に格納されているＮ枚（ここでは一例としてＮ＝４であるが、予め決められた整数でもよい）の再生画像から最も古い再生画像を消去することで、参照画像として用いられる直近の再生画像をフレームメモリ２０７に格納できるように制御する。このフレームメモリ管理器２０９は、ラインＬ２０６ａ経由で入力される対象画像の表示順番情報と画像の符号化タイプに関する情報に基づいて動作する。フレームメモリ管理器２０９による制御方法については、後述する。

なお、ランダムアクセスポイントとなるイントラフレーム（画面内予測画像）について、Ｈ．２６４ではＩＤＲピクチャ（instantaneous decoder refresh）と呼ばれているが、この名称は、ＩＤＲピクチャを符号化もしくは復号した後すぐに（instantaneous）フレームメモリ(decoder buffer)をリフレッシュすることに由来している。これに対し、本発明によれば、ランダムアクセスポイントとなるイントラフレームを符号化又は復号した後すぐに（又は符号化もしくは復号する直前に）、フレームメモリのリフレッシュを実行するのではなく、一時的に待機（もしくは遅延）させた上でフレームメモリのリフレッシュを実行するため、本発明ではこの画像をＤＤＲピクチャ（deferred decoder refresh又はdelayed decoder refresh）と呼ぶ。以下に詳しく説明するように、フレームメモリのリフレッシュのタイミングは、ＤＤＲピクチャの表示順番情報と、処理（符号化又は復号）の対象となる画像（以下「処理対象画像」という）の表示順番情報とを比較することで決定する。

［動画像予測符号化方法及び動画像予測復号方法の特徴的な処理動作］
次に図３と図４を用いて、本発明による動画像予測符号化方法及び動画像予測復号方法の動作を説明する。図３は本実施形態に係る動画像予測符号化・復号方法を示す流れ図であり、以下では、図３を動画像の符号化方法として説明する。ただし、図３は動画像の復号方法にも適用可能である。

まず、図３に用いられる変数の意味を説明する。ＴＲは表示順番情報、ＴＲ＿ＤＤＲはＤＤＲ画像の表示順番情報、ＴＲ＿ＣＵＲは当該時点の処理対象画像の表示順番情報、ＲＰはフレームメモリ１０４のリフレッシュが待機中かどうかを示す状態変数である。ＲＰ＝１の場合は、ＤＤＲピクチャが処理対象となり、その後、フレームメモリ１０４のリフレッシュがまだ実行されていない状態（即ち、フレームメモリ・リフレッシュが待機中の状態）を示しており、ＲＰ＝０の場合は、フレームメモリ１０４のリフレッシュが既に実行済みの状態又はリフレッシュ処理を必要としない状態を示す。

図３において、動画像の符号化が開始するときに、まず、ＴＲ＿ＤＤＲとＲＰを０に初期化する（ステップ３０１）。ステップ３０２では、ＲＰ＝１であり且つＴＲ＿ＣＵＲがＴＲ＿ＤＤＲより大きいかどうかを確認する。この条件が満たされると、フレームメモリ・リフレッシュが待機中であり且つ処理対象の画像が表示順番においてＤＤＲピクチャよりも後の画像であることを意味するので、フレームメモリ１０４のリフレッシュ処理（即ち、フレームメモリ１０４に格納されている参照画像を不要と設定する処理）を実行する（ステップ３０３）。ただし、ここで、不要と設定する参照画像は、表示順番情報ＴＲが直近のＤＤＲピクチャの表示順番情報（ＴＲ＿ＤＤＲ）よりも小さい参照画像のみである。また、直近のＤＤＲピクチャ（又は画面内予測符号化画像）は、不要と設定しない。以上のようなリフレッシュ処理が終わったことで、状態変数ＲＰをＲＰ＝０に設定する。

一方、ステップ３０２で上記の条件が満たされない場合は、ステップ３０４に進み、当該時点の処理対象画像がＤＤＲピクチャであるかどうかを確認する。なお、動画像予測符号化装置１００では、画像の符号化タイプ（ＤＤＲ、画面間予測符号化又は双方向予測符号化）に関する情報は、図１の入力端子１１３経由で、図示しない制御装置から与えられるものとする。ステップ３０４で、当該時点の処理対象画像がＤＤＲピクチャである場合は、ステップ３０５にて当該時点の処理対象画像の表示順番情報ＴＲ＿ＣＵＲをＴＲ＿ＤＤＲに設定し、状態変数ＲＰをＲＰ＝１と設定した上でステップ３０６に進む。一方、ステップ３０４で条件が満たされない場合はステップ３０６に進む。

ステップ３０６では、処理対象画像に相当する再生画像を得る。ここでは、図１で説明した符号化方法で、処理対象画像を符号化して圧縮データを得て、さらに圧縮データを復号して再生画像（処理対象画像に相当する再生画像）を得る。なお、符号化により得られた圧縮データは、動画像予測符号化装置１００の外部へ送出される。又は、圧縮データは動画像予測符号化装置１００内の図示しないメモリに蓄積してもよい。次のステップ３０７では、処理対象画像に相当する再生画像が後続の処理で参照画像として用いられるかどうかを判断する。この判断は、当該画像の符号化タイプに基づいて行われる。なお、本実施形態では、ＤＤＲピクチャ、片方向予測符号化画像、及び特定の双方向予測符号化画像はすべて参照画像とする。ただし、この方法に限るものではない。

ステップ３０７で再生画像が参照画像として用いられないと判断された場合は、再生画像をフレームメモリ１０４に格納せずにステップ３０９に進む。一方、ステップ３０７で再生画像が参照画像として用いられると判断された場合は、ステップ３０８にて、再生画像をフレームメモリ１０４に格納した上で、ステップ３０９に進む。

ステップ３０９では次の画像（未処理の画像）があるか否かを判断し、次の画像があれば、ステップ３０２へ戻り、次の画像に対しステップ３０２〜３０８の処理を繰り返す。このようにして最後の画像までステップ３０２〜３０８の処理を繰り返し、全ての画像の処理が完了すると、図３の処理を終了する。

上述した図３の処理により、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときに（実際にはステップ３０６の処理の直前のステップ３０３において）、フレームメモリがリフレッシュされる。なお、フレームメモリのリフレッシュのタイミングは、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときであればよく、ステップ３０６の処理の直後であってもよい。

上述した図３の処理は、図１の動画像予測符号化装置１００全体の処理に該当するが、とりわけステップ３０２〜３０５の処理はフレームメモリ管理器１１４により行われる。

なお、図３は、動画像の符号化方法として説明したが、動画像復号方法の処理にも適用できる。復号処理を行う場合、ステップ３０１では、さらに、圧縮符号化された画像のデータ（ビットストリーム）が入力される。当該データから対象画像の表示順番情報や符号化タイプを抽出して、上述と同じ方法でステップ３０２〜３０５の制御を行う。ステップ３０６では対象画像の圧縮されたデータを復号し、画像を復元する処理を行う。ステップ３０７以降の処理は、上述したとおりである。このような処理は、図２の動画像予測復号装置２００全体の処理に該当するが、とりわけステップ３０２〜３０５の処理はフレームメモリ管理器２０９により行われる。

図４は、本実施形態に係る動画像予測符号化・復号方法の処理を説明するための模式図である。図４に示す画像４０１〜４０９は、動画像を構成する画像群の一部であり、画像４０１はｎ枚の画像に先行されている様子を示す。したがって、図４の領域４１８に示すように画像４０１の表示順番情報ＴＲは（ｎ＋１）と表す。また、本実施形態では双方向予測を含む符号化・復号処理を行うため、ＴＲ＝（ｎ＋５）の画像４０２を先に処理した後に、表示順では画像４０２よりも先行する画像４０３、４０４、４０５を処理する様子を示している。同様の理由で、表示順が（ｎ＋３）の画像４０３は、表示順が（ｎ＋２）の画像４０４よりも先に処理される。このような順番は図１１（Ｂ）と同じである。なお、以降で「画像を処理する」とは「画像を符号化又は復号する」ことを意味する。

図４の画像４０１〜４０９の枠内に書かれている英文字は、以下を意味する。即ち、Ｐは片方向予測で符号化される画像、ＤＤＲはＤＤＲピクチャとして符号化される画像、Ｂとｂは双方向予測で符号化される画像を、それぞれ意味する。また、小文字ｂで示されている画像以外（即ち、大文字Ｂ、Ｐ、ＤＤＲで示されている画像）は、全て参照画像として用いられるものとする。図４の領域４２０に示す各画像に対するＲＰの値、及び領域４１９に示すＴＲ＿ＤＤＲの値は、各画像に対する処理が完了した直後の値であり、各画像に対する処理の開始時（即ち、図３のステップ３０２に入るとき）の値ではない。例えば、画像４０２に対する処理の開始時にＲＰ＝０であるが、画像４０２に対する処理の完了直後にはＲＰ＝１となる。

画像４０１の処理では、画像４０１がＤＤＲピクチャではないので、ＲＰ＝０となる。画像４０１に対応するＴＲ＿ＤＤＲは任意の値をとってもよいが、先行の処理によって格納されている値が設定されている。また、大文字Ｐ１で示される画像４０１は参照画像として用いるので、フレームメモリに格納される。

続いて、図３を参照しながら画像４０２の処理を説明する。このとき、図４の最下段における領域４１０に示すように、フレームメモリには、再生された画像Ｐ１が格納されている。画像４０２の処理開始時点ではＲＰ＝０であるため、ステップ３０２で否定判定され、ステップ３０４に進む。画像４０２はＤＤＲピクチャであるため、ステップ３０４で肯定判定され、ステップ３０５にてＲＰ＝１、ＴＲ＿ＤＤＲ＝ｎ＋５と設定される。また、画像４０２は、参照画像として用いられるのでフレームメモリに格納される。

次に画像４０３の処理が開始する時点では、図４の領域４１１に示すように、フレームメモリには画像Ｐ１とＤＤＲ５が格納されている。このときＲＰ＝１であるが、画像４０３の表示順番ＴＲ（ｎ＋３）はＴＲ＿ＤＤＲ（ｎ＋５）よりも小さく且つ画像４０３はＤＤＲピクチャではないので、ステップ３０２、３０４で否定判定され、そのままで符号化又は復号される（ステップ３０６）。また、画像４０３は、参照画像として用いられるため、フレームメモリに格納される。

画像４０４と４０５を処理する際も同じようにフレームメモリのリフレッシュは待機状態（ＲＰ＝１）のままである。また画像４０４と４０５は参照画像として用いられないため、図４の領域４１２、４１３に示すようにフレームメモリには、画像４０４と４０５は格納されず、画像Ｐ１、ＤＤＲ５、Ｂ３が格納されている。

画像４０６の処理が開始する時点ではＲＰ＝１であるが、画像４０６の表示順番情報ＴＲ（ｎ＋９）はＴＲ＿ＤＤＲ（ｎ＋５）よりも大きいので、ステップ３０２で肯定判定され、ステップ３０３にて参照画像を不要と設定することでフレームメモリをリフレッシュし、ＲＰ＝０と設定する。このとき不要と設定する参照画像は、直近のＤＤＲピクチャ４０２を除く、直近のＤＤＲピクチャ４０２よりも表示順番情報ＴＲが小さい参照画像のみである。したがって、図４の領域４１４に示すように、フレームメモリでは、画像Ｐ１と画像Ｂ３の記憶領域が開放され、画像ＤＤＲ５のみが格納されることになる。画像４０６は、図４の領域４１５に示すように、当該画像４０６の処理が完了した後にフレームメモリに格納され、それ以降は、上記と同様にフレームメモリのリフレッシュ制御が行われる。

このように、ＤＤＲピクチャ４０２の処理直後もしくは直前では、フレームメモリにある参照画像（図４では画像Ｐ１）を不要と設定しないため、ＤＤＲピクチャ４０２の後に処理される画像４０３、４０４，４０５の処理において画像Ｐ１を参照することができ、そのため符号化効率の向上に寄与することができる。また、ＤＤＲピクチャ４０２の処理の後にフレームメモリ・リフレッシュを実行する際に、直近のＤＤＲピクチャ４０２（画像ＤＤＲ５）を不要と設定しないため、後続の画像４０７、４０８、４０９の処理において直近のＤＤＲピクチャ４０２（画像ＤＤＲ５）を参照画像として用いることができる。

このように本実施形態は、画像に付随する表示順番情報を利用して、ランダムアクセスの箇所となる画面内予測画像（ＤＤＲピクチャ）の処理の後に行われるメモリ・リフレッシュのタイミングを表示順番情報によって設定することにより、ランダムアクセス画像の前後にある画像を効率よく圧縮符号化することができる。また、従来技術の欠点に係る不都合を以下のように解消することができる。

即ち、表示順番情報は、各画像には必ず付随するものであるため、新たな情報（フラグ）を送る必要がなく、従来技術の欠点２は解消される。また、動画像の編集（例えば一部の画像を捨てる、別の画像をつなぐ等）を行う場合でも、動画像を構成する各画像の表示順番情報は適切に設定されるため、誤動作を引き起こすことはなく、従来技術の欠点１は解消される。さらに、本発明によるメモリ・リフレッシュのタイミングは、Ｐピクチャに限定されず、画像の符号化タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に依存しないため、メモリのリフレッシュの要否にかかわらず符号化効率の最もよい符号化タイプで処理することができ、従来技術の欠点３は解消される。

［変形例について］
上述した実施形態では、画像の表示順番情報が「絶対値」として符号化される場合の処理を説明したが、符号化効率を高めるために、画像の表示順番情報が「差分値」として符号化される実施形態もある。以下では、変形例として、表示順番情報が「差分値」として符号化される実施形態を説明する。

図５は、動画像予測符号化・復号方法の変形例の流れ図を示す。変形例では、画像の表示順番情報は、次のように符号化される。即ち、フレームメモリのリフレッシュの待機中に処理対象となった画像については、その表示順番情報とＤＤＲピクチャの表示順番情報との差分値を符号化する。一方、上記以外の画像については、その表示順番情報を任意の方法で符号化する。例えば、ＤＤＲピクチャの表示順番情報との差分を符号化してもいいし、符号化順において直前の画像の表示順番情報との差分を符号化してもよい。

以下の変形例では、図５を動画像の復号方法として説明するが、もちろん、図５は動画像の符号化方法にも適用可能である。図５のステップ５０１では、動画像予測復号装置２００に、圧縮符号化された画像のデータが入力され、当該データから対象画像の表示順番情報の差分値（ｄｅｌｔａ＿ＴＲ）及び画像の符号化タイプに関する情報を抽出する。同時に、ＴＲ＿ＤＤＲとＲＰを０に初期化する。

次のステップ５０２では、ＲＰ＝１であるかどうか確認する。この条件が満たされると、フレームメモリ・リフレッシュが待機中であることを意味するので、ステップ５０３に進む。ステップ５０３では、当該時点の処理対象画像の表示順番情報ＴＲ＿ＣＵＲを、ＴＲ＿ＤＤＲとｄｅｌｔａ＿ＴＲとの和（加算した値）に設定する。

次に、ステップ５０４にてＴＲ＿ＣＵＲがＴＲ＿ＤＤＲより大きいかどうか確認する。この条件が満たされると、フレームメモリ・リフレッシュ待機中であり且つ処理対象の画像が表示順番においてＤＤＲピクチャよりも後の画像であることを意味するので、フレームメモリ２０７のリフレッシュ処理（即ち、フレームメモリ２０７に格納されている参照画像を不要と設定する処理）を実行する（ステップ５０５）。ただし、ここで、不要と設定する参照画像は、表示順番情報ＴＲが直近のＤＤＲピクチャの表示順番情報（ＴＲ＿ＤＤＲ）よりも小さい参照画像のみである。また、直近のＤＤＲピクチャ（又は画面内予測符号化画像）は、不要と設定しない。以上のようなリフレッシュ処理が終わったことで、状態変数ＲＰをＲＰ＝０に設定する。その後、後述するステップ５０７に進む。また、前述したステップ５０４で否定判定された場合もステップ５０７に進む。

一方、ステップ５０２で否定判定された場合はステップ５０６に進み、ＴＲ＿ＣＵＲを、前に処理された画像の表示順番情報ＴＲ＿ＰＲＥＶとｄｅｌｔａ＿ＴＲとの和（加算した値）に設定して、ステップ５０７に進む。

ステップ５０７では、当該時点の処理対象画像がＤＤＲピクチャであるかどうかを確認する。なお、動画像予測復号装置２００は、画像の符号化タイプ（ＤＤＲ、画面間予測符号化又は双方向予測符号化）に関する情報を、外部から入力された圧縮符号化データから得ることができる。

ステップ５０７で、当該時点の処理対象画像がＤＤＲピクチャである場合は、ステップ５０８にて当該時点の処理対象画像の表示順番情報ＴＲ＿ＣＵＲをＴＲ＿ＤＤＲに設定し、状態変数ＲＰをＲＰ＝１と設定した上でステップ５０９に進む。一方、ステップ５０７で条件が満たされない場合はステップ５０９に進む。

ステップ５０９では、処理対象画像に相当する再生画像を得る。ここでは、図２で説明した復号方法で、処理対象画像の圧縮データを復号することで、処理対象画像に相当する再生画像を得る。なお、ここで得られた再生画像は、例えば、動画像予測復号装置２００の外部へ送出される。次のステップ５１０では、処理対象画像に相当する再生画像が後続の処理で参照画像として用いられるかどうかを判断する。この判断は、当該画像の符号化タイプに基づいて行われる。なお、ここでは、ＤＤＲピクチャ、片方向予測符号化画像、及び特定の双方向予測符号化画像はすべて参照画像とする。ただし、この方法に限るものではない。

ステップ５１０で再生画像が参照画像として用いられないと判断された場合は、再生画像をフレームメモリ２０７に格納せずにステップ５１２に進む。一方、ステップ５１０で再生画像が参照画像として用いられると判断された場合は、ステップ５１１にて、再生画像をフレームメモリ２０７に格納した上で、ステップ５１２に進む。

ステップ５１２では、後続のステップ５０６の処理のために、ＴＲ＿ＣＵＲをＴＲ＿ＰＲＥＶに設定し、ステップ５１３に進む。ステップ５１３では次の画像（未処理の画像）があるか否かを判断し、次の画像があれば、ステップ５０２へ戻り、次の画像に対しステップ５０２〜５１２の処理を繰り返す。このようにして最後の画像までステップ５０２〜５１２の処理を繰り返し、全ての画像の処理が完了すると、図５の処理を終了する。

上述した図５の処理により、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときに（実際にはステップ５０９の処理の直前のステップ５０５において）、フレームメモリがリフレッシュされる。なお、フレームメモリのリフレッシュのタイミングは、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理が完了した後、最初に、表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像を処理するときであればよく、ステップ５０９の処理の直後であってもよい。

上述した図５の処理は、図２の動画像予測復号装置２００全体の処理に該当するが、とりわけステップ５０２〜５０８はフレームメモリ管理器２０９により行われる。

なお、図５は動画像の復号方法として説明したが、動画像符号化方法の処理にも適用できる。符号化処理を行う場合、ステップ５０３ではｄｅｌｔａ＿ＴＲをＴＲ＿ＣＵＲとＴＲ＿ＤＤＲとの差分から求め、ステップ５０６ではｄｅｌｔａ＿ＴＲをＴＲ＿ＣＵＲとＴＲ＿ＰＲＥＶとの差分から求めた上で、エントロピー符号化する。また、ステップ５０９では対象画像を符号化した上で復号する。このような処理は、図１の動画像予測符号化装置１００全体の処理に該当するが、とりわけステップ５０２〜５０８の処理はフレームメモリ管理器１１４により行われる。

図６は、変形例に係る動画像予測符号化・復号方法の処理を説明するための模式図である。図６に示す画像６０１〜６０９は、動画像を構成する画像群の一部であり、図４で説明した画像４０１〜４０９と同じ処理を示している。ただし、図６では、図４に対し、領域６２１に示すｄｅｌｔａ＿ＴＲが追加されている。この領域６２１からわかるように、対象画像の符号化処理開始時におけるＲＰの値（前の画像のＲＰ値）によって、ｄｅｌｔａ＿ＴＲの求め方が異なる。即ち、画像６０３〜６０６の符号化処理では、ｄｅｌｔａ＿ＴＲは、各画像のＴＲとＴＲ＿ＤＤＲとの差分値として求められる。画像６０７以降の符号化処理では、ｄｅｌｔａ＿ＴＲは、各画像のＴＲとその直前の画像のＴＲとの差分値として求められる。一方、各画像の復号処理において差分値ｄｅｌｔａ＿ＴＲから表示順番情報ＴＲを復元する場合は、差分値の圧縮データを復号して得られた差分値ｄｅｌｔａ＿ＴＲとＴＲ＿ＤＤＲとを加算することで、表示順番情報ＴＲを復元する。それ以降は図４と同じ処理になるので、省略する。

図６では、仮に画像６０３〜６０５が編集により欠落したとしても、画像６０６の表示順番情報ＴＲは、ＴＲ＿ＤＤＲから求めるので、ＴＲ＝ｄｅｌｔａ＿ＴＲ＋ＴＲ＿ＤＤＲ＝４＋（ｎ＋５）＝ｎ＋９として正しく再現でき、フレームメモリのリフレッシュを誤動作なく制御することができる。仮に、すべての画像のｄｅｌｔａ＿ＴＲが、復号順において当該画像の表示順番情報と直前の画像の表示順番情報との差分値として求められるとすると、画像６０３が欠落した場合に、表示順番情報が正しく再生できなくなり、画像６０５のタイミングでフレームメモリのリフレッシュが実行されてしまう（本来、画像６０６のタイミングが正しいタイミングである）。

図６を動画像符号化処理に適用した場合、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の処理完了後に、フレームメモリ・リフレッシュの待機中にある画像（画像６０３〜６０６）の表示順番情報を符号化する際に、当該画像の表示順番情報ＴＲそのものでなく、当該画像の表示順番情報ＴＲとＤＤＲピクチャの表示順番情報ＴＲ＿ＤＤＲとの差分値ｄｅｌｔａ＿ＴＲを符号化することにより、フレームメモリ・リフレッシュのタイミングを正しく復元することができる。このため、たとえフレームメモリ・リフレッシュの待機中にある画像が脱落しても、誤動作を回避でき、エラー耐性が強いという効果がある。

さらに別の例として、差分値ｄｅｌｔａ＿ＴＲを符号化する対象としては、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の後の、最初に表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像（図６では画像６０６）を含む１つ以上の画像であってもよい。即ち、ランダムアクセス画像（ここでは直近のＤＤＲピクチャ）の後の、最初に表示順番情報ＴＲがＴＲ＿ＤＤＲより大きい画像（図６では画像６０６）を含む１つ以上の画像について、その表示順番情報を符号化する際に、当該画像の表示順番情報ＴＲそのものでなく、当該画像の表示順番情報ＴＲとＤＤＲピクチャの表示順番情報ＴＲ＿ＤＤＲとの差分値ｄｅｌｔａ＿ＴＲを符号化してもよい。

［動画像予測符号化プログラム、動画像予測復号プログラムについて］
動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。

動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。なお、記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図９には、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムのモジュールを示す。図９に示すように、動画像予測符号化プログラムＰ１００は、入力モジュールＰ１０１、符号化モジュールＰ１０２、復元モジュールＰ１０３、画像格納モジュールＰ１０４、及びメモリ管理モジュールＰ１０５を備えている。

また、図１０には、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムのモジュールを示す。図１０に示すように、動画像予測復号プログラムＰ２００は、入力モジュールＰ２０１、復元モジュールＰ２０２、画像格納モジュールＰ２０３、及びメモリ管理モジュールＰ２０４を備えている。

上記のように構成された動画像予測符号化プログラムＰ１００及び動画像予測復号プログラムＰ２００は、図８に示す記録媒体１０に記憶可能であり、後述するコンピュータ３０により実行される。

図７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。コンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって、本発明に係る動画像予測符号化装置として動作することが可能になる。同様に、コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって、本発明に係る動画像予測復号装置として動作することが可能になる。

図８に示すように、動画像予測符号化プログラム又は動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された動画像予測符号化プログラム又は動画像予測復号プログラムをメモリ１６に格納して実行することができる。

１０…記録媒体、３０…コンピュータ、１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…入力端子、１１４…フレームメモリ管理器、２００…動画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…フレームメモリ管理器、Ｐ１００…動画像予測符号化プログラム、Ｐ１０１…入力モジュール、Ｐ１０２…符号化モジュール、Ｐ１０３…復元モジュール、Ｐ１０４…画像格納モジュール、Ｐ１０５…メモリ管理モジュール、Ｐ２００…動画像予測復号プログラム、Ｐ２０１…入力モジュール、Ｐ２０２…復元モジュール、Ｐ２０３…画像格納モジュール、Ｐ２０４…メモリ管理モジュール。

Claims (14)

1. 動画像を構成する複数の画像を入力する入力手段と、
   入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、
   生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
   復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
   前記画像格納手段を制御するメモリ管理手段と、を具備し、
   前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
   ことを特徴とする動画像予測符号化装置。
2. 前記符号化手段は、
   表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
   ことを特徴とする請求項１に記載の動画像予測符号化装置。
3. 前記符号化手段は、
   前記ランダムアクセス画像の次に符号化対象となる画像から、
   表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、
   の各画像については、
   各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
   ことを特徴とする請求項１に記載の動画像予測符号化装置。
4. 動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、
   前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、
   復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
   前記画像格納手段を制御するメモリ管理手段と、を具備し、
   前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
   ことを特徴とする動画像予測復号装置。
5. 前記復元手段は、
   表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、
   当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
   前記ランダムアクセス画像の表示順番情報とを、
   加算することで、
   当該復号対象画像の表示順番情報を復元する、
   ことを特徴とする請求項４に記載の動画像予測復号装置。
6. 前記復元手段は、
   前記ランダムアクセス画像の次に復号対象となる画像から、
   表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する復号処理の完了後に最初に復号対象となる画像まで、
   の各画像についての表示順番情報については、
   当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
   前記ランダムアクセス画像の表示順番情報とを、
   加算することで、
   当該各画像の表示順番情報を復元する、
   ことを特徴とする請求項４に記載の動画像予測復号装置。
7. 後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
   動画像を構成する複数の画像を入力する入力ステップと、
   入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化ステップと、
   生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
   復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
   前記画像格納手段を制御するメモリ管理ステップと、を具備し、
   前記メモリ管理ステップにおいて前記動画像予測符号化装置は、
   前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
   ことを特徴とする動画像予測符号化方法。
8. 前記符号化ステップにおいて前記動画像予測符号化装置は、
   表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像、を含む１つ以上の符号化対象画像の表示順番情報に関するデータとして、前記符号化対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
   ことを特徴とする請求項７に記載の動画像予測符号化方法。
9. 前記符号化ステップにおいて前記動画像予測符号化装置は、
   前記ランダムアクセス画像の次に符号化対象となる画像から、
   表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する符号化処理の完了後に最初に符号化対象となる画像まで、
   の各画像については、
   各画像の表示順番情報に関するデータとして、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値を符号化する、
   ことを特徴とする請求項７に記載の動画像予測符号化方法。
10. 後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
    動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力ステップと、
    前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元ステップと、
    復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
    前記画像格納手段を制御するメモリ管理ステップと、を具備し、
    前記メモリ管理ステップにおいて前記動画像予測復号装置は、
    前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測復号方法。
11. 前記復元ステップにおいて前記動画像予測復号装置は、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を復号する復号処理の完了後に最初に復号対象となる画像、を含む１つ以上の復号対象画像の表示順番情報については、
    当該復号対象画像の表示順番符号化データを復号して得られた、当該復号対象画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
    前記ランダムアクセス画像の表示順番情報とを、
    加算することで、
    当該復号対象画像の表示順番情報を復元する、
    ことを特徴とする請求項１０に記載の動画像予測復号方法。
12. 前記復元ステップにおいて前記動画像予測復号装置は、
    前記ランダムアクセス画像の次に復号対象となる画像から、
    表示順番情報が前記ランダムアクセス画像の表示順番情報より大きく且つ前記ランダムアクセス画像を生成する復号処理の完了後に最初に復号対象となる画像まで、
    の各画像についての表示順番情報については、
    当該各画像の表示順番符号化データを復号して得られた、当該各画像の表示順番情報と前記ランダムアクセス画像の表示順番情報との差分値と、
    前記ランダムアクセス画像の表示順番情報とを、
    加算することで、
    当該各画像の表示順番情報を復元する、
    ことを特徴とする請求項１０に記載の動画像予測復号方法。
13. コンピュータを、
    動画像を構成する複数の画像を入力する入力手段と、
    入力された前記画像を画面内予測又は画面間予測のいずれかの方法で符号化することで、ランダムアクセスとなる画像であるランダムアクセス画像、を含む圧縮画像データを生成するとともに、前記画像の表示順番情報に関するデータを符号化する符号化手段と、
    生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
    復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
    前記画像格納手段を制御するメモリ管理手段、
    として動作させ、
    前記メモリ管理手段は、前記ランダムアクセス画像を生成する符号化処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を符号化する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測符号化プログラム。
14. コンピュータを、
    動画像を構成する複数の画像を画面内予測又は画面間予測のいずれかの方法で符号化することで得られた、ランダムアクセスとなる画像であるランダムアクセス画像を含む圧縮画像データ、及び、前記画像の表示順番情報に関するデータを符号化することで得られた表示順番符号化データを入力する入力手段と、
    前記圧縮画像データを復号することで再生画像を復元するとともに、前記表示順番符号化データを復号することで表示順番情報を復元する復元手段と、
    復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
    前記画像格納手段を制御するメモリ管理手段、
    として動作させ、
    前記メモリ管理手段は、前記ランダムアクセス画像を復号する復号処理が完了した後、最初に、表示順番情報が前記ランダムアクセス画像の表示順番情報より大きい画像を復号する直前又は直後に、前記画像格納手段に格納された参照画像のうち、前記ランダムアクセス画像を除く参照画像について不要と設定することで、前記画像格納手段をリフレッシュする、
    ことを特徴とする動画像予測復号プログラム。
    

Images