JP6875566B2 - 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム - Google Patents

動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム Download PDF

Info

Publication number
JP6875566B2
JP6875566B2 JP2020002270A JP2020002270A JP6875566B2 JP 6875566 B2 JP6875566 B2 JP 6875566B2 JP 2020002270 A JP2020002270 A JP 2020002270A JP 2020002270 A JP2020002270 A JP 2020002270A JP 6875566 B2 JP6875566 B2 JP 6875566B2
Authority
JP
Japan
Prior art keywords
image
frame size
reproduced
images
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020002270A
Other languages
English (en)
Other versions
JP2020058075A (ja
Inventor
暁 藤林
暁 藤林
ブン　チュンセン
チュンセン ブン
タン　ティオ　ケン
ティオ ケン タン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2020002270A priority Critical patent/JP6875566B2/ja
Publication of JP2020058075A publication Critical patent/JP2020058075A/ja
Application granted granted Critical
Publication of JP6875566B2 publication Critical patent/JP6875566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び記録媒体に関するもので、とりわけ、復号画像バッファにおいて格納可能な再生画像の最大枚数を管理する動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び記録媒体に関わるものである。
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。符号化効率を高めるため下記のような予測符号化方法が用いられる。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（過去に圧縮された画像データを復元したもの）を用いて予測信号を生成した上で、それを対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照し、信号の変位を検索し、その動いた分を補償して予測信号を生成し、それを対象ブロックの信号から引き算した差分信号を符号化する。動きの検索・補償を行うために参照される既再生の画像を、参照画像という。
また、双方向画面間予測では、表示時間順に過去にある画像だけではなくて、対象画像の後に表示される未来の画像もあわせて参照する場合がある（この未来画像は対象画像より先に符号化し、予め再生しておく必要がある）。過去の画像と未来の画像から取得された予測信号を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であると同時に、両予測信号に含まれている雑音を軽減する効果がある。
さらに、Ｈ．２６４の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化した上で再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。対象ブロックの画素信号とこの最適な予測信号との差分を求め、離散コサイン変換を施し、量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像のどの領域から取得するかに関する情報（それぞれ、参照インデックスと動きベクトルという）も合わせて符号化する。
ところで、Ｈ．２６４においては、複数の再生画像を参照することが可能である。これらの再生画像は予測に用いる参照画像として画像バッファメモリである復号画像バッファ（DPB: Decoded picture buffer）に保存される。復号画像バッファ（DPB）のサイズはプロファイル（profile）及びレベル（level）により定義されており、参照画像の枚数ではなく、ビット量として定義されている。つまり、同じプロファイル、レベルであっても画像のフレームサイズに応じて枚数が変化する。例えばメイン（Main）プロファイル、レベル３．２の場合、予測に用いる参照画像を格納するための画像バッファの最大サイズ（MaxDPBSize: Maximum Decoded Picture Buffer size）は7680.0×1024[bytes]と定義されており、1280×720 4:2:0の場合、復号画像バッファ（DPB）に保存できる再生画像は５枚、1280×1024 4:2:0の場合、復号画像バッファ（DPB）に保存可能な再生画像の最大枚数は４枚となる。図１に画像のフレームサイズによって格納可能な再生画像の最大枚数が４枚（図１（ａ））、５枚（図１（ｂ））及び６枚（図１（ｃ））のときの復号画像バッファの画像配置を示す。このように、あらかじめ用意された画像バッファメモリが再生画像のフレームサイズに応じて、メモリポインタを可変的に配置することで、メモリ配置を工夫しながら利用されることとなる。
"H.264: Advancedvideo coding for generic audiovisual services," Joint Video Team of ITU-T VCEGand ISO/IEC MPEG, ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG4 - Part 10),November 2007
ここで、このような定義においてＨ．２６４の復号装置は、その復号装置がサポートする範囲のプロファイルやレベルで定義されるあらゆるフレームサイズの画像の復号が可能である必要があるため、画像バッファメモリに再生画像を格納する際に用いるメモリをどのように配置して格納するかが固定することができない。そのため、各再生画像が格納されるメモリ位置を示すメモリポインタを復号する画像のフレームサイズに応じて変動させる必要があるため、メモリ制御や実装が複雑となる。
これに対する解決策としては、実際の復号画像のフレームサイズによらず画像バッファメモリに格納可能な再生画像の最大枚数（max_dec_pic_buffering）を固定する手法が考えられる。この解決策により復号画像バッファ（DPB）のメモリ配置は図２（ａ）のように最大フレームサイズにより一意に決定されるため、メモリポインタも固定することができる。すなわち変動的なメモリポインタの制御に比べてメモリ制御が容易となる。しかし、この解決策では、復号画像のフレームサイズが最大フレームサイズよりも小さい場合や、インターレース画像のフィールド画像のように画像の縦幅がフレーム画像の半分である場合には、図２（ｂ）に示すように未使用のメモリ領域が発生し、メモリの有効活用がされない課題が存在する。さらに、より多くの再生画像を格納することで、参照画像枚数を増加させて符号化効率向上する可能性を失うこととなる。
本発明は、上記の課題を解決し、再生画像のフレームサイズに応じて、画像バッファメモリに格納可能な再生画像の最大枚数を決定することにより、効率的に画像バッファメモリを利用し、更なる符号化効率向上も可能とする動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び記録媒体の提供を目的とする。
上記目的を達成するために、本発明に係る動画像予測符号化装置は、動画像予測符号化を実施するようにプログラム可能なＣＰＵと、プログラムされた前記ＣＰＵによって、動画像を構成する複数の画像を受信するように実行可能な受信部と、プログラムされた前記ＣＰＵによって、受信された画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、圧縮画像データを生成するように実行可能な符号化部と、プログラムされた前記ＣＰＵによって、圧縮画像データを復号し、再生画像に復元するように実行可能な復号部と、プログラムされた前記ＣＰＵによって、１つ以上の再生画像を、後続の画像を符号化するために用いられる参照画像として格納するように実行可能なフレームメモリと、プログラムされた前記ＣＰＵによって、前記フレームメモリを管理するように実行可能なメモリ管理部であって、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記フレームメモリ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記フレームメモリ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するように実行可能であるメモリ管理部と、を備え、前記メモリ管理部が、ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較し、ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にし、前記フレームメモリ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定する、ようにさらに実行可能であり、前記フレームメモリ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である。
また、本発明に係る動画像予測符号化装置は、プログラムされた前記ＣＰＵによって、前記メモリ管理部が、ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較し、ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にし、ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定する、ようにさらに実行可能であることとしてもよい。
上記目的を達成するために、本発明に係る動画像予測復号装置は、動画像予測復号を実施するようにプログラムされたＣＰＵと、前記ＣＰＵによって、動画像を構成する複数の画像の圧縮された形態を表す圧縮画像データを含む符号化されたデータを受信するように実行可能な受信部であって、複数の画像が画面内予測もしくは画面間予測のいずれかの方法で符号化されている、受信部と、前記ＣＰＵによって、圧縮画像データを復号し、再生画像に復元するように実行可能な復号部と、前記ＣＰＵによって、１つ以上の再生画像を、後続の画像を復号するために用いられる参照画像として格納するように実行可能な復号画像バッファ（ＤＰＢ：ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ）と、前記ＣＰＵによって、前記ＤＰＢを管理するように実行可能なバッファ管理部であって、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記ＤＰＢ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記ＤＰＢ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するように実行可能であるバッファ管理部と、を備え、前記バッファ管理部が、ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較し、ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にし、前記ＤＰＢ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定する、ようにさらに実行可能であり、前記ＤＰＢ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である。
また、本発明に係る動画像予測復号装置は、前記バッファ管理部が、ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較し、ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にし、ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定する、ようにさらに実行可能であることとしてもよい。
上記目的を達成するために、本発明に係る動画像予測符号化方法は、動画像予測符号化装置によって実行される動画像予測符号化方法であって、動画像を構成する複数の画像を受信するステップと、受信された画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、圧縮画像データを生成するステップと、圧縮画像データを復号し、再生画像に復元するステップと、フレームメモリ内において、１つ以上の再生画像を、後続の画像を符号化するために用いられる参照画像として格納するステップと、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記フレームメモリ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記フレームメモリ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するステップと、ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較するステップと、ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にするステップと、前記フレームメモリ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定するステップと、を含み、前記フレームメモリ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である。
また、本発明に係る動画像予測符号化方法は、ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較するステップと、ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にするステップと、ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定するステップと、をさらに含むこととしてもよい。
上記目的を達成するために、本発明に係る動画像予測復号方法は、動画像予測復号装置によって実行される動画像予測復号方法であって、動画像を構成する複数の画像の圧縮された形態を表す圧縮画像データを含む符号化されたデータを受信するステップであって、複数の画像が画面内予測もしくは画面間予測のいずれかの方法で符号化されている、ステップと、複数の画像の圧縮された形態を復号し、再生画像に復元するステップと、復号画像バッファ（ＤＰＢ：ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ）内において、１つ以上の再生画像を、後続の画像を復号するために用いられる参照画像として格納するステップと、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記ＤＰＢ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記ＤＰＢ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するステップと、ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較するステップと、ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にするステップと、前記ＤＰＢ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定するステップと、を含み、前記ＤＰＢ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である。
また、本発明に係る動画像予測復号方法は、ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較するステップと、ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にするステップと、ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定するステップと、をさらに含むこととしてもよい。
また、本発明に係る動画像予測復号方法は、ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの２倍に設定した後、メモリポインタを、ＭＦＳＢｕｆｆｅｒに応じて分割された前記ＤＰＢの格納位置を示したままにするステップをさらに含むこととしてもよい。
また、本発明に係る動画像予測復号方法は、ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定した後、メモリポインタを、ＭＦＳＢｕｆｆｅｒに応じて分割された前記ＤＰＢの格納位置を示したままにするステップをさらに含むこととしてもよい。
上記目的を達成するために、本発明に係る記録媒体は、動画像予測復号プログラムを格納する記録媒体であって、前記動画像予測復号プログラムがＣＰＵを、動画像を構成する複数の画像の圧縮された形態を表す圧縮画像データを含む符号化されたデータを受信するように実行可能な受信部であって、複数の画像が画面内予測もしくは画面間予測のいずれかの方法で符号化されている、受信部と、圧縮画像データを復号し、再生画像に復元するように実行可能な復号部と、１つ以上の再生画像を、後続の画像を復号するために用いられる参照画像として格納するように実行可能な復号画像バッファ（ＤＰＢ：ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ）と、前記ＤＰＢを管理するように実行可能なバッファ管理部であって、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記ＤＰＢ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記ＤＰＢ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するように実行可能であるバッファ管理部と、を実行するようにプログラムし、前記バッファ管理部が、ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較し、ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にし、前記ＤＰＢ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定する、ようにさらに実行可能であり、前記ＤＰＢ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である。
本発明による動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び記録媒体によれば、再生画像のフレームサイズに応じて、画像バッファメモリに格納可能な再生画像の最大枚数を決定することにより、効率的に画像バッファメモリを利用し、更なる符号化効率向上も可能とする。
画像バッファメモリと格納画像枚数、可変メモリポインタ位置を示す図である。 画像バッファメモリにおいて、固定メモリポインタの課題を示す図である。 本発明の実施形態による動画像予測符号化装置を示すブロック図である。 本発明の実施形態による動画像予測復号装置を示すブロック図である。 本発明の実施形態による第１の動画像予測符号化・復号方法を示す流れ図である。 本発明の実施形態による第１の動画像予測符号化・復号方法の処理を説明するための模式図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
以下、本発明の実施の形態について、図３から図８を用いて説明する。
図３は本発明の実施形態による動画像予測符号化装置を示すブロック図である。３０１は入力端子、３０２はブロック分割器、３０３は予測信号生成器、３０４はフレームメモリ、３０５は減算器、３０６は変換器、３０７は量子化器、３０８は逆量子化器、３０９は逆変換器、３１０は加算器、３１１はエントロピー符号化器、３１２は出力端子、３１４はフレームメモリ管理器（またはバッファ管理器ともいう）である。入力端子３０１は入力手段に対応する。予測信号生成器３０３と減算器３０５と変換器３０６と量子化器３０７とエントロピー符号化器３１１とは符号化手段に対応する。逆量子化器３０８、逆変換器３０９と加算器３１０は復号手段に対応する。フレームメモリ３０４は画像格納手段に対応する。フレームメモリ管理器３１４はメモリ制御手段に対応する。
以上のように構成された動画像予測符号化装置について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子３０１に入力される。符号化の対象なる画像はブロック分割器３０２にて、複数の領域に分割される。本発明による実施形態では、８ｘ８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。次に符号化処理の対象となる領域（以下対象ブロックとよぶ）に対して、予測信号を生成する。本発明による実施形態では、２種類の予測方法が用いられる。すなわち画面間予測と画面内予測である。
画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明による実施形態では、予測信号生成器３０３にて行われ、対象ブロックはラインＬ３０２、参照画像はＬ３０４経由で入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。詳細は従来の技術であるＭＰＥＧ−２、４、Ｈ．２６４のいずれの方法と同じである。このように決定された動き情報及び小領域の分割方法はラインＬ３１２経由でエントロピー符号化器３１１に送られ符号化した上で出力端子３１２から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（リファレンスインデックス）もラインＬ３１２経由でエントロピー符号化器３１１に送られる。なお、本発明による実施形態では、Ｍ枚（Ｍは１以上の整数）の再生画像をフレームメモリ３０４に格納し、参照画像として用いる。予測信号生成器３０３では、小領域の分割方法及びそれぞれの小領域に対応する、参照画像と動き情報をもとにフレームメモリ３０４から参照画像信号を取得し、予測信号を生成する。このように生成された画面間予測信号はラインＬ３０３経由で減算器３０５に送られる。
画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には予測信号生成器３０３では、フレームメモリ３０４から同じ画面内にある既再生の画素信号を取得し、これらの信号を外挿することによって画面内予測信号を生成する。外挿の方法に関する情報はラインＬ３１２経由でエントロピー符号化器３１１に送られ符号化した上で出力端子３１２から送出される。このように生成された画面内予測信号は減算器３０５に送られる。予測信号生成器３０３における画面内の予測信号生成方法は、従来の技術であるＨ．２６４の方法と同じである。上述のように求められた画面間予測信号と画面内予測信号に対し、誤差の最も小さいものが選択され、減算器３０５に送られる。
一枚目の画像については、それより前に画像がないため、全ての対象ブロックは画面内予測で処理される。
減算器３０５にて対象ブロックの信号（ラインＬ３０２経由）から予測信号（ラインＬ３０３経由）を引き算し、残差信号を生成する。この残差信号は変換器３０６にて離散コサイン変換され、その各係数は量子化器３０７にて量子化される。最後にエントロピー符号化器３１１にて量子化された変換係数を符号化して、予測方法に関する情報とともに出力端子３１２より送出される。
後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理し復元される。すなわち、量子化された変換係数は逆量子化器３０８にて逆量子化されたのちに逆変換器３０９にて逆離散コサイン変換され、残差信号を復元する。加算器３１０にて復元された残差信号とラインＬ３０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ３０４に格納する。本実施の形態では変換器３０６と逆変換器３０９を用いているが、これらの変換器に代わるほかの変換処理を用いてもよい。場合によって、変換器３０６と逆変換器３０９がなくてもよい。
フレームメモリ３０４は有限なものであり、すべての再生画像を格納することは不可能である。後続の画像の符号化に用いられる再生画像のみフレームメモリ３０４に格納される。このフレームメモリ３０４を制御するのがフレームメモリ管理器３１４である。フレームメモリ管理器３１４は、フレームメモリ３０４内にあるＭ枚（ここでＭは整数）の再生画像の中から、最も古いものを消去し参照画像として用いられる直近の再生画像を格納できるように制御する。入力端子３１３より各画像のフレームサイズ及び符号化設定（プロファイル、レベル）にて定義される最大フレームサイズが入力され、この情報に基づいてフレームメモリ内に格納可能な再生画像の最大枚数が決定され、フレームメモリ管理器３１４が最大枚数を超えないよう格納するよう動作する。同時に、各画像のフレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数の情報はラインＬ３１４経由でエントロピー符号化器３１１に送られ、符号化した上で圧縮された画像データとともに出力される。フレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数は各画像に付随するもので、画像のフレームサイズそのままを示すものやフレームサイズを指数やべき乗の形で表現されたものでもよい。また、プロファイルやレベル情報としてあらかじめ最大フレームサイズが定められる場合であれば、それらの情報を利用して最大フレームサイズが入力されてもよい。本実施の形態では、フレームサイズの値がそのまま二値符号化に変換され、最大フレームサイズはレベル情報として定義されるものとする。本発明によるフレームメモリ管理器３１４の制御方法については後述する。
次に本発明による動画像予測復号方法について説明する。図４は本発明の実施形態による画像予測復号装置のブロック図を示す。４０１は入力端子、４０２はデータ解析器、４０３は逆量子化器、４０４は逆変換器、４０５は加算器、４０８は予測信号生成器、４０７はフレームメモリ、４０６は出力端子、４０９はフレームメモリ管理器である。入力端子４０１は入力手段に対応する。逆量子化器４０３と逆変換器４０４は復号手段に対応する。復号手段としてそれ以外のものを用いてもよい。フレームメモリ４０７は画像格納手段に対応する。フレームメモリ管理器４０９はメモリ制御手段に対応する。また逆変換器４０４がなくてもよい。
以上のように構成された動画像予測復号装置について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子４０１から入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測信号の生成などに関連する情報が含まれている。予測信号の生成に関連する情報として、画面間予測の場合はブロック分割に関する情報（ブロックのサイズ）や、動き情報と上述のリファレンスインデックスが含まれ、画面内予測の場合は周辺の既再生の画素から外挿方法に関する情報が含まれている。
データ解析器４０２にて、圧縮データから対象ブロックの残差信号、予測信号の生成に関連する情報、量子化パラメータ、画像のフレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数を抽出する。対象ブロックの残差信号は逆量子化器４０３にて量子化パラメータ（ラインＬ４０２経由）をもとに逆量子化される。その結果は逆変換器４０４にて逆離散コサイン変換される。
次にラインＬ４０６ｂ経由で予測信号の生成に関連する情報が予測信号生成器４０８に送られる。予測信号生成器４０８では、予測信号の生成に関連する情報をもとに、フレームメモリ４０７にアクセスし、複数の参照画像の中から参照信号を取得し予測信号を生成する。この予測信号はラインＬ４０８経由で加算器４０５に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインＬ４０５経由で出力すると同時にフレームメモリ４０７に格納される。
フレームメモリ４０７には、後続の画像の復号・再生に用いられる再生画像が格納されている。フレームメモリ管理器４０９はフレームメモリ４０７を制御する。フレームメモリ４０７は、格納されているＭ枚（ここではＭは整数）の再生画像の中から、最も古いものを消去し参照画像として用いられる直近の再生画像を格納できるように制御される。フレームメモリ管理器４０９は、ラインＬ４０６ａ経由で送られる対象画像のフレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数の情報に基づいて動作する。本発明によるフレームメモリ管理器４０９の制御方法については後述する。
次に図５と図６を用いて、本発明による動画像予測符号化方法及び動画像予測復号方法の動作を説明する。図５は本発明の実施形態による動画像予測符号化・復号方法を示す流れ図である。同図に用いられる変数の意味を説明する。pic_widthは再生画像の横幅の輝度画素数、pic_heightは再生画像の縦幅の輝度画素数、MaxLumaFSはレベル情報により定義される最大画像サイズ、MFSBufferはレベル情報として定義される復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量、maxDPBsizeは復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量、max_dec_pic_bufferingは復号時に利用される再生画像の最大格納枚数（メモリバッファ量）、DPBpointerは復号画像バッファで再生画像を格納する位置を示すポインタを示す変数である。
図５において、再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_height及び符号化設定として定義される最大フレームサイズMaxLumaFS及び復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量MFSBufferが入力される。次に入力された再生画像の横幅の画素数pic_widthと再生画像の縦幅の画素数pic_heightを積算した値と符号化設定として定義される最大画像サイズMaxLumaFSの半分の値（MaxLumaFS/2）と比較が行われる（ステップＳ５０２）。ここで、条件が満たされない場合（pic_widthとpic_heightを積算した値がMaxLumaFS/2の値より大きい場合）には、maxDPBsize＝MFSBufferと設定される（ステップＳ５０３）。また条件が満たされる場合（pic_widthとpic_heightを積算した値がMaxLumaFS/2の値以下の場合）には、maxDPBsize＝2*MFSBufferと設定される（ステップＳ５０４）。
（数式）
maxDPBsize=2*MFSBuffer（pic_width*pic_height≦(MaxLumaFS>>1)の時）
maxDPBsize=MFSBuffer（上記以外）
なお、上記数式における“>>”は右シフト演算を示し、MaxLumaFS/2と同じ意味である。
そして、復号時に利用される再生画像の最大格納枚数で表現されるメモリバッファ量max_dec_pic_bufferingがmaxDPBsize以下となるように設定される。
（数式）
max_dec_pic_buffering≦maxDPBsize
また、maxDPBsize=MFSBufferの場合には図６（ａ）のように画像メモリバッファの先頭にDPBpointer=1が設定され、DPBpointer=2,3,4はDPBpointer=1の位置から最大フレームサイズの２倍、３倍、４倍分のメモリポインタの位置を進めた位置に設定される。
また、maxDPBsize=2*MFSBufferの場合には図６（ｂ）のようにすでに設定されたDPBpointer1〜4に加えて、DPBpointer=1の位置から最大フレームサイズ分の１／２倍、３／２倍、５／２倍、７／２倍分のメモリポインタの位置を進めた位置に設定される。（ステップＳ５０５）。
設定されたmax_dec_pic_buffering及びDPBpointerは後述のステップＳ５０８のフレームメモリの制御に利用される。すなわち復号時に再生画像はフレームメモリに最大でmax_dec_pic_buffering枚まで格納となり、格納時には設定されたDPBpointerに基づき格納するよう制御される。符号化方法では、再生画像の横幅の輝度画素数pic_width、再生画像の縦幅の輝度画素数pic_heightに関する情報、最大画像サイズMaxLumaFS、復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量MFSBufferを含むレベル情報は、外部から与えられる。図３では、入力端子３１３経由して、図示されていない制御装置から与えられる。
一方、ステップＳ５０６では、図３で説明した方法で処理の対象となる画像を符号化した上で復号する。符号化した画像のデータは外部に送出、または蓄積される。ステップＳ５０７では、対象画像は後続の処理で参照画像として用いられるかどうかを判断する。この判断は画像の符号化タイプ（画面内予測符号化、画面間予測符号化、双方向予測符号化）によって決まる。参照画像として用いられない場合はステップＳ５１０に進む。参照画像として用いられる場合はステップＳ５０８に進みDPBpointerが図６に記載の位置で制御され、ステップＳ５０９にて復号・再生された画像をフレームメモリに格納した上で、ステップＳ５１１に進む。ステップＳ５１１では、次の画像があればＳ５０６に進み、次の画像がなければ処理を終了する。このように最後の画像まで符号化処理を実行する。
上述した処理は、図３の動画像符号化方法全体の処理に該当するが、とりわけステップＳ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５とＳ５０８は本発明によるフレームメモリ管理器３１４内にて行われる。
なお、図５は動画像の符号化方法として説明したが、動画像復号方法の処理にも適用できる。復号処理を行う場合、ステップＳ５０１では圧縮符号化された画像のデータ（ビットストリーム）が入力される。当該データから再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_height及び符号化設定として定義される最大フレームサイズMaxLumaFS及び復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量MFSBuffer、復号時に利用される再生画像の最大格納枚数(メモリバッファ量) max_dec_pic_bufferingを抽出して、上述と同じ方法でステップＳ５０２〜Ｓ５０５、Ｓ５０８の制御を行う。なお復号側では、ステップＳ５０５において復元されたmax_dec_pic_bufferingがmaxDPBsize以下であるかが確認される。ステップＳ５０６では対象画像の圧縮されたデータを復号し、画像を復元する処理を行う。ステップＳ５０７以降の処理は上述したとおりである。この処理は図４の動画像復号装置の処理に該当するが、とりわけステップＳ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５とＳ５０８は本発明による動画像復号装置のフレームメモリ管理器４０９内にて行われる。
図６は本発明の実施形態による動画像予測符号化・復号方法におけるフレームメモリのメモリポインタの位置を説明するための模式図である。図６（ａ）と（ｂ）を比較するとわかるように、メモリポインタ番号１から４の位置は固定されている。また、ステップＳ５０３で条件を満たす場合には、新たにメモリポインタ５から８として制御される。つまり、ステップＳ５０３の判定によらず、メモリポインタの位置は固定されることになる。
（メモリポインタの位置）
なお、本実施形態のメモリポインタ番号を１から４と５から８を交互に設定したが、メモリポインタ番号を１から８の順番で割り当てても良い。
（メモリ分割数）
なお、本実施形態では再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_heightと符号化設定として定義される最大フレームサイズMaxLumaFSの半分の値（MaxLumaFS/2）と比較を行ったが、再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_heightと符号化設定として定義される最大フレームサイズMaxLumaFS/2L（Ｌは２以上の整数）とを比較してもよい。その際、再生画像の格納位置を示すメモリポインタの位置は、図６で示したとおり、既に配置されたポインタを固定したままMaxLumaFSの１／２Ｌの位置にメモリポインタを配置すればよい。
（フレームサイズの定義）
なお、本実施形態では、再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_heightによってフレームサイズを表現したが、あらかじめ積算されたフレームサイズを示す値が利用されてもよい。また、それ以外の方法でフレームサイズが算出されてもよい。
なお、本実施形態では、最大画像サイズMaxLumaFS、復号画像バッファ（DPB）に格納可能なMaxLumaFSの大きさの再生画像の最大枚数で表現されるメモリバッファ量MFSBufferはレベル情報として定義されたが、レベル情報として送られることに限定されない。レベル情報以外の情報として加えられても良い。
なお、本実施形態ではFSBufferやmaxDPBsizeは、格納可能な再生画像の最大枚数で表現されたが、実際のメモリ量として表現されてもよい。その場合、再生画像の枚数は、メモリ量をフレームサイズで除算して算出すればよい。
特に本発明は、画像のフレームサイズと符号化条件として定義される最大フレームサイズの関係に基づき、画像バッファメモリに格納可能な再生画像の最大枚数が決定されることで、実際のフレームサイズが最大フレームサイズよりも小さい場合に、フレームメモリの無駄を軽減し、更なる符号化効率向上を可能とする参照画像用のメモリ領域を確保する効果がある。
コンピュータを上述の動画像予測符号化装置及び動画像予測復号装置として機能させるための本発明に係る動画像予測符号化プログラム及び動画像予測復号プログラムは、プログラムとして記録媒体に格納されて提供される。記録媒体としては、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
具体的には、動画像予測符号化プログラムは、動画像を構成する複数の画像を入力する入力モジュールと、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを生成し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報に関する符号化データとともに符号化する符号化モジュールと、圧縮画像データを復号し、再生画像に復元する復号モジュールと、再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納モジュールと、画像格納モジュールにおいて画像バッファメモリを制御するメモリ制御モジュールと、を具備し、メモリ制御モジュールは、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２Ｌ（Ｌは１以上の整数）以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２Ｌ倍に決定することを特徴とする動画像予測符号化プログラムである。
同様に、動画像予測符号化プログラムは、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力モジュールと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号モジュールと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納モジュールと、画像格納モジュールを制御するメモリ制御モジュールと、を具備し、メモリ制御モジュールは、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２Ｌ（Ｌは１以上の整数）倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２Ｌ倍に決定することを特徴とする動画像予測符号化プログラムである。
図７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。
図７に示すように、コンピュータ３０は、フロッピー（登録商標）ディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像予測符号化・復号プログラムにアクセス可能になり、当該動画像予測符号化・復号プログラムによって、本発明による動画像符号化装置・復号装置として動作することが可能になる。
図８に示すように、動画像予測符号化プログラムもしくは動画像復号プログラは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラムもしくは動画像復号プログラムをメモリ１６に格納し、当該動画像予測符号化プログラムもしくは動画像予測復号プログラムを実行することができる。
上記目的を達成するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを生成し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報に関する符号化データとともに符号化する符号化手段と、圧縮画像データを復号し、再生画像に復元する復号手段と、再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。
この動画像予測符号化装置では、動画像を構成する各画像または圧縮符号化された画像データに付随されるフレームサイズと符号化設定で定義される最大フレームサイズ関係に基づき、画像バッファメモリに格納可能な再生画像の最大枚数が決定される。より具体的には、例えば、入力画像のフレームサイズが符号化設定で定義される最大フレームサイズの１／２倍より大きい場合には再生画像を最大Ｎ枚格納（Ｎは１以上の整数）可能とし、入力画像のフレームサイズが最大フレームサイズの１／２倍以下の場合には、再生画像の格納に利用可能なメモリバッファ量を制御して、再生画像を最大２ｘＮ枚格納可能とする。これにより復号された再生画像のフレームサイズが符号化設定にて定義された最大フレームサイズの１／２倍以下の場合に、格納可能な再生画像の最大枚数を増加することができ、参照画像増加により符号化効率向上が可能となる。
また、本発明に係る動画像予測符号化装置は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。
本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力手段と、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。
この動画像予測復号装置では、動画像を構成する各画像または圧縮符号化された画像データに付随されるフレームサイズと符号化設定で定義される最大フレームサイズ関係に基づき、画像バッファメモリに格納可能な再生画像の最大枚数が決定される。より具体的には、例えば、入力画像のフレームサイズが符号化設定で定義される最大フレームサイズの１／２倍より大きい場合には再生画像を最大Ｎ枚格納（Ｎは１以上の整数）可能とし、入力画像のフレームサイズが最大フレームサイズの１／２倍以下の場合には、再生画像を最大２Ｎ枚格納可能とする。これにより復号された再生画像のフレームサイズが符号化設定にて定義された最大フレームサイズの１／２倍以下の場合に、格納可能な再生画像の最大枚数を増加することができ、参照画像増加により符号化効率向上が可能となる。
また、本発明に係る動画像予測復号装置は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。
また、本発明に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを生成し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報に関する符号化データとともに符号化する符号化ステップと、圧縮画像データを復号し、再生画像に復元する復号ステップと、再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。
また、本発明に係る動画像予測符号化方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。
また、本発明に係る動画像予測復号方法は、動画像予測復号装置によって実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力ステップと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。
また、本発明に係る動画像予測復号方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。
また、本発明に係る動画像予測復号方法は、フレームメモリ内に格納可能な再生画像の最大枚数を決定する際に、メモリ内の再生画像の格納位置を示すメモリポインタを固定することを特徴とすることとしてもよい。
この動画像予測復号方法では、各再生画像の格納位置を示すメモリポインタは、例えば、最大フレームサイズとその１／２倍の位置で固定することができるため、フレームサイズによる可変的なメモリポインタ制御を必要とせず、より簡易で効率的なメモリ制御の実装が可能となる。また、メモリポインタの位置を算出する際も、例えば、１／２倍の変化に限定されるためシフト演算で実行可能であり、演算コストが少ない。
また、本発明に係る動画像予測復号プログラムは、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力モジュールと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号モジュールと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納モジュールと、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。
当該動画像予測復号方法及び動画像予測復号プログラムは、上述の動画像予測復号装置と同様な効果を奏することができる。
本発明に係る動画像予測復号方法は、動画像予測復号装置によって実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力ステップと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズと入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の等倍、２倍又は４倍に決定することを特徴とする。
また、本発明に係る動画像予測復号方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の２倍に決定することを特徴とすることとしてもよい。
また、本発明に係る動画像予測復号方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の４倍に決定することを特徴とすることとしてもよい。
本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力手段と、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズと入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の等倍、２倍又は４倍に決定することを特徴とする。
上記目的を達成するために、本発明に係る動画像予測復号方法は、動画像予測復号装置によって実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力ステップと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズのシフト演算値と入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の等倍、２倍又は４倍に決定されていることを特徴とする。
また、本発明に係る動画像予測復号方法は、入力画像のフレームサイズが、画像の最大フレームサイズを１ビット右シフト演算した値以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の２倍に決定されており、かつ、入力画像のフレームサイズが、画像の最大フレームサイズを２ビット右シフト演算した値以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の４倍に決定されていることを特徴とすることとしてもよい。
本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力手段と、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズのシフト演算値と入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の等倍、２倍又は４倍に決定されていることを特徴とする。
３０１…入力端子、３０２…ブロック分割器、３０３…予測信号生成器、３０４…フレームメモリ、３０５…減算器、３０６…変換器、３０７…量子化器、３０８…逆量子化器、３０９…逆変換器、３１０…加算器、３１１…エントロピー符号化器、３１２…出力端子、３１３…入力端子、３１４…フレームメモリ管理器、４０１…入力端子、４０２…データ解析器、４０３…逆量子化器、４０４…逆変換器、４０５…加算器、４０６…出力端子、４０７…フレームメモリ、４０８…予測信号生成器、４０９…フレームメモリ管理器。

Claims (11)

  1. 動画像を構成する複数の画像を受信する受信部と、
    受信された画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、圧縮画像データを生成する符号化部と、
    圧縮画像データを復号し、再生画像に復元する復号部と、
    １つ以上の再生画像を、後続の画像を符号化するために用いられる参照画像として格納するフレームメモリと、
    前記フレームメモリを管理するメモリ管理部であって、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記フレームメモリ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記フレームメモリ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するメモリ管理部と、
    を備え、
    前記メモリ管理部が、
    ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較し、
    ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にし、
    前記フレームメモリ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定し、
    前記フレームメモリ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である、
    動画像予測符号化装置。
  2. 前記メモリ管理部が、
    ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較し、
    ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にし、
    ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定する、
    請求項１に記載の動画像予測符号化装置。
  3. 動画像を構成する複数の画像の圧縮された形態を表す圧縮画像データを含む符号化されたデータを受信する受信部であって、複数の画像が画面内予測もしくは画面間予測のいずれかの方法で符号化されている、受信部と、
    圧縮画像データを復号し、再生画像に復元する復号部と、
    １つ以上の再生画像を、後続の画像を復号するために用いられる参照画像として格納する復号画像バッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）と、
    前記ＤＰＢを管理するバッファ管理部であって、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記ＤＰＢ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記ＤＰＢ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するバッファ管理部と、
    を備え、
    前記バッファ管理部が、
    ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較し、
    ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にし、
    前記ＤＰＢ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定し、
    前記ＤＰＢ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である、
    動画像予測復号装置。
  4. 前記バッファ管理部が、
    ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較し、
    ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にし、
    ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定する、
    請求項３に記載の動画像予測復号装置。
  5. 動画像予測符号化装置によって実行される動画像予測符号化方法であって、
    動画像を構成する複数の画像を受信するステップと、
    受信された画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、圧縮画像データを生成するステップと、
    圧縮画像データを復号し、再生画像に復元するステップと、
    フレームメモリ内において、１つ以上の再生画像を、後続の画像を符号化するために用いられる参照画像として格納するステップと、
    対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記フレームメモリ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記フレームメモリ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するステップと、
    ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較するステップと、
    ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にするステップと、
    前記フレームメモリ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定するステップと、
    を含み、
    前記フレームメモリ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である、
    動画像予測符号化方法。
  6. ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較するステップと、
    ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にするステップと、
    ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定するステップと、
    をさらに含む、請求項５に記載の動画像予測符号化方法。
  7. 動画像予測復号装置によって実行される動画像予測復号方法であって、
    動画像を構成する複数の画像の圧縮された形態を表す圧縮画像データを含む符号化されたデータを受信するステップであって、複数の画像が画面内予測もしくは画面間予測のいずれかの方法で符号化されている、ステップと、
    複数の画像の圧縮された形態を復号し、再生画像に復元するステップと、
    復号画像バッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）内において、１つ以上の再生画像を、後続の画像を復号するために用いられる参照画像として格納するステップと、
    対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記ＤＰＢ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記ＤＰＢ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するステップと、
    ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較するステップと、
    ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にするステップと、
    前記ＤＰＢ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定するステップと、
    を含み、
    前記ＤＰＢ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である、
    動画像予測復号方法。
  8. ＭａｘＬｕｍａＦＳの１／４倍と対象画像フレームサイズとを比較するステップと、
    ＭａｘＬｕｍａＦＳの１／４倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを４倍にするステップと、
    ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定するステップと、
    をさらに含む、請求項７に記載の動画像予測復号方法。
  9. ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの２倍に設定した後、メモリポインタを、ＭＦＳＢｕｆｆｅｒに応じて分割された前記ＤＰＢの格納位置を示したままにするステップをさらに含む、請求項７に記載の動画像予測復号方法。
  10. ｍａｘＤＰＢｓｉｚｅをＭＦＳＢｕｆｆｅｒの４倍に設定した後、メモリポインタを、ＭＦＳＢｕｆｆｅｒに応じて分割された前記ＤＰＢの格納位置を示したままにするステップをさらに含む、請求項８に記載の動画像予測復号方法。
  11. コンピュータを、
    動画像を構成する複数の画像の圧縮された形態を表す圧縮画像データを含む符号化されたデータを受信する受信部であって、複数の画像が画面内予測もしくは画面間予測のいずれかの方法で符号化されている、受信部と、
    圧縮画像データを復号し、再生画像に復元する復号部と、
    １つ以上の再生画像を、後続の画像を復号するために用いられる参照画像として格納する復号画像バッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）と、
    前記ＤＰＢを管理するバッファ管理部であって、対象画像のフレームサイズを示す対象画像フレームサイズと、レベル情報により予め規定され、前記ＤＰＢ内に格納可能な再生画像の最大サイズを示す、最大フレームサイズ（ＭａｘＬｕｍａＦＳ）と、前記ＤＰＢ内に格納可能な再生画像の予め設定される最大枚数によって表現されるフレームメモリサイズ（ＭＦＳＢｕｆｆｅｒ）とを取得するバッファ管理部、
    として機能させ、
    前記バッファ管理部が、
    ＭａｘＬｕｍａＦＳの１／２倍と対象画像フレームサイズとを比較し、
    ＭａｘＬｕｍａＦＳの１／２倍が対象画像フレームサイズ以上であると判定された場合に、ＭＦＳＢｕｆｆｅｒを２倍にし、
    前記ＤＰＢ内に格納可能な再生画像の適応最大枚数（ｍａｘＤＰＢｓｉｚｅ）をＭＦＳＢｕｆｆｅｒの２倍に設定し、
    前記ＤＰＢ内に格納された再生画像の枚数が、ｍａｘＤＰＢｓｉｚｅにおいて設定された枚数以下である、
    動画像予測復号プログラム。
JP2020002270A 2020-01-09 2020-01-09 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム Active JP6875566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020002270A JP6875566B2 (ja) 2020-01-09 2020-01-09 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020002270A JP6875566B2 (ja) 2020-01-09 2020-01-09 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018200969A Division JP6646125B2 (ja) 2018-10-25 2018-10-25 動画像予測復号方法及び動画像予測復号装置

Publications (2)

Publication Number Publication Date
JP2020058075A JP2020058075A (ja) 2020-04-09
JP6875566B2 true JP6875566B2 (ja) 2021-05-26

Family

ID=70107848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020002270A Active JP6875566B2 (ja) 2020-01-09 2020-01-09 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム

Country Status (1)

Country Link
JP (1) JP6875566B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220232256A1 (en) * 2021-01-08 2022-07-21 Lemon Inc. Video Decoder Initialization Information Signaling

Also Published As

Publication number Publication date
JP2020058075A (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
RU2715519C1 (ru) Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
JP6426648B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP6875566B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム
JP5698644B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP6646125B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP5957558B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210422

R150 Certificate of patent or registration of utility model

Ref document number: 6875566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE

Ref document number: 6875566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250