以下、本発明の実施の形態について説明する。
(実施の形態1)
図1は本発明の実施の形態1による動画像符号化装置10aを説明するブロック図である。
この実施の形態1の動画像符号化装置10aは、動画像を構成する複数のピクチャをそれぞれ一定のデータ処理単位(ブロック)に分割し、各ピクチャの画像データをブロック毎に符号化するものである。ここで、該ブロックは、縦方向及び横方向の画素数が16であるマクロブロックとする。
すなわち、この動画像符号化装置10aは、ピクチャ毎に入力された動画像(入力画像)のデータ(入力データ)Idを記憶するとともに、記憶したデータSIdをブロック毎に出力するピクチャメモリ101と、上記入力ピクチャメモリ101から出力された、符号化対象となる対象ブロックの画像データSIdと、該対象ブロックの予測データPdとの差分データを、対象ブロックの予測誤差データDdとして算出する差分演算器113と、上記対象ブロックの画像データSIdあるいは予測誤差データDdを圧縮符号化する予測残差符号化器102とを有している。ここで、上記ピクチャメモリ101では、表示順に入力されたピクチャの画像データをピクチャの符号化順に並べ替える処理が、対象ピクチャと、その予測符号化の際に参照されるピクチャ(参照ピクチャ)との関係に基づいて行われる。また、上記ピクチャメモリ101は、入力画像のサイズを示す情報(入力画像サイズ情報)Ipxを出力するものであり、この入力画像サイズ情報Ipxは、入力画像の縦画素数(h)を示す情報Ihpxと、入力画像の横画素数(w)を示す横画素数情報Iwpxとからなる。
動画像符号化装置10aは、上記予測残差符号化器102の出力データ(符号化データ)Cdを伸張復号化して、対象ブロックの差分データ(以下復号差分データという。)PDdを出力する予測残差復号化器104と、該対象ブロックの復号差分データPDdと上記対象ブロックの予測データPdとを加算して、対象ブロックの画像データ(以下、復号化データという。)Rdを出力する加算演算器106と、該復号化データRdを記録するとともに、ピクチャ指定信号CSpdに基づいて、記憶した復号化データRdを、対象ブロックの符号化の際に参照されるピクチャの候補(参照候補ピクチャ)のデータCRdとして出力するピクチャメモリ105とを有している。
動画像符号化装置10aは、上記ピクチャメモリ101の出力データ(対象ブロックの画像データ)SId及びピクチャメモリ105の出力データ(参照候補ピクチャのデータ)CRdに基づいて、対象ブロックの動きベクトルMVを検出するとともに、該検出した動きベクトルMVに基づいて、対象ブロックに対する予測データPdを生成する動きベクトル検出器106と、該動きベクトル検出器106にて検出した対象ブロックの動きベクトルMVを記憶する動きベクトル記憶部107とを有している。上記動きベクトル検出器106では、複数の参照候補ピクチャのうちの最適なピクチャを参照し、かつ対象ブロックの周辺に位置する処理済みブロックの動きベクトルを参照して、上記対象ブロックの動きベクトルを検出する動き検出が行われる。ここで、複数の参照候補ピクチャのうちの最適なピクチャは、符号化効率などに基づいて決定される。
動画像符号化装置10aは、上記ピクチャメモリ101の出力データSIdと差分演算器113の出力データDdの一方を選択して、選択データCEdを出力する選択スイッチ111と、上記動きベクトル検出器106と加算演算器114との間に設けられたオンオフスイッチ112とを有している。ここで、上記選択スイッチ111は、2つの入力端子Ta1及びTa2と1つの出力端子Tbとを有し、スイッチ制御信号に応じて、該出力端子Tbが上記2つの入力端子Ta1,Ta2の一方に接続されるものである。
そして、この実施の形態1の動画像符号化装置10aは、ユーザ操作により入力された、符号化処理のレベルを示すレベル識別子の信号(レベル信号)Lstに基づいて、符号化処理可能な最大画面内画素数(Nfpx)を示す情報(最大画面内画素数情報)Ifpx、及び復号化装置のピクチャメモリに蓄積可能な最大蓄積画素数(Nspx)を示す情報(最大蓄積画素数情報)Ispxを出力するレベル解析部100aを有している。このレベル解析部100aは、図15に示すテーブルT1の情報を有している。このテーブルT1は、レベル識別子の値と、最大画面内画素数及び最大蓄積画素数との対応関係を示している。
動画像符号化装置10aは、レベル解析部100aからの最大画面内画素数情報Ifpx、及びピクチャメモリ101からの入力画像サイズ情報Ipxに基づいて、入力画像に対する符号化の可否判定を行い、判定結果を示す信号(判定結果信号)CSjdを出力する判定器(符号化可否判定器)108aを有している。動画像符号化装置10aは、最大蓄積画素数情報Ispx及び入力画像サイズ情報Ipxに基づいて、ピクチャ間予測符号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出して、該算出した枚数Nrpnを示す情報(最大参照ピクチャ枚数)Irpnを出力する算出器(最大参照ピクチャ算出器)109aを有している。
また、上記動画像符号化装置10aは、予測残差符号化部102の出力データ(符号化データ)Cdを可変長符号化するとともに、該可変長符号化により得られた符号列に、動きベクトルMV,モード信号Ms,及びレベル信号Lstに対応する符号を付加して得られた符号列Bsaを出力する符号列生成部103とを有している。
さらに、上記動画像符号化装置10aは、上記判定結果信号CSjd及びピクチャメモリ101からの画像データSIdに基づいて、制御信号Sct1,Sct2,・・・,Sctnにより、上記動画像符号化装置10aを構成する各部の動作を制御する制御部110を有している。この制御部110は、上記ピクチャメモリ101からの画像データSIdに基づいて符号化モードを決定し、決定したモードを示すモード信号Msを出力するとともに、該決定した符号化モードに応じて、上記各スイッチ111及び112を所定の制御信号により制御するものである。また、この制御部110は、上記判定結果信号CSjdに応じて、制御信号Sct1,Sct2,・・・,Sctnにより上記予測残差符号化器102,予測残差復号化器104,符号列生成器103,及び動きベクトル検出器106などの動作を制御するものである。つまり、該制御部110は、判定結果信号CSjdが、入力画像に対する符号化が可能であることを示すときは、上記予測残差符号化器102,予測残差復号化器104,符号列生成器103,及び動きベクトル検出器106などを、入力画像に対する符号化が行われるよう制御し、判定結果信号CSjdが、入力画像に対する符号化が不可能であることを示すときは、上記予測残差符号化器102,予測残差復号化器104,符号列生成器103,及び動きベクトル検出器106などを、入力画像に対する符号化が行われないよう制御するものである。
図14(a)は、入力画像に対応する符号列Bsaのデータ構造を示している。
該符号列Bsaは、種々のヘッダ情報が格納されているヘッダ領域Haと、各ピクチャの画像データに対応する符号化データ(符号列)が格納されているシーケンスデータ部Dsqとから構成されている。
上記符号列Bsaのヘッダ領域Haには、ヘッダ情報の1つとして、上記レベル識別子の信号(レベル信号)Lstに対応する符号H1が含まれている。また、上記符号列Bsaのシーケンスデータ部Dsqには、入力画像のサイズ、つまり入力画像縦画素数(h)及び入力画像横画素数(w)を示すシーケンスヘッダShが含まれている。
図2は、上記符号化可否判定器108aの具体的な構成を示す図である。
該符号化可否判定器108aは、入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpxに基づいて、入力画像縦画素数(h)と入力画像横画素数(w)の乗算値(Phw)を算出し、乗算結果を示す乗算信号Shwを出力する乗算器206と、該乗算信号Shwと最大画面内画素数情報Ifpxに基づいて、上記乗算値(Phw)と最大画面内画素数(Nfpx)とを比較し、この比較結果を示す第1の比較結果信号Scm1を出力する第1比較演算器203とを有している。
上記符号化可否判定器108aは、入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpxに基づいて、処理可能な最大縦画素数(H)及び最大横画素数(W)を算出し、該算出結果を示す情報Op3a及びOp3bを出力する算出器(最大縦画素数最大横画素数算出器)201と、該算出器201からの算出結果情報Op3a及びOp3bに基づいて、最大縦画素数(H)及び最大横画素数(W)を16の倍数値にまるめる丸め演算処理を行って、最大縦画素数(H)を16の倍数値にまるめた値(round1(H))を示す丸め演算情報Trnd1、及び最大横画素数(W)を16の倍数値にまるめた値(round2(H))を示す丸め演算情報Trnd2を出力する16倍数値変換器202を有している。
上記符号化可否判定器108aは、上記画素数情報Ihpx,Iwpxと上記丸め演算情報Trnd1,Trnd2に基づいて、上記入力画像縦画素数(h)と最大縦画素数(H)との比較(縦画素数比較)、及び上記入力画像横画素数(w)と最大横画素数(W)との比較(横画素数比較)を行って、縦画素数の比較結果を示す比較結果信号Scm2a及び横画素数の比較結果を示す比較結果信号Scm2bを出力する第2比較演算器204と、上記3つの比較結果信号Scm1,Scm2a,Scm2bの論理積を求め、得られた論理積の結果を示す演算信号CSjdを出力する論理積演算器205とを有している。
図3は、上記最大参照ピクチャ枚数算出器109aの具体的な構成を示す図である。
この最大参照ピクチャ枚数算出器109aは、入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpxに基づいて、入力画像のサイズである1画面の総画素数(Phw=h×w)を算出し、該算出結果を示す演算出力Ohwを出力する乗算器401と、演算出力Ohw及び最大蓄積画素数情報Ispxに基づいて、最大蓄積画素数(Nspx)を1画面の総画素数(h×w)で除算し、除算結果(Nspx/(h×w))を示す演算出力信号Dpmを出力する除算器402とを有している。また、上記最大参照ピクチャ枚数算出器109aは、符号化対象となるピクチャ枚数(1枚)を示す数値信号Sn1を保持し、該数値信号Sn1を出力する定数格納部404と、上記除算器402の出力信号Dpmと該数値情報Sn1とに基づいて、除算結果(Nspx/(h×w))から1を減算した値(Nspx/(h×w)−1)を示す減算出力信号Sd1を出力する減算器403とを有している。
次に動作について説明する。
この実施の形態1の動画像符号化装置10aでは、入力画像の符号化を行う前に、この動画像符号化装置10aのメモリ等の構成、および符号化データの供給対象となる動画像復号化装置のメモリ等の構成に基づいて、符号化条件として用いる、予め設定されている複数の符号化レベルの中から、所要のレベルを選択しておく。具体的には、上記符号化レベルの選択は、ユーザが上記テーブルT1を参照して行い、ユーザ操作により、選択されたレベルに対応するレベル識別子を示すレベル信号Lstが、該動画像符号化装置10aに入力されることとなる。
ここで、各符号化レベルに対しては、固有の最大画面内画素数(Nfpx)および最大蓄積画素数(Nspx)が設定されている。例えば、図15に示すテーブルT1には、8個の符号化レベルが示されており、各符号化レベルは、レベル識別子の値(1)〜(8)に対応している。また、レベル識別子の値(1)〜(8)はそれぞれ、最大画面内画素数(Nfpx)の具体的数値及び最大蓄積画素数(Nspx)の具体的数値に対応付けられている。
また、最大画面内画素数(Nfpx)は、この動画像符号化装置10aにて符号化可能とし、かつ符号化データの供給対象となる動画像復号化装置にて復号化可能とする、入力画像(動画像)を構成するピクチャのサイズを示すものであり、該ピクチャの縦画素数(h)と横画素数(w)との積の値の取り得る最大値である。具体的には、最大画面内画素数は、1ピクチャあたりの画素数の最大値を示すものである。
また、最大蓄積画素数(Nspx)は、上記動画像符号化装置10aに対応する復号化装置の持つピクチャメモリに、どれだけの数の画素に対応する画像データを蓄積可能であるかを示すものであり、言い換えると、ピクチャメモリに蓄積可能な画像データの最大量に相当する画素数である。例えば、上記動画像符号化装置10aからの符号列を復号化する動画像復号化装置のピクチャメモリには、参照候補ピクチャ、表示待ちの復号化済みピクチャ、復号化対象ピクチャ等のピクチャのデータが蓄積されるが、上記最大蓄積画素数は、これらのピクチャの画素の総数である。
この動画像符号化装置10aでは、ユーザの操作により、符号化レベルの選択が行われると、レベル選択信号Lstがレベル解析部100aに入力される。すると、該レベル解析部100aでは、内部に保持されているテーブルT1(図15参照)を参照して、ユーザにより選択された、上記レベル信号Lstが示す符号化レベルに応じて、画面内最大画素数情報Ifpx及び最大蓄積画素数情報Ispxが出力される。該画面内最大画素数情報Ifpxは符号化可否判定器108aに入力され、該最大蓄積画素数情報Ispxは最大参照ピクチャ枚数算出器109aに入力される。
そして、動画像(入力画像)の画像データIdが表示時間順でピクチャ毎にピクチャメモリ101に入力されると、該ピクチャメモリ101には各ピクチャに対応する画像データが順次格納され、該ピクチャメモリ101からは、格納された画像データSIdが、符号化順にピクチャを構成するブロック(マクロブロック)毎に出力される。このとき、該ピクチャメモリ101からは、入力画像のサイズを示す情報(入力画像サイズ情報)Ipxが上記符号化可否判定器108a及び最大参照ピクチャ枚数算出器109aに出力される。
なお、ここで、上記マクロブロックは、例えば、水平方向の画素数(横画素数)が16であり、垂直方向の画素数(縦画素数)が16であるブロック(16×16画素ブロック)であり、本動画像符号化装置10aでの符号化処理は、該ブロック単位で行われる。また、入力画像サイズ情報Ipxは、上記のように、入力画像の縦画素数(h)を示す情報Ihpxと、入力画像の横画素数(w)を示す横画素数情報Iwpxとからなる。
すると、符号化可否判定器108aでは、ピクチャメモリ101から出力された入力画像サイズ情報Ipxに含まれる入力画像縦画素数情報Ihpx及び横画素数情報Iwpxと、レベル解析部100aから出力された最大画面内画素数情報Ifpxに基づいて、入力画像に対する符号化の可否判定が行われ、判定結果を示す信号(判定結果信号)CSjdが制御部110に出力される。
この制御部110は、該判定結果信号CSjdが、入力画像の符号化が可能であることを示す場合は、ピクチャメモリ101からの画像データSIdに対する符号化処理が行われるよう、動画像符号化装置10aの各部を制御信号Sct1,Sct2,・・・,Sctnに基づいて制御し、該判定結果信号CSjdが、入力画像の符号化が不可能であることを示す場合は、ピクチャメモリ101からの画像データSIdに対する符号化処理が行われないよう、動画像符号化装置10aの各部を制御信号Sct1,Sct2,・・・,Sctnに基づいて制御する。
また、制御部110では、該判定結果信号CSjdが、入力画像の符号化が可能であることを示す場合は、ピクチャメモリ101からの画像データSIdに基づいて、画像データのピクチャ間予測符号化を行うモードと、画像データのピクチャ内予測符号化を行うモードとの切り替えがなされる。制御部110にて画像データのピクチャ間予測符号化を行うモードが選択された場合は、スイッチ111は、出力端子Tbが第2の入力端子Ta2に接続され、スイッチ112は導通状態となるよう、制御部110からの所定の制御信号により制御される。一方、制御部110にて画像データのピクチャ間予測符号化を行うモードが選択された場合は、スイッチ111は、出力端子Tbが第1の入力端子Ta1に接続され、スイッチ112は非導通状態となるよう、制御部110からの所定の制御信号により制御される。
また、最大参照ピクチャ枚数算出器109aでは、最大蓄積画素数情報Ispx,入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpxに基づいて、ピクチャ間予測符号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)(Nrpn)が算出され、該算出された枚数(Nrpn)を示す情報(最大参照ピクチャ枚数)Irpnが出力される。
以下、まずピクチャ間予測符号化が選択された場合の動作について説明する。
ピクチャメモリ101から読み出されたマクロブロックの画像データSIdは、動きベクトル検出器106に入力される。このとき、ピクチャメモリ105には、符号化済みピクチャに対応する復号画像データRdが参照候補ピクチャの画像データとして蓄積されており、ピクチャメモリ105では、動きベクトル検出器106からのピクチャ指定信号CSpdにより、参照候補ピクチャのうちの所要のピクチャが参照ピクチャとして指定される。そして、動きベクトル検出器106では、指定された参照候補ピクチャの画像データを上記参照ピクチャの画像データCRdとして用いて、符号化対象としている対象マクロブロックに対する動きベクトルMVを検出する処理が行われる。得られた動きベクトルによって決定された、対象マクロブロックに対応する参照画像の画像データが、対象マクロブロックに対する予測データPdとして差分演算器113に入力される。
差分演算器113では、対象マクロブロックの画像データSIdとその予測データPdとの差分をとることにより、予測残差画像データDdが生成され、予測残差符号化器102では、該予測残差画像データDdの符号化が行われて、予測残差符号化データCdが出力される。
すると、予測残差復号化器104では、上記予測残差符号化データCdが復号化され、復号化により得られた予測残差画像データPDdが加算演算器114に出力される。加算演算器114では、予測残差復号化器104からの予測残差画像データPDdと動きベクトル検出器106からの予測データPdとの加算演算が行われ、該加算演算により得られた画像データRdがピクチャメモリ105に蓄積される。
そして、符号列生成器103では、予測残差符号化器102から出力された予測残差符号化データCdに対する符号列が生成され、該符号列が、動きベクトル検出器106からの動きベクトルMVに対応する符号,制御部110からのモード信号Msに対応する符号,及びレベル信号Lstに対応する符号とともに、符号列Bsaとして出力される。この符号列Bsaのヘッダ領域Haには、図14(a)に示すように、上記レベル信号Lstに対応する符号H1が含まれており、シーケンスデータ部Dsqには、マクロブロック単位の符号化により生成された画像情報,動きベクトルの符号,モード信号の符号がシーケンスヘッダShとともに含まれている。このシーケンスヘッダShには、入力画像の縦画素数(h)及び横画素数(w)を示す情報Ipxの符号が含まれている。
次に、ピクチャ内予測符号化が選択された場合の動作について簡単に説明する。
この場合は、ピクチャメモリ101から出力された画像データSIdは、スイッチ111を介して予測残差符号化器102に出力され、該符号化器102にて符号化されて符号列生成器103に出力される。
そして、符号列生成器103では、符号化器102から出力された符号化データCdに対する符号列が生成され、該符号列が、制御部110からのモード信号Msに対応する符号,及びレベル信号Lstに対応する符号とともに、符号列Bsa(図14(a)参照)として出力される。
また、予測残差復号化器104では、予測残差符号化器102から出力された符号化データCdが復号化され、復号化により得られた予測残差画像データPDdは、加算演算器114を介してそのまま画像データRdとしてピクチャメモリ105に蓄積される。
次に、上記動画像符号化装置10aの符号化可否判別器108aの具体的な動作について図2を用いて説明する。
この実施の形態1の動画像符号化装置10aの符号化可否判別器108aでは、以下の条件式(式1),(式2a),(式2b),(式3a),(式3b)に従って、入力画像の符号化の可否が判定される。なお、上記条件式(式1),(式2a),(式2b)は請求項3に記載のものであり、上記条件式(式3a),(式3b)は請求項7に記載のものである。
h × w <= Nfpx (式1)
h <= round1(H) (式2a)
w <= round2(W) (式2b)
H = sqrt(h×w×N) (式3a)
W = sqrt(h×w×N) (式3b)
なお、Nfpxは最大画面内画素数、hは符号化対象ピクチャの縦画素数、wは符号化対象ピクチャの横画素数、Hは、本動画像符号化装置10aで符号化可能とする入力画像の最大縦画素数、Wは、本動画像符号化装置10aで符号化可能とする入力画像の最大横画素数、Nは任意の自然数である。また、round1()は()内の引数の値を符号化の単位であるマクロブロックの縦画素数の倍数で丸める演算の結果を示す記号、round2()は()内の引数の値を符号化単位であるマクロブロックの横画素数の倍数で丸める演算の結果を示す記号、sqrt()は()内の引数の平方根を示す記号である。
まず、符号化可否判別器108aでは、ピクチャメモリ101から出力された入力画像サイズ情報Ipxに含まれる入力画像縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、上記(式1)で示される演算処理が行われる。つまり、入力画像の縦画素数(h)と横画素数(w)との積(h×w)を求める乗算処理が乗算演算器206によって行われ、さらに第1比較演算器203では、該乗算処理の結果を示す信号Shw及び最大画面内画素数情報Ifpxに基づいて、乗算処理結果(h×w)と最大画面内画素数(Nfpx)との比較がなされる。第1比較演算器203からは、比較結果を示す比較結果信号Scm1が論理積演算器205に出力される。
次に、符号化可否判別器108aでは、上記入力画像の縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、上記(式3a)および(式3b)で示される最大縦画素数(H)および最大横画素数(W)が、最大縦画素数最大横画素数算出器201によって算出される。
ここで(式3a)および(式3b)は、最大縦画素数(H)および最大横画素数(W)がそれぞれ、入力画像の縦画素数(h)と横画素数(w)との積をN倍した値の正の平方根となることを示している。例えば、N=8である場合、(式3a)は、縦画素数と横画素数の比が8対1以下となるように最大縦画素数(H)が決定されることを示唆し、(式3b)は、縦画素数と横画素数の比が1対8以下となるように最大横画素数(W)が決定されることを示唆している。
上記最大縦画素数最大横画素数算出器201によって得られた最大縦画素数(H)および最大横画素数(W)を示す演算結果信号Op3a及びOp3bは、16倍数変換器202に入力され、16倍数変換器202では、最大縦画素数(H)および最大横画素数(W)は切り捨て,切り上げ,または四捨五入等の演算処理によって16の倍数値に丸められる。16倍数変換器202からは、最大縦画素数(H)を16の倍数値にまるめた値(round1(H))を示す丸め演算情報Trnd1、及び最大横画素数(W)を16の倍数値にまるめた値(round2(H))を示す丸め演算情報Trnd2が、第2比較演算器204に出力される。さらに第2比較演算器204では、上記画素数情報Ihpx,Iwpxと上記丸め演算情報Trnd1,Trnd2に基づいて、上記入力画像縦画素数(h)と最大縦画素数(H)との比較(縦画素数比較)、及び上記入力画像横画素数(w)と最大横画素数(W)との比較(横画素数比較)が行われて、縦画素数の比較結果を示す比較結果信号Scm2a及び横画素数の比較結果を示す比較結果信号Scm2bが上記論理積演算器205に出力される。
なお、この実施の形態1では、16倍数変換機202による最大縦画素数(H)及び最大横画素数(W)の丸め処理は、これらの画素数を16の倍数となるように丸め処理としているが、この丸め処理における16という値は、符号化を行う単位であるマクロブロックの1辺の画素数に対応するものであり、従って、マクロブロックの1辺の画素数が16以外の場合には、丸め処理は、最大縦画素数及び最大横画素数をマクロブロックの1辺の画素数(16以外の数)に相当する値の倍数に丸める処理となる。このように上記丸め処理を、最大縦画素数及び最大横画素数をマクロブロックの1辺の画素数(16以外の数)に相当する値の倍数に丸める処理とすることにより、符号化可能とする入力画像の画面内のマクロブロックの個数、あるいは画面横方向もしくは画面縦方向のマクロブロックの個数がただ1つに決定されることとなり、ピクチャメモリでの画像データのマッピング等をより効率的に行うことが可能となる。
そして、論理積演算器205では、第1比較演算器203から出力された比較結果信号Scm1,および第2比較演算器204から出力された比較結果信号Scm2a,Scm2bの論理積が演算され、最終的な符号化可否の判別結果を示す信号(判定結果信号)CSjdが出力される。
次に、上記動画像符号化装置10aの最大参照ピクチャ枚数算出器109aの具体的な動作について、図3を用いて説明する。
この実施の形態1の動画像符号化装置10aの最大参照ピクチャ枚数算出器109aでは、以下の(式4)に示される演算により、ピクチャ間予測符号化で用いる参照候補ピクチャの最大枚数が算出される。なお、上記(式4)は請求項5に記載のものである。
Nrpn=Nspx÷(h×w)−1 (式4)
なお、hは入力画像(符号化対象ピクチャ)の縦画素数、wは入力画像(符号化対象ピクチャ)の横画素数である。Nrpnは最大参照ピクチャ枚数、Nspxは最大蓄積画素数である。この実施の形態1では、最大蓄積画素数Nspxは、本動画像符号化装置10aからの符号列Bsaを復号化する動画像復号化装置のピクチャメモリにその画像データが蓄積される参照用ピクチャと復号化対象ピクチャの画素数の総和の最大値である。
この最大参照ピクチャ枚数算出器109aでは、入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpxに基づいて、入力画像のサイズである1画面の総画素数(h×w)が算出される。つまり、乗算器401では、入力画像縦画素数情報Ihpxが示す入力画像の縦画素数(h)と、入力画像横画素数情報Iwpxが示す横画素数(w)の乗算が行われ、該乗算結果(h×w)を示す演算出力Ohwが出力される。
さらに、除算器402では、乗算器401の演算出力Ohw及びレベル解析部100aからの最大蓄積画素数情報Ispxに基づいて、最大蓄積画素数(Nspx)を乗算結果(h×w)で除算する演算が行われ、除算結果(Nspx/(h×w))を示す演算出力信号Dpmが出力される。
減算器403では、上記除算器402の演算出力信号Dpmと定数格納部404からの数値情報Sn1とに基づいて、除算結果(Nspx/(h×w))から1を減算する演算処理が行われ、減算結果(Nspx/(h×w)−1)を示す減算出力信号Sd1が出力される。
なお、上記減算器403で、上記除算結果(Nspx/(h×w))から1を引いているのは、復号化装置のピクチャメモリには、該復号化装置でピクチャ間予測復号化を行う際に用いる参照候補ピクチャの画像データに加え、復号化対象となっているピクチャの、復号化された画像データを蓄積する必要があるからである。
このように本実施の形態1の動画像符号化装置10aでは、ユーザにより指定された符号化レベルを示すレベル信号Lstに基づいて、符号化処理可能な最大画面内画素数(Nfpx)及び復号化装置のピクチャメモリに蓄積可能な最大蓄積画素数(Nspx)を決定するレベル解析部100aを備え、最大画面内画素数(Nfpx)及び入力画像サイズ(縦画素数Nhpx及び横画素数Nwpx)に基づいて入力画像に対する符号化の可否判定を行うとともに、ピクチャ間予測符号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、動画像符号化装置10aからの符号列の供給対象となる復号化装置では、該符号列を常に良好に復号化可能となり、符号化側でのピクチャ間予測符号化に対応したピクチャ間予測復号化を行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した符号化装置および復号化装置のメモリ領域の設計が可能となる。
なお、上記実施の形態1では、複数の符号化レベル(レベル識別子の値)の各々と、最大画面内画素数及び最大蓄積画素数との対応関係を示すテーブルとして、各符号化レベル(レベル識別子の値)に対して最大画面内画素数と最大蓄積画素数の組を対応させたテーブルT1(図15参照)を用いているが、これは、レベル識別子の値に最大画面内画素数を対応付けるテーブルT1a(図16(a))と、レベル識別子の値に最大蓄積画素数を対応付けるテーブルT1b(図16(b))とを用いてもよい。
また、上記実施の形態1では、ユーザによる符号化レベル(レベル識別子の値)の決定は、図15に示すテーブルT1に基づいて行われる場合を示しているが、ユーザによる符号化レベルの決定は、図15に示すテーブルT1の代わりに、以下の(式5)を用いて決定するようにしてもよい。
(レベル識別子の値)
=transA(最大画面内画素数、最大蓄積画素数) (式5)
transA()は、最大画面内画素数および最大蓄積画素数を引数としてレベル識別の値を与える演算を示す記号であり、この(式5)によれば、ユーザが、動画像符号化装置10aにて符号化可能とする入力画像の最大画面内画素数および最大蓄積画素数を指定すると、対応するレベル識別子の値が決定される。
また、レベル識別子の値と最大画面内画素数との対応を示すテーブルT1a(図16(a))と、レベル識別子の値と最大蓄積画素数との対応関係を示すテーブルT1b(図16(b))の代わりに、以下の(式6a)及び(式6b)を用いてもよい。
(レベル識別子の値)=transAa(最大画面内画素数) (式6a)
(レベル識別子の値)=transAb(最大蓄積画素数) (式6b)
transAa()は、最大画面内画素数を引数としてレベル識別の値を与える演算を示す記号であり、上記(式6a)によれば、ユーザが、動画像符号化装置にて符号化可能とする入力画像の最大画面内画素数を指定すると、対応するレベル識別子の値が決定される。
また、transAb()は、最大蓄積画素数を引数としてレベル識別子の値を与える演算を示す記号であり、上記(式6b)によれば、ユーザが、動画像符号化装置にて符号化可能とする入力画像の最大蓄積画素数を指定すると、対応するレベル識別子の値が決定される。
さらに、上記実施の形態1の動画像符号化装置では、最大蓄積画素数を、符号列供給の対象となる復号化装置のピクチャメモリに蓄積可能な最大量の画像データに対応するピクチャの総画素数としているが、最大蓄積画素数に代えて、復号化装置のピクチャメモリに必要とされるメモリ容量そのものを用いてもよい。
また、上記実施の形態1では、最大蓄積画素数Nspxは、動画像符号化装置10aにより得られる符号列を復号化する動画像復号化装置のピクチャメモリにその画像データが蓄積されるすべての蓄積ピクチャの画素数の総和の最大値であり、該蓄積ピクチャには、参照用ピクチャ,及び復号化対象ピクチャが該当する場合を例にあげて説明したが、最大蓄積画素数は、復号化対象ピクチャの画素数を含まないものとして定義してもよい。
この場合、上記(式4)に代えて、下記の(式7a)が用いられる。
Nrpn=Nspx÷(h×w) (式7a)
ここで、hは符号化対象ピクチャの縦画素数、wは符号化対象ピクチャの横画素数、Nrpnは最大参照ピクチャ枚数、Nspxは最大蓄積画素数である。
そして、図3に示す最大参照ピクチャ枚数算出器109aでは、上記除算結果(Nspx/(h×w))から1を引く処理を行わずに最大参照ピクチャ枚数が決定される。
(実施の形態2)
図4は、本発明の実施の形態2による動画像符号化装置10bを説明するためのブロック図である。
この実施の形態2の動画像符号化装置10bは、実施の形態1の動画像符号化装置10aのレベル解析部100a及び符号化可否判定器108aに代えて、入力されたレベル信号Lst及び識別番号信号Cidに基づいて、最大画面内画素数情報Ifpx及び最大蓄積画素数情報Ispxとともに、画素算出用係数情報αpxを出力するレベル解析部100bと、最大画面内画素数情報Ifpx,画素算出用係数情報αpx及び入力画像サイズ情報Ipxに基づいて、入力画像の符号化が可能か否かを判定する符号化可否判定器108bを備えたものである。ここで、上記識別番号信号Cidは、ユーザ操作により決定された識別番号の値を示すものであり、該識別番号は、付加的な符号化条件である画素算出用係数の具体的数値を識別するものである。また、上記レベル解析部100bは、図15に示すテーブルT1の情報及び図17(a)に示すテーブルT2の情報を有している。該テーブルT1は、レベル識別子の値と、最大画面内画素数及び最大蓄積画素数との対応関係を示している。該テーブルT2は、識別番号の値と、縦画素算出用係数(Nαhpx)及び横画素検出用係数(Nαwpx)との対応関係を示している。また、画素算出用係数情報αpxは、上記縦画素算出用係数(Nαhpx)を示す情報(縦画素算出用係数情報)αhpx及び上記横画素算出用係数(Nαwpx)を示す情報(横画素算出用係数情報)αwpxから構成されている。また、上記動画像符号化装置10bの符号列生成器103は、予測誤差符号化部102の出力データ(符号化データ)Cdを可変長符号化するとともに、該可変長符号化により得られた符号列に、動きベクトルMV,モード信号Ms,レベル信号Lst及び識別番号信号Cidに対応する符号を付加して得られた符号列Bsbを出力するものである。
この実施の形態2の動画像符号化装置10bのその他の構成は、実施の形態1の動画像符号化装置10aのものと同一である。
図14(b)は、入力画像に対応する符号列Bsbのデータ構造を示している。
該符号列Bsbは、種々のヘッダ情報が格納されているヘッダ領域Hbと、各ピクチャの画像データに対応する符号化データ(符号列)が格納されているシーケンスデータ部Dsqとから構成されている。
上記符号列Bsbのヘッダ領域Hbには、ヘッダ情報として、上記レベル識別子の信号(レベル信号)Lstに対応する符号H1及び識別番号信号Cidに対応する符号H2が含まれている。また、上記符号列Bsbのシーケンスデータ部Dsqには、入力画像のサイズ、つまり入力画像縦画素数(h)及び入力画像横画素数(w)を示すシーケンスヘッダShが含まれている。ここで、上記符号H2は、具体的には、図17(a)に示された、縦画素数算出用係数(Nαhpx)および横画素数算出用係数(Nαwpx)を識別するための識別番号の値を示す識別番号信号Cidを符号化したものである。
図5は、上記符号化可否判定器108bの具体的な構成を示す図である。
この符号化可否判定器108bは、実施の形態1の符号化可否判定器108aの最大縦画素数最大横画素数算出器201に代えて、最大画面内画素数情報Ifpx、縦画素算出用係数情報αhpx及び横画素算出用係数情報αwpxに基づいて、処理可能な最大縦画素数(H)及び最大横画素数(W)を算出し、該算出結果を示す情報Op3a及びOp3bを出力する算出器(最大縦画素数最大横画素数算出器)301を備えたものである。従って、この符号化可否判定器108bの演算器306,第1比較演算器303,第2比較演算器304,16倍数値変換器302,及び論理積演算器305はそれぞれ、実施の形態1の符号化可否判定器108aの演算器206,第1比較演算器203,第2比較演算器204,16倍数値変換器202,及び論理積演算器205と同一のものである。
次に動作について説明する。
この実施の形態2の動画像符号化装置10bの動作は、レベル解析部100b,符号化可否判定器108b,符号列生成器103の動作のみ上記実施の形態1の動画像符号化装置10aの動作とは異なっている。
そこで以下では、主に、レベル解析部100b,符号化可否判定器108b,符号列生成器103の動作について説明する。
この実施の形態2の動画像符号化装置10bでは、入力画像の符号化を行う前に、この動画像符号化装置10bのメモリ等の構成、および符号化データの供給対象となる動画像復号化装置のメモリ等の構成に基づいて、符号化条件として用いる、予め設定されている複数の符号化レベルの中から、所要のレベルを選択し、さらに付加的な符号化条件として用いる、複数の識別番号の段階の中から所定のものを選択しておく。具体的には、上記符号化レベルの選択は、ユーザが上記テーブルT1を参照して行い、ユーザ操作により、選択されたレベルに対応するレベル識別子を示すレベル信号Lstが、該動画像符号化装置10bに入力されることとなる。また、上記識別番号の段階の選択は、ユーザが上記テーブルT2を参照して行い、ユーザ操作により、選択された段階に対応する識別番号を示す識別番号信号Cidが、該動画像符号化装置10bに入力されることとなる。
ここで、符号化レベル,最大画面内画素数,最大蓄積画素数は、実施の形態1のものと同一のものである。また、図17(a)に示すテーブルT2には、4つの識別番号の段階が設定されており、各識別番号の段階は、識別番号の値(1)〜(4)に対応している。また、識別番号の値(1)〜(4)はそれぞれ、縦画素算出用係数(Nαhpx)の具体的数値及び横画素算出用係数(Nαwpx)の具体的数値に対応付けられている。
この動画像符号化装置10bでは、ユーザの操作により入力されたレベル信号Lst 及び識別番号信号Cidがレベル解析部100bに供給されると、該レベル解析部100bでは、内部に保持されているテーブルT1(図15)及びテーブルT2(図17(a))を参照して、ユーザにより選択された、上記レベル信号Lstが示す符号化レベルに応じて画面内最大画素数情報Ifpx及び最大蓄積画素数情報Ispxが出力され、さらに、ユーザにより選択された、上記識別番号信号Cidが示す識別番号の段階に応じた画素算出用係数情報αpxが出力される。該画面内最大画素数情報Ifpx及び画素算出用係数情報αpxは符号化可否判定器108bに入力され、該最大蓄積画素数情報Ispxは最大参照ピクチャ枚数算出器109aに入力される。
そして、動画像(入力画像)の画像データIdが表示時間順でピクチャ毎にピクチャメモリ101に入力されると、該ピクチャメモリ101には各ピクチャに対応する画像データが順次格納され、該ピクチャメモリ101からは、格納された画像データSIdが、符号化順にピクチャを構成するブロック(マクロブロック)毎に出力される。このとき、該ピクチャメモリ101からは、入力画像のサイズを示す情報(入力画像サイズ情報)Ipxが上記符号化可否判定器108b及び最大参照ピクチャ枚数算出器109aに出力される。
すると、符号化可否判定器108bでは、ピクチャメモリ101からの入力画像サイズ情報Ipxと、レベル解析部100bからの最大画面内画素数情報Ifpx及び画素算出用係数情報αpxとに基づいて、入力画像に対する符号化の可否判定が行われ、判定結果を示す信号(判定結果信号)CSjdが制御部110に出力される。
また、制御部110では、該判定結果信号CSjdが、入力画像の符号化が可能であることを示す場合は、ピクチャメモリ101からの画像データSIdに基づいて、画像データのピクチャ間予測符号化を行うモードと、画像データのピクチャ内予測符号化を行うモードとの切り替えがなされるとともに、各部への制御信号が出力される。動画像符号化装置10bの各部は、上記実施の形態1と同様、この制御部110からの、該判定結果信号CSjdに応じた制御信号Sct1,Sct2,・・・,Sctnに基づいて制御される。
また、最大参照ピクチャ算出器109aでは、最大蓄積画素数情報Ispx,入力画像縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、最大参照ピクチャ枚数(Nrpn)が算出され、該算出された枚数(Nrpn)を示す情報(最大参照ピクチャ枚数情報)Irpnが出力される。
そして、この実施の形態2では、ピクチャ間予測符号化モードが選択された場合には、実施の形態1と同様に、入力画像に対するピクチャ間予測符号化が行われ、ピクチャ内予測符号化が選択された場合には、実施の形態1と同様に、入力画像に対するピクチャ内予測符号化が行われる。
但し、本実施の形態2では、ピクチャ間予測符号化モードが選択された場合には、符号列生成器103にて、予測残差符号化器102から出力された予測残差符号化データCdに対する符号列が生成され、該符号列が、動きベクトル検出器106からの動きベクトルMVに対応する符号,制御部110からのモード信号Msに対応する符号,レベル信号Lstに対応する符号,及び識別番号信号Cidに対応する符号とともに、符号列Bsb(図14(b)参照)として出力される。また、ピクチャ内予測符号化モードが選択された場合には、符号列生成器103にて、符号化器102から出力された符号化データCdに対する符号列が生成され、該符号列が、制御部110からのモード信号Msに対応する符号,レベル信号Lstに対応する符号,及び識別番号信号Cidに対応する符号とともに、符号列Bsb(図14(b)参照)として出力される。
次に、上記動画像符号化装置10bの符号化可否判別器108bの具体的な動作について図5を用いて説明する。
この実施の形態2の動画像符号化装置10bの符号化可否判別器108bでは、以下の条件式(式1),(式2a),(式2b),(式8a),(式8b)に従って、入力画像の符号化の可否が判定される。なお、上記条件式(式1),(式2a),(式2b)は請求項3に記載のものであり、上記条件式(式8a),(式8b)は請求項9に記載のものである。
H =Nfpx÷Nαhpx (式8a)
W =Nfpx÷Nαwpx (式8b)
なお、Nfpxは最大画面内画素数、Hは本動画像符号化装置10bで符号化可能とする入力画像の最大縦画素数、Wは本動画像符号化装置10bで符号化可能とする入力画像の最大横画素数である。Nαhpxは縦画素数算出用係数、Nαwpxは横画素算出用係数である。
まず、符号化可否判別器108bでは、実施の形態1の符号化可否判別器108aと同様、ピクチャメモリ101から出力された入力画像サイズ情報Ipxに含まれる入力画像縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、上記(式1)で示される演算処理が行われる。つまり、入力画像の縦画素数(h)と横画素数(w)との積(h×w)を求める乗算処理が乗算演算器306によって行われ、さらに第1比較演算器303によって、乗算処理結果(h×w)と最大画面内画素数(Nfpx)との比較がなされる。第1比較演算器303からは、比較結果を示す比較結果信号Scm1が論理積演算器305に出力される。
次に、符号化可否判別器108bでは、上記画面内画素数情報Ifpxと、上記縦画素算出用係数情報αhpx及び横画素算出用係数情報αwpxとに基づいて、上記(式8a)で示される最大縦画素数(H)、及び(式8b)で示される最大横画素数(W)が、最大縦画素数最大横画素数算出器301によって算出される。
ここで、(式8a)及び(式8b)は、最大縦画素数(H)および最大横画素数(W)が、それぞれ最大画面内画素数(Nfpx)を縦画素数算出用係数(Nαhpx)および横画素数算出用係数(Nαwpx)で割った値となることを示している。
上記最大縦画素数最大横画素数算出器301によって得られた最大縦画素数(H)および最大横画素数(W)を示す演算結果信号Op3a及びOp3bは、16倍数変換器302に入力され、16倍数変換器302では、最大縦画素数(H)および最大横画素数(W)に対する丸め処理が、実施の形態1の16倍数変換器202と同様に行われる。そして、16倍数変換器302からは、最大縦画素数(H)を16の倍数値にまるめた値(round1(H))を示す丸め演算情報Trnd1、及び最大横画素数(W)を16の倍数値にまるめた値(round2(H))を示す丸め演算情報Trnd2が、第2比較演算器304に出力される。
さらに第2比較演算器304では、上記画素数情報Ihpx,Iwpxと上記丸め演算情報Trnd1,Trnd2に基づいて、上記入力画像縦画素数(h)と最大縦画素数(H)との比較(縦画素数比較)、及び上記入力画像横画素数(w)と最大横画素数(W)との比較(横画素数比較)が行われて、縦画素数の比較結果を示す比較結果信号Scm2a及び横画素数の比較結果を示す比較結果信号Scm2bが上記論理積演算器305に出力される。
そして、論理積演算器305では、上記比較演算器303および304から出力された比較結果信号Scm1,Scm2a,Scm2bの論理積が演算され、最終的な符号化可否の判別結果を示す信号CSjdが出力される。
このように本実施の形態2の動画像符号化装置10bでは、ユーザ操作により入力されたレベル信号(レベル識別子の信号)Lstに基づいて、符号化処理可能な最大画面内画素数(Nfpx)及び復号化装置のピクチャメモリに蓄積可能な最大蓄積画素数(Nspx)を決定し、さらにユーザ操作により入力された識別番号信号Cidに基づいて縦画素算出用係数(Nαhpx)及び横画素算出用係数(Nαwpx)を示す画素検出用係数情報αpxを決定するレベル解析部100bを備え、最大画面内画素数(Nfpx),縦画素算出用係数(Nαhpx),横画素算出用係数(Nαwpx)及び入力画像サイズ(縦画素数(h)及び横画素数(w))に基づいて、入力画像に対する符号化の可否判定を行うとともに、ピクチャ間予測符号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、動画像符号化装置10bからの符号列の供給対象となる復号化装置では、該符号列を常に良好に復号化可能となり、符号化側でのピクチャ予測符号化に対応したピクチャ予測復号化を行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した符号化装置および復号化装置のメモリ領域を設計可能となる。
また、この実施の形態2では、最大縦画素数(H)および最大横画素数(W)を、それぞれ最大画面内画素数(Nfpx)を縦画素数算出用係数(Nαhpx)および横画素数算出用係数(Nαwpx)で除算して求めるので、実施の形態1に比べて、最大縦画素数(H)および最大横画素数(W)を求める処理が簡単になる。
なお、上記実施の形態2では、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル識別子と、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)に対応する識別番号とは、それぞれ独立した符号化条件を示すパラメータとしているが、識別番号をその値をレベル識別子の値に対応付けたものとしてもよい。
この場合、符号化レベルが決定されると、決定されたレベルを示すレベル識別子の値に基づいて、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値とともに、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)の具体的数値が決定されることとなる。つまり、ユーザ操作により、決定された符号化レベルを示すレベル信号Lstがレベル解析部100bに入力されると、レベル解析部100bからは、レベル信号(レベル識別子)Lstに基づいて最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)を示す情報Ifpx及びIspxが出力され、さらに、レベル識別子に対応する識別番号信号に基づいて、画素算出用係数情報αpxが出力される。また、符号列Bsbには、レベル信号Lstに対応する符号H1のみ含まれることとなり、識別番号信号Cidに対応する符号H2は復号化側には送信されない。
また、上記実施の形態2では、動画像符号化装置として、ユーザにより選択された最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル信号Lstの符号H1と、ユーザにより選択された縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)に対応する識別番号信号Cidの符号H2とを復号化側に送信するものを示したが、ユーザにより決定された任意の縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)を示す画素算出用係数情報αpxを符号化し、符号化された画素算出用係数情報αpxを、識別番号信号Cidの符号H2に代えて、復号化側に送信するようにしてもよい。
この場合、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値は、テーブルT1に基づいて、選択された符号化レベルを示すレベル識別子に対応する値とされるが、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)の具体的数値については、ユーザにより任意の値に決定されることとなる。つまり、ユーザ操作により、決定された符号化レベルを示すレベル信号Lstがレベル解析部100bに入力されると、レベル解析部100bからは、レベル信号Lstに基づいて、テーブルT1から決まる最大画面内画素数(Nfpx)を示す情報Ifpxが符号化可否判定器108bに、テーブルT1から決まる最大蓄積画素数(Nspx)を示す情報Ispxが最大参照ピクチャ枚数算出器109aに出力される。また、符号化可否判定器108bには、ユーザにより決定された縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)の具体的数値を示す画素算出用係数情報αpxが直接外部から入力される。そして、符号列Bsbは、レベル信号Lstに対応する符号H1とともに、画素算出用係数情報αpxに対応する符号を含むものとなり、復号化側には、レベル信号Lstに対応する符号H1及び画素算出用係数情報αpxに対応する符号が送信されることとなる。
さらに、上記実施の形態2では、複数の識別番号の値と、縦画素算出用係数及び縦画素算出用係数との対応関係を示すテーブルとして、複数の識別番号の値に対して、縦画素算出用係数と縦画素算出用係数の組を対応させたテーブルT2(図17(a)参照)を用いているが、該テーブルT2の代わりに、識別番号の値に縦画素算出用係数を対応付けるテーブルT2a(図17(b))と、識別番号の値に横画素算出用係数を対応付けるテーブルT2b(図17(c))とを用いてもよい。
また、上記実施の形態2では、ユーザによる識別番号の値の決定は、図17(a)に示すテーブルT2に基づいて行われる場合を示しているが、ユーザによる識別番号の決定は、図17(a)のテーブルT2の代わりに、以下の(式9)を用いて決定するようにしてもよい。
(識別番号)
=transB(縦画素数算出用係数、横画素数算出用係数) (式9)
transB()は縦画素数算出用係数および横画素数算出用係数を引数として識別番号の値を与える演算を示す記号である。
また、識別番号の値と縦画素算出用係数との対応を示すテーブルT2a(図17(b))と、識別番号の値と横画素算出用係数との対応関係を示すテーブルT2b(図17(c))の代わりに、以下の(式9a)及び(式9b)を用いてもよい。
(識別番号の値)=transBa(縦画素算出用係数) (式9a)
(識別番号の値)=transBb(横画素算出用係数) (式9b)
transBa()は、縦画素算出用係数を引数として識別番号の値を与える演算を示す記号であり、上記(式9a)によれば、ユーザが、動画像符号化装置にて符号化可能とする入力画像の縦画素算出用係数を指定すると、対応する識別識別子の値が決定される。
また、transBb()は、横画素算出用係数を引数として識別番号の値を与える演算を示す記号であり、上記(式9b)によれば、ユーザが、動画像符号化装置にて符号化可能とする入力画像の横画素算出用係数を指定すると、対応する識別番号の値が決定される。
また、上記実施の形態1では、最大縦画素数(H)および最大横画素数(W)を(式1),(式2a),(式2b),(式3a),(式3b)により求め、また、上記実施の形態2では、最大縦画素数(H)および最大横画素数(W)を(式1),(式2a),(式2b),(式8a),(式8b)により求めているが、最大縦画素数(H)および最大横画素数(W)を求める方法は上記実施の形態1及び2のものに限られるものではない。
(実施の形態3)
図6は、本発明の実施の形態3による動画像符号化装置10cを説明するためのブロック図である。
この実施の形態3の動画像符号化装置10cは、実施の形態1の動画像符号化装置10aのレベル解析部100a及び符号化可否判定器108aに代えて、入力されたレベル信号Lst及び識別番号信号Sidに基づいて、最大画面内画素数情報Ifpx及び最大蓄積画素数情報Ispxとともに、最大画像サイズを示す情報(最大画像サイズ情報)Impxを出力するレベル解析部100cと、最大画面内画素数情報Ifpx,最大画像サイズ情報Impx及び入力画像サイズ情報Ipxに基づいて、入力画像の符号化が可能か否かを判定する符号化可否判定器108cを備えたものである。
ここで、上記識別番号信号Sidは、ユーザ操作により決定された識別番号の値を示すものであり、該識別番号は、付加的な符号化条件である最大画像サイズの具体的数値を識別するものである。また、上記レベル解析部100cは、図15に示すテーブルT1の情報及び図18(a)に示すテーブルT3の情報を有している。該テーブルT1は、レベル識別子の値と、最大画面内画素数及び最大蓄積画素数との対応関係を示している。該テーブルT3は、識別番号の値と、最大縦画素数(H)及び最大横画素数(W)との対応関係を示している。また、最大画像サイズ情報Impxは、最大縦画素数(H)を示す情報(最大縦画素数情報)Imhpx及び最大横画素数(W)を示す情報(最大横画素数情報)Imwpxから構成されている。また、上記動画像符号化装置10cの符号列生成器103は、予測誤差符号化部102の出力データ(符号化データ)Cdを可変長符号化するとともに、該可変長符号化により得られた符号列に、動きベクトルMV,モード信号Ms,レベル信号Lst及び識別番号信号Sidに対応する符号を付加して得られた符号列Bscを出力するものである。
この実施の形態3の動画像符号化装置10cのその他の構成は、実施の形態1の動画像符号化装置10aのものと同一である。
図14(c)は、入力画像に対応する符号列Bscのデータ構造を示している。
該符号列Bscは、種々のヘッダ情報が格納されているヘッダ領域Hcと、各ピクチャの画像データに対応する符号化データ(符号列)が格納されているシーケンスデータ部Dsqとから構成されている。
上記符号列Bscのヘッダ領域Hcには、ヘッダ情報として、上記レベル識別子に対応する符号H1及び識別番号信号Sidに対応する符号H3が含まれている。また、上記符号列Bscのシーケンスデータ部Dsqには、入力画像のサイズ、つまり入力画像縦画素数及び入力画像横画素数を示すシーケンスヘッダShが含まれている。ここで、上記符号H3は、具体的には、図18(a)に示された最大縦画素数および最大横画素数を識別するための識別番号の値を示す識別番号信号Sidを符号化したものである。
図7は、上記符号化可否判定器108cの具体的な構成を示す図である。
この符号化可否判定器108cは、実施の形態1の符号化可否判定器108aの乗算演算器206,第1比較演算器203,第2比較演算器204,及び論理積演算器205のみから構成されており、上記第2比較演算器204には、実施の形態1の符号化可否判定器108aにおける16倍数値変換器202の出力Trnd1及びTrnd2に代えて、レベル解析部100cからの最大画像サイズを示す情報(最大画像サイズ情報)Impxとして、最大縦画素数(H)を示す最大縦画素数情報Imhpx及び最大横画素数(W)を示す最大横画素数情報Imwpxが入力されるようになっている。
次に動作について説明する。
この実施の形態3の動画像符号化装置10cの動作は、レベル解析部100c,符号化可否判定器108c,符号列生成器103の動作のみ上記実施の形態1の動画像符号化装置10aの動作とは異なっている。
この実施の形態3の動画像符号化装置10cでは、入力画像の符号化を行う前に、この画像符号化装置10cのメモリ等の構成、および符号化データの供給対象となる画像復号化装置のメモリ等の構成に基づいて、符号化条件として用いる、予め設定されている複数の符号化レベルの中から、所要のレベルを選択し、さらに付加的な符号化条件として用いる、複数の識別番号の段階の中から所定のものを選択しておく。具体的には、上記符号化レベルの選択は、ユーザが上記テーブルT1を参照して行い、ユーザ操作により、選択されたレベルを示すレベル信号(レベル識別子)Lstが、該動画像符号化装置10cに入力されることとなる。また、上記識別番号の段階の選択は、ユーザが上記テーブルT3を参照して行い、ユーザ操作により、選択された段階に対応する識別番号を示す識別番号信号Sidが、該動画像符号化装置10cに入力されることとなる。
ここで、符号化レベル,最大画面内画素数,及び最大蓄積画素数は、実施の形態1のものと同一のものである。また、図18(a)に示すテーブルT3には、4つの識別番号の段階が設定されており、各識別番号の段階は、識別番号の値(1)〜(4)に対応している。また、識別番号の値(1)〜(4)はそれぞれ、最大縦画素数(H)の具体的数値及び最大横画素数(W)の具体的数値に対応付けられている。
この動画像符号化装置10cでは、ユーザの操作により入力されたレベル信号Lst及び識別番号信号Cidがレベル解析部100cに供給されると、該レベル解析部100cでは、内部に保持されているテーブルT1(図15)及びテーブルT3(図18(a))を参照して、ユーザにより選択された、上記レベル信号Lstが示す符号化レベルに応じた画面内最大画素数情報Ifpx及び最大蓄積画素数情報Ispxが出力され、さらに、ユーザにより選択された、上記識別番号信号Cidが示す識別番号の段階に応じた最大画像サイズ情報Impxが出力される。該画面内最大画素数情報Ifpx及び最大画像サイズ情報Impxは符号化可否判定器108cに入力され、該最大蓄積画素数情報Ispxは最大参照ピクチャ枚数算出器109aに入力される。
そして、動画像(入力画像)の画像データIdが表示時間順にピクチャ毎にピクチャメモリ101に入力されると、該ピクチャメモリ101には各ピクチャに対応する画像データが順次格納され、該ピクチャメモリ101からは、格納された画像データSIdが、符号化順にピクチャを構成するブロック(マクロブロック)毎に出力される。このとき、該ピクチャメモリ101からは、入力画像のサイズを示す情報(入力画像サイズ情報)Ipxが上記符号化可否判定器108c及び最大参照ピクチャ枚数算出器109aに出力される。
すると、符号化可否判定器108cでは、ピクチャメモリ101から出力された入力画像サイズ情報Ipxと、レベル解析部100cから出力された最大画面内画素数情報Ifpx及び最大画像サイズ情報Impxに基づいて、入力画像に対する符号化の可否判定が行われ、判定結果を示す信号(判定結果信号)CSjdが制御部110に出力される。
また、制御部110では、該判定結果信号CSjdが、入力画像の符号化が可能であることを示す場合は、ピクチャメモリ101からの画像データSIdに基づいて、画像データのピクチャ間予測符号化を行うモードと、画像データのピクチャ内予測符号化を行うモードとの切り替えがなされるとともに、各部への制御信号が出力される。動画像符号化装置10cの各部は、上記実施の形態1と同様、この制御部110からの、該判定結果信号CSjdに応じた制御信号Sct1,Sct2,・・・,Sctnに基づいて制御される。
また、最大参照ピクチャ算出器109aでは、最大蓄積画素数情報Ispx,入力画像縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、最大参照ピクチャ枚数(Nrpn)が算出され、該算出された枚数(Nrpn)を示す情報(最大参照ピクチャ枚数情報)Irpnが出力される。
そして、この実施の形態3では、ピクチャ間予測符号化モードが選択された場合には、実施の形態1と同様に、入力画像に対するピクチャ間予測符号化が行われ、ピクチャ内予測符号化が選択された場合には、実施の形態1と同様に、入力画像に対するピクチャ内予測符号化が行われる。
但し、本実施の形態3では、ピクチャ間予測符号化モードが選択された場合には、符号列生成器103にて、予測残差符号化器102から出力された予測残差符号化データCdに対する符号列が生成され、該符号列が、動きベクトル検出器106からの動きベクトルMVに対応する符号,制御部110からのモード信号Msに対応する符号,レベル信号Lstに対応する符号,及び識別番号信号Sidに対応する符号とともに、符号列Bsc(図14(c)参照)として出力される。また、ピクチャ内予測符号化モードが選択された場合には、符号列生成器103にて、符号化器102から出力された符号化データCdに対する符号列が生成され、該符号列が、制御部110からのモード信号Msに対応する符号,レベル信号Lstに対応する符号,及び識別番号信号Sidに対応する符号とともに、符号列Bsc(図14(c)参照)として出力される。
次に、上記動画像符号化装置10cの符号化可否判別器108cの具体的な動作について図7を用いて説明する。
この実施の形態3の動画像符号化装置10cの符号化可否判別器108cでは、上記の条件式(式1),(式2a),(式2b)に従って、入力画像の符号化の可否が判定される。つまり、最大縦画素数(H)および最大横画素数(W)は、(式1),(式2a),(式2b),及び図18(a)に示すテーブルT3の情報に基づいて求められる。なお、上記(式1),(式2a),(式2b)は請求項3に記載のものである。
具体的には、この実施の形態3では、レベル解析部100cは、図18(a)に示すテーブルT3を有しており、上記実施の形態3の符号化可否判別器108cでは、レベル解析部100cからテーブルT3に基づいて出力された最大縦画素数(H)および最大横画素数(W)を示す情報Imhpx及びImwpxが、直接第2比較演算器204に入力されることとなる。
そして、第2比較演算器204にて、上記入力画像縦画素数(h)と最大縦画素数(H)との比較(縦画素数比較)、及び上記入力画像横画素数(w)と最大横画素数(W)との比較(横画素数比較)が行われて、縦画素数の比較結果を示す比較結果信号Scm2a及び横画素数の比較結果を示す比較結果信号Scm2bが上記論理積演算器205に出力される。
このように本実施の形態3の動画像符号化装置10cでは、ユーザ操作により入力されたレベル信号(レベル識別子の信号)Lstに基づいて、符号化処理可能な最大画面内画素数(Nfpx)及び復号化装置のピクチャメモリに蓄積可能な最大蓄積画素数(Nspx)を決定し、さらにユーザ操作により入力された識別番号信号Sidに基づいて、最大縦画素数(H)及び最大横画素数(W)を決定するレベル解析部100cを備え、最大画面内画素数(Nfpx),最大縦画素数(H),最大横画素数(W)及び入力画像サイズ(縦画素数(h)及び横画素数(w))に基づいて、入力画像に対する符号化の可否判定を行うとともに、ピクチャ間予測符号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、動画像符号化装置10cからの符号列の供給対象となる復号化装置では、該符号列を常に良好に復号化可能となり、符号化側でのピクチャ予測符号化に対応したピクチャ予測復号化を行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した符号化装置および復号化装置のメモリ領域を設計可能となる。
また、この実施の形態3では、最大縦画素数(H)および最大横画素数(W)として、レベル解析部100cから供給される情報Impxが示す値を用いているので、実施の形態1に比べて、最大縦画素数(H)および最大横画素数(W)を求める処理が簡単になる。
なお、上記実施の形態3では、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル識別子と、最大縦画素数(H)および最大横画素数(W)に対応する識別番号とは、それぞれ独立した符号化条件を示すパラメータとしているが、識別番号をその値をレベル識別子の値に対応付けたものとしてもよい。
この場合、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値は、テーブルT1に基づいて、選択された符号化レベルを示すレベル識別子に対応する値とされ、さらに、最大縦画素数(H)および最大横画素数(W)の具体的数値は、テーブルT3に基づいて、上記選択された符号化レベルに対応付けられた識別番号に対応する値となる。つまり、ユーザ操作により、決定された符号化レベルを示すレベル信号Lstがレベル解析部100cに入力されると、レベル解析部100cからは、レベル信号Lstに基づいて最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)を示す情報Ifpx及びIspxが出力され、さらに、レベル識別子に対応する識別番号に基づいて、最大画像サイズ情報Impxが出力される。また、符号列Bscには、レベル信号Lstに対応する符号H1のみ含まれることとなり、識別番号信号Sidに対応する符号H3は復号化側には送信されない。
また、上記実施の形態3では、動画像符号化装置として、ユーザにより選択された最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル信号Lstの符号と、ユーザにより選択された最大縦画素数(H)および最大横画素数(W)に対応する識別番号信号Sidの符号H3とを復号化側に送信するものを示したが、ユーザにより決定された任意の最大縦画素数(H)および最大横画素数(W)を示す最大画像サイズ情報Impxを符号化し、符号化された最大画素数情報を、識別番号信号Sidの符号H3に代えて、復号化側に送信するようにしてもよい。
この場合、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値は、テーブルT1に基づいて、選択された符号化レベルを示すレベル識別子に対応する値とされるが、最大縦画素数(H)および最大横画素数(W)の具体的数値については、ユーザにより任意の値に決定されることとなる。つまり、ユーザ操作により、決定された符号化レベルを示すレベル信号Lstがレベル解析部100cに入力されると、レベル解析部100cからは、レベル信号Lstに基づいて、テーブルT1から決まる最大画面内画素数(Nfpx)を示す情報Ifpxが符号化可否判定器108cに、テーブルT1から決まる最大蓄積画素数(Nspx)を示す情報Ispxが最大参照ピクチャ枚数算出器109aに出力される。また、符号化可否判定器108cには、ユーザにより決定された最大縦画素数(H)および最大横画素数(W)の具体的数値を示す最大画像サイズ情報Impxが直接外部から入力される。そして、符号列Bscは、レベル信号Lstに対応する符号H1とともに、最大画像サイズ情報Impxに対応する符号を含むものとなり、復号化側には、レベル信号Lstに対応する符号H1及び最大画像サイズ情報Impxに対応する符号が送信されることとなる。
さらに、上記実施の形態3では、複数の識別番号の値と、縦画素算出用係数及び縦画素算出用係数との対応関係を示すテーブルとして、複数の識別番号の値に対して、最大縦画素数と最大横画素数の組を対応させたテーブルT3(図18(a)参照)を用いているが、このテーブルT3に代えて、識別番号の値に対して最大縦画素数(H)を対応付けるテーブルT3a(図18(b))と、識別番号の値に対して最大横画素数(W)を対応付けるテーブルT3b(図18(c))を用いてもよい。さらに、これらのテーブルT3,T3a,T3bにおける最大縦画素数および最大横画素数の組み合わせの個数および値は、図18(a)〜図18(c)に示すものに限られるものではないことは言うまでもない。
さらに、上記各実施の形態1,2の説明では、符号化可能とする入力画像の縦画素数及び横画素数の制限を(式2a)および(式2b)により行う場合を示したが、符号化可能とする入力画像のサイズの制限は、縦画素数及び横画素数のいずれか一方のみ制限するようにしてもよい。
さらに、上記各実施の形態で示した(式2a),(式2b),(式3a),(式3b),(式8a),(式8b)を用いることなく、(式1)により示される最大画面内画素数と、入力画像の縦画素数と横画素数との比較のみによって、入力画像に対する符号化の可否を判別することも可能である。
また、上記実施の形態3では、ユーザによる識別番号の値の決定は、図18(a)に示すテーブルT3に基づいて行われる場合を示しているが、ユーザによる識別番号の決定は、図18(a)のテーブルT3の代わりに、以下の(式10)を用いて決定するようにしてもよい。
(識別番号)=transC(最大縦画素数、最大横画素数) (式10)
transC()は最大縦画素数および最大横画素数を引数として識別番号を与える演算を示す記号であり、この(式10)によれば、ユーザが、動画像符号化装置にて符号化可能とする入力画像の最大縦画素数および最大横画素数を指定すると、対応する識別番号の値が決定される。
また、識別番号の値と最大縦画素数との対応を示すテーブルT3a(図18(b))と、識別番号の値と最大横画素数との対応関係を示すテーブルT3b(図18(c))の代わりに、以下の(式10a)及び(式10b)を用いてもよい。
(識別番号)=transCa(最大縦画素数) (式10a)
(識別番号)=transCb(最大横画素数) (式10b)
transCa()は、最大縦画素数を引数として識別番号の値を与える演算を示す記号であり、上記(式10a)によれば、ユーザが、動画像符号化装置にて符号化可能とする入力画像の最大縦画素数を指定すると、対応する識別番号の値が決定される。
また、transCb()は最大横画素数を引数として識別番号の値を与える演算を示す記号であり、上記(式10b)によれば、ユーザが、動画像符号化装置にて符号化可能とする入力画像の最大横画素数を指定すると、対応する識別番号の値が決定される。
(実施の形態4)
図8は、本発明の実施の形態4による動画像符号化装置10dを説明するためのブロック図である。
この実施の形態4の動画像符号化装置10dは、実施の形態1の動画像符号化装置10aの最大参照ピクチャ枚数算出器109aに代えて、入力画像のサイズ情報Ipx(入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpx),最大蓄積画素数情報Ispx,及び表示待ちピクチャ枚数情報Idwpに基づいて、最大参照ピクチャ枚数(Nrpn)を算出し、算出した値(Nrpn)を示す情報(最大参照ピクチャ枚数情報)Irpnを出力する最大参照ピクチャ枚数算出器109dを備えたものである。
ここで、上記表示待ちピクチャ枚数情報Idwpは表示待ちピクチャの枚数を示す情報であり、該表示待ちピクチャは、図26を用いて説明したように、参照ピクチャとして用いられない復号化済みのピクチャであって、その表示が行われるまで、その画像データが復号化装置のピクチャメモリに格納されるピクチャである。また、この実施の形態4でのピクチャメモリの管理は、参照ピクチャとして使用されないピクチャの画像データを、該ピクチャの表示が終わると、直ちにピクチャメモリから削除する、復号化装置でのピクチャメモリの管理に対応したものとする。
この実施の形態4の動画像符号化装置10dのその他の構成は、実施の形態1の動画像符号化装置10aのものと同一である。
図9は、上記最大参照ピクチャ枚数算出器109dの具体的な構成を示す図である。
この最大参照ピクチャ枚数算出器109dは、実施の形態1の最大参照ピクチャ枚数算出器109aの乗算器401,除算器402,減算器403,及び定数格納部404に加えて、ピクチャメモリ105からのピクチャ枚数情報Idwpに基づいて、上記減算器403の演算出力Sd1が示すピクチャ枚数から、ピクチャメモリにおける表示待ちピクチャ枚数(Ndwp)を減算する減算器405を備えたものであり、該減算器405の出力信号Sd2を最大参照ピクチャ枚数情報Irpnとして出力するものである。
次に動作について説明する。
この実施の形態4の動画像符号化装置10dの動作は、最大参照ピクチャ枚数算出器109dの動作のみ上記実施の形態1の動画像符号化装置10aの動作とは異なっている。
そこで以下では、最大参照ピクチャ枚数算出器109dの動作についてのみ図9を用いて説明する。
この実施の形態4の動画像符号化装置10dの最大参照ピクチャ枚数算出器109dでは、以下の(式11)に示される演算により、ピクチャ間予測符号化で用いる参照候補ピクチャの最大枚数が算出される。なお、上記(式11)は請求項6に記載のものである。
Nrpn=Nspx÷(h×w)−1−Ndwp (式11)
なお、hは入力画像(符号化対象ピクチャ)の縦画素数、wは入力画像(符号化対象ピクチャ)の横画素数である。Nrpnは最大参照ピクチャ枚数、Nspxは最大蓄積画素数、Ndwpは、表示待ち復号化済みピクチャの枚数である。この実施の形態4では、最大蓄積画素数Nspxは、本動画像符号化装置10aにより得られる符号列を復号化する動画像復号化装置のピクチャメモリにその画像データが蓄積されるすべての蓄積ピクチャの画素数の総和の最大値である。該蓄積ピクチャには、参照用ピクチャ,復号化対象ピクチャ,及び表示待ち復号化済みピクチャが該当する。
この最大参照ピクチャ枚数算出器109dでは、入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpxに基づいて、入力画像のサイズである1画面の総画素数(h×w)が算出される。つまり、乗算器401では、入力画像縦画素数情報Ihpxが示す入力画像の縦画素数(h)と、入力画像横画素数情報Iwpxが示す横画素数(w)の乗算が行われ、該乗算結果(h×w)を示す演算出力Shwが出力される。
除算器402では、乗算器401の演算出力Shw及びレベル解析部100dからの最大蓄積画素数情報Ispxに基づいて、最大蓄積画素数(Nspx)を乗算結果(h×w)で除算する演算が行われ、除算結果(Nspx/(h×w))を示す演算出力信号Dpmが出力される。
減算器403では、上記除算器402の出力信号Dpmと定数格納部404からの数値情報Sn1とに基づいて、除算結果(Nspx/(h×w))から1を減算する演算処理が行われ、減算結果(Nspx/(h×w)−1)を示す減算出力信号Sd1が出力される。
さらに減算器405では、減算出力信号Sd1とピクチャメモリからのピクチャ枚数情報Idwp基づいて、上記減算結果(Nspx/(h×w)−1)から表示待ちピクチャ枚数(Ndwp)を引くことにより、最大参照ピクチャ枚数が決定される。
ここで、上記減算器403及び405にて、上記除算結果(Nspx/(h×w))から1および表示待ちピクチャ枚数(Ndwp)を引いているのは、復号化装置のピクチャメモリには、ピクチャ間予測復号化を行う際に用いる参照候補ピクチャの画像データに加え、復号化の対象となっている対象ピクチャおよび表示待ちピクチャの、復号化された画像データを蓄積する必要があるからである。
このように本実施の形態4動画像符号化装置10dでは、ユーザにより指定された符号化レベルを示すレベル信号Lstに基づいて、符号化処理可能な最大画面内画素数(Nfpx)及び復号化装置のピクチャメモリに蓄積可能な最大蓄積画素数(Nspx)を決定するレベル解析部100aを備え、最大画面内画素数(Nfpx)及び入力画像サイズ(縦画素数Nhpx及び横画素数Nwpx)に基づいて入力画像に対する符号化の可否判定を行うとともに、ピクチャ間予測符号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、動画像符号化装置10bからの符号列の供給対象となる復号化装置では、該符号列を常に良好に復号化可能となり、符号化側でのピクチャ予測符号化に対応したピクチャ予測復号化を行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した符号化装置および復号化装置のメモリ領域を設計可能となる。
また、この実施の形態4では、ピクチャメモリに格納される最大参照ピクチャ枚数を、表示待ちピクチャ枚数(Ndwp)を考慮して決定しているので、参照候補ピクチャの画像データが蓄積されるピクチャメモリを、画像データの処理状況に応じて効率よく利用することができる。
なお、上記実施の形態4では、最大蓄積画素数Nspxが、動画像符号化装置10aにより得られる符号列を復号化する動画像復号化装置のピクチャメモリにその画像データが蓄積されるすべての蓄積ピクチャの画素数の総和の最大値であり、該蓄積ピクチャには、参照用ピクチャ,復号化対象ピクチャ,及び表示待ち復号化済みピクチャが該当する場合を例にあげて説明したが、最大蓄積画素数は、復号化対象ピクチャの画素数を含まないものとして定義してもよい。
この場合、上記(式11)に代えて以下の(式11a)が用いられる。
Nrpn=Nspx÷(h×w)−Ndwp (式11a)
そして、図9に示す最大参照ピクチャ枚数算出器109dでは、上記除算結果(Nspx/(h×w))から1を引く処理を行わずに最大参照ピクチャ枚数が決定される。
ここで、hは符号化対象ピクチャの縦画素数、wは符号化対象ピクチャの横画素数、Nrpnは最大参照ピクチャ枚数、Nspxは最大蓄積画素数、Ndwpは、表示待ちピクチャ枚数である。
また、上記実施の形態4では、ピクチャメモリの管理は、参照ピクチャとして使用されないピクチャの画像データを、該ピクチャの表示が終わると、直ちにピクチャメモリから削除する復号化装置でのピクチャメモリの管理に対応したものとしているが、このような参照ピクチャとして使用されないピクチャの画像データを削除するタイミングは、上記実施の形態4で示した表示直後のタイミング以外の場合もある。
例えば、この実施の形態4でのピクチャメモリの管理は、ピクチャメモリに格納されている、参照ピクチャとして使用されないピクチャの画像データを、該ピクチャが表示された後、1ピクチャの表示時間だけ経過した後に、該ピクチャメモリから削除する復号化装置でのピクチャメモリの管理に対応したものであってもよい。
(実施の形態5)
図10は本発明の実施の形態5による動画像復号化装置50aを説明するためのブロック図である。
この実施の形態5の動画像復号化装置50aは、動画像を構成する複数のピクチャに対応する符号列を受け、該符号列を一定のデータ処理単位であるブロック毎に復号化するものである。具体的には、この動画像復号化装置50aは、実施の形態1の動画像符号化装置10aにより生成された符号列Bsa(図14(a)参照)を復号化するものである。ここで、該ブロックは、縦方向及び横方向の画素数が16であるマクロブロックである。
すなわち、この動画像復号化装置50aは、入力された符号列Bsaを解析して、該符号列Bsaのヘッダ領域Haに格納されている種々のヘッダ情報、該符号列Bsaのシーケンスデータ部Dsqに格納されているデータを出力する符号列解析器501を有している。ここで、上記ヘッダ領域Haには、ヘッダ情報の1つにレベル識別子H1が含まれている。また、上記シーケンスデータ部Dsqには、シーケンスヘッダShが含まれ、また各マクロブロックに対応する符号化モードの情報Ms,符号化データCd,動きベクトルの情報MVなどが含まれている。さらに、上記シーケンスヘッダShには、符号化側で符号化処理の対象となった入力画像のサイズを示す情報(入力画像サイズ情報)Ipxが含まれている。この入力画像サイズ情報Ipxは、入力画像の縦画素数(Nhpx)を示す情報Ihpxと、入力画像の横画素数(Nwpx)を示す情報Iwpxとからなる。
動画像復号化装置50aは、上記符号列解析器501からの符号化データCdを伸張復号化して、対象ブロックの復号差分データDdを出力する予測残差復号化器502と、該対象ブロックの復号差分データDdと上記対象ブロックの予測データPdとを加算して、対象ブロックの画像データ(以下、復号化データという。)Rdを出力する加算演算器511と、予測残差復号化器502の出力データDd及び加算演算器511の出力データRdの一方を記憶するとともに、ピクチャ指定信号DSpdに基づいて、記憶した復号化データEdを、対象ブロックの復号化の際に参照されるピクチャのデータDRdとして出力するピクチャメモリ503とを有している。ここで、このピクチャメモリ503では、復号化順に配列されている復号化済みピクチャの画像データが、表示順に並べ替えられ、このピクチャメモリ503からは、表示順に並べ替えられた復号化済みピクチャの画像データが出力画像の画像データOdとしてピクチャ毎に出力される。
動画像復号化装置50aは、上記符号列解析器501からの動きベクトルMV,ピクチャメモリ503の出力データ(参照候補ピクチャのデータ)DRdに基づいて、対象ブロックに対する予測データPdを生成する動き補償復号器504と、該動き補償復号器504に供給されたブロックの動きベクトルMVを記憶する動きベクトル記憶部505とを有している。
動画像符号化装置50aは、上記予測残差復号化器502の出力データDdと演算加算器511の出力データRdの一方を選択し、選択したデータを選択データEdとして出力する選択スイッチ508を有している。ここで、上記選択スイッチ508は、2つの入力端子Tc1及びTc2と1つの出力端子Tdとを有し、スイッチ制御信号に応じて、該出力端子Tdが上記2つの入力端子Tc1,Tc2の一方に接続されるものである。
そして、この実施の形態5の動画像復号化装置50aは、符号列解析部501からの、符号化レベルを示すレベル信号(レベル識別子)Lstに基づいて、復号化処理可能な最大画面内画素数(Nfpx)を示す情報(最大画面内画素数情報)Ifpx、及び復号化装置のピクチャメモリに蓄積可能な最大の画像データに相当する画素数(最大蓄積画素数(Nspx)を示す情報(最大蓄積画素数情報)Ispxを出力するレベル解析部509aを有している。このレベル解析部509aは、図15に示すテーブルT1の情報を有している。このテーブルT1は、レベル識別子の値と、最大画面内画素数及び最大蓄積画素数との対応関係を示している。
動画像符号化装置50aは、レベル解析部509aから出力された最大画面内画素数情報Ifpxと、符号列解析部501から出力された、入力画像の縦画素数(h)及び横画素数(w)を示す情報(入力画像サイズ情報)Ipxとに基づいて、入力された符号列に対する復号化の可否判定を行い、判定結果を示す信号(判定結果信号)DSjdを出力する判定器(復号化可否判定器)506aを有している。また、動画像復号化装置50aは、最大蓄積画素数情報Ispx及び入力画像サイズ情報Ipxに基づいて、ピクチャ間予測復号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出して、該算出した枚数Nrpnを示す情報(最大参照ピクチャ枚数)Irpnを出力する算出器(最大参照ピクチャ枚数算出器)507aを有している。
さらに、上記動画像復号化装置50aは、上記判定結果信号DSjd及び符号列解析器501からの符号化モード情報Msに基づいて、制御信号Dct1,Dct2,・・・,Dctnにより、上記動画像復号化装置50aを構成する各部の動作を制御する制御部510を有している。この制御部510は、上記符号列解析器501からのモード信号Msが示す符号化モードに応じて、上記各スイッ508を所定の制御信号により制御するものである。また、この制御部510は、上記判定結果信号DSjdに応じて、制御信号Dct1,Dct2,・・・,Dctnにより、上記予測残差復号化器502及び動き補償復号化器504などの動作を制御するものである。つまり、該制御部510は、判定結果信号DSjdが、入力された符号列Bsaに対する復号化が可能であることを示すときは、上記予測残差復号化器502及び動き補償復号器504などを、入力された符号列Bsaに対する復号化が行われるよう制御し、判定結果信号DSjdが、入力された符号列Bsaに対する復号化が不可能であることを示すときは、上記予測残差復号化器502及び動き補償復号器504などを、入力された符号列Bsaに対する復号化が行われないよう制御するものである。
また、この実施の形態5の動画像復号化装置50aにおける復号化可否判定器506aの具体的な構成は、図2に示す、実施の形態1の動画像符号化装置10aにおける符号化可否判定器108aと全く同一である。
また、この実施の形態5の動画像復号化装置50aにおける最大参照ピクチャ枚数算出器507aの具体的な構成は、図3に示す、実施の形態1の動画像符号化装置10aにおける最大参照ピクチャ枚数算出器109aと全く同一である。
次に動作について説明する。
この動画像復号化装置50aに上記符号列Bsaが入力されると、まず符号列解析器501では、符号列Bsaの解析により、該符号列Bsaから、符号化モード情報Ms,動きベクトル情報MVおよび符号化データCd等の各種の情報が抽出される。その際に、上記符号列Bsaのヘッダ領域Haに含まれている各種のヘッダ情報も同時に抽出され、レベル解析部509a,復号化可否判別器506a及び最大参照ピクチャ枚数算出器507aに出力される。
該レベル解析部509aでは、上記ヘッダ領域Haに含まれている1つのヘッダ情報H1に対応するレベル信号Lstに応じて、内部に保持されているテーブルT1(図15)を参照して、画面内最大画素数(Nfpx)及び最大蓄積画素数(Nspx)が決定され、画面内最大画素数情報Ifpx及び最大蓄積画素数情報Ispxが出力される。該画面内最大画素数情報Ifpxは復号化可否判定器506aに入力され、該最大蓄積画素数情報Ispxは最大参照ピクチャ枚数算出器507aに入力される。
すると、符号化可否判定器506aでは、レベル解析部509aからの画面内最大画素数情報Ifpx、及び符号列解析器501により上記符号列BsaのシーケンスヘッダShから抽出された入力画像サイズ情報Ipx(入力画像縦画素数情報Ihpx及び横画素数情報Iwpx)に基づいて、入力された符号列Bsaに対する復号化の可否判定が行われ、判定結果を示す信号(判定結果信号)DSjdが制御部510に出力される。
この制御部510は、該判定結果信号DSjdが、入力された符号列Bsaの符号化が可能であることを示す場合は、該入力された符号列Bsaに対する復号化処理が行われるよう、動画像復号化装置50aを制御信号Dct1,Dct2,・・・,Dctnに基づいて制御し、該判定結果信号DSjdが、入力された符号列Bsaに対する復号化が不可能であることを示す場合は、該符号列Bsaに対する復号化処理が行われないよう、動画像復号化装置50aの各部を制御信号Dct1,Dct2,・・・,Dctnに基づいて制御する。
制御部510では、該判定結果信号DSjdが、入力された符号列Bsaに対する復号化が可能であることを示す場合は、符号列解析部501からのモード信号Msが示す符号化モードに応じて、符号列Bsaのピクチャ間予測復号化を行うモードと、符号列Bsaのピクチャ内予測復号化を行うモードとの切り替えが行われる。
そして、制御部510にてピクチャ間予測符号化を行うモードが選択された場合は、スイッチ508は、出力端子Tdが第2の入力端子Tc2に接続されるよう、制御部510からの所定の制御信号により制御される。一方、制御部510にてピクチャ内予測符号化を行うモードが選択された場合は、スイッチ508は、出力端子Tdが第1の入力端子Tc1に接続されるよう、制御部510からの所定の制御信号により制御される。
また、最大参照ピクチャ算出器507aでは、最大蓄積画素数情報Ispx,入力画像の縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、ピクチャ間予測復号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnが算出され、該算出された枚数Nrpnを示す情報(最大参照ピクチャ枚数情報)Irpnが動き補償復号器504に出力される。
以下、まずピクチャ間予測復号化モードが選択された場合の動作について説明する。
符号列解析器501により符号列Bsaから抽出された動きベクトル情報MVが動き補償復号器504に入力されると、該動き補償復号器504では、最大参照ピクチャ算出器507aからの最大参照ピクチャ枚数情報Irpn、動きベクトル記憶器505に格納されている復号化済みマクロブロックの動きベクトルMV、及び上記対象マクロブロックの動きベクトルMVに基づいて、対象マクロブロックの動き補償が所定の参照ピクチャを参照して行われ、対象マクロブロックに対応する予測データPdが加算演算器511に出力される。このとき、ピクチャメモリ503には、復号化済みピクチャに対応する復号画像データEdが参照候補ピクチャの画像データとして蓄積されており、ピクチャメモリ503では、動き補償復号器504からのピクチャ指定信号DSpdにより参照候補ピクチャのうちの所要のピクチャが参照ピクチャとして指定される。
符号列解析器501により符号列Bsaから抽出された符号化データCdは、予測誤差復号化器502にて復号化され、復号化により得られた予測残差画像データDdが加算演算器511に出力される。
加算演算器511では、予測残差復号化器502からの予測残差画像データDdと、動き補償復号器504からの予測データPdとの加算演算が行われ、該加算演算により得られた画像データRdがスイッチ508を介してピクチャメモリ503に出力される。すると、ピクチャメモリ503では、復号化の対象となっている対象ピクチャの画像データRdが、マクロブロック毎に復号データとして書き込まれる。
そして、ピクチャメモリ503からは、復号化順に配列されている復号化済みピクチャの画像データが、表示順に並べ替えられ、出力画像の画像データOdとしてピクチャ毎に出力される。
次に、ピクチャ内予測符号化モードが選択された場合の動作について簡単に説明する。
この場合は、符号列解析器501により符号列Bsaから抽出された符号化データCdは、予測残差復号化器502にて復号化され、復号化により得られた予測残差画像データDdは、スイッチ508を介してそのまま復号データRdとしてピクチャメモリ503に蓄積される。
次に、上記動画像復号化装置50aの復号化可否判別器506a及び最大参照ピクチャ枚数算出器507aの具体的な動作について簡単に説明する。
この実施の形態5の動画像復号化装置50aの復号化可否判別器506aでは、実施の形態1の動画像符号化装置10aの符号化可否判別器108aと同様、上記の条件式(式1),(式2a),(式2b),(式3a),(式3b)に従って、入力された符号列に対する復号化可否が判定される。
つまり、復号化可否判別器506aでは、符号列解析器501から出力された入力画像サイズ情報Ipxに含まれる入力画像縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、上記(式1)で示される演算処理が行われる。つまり、入力画像の縦画素数(h)と横画素数(w)との積(h×w)を求める乗算処理が行われ、乗算処理結果(h×w)と最大画面内画素数(Nfpx)との比較(画面内画素数比較)がなされる。
次に、復号化可否判別器506aでは、上記入力画像の縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、上記(式3a)および(式3b)で示される最大縦画素数(H)および最大横画素数(W)が算出される。
ここで(式3a)および(式3b)は、最大縦画素数(H)および最大横画素数(W)がそれぞれ、入力画像の縦画素数(h)と横画素数(w)との積をN倍した値の正の平方根となることを示している。例えば、N=8である場合、(式3a)は縦画素数と横画素数の比が8対1以下となるように最大縦画素数を決定することを示唆し、(式3b)は縦画素数と横画素数の比が1対8以下となるように最大横画素数を決定することを示唆している。
さらに、復号化可否判別器506aでは、上記最大縦画素数(H)および最大横画素数(W)は、切り捨て,切り上げまたは四捨五入等の演算処理によって16の倍数値に丸められ、上記入力画像縦画素数(h)と丸められた最大縦画素数(H)との比較(縦画素数比較)、及び上記入力画像横画素数(w)と丸められた最大横画素数(W)との比較(横画素数比較)が行われる。
そして、上記画面内画素数比較の結果,縦画素数比較の結果,及び横画素数比較の結果に基づいて、最終的な復号化可否の判別が行われる。
また、この実施の形態5の動画像符号化装置50aの最大参照ピクチャ枚数算出器507aでは、上記(式4)に示される演算により、ピクチャ間予測復号化で用いる参照候補ピクチャの最大枚数が算出される。
この最大参照ピクチャ枚数算出器507aでは、符号化解析部501からの入力画像の縦画素数情報Ihpx及び横画素数情報Iwpxに基づいて、入力画像のサイズである1画面の総画素数(h×w)が算出される。
また、最大参照ピクチャ枚数算出器507aでは、最大蓄積画素数(Nspx)を乗算結果(h×w)で除算する演算が行われ、さらに、除算結果(Nspx/(h×w))から1を減算する演算処理が行われ、減算結果(Nspx/(h×w)−1)が、最大参照ピクチャ枚数として求められる。
このように本実施の形態5の動画像復号化装置50aでは、符号列解析器501により符号列Bsaから抽出された、レベル識別子を示すレベル信号Lstに基づいて、復号化処理可能な最大画面内画素数(Nfpx)及びピクチャメモリ503に蓄積可能な最大蓄積画素数(Nspx)を決定するレベル解析部509aを備え、最大画面内画素数(Nfpx)及び入力画像サイズ(縦画素数Nhpx及び横画素数Nwpx)に基づいて、入力された符号列Bsaに対する復号化の可否判定を行うとともに、ピクチャ間予測復号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、符号化側から供給された符号列のうち、動画像復号化装置での復号化が可能なものを、レベル識別子により判別して、符号化側でのピクチャ予測符号化に対応したピクチャ予測復号化を良好に行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した復号化装置のメモリ領域を設計可能となる。
なお、上記実施の形態5では、符号化レベルと、最大画面内画素数及び最大蓄積画素数との対応関係を示すテーブルとして、符号化レベル(レベル識別子の値)に対して最大画面内画素数と最大蓄積画素数の組を対応付けるテーブルT1(図15参照)を用いているが、このテーブルT1に代わりに、レベル識別子の値と最大画面内画素数との対応を示すテーブルT1a(図16(a))と、レベル識別子の値と最大蓄積画素数との対応関係を示すテーブルT1b(図16(b))とを用いてもよい。
(実施の形態6)
図11は、本発明の実施の形態6による動画像復号化装置50bを説明するためのブロック図である。
この実施の形態6の動画像復号化装置50bは、動画像を構成する複数のピクチャに対応する符号列を受け、該符号列を一定のデータ処理単位であるブロック毎に復号化するものであり、具体的には、実施の形態2の動画像符号化装置10bにより生成された符号列Bsb(図14(b)参照)を復号化するものである。従って、この実施の形態6では、符号列解析器501では、ヘッダ情報H1及びH2の解析によりレベル識別子Lst及び識別番号信号Cidが抽出され、シーケンスデータ部Dsqのデータの解析により、各マクロブロックに対応する符号化モードの情報Ms,符号化データCd,動きベクトル情報MV,入力画像サイズ情報Ipxなどの情報が抽出される。
また、この実施の形態6の動画像復号化装置50bのレベル解析部509bは、上記テーブルT1及びT2を有し、符号列解析部501からのレベル信号Lstに基づいて最大画面内画素数情報Ifpx及最大蓄積画素数情報Ispxを出力するとともに、符号列解析部501からの識別番号信号Cidに基づいて画素数算出用係数情報αpxを出力するものである。また、この実施の形態6の復号化可否判定器506bは、該レベル解析部509bからの最大画面内画素数情報Ifpx及び画素算出用係数情報αpxと、符号列解析器501からの入力画像サイズ情報Ipxに基づいて、入力された符号列Bsbの復号化が可能か否かを判定するものである。ここで、上記画素算出用係数情報αpxは、縦画素算出用係数(Nαhpx)を示す情報αhpx及び横画素算出用係数(Nαwpx)を示す情報αwpxから構成されている。
そして、この実施の形態6の動画像復号化装置50bのその他の構成は、実施の形態5の動画像復号化装置50aのものと同一である。
また、この実施の形態6の動画像復号化装置50bにおける復号化可否判定器506bの具体的な構成は、図5に示す、実施の形態2の動画像符号化装置10bにおける符号化可否判定器108bと全く同一である。
次に動作について説明する。
この実施の形態6の動画像復号化装置50bの動作は、符号列解析器501, 復号化可否判定器506b,及びレベル解析部509bの動作のみ上記実施の形態5の動画像復号化装置50aの動作とは異なっている。
そこで以下では、主に、符号列解析器501,復号化可否判定器506b,及びレベル解析部509bの動作について説明する。
この動画像復号化装置50bに上記符号列Bsbが入力されると、まず符号列解析器501では、符号列Bsbの解析により、該符号列Bsbから、符号化モード情報Ms,動きベクトル情報MV及び符号化データCd等の各種の情報が抽出される。その際に、上記符号列Bsbのヘッダ領域Hbに含まれている各種のヘッダ情報も同時に抽出され、レベル解析部509b,復号化可否判別器506b及び最大参照ピクチャ枚数算出器507aに出力される。
該レベル解析部509bでは、内部に保持されているテーブルT1(図15)を参照して、上記ヘッダ領域Hbのヘッダ情報(符号)H1に対応するレベル識別子(レベル信号)Lstに応じて、画面内最大画素数情報Ifpx及び最大蓄積画素数情報Ispxが出力される。また、レベル解析部509bでは、内部に保持されているテーブルT2(図17(a))を参照して、ヘッダ領域Hbのヘッダ情報(符号)H2に対応する識別番号信号Cidに応じて、画素算出用係数情報αpx(縦画素算出用係数情報αhpx及び横画素算出用係数情報αwpx)が出力される。上記画面内最大画素数情報Ifpx及び画素算出用係数情報αpxは復号化可否判定器506bに入力され、該最大蓄積画素数情報Ispxは最大参照ピクチャ枚数算出器507aに入力される。
すると、復号化可否判定器506bでは、レベル解析部509bからの画面内最大画素数情報Ifpx及び画素算出用係数情報αpx(縦画素算出用係数情報αhpx及び横画素算出用係数情報αwpx)と、符号列解析器501によりシーケンスヘッダShから抽出された入力画像サイズ情報Ipx(入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpx)とに基づいて、入力された符号列Bsbに対する復号化の可否判定が行われ、判定結果を示す信号(判定結果信号)DSjdが制御部510に出力される。
そして、この実施の形態6では、該判定結果信号DSjdに基づいて、実施の形態5の動画像復号化装置50aと同様、入力された符号列Bsbに対する復号化処理が行われる。
次に、上記動画像復号化装置50bの復号化可否判別器506bの具体的な動作について簡単に説明する。
この実施の形態6の動画像復号化装置50bの復号化可否判別器506bでは、上記条件式(式1),(式2a),(式2b),(式8a),(式8b)に従って、入力された符号列Bsbに対する復号化の可否が判定される。
まず、復号化可否判別器506bでは、実施の形態5の復号化可否判別器506aと同様、符号列解析器501から出力された入力画像サイズ情報Ipx(入力画像の縦画素数情報Ihpx及び横画素数情報Iwpx)に基づいて、上記(式1)で示される演算処理が行われる。つまり、入力画像の縦画素数(h)と横画素数(w)との積(h×w)を求める乗算処理が行われ、乗算処理結果(h×w)と最大画面内画素数(Nfpx)との比較(画面内画素数比較)がなされる。
次に、復号化可否判別器506bでは、上記画面内画素数情報Ifpxと、画素検出用係数情報αpx(縦画素算出用係数情報αhpx及び横画素算出用係数情報αwpx)とに基づいて、上記(式8a)および(式8b)で示される最大縦画素数(H)および最大横画素数(W)が算出される。
ここで、(式8a)および(式8b)は、最大縦画素数(H)および最大横画素数(W)が、それぞれ最大画面内画素数(Nfpx)を縦画素数算出用係数(Nαhpx)および横画素数算出用係数(Nαwpx)で割った値となることを示している。
さらに、復号化可否判別器506bでは、上記最大縦画素数(H)および最大横画素数(W)は、切り捨て,切り上げまたは四捨五入等の演算処理によって16の倍数値に丸められ、上記入力画像縦画素数(h)と丸められた最大縦画素数(H)との比較(縦画素数比較)、及び上記入力画像横画素数(w)と丸められた最大横画素数(W)との比較(横画素数比較)が行われる。
そして、上記画面内画素数比較の結果,縦画素数比較の結果,及び横画素数比較の結果に基づいて、最終的な復号化可否の判別が行われる。
このように本実施の形態6の動画像復号化装置50bでは、符号列解析器501により符号列Bsbから抽出された、レベル識別子(レベル信号)Lst及び識別番号信号Cidに基づいて、復号化処理可能な最大画面内画素数(Nfpx)及びピクチャメモリ503に蓄積可能な最大蓄積画素数(Nspx)を決定するとともに、画素算出用係数(Nαpx)を決定するレベル解析部509bを備え、レベル解析部509bにより決定された最大画面内画素数(Nfpx)及び画素算出用係数(Nαpx)と、符号列Bsbに含まれる入力画像サイズ情報Ipxとに基づいて、入力された符号列Bsbに対する復号化の可否判定を行うとともに、ピクチャ間予測復号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、符号化側から供給された符号列のうち、動画像復号化装置での復号化が可能なものを、レベル識別子により判別して、符号化側でのピクチャ予測符号化に対応したピクチャ予測復号化を良好に行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した復号化装置のメモリ領域を設計可能となる。
また、この実施の形態6では、最大縦画素数(H)および最大横画素数(W)を、それぞれ最大画面内画素数(Nfpx)を縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)で除算して求めるので、実施の形態5に比べて、最大縦画素数(H)および最大横画素数(W)を求める処理が簡単になる。
なお、上記実施の形態6では、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル識別子と、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)に対応する識別番号とは、それぞれ独立した符号化条件を示すパラメータとしているが、識別番号をその値をレベル識別子の値に対応付けたものとしてもよい。
この場合、レベル識別子を示すレベル信号Lstに基づいて、テーブルT1及びT2から、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値とともに、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)の具体的数値が決定されることとなる。つまり、符号列解析器501からのレベル信号Lstがレベル解析部509bに入力されると、レベル解析部509bからは、レベル信号Lstに基づいてテーブルT1から最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)を示す情報Ifpx及びIspxが出力され、さらに、レベル識別子に対応する識別番号に基づいて、テーブルT2から画素算出用係数情報αpxが出力される。この場合、符号列Bsbには、レベル信号Lstに対応する符号H1のみ含まれることとなり、符号列解析器501からは、符号H2に対応する識別番号信号Cidはレベル解析部509bに出力されないこととなる。
また、上記実施の形態6では、動画像復号化装置として、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル識別子の符号H1と、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)に対応する識別番号の符号H2とを解析して、符号H1の解析により得られたレベル識別子に基づいて、テーブルT1から最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)を取得し、符号H2の解析により得られた識別番号信号Cidに基づいて、テーブルT2から縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)を取得するものを示したが、上記動画像復号化装置は、ユーザにより決定された任意の縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)を示す画素算出用係数情報αpxを符号化して得られた符号を解析し、該符号の解析により画素算出用係数情報αpxを直接取得するものであってもよい。
この場合、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値の決定は、テーブルT1に基づいて行われるが、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)の具体的数値の決定は、画素算出用係数情報αpxに対応する符号の解析により、テーブルを用いることなく行われる。
つまり、符号列解析器501からのレベル信号Lstがレベル解析部509bに入力されると、レベル解析部509bからは、レベル信号Lstに基づいて、テーブルT1から決まる最大画面内画素数(Nfpx)を示す情報Ifpxが復号化可否判定器506bに、テーブルT1から決まる最大蓄積画素数(Nspx)を示す情報Ispxが最大参照ピクチャ枚数算出器507aに出力される。また、復号化可否判定器506bには、符号列解析器501での符号の解析により得られた、縦画素算出用係数(Nαhpx)および横画素算出用係数(Nαwpx)の具体的数値を示す画素算出用係数情報αpxが、直接入力されることとなる。
(実施の形態7)
図12は、本発明の実施の形態7による動画像復号化装置50cを説明するためのブロック図である。
この実施の形態7の動画像復号化装置50cは、動画像を構成する複数のピクチャに対応する符号列を受け、該符号列を一定のデータ処理単位であるブロック毎に復号化するものであり、具体的には、実施の形態3の動画像符号化装置10cにより生成された符号列Bsc(図14(c)参照)を復号化するものである。従って、この実施の形態7の符号列解析器501では、ヘッダ情報H1及びH3の解析によりレベル識別子Lst及び識別番号信号Sidが抽出され、シーケンスデータ部Dsqのデータの解析により、各マクロブロックに対応する符号化モードの情報Ms,符号化データCd,動きベクトル情報MV,入力画像サイズ情報Ipxなどの情報が抽出される。
また、この実施の形態7の動画像復号化装置50cのレベル解析部509cは、上記テーブルT1及びT3を有し、符号列解析部501からのレベル信号Lstに基づいて最大画面内画素数情報Ifpx及最大蓄積画素数情報Ispxを出力するとともに、符号列解析部501からの識別番号信号Sidに基づいて最大画像サイズ情報Impxを出力するものである。また、この実施の形態6の復号化可否判定器506cは、レベル解析部509cからの最大画面内画素数情報Ifpx及び最大画像サイズ情報Impxと、符号列解析器501からの入力画像サイズ情報Ipxとに基づいて、入力された符号列Bscの復号化が可能か否かを判定するものである。ここで、上記最大画像サイズ情報Impxは、最大縦画素数(H)を示す情報Imhpx及び最大横画素数(W)を示す情報Imwpxから構成されている。
そして、この実施の形態7の動画像復号化装置50cのその他の構成は、実施の形態5の動画像復号化装置50aのものと同一である。
また、この実施の形態7の動画像復号化装置50cにおける復号化可否判定器506cの具体的な構成は、図7に示す、実施の形態3の動画像符号化装置10cにおける符号化可否判定器108cと全く同一である。
次に動作について説明する。
この動画像復号化装置50cに上記符号列Bscが入力されると、まず符号列解析器501では、符号列Bscの解析により、該符号列Bscから、符号化モード情報Ms,動きベクトル情報MV及び符号化データCd等の各種の情報が抽出される。その際に、上記符号列Bscのヘッダ領域Hcに含まれている各種のヘッダ情報も同時に抽出され、レベル解析部509c,復号化可否判別器506c及び最大参照ピクチャ枚数算出器507aに出力される。
該レベル解析部509cでは、内部に保持されているテーブルT1(図15)を参照して、上記ヘッダ領域Hcのヘッダ情報(符号)H1に対応するレベル信号(レベル識別子の信号)Lstに応じて、画面内最大画素数情報Ifpx及び最大蓄積画素数情報Ispxが出力される。また、レベル解析部509cでは、内部に保持されているテーブルT3(図18(a))を参照して、ヘッダ領域Hbのヘッダ情報(符号)H3に対応する識別番号信号Sidに応じて、最大画像サイズ情報Impx(最大縦画素数情報Imhpx及び最大横画素数情報Imwpx)が出力される。上記画面内最大画素数情報Ifpx及び最大画像サイズ情報Impxは復号化可否判定器506cに入力され、該最大蓄積画素数情報Ispxは最大参照ピクチャ枚数算出器507aに入力される。
すると、復号化可否判定器506bでは、レベル解析部509cからの画面内最大画素数情報Ifpx及び最大画像サイズ情報Impx(最大縦画素数情報Imhpx及び最大横画素数情報Imwpx)と、符号列解析器501によりシーケンスヘッダから抽出された入力画像サイズ情報Ipx(入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpx)とに基づいて、入力された符号列Bscに対する復号化の可否判定が行われ、判定結果を示す信号(判定結果信号)DSjdが制御部510に出力される。
そして、この実施の形態7では、該判定結果信号DSjdに基づいて、実施の形態5の動画像復号化装置50aと同様に符号列Bscに対する復号化処理が行われる。
次に、上記動画像復号化装置50cの復号化可否判別器506cの具体的な動作について簡単に説明する。
この実施の形態7の動画像復号化装置50cの復号化可否判別器506cでは、上記条件式(式1),(式2a),(式2b)に従って、入力された符号列Bscに対する復号化の可否が判定される。
まず、復号化可否判別器506cでは、実施の形態5の復号化可否判別器506aと同様、符号列解析器501から出力された入力画像サイズ情報Ipx(縦画素数情報Ihpx及び横画素数情報Iwpx)に基づいて、上記(式1)で示される演算処理が行われる。つまり、入力画像の縦画素数(h)と横画素数(w)との積(h×w)を求める乗算処理が行われ、乗算処理結果(h×w)と最大画面内画素数(Nfpx)との比較(画面内画素数比較)がなされる。
そして、復号化可否判別器506cでは、最大画像サイズ情報Impx(最大縦画素数情報Imhpx及び最大横画素数情報Imwpx)に基づいて、上記入力画像縦画素数(h)と最大縦画素数情報Imhpxが示す最大縦画素数(H)との比較(縦画素数比較)、及び上記入力画像横画素数(w)と最大横画素数情報Imwpxが示す最大横画素数(W)との比較(横画素数比較)が行われる。
そして、上記画面内画素数比較の結果,縦画素数比較の結果,及び横画素数比較の結果に基づいて、最終的な復号化可否の判別が行われる。
このように本実施の形態7の動画像復号化装置50cでは、符号列解析器501により符号列Bscから抽出された、レベル識別子(レベル信号)Lst及び識別番号信号Sidに基づいて、復号化処理可能な最大画面内画素数(Nfpx)及びピクチャメモリ503に蓄積可能な最大蓄積画素数(Nspx)を決定するとともに、最大画像サイズ(Nmpx)を決定するレベル解析部509cを備え、レベル解析部509cにより決定された最大画面内画素数(Nfpx)及び最大画像サイズ(Nmpx)と、符号列Bscに含まれる入力画像サイズ情報Ipxとに基づいて、入力された符号列Bscに対する復号化の可否判定を行うとともに、ピクチャ間予測復号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、符号化側から供給された符号列のうち、動画像復号化装置での復号化が可能なものを、レベル識別子により判別して、符号化側でのピクチャ予測符号化に対応したピクチャ予測復号化を良好に行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した復号化装置のメモリ領域を設計可能となる。
また、この実施の形態7では、最大縦画素数(H)および最大横画素数(W)を、符号列Bscに含まれる最大画像サイズ情報Impxに基づいて求めるので、実施の形態5に比べて、最大縦画素数(H)および最大横画素数(W)を求める処理が簡単になる。
なお、上記実施の形態7では、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル識別子と、最大縦画素数(H)および最大横画素数(W)に対応する識別番号とは、それぞれ独立した符号化条件を示すパラメータとしているが、識別番号をその値をレベル識別子の値に対応付けたものとしてもよい。
この場合、レベル識別子を示すレベル信号Lstに基づいて、テーブルT1及びT3から、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値とともに、最大縦画素数(H)および最大横画素数(W)の具体的数値が決定されることとなる。つまり、符号列解析器501からのレベル信号Lstがレベル解析部509cに入力されると、レベル解析部509cからは、レベル信号Lstに基づいてテーブルT1から最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)を示す情報Ifpx及びIspxが出力され、さらに、レベル識別子に対応する識別番号に基づいて、テーブルT3から最大画像サイズ情報Impxが出力される。この場合、符号列Bscには、レベル信号Lstに対応する符号H1のみ含まれることとなり、符号列解析器501からは、符号H3に対応する識別番号信号Sidはレベル解析部509cには出力されないこととなる。
また、上記実施の形態7では、動画像復号化装置として、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)に対応するレベル識別子の符号H1と、最大縦画素数(H)および最大横画素数(W)に対応する識別番号の符号H3とを解析して、符号H1の解析により得られたレベル識別子に基づいて、テーブルT1から最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)を取得し、符号H3の解析により得られた識別番号信号Sidに基づいて、テーブルT3から最大縦画素数(H)および最大横画素数(W)を取得するものを示したが、上記動画像復号化装置は、ユーザにより決定された任意の最大縦画素数(H)および最大横画素数(W)を示す最大画像サイズ情報Impxを符号化して得られた符号を解析し、該符号の解析により最大画像サイズ情報Impxを直接取得するものであってもよい。
この場合、最大画面内画素数(Nfpx)及び最大蓄積画素数(Nspx)の具体的数値の決定は、テーブルT1に基づいて行われるが、最大縦画素数(H)および最大横画素数(W)の具体的数値の決定は、最大画像サイズ情報Impxに対応する符号の解析により、テーブルを用いることなく行われる。
つまり、符号列解析器501からのレベル信号Lstがレベル解析部509cに入力されると、レベル解析部509cからは、レベル信号Lstに基づいて、テーブルT1から決まる最大画面内画素数(Nfpx)を示す情報Ifpxが復号化可否判定器506cに、テーブルT1から決まる最大蓄積画素数(Nspx)を示す情報Ispxが最大参照ピクチャ枚数算出器507aに出力される。また、符号化可否判定器506cには、符号列解析器501での符号の解析により得られた、最大縦画素数(H)および最大横画素数(W)の具体的数値を示す最大画像サイズ情報Impxが、直接入力されることとなる。
(実施の形態8)
図13は、本発明の実施の形態8による動画像復号化装置50dを説明するためのブロック図である。
この実施の形態8の動画像復号化装置50dは、動画像を構成する複数のピクチャに対応する符号列を受け、該符号列を一定のデータ処理単位であるブロック毎に復号化するものであり、具体的には、実施の形態4の動画像符号化装置10dにより生成された符号列Bsa(図14(a))を復号化するものである。但し、実施の形態4の動画像符号化装置10dにより生成される符号列は、実施の形態1の動画像符号化装置10aにより生成される符号列と同一のデータ構造を有しているため、この動画像復号化装置50dは、実施の形態1の動画像符号化装置10aにより生成される符号列を復号化することも可能である。
すなわち、この実施の形態8の動画像復号化装置50dは、実施の形態5の動画像復号化装置50aの最大参照ピクチャ枚数算出器507aに代えて、入力画像のサイズ情報Ipx(入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpx),最大蓄積画素数情報Ispx,表示待ちピクチャ枚数情報Idwpに基づいて、最大参照ピクチャ枚数(Nrpn)を算出し、算出した値(Nrpn)を示す情報(最大参照ピクチャ枚数情報)Irpnを出力する最大参照ピクチャ枚数算出器507dを備えたものである。
ここで、上記表示待ちピクチャ枚数情報Idwpは表示待ちピクチャの枚数を示す情報であり、該表示待ちピクチャは、図26を用いて説明したように、参照ピクチャとして用いられない復号化済みのピクチャであって、その表示が行われるまで、その画像データが復号化装置のピクチャメモリに格納されるピクチャである。また、この実施の形態8でのピクチャメモリの管理は、参照ピクチャとして使用されないピクチャの画像データを、該ピクチャの表示が終わると、直ちにピクチャメモリから削除するものとする。
この実施の形態8の動画像復号化装置50dのその他の構成は、実施の形態5の動画像復号化装置50aのものと同一である。
また、この実施の形態8の動画像復号化装置50dにおける最大参照ピクチャ枚数算出器507dの具体的な構成は、図9に示す、実施の形態4の動画像符号化装置10dにおける最大参照ピクチャ枚数算出器109dと全く同一である。
次に動作について説明する。
この実施の形態8の動画像復号化装置50dの動作は、最大参照ピクチャ枚数算出器507dの動作のみ上記実施の形態5の動画像復号化装置50aの動作とは異なっている。
そこで以下では、最大参照ピクチャ枚数算出器507dの動作についてのみ説明する。
この実施の形態8の動画像復号化装置50dの最大参照ピクチャ枚数算出器507dでは、上記(式11)に示される演算により、ピクチャ間予測復号化で用いる参照候補ピクチャの最大枚数が算出される。
つまり、この最大参照ピクチャ枚数算出器109dでは、入力画像縦画素数情報Ihpx及び入力画像横画素数情報Iwpxに基づいて、入力画像のサイズである1画面の総画素数(h×w)が算出される。
次に、最大蓄積画素数(Nspx)を上記乗算結果(h×w)で除算する演算が行われ、該除算結果(Nspx/(h×w))から1を減算する演算処理が行われる。
そして、上記減算結果(Nspx/(h×w)−1)から表示待ちピクチャ枚数(Ndwp)を引くことにより、最大参照ピクチャ枚数が決定される。
このように本実施の形態8の動画像復号化装置50dでは、符号列解析器501により符号列Bsaから抽出されたレベル信号Lstが示すレベル識別子に基づいて、復号化処理可能な最大画面内画素数(Nfpx)及びピクチャメモリ503に蓄積可能な最大蓄積画素数(Nspx)を決定するレベル解析部509aを備え、最大画面内画素数(Nfpx)及び入力画像サイズ(縦画素数Nhpx及び横画素数Nwpx)に基づいて、入力された符号列Bsaに対する復号化の可否判定を行うとともに、ピクチャ間予測復号化の際に参照可能な参照候補ピクチャの枚数(最大参照ピクチャ枚数)Nrpnを算出するので、符号化側から供給された符号列のうち、動画像復号化装置での復号化が可能なものを、レベル識別子により判別して、符号化側でのピクチャ予測符号化に対応したピクチャ予測復号化を良好に行うことができる。これにより、メモリ領域に対する容量制限が設けられていない符号化方式に対応した復号化装置のメモリ領域を設計可能となる。
また、この実施の形態8では、ピクチャメモリに格納される最大参照ピクチャ枚数を、表示待ちピクチャ枚数(Ndwp)を考慮して決定しているので、参照候補ピクチャの画像データが蓄積されるピクチャメモリを、画像データの処理状況に応じて効率よく利用することができる。
なお、上記実施の形態8では、ピクチャメモリの管理は、参照ピクチャとして使用されないピクチャの画像データを、該ピクチャの表示が終わると、直ちにピクチャメモリから削除するものとしているが、このような参照ピクチャとして使用されないピクチャの画像データを削除するタイミングは、上記実施の形態8で示した表示直後のタイミング以外の場合もある。
例えば、この実施の形態8でのピクチャメモリの管理は、ピクチャメモリに格納されている、参照ピクチャとして使用されないピクチャの画像データを、該ピクチャが表示された後、1ピクチャの表示時間だけ経過した後に、該ピクチャメモリから削除するというものであってもよい。この場合、上記表示待ちピクチャの画像データは、該ピクチャが表示された後も一定期間ピクチャメモリ内に残されたままとなる。
さらに、上記実施の形態1〜8では、動画像符号化装置あるいは動画像復号化装置をハードウエアにより実現したものを示したが、これらの装置はソフトウエアにより実現してもよい。この場合、上記各実施の形態で示した符号化処理あるいは復号化処理を行うためのプログラムをフレキシブルディスク等のデータ記憶媒体に記録しておくことにより、上記動画像符号化装置あるいは動画像復号化装置を、独立したコンピュータシステムにおいて構築することが可能となる。
図19は、上記実施の形態1〜4の動画像符号化装置及び実施の形態5〜8の動画像復号化装置のいずれかを、上記プログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実現するシステムを説明するための図である。
図19(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図19(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
また、図19(c)は、フレキシブルディスクFDへの上記プログラムの書き込み及び読み出しを行うための構成を示す。上記プログラムをフレキシブルディスクFDに書き込む場合は、コンピュータシステムCsから取得した上記プログラムとしてのデータをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより、上記動画像符号化装置あるいは動画像復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、データ記録媒体としてフレキシブルディスクを用いる場合を示したが、光ディスクを用いても同様に、上記動画像符号化装置あるいは動画像復号化装置をコンピュータシステムにより実現することができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであればどのようなものでもよい。
さらに以下、上記実施の形態で示した動画像符号化装置や動画像復号化装置の応用例とそれを用いたシステムについて説明する。
図20は、コンテンツ配信サービスを実現するコンテンツ供給システム1100の全体構成を示すブロック図である。
通信サービスの提供エリアは所望の大きさの領域(セル)に分割され、各セル内にそれぞれ固定無線局である基地局1107〜1110が設置されている。
このコンテンツ供給システム1100では、例えば、インターネット1101にインターネットサービスプロバイダ1102,電話網1104,および基地局1107〜1110を介して、コンピュータ1111、PDA(personal digital assistant)1112、カメラ1113、携帯電話1114、カメラ付きの携帯電話1200などの各機器が接続される。
但し、コンテンツ供給システム1100は、図20に示す複数の機器をすべて含むものに限定されず、図20に示す複数の機器の一部のものを含むものであってもよい。また、各機器は、固定無線局である基地局1107〜1110を介さずに、電話網1104に直接接続されてもよい。
ここで、カメラ1113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれの方式のものでもよい。
また、ストリーミングサーバ1103は、カメラ1113とは基地局1109、電話網1104を介して接続されており、このシステムでは、カメラ1113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能となっている。撮影したデータの符号化処理はカメラ1113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ1116で動画像を撮影して得られた動画データはコンピュータ1111を介してストリーミングサーバ1103に送信されてもよい。カメラ1116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ1116で行ってもコンピュータ1111で行ってもどちらでもよい。また、符号化処理はコンピュータ1111やカメラ1116が有するLSI1117にて行われることになる。
なお、画像符号化・復号化用のソフトウェアは、コンピュータ1111等で読み取り可能な記録媒体である蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に格納するようにしてもよい。さらに、動画データは、カメラ付きの携帯電話1200により送信してもよい。この動画データは携帯電話1200が有するLSIで符号化処理されたデータである。
このコンテンツ供給システム1100では、ユーザがカメラ1113、カメラ1116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)は、上記実施の形態と同様に符号化処理してカメラからストリーミングサーバ1103に送信され、一方で、ストリーミングサーバ1103からは、要求のあったクライアントに対して上記コンテンツデータがストリーム配信される。
クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータ1111、PDA1112、カメラ1113、携帯電話1114等がある。
このようなコンテンツ供給システム1100では、符号化されたデータをクライアント側にて受信して再生することができ、さらにクライアント側にてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能である。
このシステムを構成する各機器の符号化及び復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図21は、上記実施の形態で説明した動画像符号化装置と動画像復号化装置を用いた携帯電話1200を示す図である。
この携帯電話1200は、基地局1110との間で電波を送受信するためのアンテナ1201と、CCDカメラ等の映像,静止画を撮影可能なカメラ部1203と、カメラ部1203で撮影した映像、アンテナ1201で受信した映像等のデータを表示する液晶ディスプレイ等の表示部1202とを有している。
また、携帯電話1200は、複数の操作キーが取り付けられている本体部1204と、音声出力を行うためのスピーカ等の音声出力部1208と、音声入力を行うためのマイク等の音声入力部1205と、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア1207と、携帯電話1200に記録メディア1207を装着可能とするためのスロット部1206を有している。
ここで、記録メディア1207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話1200について図22を用いて詳細に説明する。
携帯電話1200は、表示部1202及び操作キー1204を備えた本体部の各部を統括的に制御する主制御部1241を有している。
また携帯電話1200は、電源回路部1240、操作入力制御部1234、画像符号化部1242、カメラインターフェース部1233、LCD(Liquid Crystal Display)制御部1232、画像復号化部1239、多重分離部1238、記録再生部1237、変復調回路部1236及び音声処理部1235を有している。携帯電話1200の各部は、同期バス1250を介して互いに接続されている。
電源回路部1240は、ユーザの操作により、終話及び電源キーがオン状態にされると、バッテリパックの電力を各部に対して供給することによりカメラ付ディジタル携帯電話1200を動作可能な状態に起動する。
携帯電話1200では、CPU、ROM及びRAM等でなる主制御部1241の制御により各部の動作が行われる。つまり、携帯電話1200では、音声通話モード時に音声入力部1205への音声入力により得られた音声信号は音声処理部1235によってディジタル音声データに変換される。ディジタル音声データは変復調回路部1236でスペクトラム拡散処理が施され、さらに、送受信回路部1231でディジタルアナログ変換処理及び周波数変換処理が施され、アンテナ1201を介して送信される。
また携帯電話機1200では、音声通話モード時にアンテナ1201で受信された受信信号は増幅されて周波数変換処理及びアナログディジタル変換処理が施される。受信信号はさらに、変復調回路部1236でスペクトラム逆拡散処理が施され、音声処理部1235によってアナログ音声信号に変換され、この信号が音声出力部1208を介して出力される。
さらに、携帯電話1200では、データ通信モード時に電子メールを送信する場合、本体部の操作キー1204の操作によって入力された電子メールのテキストデータは、操作入力制御部1234を介して主制御部1241に送出される。主制御部1241は、テキストデータを変復調回路部1236でスペクトラム拡散処理が施され、送受信回路部1231でディジタルアナログ変換処理及び周波数変換処理が施された後にアンテナ1201を介して基地局1110へ送信されるよう、各部を制御する。
携帯電話1200では、データ通信モード時に画像データを送信する場合、カメラ部1203で撮像された画像データはカメラインターフェース部1233を介して画像符号化部1242に供給される。また、携帯電話1200では、画像データを送信しない場合には、カメラ部1203での撮像により得られた画像データをカメラインターフェース部1233及びLCD制御部1232を介して表示部1202に直接表示することも可能である。
画像符号化部1242は、上記各実施の形態で説明した動画像符号化装置を備えたものである。この画像符号化部1242は、カメラ部1203から供給された画像データを上記実施の形態の動画像符号化方法によって圧縮符号化することにより符号化画像データに変換して、多重分離部1238に送出する。また、このとき同時に携帯電話機1200は、カメラ部1203で撮像中に音声入力部1205に入力された音声を、音声処理部1235を介してディジタルの音声データとして多重分離部1238に送出する。
多重分離部1238は、画像符号化部1242から供給された符号化画像データと音声処理部1235から供給された音声データとを所定の方式で多重化する。その結果得られる多重化データは変復調回路部1236でスペクトラム拡散処理が施され、さらに送受信回路部1231でディジタルアナログ変換処理及び周波数変換処理が施され、アンテナ1201を介して送信される。
また、携帯電話1200では、データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ1201を介して基地局1110から受信した受信信号は、変復調回路部1236でスペクトラム逆拡散処理が施され、その結果得られた多重化データが多重分離部1238に送出される。
また、アンテナ1201を介して受信された多重化データを復号化する際、多重分離部1238は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バス1250を介して該符号化画像データを画像復号化部1239に供給すると共に該音声データを音声処理部1235に供給する。
次に、画像復号化部1239は、本発明の実施の形態による動画像復号化装置を備えたものである。画像復号化部1239は、画像データの符号化ビットストリームを、上述した本発明の実施の形態の符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部1232を介して表示部1202に供給する。これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データの表示が行われる。このとき同時に音声処理部1235は、音声データをアナログ音声信号に変換した後、これを音声出力部1208に供給する。これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データの再生が行われる。
なお、上述した本発明の各実施の形態の動画像符号化方法及び動画像復号化方法を適用可能なシステムは、上記コンテンツ供給システムの例に限られるものではない。
例えば、最近は衛星、地上波によるディジタル放送が話題となっており、上記実施の形態の動画像符号化装置または動画像復号化装置は、図23に示すようにディジタル放送用システム1400にも適用可能である。
具体的には、放送局1409からは映像情報の符号化ビットストリームが無線通信により、通信衛星または放送衛星などの衛星1410に伝送される。放送衛星1410では、上記映像情報の符号化ビットストリームを受けると、放送用の電波が出力され、この電波が衛星放送受信設備をもつ家庭のアンテナ1406で受信される。例えば、テレビ(受信機)1401またはセットトップボックス(STB)1407などの装置では、符号化ビットストリームが復号化され、映像情報が再生される。
また、記録媒体であるCDやDVD等の蓄積メディア1402に記録した符号化ビットストリームを読み取り、復号化する再生装置1403にも、上記実施の形態で示した動画像復号化装置を実装することが可能である。
この場合、再生された映像信号はモニタ1404に表示される。また、ケーブルテレビ用のケーブル1405または衛星/地上波放送のアンテナ1406に接続されたセットトップボックス1407内に動画像復号化装置を実装し、該動画像復号化装置の出力をテレビのモニタ1408で再生する構成も考えられる。この場合、動画像復号化装置は、セットトップボックスではなく、テレビ内に組み込んでもよい。また、アンテナ1411を有する車両1412では、衛星1410または基地局1107(図20参照)等から信号を受信し、車両1412に搭載されているカーナビゲーション1413等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。
具体例な記録装置には、DVDディスク1421に画像信号を記録するDVDレコーダや、ハードディスクに画像信号を記録するディスクレコーダなどのレコーダ1420がある。更に画像信号は、SDカード1422に記録することもできる。また、レコーダ1420が上記実施の形態で示した動画像復号化装置を備えていれば、レコーダ1420により、DVDディスク1421やSDカード1422に記録した画像信号を再生し、モニタ1408で表示することができる。
なお、カーナビゲーション1413の構成としては、例えば図22に示す携帯電話の構成のうち、カメラ部1203,カメラインターフェース部1233,画像符号化部1242以外の部分を有するものが考えられ、同様なことがコンピュータ1111(図20参照)やテレビ(受信機)1401等については考えられる。
また、上記携帯電話1114(図20参照)等の端末には、符号化器及び復号化器を両方持つ送受信型端末の他に、符号化器のみを有する送信端末、復号化器のみ有する受信端末の3通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化装置あるいは動画像復号化装置を上述したいずれの機器やシステムにも用いることが可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
さらには、本発明の実施の形態及びその応用例は、本明細書で示したものに限られるものではないことは、言うまでもない。