JPWO2009050897A1 - 符号化レート変換装置、符号化レート変換方法および集積回路 - Google Patents

Abstract

符号化データを構成する複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する。第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する低周波係数の値を変換するための第１変換値と、高周波係数の値を変換するための値であって、かつ、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを第２量子化マトリクスに変換する（Ｓ４０８）。第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出する。複数の係数データの少なくとも一部を、第２量子化マトリクスと、少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化する。

Description

本発明は、符号化データの情報量をさらに削減するために符号化レートを変換する技術に関するもので、より具体的には、符号化レート変換に伴う画質劣化を抑制する符号化レート変換装置等に関するものである。

近年、高圧縮を実現するＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）が画像符号化技術として採用されている。この技術はデジタル放送、ＤＶＤ、ネットワークなどの記録媒体に用いられ、それらの用途に合わせて、ビットレートは一定の範囲内で選択できるようになっている。

例えば、高画質のデジタル放送を記録媒体に記録するビットレートを選択するにあたり、高画質のデータをそのまま記録媒体に記録するのではなく、さらに情報量を削減するためビットレートを小さくするよう符号化レートを変換することで、より多くのデータを記録媒体に記録することができる。また、記録媒体の容量を有効利用するために符号化レートを変換する高速ダビングなどのニーズも高まっている。

また、記録媒体に記録したデジタル放送をネットワークに配信するにあたり、高画質のデータをそのままネットワークに配信するのではなく、ネットワーク帯域に応じてビットレートを小さくするよう符号化レートを変換することで、帯域の狭いネットワークでも映像を配信することができる。

以上を実現する符号化レート変換方法の一つに、再量子化型の変換方法がある。この方法は、入力ビットストリームを画素レベルまで復号するのではなく、逆量子化した後のＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を、異なる量子化スケールで再量子化することで所望のデータ量に変換することで、画素レベルまで復号を行うことなく、符号化レートを削減できる方法である。

以降、再量子化型の符号化レート変換方法の詳細を説明する前に、ＭＰＥＧ２のＤＣＴ変換および量子化に関する詳細な説明を行う。

ＭＰＥＧ２では、１つのピクチャの符号化データは１つ以上のスライスから構成され、１つのスライスは１つ以上のマクロブロック（ＭＢ）から構成される。以下においては、マクロブロックを、ＭＢという。ＭＢは、ヘッダ部と、ブロック部とを有する。以下においては、ＭＢのヘッダ部およびＭＢのブロック部を、それぞれ、ＭＢヘッダ部およびＭＢブロック部という。ＭＢブロック部は、複数の量子化ＤＣＴ係数を示す。量子化ＤＣＴ係数は、ピクチャに対し所定サイズのブロック毎にＤＣＴ（離散コサイン変換）して得られたＤＣＴ係数を量子化することにより得られる係数である。

また、１つのマクロブロックは、標準（４：２：０）で、輝度のブロックが４つ、色差のブロックが２つの合計６つのブロックから構成される。輝度と色差でブロックの数が異なるのは、密度の観点において、人間が色差より輝度に敏感である視覚特性に基づいて決定されている。ＭＰＥＧ２では、６つのブロックを、輝度Ｙ（左上）、輝度Ｙ（右上）、輝度Ｙ（左下）、輝度Ｙ（右下）、色差Ｃｂ（青成分）、色差Ｃｒ（赤成分）の順番に符号化されている。

１つのブロックは、８×８サイズの係数（量子化ＤＣＴ係数）群で符号化されており、この係数群を逆量子化し、さらに逆ＤＣＴ変換すると、８×８サイズの画素に復号することができる。

ブロックに含まれる係数群は、左上の係数が低周波成分で、右に行くほど水平方向に高周波成分の係数、下に行くほど垂直方向に高周波成分の係数になり、右下の係数は水平方向にも垂直方向にも高周波成分となる。左上角の１係数がＤＣ成分（直流）で、その他はＡＣ成分（交流）である。

上記の量子化ＤＣＴ係数の逆量子化方法は、動き補償を行わないＩｎｔｒａＭＢか、動き補償を行うＩｎｔｅｒＭＢかどうかによって異なる。ＩｎｔｒａＭＢは、処理対象のピクチャ内の情報を利用してデータを圧縮するマクロブロックである。また、ＩｎｔｒａＭＢでは、ＤＣ成分かＡＣ成分かによっても異なる。ＩｎｔｅｒＭＢは、処理対象のピクチャと異なるピクチャ内の情報を利用してデータを圧縮するマクロブロックである。

ＩｎｔｒａＭＢのＤＣ成分は、以下の式に従って逆量子化される。

（ＤＣＴ係数）＝（逆量子化係数）×（量子化ＤＣＴ係数）

一方、ＩｎｔｒａＭＢのＡＣ成分は、以下の式（以下、逆量子化の式という）に従って逆量子化される。

（ＤＣＴ係数）＝（２×量子化ＤＣＴ係数）×量子化マトリクス×量子化スケール／３２

また、ＩｎｔｅｒＭＢは、ＤＣ成分、ＡＣ成分にかかわらず、以下の式（以下、逆量子化の式という）に従って逆量子化される。

ＤＣＴ係数＝
（２×量子化ＤＣＴ係数＋１）×量子化マトリクス×量子化スケール／３２ （量子化ＤＣＴ係数＞０の場合）
（２×量子化ＤＣＴ係数） ×量子化マトリクス×量子化スケール／３２ （量子化ＤＣＴ係数＝０の場合）
（２×量子化ＤＣＴ係数−１）×量子化マトリクス×量子化スケール／３２ （量子化ＤＣＴ係数＜０の場合）

上式において、逆量子化係数や量子化スケールは係数（スカラ）であるが、量子化マトリクスは、８×８サイズの係数群（ベクトル）で構成されており、求めるＤＣＴ係数の位置に応じた係数を使用する。

逆量子化係数や量子化マトリクスは、ピクチャ単位で指定され、量子化スケールは、マクロブロック単位で指定される。

また、量子化スケールは、そのままの値で符号化されているのではなく、ＭＢヘッダ部が示す符号化された量子化スケールコード（量子化パラメータ）から図１の表に基づいて変換する。量子化スケールコード（量子化パラメータ）から量子化スケールの変換は、線形タイプと非線形タイプの２つのタイプが存在し、どちらのタイプで符号化するかはピクチャ単位で指定される。

次に、量子化ＤＣＴ係数は、図２Ａに示すジグザグスキャンおよび図２Ｂに示すオルタネートスキャンのいずれかが示す順番で、非０係数だけが符号化される。どちらのスキャン順が用いられているかどうかはピクチャ単位で指定される。ジグザグスキャンはプログレッシブ画像の符号化に適し、オルタネートスキャンはインターレース画像の符号化に適する。以降、ジグザグスキャンにて説明を行うが、オルタネートスキャンでもジグザグスキャンと同様の議論が成り立つ。

非０係数の符号化は、一つ前の非０係数からの項目数ｒｕｎ（＝連続する０係数の個数）および非０の量子化ＤＣＴ係数値ｌｅｖｅｌが符号化され、最後の非０係数の次にはＥＯＢ（Ｅｎｄ Ｏｆ Ｂｌｏｃｋ）が符号化され、それ以降の０係数は省略される。例えば、低周波成分から７、３、０、０、１、以降すべて０、の順で量子化ＤＣＴ係数が存在するブロックでは、（ｒｕｎ、ｌｅｖｅｌ）＝（０、７）、（０、３）、（２、１）、ＥＯＢの順番で符号化される。

次に、再量子化型の符号化レート変換方法の詳細について説明する（特許文献１参照）。

図３は、ＭＰＥＧ２の復号化装置１００００の一例の構成を示すブロック図である。可変長復号部２２０１は、ＭＰＥＧ２ストリームを復号し、復号により得られた複数のＭＢブロック部の各々が示す情報（量子化ＤＣＴ係数）を逆量子化部２２０２に通知する。

まず、ＩｎｔｒａＭＢの場合、逆量子化部２２０２は、量子化ＤＣＴ係数を逆量子化してＤＣＴ係数に戻し、ＤＣＴ係数を逆ＤＣＴ変換部２２０３に通知する。逆ＤＣＴ変換部２２０３は、逆ＤＣＴ変換を行い、ＤＣＴ係数を画素情報に戻す。戻された画素情報は画素復元部２２０６を通じて出力する。また、画素情報は次のピクチャ以降で参照される可能性があるため、参照フレーム格納部２２０４に格納される。

次に、ＩｎｔｅｒＭＢの場合は、逆ＤＣＴ変換により得られた画素情報が差分値であるため、画素復元部２２０６にＤＣＴ係数を出力した後もさらに処理が必要である。動き補償部２２０５は、可変長復号部２２０１で復号した動きベクトルで指定された参照画像を参照フレーム格納部２２０４から取得して、画素復元部２２０６に通知する。画素復元部２２０６は、参照画像と画素情報の差分を加算して画素情報を求め、出力する。復元した画素情報はＩｎｔｅｒＭＢと同様に参照フレーム格納部２２０４に格納される。

図４は、ＭＰＥＧ２の符号化装置１０００１の一例の構成を示すブロック図である。基本的にＭＰＥＧ復号化装置１００００の逆の構成となっている。

ＩｎｔｒａＭＢの場合、画素情報はまずＤＣＴ変換部２３０１でＤＣＴ変換され、ＤＣＴ変換により得られた情報が量子化部２３０２に通知される。レート制御部２３１１は、目標の符号化レートを、可変長符号部２３０３から得た実際の符号化ビット量の実績値で補正しながら、量子化スケールを求めて、量子化スケールを量子化部２３０２に通知する。

量子化部２３０２は、ＤＣＴ係数をレート制御で算出された量子化スケールで量子化を行い、量子化により得られた情報を可変長符号部２３０３に通知すると同時に、参照画像として利用するため、量子化により得られた情報を逆量子化部２３０４に通知する。可変長符号部２３０３は、量子化ＤＣＴ係数をストリームとして符号化する。次以降のピクチャで参照画像として利用するために、量子化ＤＣＴ係数は、復号化装置１００００と同様に、逆量子化部２３０４、逆ＤＣＴ変換部２３０５により、画像情報まで復号されて、画像情報が参照フレーム格納部２３０６に格納される。

ＩｎｔｅｒＭＢの場合、参照画像を用いた画像情報量削減を行うため、まず動き検出部２３０７で、参照フレーム格納部２３０６から入力画像と一致度の高い画像を検出して、動きベクトルを算出する。動きベクトルは、動き補償部２３０８に通知されるとともに、ストリームのＭＢヘッダ部の情報として符号化するため、可変長符号部２３０３に通知される。動き補償部２３０８は、動きベクトルを元に、参照フレーム格納部２３０６から参照画像を取得し、画素減算部２３０９が、入力画像との差分を求めることで、情報量を削減する。以降は、ＩｎｔｒａＭＢの場合と同じである。

次以降のピクチャで参照画像として利用するために、逆量子化部２３０４、逆ＤＣＴ変換部２３０５を通すと、画像情報の差分が求まるので、動き補償部２３０８で求めた参照画像を画素加算部２３１０が加えると、画像情報が復号でき、画像情報が参照フレーム格納部２３０６に格納される。

ここで、ＭＰＥＧ２では、ＭＢヘッダ部のビット量はほぼ決まった範囲のビット量を取り、さらに、ＭＢヘッダ部のビット量が符号化ストリーム全体に占める割合はわずかである。逆に、ＭＢブロック部のビット量はＭＢごとのばらつきが大きく、さらに、ＭＢブロック部のビット量は符号化ストリームの大部分を占める。したがって、符号化ストリームの符号化レートを低減するためには、何らかの手段で、ＭＢブロック部の量子化ＤＣＴ係数（ｌｅｖｅｌ）を低減する手法が有効である。

量子化ＤＣＴ係数（ｌｅｖｅｌ）を低減すると、小さなｌｅｖｅｌは短い符号化ビットで表現可能である。さらにｌｅｖｅｌが０になれば、ｌｅｖｅｌの符号化自体が不要になるため、符号化レートを低減できる。

再量子化型のレート変換装置は、上記の量子化の性質を利用した変換装置であり、ＭＰＥＧ復号化装置とＭＰＥＧ符号化装置を結合して、不要な構成を省いた構成である。ストリームを画像レベルまで復号せずに、量子化だけでレートを変換するため、ＤＣＴ変換や動き補償を行う必要がないという利点がある。

量子化ＤＣＴ係数（ｌｅｖｅｌ）を低減するには、前述した逆量子化の式を参照すると、量子化スケールおよび量子化マトリクスのいずれかを大きくすればよいことがわかる。まずは、再量子化型の符号化レート変換装置の一例として、量子化スケール再変換型の符号化レート変換装置の詳細を説明する。

量子化スケール再変換型の符号化レート変換装置１１０００の構成図を図５に示す。

可変長復号部２４０１は、ＭＰＥＧ２ストリームを復号する。可変長復号部２４０１は、逆量子化係数や量子化マトリクスを含むピクチャヘッダは変換せずに、ピクチャヘッダを可変長符号部２４０２にそのまま通知する（図示せず）。可変長復号部２４０１は、ＭＢヘッダ部のパラメータをＭＢヘッダ格納部２４０５に通知すると同時に、ＭＢヘッダ部が示す量子化スケールコードを量子化スケールに変換し、当該量子化スケールを量子化スケール増加変換部２４０４に通知する。可変長復号部２４０１は、ＭＢブロック部が示す量子化ＤＣＴ係数などのパラメータを逆量子化部２４０６に通知する。

逆量子化部２４０６は、入力ストリームの量子化スケールにしたがって、逆量子化を行い、量子化部２４０７に通知する。

一方、レート制御部２４０３は、目標変換レートに従って、目標量子化スケールを算出して、算出した目標量子化スケールを量子化スケール増加変換部２４０４に通知する。

量子化スケール増加変換部２４０４は、目標量子化スケールを参考に、入力時の量子化スケールから出力時の新しい量子化スケールに変換し、変換した量子化スケールを量子化部２４０７に通知すると同時に、変換した量子化スケールをＭＢヘッダ格納部２４０５に通知する。

ＭＢヘッダ格納部２４０５では、量子化スケールを量子化スケールコードに変換し、新しい値に書き換える。ＭＢヘッダ格納部２４０５は、ＭＢヘッダに該当するパラメータを可変長符号部２４０２に通知する。これにより、ＭＢヘッダ部のストリームが得られる。

また、量子化部２４０７は、新しい量子化スケールにしたがって、量子化を行い、その結果得られる量子化ＤＣＴ係数を可変長符号部２４０２に通知する。これにより、ＭＢブロック部のストリームが得られる。

レート制御部２４０３は、随時、可変長復号部２４０１から復号したビット量を取得し、かつ、可変長符号部２４０２から符号化されたビット量を得て、目標レートの補正を行う。

次に、量子化スケール再変換型の符号化レート変換装置１１０００におけるレート制御の詳細を説明する。

ＭＰＥＧ２では、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００ Ｔｅｓｔ Ｍｏｄｅｌ ５（以下、ＴＭ５と記載）に符号化時のレート制御方式が記載されており、符号化レート変換においても、ＴＭ５と同等の方式が用いられている（特許文献１参照）ことが多い。そのため、まずはＴＭ５を説明する。ＴＭ５のレート制御方式は３つのステップから成り立っている。

ステップ１は、目標ビットレートからピクチャごとにビット配分を行うフェーズである。ステップ２は、ピクチャごとに配分されたビットを元に量子化スケールを算出するフェーズである。ステップ３は、視覚的特性を考慮して量子化スケールを補正するフェーズである。

ステップ１では、目標符号化レートやピクチャ構成（Ｉ，Ｐ，Ｂピクチャ）などに従って、ピクチャごとにビットを配分することが数式で規定されているが、本発明には直接関係しないので、詳細は省略する。

ステップ２では、仮想的な基準復号部を想定し、仮想バッファに対するレート制御を行う。このレート制御処理では、Ｉ，Ｐ，Ｂピクチャにそれぞれ割り当てられたビット量Ｔｉ、Ｔｐ、Ｔｂと、実際にＩ，Ｐ，Ｂピクチャでそれぞれ発生するビット量Ｓｉ、Ｓｐ、Ｓｂとをそれぞれ一致させるための処理が行なわれる。具体的には、ピクチャタイプごとに個別に設定した３種類の仮想バッファ容量に基づいて、量子化スケールをマクロブロック単位のフィードバック制御で求める。Ｉ，Ｐ，Ｂピクチャ内のｊ番目のマクロブロックの符号化時に使用する仮想バッファの占有量ｄｉ（ｊ）、ｄｐ（ｊ）、ｄｂ（ｊ）は、以下の式で与えられる。

ｄｋ（ｊ）＝ｄｋ（０）＋Ｂ（ｊ−１）−Ｔｋ×（ｊ−１）／ＮＭＢ （ただしｋ＝ｉ，ｐ，ｂ）

ここで、ｄｉ（０）、ｄｐ（０）、ｄｂ（０）は仮想バッファの初期占有量である。Ｂ（ｊ−１）は（ｊ−１）番目までのマクロブロックの発生符号量の総和である。ＮＭＢはピクチャのマクロブロック数である。上記仮想バッファの占有量に基づき、Ｉ，Ｐ，Ｂピクチャ内のｊ番目のマクロブロックの量子化スケールｍｑｉ（ｊ）、ｍｑｐ（ｊ）、ｍｑｂ（ｊ）は、以下の式で与えられる。

ｍｑｋ（ｊ）＝ｄｋ（ｊ）×３１／ｒ （ただしｋ＝ｉ，ｐ，ｂ）

ここで、ｒはリアクションパラメータと呼ばれる定数である。ステップ３は、本発明には直接関係しないので、詳細は省略する。

次に、量子化スケール再変換型の符号化レート変換装置における量子化スケール変換の詳細を説明する。

レート制御により量子化スケールが得られる。しかし、符号化レート変換においてその量子化スケールをそのまま利用することは必ずしも得策ではない。例えば、ＴＭ５は入力ストリームとは無関係に量子化スケールを算出する。そのため、入力ストリームの量子化スケールｑｉｋ（ｊ）と比較して、レート制御で得られた量子化スケールｍｑｋ（ｊ）が小さい場合が発生する。その場合に、量子化スケールにｍｑｋ（ｊ）をそのまま用いると、出力されるビット量が入力ストリームより増加することになる。

しかし、入力ストリームを変換して出力する以上、出力ストリームの量子化誤差が入力ストリームの量子化誤差より小さくなることはありえないので、ここでのビット量の増加は全くの無意味である。したがって、出力ストリームの量子化スケールｑｏｋ（ｊ）は、
ｑｏｋ（ｊ）＝ｍａｘ｛ｑｉｋ（ｊ），ｍｑｋ（ｊ）｝ （ただしｋ＝ｉ，ｐ，ｂ）
とするのがよい。また、それ以外にも、出力ストリームの量子化スケールｑｏｋ（ｊ）に対して、レート制御で得られた量子化スケールｍｑｋ（ｊ）をそのまま用いるのではなく、
ｑｏｋ（ｊ）＝
ｑｉｋ（ｊ） （ｍｑｋ（ｊ）＜１．５×ｑｉｋ（ｊ）の場合）
２×ｑｉｋ（ｊ） （１．５×ｑｉｋ（ｊ）≦ｍｑｋ（ｊ）＜２×ｑｉｋ（ｊ）の場合）
ｍｑｋ（ｊ） （ ２×ｑｉｋ（ｊ）＜ｍｑｋ（ｊ）の場合）
（ただしｋ＝ｉ，ｐ，ｂ）
とするほうが、同一符号量あたりの画質劣化が抑えられるとの報告もある（特許文献２参照）。いずれの場合であっても、出力ストリームの量子化スケールは、レート制御で得られた量子化スケールをそのまま用いるのではなく、レート制御で得られた量子化スケールを参照して、入力ストリームの量子化スケールを増加方向に変換すればよいことになる。

次に、量子化スケール再変換型の符号化レート変換装置１１０００における量子化の具体例を図６を用いて説明する。

レート制御や量子化スケール変換の結果、量子化スケールが４から８に、すなわち２倍に変換されることになったとする。前述した逆量子化の式を参照すると、量子化ＤＣＴ係数は量子化スケールにほぼ反比例させる必要があるため、量子化ＤＣＴ係数は１／２倍に変換する必要がある。

８個の非０量子化ＤＣＴ係数（ｌｅｖｅｌ）７、−３、２、１、４、１、−１、１が存在するＩｎｔｅｒＭＢのブロックにおいては、本来３．５、−１．５、１、０．５、２、０．５、−０．５、０．５に変換するのが望ましい。しかしながら、量子化ＤＣＴ係数は整数でしか符号化できないため、３．５、−１．５、１、０．５、２、０．５、−０．５、０．５は、それぞれ３、−１、１、０、２、０、０、０に整数化（ここでは小数点以下は切捨てとする）され、ｌｅｖｅｌの値が減少する。

また、非０係数の個数が変換前の８個から変換後は４個に減少する。これを符号化すると、入力時５０ｂｉｔだった符号量が、２５ｂｉｔに減少させることができるので、符号化レートを低減することができる。

しかし、整数化（小数点以下を切り捨て）の際には誤差（量子化誤差）が発生する。量子化スケールは量子化ＤＣＴ係数のすべての周波数成分にかかる係数である。そのため、低周波成分から高周波成分に至るまでのすべての周波数で一律に誤差が発生する可能性がある。中でも低周波成分に対する誤差に対しては、人間の視覚は非常に敏感であり、その誤差がブロック状のノイズとして観察される。

量子化スケール再変換型の符号化レート変換装置では、量子化スケールだけで符号化レートを制御する必要があるため、目標符号化レートを達成するために、量子化スケール変換率を大きくしなければならないので、上記の低周波成分の誤差に起因するブロックノイズが大規模に発生する可能性がある。ここで、量子化スケール変換率は、量子化スケールの値を変換するための値である。

一方、再量子化型の符号化レート変換方法として、量子化スケール再変換型の符号化レート変換方式だけではなく、量子化マトリクス再変換型の符号化レート変換方式も存在する（特許文献３参照）。

量子化マトリクスは、ブロックサイズ（８×８）の係数群である。量子化マトリクスは、量子化スケールと違い、周波数成分ごとに係数が独立しているため、周波数成分ごとに変換率を変更して量子化誤差を制御すれば、量子化スケール再変換型の符号化レート変換装置における課題を解決できる可能性がある。

量子化マトリクス再変換型の符号化レート変換装置１２０００を図７に示す。

可変長復号部２５０１は、ＭＰＥＧ２ストリームを復号する。可変長復号部２５０１は、復号により得られた量子化マトリクスを含むピクチャヘッダをピクチャヘッダ格納部２５０５に通知すると同時に、量子化マトリクス高域増加変換部２５０４に通知する。

レート制御部２５０３は、目標変換レートに基づいて、当該ピクチャの目標符号量を、量子化マトリクス高域増加変換部２５０４に通知する。

量子化マトリクス高域増加変換部２５０４は、制御情報に基づいて、入力ストリームの量子化マトリクスの高周波成分（高域）の係数を増加方向に変換し、変換された係数を示す変換後の量子化マトリクスを量子化部２５０７に通知すると同時に、変換後の量子化マトリクスをピクチャヘッダ格納部２５０５に通知する。

ピクチャヘッダ格納部２５０５は、ピクチャヘッダを可変長符号部２５０２に通知する。これにより、ピクチャヘッダのストリームが得られる。

次に、ＭＢの処理としては、可変長復号部２５０１が、ＭＢヘッダを、可変長符号部２５０２に直接通知する（図示していない）。また、可変長復号部２５０１は、ＭＢのブロック部の量子化ＤＣＴ係数などのパラメータを逆量子化部２５０６に通知する。

また、量子化部２５０７は、新しい量子化マトリクスにしたがって、量子化を行い、その結果得られる量子化ＤＣＴ係数を可変長符号部２５０２に通知する。これにより、ＭＢブロック部のストリームが得られる。

すべてのＭＢに対し処理が終了した後、レート制御部２５０３は、可変長復号部２５０１から復号されたビット量を得て、可変長符号部２５０２から符号化されたビット量を得て、目標レートの補正を行う。

次に、量子化マトリクス再変換型の符号化レート変換装置におけるレート制御の詳細を説明する。

当該ピクチャの目標符号量の算出は、量子化スケール再変換型の符号化レート変換装置１１０００と同様、ＴＭ５のステップ１を適用すればよいので、ここでは説明を省略する。

しかし、マクロブロック単位の制御は、量子化スケール再変換型の符号化レート変換装置１１０００ではＴＭ５のステップ２を利用していたが、これは量子化スケールを変更する方法のため、本方式には適用できない。

次に、量子化マトリクス再変換型の符号化レート変換装置１２０００における量子化マトリクス変換の詳細を説明する。

ここでは量子化マトリクスの変換を制御する一例として、例えば、Ｉ，Ｐ，Ｂピクチャのｉ番目のピクチャの量子化マトリクス強度ｗｉ（ｉ）、ｗｐ（ｉ）、ｗｂ（ｉ）を定義し、前のピクチャの実績値（目標と符号化結果の差）に基づいて、その強度を制御する例を取り上げる。

ｗｋ（ｉ）＝
ｍａｘ｛１，ｗｋ（ｉ−１）＋１｝ （Ｂｋ（ｉ−１）＜Ｔｋ（ｉ−１）＋Ｃの場合）
ｗｋ（ｉ−１） （Ｔｋ（ｉ−１）−Ｃ≦Ｂｋ（ｉ−１）≦Ｔｋ（ｉ−１）＋Ｃの場合）
ｍｉｎ｛４，ｗｋ（ｉ−１）−１｝ （Ｔｋ（ｉ−１）−Ｃ＜Ｂｋ（ｉ−１）の場合）
（ただしｋ＝ｉ，ｐ，ｂ）

ここで、Ｔｉ（ｉ−１）、Ｔｐ（ｉ−１）、Ｔｂ（ｉ−１）は、Ｉ，Ｐ，Ｂピクチャの（ｉ−１）番目のピクチャの目標符号量を示す定数である。Ｂｉ（ｉ−１）、Ｂｐ（ｉ−１）、Ｂｂ（ｉ−１）は、Ｉ，Ｐ，Ｂピクチャの（ｉ−１）番目のピクチャの実際の符号量を示す定数である。Ｃは目標の値と実際の値の差として許容可能な符号量を示す定数である。上記式により、量子化マトリクスは、目標符号化レートが達成できていれば強度を弱め、目標符号化レートが達成できていなければ強度を強めるように制御される。

次に、出力ストリームの量子化マトリクスの係数を、以下の式（以下、マトリクス変換式という）に基づいて、入力ストリームの量子化マトリクスの係数から変換する。なお、出力ストリームおよび入力ストリームの量子化マトリクスは、８行８列の行列であるとする。

Ｗｏ（ｕ，ｖ）＝
Ｗｉ（ｕ，ｖ） （ｕ＋ｖ≦ε（低周波成分）の場合）
ｗｋ（ｉ）×Ｗｉ（ｕ，ｖ） （ｕ＋ｖ＞ε（高周波成分）の場合）
（ただしｋ＝ｉ，ｐ，ｂ）

ここで、Ｗｉ（ｕ，ｖ）は、入力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数（ｕ＝０〜７、ｖ＝０〜７）を示す定数である。Ｗｏ（ｕ，ｖ）は、出力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数を示す定数である。また、Ｗｏ（ｕ，ｖ）は、ｖ＋１行ｕ＋１列で特定される係数を示す。たとえば、ｕ＝２，ｖ＝５の場合、Ｗｏ（ｕ，ｖ）は、６行３列で特定される係数を示す。εは誤差を抑制する閾値（基準周波数）を示す定数である。

次に、量子化マトリクス再変換型の符号化レート変換装置１２０００における量子化の具体例を図８を用いて説明する。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの高周波成分の係数（ε＝２の場合）を２倍に増加させることになったとする。ここで、上記のマトリクス変換式において、ε＝２とする。この場合、量子化マトリクスの低周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数となる。また、量子化マトリクスの高周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数以外の係数となる。

前述した逆量子化の式から、量子化ＤＣＴ係数は量子化マトリクスにほぼ反比例させる必要がある。そのため、量子化ＤＣＴ係数の高周波成分の量子化ＤＣＴ係数を１／２倍に変換する必要がある。

非０量子化ＤＣＴ係数が７、−３、２、１、４、１、−１、１の合計８個で、うち前半の３個が低周波成分に該当するＩｎｔｅｒＭＢのブロックが変換対象の場合、低周波成分の係数は、変換不要である。また、高周波成分の量子化ＤＣＴ係数は、本来０．５、２、０．５、−０．５、０．５に変換されるのが望ましいが、それぞれ０、２、０、０、０に整数化される。

これにより、量子化ＤＣＴ係数の低周波成分は量子化誤差が発生しない一方、高周波成分は非０量子化ＤＣＴ係数のｌｅｖｅｌ低減、非０係数の個数削減により、入力時５０ｂｉｔだった符号量が、３５ｂｉｔに減少される。そのため、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、符号化レートを削減することができる。

しかし、符号化レート変換装置１２０００では、量子化マトリクスがピクチャ単位でしか設定できないため、細かく符号化レートを制御できず、最悪、数十ピクチャ経過しないと符号化レートを目標レートに収束させることができない可能性がある。

例えば、符号化レート変換装置１２０００をネットワークの帯域に応じた符号化レート変換に適用させる場合、少なくともピクチャ単位やＧＯＰ単位で符号化レートを追随させることが要求される。しかしながら、符号化レート変換装置１２０００ではこの要求を満たすことができず、一定時間ネットワークの帯域を越えたストリームを配信することで、画像を乱れさせてしまう可能性がある。

また、ＭＰＥＧ２規格では、ピクチャごとのビット量がバッファモデルとして規定されているため、ピクチャ単位で規格の範囲内になるようにビット量を制御する必要があるが、符号化レート変換装置１２０００はこの制御の実現が困難なため、規格違反のストリームを出力してしまう可能性も存在する。

なお、上記で説明した量子化スケール再変換型の符号化レート変換方式と、量子化マトリクス再変換型の符号化レート変換方式を組み合わせた符号化レート変換方式（統合方式）も存在する（特許文献１参照）。

図９に量子化スケール再変換型と量子化マトリクス再変換型の統合方式（以降、統合方式と記載）の符号化レート変換装置１３０００を示す。

符号化レート変換装置１３０００は、図５の量子化スケール再変換型の符号化レート変換装置１１０００と、図７の量子化マトリクス再変換型の符号化レート変換装置１２０００をそのまま組み合わせた構成となっているため、説明は省略する。

また、統合方式の符号化レート変換装置１３０００におけるレート制御、量子化マトリクス変換、量子化パラメータ変換は、量子化スケール再変換型の符号化レート変換装置１１０００および量子化マトリクス再変換型の符号化レート変換装置１２０００と同等の方法で実施可能なため、説明は省略する。

また、統合方式の符号化レート変換装置１３０００における量子化の具体例を図１０を用いて説明する。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの高周波成分の係数（ε＝２の場合）を２倍に増加したとする。またレート制御や量子化スケール変換の結果、量子化スケールを４から８に、すなわち２倍に増加させることになったとする。

前述した逆量子化の式から、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の係数を１×１／２＝１／２倍に変換し、高周波成分を１／２×１／２＝１／４倍に変換する必要がある。

非０量子化ＤＣＴ係数が７、−３、２、１、４、１、−１、１の合計８個で、うち前半の３個が低周波成分に該当するＩｎｔｅｒＭＢのブロックが変換対象であるとする。この場合、低周波成分の係数は、３．５、−１．５、１を整数化した３、−１、１に変換される。高周波成分の係数は、０．２５、１、０．２５、−０．２５、０．２５を整数化した０、１、０、０、０に変換される。これにより、入力時５０ｂｉｔだった符号量を、２０ｂｉｔに減少させることができる。

上記の統合方式の符号化レート変換装置１３０００においては、量子化スケール再変換型の符号化レート変換装置１１０００と量子化マトリクス再変換型の符号化レート変換装置１２０００の両方の要素を組み合わせた性質を持つことがわかる。また、符号化レート変換装置１３０００は、目標レートからのずれを量子化スケールを変化させることでマクロブロック単位で補正しながら変換することができる。したがって、符号化レート変換装置１３０００は、量子化マトリクス再変換方式で存在した、細かく符号化レートを制御することができないといった課題を解決する。

また、符号化レート変換装置１３０００は、符号量の削減が、量子化スケール変換だけでなく、量子化マトリクス変換によっても可能になる。そのため、量子化マトリクス変換においては、低周波成分の量子化誤差は発生しないので、同一の符号化レートにおいては、量子化スケール変換による低周波成分の量子化誤差の発生規模は低減される。したがって、符号化レート変換装置１３０００は、量子化スケール再変換方式で存在した低周波成分の量子化誤差が大規模に発生するという課題を解決する。

したがって、上記の統合方式の符号化レート変換装置１３０００は、量子化スケール再変換方式と量子化マトリクス再変換方式のそれぞれの欠点を補完した形で、量子化スケールおよび量子化マトリクスを変換することができる。
特開２００１−０７８１９４号公報 特開２００１−２０４０２８号公報 特開２００５−２１０５０２号公報

上記の統合方式の符号化レート変換装置１３０００を用いれば、ＤＣＴ係数の低周波成分の量子化誤差が抑制される。しかしながら、符号化レート変換装置１３０００では、ＤＣＴ係数の高周波成分に量子化誤差が発生した場合、低周波成分には及ばないものの、やはり画面の精細感が低減したり、モスキート状のノイズが発生したりなど、画質劣化の傾向が見られることがある。

一般的に符号化レートと画質はトレードオフの関係にある。そのため、ブロックレベルで見ると、符号化レートの低減と高周波係数の量子化誤差による画質劣化は不可避ではあるが、ピクチャレベルで見ると、必ずしもそれが成り立たない場合がある。

例えば、平坦で低精細の背景に対して、小さい人間の姿が高精細に映っている映像のように、ピクチャ内で精細度が異なるとする。この場合、背景の画像に対応する低精細のＭＢのＤＣＴ係数の低周波成分の量子化誤差より、人間の画像に対応する高精細のＭＢのＤＣＴ係数の高周波成分の量子化誤差を抑えるほうが、全体的な画質劣化を抑制できることがある。

その場合、高精細のＭＢでは、高周波係数も含めて量子化誤差を抑制し、低精細のＭＢでは、上記のＭＢで符号量が削減できなかった分も含めて、符号量を削減するといったように制御するのが望ましい。

しかし、上記の統合方式の符号化レート変換装置１３０００では、高精細のＭＢでは量子化スケールを増加させず、低精細のＭＢでは量子化スケールを大幅に増加させるといった重み付けで量子化スケールの制御を行ったとしても、ピクチャヘッダで量子化マトリクスの高周波成分を増加させている。そのため、符号化レート変換装置１３０００では、量子化スケールを増加させなくても、高周波成分の量子化誤差が発生する。

すなわち、上記の統合方式の符号化レート変換装置１３０００では、全体のＭＢのＤＣＴ係数の低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、精細度の高いＭＢなどの特定のＭＢではＤＣＴ係数の低周波成分だけでなく高周波成分の量子化誤差に起因する画質劣化も抑制可能な符号化レート変換を実現することができない。

また、これまでＭＰＥＧ２に基づいて説明を行ったが、ＤＣＴ変換あるいはそれに順ずる直交変換に基づいた符号化を行う画像コーデックであり、量子化マトリクスをピクチャ単位に指定し、量子化スケールをマクロブロック単位に指定する画像コーデックであれば同様の課題が存在する。上記に該当する画像コーデックとしては、例えば、ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ４、Ｈ．２６４などが存在する。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制可能な符号化レート変換装置等を提供することである。

上述の課題を解決するために、本発明のある局面に従う符号化レート変換装置は、ピクチャを符号化する処理において、量子化マトリクスと量子化スケールの値との乗算により得られる値を使用した量子化の処理が少なくとも行なわれることにより得られるピクチャの符号化データの符号化レートを変換するための装置である。量子化スケールは、ピクチャを復元するための符号化データを構成する複数のマクロブロックの各々に対し値が設定される。量子化マトリクスは、符号化データから得られるピクチャ単位で設定される。符号化レート変換装置は、複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する逆量子化部と、第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する係数である低周波係数の値を変換するための第１変換値と、複数の係数のうち低周波係数以外の係数である高周波係数の値を変換するための値であって、かつ、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを第２量子化マトリクスに変換する量子化マトリクス変換部と、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出し、第２量子化マトリクスが符号化データの符号化レートを小さくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２（０＜β２＜１）倍した変換後スケール値を算出するスケール値算出部と、複数の係数データの少なくとも一部を、第２量子化マトリクスと、該少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化することにより、逆量子化部により逆量子化される前の符号化レートより小さい符号化レートの符号化データを生成する再量子化部とを備える。

本発明の他の局面に従う符号化レート変換方法は、ピクチャを符号化する処理において、量子化マトリクスと量子化スケールの値との乗算により得られる値を使用した量子化の処理が少なくとも行なわれることにより得られるピクチャの符号化データの符号化レートを変換するための方法である。量子化スケールは、ピクチャを復元するための符号化データを構成する複数のマクロブロックの各々に対し値が設定される。量子化マトリクスは、符号化データから得られるピクチャ単位で設定される。符号化レート変換方法は、複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する逆量子化ステップと、第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する係数である低周波係数の値を変換するための第１変換値と、複数の係数のうち低周波係数以外の係数である高周波係数の値を変換するための値であって、かつ、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを第２量子化マトリクスに変換する量子化マトリクス変換ステップと、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出し、第２量子化マトリクスが符号化データの符号化レートを小さくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２（０＜β２＜１）倍した変換後スケール値を算出するスケール値算出ステップと、複数の係数データの少なくとも一部を、第２量子化マトリクスと、該少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化することにより、逆量子化ステップにより逆量子化される前の符号化レートより小さい符号化レートの符号化データを生成する再量子化ステップとを備える。

すなわち、本発明に従う符号化レート変換装置および符号化レート変換方法によれば、符号化データを構成する複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する。第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する低周波係数の値を変換するための第１変換値と、高周波係数の値を変換するための値であって、かつ、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを第２量子化マトリクスに変換する。

第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出する。複数の係数データの少なくとも一部を、第２量子化マトリクスと、少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化する。

ここで、低周波係数の値を変換するための第１変換値と、高周波係数の値を変換するための、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを変換した第２量子化マトリクスは、低周波係数の値が、高周波係数の値より小さいマトリクスであるであるとする。

すなわち、量子化に使用される第２量子化マトリクスは、低周波係数の値が、高周波係数の値より小さいマトリクスであるとする。なお、量子化マトリクスはピクチャ単位で設定される。また、量子化に使用される量子化マトリクスの係数の値は小さいほど、量子化における量子化誤差は小さくなる。

また、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値が量子化に使用される。なお、量子化スケールは、複数のマクロブロックの各々に対し値が設定される。なお、量子化スケールの値は、量子化に使用される前の量子化マトリクスの全ての係数に乗算される。そのため、量子化スケールの値は小さいほど、量子化における量子化誤差は小さくなる。

ここで、量子化に使用される変換後スケール値が、少なくとも１つのマクロブロックに対応する量子化スケールの値を１倍した値であるとする。この場合、量子化に使用される第２量子化マトリクスの全ての係数（低周波成分および高周波成分の係数）は変化しないことになる。

そのため、低周波係数の値が高周波係数の値より小さい第２量子化マトリクスを使用して量子化が行なわれることにより、低周波成分の量子化誤差の発生を抑制することができるとともに、少なくとも１つのマクロブロックにおいて高周波成分の量子化誤差の発生を抑制することができる。すなわち、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

なお、本発明は、符号化レート変換方法で行なわれる処理を、コンピュータに実行させるプログラムとしても実現することもできる。また、本発明は、当該プログラムを格納するコンピュータ読み取り可能な記録媒体、集積回路としても実現することができる。

本発明によれば、符号化データを構成する複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する。第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する低周波係数の値が、高周波係数の値より小さくなるように、第１量子化マトリクスを第２量子化マトリクスに変換する。第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出する。複数の係数データの少なくとも一部を、第２量子化マトリクスと、少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化する。

すなわち、量子化に使用される第２量子化マトリクスは、所定周波数より低い周波数に対応する低周波係数の値が、高周波係数の値より小さいマトリクスである。また、量子化に使用される量子化マトリクスの係数の値は小さいほど、量子化における量子化誤差は小さくなる。

また、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値が量子化に使用される。なお、量子化スケールの値は、量子化マトリクスの全ての係数に乗算される。そのため、量子化スケールの値は小さいほど、量子化における量子化誤差は小さくなる。

ここで、量子化に使用される変換後スケール値が、少なくとも１つのマクロブロックに対応する量子化スケールの値を１倍した値であるとする。この場合、量子化に使用される第２量子化マトリクスの全ての係数（低周波成分および高周波成分の係数）は変化しないことになる。

そのため、低周波係数の値が高周波係数の値より小さい第２量子化マトリクスを使用して量子化が行なわれることにより、低周波成分の量子化誤差の発生を抑制することができるとともに、少なくとも１つのマクロブロックにおいて高周波成分の量子化誤差の発生を抑制することができる。すなわち、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

図１は、ＭＰＥＧ２の量子化スケールと量子化パラメータの対応を示す図である。 図２Ａは、ＭＰＥＧ２のＤＣＴ係数の符号化順（スキャン順）を示す図である。 図２Ｂは、ＭＰＥＧ２のＤＣＴ係数の符号化順（スキャン順）を示す図である。 図３は、ＭＰＥＧ２の復号化装置の一例の構成を示すブロック図である。 図４は、ＭＰＥＧ２の符号化装置の一例の構成を示すブロック図である。 図５は、従来の量子化スケール再変換型の符号化レート変換装置の一例の構成を示すブロック図である。 図６は、従来の量子化スケール再変換型の符号化レート変換装置でのＭＢの変換の一例を示す図である。 図７は、従来の量子化マトリクス再変換型の符号化レート変換装置の一例の構成を示すブロック図である。 図８は、従来の量子化マトリクス再変換型の符号化レート変換装置でのＭＢの変換の一例を示す図である。 図９は、従来の量子化スケール再変換型と量子化マトリクス再変換型を統合した符号化レート変換装置の一例の構成を示すブロック図である。 図１０は、従来の量子化スケール再変換型と量子化マトリクス再変換型を統合した符号化レート変換装置でのＭＢの変換の一例を示す図である。 図１１は、本発明の実施の形態１における符号化レート変換装置の構成を示すブロック図である。 図１２は、符号化レート変換処理のフローチャートである。 図１３は、ピクチャ処理のフローチャートである。 図１４は、ＭＢ処理のフローチャートである。 図１５は、量子化スケール変換処理のフローチャートである。 図１６Ａは、量子化スケールの値の変換例を説明するための図である。 図１６Ｂは、量子化スケールの値の変換例を説明するための図である。 図１７は、本発明の実施の形態１の符号化レート変換装置での通常ＭＢの変換の一例を示す図である。 図１８は、本発明の実施の形態１の符号化レート変換装置での重要ＭＢの変換の一例を示す図である。 図１９Ａは、本発明の実施の形態１の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図１９Ｂは、本発明の実施の形態１の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２０Ａは、変換前の量子化マトリクスを示す図である。 図２０Ｂは、実施の形態１の処理により変換された後の量子化マトリクスを示す図である。 図２０Ｃは、量子化マトリクスに対して使用される数値および処理を示す図である。 図２１は、実施の形態２における符号化レート変換装置１０００Ａの構成を示すブロック図である。 図２２は、本発明の実施の形態２の符号化レート変換装置での量子化スケール変換の一例を示す図である。 図２３は、本発明の実施の形態２の符号化レート変換装置での重要ＭＢの変換の一例を示す図である。 図２４Ａは、本発明の実施の形態２の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２４Ｂは、本発明の実施の形態２の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２５Ａは、変換前の量子化マトリクスを示す図である。 図２５Ｂは、実施の形態２の処理により変換された後の量子化マトリクスを示す図である。 図２５Ｃは、量子化マトリクスに対して使用される数値および処理を示す図である。 図２６は、実施の形態３における符号化レート変換装置１０００Ｂの構成を示すブロック図である。 図２７は、量子化マトリクスの変換方法を判定するための判定テーブルを示す図である。 図２８Ａは、実施の形態４の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２８Ｂは、実施の形態４の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２９Ａは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図２９Ｂは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図２９Ｃは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図２９Ｄは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図３０は、本発明の実施の形態５のストリーム受信記録装置の一例の構成を示すブロック図である。 図３１は、本発明の実施の形態６のネットワーク配信システムの一例の構成を示すブロック図である。

符号の説明

１０１ 可変長復号部
１０２ 可変長符号部
１０３ レート制御部
１０４ 量子化スケール増加変換部
１０４Ａ 量子化スケール増加・削減変換部
１０５ ＭＢヘッダ格納部
１０６ 逆量子化部
１０７ 量子化部
１０８ 量子化マトリクス低域削減変換部
１０８Ａ 量子化マトリクス高域増加変換部
１０９ ピクチャヘッダ格納部
１１０，１１０Ａ，１１０Ｂ 量子化マトリクス変換制御部
１０００，１０００Ａ，１０００Ｂ 符号化レート変換装置
２００８ 放送ストリーム受信記録装置
２００１，２１０１ 符号化レート変換部
２１１０ ストリーム送信装置
２１１１ ストリーム受信装置
５０００ ネットワーク配信システム

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

（実施の形態１）
以下、本発明の実施の形態について、図面を参照しながら説明する。

図１１は、本発明の実施の形態１における符号化レート変換装置１０００の構成を示すブロック図である。

符号化レート変換装置１０００は、可変長復号部１０１と、可変長符号部１０２と、レート制御部１０３と、量子化スケール増加変換部１０４と、ＭＢヘッダ格納部１０５と、量子化マトリクス低域削減変換部１０８と、ピクチャヘッダ格納部１０９と、量子化マトリクス変換制御部１１０とを備える。

可変長復号部１０１には、複数のピクチャを復元するためのストリームが入力される。以下においては、可変長復号部１０１に入力されるストリームを入力ストリームという。入力ストリームは、ピクチャの符号化により得られる符号化データである。可変長復号部１０１は、入力ストリームとしてのＭＰＥＧ２ストリームを復号し、復号により得られた量子化マトリクスを含むシーケンスヘッダやピクチャヘッダをピクチャヘッダ格納部１０９に通知する。また、可変長復号部１０１は、シーケンスヘッダの通知と同時に、量子化マトリクスを量子化マトリクス低域削減変換部１０８に通知する。

また、可変長復号部１０１は、ＭＢヘッダ部のパラメータをＭＢヘッダ格納部１０５に通知する。また、可変長復号部１０１は、パラメータの通知と同時に、ＭＢヘッダ部が示す量子化スケールコード（量子化パラメータ）を量子化スケールに変換し、得られた量子化スケールを量子化スケール増加変換部１０４および量子化マトリクス変換制御部１１０に通知する。また、可変長復号部１０１は、ＭＢブロック部の量子化ＤＣＴ係数などのパラメータを逆量子化部１０６に通知する。

逆量子化部１０６は、通知されたパラメータが示す、入力ストリームの量子化マトリクスおよび量子化スケールに基づき、ＭＢのブロック部の量子化ＤＣＴ係数の逆量子化を行って、ＤＣＴ係数を算出し、算出したＤＣＴ係数を量子化部１０７に通知する。

レート制御部１０３は、先頭のピクチャを処理する際において、ピクチャ構成（Ｉ，Ｐ，Ｂピクチャ）や符号化レートなどの情報から当該ピクチャの目標符号量を決定し、決定した目標符号量を量子化マトリクス変換制御部１１０に通知する。また、レート制御部１０３は、マクロブロックごとに、目標量子化スケールを算出し、算出した目標量子化スケールを量子化マトリクス変換制御部１１０に通知する。

量子化マトリクス変換制御部１１０は、先頭のピクチャを処理する際において、当該ピクチャの目標符号量などに基づいて量子化マトリクスの変換制御情報を算出する。そして、量子化マトリクス変換制御部１１０は、算出した変換制御情報を、量子化マトリクス低域削減変換部１０８に通知する。また、量子化マトリクス変換制御部１１０は、マクロブロックごとに、量子化マトリクスの制御情報に基づいて、目標量子化スケールを補正して、補正した目標量子化スケールを量子化スケール増加変換部１０４に通知する。

量子化マトリクス低域削減変換部１０８は、量子化マトリクスの変換制御情報に基づいて、入力ストリームの量子化マトリクスの低周波成分の係数を削減方向に変換する。そして、量子化マトリクス低域削減変換部１０８は、変換後の量子化マトリクスを量子化部１０７およびピクチャヘッダ格納部１０９に同時に通知する。

量子化スケール増加変換部１０４は、目標量子化スケールを基準として、当該ＭＢの重要性を評価して、入力ストリームの量子化スケールを増加方向に変換することにより、出力ストリームの量子化スケールを算出する。そして、量子化スケール増加変換部１０４は、算出した量子化スケールを、量子化部１０７およびＭＢヘッダ格納部１０５に同時に通知する。

ピクチャヘッダ格納部１０９は、可変長復号部１０１から通知されたシーケンスヘッダやピクチャヘッダを、内部のバッファ（図示せず）に格納し、量子化マトリクス低域削減変換部１０８の要求により内部のバッファ内のデータを書き換える。そして、ピクチャヘッダ格納部１０９は、バッファに格納されているシーケンスヘッダやピクチャヘッダを可変長符号部１０２に通知する。

ＭＢヘッダ格納部１０５は、可変長復号部１０１から通知されたＭＢヘッダを、内部のバッファ（図示せず）に格納し、量子化スケール増加変換部１０４の要求により、量子化スケールを量子化スケールコードに変換し、バッファ内のデータを新しい値に書き換える。そして、ＭＢヘッダ格納部１０５は、内部のバッファに格納されているＭＢヘッダを可変長符号部１０２に通知する。

量子化部１０７は、逆量子化部１０６が行なう逆量子化により算出されたＤＣＴ係数を、量子化マトリクス低域削減変換部１０８によって算出された量子化マトリクスと、量子化スケール増加変換部１０４によって算出された量子化スケールとに従って、再量子化を行なう。そして、量子化部１０７は、再量子化により得られた量子化ＤＣＴ係数を、量子化部１０７の内部の係数バッファ（図示せず）に格納する。さらに、量子化部１０７は、得られた量子化ＤＣＴ係数を可変長符号部１０２に通知する。

可変長符号部１０２は、ピクチャヘッダ格納部１０９から通知された量子化マトリクスを含むシーケンスヘッダやピクチャヘッダを符号化する。また、可変長符号部１０２は、ＭＢヘッダ格納部１０５から通知されたＭＢヘッダ部が示す情報を符号化する。また、可変長符号部１０２は、量子化部１０７から得たＭＢのブロック部の量子化ＤＣＴ係数を符号化する。そして、可変長符号部１０２は、上記の符号化により得られたデータからＭＰＥＧ２ストリーム（以下、出力ストリームという）を構成する。

次に、本発明の実施の形態１の符号化レート変換装置１０００が行なう処理（以下、符号化レート変換処理という）について説明する。なお、本発明の符号化レート変換処理は、入力ストリームとしての符号化データの符号化レートを小さくするための処理である。すなわち、符号化レート変換処理が行なわれることにより、処理後の符号化データの符号化レートは、符号化レート変換処理が行なわれる前の符号化データの符号化レートより小さくなる。

図１２は、符号化レート変換処理のフローチャートである。

まず、必要に応じて、レート制御部１０３の設定が行なわれ、符号化レート変換処理においてレート制御部１０３が目標ビットを算出可能な状態にされる（Ｓ３０１）。次に、可変長復号部１０１は、入力ストリーム中に量子化マトリクスが符号化されていなかった場合に備え、ストリームのシーケンスヘッダの復号前に、ＭＰＥＧ２で規定されたデフォルトの量子化マトリクスを、量子化マトリクス低域削減変換部１０８が使用する量子化マトリクスに設定する（Ｓ３０２）。

次に、可変長復号部１０１は、入力ストリームを復号することにより得られたシーケンスヘッダを、ピクチャヘッダ格納部１０９の内部のバッファ（図示せず）に格納する（Ｓ３０３）。

可変長復号部１０１は、復号により得られたシーケンスヘッダの中に量子化マトリクスが含まれている場合（Ｓ３０４でＹＥＳ）、その量子化マトリクスを量子化マトリクス低域削減変換部１０８が使用する量子化マトリクスに設定する（Ｓ３０５）。この場合、ステップＳ３０２で設定されていたデフォルトの量子化マトリクスがシーケンスヘッダの中の量子化マトリクスにより上書きされる。

また、シーケンスヘッダの中に量子化マトリクスが含まれない場合（Ｓ３０４でＮＯ）、ステップＳ３０２で設定されていたデフォルトの量子化マトリクスがそのまま使用されることになる。

次に、可変長符号部１０２が、ピクチャヘッダ格納部１０９に格納されたシーケンスヘッダの情報を符号化する（Ｓ３０６）。次に、ピクチャ処理が行なわれる（Ｓ３０７）。ピクチャ処理は、ピクチャ単位の処理である。ピクチャ処理は、ストリームにおける次のシーケンスヘッダが到達する（Ｓ３０８でＹＥＳ）まで繰り返し行なわれる（Ｓ３０８でＮＯ）。

図１３は、ピクチャ処理のフローチャートである。

まず、必要に応じて、レート制御部１０３の設定が行なわれ、ピクチャ処理において処理対象のピクチャにおける目標ビットが算出される（Ｓ４０１）。

次に、可変長復号部１０１は、入力ストリームを復号することにより得られたピクチャヘッダを、ピクチャヘッダ格納部１０９の内部のバッファ（図示せず）に格納する（Ｓ４０２）。

可変長復号部１０１は、復号により得られたピクチャヘッダの中に量子化マトリクスが含まれている場合（Ｓ４０３でＹＥＳ）、その量子化マトリクスを量子化マトリクス低域削減変換部１０８が使用する量子化マトリクスに設定する（Ｓ４０４）。復号により得られたピクチャヘッダに量子化マトリクスが含まれていない場合（Ｓ４０３でＮＯ）、符号化レート変換処理により設定された量子化マトリクスがそのまま量子化マトリクス低域削減変換部１０８により利用される。

次に、量子化マトリクス変換制御部１１０は、レート制御部１０３から得られた目標符号量などに基づき、処理対象のピクチャに量子化マトリクス変換を適用するか否かを判定する（Ｓ４０５）。

量子化マトリクス変換を適用する場合（Ｓ４０６でＹＥＳ）、量子化マトリクス変換制御部１１０は、レート制御部１０３から得られた目標符号量などに基づき、量子化マトリクスの変換制御情報を求める（Ｓ４０７）。詳細は後述するが、量子化マトリクス低域削減変換部１０８は、量子化マトリクスの変換制御情報に基づいて、ステップＳ３０２，Ｓ３０５，Ｓ４０４のいずれかの処理で設定された量子化マトリクスの低周波成分の係数を減少方向または増加方向に変換する（Ｓ４０８）。

次に、量子化マトリクス低域削減変換部１０８は、変換後の量子化マトリクスをピクチャヘッダ格納部１０９に格納する。また、可変長符号部１０２は、ピクチャヘッダ格納部１０９に格納されたピクチャヘッダの符号化を行う（Ｓ４０９）。

次に、ＭＢ処理が行なわれる（Ｓ４１０）。ＭＢ処理は、マクロブロック単位の処理である。処理対象のピクチャに対応するマクロブロックの数はピクチャヘッダが示す情報により算出できる。ＭＢ処理は、処理対象のピクチャに対応する全てのマクロブロックに対して行なわれる。全てのマクロブロックに対してＭＢ処理が行なわれた場合（Ｓ４１１でＹＥＳ）、このピクチャ処理は終了し、図１２の符号化レート変換処理に戻り、ステップＳ３０８の処理が再度行なわれる。

図１４は、ＭＢ処理のフローチャートである。

まず、レート制御部１０３は、ステップＳ４０１で算出された処理対象のピクチャにおける目標ビットや処理対象のピクチャの変換実績値から、レート制御の基準とする仮想バッファの状態を更新し、処理対象のマクロブロックの目標量子化スケールを算出する（Ｓ５０１）。

次に、量子化マトリクス変換制御部１１０は、ステップＳ４０７で求めた量子化マトリクス変換制御情報に基づいて、目標量子化スケールを補正する（Ｓ５０２）。また、量子化マトリクス変換制御部１１０は、補正後の目標量子化スケールの値を、量子化スケール増加変換部１０４に通知する。

次に、可変長復号部１０１は、入力ストリームを復号することにより得られた、処理対象のＭＢのＭＢヘッダ部が示す情報を、ＭＢヘッダ格納部１０５の内部のバッファ（図示せず）に格納する（Ｓ５０３）。また、可変長復号部１０１は、上記復号により得られた処理対象のＭＢのＭＢヘッダ部が示す情報を、量子化マトリクス変換制御部１１０へ通知する。処理対象のＭＢのＭＢヘッダ部が示す情報は、対応するＭＢの量子化スケールコードを示す。

次に、量子化スケール変換処理が行なわれる（Ｓ５０４）。

図１５は、量子化スケール変換処理のフローチャートである。

まず、量子化マトリクス変換制御部１１０が、重要ＭＢがあるか否かを判定する（Ｓ６０１）。重要ＭＢは、一例として、復号されることにより所定の精細度より精細度の高い画像を示すマクロブロックであるとする。すなわち、重要ＭＢは、当該重要ＭＢが復号されることにより得られる画像（以下、復号ブロック画像という）が、たとえば、高精細な画像を示すＭＢである。すなわち、重要ＭＢは、当該重要ＭＢが復号されることにより得られる復号ブロック画像が、所定周波数よりも高い周波数成分の画像を示すＭＢである。

この場合、重要ＭＢは、一例として、ＭＢのＭＢブロック部のデータ量と、当該ＭＢのＭＢヘッダ部が示す量子化スケールコードの変換により得られる量子化スケールの値との乗算により得られる値が、所定値より大きい値を示すＭＢであるとする。以下においては、重要ＭＢ以外のＭＢを、通常ＭＢという。

量子化マトリクス変換制御部１１０は、処理対象のＭＢが重要ＭＢである場合、重要ＭＢがあると判定する（Ｓ６０１でＹＥＳ）。また、量子化マトリクス変換制御部１１０は、処理対象のＭＢが重要ＭＢである場合、処理対象のＭＢが重要ＭＢである旨を、量子化スケール増加変換部１０４に通知する。一方、量子化マトリクス変換制御部１１０は、処理対象のＭＢが通常ＭＢである場合、重要ＭＢがないと判定する（Ｓ６０１でＮＯ）。

詳細は後述するが、重要ＭＢがあると判定されると、量子化スケール増加変換部１０４は、通知された目標量子化スケールの値に、ある値（たとえば、１以下の値）を乗算することにより、量子化スケールの値を算出する（Ｓ６０２）。そして、この量子化スケール変換処理は終了し、図１４のＭＢ処理に戻り、ステップＳ５０５の処理が行なわれる。

ステップＳ５０５では、量子化スケール増加変換部１０４が、重要ＭＢがあると判定された場合、算出した量子化スケールの値を量子化スケールコードに変換する。そして、量子化スケール増加変換部１０４は、ＭＢヘッダ格納部１０５に格納した処理対象のＭＢのＭＢヘッダ部が示す量子化スケールコードを、変換した量子化スケールコードに置き換える。

また、ステップＳ５０５では、量子化スケール増加変換部１０４が、重要ＭＢがないと判定された場合、通知された目標量子化スケールの値を量子化スケールコードに変換する。そして、量子化スケール増加変換部１０４は、ＭＢヘッダ格納部１０５に格納した処理対象のＭＢのＭＢヘッダ部が示す量子化スケールコードを、変換した量子化スケールコードに置き換える。

以上で、ＭＢヘッダ部が示す情報の更新処理は一旦終了し、量子化ＤＣＴ係数の変換の処理に移行する。

まずは、符号化されている複数のＭＢのうち、まだ復号されていないＭＢがあるか否かが判定される（Ｓ５０６）。すなわち、処理対象のＭＢに対応するピクチャに対応する全てのＭＢが復号されてないか否かが判定される。復号されていないＭＢがあれば（Ｓ５０６でＹＥＳ）、可変長復号部１０１は、符号化されている処理対象のＭＢが示す複数の量子化ＤＣＴ係数を所定の順序でステップＳ５０７の処理毎に１つずつ復号する（Ｓ５０７）。

ＭＰＥＧ２ではＩｎｔｒａＭＢのＤＣ係数は、量子化スケールとは独立に量子化される。そのため、本実施の形態ではＤＣ係数は変換の対象外とする。処理対象の量子化ＤＣＴ係数がＩｎｔｒａＭＢのＤＣ係数でない場合、あるいはブロック終端ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｌｏｃｋ）に到達していなければ（Ｓ５０８でＮＯ）、逆量子化部１０６は、復号された処理対象の量子化ＤＣＴ係数を、一旦、入力ストリームが示す処理対象のＭＢに対応する量子化マトリクスおよび量子化スケールを使用して逆量子化する。

そして、量子化部１０７は、逆量子化により算出されたＤＣＴ係数を、Ｓ４０８で算出した量子化マトリクスと、ステップＳ６０２で算出された量子化スケールの値または目標量子化スケールの値とを使用して、再度、量子化する。これにより、量子化部１０７は、量子化ＤＣＴ係数を得る。これにより変換は完了する（Ｓ５０９）。

量子化部１０７は、得られた量子化ＤＣＴ係数を、量子化部１０７の内部の係数バッファ（図示せず）に格納する（Ｓ５１０）。上記処理をブロック終端ＥＯＢに到達するまで繰り返せば、１つの処理対象のＭＢの復号化が完了する（Ｓ５１１）。

さらに、すべての符号化されたＭＢに対して、復号化が完了すれば（Ｓ５０６でＮＯ）、ＭＢ情報の復号化はすべて完了になる。

最後に、可変長符号部１０２が、ＭＢヘッダ格納部１０５に格納される全てのマクロブロックヘッダを符号化する（Ｓ５１２）。また、可変長符号部１０２が、量子化部１０７の内部の係数バッファ（図示せず）に格納される全ての量子化ＤＣＴ係数を符号化する（Ｓ５１３）。以上の処理により、ＭＢ処理は終了する。そして、図１３のピクチャ処理に戻り、再度、ステップＳ４１１の処理が行なわれる。

以上説明した、図１２の符号化レート変換処理、図１３のピクチャ処理、図１４のＭＢ処理、図１５の量子化スケール変換処理が行なわれることにより、符号化データの復号処理、逆量子化処理、量子化処理、符号化処理が行なわれる。これらの処理により、入力ストリームから出力ストリーム（符号化データ）が生成される。生成された、出力ストリームとしての符号化データの符号化レートは、入力ストリームとしての符号化データの符号化レートより小さい。

次に、本発明の実施の形態１の符号化レート変換装置１０００におけるレート制御の具体的な動作を説明する。入力ストリームに含まれる先頭のピクチャを処理する際において、まず当該ピクチャの目標符号量Ｔ（ｉ）が配分される。目標符号量Ｔ（ｉ）については、前述したＴＭ５のステップ１に基づけば算出可能であるので、詳細な説明は省略する。さらにマクロブロックごとには、目標量子化スケールを算出する必要がある。目標量子化スケールもＴＭ５のステップ２に基づけば算出可能であるので、詳細な説明は省略する。

なお、ここではレート制御方式としてＴＭ５を挙げているが、その他のレート制御方式であってもよい。本発明は特定のレート制御方式に依存するものではない。

次に、本発明の実施の形態１の符号化レート変換装置１０００が行なう図１３のステップＳ４０８の量子化マトリクス変換の具体的な処理を説明する。

ここで、ｉ番目のピクチャと、当該ｉ番目のピクチャの一つ前のピクチャ（以下、評価対象ピクチャという）とが存在するとする。この場合、評価対象ピクチャは、ｉ−１番目のピクチャとなる。ここで、評価対象ピクチャは、ｉ番目のピクチャよりも前に表示対象となるピクチャであるとする。また、ｉ番目のピクチャおよび評価対象ピクチャは、同一の種類のピクチャであるとする。

また、低周波成分の量子化マトリクス変換率がα（ｉ−１）倍（α（ｉ−１）＜１）、量子化スケール変換率の平均値がβ（ｉ−１）倍であったとする。ここで、量子化マトリクス変換率は、量子化マトリクスの係数を変換するための値である。また、量子化スケール変換率は、量子化スケールの値を変換するための値である。この場合、量子化ＤＣＴ係数変換率γ（ｉ−１）（低周波成分の平均）は、γ（ｉ−１）＝α（ｉ−１）×β（ｉ−１）の式により算出することができる。

上記式において、ＤＣＴ係数の低周波成分の量子化誤差が最小になるのはγ＝１のときであり、さらに、γが１より大きくても、ある程度小さい値（ここではγｍａｘとする）であれば、低周波成分の画像の画質劣化が許容範囲と考えられる。量子化誤差が許容範囲を超えることが想定される場合、許容範囲内に収まるような制御が必要である。また、γが１より小さいと、低周波成分の画像の画質劣化は発生しないが、符号量が増加するため、γが１以上になるような制御が必要になる。

ｉ番目のピクチャに最も近い位置の評価対象ピクチャ（ｉ−１番目のピクチャ）が、ｉ番目のピクチャと同一の傾向の量子化スケールを持つ（β（ｉ）＝β（ｉ−１））と仮定する。この場合、ｉ番目のピクチャの量子化マトリクス変換率α（ｉ）は、以下の式により算出することができる。

α（ｉ）＝
１ ×α（ｉ−１）／γ（ｉ−１） （γ（ｉ−１）＜１の場合）
α（ｉ−１） （１≦γ（ｉ−１）≦γｍａｘの場合）
γｍａｘ×α（ｉ−１）／γ（ｉ−１） （γｍａｘ＜γ（ｉ−１）の場合）

次に、その量子化マトリクス変換率α（ｉ）に従って、入力ストリームの量子化マトリクスを以下の式（以下、マトリクス変換式Ａという）で変換して、出力ストリームの量子化マトリクスＷｏ（ｕ，ｖ）を算出する。

Ｗｏ（ｕ，ｖ）＝α（ｉ）×Ｗｉ（ｕ，ｖ） （ｕ＋ｖ≦εの場合（低周波成分））
＝Ｗｉ（ｕ，ｖ） （ｕ＋ｖ＞εの場合（高周波成分））

ここで、Ｗｉ（ｕ，ｖ）は、入力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数（ｕ＝０〜７、ｖ＝０〜７）を示す定数である。Ｗｏ（ｕ，ｖ）は、出力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数を示す定数である。また、Ｗｏ（ｕ，ｖ）は、ｖ＋１行ｕ＋１列で特定される係数を示す。たとえば、ｕ＝２，ｖ＝５の場合、Ｗｏ（ｕ，ｖ）は、６行３列で特定される係数を示す。εは誤差を抑制する周波数の閾値（基準周波数）を示す定数である。

なお、ここでは、量子化スケールの実績値として、同一種類のピクチャで最も近い位置のピクチャ（評価対象ピクチャ）を選択しているが、これに限定されることはない。例えば、ｉ番目のピクチャの種類によらずに評価対象ピクチャを選択してもよい。

また、ｉ番目のピクチャに最も近い位置でないピクチャを選択してもよい。また、単一のピクチャではなく、ｉ番目のピクチャの前の複数のピクチャを選択してもよい。また、ｉ番目のピクチャの前のピクチャの量子化スケールではなく、ｉ番目のピクチャの量子化スケールを先読みして算出した量子化スケールを利用してもよいし、その他の方法で、量子化スケールを予測してもよい。

なお、ここでは、量子化マトリクス変換率の算出において、量子化スケール変換率の平均値を使用している。しかしながら、これに限定されることなく、使用される値は、量子化スケール変換率の最小値など、量子化スケールに関するその他の実績値であってもよいし、一定値などであってもよい。また、量子化マトリクス変換率の算出方法は、量子化スケールとは無関係の算出方法であってもよい。

次に、本発明の実施の形態１の符号化レート変換装置１０００が行なう、量子化スケール変換（図１５の量子化スケール変換処理）の具体的な処理を説明する。

レート制御で得られた目標量子化スケールは、ＴＭ５のステップ２に基づくものであり、量子化マトリクスと無関係に決定する。そのため、本装置のように、量子化マトリクスを変換する符号化レート変換装置１０００においては、使用される量子化スケールの値が、最適な量子化スケールの値でない可能性がある。そこで、上記の量子化マトリクス変換率などを用いて、目標量子化スケールの値を補正してもよい。

例えば、低周波成分の量子化マトリクス変換率αが１より小さい場合、量子化マトリクスを変換しない場合と比較して、符号化データの符号量は増大する方向である。そのため、レート制御で求めた量子化スケールの値をそのまま使用すると、符号化データの符号量が十分に低減できない可能性もある。この場合、符号化データの符号量を低減できるようにするために、目標量子化スケールの値がやや大きめになるように補正してもよい。

例えば、レート制御で得られた目標量子化スケールｍｑ（ｊ）を補正して、
ｍｑ’（ｊ）＝ｍｑ（ｊ）×（１／α）
として算出してもよい。

なお、ここでは、１／αを乗算することにより目標量子化スケールの補正を行っているが、１／αでなくても１より大きい値であれば、符号化データの符号量を低減方向に補正することができる。また、その他の式で目標量子化スケールの補正を行ってもよいし、補正は行わなくてもよい。

次に、実際に当該マクロブロックの量子化スケールを算出する。

出力ストリームの量子化スケールｑｏ（ｊ）は、これは従来技術としての特許文献２の特開２００１−２０４０２８号公報に開示された技術で導出可能であり、詳細な説明は省略する。

ｑｏ（ｊ）＝
ｑｉ（ｊ） （ｍｑ（ｊ）＜１．５×ｑｉ（ｊ）の場合）
２×ｑｉ（ｊ） （１．５×ｑｉ（ｊ）≦ｍｑ（ｊ）＜２×ｑｉ（ｊ）の場合）
ｍｑ（ｊ） （２ ×ｑｉ（ｊ）＜ｍｑ（ｊ）の場合）

ここで、ｑｉ（ｊ）は入力ストリームの量子化スケールである。また、ｍｑ（ｊ）は目標量子化スケールである。

なお、ここでは、量子化スケールｑｏ（ｊ）を上式で導出しているが、その他の式で導出してもよい。

前述の通り、量子化ＤＣＴ係数変換率（低周波成分）γ＝量子化マトリクス変換率（低周波成分）α×量子化スケール変換率β（β＝ｑｏ（ｊ）／ｑｉ（ｊ））が１未満の場合、ＤＣＴ係数の低周波成分の量子化誤差が増えることはないが、符号化データの符号量の増加を伴う。

符号化レート変換は、符号化データの符号化レートの低減が目的であるため、一部のＭＢであっても符号量の増加を伴う変換は変換効率が悪い。そのため、符号量の増加を伴わない範囲に限定して、出力ストリームの量子化スケールを制御する方法をとってもよい。

その場合の量子化スケールｑｏ’（ｊ）は以下の式で算出できる。

ｑｏ’（ｊ）＝
１／α×ｑｉ（ｊ） （ｍｑ（ｊ）＜１．５×ｑｉ（ｊ）の場合）
ｍａｘ｛１／α，２｝×ｑｉ（ｊ）｝ （１．５×ｑｉ（ｊ）≦ｍｑ（ｊ）＜２×ｑｉ（ｊ）の場合）
ｍａｘ｛１／α×ｑｉ（ｊ），ｍｑ（ｊ）｝ （２ ×ｑｉ（ｊ）＜ｍｑ（ｊ）の場合）
上記式により算出される量子化スケールｑｏ’（ｊ）を用いれば、ＤＣＴ係数の低周波成分の量子化誤差を抑えた変換を行うことが可能である。

なお、ここでは、１／αを乗算することにより、符号化データの符号量の増加を抑えているが、必ずしも１／αと等しくなくても、１／αより大きい値であれば、符号化データの符号量の増加を伴わずに変換することができる。

しかし、前述した重要ＭＢでは、ＤＣＴ係数の低周波成分だけでなく、高周波成分の量子化誤差も抑えたほうが全体的な画質劣化を抑制できることが分かっている。そのため、重要ＭＢにおいては、全周波数領域の量子化誤差を抑制可能な量子化スケールを設定できることが望ましい。

前述したように、重要ＭＢは、一例として、復号されることにより所定の精細度より精細度の高い画像を示すマクロブロックである。この場合、重要ＭＢは、一例として、ＭＢのＭＢブロック部のデータ量と、当該ＭＢのＭＢヘッダ部が示す量子化スケールコードの変換により得られる量子化スケールの値との乗算により得られる値が、所定値より大きい値を示すＭＢであるとする。

また、重要ＭＢに対応する量子化スケールｑｏ”（ｊ）は以下の式で算出できる。

ｑｏ”（ｊ）＝ｑｉ（ｊ）

重要ＭＢで上記の量子化スケールｑｏ”（ｊ）を用いれば、すべての周波数領域の量子化誤差を抑えた変換を行うことができる。

それ以外のＭＢ（通常ＭＢ）であれば、量子化スケールに上記ｑｏ’（ｊ）を用いればよい。

なお、重要ＭＢは、前述した演算（ＭＢブロック部のデータ量×量子化スケールの値）以外の演算を使用して決定してもよい。

次に、量子化スケールの値の変換例を説明する。

図１６Ａおよび図１６Ｂは、量子化スケールの値の変換例を説明するための図である。図１６Ａは、量子化スケールの値の一例を示す図である。図１６Ａに示される複数の数字は、ピクチャの符号化データを構成する複数のＭＢの各々に対して設定された量子化スケールの値を示す。

図１６Ａに示されるように、符号化データを復号することにより得られるピクチャの上部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は“４”であるとする。また、符号化データから得られるピクチャの中央部および下部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は“８”であるとする。

ここで、目標符号化レートに基づきレート制御時における量子化スケールの平均値が“８”であったとする。この場合、量子化スケールの平均値に基づいて、量子化スケールの値を変換するならば、ピクチャの上部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は、“４”から“８”に変換され、それ以外のＭＢに対して設定される量子化スケールの値は、“８”のまま保持されることになる。

しかしながら、量子化マトリクス変換の符号化効率を考慮して策定された、前述の量子化スケールｑｏ’（ｊ）の式を適用すると、量子化マトリクス変換率α＝１／２の場合、符号化データの符号化レートを維持または低減させるためには、量子化スケール変換率β≧２とする必要がある。そのため、図１６Ｂに示されるように、ピクチャの中央部および下部に対応する複数のＭＢの各々に対して設定される量子化スケールの値は“８”から“１６”に変換される。

ただし、ピクチャの中央部および下部に対応する複数のＭＢのうち、前述した重要ＭＢに対して設定される量子化スケール変換率βは“１”となり、量子化スケールの値は“８”のまま保持される。

なお、図１６Ｂに示されるように、ピクチャの上部に対応する複数のＭＢの各々に対して設定される量子化スケールの値は“４”から“８”に変換される。

本発明の実施の形態１の符号化レート変換装置１０００の量子化部１０７が行なう通常ＭＢの量子化の具体的な処理を図１７を用いて説明する。通常ＭＢの量子化の具体的な処理は、図１４のステップＳ５０９で行なわれる。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの低周波成分の係数（ε＝２の場合）を１／２倍にすることになったとする。すなわち、低周波成分の量子化マトリクス変換率αは“１／２”であるとする。また、高周波成分の量子化マトリクス変換率αは“１”であるとする。また、レート制御や量子化スケール変換の結果、量子化スケールの値を“４”から“８”に、すなわち２倍に増加させることになったとする。すなわち、量子化スケール変換率βは“２”であるとする。この場合の量子化スケールの値“８”は前述した目標量子化スケールの値であるとする。

ここで、前述したマトリクス変換式Ａにおいて、ε＝２とする。この場合、量子化マトリクスの低周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数となる。また、量子化マトリクスの高周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数以外の係数となる。

図１７に示される２つの量子化マトリクスのうち、左側の量子化マトリクスは、変換が行なわれる前の量子化マトリクス（以下、変換前量子化マトリクスという）である。また、図１７に示される２つの量子化マトリクスのうち、右側の量子化マトリクスは、変換後の量子化マトリクス（以下、変換済量子化マトリクスという）である。

図１７の変換済量子化マトリクスは、図１３のステップＳ４０８の処理において、量子化マトリクス低域削減変換部１０８が、変換前量子化マトリクスを、低周波成分の量子化マトリクス変換率α“１／２”を使用して変換したマトリクスである。

図１７の変換済量子化マトリクスは、高周波成分の係数の値がそのままで、低周波成分の係数の値は小さくなっている（１／２倍）。そのため、図１７の変換済量子化マトリクスを使用して量子化が行なわれると、符号化データの符号量（符号化レート）が大きくなる。すなわち、図１７の変換済量子化マトリクスは、符号化データの符号量（符号化レート）を大きくするためのマトリクスである。

また、図１７に示される量子化ＤＣＴ係数を示す２つのマトリクスのうち、左側のマトリクスは、量子化が行なわれる前のマトリクス（以下、再量子化前マトリクスという）である。すなわち、図１７に示される再量子化前マトリクスは、逆量子化部１０６により逆量子化の処理が行なわれることにより得られるマトリクスである。また、図１７に示される量子化ＤＣＴ係数を示す２つのマトリクスのうち、右側のマトリクスは、再量子化が行なわれることにより得られるマトリクス（以下、再量子化済マトリクスという）である。

図１７に示される再量子化済マトリクスは、図１４のステップＳ５０９の処理において、量子化部１０７が、図１７の変換済量子化マトリクスと、算出された量子化スケールの値“８”とを使用して、再量子化前マトリクスを、再量子化することにより得られるマトリクスである。

前述した逆量子化の式からは、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の量子化ＤＣＴ係数は２（１／α）倍×１／２（１／β）倍＝１倍に変換する必要がある。また、高周波成分の量子化ＤＣＴ係数は１（１／α）倍×１／２（１／β）倍＝１／２倍に変換する必要がある。

ここで、図１７の再量子化前マトリクスが示す非０量子化ＤＣＴ係数は７、−３、２、１、４、１、−１、１の合計８個であるとする。また、８個の非０量子化ＤＣＴ係数のうち前半の３個の係数（７、−３、２）が低周波成分に該当するＩｎｔｅｒＭＢのブロックを変換対象とする量子化ＤＣＴ係数であるとする。

この場合、図１７の再量子化済マトリクスに示されるように、低周波成分の量子化ＤＣＴ係数は変換不要である。また、図１７の再量子化済マトリクスに示されるように、高周波成分の量子化ＤＣＴ係数は、０．５、２、０．５、−０．５、０．５を整数化した０、２、０、０、０に変換される。

これにより、入力時５０ｂｉｔだった符号量を、３５ｂｉｔに減少させることができる。そのため、低周波成分に量子化誤差を発生させることなく、符号化データの符号化レートを削減することができる。

次に、本発明の実施の形態１の符号化レート変換装置１０００の量子化部１０７が行なう重要ＭＢの量子化の具体的な処理を図１８を用いて説明する。重要ＭＢの量子化の具体的な処理は、図１４のステップＳ５０９で行なわれる。

図１７の説明において、通常ＭＢでは、量子化スケールの値を２倍に変換したために、高周波成分に量子化誤差が発生した。しかしながら、重要ＭＢでは、高周波成分にも量子化誤差を発生させないため、量子化スケールを１倍に設定する。すなわち、量子化スケール変換率βを“１”とする。この場合、算出される量子化スケールの値は図１６のステップＳ６０２の処理により算出される値である。この処理により、量子化スケールの値“４”が算出される。

図１８は、図１７と同様に、変換前量子化マトリクス、変換済量子化マトリクス、再量子化前マトリクスおよび再量子化済マトリクスを示すとする。図１８の変換済量子化マトリクスは、図１７の変換済量子化マトリクスと同様なので詳細な説明は繰り返さない。

図１８の再量子化済マトリクスは、図１４のステップＳ５０９の処理において、量子化部１０７が、図１８の変換済量子化マトリクスと、算出された量子化スケールの値“４”とを使用して、図１８の再量子化前マトリクスを、再量子化することにより得られるマトリクスである。

前述した逆量子化の式から、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の量子化ＤＣＴ係数は２（１／α）×１（１／β）＝２倍に変換する必要がある。また、高周波成分の量子化ＤＣＴ係数は１（１／α）×１（１／β）＝１倍に変換する必要がある。

ここで、図１８の再量子化前マトリクスが示す非０量子化ＤＣＴ係数は７、−３、２、１、４、１、−１、１の合計８個であるとする。また、８個の非０量子化ＤＣＴ係数のうち前半の３個の係数（７、−３、２）が低周波成分に該当するＩｎｔｅｒＭＢのブロックを変換対象とする量子化ＤＣＴ係数であるとする。

この場合、図１８の再量子化済マトリクスに示されるように、低周波成分の量子化ＤＣＴ係数は、入力時の２倍の、１４、−６、４に変換される。また、図１８の再量子化済マトリクスに示されるように、高周波成分の量子化ＤＣＴ係数は、入力時の係数から変換不要となる。

低周波成分の量子化ＤＣＴ係数は、変換倍率が整数である限りは、整数になるので、新たに量子化誤差は発生しない。高周波成分の量子化ＤＣＴ係数は、変換不要であるため、量子化誤差は発生しない。

これにより、入力時５０ｂｉｔだった符号量は５９ｂｉｔに増加するものの、低周波成分から高周波成分までのすべての周波数にわたって、量子化誤差を発生させずに変換することができる。

重要ＭＢがピクチャに対応する全てのＭＢにおいて、多くを占めるのであれば、上記の符号量の増加は目標レート達成に向けて大きな障害となる。しかしながら、重要ＭＢがピクチャに対応する全てのＭＢにおいて、十分少ないのであれば、上記の符号量の増加を他の通常ＭＢの符号量削減で取り返すことが可能である。

したがって、本発明の実施の形態１の符号化レート変換装置１０００において、全体的に量子化マトリクスの低周波成分の係数を入力値より小さくすることで、低周波成分の量子化誤差の発生を抑えるとともに、重要ＭＢでの高周波成分も含む量子化誤差の発生を抑えることができる。

すなわち、本実施の形態の処理によれば、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、重要ＭＢとしての特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

なお、本実施の形態においては、図１９Ａに示されるように、マクロブロックの種類がＩｎｔｅｒＭＢであり、さらに量子化マトリクスの全係数が一定の場合を取り上げた。しかしながら、これに限定されることなく、図１９Ｂに示されるように、本実施の形態の処理は、もちろん、マクロブロックの種類がＩｎｔｒａＭＢであってもよいし、量子化マトリクスの係数が一定値でなくばらばらの場合に行なわれてもよい。

また、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢのどちらかでのみ、量子化マトリクスを利用したレート変換を適用してもよいし、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢの両方において量子化マトリクスの変換倍率などを変化させてもよい。

なお、本実施の形態においては、図１９Ａに示されるように、量子化マトリクスの係数に変換誤差が発生しない場合を取り上げたが、図１９Ｂに示されるように、量子化マトリクスの係数に変換誤差が発生してもよい。

なお、本発明は、ＭＰＥＧ２を前提として記載している。しかしながら、ＭＰＥＧ２に限定されず、ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ４、Ｈ．２６４など、量子化マトリクスをピクチャ単位で設定し、量子化パラメータをマクロブロック単位で設定するコーデックであれば、本発明を適用可能である。

なお、本発明は、ＤＣＴ変換を前提として記載しているが、画像データを周波数成分に分解できる直交変換であれば、その他の変換方法であってもよい。

なお、本発明のように、ＭＰＥＧ２のＩｎｔｒａＭＢのＤＣ成分など、いくつかのコーデックではＤＣ成分などが量子化スケールの適用外になるなど、特別な量子化や符号化がなされる場合がある。しかしながら、これらの特別な係数に関しては、図１９Ｂに示されるように、本発明における量子化マトリクス変換の対象外としてよい。

図２０Ａは、変換前の量子化マトリクスを示す図である。図２０Ｂは、実施の形態１の処理により変換された後の量子化マトリクスを示す図である。図２０Ｃは、図２０Ｂに示される量子化マトリクスに対して使用される数値および処理を示す図である。

なお、本実施の形態においては、量子化マトリクスの低周波成分の変換対象係数をｕ＋ｖ≦２を満たす係数としていたが、ｕ＋ｖ≦２における“２”は２以外であってもよい。また、符号化に使用されるスキャン順（ジグザグスキャン）（０〜６３）を利用してもよい。また、図２０Ｂに示される量子化マトリクスＭＡのように、スキャン順（ジグザグスキャン）≦−１、すなわち変換領域なしとしてもよい。

また、図２０Ｂに示される量子化マトリクスＭＢのように、スキャン順（ジグザグスキャン）≦６３、すなわち全係数を変換領域としてもよい。その他、低周波成分と高周波成分を分離できる方法であれば、どのような方法であってもよい。また、これらの基準は、ピクチャごとに変化するなど、一定でなくてもよい。

なお、本実施の形態においては、量子化マトリクスの変換対象係数の変換率を一定としていたが、図２０Ｂに示される量子化マトリクスＭＣのように、変換対象係数が一定の変換率で変換されていなくても、
（変換後の量子化マトリクス係数）≧（変換前の量子化マトリクス係数）×量子化マトリクス変換率α
が成立していればよい。

なお、本実施の形態においては、量子化マトリクスの変換対象外の係数を変化させなかったが、図２０Ｂに示される量子化マトリクスＭＤのように、変換対象外の係数を変化させたとしても、本発明の本質には影響ない。

なお、本実施の形態においては、量子化マトリクスの変換対象係数をｕ＋ｖ≦一定値を満たす係数、もしくはスキャン順（ジグザグスキャン）を利用した。しかしながら、これに限定されることなく、図２０Ｂに示される量子化マトリクスＭＥのように、量子化マトリクスの変換対象係数を、ｕ≦一定値かつｖ≦一定値の条件を満たす係数としてもよい。

また、図２０Ｂに示される量子化マトリクスＭＦのように、スキャン順（オルタネートスキャン）を利用してもよいし、その他の方法で決定してもよい。なお、スキャン順を利用する場合に、どちらのスキャン順を利用するかを、プログレッシブ画像かインターレース画像かによって決定してもよいし、ストリームがどちらのスキャン順で符号化されているかに合わせて決定してもよい。

なお、本実施の形態においては、ＭＢごとのレート制御がなされることを前提としているが、例えばすべてのＭＢが同じ量子化スケールになるなど、必ずしもＭＢごとでなくてもよい。

また、本実施の形態においては、変換倍率を１倍以上に設定しても、量子化マトリクスの低周波成分の変換倍率（１／α倍）より小さければ、符号化データの符号量はさらに増加することになる。レート変換において、変換倍率１／α倍未満を許容してもよいし、変換倍率１／α倍未満を許容せずに、１／α以上になるように変換倍率を切り上げてもよい。

なお、本実施の形態においては、量子化マトリクスの低周波係数の変換を１／α倍（α：整数）に限定して説明を行ったが、必ずしも１／α倍でなくても、１より小さな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、量子化パラメータの変換を整数倍に限定して説明を行ったが、必ずしも整数倍でなくても、１より大きな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、低周波成分において、量子化マトリクスの変換倍率×量子化パラメータの変換倍率が１以上であることを前提として記載しているが、１より小さな値であっても、高周波成分より大きければ、任意の値であってもよい。

なお、本実施の形態においては、４：２：０（輝度、色差、色差）の６ブロック構成を用いるコーデックを前提として記載しているが、４：２：２などその他のブロック構成をもちいる画像コーデックでも本発明は実施可能である。

なお、本実施の形態においては、量子化ＤＣＴ係数変換時に小数点以下を切り捨てることを前提として記載しているが、小数点以下は四捨五入であっても、その他の方法で整数化していても、本発明は実施可能である。

なお、本実施の形態の符号化レート変換装置は、逆量子化部と量子化部が独立になっているが、逆量子化部と量子化部が一体になり、直接、入力ストリームの量子化ＤＣＴ係数から出力ストリームの量子化ＤＣＴ係数を算出してもよい。

なお、本実施の形態の符号化レート変換装置１０００は、再量子化により得られた量子化ＤＣＴ係数を直接出力しているが、再量子化により得られた量子化ＤＣＴ係数に対して、例えば動き補償による補正を行ってから出力する場合においても、本発明は実施可能である。その他、入力ストリームから出力ストリームに変換する際、一度画像に戻すことなく、直接再量子化により変換する方法であれば、本発明は実施可能である。

（実施の形態２）
実施の形態１の符号化レート変換装置１０００において、例えばＭＰＥＧ２では量子化スケールの値は１〜１１２の範囲しか取ることができない。そのため、入力ストリームの量子化スケールの値が１１２に近い値の場合、量子化スケール変換率βが大きくできない。この場合、量子化マトリクスによる低周波成分の符号量増を打ち消すことができず、符号化レートを十分に削減にできない場合がある。

また、実施の形態１の符号化レート変換装置１０００において、ＭＰＥＧ２では量子化マトリクスの係数は１〜２５５の範囲しか取ることができない。そのため、入力ストリームの量子化マトリクスの低周波成分の係数がすでに１にある程度近い値の場合、低周波成分の量子化マトリクス変換率αを大きくできないため、画質劣化を十分に改善できない場合がある。

本発明の実施の形態２では、上記の課題を解決するための符号化レート変換装置について説明する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図２１は、実施の形態２における符号化レート変換装置１０００Ａの構成を示すブロック図である。

図２１の符号化レート変換装置１０００Ａは、図１１の符号化レート変換装置１０００と比較して、量子化マトリクス変換制御部１１０の代わりに量子化マトリクス変換制御部１１０Ａを備える点と、量子化マトリクス低域削減変換部１０８の代わりに量子化マトリクス高域増加変換部１０８Ａを備える点と、量子化スケール増加変換部１０４の代わりに量子化スケール増加・削減変換部１０４Ａを備える点とが異なる。それ以外は、符号化レート変換装置１０００と同様なので詳細な説明は繰り返さない。

量子化マトリクス変換制御部１１０Ａは、実施の形態１で説明した量子化マトリクス変換制御部１１０が行なう処理の説明において、“量子化マトリクス低域削減変換部１０８”および“量子化スケール増加変換部１０４”を、それぞれ、“量子化マトリクス高域増加変換部１０８Ａ”および“量子化スケール増加・削減変換部１０４Ａ”と置き換えた処理を行なうので詳細な説明は繰り返さない。

量子化マトリクス変換制御部１１０Ａは、先頭のピクチャを処理する際において、当該ピクチャの目標符号量や量子化マトリクスの変換実績などに基づいて量子化マトリクスの変換制御情報を算出し、量子化マトリクス高域増加変換部１０８Ａに通知する。また、量子化マトリクス変換制御部１１０Ａは、マクロブロックごとに、量子化マトリクスの制御情報に基づいて、目標量子化スケールを補正して、補正した量子化スケールを、量子化スケール増加・削減変換部１０４Ａに通知する。

量子化マトリクス高域増加変換部１０８Ａは、量子化マトリクスの変換制御情報に基づいて、入力ストリームの量子化マトリクスの高周波成分の係数を増加方向に変換する。そして、量子化マトリクス高域増加変換部１０８Ａは、変換後の量子化マトリクスを量子化部１０７およびピクチャヘッダ格納部１０９に同時に通知する。

量子化スケール増加・削減変換部１０４Ａは、目標量子化スケールを基準として、あるいは重要ＭＢの判定を行って、入力ストリームの量子化スケールを増加方向あるいは減少方向に変換して、出力ストリームの量子化スケールを算出する。そして、量子化スケール増加・削減変換部１０４Ａは、変換後の量子化スケールを、量子化部１０７およびＭＢヘッダ格納部１０５に同時に通知する。

本発明の実施の形態２の符号化レート変換装置における処理フローを、図１２〜図１４の実施の形態１の符号化レート変換装置の処理フローに基づいて説明する。

Ｓ３０１〜Ｓ３０８、Ｓ４０１〜Ｓ４０７は、実施の形態１と同等のため、説明を省略する。量子化マトリクス高域増加変換部１０８Ａは、量子化マトリクスの変換制御情報に基づいて、ステップＳ３０２，Ｓ３０５，Ｓ４０４のいずれかの処理で設定された入力ストリームの量子化マトリクスの高周波成分を増加方向に変換する（Ｓ４０８）。

Ｓ４０９〜Ｓ４１１、Ｓ５０１〜Ｓ５０４は、実施の形態１と同等のため、説明を省略する。量子化スケール増加・削減変換部１０４Ａは、Ｓ５０２の目標量子化スケールの補正や重要ＭＢの判定などを行い、当該マクロブロックの量子化スケールの入力値を増加方向あるいは削減方向に変換する。Ｓ５０５〜Ｓ５１３は、実施の形態１と同等のため、説明を省略する。

本発明の実施の形態２の符号化レート変換装置におけるレート制御の具体的な動作を説明する。

先頭のピクチャを処理する際において、まず当該ピクチャの目標符号量Ｔ（ｉ）を算出する必要があるが、ＴＭ５のステップ１に基づけば算出可能であるので、詳細な説明は省略する。マクロブロックにおいて、目標量子化スケールを算出する必要があるが、ＴＭ５のステップ２に基づけば算出可能であるので、詳細な説明は省略する。

なお、ここではレート制御方式としてＴＭ５を挙げているが、その他のレート制御方式であってもよい。本発明は特定のレート制御方式に依存するものではない。

本発明の実施の形態２の符号化レート変換装置１０００Ａが行なう図１３のステップＳ４０８の量子化マトリクス変換の具体的な処理を説明する。

ここで、ｉ番目のピクチャと、当該ｉ番目のピクチャの一つ前のピクチャ（以下、評価対象ピクチャという）とが存在するとする。この場合、評価対象ピクチャは、ｉ−１番目のピクチャとなる。ここで、評価対象ピクチャは、ｉ番目のピクチャよりも前に表示対象となるピクチャであるとする。また、ｉ番目のピクチャおよび評価対象ピクチャは、同一の種類のピクチャであるとする。

また、高周波成分（高域）の量子化マトリクス変換率がα（ｉ−１）倍（α（ｉ−１）＞１）、量子化スケール変換率の平均がβ（ｉ−１）倍であったとする。この場合、量子化ＤＣＴ係数変換率γ（ｉ−１）（高周波成分の平均）は、γ（ｉ−１）＝α（ｉ−１）×β（ｉ−１）として算出することができる。

ここで、ＤＣＴ係数の低域の量子化誤差が最小になるのはγ＝１のときであり、さらに、γが１より大きくても、ある程度小さい値（ここではγｍａｘとする）であれば、画質劣化が許容範囲に収まると考えられる。

許容範囲を超えることが想定される場合、許容範囲内に収まるような制御が必要である。また、γが１より小さいと、画質劣化は発生しないが、符号量が増加するため、γが１以上になるような制御が必要になる。

ｉ番目のピクチャに最も近い位置の評価対象ピクチャが、ｉ番目のピクチャと同一の傾向の量子化スケールを持つ（β（ｉ）＝β（ｉ−１））と仮定する。この場合、ｉ番目のピクチャの量子化マトリクス変換率（高域）α（ｉ）は、以下の式により算出することができる。

α（ｉ）＝
１ ×α（ｉ−１）／γ（ｉ−１） （γ（ｉ−１）＜１の場合）
α（ｉ−１） （１≦γ（ｉ−１）≦γｍａｘの場合）
γｍａｘ×α（ｉ−１）／γ（ｉ−１） （γｍａｘ＜γ（ｉ−１）の場合）

次に、その量子化マトリクス変換率α（ｉ）に従って、入力ストリームの量子化マトリクスを以下の式（以下、マトリクス変換式Ｂという）で変換して、出力ストリームの量子化マトリクスＷｏ（ｕ，ｖ）を求める。

Ｗｏ（ｕ，ｖ）＝
Ｗｉ（ｕ，ｖ） （ｕ＋ｖ≦ε（低周波成分）の場合）
α（ｉ）×Ｗｉ（ｕ，ｖ） （ｕ＋ｖ＞ε（高周波成分）の場合）

ここで、Ｗｉ（ｕ，ｖ）は、入力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数（ｕ＝０〜７、ｖ＝０〜７）を示す定数である。Ｗｏ（ｕ，ｖ）は、出力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数を示す定数である。また、Ｗｏ（ｕ，ｖ）は、ｖ＋１行ｕ＋１列で特定される係数を示す。たとえば、ｕ＝２，ｖ＝５の場合、Ｗｏ（ｕ，ｖ）は、６行３列で特定される係数を示す。εは誤差を抑制する周波数の閾値（基準周波数）を示す定数である。

なお、ここでは、量子化スケールの実績値として、同一ピクチャ種類で最も近い位置のピクチャ（評価対象ピクチャ）を選択しているが、これに限定されることはない。例えば、ｉ番目のピクチャの種類によらずに評価対象ピクチャを選択してもよい。

また、ｉ番目のピクチャに最も近い位置でないピクチャを選択してもよい。また、単一のピクチャではなく、ｉ番目のピクチャの前の複数のピクチャを選択してもよい。また、ｉ番目のピクチャの前のピクチャの量子化スケールではなく、ｉ番目のピクチャの量子化スケールを先読みして算出した量子化スケールを利用してもよいし、その他の方法で、量子化スケールを予測してもよい。

なお、ここでは、量子化マトリクス変換率の算出において、量子化スケール変換率の平均値を使用している。しかしながら、これに限定されることなく、使用される値は、量子化スケール変換率の最小値など、量子化スケールに関するその他の実績値であってもよいし、一定値などであってもよい。また、量子化マトリクス変換率の算出方法は、量子化スケールとは無関係の算出方法であってもよい。

本発明の実施の形態２の符号化レート変換装置１０００Ａが行なう、量子化スケール変換（図１５の量子化スケール変換処理）の具体的な動作を説明する。

レート制御で算出した目標量子化スケールは、ＴＭ５のステップ２で算出したものであり、量子化マトリクスとは無関係に決定する。そのため、本実施の形態の符号化レート変換装置１０００Ａにおいては、使用される量子化スケールの値が、最適な量子化スケールの値でない可能性がある。

量子化マトリクス変換率（高域）が大きい場合、符号量は減少する方向である。そのため、レート制御で求めた量子化スケールの値をそのまま使用すると、符号量が削減されすぎる可能性もある。この場合、符号量の削減をやや緩めるように、目標量子化スケールの値がやや小さめになるように補正してもよい。

例えば、レート制御で得られた目標量子化スケールｍｑ（ｊ）を補正して、
ｍｑ’（ｊ）＝ｍｑ（ｊ）×（１／α）
として算出してもよい。

なお、ここでは、１／αを乗算することにより目標量子化スケールの補正を行っているが、１／αでなくても１より小さい値であれば、符号化データの符号量を増加方向に補正することができる。また、その他の式で目標量子化スケールの補正を行ってもよいし、補正は行わなくてもよい。

次に、実際に当該マクロブロックの量子化スケールを算出する。出力ストリームの量子化スケールｑｏ（ｊ）は、これは従来技術としての特許文献２の特開２００１−２０４０２８号公報に開示された技術で導出可能であり、詳細な説明は省略する。

ｑｏ（ｊ）＝
ｑｉ（ｊ） （ｍｑ（ｊ）＜１．５×ｑｉ（ｊ）の場合）
２×ｑｉ（ｊ） （１．５×ｑｉ（ｊ）≦ｍｑ（ｊ）＜２×ｑｉ（ｊ）の場合）
ｍｑ（ｊ） （２ ×ｑｉ（ｊ）＜ｍｑ（ｊ）の場合）

ここで、ｑｉ（ｊ）は入力ストリームの量子化スケール、また、ｍｑ（ｊ）は目標量子化スケールである。

なお、ここでは、量子化スケールｑｏ（ｊ）を上式で導出しているが、その他の式で導出してもよい。

上記の量子化スケールを用いれば、ＤＣＴ係数の低周波成分の量子化誤差を抑えた変換を行うことが可能である。

しかし、前述した重要ＭＢでは、ＤＣＴ係数の低周波成分だけでなく、高周波成分の量子化誤差も抑えたほうが全体的な画質劣化を抑制できることが分かっている。そのため、重要ＭＢにおいては、すべての周波数領域に対して量子化誤差を抑制可能な量子化スケールを設定できることが望ましい。

前述したように、重要ＭＢは、ＭＢのＭＢブロック部のデータ量と、当該ＭＢのＭＢヘッダ部が示す量子化スケールコードの変換により得られる量子化スケールの値との乗算により得られる値が、所定値より大きい値を示すＭＢである。

また、重要ＭＢに対応する量子化スケールｑｏ”（ｊ）は以下の式で算出できる。

ｑｏ”（ｊ）＝１／α×ｑｉ（ｊ）
重要ＭＢで上記の量子化スケールｑｏ”（ｊ）を用いれば、すべての周波数領域の量子化誤差を抑えた変換を行うことができる。

それ以外のＭＢ（通常ＭＢ）であれば、量子化スケールに上記ｑｏ（ｊ）を用いればよい。

なお、重要ＭＢは、前述した演算（ＭＢブロック部のデータ量×量子化スケールの値）以外の演算を使用して決定してもよい。

次に、量子化スケールの値の変換例を説明する。

ここで、変換前の量子化スケールの値は、図１６Ａに示される値であるとする。前述したように、図１６Ａに示される複数の数字は、ピクチャの符号化データを構成する複数のＭＢの各々に対して設定された量子化スケールの値を示す。

ここで、目標符号化レートに基づいてレート制御における量子化スケールの平均値が“８”であったとする。この場合、量子化スケールの平均値に基づいて、量子化スケールの値を変換するならば、図２２に示されるように、ピクチャの上部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は、“４”から“８”に変換され、それ以外のＭＢに対して設定される量子化スケールの値は、“８”のまま保持されることになる。

ただし、量子化マトリクス変換率α＝１／２の場合、ピクチャの中央部および下部に対応する複数のＭＢのうち、前述した重要ＭＢに対して設定される量子化スケール変換率βは、量子化誤差を最小とするため、“１／２”とする。したがって、重要ＭＢに対して設定される量子化スケールは“８”から“４”に減少方向に変換されることになる。

本発明の実施の形態２の符号化レート変換装置１０００Ａの量子化部１０７が行なう重要ＭＢの量子化の具体的な処理を図２３を用いて説明する。重要ＭＢの量子化の具体的な処理は、図１４のステップＳ５０９で行なわれる。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの高周波成分の係数（ε＝２の場合）を２倍に増加することになったとする。すなわち、高周波成分の量子化マトリクス変換率αは“２”であるとする。また、低周波成分の量子化マトリクス変換率αは“１”であるとする。

また、重要ＭＢでは高周波成分の量子化誤差を発生させないため、量子化スケールの値を１／２倍に減少するものとする。すなわち、量子化スケール変換率βは“１／２”であるとする。この場合、算出される量子化スケールの値は図１６のステップＳ６０２の処理により算出される値である。この処理により、量子化スケールの値“２”が算出される。

ここで、前述したマトリクス変換式Ｂにおいて、ε＝２とする。この場合、量子化マトリクスの低周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数となる。また、量子化マトリクスの高周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数以外の係数となる。

図２３は、図１７と同様に、変換前量子化マトリクス、変換済量子化マトリクス、再量子化前マトリクスおよび再量子化済マトリクスを示すとする。

図２３の変換済量子化マトリクスは、図１３のステップＳ４０８の処理において、量子化マトリクス高域増加変換部１０８Ａが、図２３の変換前量子化マトリクスを、高周波成分の量子化マトリクス変換率α“２”を使用して変換したマトリクスである。

図２３に示される変換済量子化マトリクスは、低周波成分の係数の値がそのままで、高周波成分の係数の値が大きくなっている（２倍）。そのため、図２３の変換済量子化マトリクスを使用して量子化が行なわれると、符号化データの符号量（符号化レート）が小さくなる。すなわち、図２３の変換済量子化マトリクスは、符号化データの符号量（符号化レート）を小さくするためのマトリクスである。

図２３の再量子化済マトリクスは、図１４のステップＳ５０９の処理において、量子化部１０７が、図２３の変換済量子化マトリクスと、算出された量子化スケールの値“２”とを使用して、図２３の再量子化前マトリクスを、再量子化することにより得られるマトリクスである。

前述した逆量子化の式から、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の量子化ＤＣＴ係数は１（１／α）×２（１／β）＝２倍に変換する必要がある。また、高周波成分の量子化ＤＣＴ係数は１／２（１／α）×２（１／β）＝１倍に変換する必要がある。

ここで、図２３の再量子化前マトリクスが示す非０量子化ＤＣＴ係数は７、−３、２、１、４、１、−１、１の合計８個であるとする。また、８個の非０量子化ＤＣＴ係数のうち前半の３個の係数（７、−３、２）が低周波成分に該当するＩｎｔｅｒＭＢのブロックを変換対象とする量子化ＤＣＴ係数であるとする。

この場合、図２３の再量子化済マトリクスに示されるように、低周波成分の量子化ＤＣＴ係数は、入力時の２倍の、１４、−６、４に変換される。なお、図２３の再量子化済マトリクスに示されるように、高周波成分の量子化ＤＣＴ係数は、変換不要である。

このとき、低周波成分の量子化ＤＣＴ係数は、変換倍率が整数である限りは、整数になる。そのため、新たに量子化誤差は発生しない。また、高周波成分の係数は入力から変換不要であるため、量子化誤差は発生しない。

これにより、入力時５０ｂｉｔだった符号量は５９ｂｉｔに増加するものの、低周波成分から高周波成分まですべての周波数にわたって量子化誤差を発生させずに変換することができる。

重要ＭＢがピクチャに対応する全てのＭＢにおいて、多くを占めるのであれば、上記の符号量の増加は目標レート達成に向けて大きな障害となる。しかしながら、重要ＭＢがピクチャに対応する全てのＭＢにおいて、十分少ないのであれば、上記の符号量の増加を他の通常ＭＢの符号量削減で取り返すことが可能である。

したがって、本発明の実施の形態２の符号化レート変換装置１０００Ａにおいて、全体的に量子化マトリクスの低周波成分の係数を入力値より小さくすることで、低周波成分の量子化誤差の発生を抑えるとともに、重要ＭＢでの高周波成分も含む量子化誤差の発生を抑えることができる。

すなわち、本実施の形態の処理によれば、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、重要ＭＢとしての特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

なお、本実施の形態においては、図２４Ａに示されるように、マクロブロックの種類がＩｎｔｅｒＭＢであり、さらに量子化マトリクスの全係数が一定の場合を取り上げた。しかしながら、これに限定されることなく、図２４Ｂに示されるように、本実施の形態の処理は、もちろん、マクロブロックの種類がＩｎｔｒａＭＢであってもよいし、量子化マトリクスの係数が一定値でなくばらばらの場合に行なわれてもよい。

また、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢのどちらかでのみ、量子化マトリクスを利用したレート変換を適用してもよいし、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢの両方において量子化マトリクスの変換倍率などを変化させてもよい。

なお、本発明は、ＭＰＥＧ２を前提として記載している。しかしながら、ＭＰＥＧ２に限定されず、ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ４、Ｈ．２６４など、量子化マトリクスをピクチャ単位で設定し、量子化パラメータをマクロブロック単位で設定するコーデックであれば、本発明を適用可能である。

なお、本発明は、ＤＣＴ変換を前提として記載しているが、画像データを周波数成分に分解できる直交変換であれば、その他の変換方法であってもよい。

なお、本発明のように、ＭＰＥＧ２のＩｎｔｒａＭＢのＤＣ成分など、いくつかのコーデックではＤＣ成分などが量子化スケールの適用外になるなど、特別な量子化や符号化がなされる場合がある。しかしながら、これらの特別な係数に関しては、図２４Ｂのように、本発明における量子化マトリクス変換の対象外としてよい。

図２５Ａは、変換前の量子化マトリクスを示す図である。図２５Ｂは、実施の形態２の処理により変換された後の量子化マトリクスを示す図である。図２５Ｃは、図２５Ｂに示される量子化マトリクスに対して使用される数値および処理を示す図である。

なお、本実施の形態においては、量子化マトリクスの高周波成分の変換対象係数を、ｕ＋ｖ≧３を満たす係数としていたが、ｕ＋ｖ≧３における“３”は３以外であってもよい。また、符号化に使用されるスキャン順（ジグザグスキャン）（０〜６３）を利用してよい。また、図２５Ｂに示される量子化マトリクスＭＡＡのように、スキャン順（ジグザグスキャン）≧０、すなわち全係数を変換領域としてもよい。

また、図２５Ｂに示される量子化マトリクスＭＢＡのように、スキャン順（ジグザグスキャン）≧６４、すなわち変換領域なしとしてもよい。その他、低周波成分と高周波成分を分離できる方法であれば、どのような方法であってもよい。また、これらの基準は、ピクチャごとに変化するなど、一定でなくてもよい。

なお、本実施の形態においては、量子化マトリクスの変換対象係数の変換率を一定としていたが、図２５Ｂに示される量子化マトリクスＭＣＡのように、変換対象係数が一定の変換率で変換されていなくても、
（変換後の量子化マトリクス係数）≦（変換前の量子化マトリクス係数）×量子化マトリクス変換率α
が成立していればよい。

なお、本実施の形態においては、量子化マトリクス変換率は、一例として２を利用したが、１より大きければ、その他の整数であってもよい。たとえば、図２５Ｂに示される量子化マトリクスＭＤＡのように、１より大きければ、量子化マトリクス変換率は、小数であってもよい。

なお、本実施の形態においては、量子化マトリクスの変換対象係数をｕ＋ｖ≦一定値を満たす係数、もしくはスキャン順（ジグザグスキャン）を利用した。しかしながら、これに限定されることなく、図２５Ｂに示される量子化マトリクスＭＥＡのように、量子化マトリクスの変換対象係数を、ｕ≧一定値またはｖ≧一定値の条件を満たす係数としてもよい。

また、図２５Ｂに示される量子化マトリクスＭＦＡのように、スキャン順（オルタネートスキャン）を利用してもよいし、その他の方法で決定してもよい。なお、スキャン順を利用する場合に、どちらのスキャン順を利用するかを、プログレッシブ画像かインターレース画像かによって決定してもよいし、ストリームがどちらのスキャン順で符号化されているかに合わせて決定してもよい。

なお、本実施の形態においては、ＭＢごとのレート制御がなされることを前提としているが、例えばすべてのＭＢが同じ量子化スケールになるなど、必ずしもＭＢごとでなくてもよい。

なお、本実施の形態においては、量子化マトリクスの高周波成分の変換を整数倍に限定して説明を行ったが、必ずしも整数倍でなくても、１より大きな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、量子化スケール変換率を１／α倍（α：整数）に限定して説明を行った。しかしながら、量子化スケール変換率は、必ずしも１／αでなくても、１より小さな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、４：２：０（輝度、色差、色差）の６ブロック構成を用いるコーデックを前提として記載しているが、４：２：２などその他のブロック構成をもちいる画像コーデックでも本発明は実施可能である。

なお、本実施の形態においては、量子化ＤＣＴ係数変換時に小数点以下を切り捨てることを前提として記載しているが、小数点以下は四捨五入であっても、その他の方法で整数化していても、本発明は実施可能である。

なお、本実施の形態の符号化レート変換装置は、逆量子化部と量子化部が独立になっているが、逆量子化部と量子化部が一体になり、直接、入力ストリームの量子化ＤＣＴ係数から出力ストリームの量子化ＤＣＴ係数を算出してもよい。

なお、本実施の形態の符号化レート変換装置１０００Ａは、再量子化により得られた量子化ＤＣＴ係数を直接出力しているが、再量子化により得られた量子化ＤＣＴ係数に対して、例えば動き補償による補正を行ってから出力する場合においても、本発明は実施可能である。その他、入力ストリームから出力ストリームに変換する際、一度画像に戻すことなく、直接再量子化により変換する方法であれば、本発明は実施可能である。

（実施の形態３）
実施の形態２の符号化レート変換装置１０００Ａにおいて、ＭＰＥＧ２では量子化マトリクスは１〜２５５の範囲しか取ることができない。そのため、入力ストリームの量子化マトリクスの高域（高周波成分）の係数がすでに２５５に近い値の場合、高周波成分の量子化マトリクス変換率αを大きくできない。その結果、高周波成分の符号量を十分削減できないため、符号化レートを十分に削減できない場合がある。

また、実施の形態２の符号化レート変換装置１０００Ａにおいて、ＭＰＥＧ２では量子化スケールは１〜１１２の範囲しか取ることができない。そのため、入力ストリームの量子化スケールがすでに１に近い値の場合、重要ＭＢにおける量子化スケール変換率βを十分小さな値にすることができない。その結果、量子化マトリクスの高域削減により発生する量子化誤差が抑制しきれずに、画質の劣化に結びつく場合がある。

すなわち、入力ストリームの量子化マトリクスや量子化スケールの値によって、最も画質の劣化の少ない量子化処理が可能な符号化レート変換装置は異なる。すなわち、量子化マトリクスや量子化スケールの値によっては、図１１の実施の形態１の符号化レート変換装置１０００が最も画質の劣化の少ない量子化処理ができる場合がある。符号化レート変換装置１０００は、量子化マトリクスを変換するための量子化マトリクス低域削減変換を行なう装置である。量子化マトリクス低域削減変換は、変換対象の量子化マトリクスにおける低周波成分の係数を小さくする変換である。

また、量子化マトリクスや量子化スケールの値によっては、図２１の実施の形態２の符号化レート変換装置１０００Ａが最も画質の劣化の少ない量子化処理ができる場合がある。符号化レート変換装置１０００Ａは、量子化マトリクスを変換するための量子化マトリクス高域増加変換を行なう装置である。量子化マトリクス低域削減変換は、変換対象の量子化マトリクスにおける高周波成分の係数を大きくするための変換である。

また、量子化マトリクスや量子化スケールの値によっては、図９の従来の符号化レート変換装置１３０００が最も画質の劣化の少ない量子化処理ができる場合がある。

本発明の実施の形態３では、上記の課題を解決するための符号化レート変換装置について説明する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図２６は、実施の形態３における符号化レート変換装置１０００Ｂの構成を示すブロック図である。

図２６の符号化レート変換装置１０００Ｂは、図１１の符号化レート変換装置１０００と比較して、量子化マトリクス変換制御部１１０の代わりに量子化マトリクス変換制御部１１０Ｂを備える点と、量子化マトリクス高域増加変換部１０８Ａおよび量子化スケール増加・削減変換部１０４Ａをさらに備える点が異なる。それ以外は、符号化レート変換装置１０００と同様なので詳細な説明は繰り返さない。

量子化マトリクス変換制御部１１０Ｂは、先頭のピクチャを処理する際、量子化マトリクスの変換において、量子化マトリクス低域削減変換および量子化マトリクス高域増加変換のいずれが適用可能であるか否かを判定する。当該判定の詳細は後述する。なお、量子化マトリクスの変換において、量子化マトリクス低域削減変換および量子化マトリクス高域増加変換の両方が適用可能である場合、量子化マトリクス変換制御部１１０Ｂは、どちらか一方を、量子化マトリクスの変換において適用することを決定する。

量子化マトリクスの変換において、量子化マトリクス低域削減変換を適用する場合、符号化レート変換装置１０００Ｂは、実施の形態１の符号化レート変換装置１０００と同様な処理を行なうので詳細な説明は繰り返さない。

量子化マトリクスの変換において、量子化マトリクス高域増加変換を適用する場合、符号化レート変換装置１０００Ｂは、実施の形態２の符号化レート変換装置１０００Ａと同様な処理を行なうので詳細な説明は繰り返さない。

量子化マトリクスの変換において、量子化マトリクス低域削減変換および量子化マトリクス高域増加変換のいずれも適用しない場合、量子化マトリクス変換制御部１１０Ｂは、図９の従来の符号化レート変換装置１３０００と同様な処理を行なうので詳細な説明は繰り返さない。

本発明の実施の形態３の符号化レート変換装置１０００Ｂにおける符号化レート変換方法判定の具体的な動作を説明する。

前述の通り、量子化マトリクスを変換するための量子化マトリクス低域削減変換および量子化マトリクス高域増加変換は、量子化マトリクスや量子化スケールの値によっては、必ずしも最適な方法とはならない。したがって、量子化マトリクスや量子化スケールの値に従って、最適な方法を選択することが望ましい。しかしながら、量子化スケールの値は、すべてのＭＢのＭＢヘッダに分散されて符号化されている。そのため、量子化スケールの値を知るには、すべてのＭＢの量子化スケールの値を先読みする必要がある。

量子化スケールの値の先読みをするためには入力ストリームを２回復号化する必要が発生する。そのため、処理対象のピクチャの量子化スケールの値と同様の傾向を持つとして、過去の同一ピクチャ種類の量子化スケールの値で代用してもよい。

まず、量子化マトリクス変換制御部１１０Ｂは、処理対象のピクチャに使用する量子化マトリクスが以下の４つの条件ＪＡ，ＪＢ，ＪＣ，ＪＤのいずれを満たすか否かを判定する。

（ＪＡ）量子化マトリクスの高域係数の最大値が規格上限に近い
（ＪＢ）量子化マトリクスの低域係数の最小値が規格下限に近い
（ＪＣ）ＪＡ，ＪＢのどちらにも該当する
（ＪＤ）ＪＡ，ＪＢのどちらにも該当しない

次に、量子化マトリクス変換制御部１１０Ｂは、処理対象のピクチャに使用する量子化スケールの値が以下の４つの条件Ｊａ，Ｊｂ，Ｊｃ，Ｊｄのいずれを満たすか否かを判定する。

（Ｊａ）量子化スケールの最大値が規格上限に近い
（Ｊｂ）量子化スケールの最小値が規格下限に近い
（Ｊｃ）Ｊａ，Ｊｂのどちらにも該当する
（Ｊｄ）Ｊａ，Ｊｂのどちらにも該当しない

上記量子化マトリクスと量子化スケールの判定結果の組み合わせに対して、量子化マトリクス低域削減変換（以下、方法１という）、量子化マトリクス高域増加変換（以下、方法２という）のいずれの符号化レート変換が適するかどうかは、図２７に示される判定テーブルＴ１００を参照することで判定できる。判定テーブルＴ１００は、量子化マトリクスの変換において、方法１、方法２が適用可能か否かを判定するためのテーブルである。

図２７の判定テーブルＴ１００に示される、“ＪＡ”，“ＪＢ”，“ＪＣ”，“ＪＤ”は、前述した条件ＪＡ，ＪＢ，ＪＣ，ＪＤである。図２７の判定テーブルＴ１００に示される、“Ｊａ”，“Ｊｂ”，“Ｊｃ”，“Ｊｄ”は、前述した条件Ｊａ，Ｊｂ，Ｊｃ，Ｊｄである。

たとえば、前述の判定により、条件ＪＢおよび条件Ｊａが満たされると判定された場合、判定テーブルＴ１００により、量子化マトリクスの変換には方法１（量子化マトリクス低域削減変換）が適すると判定される。

なお、図２７の判定テーブルＴ１００において、“どちらも適用可”となっている箇所は、方法１、方法２のどちらも適用が可能である。

なお、図２７の判定テーブルＴ１００において、“どちらも非適用”となっている箇所は、方法１、方法２のいずれを適用した場合でも、符号化レートが十分に削減できない、画質劣化が発生するなどといった弊害が発生する。そのため、方法１および方法２のいずれの変換方法も適用せず、従来の符号化レート変換を適用するのがよい。

本発明の実施の形態３の符号化レート変換装置１０００Ｂにおけるレート制御、量子化マトリクス変換、量子化スケール変換の具体的な動作に関しては、実施の形態１の符号化レート変換装置１０００、実施の形態２の符号化レート変換装置１０００Ａと同等であるため、説明を省略する。

なお、本実施の形態では、実施の形態１の符号化レート変換装置１０００と、実施の形態２の符号化レート変換装置１０００Ａとを統合した符号化レート変換装置１０００Ｂを前提として説明を行った。しかしながら、これに限定されることなく、量子化スケールを変換するかどうかの判定は、実施の形態１の符号化レート変換装置１０００および実施の形態２の符号化レート変換装置１０００Ａにも適用可能である。

なお、本実施の形態では、量子化マトリクス変換を行うかどうかの判定に、量子化マトリクスや量子化スケールの最大値、最小値を用いているが、平均値などその他の基準値を用いて判定してもよい。

例えば、実施の形態１の符号化レート変換装置１０００が行なう処理において、量子化マトリクス変換率（低域）α×量子化スケール変換率β＝１が成立するとする。このときに、低周波成分の量子化誤差が最も抑制され、さらに従来技術により量子化スケール変換率＝２が成立するときに符号量あたりの画質向上が望めることを考えると、量子化マトリクスの変換率α＝１／２とすることが望ましい。しかしながら、量子化マトリクスの低周波成分の係数が奇数であった場合、量子化マトリクス変換時の変換誤差に起因して画質劣化が発生する場合がある。

また、例えば、実施の形態２の符号化レート変換装置１０００Ａが行なう処理において、量子化スケール変換率βが、１未満であり、かつ、小数を有する実数であるとする。この場合、量子化スケールの値を小さくすることになる。しかしながら、βは整数でないため、量子化スケールの符号化時に使用する量子化スケールコード（量子化パラメータ）への変換時において、量子化スケールコードは量子化スケールに対して離散的に定義されているために変換誤差の発生が多くなる。その結果、画質の劣化に結びつく場合がある。

上記の性質を考慮して、量子化マトリクス変換を行うかどうかの判定に、量子化マトリクスや量子化スケールの変換誤差を用いて、変換誤差が少なくなる方法を適用するように判定してもよい。

また、ＭＰＥＧ２では量子化ＤＣＴ係数が−２０４７〜２０４７の範囲しか取ることができない。そのため、実施の形態１の符号化レート変換装置１０００および実施の形態２の符号化レート変換装置１０００Ａが行なう処理において、入力ストリームの量子化ＤＣＴ係数がすでに−２０４７あるいは２０４７に近い値の場合、重要ＭＢにおいても、量子化ＤＣＴ係数を増加させることができないため、画質劣化が発生する場合がある。

上記の性質を考慮して、量子化マトリクス変換を行うかどうかの判定に、量子化ＤＣＴ係数の最大値など、量子化ＤＣＴ係数を利用してもよい。

（実施の形態４）
実施の形態１の符号化レート変換装置において、量子化マトリクスが１種類であること、もしくはすべての量子化マトリクスに対して同等の変換を行うことを想定している。しかし、ＭＰＥＧ２では、ＩｎｔｒａＭＢとＩｎｔｅｒＭＢ用の２つの量子化マトリクスを定義可能である。

ＭＰＥＧ２のＩｎｔｒａＭＢとＩｎｔｅｒＭＢでは、量子化誤差発生時に画質に与える影響が異なる。ＩｎｔｒａＭＢでは、参照画像が存在しないので、低周波成分の量子化誤差がそのまま画質へ影響する。一方、ＩｎｔｅｒＭＢでは、低周波成分の量子化誤差は参照画像からの差分に対する誤差であり、参照画像自体に対する誤差ではないので、画素への影響が小さい場合も多い。

したがって、ＩｎｔｒａＭＢとＩｎｔｅｒＭＢに対して、同等に低周波成分の量子化誤差を低減する処理を行うと、ＩｎｔｅｒＭＢでは過剰に誤差低減処理を行っていることになり、符号化レート削減の妨げになる可能性がある。

本発明の実施の形態４は、前述の要求に対応するための符号化レート変換装置である。

また、Ｈ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅでは、次の８つの量子化マトリクスを定義できる。

１．４×４，ＩｎｔｒａＭＢ，輝度
２．４×４，ＩｎｔｒａＭＢ，色差（青成分）
３．４×４，ＩｎｔｒａＭＢ，色差（赤成分）
４．４×４，ＩｎｔｅｒＭＢ，輝度
５．４×４，ＩｎｔｅｒＭＢ，色差（青成分）
６．４×４，ＩｎｔｅｒＭＢ，色差（赤成分）
７．８×８，ＩｎｔｒａＭＢ，輝度
８．８×８，ＩｎｔｅｒＭＢ，輝度

ここで、Ｈ．２６４のＩｎｔｒａＭＢは、ＭＰＥＧ２のＩｎｔｒａＭＢとは異なり、基本的に画面内予測であるため、ＩｎｔｅｒＭＢと同様、参照画像からの差分に対する誤差が発生することになる。しかし、参照画像は同一ピクチャであり、ＩｎｔｅｒＭＢと比較して相関性が低いため、依然として、ＩｎｔｒａＭＢにおける量子化誤差が画素へ与える影響が大きい。

ここで、ＭＰＥＧ２ではブロックサイズが８×８固定であったが、Ｈ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅでは、輝度のブロックサイズがマクロブロックごとに４×４、８×８で選択可能である。また、色差のブロックサイズが４×４で固定である。ブロックサイズ８×８のときは、係数が６４個存在するが、ブロックサイズ４×４のときは、係数が１６個しか存在しないので、低周波成分かどうかを判定する基準周波数の位置もそれにあわせて変化させなければ、意図通りに変換することができない。

本発明の実施の形態４は、前述の要求に対応するための符号化レート変換装置である。

また、輝度と色差では、量子化誤差が人間の視覚に与える影響が異なる。輝度より色差、色差の中でも青色より赤色のほうが人間は敏感である。したがって、輝度、色差（青成分）、色差（赤成分）に対して同等に量子化誤差の低減処理を行うと、特に輝度では過剰に誤差低減処理を行っていることになる。そのため、符号化レート削減の妨げになる可能性がある。

本発明の実施の形態４は、前述の要求に対応するための符号化レート変換装置である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

本発明の実施の形態４の符号化レート変換装置の構成は、実施の形態１の図１１の符号化レート変換装置１０００の構成と同じであるので詳細な説明は繰り返さない。なお、実施の形態４では、量子化マトリクス変換制御部１１０および量子化マトリクス低域削減変換部１０８が、複数の量子化マトリクスを独立に制御・変換する。

本発明の実施の形態４の符号化レート変換の具体例を説明する。

前述の通り、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））、予測タイプ（ＩｎｔｒａＭＢまたはＩｎｔｅｒＭＢ）、ブロックサイズ（８×８、４×４）によって、量子化マトリクス変換方法を独立に変更するという要求がある。

Ｈ．２６４の符号化レート変換装置において、ブロックタイプ、予測タイプ、ブロックサイズによって、量子化マトリクスの変換方法を変更したときの一例を図２８Ａおよび図２８Ｂに示す。なお、ブロックタイプ、予測タイプ、ブロックサイズによって、基準周波数と、量子化マトリクスを変換するための値（量子化マトリクス変換率）とを変更する処理は、量子化マトリクス低域削減変換部１０８が行なう。

図２８Ａおよび図２８Ｂに示される変換パターンＰＡは、低域変換を行う基準周波数をｕ＋ｖ≦−１を満たす周波数に設定、すなわち量子化マトリクスの低域係数の変換を行わないものである。

図２８Ａおよび図２８Ｂに示される変換パターンＰＢは、低域変換を行う基準周波数をｕ＋ｖ≦１を満たす周波数に設定し、量子化マトリクス変換率を１／２に設定したものである。

図２８Ａおよび図２８Ｂに示される変換パターンＰＣは、低域変換を行う基準周波数をｕ＋ｖ≦２を満たす周波数に設定し、量子化マトリクス変換率を１／４に設定したものである。

図２８Ａおよび図２８Ｂに示される変換パターンＰＤは、低域変換を行う基準周波数をｕ＋ｖ≦３を満たす周波数に設定し、量子化マトリクス変換率を１／２に設定したものである。

図２８Ａおよび図２８Ｂでは、量子化マトリクスのすべての係数が１６のときの変換例を示しているが、上記の変換パターンは、この量子化マトリクスに限るものではない。図２８Ａに示される表では、ブロックサイズ、予測タイプ（ＩｎｔｒａＭＢまたはＩｎｔｅｒＭＢ）、ブロックサイズの組み合わせ（マトリクス番号Ｍ０〜Ｍ７）によって、変換パターンＰＡ〜ＰＤのいずれかを適用することを示している。

図２９Ａ、図２９Ｂ、図２９Ｃ、図２９Ｄは、実施の形態４の符号化レート変換装置が、図２８Ｂに示される変換後の量子化マトリクスを使用して、Ｈ．２６４のマクロブロックタイプごとに変換された量子化ＤＣＴ係数の変換率を示す。

図２９Ａは、マトリクス番号Ｍ０に対応する変換パターンＰＡにより変換された量子化マトリクスにより、４×４のサイズの輝度のＭＢが再量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、再量子化により、輝度のＭＢが示す全ての量子化ＤＣＴ係数が１倍されたことが示される。

また、図２９Ａは、マトリクス番号Ｍ１に対応する変換パターンＰＢにより変換された量子化マトリクスにより、色差（青成分）のＭＢが再量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、再量子化により、色差（青成分）のＭＢが示す複数の量子化ＤＣＴ係数のうち、左上の１つの量子化ＤＣＴ係数のみが２倍されたことが示される。

また、図２９Ａは、マトリクス番号Ｍ２に対応する変換パターンＰＣにより変換された量子化マトリクスにより、色差（赤成分）のＭＢが再量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、再量子化により、色差（赤成分）のＭＢが示す複数の量子化ＤＣＴ係数のうち、左上の３つの量子化ＤＣＴ係数のみが４倍されたことが示される。

図２９Ｂ、図２９Ｃおよび図２９Ｄに示されるマトリクスは、図２９Ａで説明したのと同様であるので詳細な説明は繰り返さない。

たとえば、図２９Ｃは、マトリクス番号Ｍ６に対応する変換パターンＰＤにより変換された量子化マトリクスにより、輝度のＭＢが逆量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、逆量子化により、輝度のＭＢが示す複数の量子化ＤＣＴ係数のうち、左上の６つの量子化ＤＣＴ係数のみが２倍されたことが示される。

図２９Ａ、図２９Ｂ、図２９Ｃ、図２９Ｄに示されるマトリクスが示す数値が大きいほど、符号量は大きくなるが、量子化誤差を低減することができる。

以上のように、ブロックタイプ、予測タイプ、ブロックサイズの性質に応じて、その組み合わせによって、量子化誤差の低減度合いに差をつけることで、要求される符号化レートへの変換時に画質劣化を抑えることができる。

なお、本実施の形態において、ブロックタイプには、輝度、色差（青成分）、色差（赤成分）のタイプが存在することを前提に説明を行ったが、その他のタイプが存在していてもよい。

なお、本実施の形態において、予測タイプには、Ｉｎｔｒａ、Ｉｎｔｅｒが存在することを前提に説明を行ったが、その他のタイプが存在していてもよい。

なお、本実施の形態において、ブロックサイズには、８×８、４×４が存在することを前提に説明を行ったが、その他のサイズが存在していてもよい。

なお、本実施の形態において、ブロックタイプ、予測タイプ、ブロックサイズに応じて、独立して量子化マトリクスの定義が可能なコーデックを前提に説明を行った。しかしながら、それに限定されず、それ以外の属性で独立に量子化マトリクスの定義が可能なコーデックであれば、その属性に応じて独立に量子化マトリクスを変換してもよい。

なお、本実施の形態において、予測タイプやブロックサイズは、ＭＢ内で固定であることを前提に説明を行っているが、予測タイプやブロックサイズがＭＢで可変であっても、本発明は実施可能である。

なお、本実施の形態において、ＩｎｔｅｒＭＢの量子化マトリクス変換率をＩｎｔｒａＭＢの量子化マトリクス変換率より下げる例を挙げている。しかし、例えば、画面間の相関性が低く、ＩｎｔｅｒＭＢの誤差が画質に与える影響が高い場合は、逆のほうが優れる場合もある。

本発明は、参照タイプ（ＩｎｔｅｒＭＢ、ＩｎｔｒａＭＢ）によって、量子化マトリクス変換を変更することが本質であり、どちらかの変換率が大きくするかどうかに依存するものではない。また、これは、ブロックタイプ（輝度・色差）、ブロックサイズ（８×８、４×４）によっても同様である。

なお、本実施の形態において、実施の形態１の符号化レート変換装置１０００を基準に説明を行った。しかしながら、本発明の本質は、ブロックタイプ、予測タイプ、ブロックサイズなどの属性に応じて量子化マトリクスの変換方法を変える点である。そのため、本発明は実施の形態２の符号化レート変換装置１０００Ａにも適用可能である。

（実施の形態５）
また、実施の形態１〜２の符号化レート変換装置では、量子化スケールが１種類であること、またすべての種類の量子化スケールに同等の変換をすることを想定している。しかし、予測タイプ（ＩｎｔｒａＭＢ／ＩｎｔｅｒＭＢ）は、マクロブロックごとにしか切り替わらないので、ＩｎｔｒａＭＢの量子化スケール、ＩｎｔｅｒＭＢの量子化スケールで、変換方法を変更することも可能である。

また、Ｈ．２６４におけるブロックサイズ（輝度８×８または４×４）も、マクロブロックごとにしか切り替わらないので、同様に変換方法を変更することも可能である。なお、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））は、１つのマクロブロックの中に複数タイプが存在するが、ＭＰＥＧ２では、両者の量子化スケールは共通である。

また、Ｈ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅでは、輝度、色差（青成分）、色差（赤成分）の３種類の量子化スケールが存在するものの、それぞれの量子化スケールは、その比率がピクチャ内で固定である。そのため、マクロブロックごとに３種類の量子化スケールを独立に設定できるわけではない。ＭＰＥＧ２、Ｈ．２６４以外でそれぞれの量子化スケールを独立に変更可能なコーデックにおいては、そのそれぞれで量子化スケールの変換方法を変更することも可能である。

本発明の実施の形態５における符号化レート変換装置の構成は、実施の形態１の図１１の符号化レート変換装置１０００の構成と同じであるので詳細な説明は繰り返さない。

本発明の実施の形態５における符号化レート変換装置は、量子化マトリクス変換制御部１１０および量子化スケール増加変換部１０４が、実施の形態４と同様に、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））、予測タイプ（ＩｎｔｒａＭＢ／ＩｎｔｅｒＭＢ）、ブロックサイズなどの属性に応じて、量子化スケールの値を変化させるための値（量子化スケール変換率β）を変更する。なお、その他の処理は、実施の形態１で説明した処理と同様なので詳細な説明は繰り返さない。

なお、本発明は実施の形態２の符号化レート変換装置１０００Ａにも適用可能である。この場合、量子化マトリクス変換制御部１１０Ａおよび量子化スケール増加・削減変換部１０４Ａが、実施の形態４と同様に、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））、予測タイプ（ＩｎｔｒａＭＢ／ＩｎｔｅｒＭＢ）、ブロックサイズなどの属性に応じて、量子化スケールの値を変化させるための値（量子化スケール変換率β）を変更する。

（実施の形態６）
本実施の形態では、実施の形態１〜５で示した符号化レート変換装置の応用例あるいはそれを用いたシステムを説明する。

図３０は、符号化レート変換装置を用いた放送ストリーム受信記録装置２００８とそのシステム構成を示す図である。放送ストリーム受信記録装置２００８は、符号化レート変換部２００１と、放送受信部２００３と、ＡＶ多重分離部２００４と、ＡＶ多重部２００５と、ＨＤＤ制御部２００６と、ＨＤＤ２００７とを備える。なお、放送ストリーム受信記録装置２００８内の符号化レート変換部２００１が、実施の形態１〜５で示した符号化レート変換装置と同様な処理を行なう。

放送ストリーム受信記録装置２００８は、デジタル放送波２００２を受けて動作し、放送波から受信したデジタルデータの符号化レートを変換してＨＤＤ２００７に記録する。

デジタル放送波２００２は、変調された状態で搬送波にのせて伝送される。デジタル放送波２００２は、複数のプログラムを含む。複数のプログラムの各々は、ＭＰＥＧ２で符号化された映像データと、ＡＡＣで符号化された音声データと、字幕情報やデータ放送などのシステムデータとを含む。

放送受信部２００３は、デジタル放送波２００２を復調する。そして、放送受信部２００３は、復調により得られた複数プログラムの中から、所望の１つのプログラムを分離して、分離したプログラムを、ＡＶ多重分離部２００４に通知する。

ＡＶ多重分離部２００４は、映像データ、音声データ、システムデータが多重化されたストリームから、映像データだけを抽出して、映像データを符号化レート変換部２００１に通知する。ＡＶ多重分離部２００４は、映像データ以外のデータは、ＡＶ多重部２００５に通知する。

符号化レート変換部２００１は、映像データを所望の符号化レートに変換し、変換後の映像データ（符号化レート変換済みの映像データ）をＡＶ多重部２００５に通知する。ＡＶ多重部２００５は、符号化レート変換済みの映像データと、元の音声データ、システムデータを多重化して、１つのプログラムを再構成し、再構成した１つのプログラムをＨＤＤ制御部２００６に通知する。ＨＤＤ制御部２００６は、プログラムをＨＤＤ２００７に記録する。

日本のＢＳデジタル放送において、１つのプログラムの符号化レートは、２４Ｍｂｐｓである。そのため、ＨＤＤに１時間番組をそのまま記録する場合、ＨＤＤは、１０Ｇｂｙｔｅ以上の容量が必要になる。ＨＤＤが２５０Ｇｂｙｔｅの容量を有していても、２０時間程度しか記録することができない。これに伴い、ＨＤＤにもっと長時間の番組を記録したいという要求が存在する。

本実施の形態における放送ストリーム受信記録装置は、プログラムの中で映像データが約９割を占めることを利用して、映像データの符号化レートを例えば１／２倍に変換することで、上記の要求に答えることができる。

なお、本実施の形態では、放送ストリーム受信記録装置２００８は、デジタル放送波２００２を受信し、処理するようにしている。しかしながら、これに限定されることなく、放送ストリーム受信記録装置２００８は、符号化レート変換なしでＨＤＤに記録されたストリームや、ネットワークを通じて配信されたストリームを受信し、処理してもよい。

また、本実施の形態では、放送ストリーム受信記録装置２００８が受信したデータの記録先をＨＤＤとした。しかしながら、これに限定されず、ＤＶＤなどの光ディスクやメモリーカードなど他の記録媒体としてもよい。

（実施の形態７）
本実施の形態では、実施の形態１〜５で示した符号化レート変換装置の応用例あるいはそれを用いたシステムを説明する。

図３１は、符号化レート変換装置を用いたネットワーク配信システム５０００の一例の構成を示すブロック図である。

ネットワーク配信システム５０００は、ストリーム送信装置２１１０と、ストリーム受信装置２１１１と、ネットワーク２１０９とを含む。ストリーム送信装置２１１０は、符号化ストリームをネットワーク２１０９へ送信する。ストリーム受信装置２１１１は、ネットワーク２１０９から符号化ストリームを受信する。

ネットワーク配信システム５０００は、ストリーム送信装置２１１０のＨＤＤに記録されたＡＶストリームをネットワーク２１０９を通じて配信し、ストリーム受信装置２１１１で再生するシステムである。

ストリーム送信装置２１１０は、符号化レート変換部２１０１と、ＨＤＤ２１０２と、ＨＤＤ制御部２１０３と、ＡＶ多重分離部２１０４と、ＡＶ多重部２１０５と、ネットワーク制御部２１０６とを備える。なお、ストリーム送信装置２１１０内の符号化レート変換部２１０１が、実施の形態１〜５で示した符号化レート変換装置と同様な処理を行なう。ＨＤＤ２１０２には、映像ストリーム、音声ストリーム、システムストリームを含む１つのプログラムが格納されている。

ＨＤＤ制御部２１０３は、ＨＤＤ２１０２からストリームを読み出し、読み出したストリームをＡＶ多重分離部２１０４に通知する。ＡＶ多重分離部２１０４は、実施の形態６と同様、映像ストリームだけを分離して、分離した映像ストリームを符号化レート変換部２１０１に通知する。映像ストリーム以外のストリームは、ＡＶ多重部２１０５に通知する。

符号化レート変換部２１０１は、映像ストリームの符号化レートを変換して、変換後の映像ストリームをＡＶ多重部２１０５に通知する。ＡＶ多重部２１０５は、映像ストリームと音声、システムストリームを再度多重化した１つのＡＶストリームを生成し、生成したストリームをネットワーク制御部２１０６に通知する。

ネットワーク制御部２１０６は、受信したＡＶストリームをネットワーク２１０９に送信する。ネットワーク制御部２１０６は、ネットワーク２１０９が伝送可能なデータの符号化レートを検出し、検出した符号化レートの情報を、符号化レート変換部２１０１に通知する。

ストリーム受信装置２１１１は、ネットワーク制御部２１０７と、ＡＶ再生部２１０８とを備える。ネットワーク制御部２１０７は、ネットワーク２１０９からＡＶストリームを受信し、受信したＡＶストリームをＡＶ再生部２１０８に通知する。ＡＶ再生部２１０８は、ＡＶ多重分離やＡＶストリームの復号を行い、映像（データ放送や字幕も含む）、音声を再生する。なお、ＡＶ再生部は符号化レート変換に直接関係ないので、詳細な構成は省略する。

例えば、日本のＢＳデジタル放送では、１つのプログラムあたりの符号化レートが２４Ｍｂｐｓである。しかしながら、ネットワークではＡＶストリーム以外のデータも同時に伝送されているので、ネットワークでは、２４Ｍｂｐｓの帯域が保障できないことが多い。また、ネットワークが無線の場合は、電波状態によって伝送可能な帯域が随時変化する。そのため、ネットワークでは、２４Ｍｂｐｓの帯域を保障することができないことが多い。帯域が保障できない場合、ＡＶストリームのデータが抜け落ちることで、ストリームの復号が頻繁にエラーになる。そのため、ＡＶ再生がほとんどできないことになる。

ストリーム送信装置２１１０は、ネットワーク制御部２１０６が、ネットワーク２１０９の状態を検知し、ネットワーク２１０９で伝送可能なデータの帯域の情報を符号化レート変換部２１０１に通知する。これにより、符号化レート変換部２１０１は、ＡＶストリームをネットワーク２１０９で伝送可能な符号化レートに変換することができる。これにより、ネットワーク２１０９上でデータが抜け落ちることがなくなるので、ストリーム受信装置２１１１は正常にＡＶ再生ができるようになる。

なお、本実施の形態では、ストリーム送信装置２１１０が受信するデータを、ＨＤＤ２１０２から読み出したデータとしている。しかしながら、これに限定されず、ストリーム送信装置２１１０が受信するデータは、デジタル放送波に含まれるデータや、他の記録媒体から読み出されたデータとしてもよい。

なお、本発明の実施の形態１〜７において、符号化レート変換装置を構成する各機能ブロックは、典型的には、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現される。しかしながら、これに限定されず、符号化レート変換装置を構成する各機能ブロックの一部または全部を集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、使用される集積回路をＬＳＩとしたが、集積度の違いにより、使用される集積回路は、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等のいずれであってもよい。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤ ＰＲＯＧＲＡＭＭＡＢＬＥ ＧＡＴＥ ＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

以上のように、本発明に係る符号化レート変換装置は、例えば、放送ストリーム受信記録装置やネットワークへのストリーム送信装置等において、映像ストリームの符号化レートを低減する際に有用である。

本発明は、符号化データの情報量をさらに削減するために符号化レートを変換する技術に関するもので、より具体的には、符号化レート変換に伴う画質劣化を抑制する符号化レート変換装置等に関するものである。

近年、高圧縮を実現するＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）が画像符号化技術として採用されている。この技術はデジタル放送、ＤＶＤ、ネットワークなどの記録媒体に用いられ、それらの用途に合わせて、ビットレートは一定の範囲内で選択できるようになっている。

例えば、高画質のデジタル放送を記録媒体に記録するビットレートを選択するにあたり、高画質のデータをそのまま記録媒体に記録するのではなく、さらに情報量を削減するためビットレートを小さくするよう符号化レートを変換することで、より多くのデータを記録媒体に記録することができる。また、記録媒体の容量を有効利用するために符号化レートを変換する高速ダビングなどのニーズも高まっている。

また、記録媒体に記録したデジタル放送をネットワークに配信するにあたり、高画質のデータをそのままネットワークに配信するのではなく、ネットワーク帯域に応じてビットレートを小さくするよう符号化レートを変換することで、帯域の狭いネットワークでも映像を配信することができる。

以上を実現する符号化レート変換方法の一つに、再量子化型の変換方法がある。この方法は、入力ビットストリームを画素レベルまで復号するのではなく、逆量子化した後のＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を、異なる量子化スケールで再量子化することで所望のデータ量に変換することで、画素レベルまで復号を行うことなく、符号化レートを削減できる方法である。

以降、再量子化型の符号化レート変換方法の詳細を説明する前に、ＭＰＥＧ２のＤＣＴ変換および量子化に関する詳細な説明を行う。

ＭＰＥＧ２では、１つのピクチャの符号化データは１つ以上のスライスから構成され、１つのスライスは１つ以上のマクロブロック（ＭＢ）から構成される。以下においては、マクロブロックを、ＭＢという。ＭＢは、ヘッダ部と、ブロック部とを有する。以下においては、ＭＢのヘッダ部およびＭＢのブロック部を、それぞれ、ＭＢヘッダ部およびＭＢブロック部という。ＭＢブロック部は、複数の量子化ＤＣＴ係数を示す。量子化ＤＣＴ係数は、ピクチャに対し所定サイズのブロック毎にＤＣＴ（離散コサイン変換）して得られたＤＣＴ係数を量子化することにより得られる係数である。

また、１つのマクロブロックは、標準（４：２：０）で、輝度のブロックが４つ、色差のブロックが２つの合計６つのブロックから構成される。輝度と色差でブロックの数が異なるのは、密度の観点において、人間が色差より輝度に敏感である視覚特性に基づいて決定されている。ＭＰＥＧ２では、６つのブロックを、輝度Ｙ（左上）、輝度Ｙ（右上）、輝度Ｙ（左下）、輝度Ｙ（右下）、色差Ｃｂ（青成分）、色差Ｃｒ（赤成分）の順番に符号化されている。

１つのブロックは、８×８サイズの係数（量子化ＤＣＴ係数）群で符号化されており、この係数群を逆量子化し、さらに逆ＤＣＴ変換すると、８×８サイズの画素に復号することができる。

ブロックに含まれる係数群は、左上の係数が低周波成分で、右に行くほど水平方向に高周波成分の係数、下に行くほど垂直方向に高周波成分の係数になり、右下の係数は水平方向にも垂直方向にも高周波成分となる。左上角の１係数がＤＣ成分（直流）で、その他はＡＣ成分（交流）である。

上記の量子化ＤＣＴ係数の逆量子化方法は、動き補償を行わないＩｎｔｒａＭＢか、動き補償を行うＩｎｔｅｒＭＢかどうかによって異なる。ＩｎｔｒａＭＢは、処理対象のピクチャ内の情報を利用してデータを圧縮するマクロブロックである。また、ＩｎｔｒａＭＢでは、ＤＣ成分かＡＣ成分かによっても異なる。ＩｎｔｅｒＭＢは、処理対象のピクチャと異なるピクチャ内の情報を利用してデータを圧縮するマクロブロックである。

ＩｎｔｒａＭＢのＤＣ成分は、以下の式に従って逆量子化される。

（ＤＣＴ係数）＝（逆量子化係数）×（量子化ＤＣＴ係数）

一方、ＩｎｔｒａＭＢのＡＣ成分は、以下の式（以下、逆量子化の式という）に従って逆量子化される。

（ＤＣＴ係数）＝（２×量子化ＤＣＴ係数）×量子化マトリクス×量子化スケール／３２

また、ＩｎｔｅｒＭＢは、ＤＣ成分、ＡＣ成分にかかわらず、以下の式（以下、逆量子化の式という）に従って逆量子化される。

ＤＣＴ係数＝
（２×量子化ＤＣＴ係数＋１）×量子化マトリクス×量子化スケール／３２ （量子化ＤＣＴ係数＞０の場合）
（２×量子化ＤＣＴ係数） ×量子化マトリクス×量子化スケール／３２ （量子化ＤＣＴ係数＝０の場合）
（２×量子化ＤＣＴ係数−１）×量子化マトリクス×量子化スケール／３２ （量子化ＤＣＴ係数＜０の場合）

上式において、逆量子化係数や量子化スケールは係数（スカラ）であるが、量子化マトリクスは、８×８サイズの係数群（ベクトル）で構成されており、求めるＤＣＴ係数の位置に応じた係数を使用する。

逆量子化係数や量子化マトリクスは、ピクチャ単位で指定され、量子化スケールは、マクロブロック単位で指定される。

また、量子化スケールは、そのままの値で符号化されているのではなく、ＭＢヘッダ部が示す符号化された量子化スケールコード（量子化パラメータ）から図１の表に基づいて変換する。量子化スケールコード（量子化パラメータ）から量子化スケールの変換は、線形タイプと非線形タイプの２つのタイプが存在し、どちらのタイプで符号化するかはピクチャ単位で指定される。

次に、量子化ＤＣＴ係数は、図２Ａに示すジグザグスキャンおよび図２Ｂに示すオルタネートスキャンのいずれかが示す順番で、非０係数だけが符号化される。どちらのスキャン順が用いられているかどうかはピクチャ単位で指定される。ジグザグスキャンはプログレッシブ画像の符号化に適し、オルタネートスキャンはインターレース画像の符号化に適する。以降、ジグザグスキャンにて説明を行うが、オルタネートスキャンでもジグザグスキャンと同様の議論が成り立つ。

非０係数の符号化は、一つ前の非０係数からの項目数ｒｕｎ（＝連続する０係数の個数）および非０の量子化ＤＣＴ係数値ｌｅｖｅｌが符号化され、最後の非０係数の次にはＥＯＢ（Ｅｎｄ Ｏｆ Ｂｌｏｃｋ）が符号化され、それ以降の０係数は省略される。例えば、低周波成分から７、３、０、０、１、以降すべて０、の順で量子化ＤＣＴ係数が存在するブロックでは、（ｒｕｎ、ｌｅｖｅｌ）＝（０、７）、（０、３）、（２、１）、ＥＯＢの順番で符号化される。

次に、再量子化型の符号化レート変換方法の詳細について説明する（特許文献１参照）。

図３は、ＭＰＥＧ２の復号化装置１００００の一例の構成を示すブロック図である。可変長復号部２２０１は、ＭＰＥＧ２ストリームを復号し、復号により得られた複数のＭＢブロック部の各々が示す情報（量子化ＤＣＴ係数）を逆量子化部２２０２に通知する。

まず、ＩｎｔｒａＭＢの場合、逆量子化部２２０２は、量子化ＤＣＴ係数を逆量子化してＤＣＴ係数に戻し、ＤＣＴ係数を逆ＤＣＴ変換部２２０３に通知する。逆ＤＣＴ変換部２２０３は、逆ＤＣＴ変換を行い、ＤＣＴ係数を画素情報に戻す。戻された画素情報は画素復元部２２０６を通じて出力する。また、画素情報は次のピクチャ以降で参照される可能性があるため、参照フレーム格納部２２０４に格納される。

次に、ＩｎｔｅｒＭＢの場合は、逆ＤＣＴ変換により得られた画素情報が差分値であるため、画素復元部２２０６にＤＣＴ係数を出力した後もさらに処理が必要である。動き補償部２２０５は、可変長復号部２２０１で復号した動きベクトルで指定された参照画像を参照フレーム格納部２２０４から取得して、画素復元部２２０６に通知する。画素復元部２２０６は、参照画像と画素情報の差分を加算して画素情報を求め、出力する。復元した画素情報はＩｎｔｅｒＭＢと同様に参照フレーム格納部２２０４に格納される。

図４は、ＭＰＥＧ２の符号化装置１０００１の一例の構成を示すブロック図である。基本的にＭＰＥＧ２の復号化装置１００００の逆の構成となっている。

ＩｎｔｒａＭＢの場合、画素情報はまずＤＣＴ変換部２３０１でＤＣＴ変換され、ＤＣＴ変換により得られた情報が量子化部２３０２に通知される。レート制御部２３１１は、目標の符号化レートを、可変長符号部２３０３から得た実際の符号化ビット量の実績値で補正しながら、量子化スケールを求めて、量子化スケールを量子化部２３０２に通知する。

量子化部２３０２は、ＤＣＴ係数をレート制御で算出された量子化スケールで量子化を行い、量子化により得られた情報を可変長符号部２３０３に通知すると同時に、参照画像として利用するため、量子化により得られた情報を逆量子化部２３０４に通知する。可変長符号部２３０３は、量子化ＤＣＴ係数をストリームとして符号化する。次以降のピクチャで参照画像として利用するために、量子化ＤＣＴ係数は、復号化装置１００００と同様に、逆量子化部２３０４、逆ＤＣＴ変換部２３０５により、画像情報まで復号されて、画像情報が参照フレーム格納部２３０６に格納される。

ＩｎｔｅｒＭＢの場合、参照画像を用いた画像情報量削減を行うため、まず動き検出部２３０７で、参照フレーム格納部２３０６から入力画像と一致度の高い画像を検出して、動きベクトルを算出する。動きベクトルは、動き補償部２３０８に通知されるとともに、ストリームのＭＢヘッダ部の情報として符号化するため、可変長符号部２３０３に通知される。動き補償部２３０８は、動きベクトルを元に、参照フレーム格納部２３０６から参照画像を取得し、画素減算部２３０９が、入力画像との差分を求めることで、情報量を削減する。以降は、ＩｎｔｒａＭＢの場合と同じである。

次以降のピクチャで参照画像として利用するために、逆量子化部２３０４、逆ＤＣＴ変換部２３０５を通すと、画像情報の差分が求まるので、動き補償部２３０８で求めた参照画像を画素加算部２３１０が加えると、画像情報が復号でき、画像情報が参照フレーム格納部２３０６に格納される。

ここで、ＭＰＥＧ２では、ＭＢヘッダ部のビット量はほぼ決まった範囲のビット量を取り、さらに、ＭＢヘッダ部のビット量が符号化ストリーム全体に占める割合はわずかである。逆に、ＭＢブロック部のビット量はＭＢごとのばらつきが大きく、さらに、ＭＢブロック部のビット量は符号化ストリームの大部分を占める。したがって、符号化ストリームの符号化レートを低減するためには、何らかの手段で、ＭＢブロック部の量子化ＤＣＴ係数（ｌｅｖｅｌ）を低減する手法が有効である。

量子化ＤＣＴ係数（ｌｅｖｅｌ）を低減すると、小さなｌｅｖｅｌは短い符号化ビットで表現可能である。さらにｌｅｖｅｌが０になれば、ｌｅｖｅｌの符号化自体が不要になるため、符号化レートを低減できる。

再量子化型のレート変換装置は、上記の量子化の性質を利用した変換装置であり、ＭＰＥＧ復号化装置とＭＰＥＧ符号化装置を結合して、不要な構成を省いた構成である。ストリームを画像レベルまで復号せずに、量子化だけでレートを変換するため、ＤＣＴ変換や動き補償を行う必要がないという利点がある。

量子化ＤＣＴ係数（ｌｅｖｅｌ）を低減するには、前述した逆量子化の式を参照すると、量子化スケールおよび量子化マトリクスのいずれかを大きくすればよいことがわかる。まずは、再量子化型の符号化レート変換装置の一例として、量子化スケール再変換型の符号化レート変換装置の詳細を説明する。

量子化スケール再変換型の符号化レート変換装置１１０００の構成図を図５に示す。

可変長復号部２４０１は、ＭＰＥＧ２ストリームを復号する。可変長復号部２４０１は、逆量子化係数や量子化マトリクスを含むピクチャヘッダは変換せずに、ピクチャヘッダを可変長符号部２４０２にそのまま通知する（図示せず）。可変長復号部２４０１は、ＭＢヘッダ部のパラメータをＭＢヘッダ格納部２４０５に通知すると同時に、ＭＢヘッダ部が示す量子化スケールコードを量子化スケールに変換し、当該量子化スケールを量子化スケール増加変換部２４０４に通知する。可変長復号部２４０１は、ＭＢブロック部が示す量子化ＤＣＴ係数などのパラメータを逆量子化部２４０６に通知する。

逆量子化部２４０６は、入力ストリームの量子化スケールにしたがって、逆量子化を行い、量子化部２４０７に通知する。

一方、レート制御部２４０３は、目標変換レートに従って、目標量子化スケールを算出して、算出した目標量子化スケールを量子化スケール増加変換部２４０４に通知する。

量子化スケール増加変換部２４０４は、目標量子化スケールを参考に、入力時の量子化スケールから出力時の新しい量子化スケールに変換し、変換した量子化スケールを量子化部２４０７に通知すると同時に、変換した量子化スケールをＭＢヘッダ格納部２４０５に通知する。

ＭＢヘッダ格納部２４０５では、量子化スケールを量子化スケールコードに変換し、新しい値に書き換える。ＭＢヘッダ格納部２４０５は、ＭＢヘッダに該当するパラメータを可変長符号部２４０２に通知する。これにより、ＭＢヘッダ部のストリームが得られる。

また、量子化部２４０７は、新しい量子化スケールにしたがって、量子化を行い、その結果得られる量子化ＤＣＴ係数を可変長符号部２４０２に通知する。これにより、ＭＢブロック部のストリームが得られる。

レート制御部２４０３は、随時、可変長復号部２４０１から復号したビット量を取得し、かつ、可変長符号部２４０２から符号化されたビット量を得て、目標レートの補正を行う。

次に、量子化スケール再変換型の符号化レート変換装置１１０００におけるレート制御の詳細を説明する。

ＭＰＥＧ２では、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００ Ｔｅｓｔ Ｍｏｄｅｌ ５（以下、ＴＭ５と記載）に符号化時のレート制御方式が記載されており、符号化レート変換においても、ＴＭ５と同等の方式が用いられている（特許文献１参照）ことが多い。そのため、まずはＴＭ５を説明する。ＴＭ５のレート制御方式は３つのステップから成り立っている。

ステップ１は、目標ビットレートからピクチャごとにビット配分を行うフェーズである。ステップ２は、ピクチャごとに配分されたビットを元に量子化スケールを算出するフェーズである。ステップ３は、視覚的特性を考慮して量子化スケールを補正するフェーズである。

ステップ１では、目標符号化レートやピクチャ構成（Ｉ，Ｐ，Ｂピクチャ）などに従って、ピクチャごとにビットを配分することが数式で規定されているが、本発明には直接関係しないので、詳細は省略する。

ステップ２では、仮想的な基準復号部を想定し、仮想バッファに対するレート制御を行う。このレート制御処理では、Ｉ，Ｐ，Ｂピクチャにそれぞれ割り当てられたビット量Ｔｉ、Ｔｐ、Ｔｂと、実際にＩ，Ｐ，Ｂピクチャでそれぞれ発生するビット量Ｓｉ、Ｓｐ、Ｓｂとをそれぞれ一致させるための処理が行なわれる。具体的には、ピクチャタイプごとに個別に設定した３種類の仮想バッファ容量に基づいて、量子化スケールをマクロブロック単位のフィードバック制御で求める。Ｉ，Ｐ，Ｂピクチャ内のｊ番目のマクロブロックの符号化時に使用する仮想バッファの占有量ｄｉ（ｊ）、ｄｐ（ｊ）、ｄｂ（ｊ）は、以下の式で与えられる。

ｄｋ（ｊ）＝ｄｋ（０）＋Ｂ（ｊ−１）−Ｔｋ×（ｊ−１）／ＮＭＢ （ただしｋ＝ｉ，ｐ，ｂ）

ここで、ｄｉ（０）、ｄｐ（０）、ｄｂ（０）は仮想バッファの初期占有量である。Ｂ（ｊ−１）は（ｊ−１）番目までのマクロブロックの発生符号量の総和である。ＮＭＢはピクチャのマクロブロック数である。上記仮想バッファの占有量に基づき、Ｉ，Ｐ，Ｂピクチャ内のｊ番目のマクロブロックの量子化スケールｍｑｉ（ｊ）、ｍｑｐ（ｊ）、ｍｑｂ（ｊ）は、以下の式で与えられる。

ｍｑｋ（ｊ）＝ｄｋ（ｊ）×３１／ｒ （ただしｋ＝ｉ，ｐ，ｂ）

ここで、ｒはリアクションパラメータと呼ばれる定数である。ステップ３は、本発明には直接関係しないので、詳細は省略する。

次に、量子化スケール再変換型の符号化レート変換装置における量子化スケール変換の詳細を説明する。

レート制御により量子化スケールが得られる。しかし、符号化レート変換においてその量子化スケールをそのまま利用することは必ずしも得策ではない。例えば、ＴＭ５は入力ストリームとは無関係に量子化スケールを算出する。そのため、入力ストリームの量子化スケールｑｉｋ（ｊ）と比較して、レート制御で得られた量子化スケールｍｑｋ（ｊ）が小さい場合が発生する。その場合に、量子化スケールにｍｑｋ（ｊ）をそのまま用いると、出力されるビット量が入力ストリームより増加することになる。

しかし、入力ストリームを変換して出力する以上、出力ストリームの量子化誤差が入力ストリームの量子化誤差より小さくなることはありえないので、ここでのビット量の増加は全くの無意味である。したがって、出力ストリームの量子化スケールｑｏｋ（ｊ）は、
ｑｏｋ（ｊ）＝ｍａｘ｛ｑｉｋ（ｊ），ｍｑｋ（ｊ）｝ （ただしｋ＝ｉ，ｐ，ｂ）
とするのがよい。また、それ以外にも、出力ストリームの量子化スケールｑｏｋ（ｊ）に対して、レート制御で得られた量子化スケールｍｑｋ（ｊ）をそのまま用いるのではなく、
ｑｏｋ（ｊ）＝
ｑｉｋ（ｊ） （ｍｑｋ（ｊ）＜１．５×ｑｉｋ（ｊ）の場合）
２×ｑｉｋ（ｊ） （１．５×ｑｉｋ（ｊ）≦ｍｑｋ（ｊ）＜２×ｑｉｋ（ｊ）の場合）
ｍｑｋ（ｊ） （ ２×ｑｉｋ（ｊ）＜ｍｑｋ（ｊ）の場合）
（ただしｋ＝ｉ，ｐ，ｂ）
とするほうが、同一符号量あたりの画質劣化が抑えられるとの報告もある（特許文献２参照）。いずれの場合であっても、出力ストリームの量子化スケールは、レート制御で得られた量子化スケールをそのまま用いるのではなく、レート制御で得られた量子化スケールを参照して、入力ストリームの量子化スケールを増加方向に変換すればよいことになる。

次に、量子化スケール再変換型の符号化レート変換装置１１０００における量子化の具体例を図６を用いて説明する。

レート制御や量子化スケール変換の結果、量子化スケールが４から８に、すなわち２倍に変換されることになったとする。前述した逆量子化の式を参照すると、量子化ＤＣＴ係数は量子化スケールにほぼ反比例させる必要があるため、量子化ＤＣＴ係数は１／２倍に変換する必要がある。

８個の非０量子化ＤＣＴ係数（ｌｅｖｅｌ）７、−３、２、１、４、１、−１、１が存在するＩｎｔｅｒＭＢのブロックにおいては、本来３．５、−１．５、１、０．５、２、０．５、−０．５、０．５に変換するのが望ましい。しかしながら、量子化ＤＣＴ係数は整数でしか符号化できないため、３．５、−１．５、１、０．５、２、０．５、−０．５、０．５は、それぞれ３、−１、１、０、２、０、０、０に整数化（ここでは小数点以下は切捨てとする）され、ｌｅｖｅｌの値が減少する。

また、非０係数の個数が変換前の８個から変換後は４個に減少する。これを符号化すると、入力時５０ｂｉｔだった符号量が、２５ｂｉｔに減少させることができるので、符号化レートを低減することができる。

しかし、整数化（小数点以下を切り捨て）の際には誤差（量子化誤差）が発生する。量子化スケールは量子化ＤＣＴ係数のすべての周波数成分にかかる係数である。そのため、低周波成分から高周波成分に至るまでのすべての周波数で一律に誤差が発生する可能性がある。中でも低周波成分に対する誤差に対しては、人間の視覚は非常に敏感であり、その誤差がブロック状のノイズとして観察される。

量子化スケール再変換型の符号化レート変換装置では、量子化スケールだけで符号化レートを制御する必要があるため、目標符号化レートを達成するために、量子化スケール変換率を大きくしなければならないので、上記の低周波成分の誤差に起因するブロックノイズが大規模に発生する可能性がある。ここで、量子化スケール変換率は、量子化スケールの値を変換するための値である。

一方、再量子化型の符号化レート変換方法として、量子化スケール再変換型の符号化レート変換方式だけではなく、量子化マトリクス再変換型の符号化レート変換方式も存在する（特許文献３参照）。

量子化マトリクスは、ブロックサイズ（８×８）の係数群である。量子化マトリクスは、量子化スケールと違い、周波数成分ごとに係数が独立しているため、周波数成分ごとに変換率を変更して量子化誤差を制御すれば、量子化スケール再変換型の符号化レート変換装置における課題を解決できる可能性がある。

量子化マトリクス再変換型の符号化レート変換装置１２０００を図７に示す。

可変長復号部２５０１は、ＭＰＥＧ２ストリームを復号する。可変長復号部２５０１は、復号により得られた量子化マトリクスを含むピクチャヘッダをピクチャヘッダ格納部２５０５に通知すると同時に、量子化マトリクス高域増加変換部２５０４に通知する。

レート制御部２５０３は、目標変換レートに基づいて、当該ピクチャの目標符号量を、量子化マトリクス高域増加変換部２５０４に通知する。

量子化マトリクス高域増加変換部２５０４は、制御情報に基づいて、入力ストリームの量子化マトリクスの高周波成分（高域）の係数を増加方向に変換し、変換された係数を示す変換後の量子化マトリクスを量子化部２５０７に通知すると同時に、変換後の量子化マトリクスをピクチャヘッダ格納部２５０５に通知する。

ピクチャヘッダ格納部２５０５は、ピクチャヘッダを可変長符号部２５０２に通知する。これにより、ピクチャヘッダのストリームが得られる。

次に、ＭＢの処理としては、可変長復号部２５０１が、ＭＢヘッダを、可変長符号部２５０２に直接通知する（図示していない）。また、可変長復号部２５０１は、ＭＢのブロック部の量子化ＤＣＴ係数などのパラメータを逆量子化部２５０６に通知する。

また、量子化部２５０７は、新しい量子化マトリクスにしたがって、量子化を行い、その結果得られる量子化ＤＣＴ係数を可変長符号部２５０２に通知する。これにより、ＭＢブロック部のストリームが得られる。

すべてのＭＢに対し処理が終了した後、レート制御部２５０３は、可変長復号部２５０１から復号されたビット量を得て、可変長符号部２５０２から符号化されたビット量を得て、目標レートの補正を行う。

次に、量子化マトリクス再変換型の符号化レート変換装置におけるレート制御の詳細を説明する。

当該ピクチャの目標符号量の算出は、量子化スケール再変換型の符号化レート変換装置１１０００と同様、ＴＭ５のステップ１を適用すればよいので、ここでは説明を省略する。

しかし、マクロブロック単位の制御は、量子化スケール再変換型の符号化レート変換装置１１０００ではＴＭ５のステップ２を利用していたが、これは量子化スケールを変更する方法のため、本方式には適用できない。

次に、量子化マトリクス再変換型の符号化レート変換装置１２０００における量子化マトリクス変換の詳細を説明する。

ここでは量子化マトリクスの変換を制御する一例として、例えば、Ｉ，Ｐ，Ｂピクチャのｉ番目のピクチャの量子化マトリクス強度ｗｉ（ｉ）、ｗｐ（ｉ）、ｗｂ（ｉ）を定義し、前のピクチャの実績値（目標と符号化結果の差）に基づいて、その強度を制御する例を取り上げる。

ｗｋ（ｉ）＝
ｍａｘ｛１，ｗｋ（ｉ−１）＋１｝ （Ｂｋ（ｉ−１）＜Ｔｋ（ｉ−１）＋Ｃの場合）
ｗｋ（ｉ−１） （Ｔｋ（ｉ−１）−Ｃ≦Ｂｋ（ｉ−１）≦Ｔｋ（ｉ−１）＋Ｃの場合）
ｍｉｎ｛４，ｗｋ（ｉ−１）−１｝ （Ｔｋ（ｉ−１）−Ｃ＜Ｂｋ（ｉ−１）の場合）
（ただしｋ＝ｉ，ｐ，ｂ）

ここで、Ｔｉ（ｉ−１）、Ｔｐ（ｉ−１）、Ｔｂ（ｉ−１）は、Ｉ，Ｐ，Ｂピクチャの（ｉ−１）番目のピクチャの目標符号量を示す定数である。Ｂｉ（ｉ−１）、Ｂｐ（ｉ−１）、Ｂｂ（ｉ−１）は、Ｉ，Ｐ，Ｂピクチャの（ｉ−１）番目のピクチャの実際の符号量を示す定数である。Ｃは目標の値と実際の値の差として許容可能な符号量を示す定数である。上記式により、量子化マトリクスは、目標符号化レートが達成できていれば強度を弱め、目標符号化レートが達成できていなければ強度を強めるように制御される。

次に、出力ストリームの量子化マトリクスの係数を、以下の式（以下、マトリクス変換式という）に基づいて、入力ストリームの量子化マトリクスの係数から変換する。なお、出力ストリームおよび入力ストリームの量子化マトリクスは、８行８列の行列であるとする。

Ｗｏ（ｕ，ｖ）＝
Ｗｉ（ｕ，ｖ） （ｕ＋ｖ≦ε（低周波成分）の場合）
ｗｋ（ｉ）×Ｗｉ（ｕ，ｖ） （ｕ＋ｖ＞ε（高周波成分）の場合）
（ただしｋ＝ｉ，ｐ，ｂ）

ここで、Ｗｉ（ｕ，ｖ）は、入力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数（ｕ＝０〜７、ｖ＝０〜７）を示す定数である。Ｗｏ（ｕ，ｖ）は、出力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数を示す定数である。また、Ｗｏ（ｕ，ｖ）は、ｖ＋１行ｕ＋１列で特定される係数を示す。たとえば、ｕ＝２，ｖ＝５の場合、Ｗｏ（ｕ，ｖ）は、６行３列で特定される係数を示す。εは誤差を抑制する閾値（基準周波数）を示す定数である。

次に、量子化マトリクス再変換型の符号化レート変換装置１２０００における量子化の具体例を図８を用いて説明する。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの高周波成分の係数（ε＝２の場合）を２倍に増加させることになったとする。ここで、上記のマトリクス変換式において、ε＝２とする。この場合、量子化マトリクスの低周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数となる。また、量子化マトリクスの高周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数以外の係数となる。

前述した逆量子化の式から、量子化ＤＣＴ係数は量子化マトリクスにほぼ反比例させる必要がある。そのため、量子化ＤＣＴ係数の高周波成分の量子化ＤＣＴ係数を１／２倍に変換する必要がある。

非０量子化ＤＣＴ係数が７、−３、２、１、４、１、−１、１の合計８個で、うち前半の３個が低周波成分に該当するＩｎｔｅｒＭＢのブロックが変換対象の場合、低周波成分の係数は、変換不要である。また、高周波成分の量子化ＤＣＴ係数は、本来０．５、２、０．５、−０．５、０．５に変換されるのが望ましいが、それぞれ０、２、０、０、０に整数化される。

これにより、量子化ＤＣＴ係数の低周波成分は量子化誤差が発生しない一方、高周波成分は非０量子化ＤＣＴ係数のｌｅｖｅｌ低減、非０係数の個数削減により、入力時５０ｂｉｔだった符号量が、３５ｂｉｔに減少される。そのため、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、符号化レートを削減することができる。

しかし、符号化レート変換装置１２０００では、量子化マトリクスがピクチャ単位でしか設定できないため、細かく符号化レートを制御できず、最悪、数十ピクチャ経過しないと符号化レートを目標レートに収束させることができない可能性がある。

例えば、符号化レート変換装置１２０００をネットワークの帯域に応じた符号化レート変換に適用させる場合、少なくともピクチャ単位やＧＯＰ単位で符号化レートを追随させることが要求される。しかしながら、符号化レート変換装置１２０００ではこの要求を満たすことができず、一定時間ネットワークの帯域を越えたストリームを配信することで、画像を乱れさせてしまう可能性がある。

また、ＭＰＥＧ２規格では、ピクチャごとのビット量がバッファモデルとして規定されているため、ピクチャ単位で規格の範囲内になるようにビット量を制御する必要があるが、符号化レート変換装置１２０００はこの制御の実現が困難なため、規格違反のストリームを出力してしまう可能性も存在する。

なお、上記で説明した量子化スケール再変換型の符号化レート変換方式と、量子化マトリクス再変換型の符号化レート変換方式を組み合わせた符号化レート変換方式（統合方式）も存在する（特許文献１参照）。

図９に量子化スケール再変換型と量子化マトリクス再変換型の統合方式（以降、統合方式と記載）の符号化レート変換装置１３０００を示す。

符号化レート変換装置１３０００は、図５の量子化スケール再変換型の符号化レート変換装置１１０００と、図７の量子化マトリクス再変換型の符号化レート変換装置１２０００をそのまま組み合わせた構成となっているため、説明は省略する。

また、統合方式の符号化レート変換装置１３０００におけるレート制御、量子化マトリクス変換、量子化パラメータ変換は、量子化スケール再変換型の符号化レート変換装置１１０００および量子化マトリクス再変換型の符号化レート変換装置１２０００と同等の方法で実施可能なため、説明は省略する。

また、統合方式の符号化レート変換装置１３０００における量子化の具体例を図１０を用いて説明する。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの高周波成分の係数（ε＝２の場合）を２倍に増加したとする。またレート制御や量子化スケール変換の結果、量子化スケールを４から８に、すなわち２倍に増加させることになったとする。

前述した逆量子化の式から、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の係数を１×１／２＝１／２倍に変換し、高周波成分を１／２×１／２＝１／４倍に変換する必要がある。

非０量子化ＤＣＴ係数が７、−３、２、１、４、１、−１、１の合計８個で、うち前半の３個が低周波成分に該当するＩｎｔｅｒＭＢのブロックが変換対象であるとする。この場合、低周波成分の係数は、３．５、−１．５、１を整数化した３、−１、１に変換される。高周波成分の係数は、０．２５、１、０．２５、−０．２５、０．２５を整数化した０、１、０、０、０に変換される。これにより、入力時５０ｂｉｔだった符号量を、２０ｂｉｔに減少させることができる。

上記の統合方式の符号化レート変換装置１３０００においては、量子化スケール再変換型の符号化レート変換装置１１０００と量子化マトリクス再変換型の符号化レート変換装置１２０００の両方の要素を組み合わせた性質を持つことがわかる。また、符号化レート変換装置１３０００は、目標レートからのずれを量子化スケールを変化させることでマクロブロック単位で補正しながら変換することができる。したがって、符号化レート変換装置１３０００は、量子化マトリクス再変換方式で存在した、細かく符号化レートを制御することができないといった課題を解決する。

また、符号化レート変換装置１３０００は、符号量の削減が、量子化スケール変換だけでなく、量子化マトリクス変換によっても可能になる。そのため、量子化マトリクス変換においては、低周波成分の量子化誤差は発生しないので、同一の符号化レートにおいては、量子化スケール変換による低周波成分の量子化誤差の発生規模は低減される。したがって、符号化レート変換装置１３０００は、量子化スケール再変換方式で存在した低周波成分の量子化誤差が大規模に発生するという課題を解決する。

したがって、上記の統合方式の符号化レート変換装置１３０００は、量子化スケール再変換方式と量子化マトリクス再変換方式のそれぞれの欠点を補完した形で、量子化スケールおよび量子化マトリクスを変換することができる。

特開２００１−０７８１９４号公報 特開２００１−２０４０２８号公報 特開２００５−２１０５０２号公報

上記の統合方式の符号化レート変換装置１３０００を用いれば、ＤＣＴ係数の低周波成分の量子化誤差が抑制される。しかしながら、符号化レート変換装置１３０００では、ＤＣＴ係数の高周波成分に量子化誤差が発生した場合、低周波成分には及ばないものの、やはり画面の精細感が低減したり、モスキート状のノイズが発生したりなど、画質劣化の傾向が見られることがある。

一般的に符号化レートと画質はトレードオフの関係にある。そのため、ブロックレベルで見ると、符号化レートの低減と高周波係数の量子化誤差による画質劣化は不可避ではあるが、ピクチャレベルで見ると、必ずしもそれが成り立たない場合がある。

例えば、平坦で低精細の背景に対して、小さい人間の姿が高精細に映っている映像のように、ピクチャ内で精細度が異なるとする。この場合、背景の画像に対応する低精細のＭＢのＤＣＴ係数の低周波成分の量子化誤差より、人間の画像に対応する高精細のＭＢのＤＣＴ係数の高周波成分の量子化誤差を抑えるほうが、全体的な画質劣化を抑制できることがある。

その場合、高精細のＭＢでは、高周波係数も含めて量子化誤差を抑制し、低精細のＭＢでは、上記のＭＢで符号量が削減できなかった分も含めて、符号量を削減するといったように制御するのが望ましい。

しかし、上記の統合方式の符号化レート変換装置１３０００では、高精細のＭＢでは量子化スケールを増加させず、低精細のＭＢでは量子化スケールを大幅に増加させるといった重み付けで量子化スケールの制御を行ったとしても、ピクチャヘッダで量子化マトリクスの高周波成分を増加させている。そのため、符号化レート変換装置１３０００では、量子化スケールを増加させなくても、高周波成分の量子化誤差が発生する。

すなわち、上記の統合方式の符号化レート変換装置１３０００では、全体のＭＢのＤＣＴ係数の低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、精細度の高いＭＢなどの特定のＭＢではＤＣＴ係数の低周波成分だけでなく高周波成分の量子化誤差に起因する画質劣化も抑制可能な符号化レート変換を実現することができない。

また、これまでＭＰＥＧ２に基づいて説明を行ったが、ＤＣＴ変換あるいはそれに順ずる直交変換に基づいた符号化を行う画像コーデックであり、量子化マトリクスをピクチャ単位に指定し、量子化スケールをマクロブロック単位に指定する画像コーデックであれば同様の課題が存在する。上記に該当する画像コーデックとしては、例えば、ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ４、Ｈ．２６４などが存在する。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制可能な符号化レート変換装置等を提供することである。

上述の課題を解決するために、本発明のある局面に従う符号化レート変換装置は、ピクチャを符号化する処理において、量子化マトリクスと量子化スケールの値との乗算により得られる値を使用した量子化の処理が少なくとも行なわれることにより得られるピクチャの符号化データの符号化レートを変換するための装置である。量子化スケールは、ピクチャを復元するための符号化データを構成する複数のマクロブロックの各々に対し値が設定される。量子化マトリクスは、符号化データから得られるピクチャ単位で設定される。符号化レート変換装置は、複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する逆量子化部と、第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する係数である低周波係数の値を変換するための第１変換値と、複数の係数のうち低周波係数以外の係数である高周波係数の値を変換するための値であって、かつ、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを第２量子化マトリクスに変換する量子化マトリクス変換部と、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出し、第２量子化マトリクスが符号化データの符号化レートを小さくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２（０＜β２＜１）倍した変換後スケール値を算出するスケール値算出部と、複数の係数データの少なくとも一部を、第２量子化マトリクスと、該少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化することにより、逆量子化部により逆量子化される前の符号化レートより小さい符号化レートの符号化データを生成する再量子化部とを備える。

本発明の他の局面に従う符号化レート変換方法は、ピクチャを符号化する処理において、量子化マトリクスと量子化スケールの値との乗算により得られる値を使用した量子化の処理が少なくとも行なわれることにより得られるピクチャの符号化データの符号化レートを変換するための方法である。量子化スケールは、ピクチャを復元するための符号化データを構成する複数のマクロブロックの各々に対し値が設定される。量子化マトリクスは、符号化データから得られるピクチャ単位で設定される。符号化レート変換方法は、複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する逆量子化ステップと、第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する係数である低周波係数の値を変換するための第１変換値と、複数の係数のうち低周波係数以外の係数である高周波係数の値を変換するための値であって、かつ、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを第２量子化マトリクスに変換する量子化マトリクス変換ステップと、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出し、第２量子化マトリクスが符号化データの符号化レートを小さくするためのマトリクスである場合、複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２（０＜β２＜１）倍した変換後スケール値を算出するスケール値算出ステップと、複数の係数データの少なくとも一部を、第２量子化マトリクスと、該少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化することにより、逆量子化ステップにより逆量子化される前の符号化レートより小さい符号化レートの符号化データを生成する再量子化ステップとを備える。

すなわち、本発明に従う符号化レート変換装置および符号化レート変換方法によれば、符号化データを構成する複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する。第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する低周波係数の値を変換するための第１変換値と、高周波係数の値を変換するための値であって、かつ、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを第２量子化マトリクスに変換する。

第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出する。複数の係数データの少なくとも一部を、第２量子化マトリクスと、少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化する。

ここで、低周波係数の値を変換するための第１変換値と、高周波係数の値を変換するための、第１変換値より大きい第２変換値とを使用して、第１量子化マトリクスを変換した第２量子化マトリクスは、低周波係数の値が、高周波係数の値より小さいマトリクスであるであるとする。

すなわち、量子化に使用される第２量子化マトリクスは、低周波係数の値が、高周波係数の値より小さいマトリクスであるとする。なお、量子化マトリクスはピクチャ単位で設定される。また、量子化に使用される量子化マトリクスの係数の値は小さいほど、量子化における量子化誤差は小さくなる。

また、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値が量子化に使用される。なお、量子化スケールは、複数のマクロブロックの各々に対し値が設定される。なお、量子化スケールの値は、量子化に使用される前の量子化マトリクスの全ての係数に乗算される。そのため、量子化スケールの値は小さいほど、量子化における量子化誤差は小さくなる。

ここで、量子化に使用される変換後スケール値が、少なくとも１つのマクロブロックに対応する量子化スケールの値を１倍した値であるとする。この場合、量子化に使用される第２量子化マトリクスの全ての係数（低周波成分および高周波成分の係数）は変化しないことになる。

そのため、低周波係数の値が高周波係数の値より小さい第２量子化マトリクスを使用して量子化が行なわれることにより、低周波成分の量子化誤差の発生を抑制することができるとともに、少なくとも１つのマクロブロックにおいて高周波成分の量子化誤差の発生を抑制することができる。すなわち、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

なお、本発明は、符号化レート変換方法で行なわれる処理を、コンピュータに実行させるプログラムとしても実現することもできる。また、本発明は、当該プログラムを格納するコンピュータ読み取り可能な記録媒体、集積回路としても実現することができる。

本発明によれば、符号化データを構成する複数のマクロブロックを、ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する。第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する低周波係数の値が、高周波係数の値より小さくなるように、第１量子化マトリクスを第２量子化マトリクスに変換する。第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出する。複数の係数データの少なくとも一部を、第２量子化マトリクスと、少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化する。

すなわち、量子化に使用される第２量子化マトリクスは、所定周波数より低い周波数に対応する低周波係数の値が、高周波係数の値より小さいマトリクスである。また、量子化に使用される量子化マトリクスの係数の値は小さいほど、量子化における量子化誤差は小さくなる。

また、第２量子化マトリクスが符号化データの符号化レートを大きくするためのマトリクスである場合、少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値が量子化に使用される。なお、量子化スケールの値は、量子化マトリクスの全ての係数に乗算される。そのため、量子化スケールの値は小さいほど、量子化における量子化誤差は小さくなる。

ここで、量子化に使用される変換後スケール値が、少なくとも１つのマクロブロックに対応する量子化スケールの値を１倍した値であるとする。この場合、量子化に使用される第２量子化マトリクスの全ての係数（低周波成分および高周波成分の係数）は変化しないことになる。

そのため、低周波係数の値が高周波係数の値より小さい第２量子化マトリクスを使用して量子化が行なわれることにより、低周波成分の量子化誤差の発生を抑制することができるとともに、少なくとも１つのマクロブロックにおいて高周波成分の量子化誤差の発生を抑制することができる。すなわち、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

図１は、ＭＰＥＧ２の量子化スケールと量子化パラメータの対応を示す図である。 図２Ａは、ＭＰＥＧ２のＤＣＴ係数の符号化順（スキャン順）を示す図である。 図２Ｂは、ＭＰＥＧ２のＤＣＴ係数の符号化順（スキャン順）を示す図である。 図３は、ＭＰＥＧ２の復号化装置の一例の構成を示すブロック図である。 図４は、ＭＰＥＧ２の符号化装置の一例の構成を示すブロック図である。 図５は、従来の量子化スケール再変換型の符号化レート変換装置の一例の構成を示すブロック図である。 図６は、従来の量子化スケール再変換型の符号化レート変換装置でのＭＢの変換の一例を示す図である。 図７は、従来の量子化マトリクス再変換型の符号化レート変換装置の一例の構成を示すブロック図である。 図８は、従来の量子化マトリクス再変換型の符号化レート変換装置でのＭＢの変換の一例を示す図である。 図９は、従来の量子化スケール再変換型と量子化マトリクス再変換型を統合した符号化レート変換装置の一例の構成を示すブロック図である。 図１０は、従来の量子化スケール再変換型と量子化マトリクス再変換型を統合した符号化レート変換装置でのＭＢの変換の一例を示す図である。 図１１は、本発明の実施の形態１における符号化レート変換装置の構成を示すブロック図である。 図１２は、符号化レート変換処理のフローチャートである。 図１３は、ピクチャ処理のフローチャートである。 図１４は、ＭＢ処理のフローチャートである。 図１５は、量子化スケール変換処理のフローチャートである。 図１６Ａは、量子化スケールの値の変換例を説明するための図である。 図１６Ｂは、量子化スケールの値の変換例を説明するための図である。 図１７は、本発明の実施の形態１の符号化レート変換装置での通常ＭＢの変換の一例を示す図である。 図１８は、本発明の実施の形態１の符号化レート変換装置での重要ＭＢの変換の一例を示す図である。 図１９Ａは、本発明の実施の形態１の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図１９Ｂは、本発明の実施の形態１の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２０Ａは、変換前の量子化マトリクスを示す図である。 図２０Ｂは、実施の形態１の処理により変換された後の量子化マトリクスを示す図である。 図２０Ｃは、量子化マトリクスに対して使用される数値および処理を示す図である。 図２１は、実施の形態２における符号化レート変換装置１０００Ａの構成を示すブロック図である。 図２２は、本発明の実施の形態２の符号化レート変換装置での量子化スケール変換の一例を示す図である。 図２３は、本発明の実施の形態２の符号化レート変換装置での重要ＭＢの変換の一例を示す図である。 図２４Ａは、本発明の実施の形態２の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２４Ｂは、本発明の実施の形態２の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２５Ａは、変換前の量子化マトリクスを示す図である。 図２５Ｂは、実施の形態２の処理により変換された後の量子化マトリクスを示す図である。 図２５Ｃは、量子化マトリクスに対して使用される数値および処理を示す図である。 図２６は、実施の形態３における符号化レート変換装置１０００Ｂの構成を示すブロック図である。 図２７は、量子化マトリクスの変換方法を判定するための判定テーブルを示す図である。 図２８Ａは、実施の形態４の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２８Ｂは、実施の形態４の符号化レート変換装置での量子化マトリクス変換の一例を示す図である。 図２９Ａは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図２９Ｂは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図２９Ｃは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図２９Ｄは、実施の形態４の符号化レート変換装置での量子化ＤＣＴ係数の変換の一例を示す図である。 図３０は、本発明の実施の形態５のストリーム受信記録装置の一例の構成を示すブロック図である。 図３１は、本発明の実施の形態６のネットワーク配信システムの一例の構成を示すブロック図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

（実施の形態１）
以下、本発明の実施の形態について、図面を参照しながら説明する。

図１１は、本発明の実施の形態１における符号化レート変換装置１０００の構成を示すブロック図である。

符号化レート変換装置１０００は、可変長復号部１０１と、可変長符号部１０２と、レート制御部１０３と、量子化スケール増加変換部１０４と、ＭＢヘッダ格納部１０５と、量子化マトリクス低域削減変換部１０８と、ピクチャヘッダ格納部１０９と、量子化マトリクス変換制御部１１０とを備える。

可変長復号部１０１には、複数のピクチャを復元するためのストリームが入力される。以下においては、可変長復号部１０１に入力されるストリームを入力ストリームという。入力ストリームは、ピクチャの符号化により得られる符号化データである。可変長復号部１０１は、入力ストリームとしてのＭＰＥＧ２ストリームを復号し、復号により得られた量子化マトリクスを含むシーケンスヘッダやピクチャヘッダをピクチャヘッダ格納部１０９に通知する。また、可変長復号部１０１は、シーケンスヘッダの通知と同時に、量子化マトリクスを量子化マトリクス低域削減変換部１０８に通知する。

また、可変長復号部１０１は、ＭＢヘッダ部のパラメータをＭＢヘッダ格納部１０５に通知する。また、可変長復号部１０１は、パラメータの通知と同時に、ＭＢヘッダ部が示す量子化スケールコード（量子化パラメータ）を量子化スケールに変換し、得られた量子化スケールを量子化スケール増加変換部１０４および量子化マトリクス変換制御部１１０に通知する。また、可変長復号部１０１は、ＭＢブロック部の量子化ＤＣＴ係数などのパラメータを逆量子化部１０６に通知する。

逆量子化部１０６は、通知されたパラメータが示す、入力ストリームの量子化マトリクスおよび量子化スケールに基づき、ＭＢのブロック部の量子化ＤＣＴ係数の逆量子化を行って、ＤＣＴ係数を算出し、算出したＤＣＴ係数を量子化部１０７に通知する。

レート制御部１０３は、先頭のピクチャを処理する際において、ピクチャ構成（Ｉ，Ｐ，Ｂピクチャ）や符号化レートなどの情報から当該ピクチャの目標符号量を決定し、決定した目標符号量を量子化マトリクス変換制御部１１０に通知する。また、レート制御部１０３は、マクロブロックごとに、目標量子化スケールを算出し、算出した目標量子化スケールを量子化マトリクス変換制御部１１０に通知する。

量子化マトリクス変換制御部１１０は、先頭のピクチャを処理する際において、当該ピクチャの目標符号量などに基づいて量子化マトリクスの変換制御情報を算出する。そして、量子化マトリクス変換制御部１１０は、算出した変換制御情報を、量子化マトリクス低域削減変換部１０８に通知する。また、量子化マトリクス変換制御部１１０は、マクロブロックごとに、量子化マトリクスの制御情報に基づいて、目標量子化スケールを補正して、補正した目標量子化スケールを量子化スケール増加変換部１０４に通知する。

量子化マトリクス低域削減変換部１０８は、量子化マトリクスの変換制御情報に基づいて、入力ストリームの量子化マトリクスの低周波成分の係数を削減方向に変換する。そして、量子化マトリクス低域削減変換部１０８は、変換後の量子化マトリクスを量子化部１０７およびピクチャヘッダ格納部１０９に同時に通知する。

量子化スケール増加変換部１０４は、目標量子化スケールを基準として、当該ＭＢの重要性を評価して、入力ストリームの量子化スケールを増加方向に変換することにより、出力ストリームの量子化スケールを算出する。そして、量子化スケール増加変換部１０４は、算出した量子化スケールを、量子化部１０７およびＭＢヘッダ格納部１０５に同時に通知する。

ピクチャヘッダ格納部１０９は、可変長復号部１０１から通知されたシーケンスヘッダやピクチャヘッダを、内部のバッファ（図示せず）に格納し、量子化マトリクス低域削減変換部１０８の要求により内部のバッファ内のデータを書き換える。そして、ピクチャヘッダ格納部１０９は、バッファに格納されているシーケンスヘッダやピクチャヘッダを可変長符号部１０２に通知する。

ＭＢヘッダ格納部１０５は、可変長復号部１０１から通知されたＭＢヘッダを、内部のバッファ（図示せず）に格納し、量子化スケール増加変換部１０４の要求により、量子化スケールを量子化スケールコードに変換し、バッファ内のデータを新しい値に書き換える。そして、ＭＢヘッダ格納部１０５は、内部のバッファに格納されているＭＢヘッダを可変長符号部１０２に通知する。

量子化部１０７は、逆量子化部１０６が行なう逆量子化により算出されたＤＣＴ係数を、量子化マトリクス低域削減変換部１０８によって算出された量子化マトリクスと、量子化スケール増加変換部１０４によって算出された量子化スケールとに従って、再量子化を行なう。そして、量子化部１０７は、再量子化により得られた量子化ＤＣＴ係数を、量子化部１０７の内部の係数バッファ（図示せず）に格納する。さらに、量子化部１０７は、得られた量子化ＤＣＴ係数を可変長符号部１０２に通知する。

可変長符号部１０２は、ピクチャヘッダ格納部１０９から通知された量子化マトリクスを含むシーケンスヘッダやピクチャヘッダを符号化する。また、可変長符号部１０２は、ＭＢヘッダ格納部１０５から通知されたＭＢヘッダ部が示す情報を符号化する。また、可変長符号部１０２は、量子化部１０７から得たＭＢのブロック部の量子化ＤＣＴ係数を符号化する。そして、可変長符号部１０２は、上記の符号化により得られたデータからＭＰＥＧ２ストリーム（以下、出力ストリームという）を構成する。

次に、本発明の実施の形態１の符号化レート変換装置１０００が行なう処理（以下、符号化レート変換処理という）について説明する。なお、本発明の符号化レート変換処理は、入力ストリームとしての符号化データの符号化レートを小さくするための処理である。すなわち、符号化レート変換処理が行なわれることにより、処理後の符号化データの符号化レートは、符号化レート変換処理が行なわれる前の符号化データの符号化レートより小さくなる。

図１２は、符号化レート変換処理のフローチャートである。

まず、必要に応じて、レート制御部１０３の設定が行なわれ、符号化レート変換処理においてレート制御部１０３が目標ビットを算出可能な状態にされる（Ｓ３０１）。次に、可変長復号部１０１は、入力ストリーム中に量子化マトリクスが符号化されていなかった場合に備え、ストリームのシーケンスヘッダの復号前に、ＭＰＥＧ２で規定されたデフォルトの量子化マトリクスを、量子化マトリクス低域削減変換部１０８が使用する量子化マトリクスに設定する（Ｓ３０２）。

次に、可変長復号部１０１は、入力ストリームを復号することにより得られたシーケンスヘッダを、ピクチャヘッダ格納部１０９の内部のバッファ（図示せず）に格納する（Ｓ３０３）。

可変長復号部１０１は、復号により得られたシーケンスヘッダの中に量子化マトリクスが含まれている場合（Ｓ３０４でＹＥＳ）、その量子化マトリクスを量子化マトリクス低域削減変換部１０８が使用する量子化マトリクスに設定する（Ｓ３０５）。この場合、ステップＳ３０２で設定されていたデフォルトの量子化マトリクスがシーケンスヘッダの中の量子化マトリクスにより上書きされる。

また、シーケンスヘッダの中に量子化マトリクスが含まれない場合（Ｓ３０４でＮＯ）、ステップＳ３０２で設定されていたデフォルトの量子化マトリクスがそのまま使用されることになる。

次に、可変長符号部１０２が、ピクチャヘッダ格納部１０９に格納されたシーケンスヘッダの情報を符号化する（Ｓ３０６）。次に、ピクチャ処理が行なわれる（Ｓ３０７）。ピクチャ処理は、ピクチャ単位の処理である。ピクチャ処理は、ストリームにおける次のシーケンスヘッダが到達する（Ｓ３０８でＹＥＳ）まで繰り返し行なわれる（Ｓ３０８でＮＯ）。

図１３は、ピクチャ処理のフローチャートである。

まず、必要に応じて、レート制御部１０３の設定が行なわれ、ピクチャ処理において処理対象のピクチャにおける目標ビットが算出される（Ｓ４０１）。

次に、可変長復号部１０１は、入力ストリームを復号することにより得られたピクチャヘッダを、ピクチャヘッダ格納部１０９の内部のバッファ（図示せず）に格納する（Ｓ４０２）。

可変長復号部１０１は、復号により得られたピクチャヘッダの中に量子化マトリクスが含まれている場合（Ｓ４０３でＹＥＳ）、その量子化マトリクスを量子化マトリクス低域削減変換部１０８が使用する量子化マトリクスに設定する（Ｓ４０４）。復号により得られたピクチャヘッダに量子化マトリクスが含まれていない場合（Ｓ４０３でＮＯ）、符号化レート変換処理により設定された量子化マトリクスがそのまま量子化マトリクス低域削減変換部１０８により利用される。

次に、量子化マトリクス変換制御部１１０は、レート制御部１０３から得られた目標符号量などに基づき、処理対象のピクチャに量子化マトリクス変換を適用するか否かを判定する（Ｓ４０５）。

量子化マトリクス変換を適用する場合（Ｓ４０６でＹＥＳ）、量子化マトリクス変換制御部１１０は、レート制御部１０３から得られた目標符号量などに基づき、量子化マトリクスの変換制御情報を求める（Ｓ４０７）。詳細は後述するが、量子化マトリクス低域削減変換部１０８は、量子化マトリクスの変換制御情報に基づいて、ステップＳ３０２，Ｓ３０５，Ｓ４０４のいずれかの処理で設定された量子化マトリクスの低周波成分の係数を減少方向または増加方向に変換する（Ｓ４０８）。

次に、量子化マトリクス低域削減変換部１０８は、変換後の量子化マトリクスをピクチャヘッダ格納部１０９に格納する。また、可変長符号部１０２は、ピクチャヘッダ格納部１０９に格納されたピクチャヘッダの符号化を行う（Ｓ４０９）。

次に、ＭＢ処理が行なわれる（Ｓ４１０）。ＭＢ処理は、マクロブロック単位の処理である。処理対象のピクチャに対応するマクロブロックの数はピクチャヘッダが示す情報により算出できる。ＭＢ処理は、処理対象のピクチャに対応する全てのマクロブロックに対して行なわれる。全てのマクロブロックに対してＭＢ処理が行なわれた場合（Ｓ４１１でＹＥＳ）、このピクチャ処理は終了し、図１２の符号化レート変換処理に戻り、ステップＳ３０８の処理が再度行なわれる。

図１４は、ＭＢ処理のフローチャートである。

まず、レート制御部１０３は、ステップＳ４０１で算出された処理対象のピクチャにおける目標ビットや処理対象のピクチャの変換実績値から、レート制御の基準とする仮想バッファの状態を更新し、処理対象のマクロブロックの目標量子化スケールを算出する（Ｓ５０１）。

次に、量子化マトリクス変換制御部１１０は、ステップＳ４０７で求めた量子化マトリクス変換制御情報に基づいて、目標量子化スケールを補正する（Ｓ５０２）。また、量子化マトリクス変換制御部１１０は、補正後の目標量子化スケールの値を、量子化スケール増加変換部１０４に通知する。

次に、可変長復号部１０１は、入力ストリームを復号することにより得られた、処理対象のＭＢのＭＢヘッダ部が示す情報を、ＭＢヘッダ格納部１０５の内部のバッファ（図示せず）に格納する（Ｓ５０３）。また、可変長復号部１０１は、上記復号により得られた処理対象のＭＢのＭＢヘッダ部が示す情報を、量子化マトリクス変換制御部１１０へ通知する。処理対象のＭＢのＭＢヘッダ部が示す情報は、対応するＭＢの量子化スケールコードを示す。

次に、量子化スケール変換処理が行なわれる（Ｓ５０４）。

図１５は、量子化スケール変換処理のフローチャートである。

まず、量子化マトリクス変換制御部１１０が、重要ＭＢがあるか否かを判定する（Ｓ６０１）。重要ＭＢは、一例として、復号されることにより所定の精細度より精細度の高い画像を示すマクロブロックであるとする。すなわち、重要ＭＢは、当該重要ＭＢが復号されることにより得られる画像（以下、復号ブロック画像という）が、たとえば、高精細な画像を示すＭＢである。すなわち、重要ＭＢは、当該重要ＭＢが復号されることにより得られる復号ブロック画像が、所定周波数よりも高い周波数成分の画像を示すＭＢである。

この場合、重要ＭＢは、一例として、ＭＢのＭＢブロック部のデータ量と、当該ＭＢのＭＢヘッダ部が示す量子化スケールコードの変換により得られる量子化スケールの値との乗算により得られる値が、所定値より大きい値を示すＭＢであるとする。以下においては、重要ＭＢ以外のＭＢを、通常ＭＢという。

量子化マトリクス変換制御部１１０は、処理対象のＭＢが重要ＭＢである場合、重要ＭＢがあると判定する（Ｓ６０１でＹＥＳ）。また、量子化マトリクス変換制御部１１０は、処理対象のＭＢが重要ＭＢである場合、処理対象のＭＢが重要ＭＢである旨を、量子化スケール増加変換部１０４に通知する。一方、量子化マトリクス変換制御部１１０は、処理対象のＭＢが通常ＭＢである場合、重要ＭＢがないと判定する（Ｓ６０１でＮＯ）。

詳細は後述するが、重要ＭＢがあると判定されると、量子化スケール増加変換部１０４は、通知された目標量子化スケールの値に、ある値（たとえば、１以下の値）を乗算することにより、量子化スケールの値を算出する（Ｓ６０２）。そして、この量子化スケール変換処理は終了し、図１４のＭＢ処理に戻り、ステップＳ５０５の処理が行なわれる。

ステップＳ５０５では、量子化スケール増加変換部１０４が、重要ＭＢがあると判定された場合、算出した量子化スケールの値を量子化スケールコードに変換する。そして、量子化スケール増加変換部１０４は、ＭＢヘッダ格納部１０５に格納した処理対象のＭＢのＭＢヘッダ部が示す量子化スケールコードを、変換した量子化スケールコードに置き換える。

また、ステップＳ５０５では、量子化スケール増加変換部１０４が、重要ＭＢがないと判定された場合、通知された目標量子化スケールの値を量子化スケールコードに変換する。そして、量子化スケール増加変換部１０４は、ＭＢヘッダ格納部１０５に格納した処理対象のＭＢのＭＢヘッダ部が示す量子化スケールコードを、変換した量子化スケールコードに置き換える。

以上で、ＭＢヘッダ部が示す情報の更新処理は一旦終了し、量子化ＤＣＴ係数の変換の処理に移行する。

まずは、符号化されている複数のＭＢのうち、まだ復号されていないＭＢがあるか否かが判定される（Ｓ５０６）。すなわち、処理対象のＭＢに対応するピクチャに対応する全てのＭＢが復号されてないか否かが判定される。復号されていないＭＢがあれば（Ｓ５０６でＹＥＳ）、可変長復号部１０１は、符号化されている処理対象のＭＢが示す複数の量子化ＤＣＴ係数を所定の順序でステップＳ５０７の処理毎に１つずつ復号する（Ｓ５０７）。

ＭＰＥＧ２ではＩｎｔｒａＭＢのＤＣ係数は、量子化スケールとは独立に量子化される。そのため、本実施の形態ではＤＣ係数は変換の対象外とする。処理対象の量子化ＤＣＴ係数がＩｎｔｒａＭＢのＤＣ係数でない場合、あるいはブロック終端ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｌｏｃｋ）に到達していなければ（Ｓ５０８でＮＯ）、逆量子化部１０６は、復号された処理対象の量子化ＤＣＴ係数を、一旦、入力ストリームが示す処理対象のＭＢに対応する量子化マトリクスおよび量子化スケールを使用して逆量子化する。

そして、量子化部１０７は、逆量子化により算出されたＤＣＴ係数を、Ｓ４０８で算出した量子化マトリクスと、ステップＳ６０２で算出された量子化スケールの値または目標量子化スケールの値とを使用して、再度、量子化する。これにより、量子化部１０７は、量子化ＤＣＴ係数を得る。これにより変換は完了する（Ｓ５０９）。

量子化部１０７は、得られた量子化ＤＣＴ係数を、量子化部１０７の内部の係数バッファ（図示せず）に格納する（Ｓ５１０）。上記処理をブロック終端ＥＯＢに到達するまで繰り返せば、１つの処理対象のＭＢの復号化が完了する（Ｓ５１１）。

さらに、すべての符号化されたＭＢに対して、復号化が完了すれば（Ｓ５０６でＮＯ）、ＭＢ情報の復号化はすべて完了になる。

最後に、可変長符号部１０２が、ＭＢヘッダ格納部１０５に格納される全てのマクロブロックヘッダを符号化する（Ｓ５１２）。また、可変長符号部１０２が、量子化部１０７の内部の係数バッファ（図示せず）に格納される全ての量子化ＤＣＴ係数を符号化する（Ｓ５１３）。以上の処理により、ＭＢ処理は終了する。そして、図１３のピクチャ処理に戻り、再度、ステップＳ４１１の処理が行なわれる。

以上説明した、図１２の符号化レート変換処理、図１３のピクチャ処理、図１４のＭＢ処理、図１５の量子化スケール変換処理が行なわれることにより、符号化データの復号処理、逆量子化処理、量子化処理、符号化処理が行なわれる。これらの処理により、入力ストリームから出力ストリーム（符号化データ）が生成される。生成された、出力ストリームとしての符号化データの符号化レートは、入力ストリームとしての符号化データの符号化レートより小さい。

次に、本発明の実施の形態１の符号化レート変換装置１０００におけるレート制御の具体的な動作を説明する。入力ストリームに含まれる先頭のピクチャを処理する際において、まず当該ピクチャの目標符号量Ｔ（ｉ）が配分される。目標符号量Ｔ（ｉ）については、前述したＴＭ５のステップ１に基づけば算出可能であるので、詳細な説明は省略する。さらにマクロブロックごとには、目標量子化スケールを算出する必要がある。目標量子化スケールもＴＭ５のステップ２に基づけば算出可能であるので、詳細な説明は省略する。

なお、ここではレート制御方式としてＴＭ５を挙げているが、その他のレート制御方式であってもよい。本発明は特定のレート制御方式に依存するものではない。

次に、本発明の実施の形態１の符号化レート変換装置１０００が行なう図１３のステップＳ４０８の量子化マトリクス変換の具体的な処理を説明する。

ここで、ｉ番目のピクチャと、当該ｉ番目のピクチャの一つ前のピクチャ（以下、評価対象ピクチャという）とが存在するとする。この場合、評価対象ピクチャは、ｉ−１番目のピクチャとなる。ここで、評価対象ピクチャは、ｉ番目のピクチャよりも前に表示対象となるピクチャであるとする。また、ｉ番目のピクチャおよび評価対象ピクチャは、同一の種類のピクチャであるとする。

また、低周波成分の量子化マトリクス変換率がα（ｉ−１）倍（α（ｉ−１）＜１）、量子化スケール変換率の平均値がβ（ｉ−１）倍であったとする。ここで、量子化マトリクス変換率は、量子化マトリクスの係数を変換するための値である。また、量子化スケール変換率は、量子化スケールの値を変換するための値である。この場合、量子化ＤＣＴ係数変換率γ（ｉ−１）（低周波成分の平均）は、γ（ｉ−１）＝α（ｉ−１）×β（ｉ−１）の式により算出することができる。

上記式において、ＤＣＴ係数の低周波成分の量子化誤差が最小になるのはγ＝１のときであり、さらに、γが１より大きくても、ある程度小さい値（ここではγｍａｘとする）であれば、低周波成分の画像の画質劣化が許容範囲と考えられる。量子化誤差が許容範囲を超えることが想定される場合、許容範囲内に収まるような制御が必要である。また、γが１より小さいと、低周波成分の画像の画質劣化は発生しないが、符号量が増加するため、γが１以上になるような制御が必要になる。

ｉ番目のピクチャに最も近い位置の評価対象ピクチャ（ｉ−１番目のピクチャ）が、ｉ番目のピクチャと同一の傾向の量子化スケールを持つ（β（ｉ）＝β（ｉ−１））と仮定する。この場合、ｉ番目のピクチャの量子化マトリクス変換率α（ｉ）は、以下の式により算出することができる。

α（ｉ）＝
１ ×α（ｉ−１）／γ（ｉ−１） （γ（ｉ−１）＜１の場合）
α（ｉ−１） （１≦γ（ｉ−１）≦γｍａｘの場合）
γｍａｘ×α（ｉ−１）／γ（ｉ−１） （γｍａｘ＜γ（ｉ−１）の場合）

次に、その量子化マトリクス変換率α（ｉ）に従って、入力ストリームの量子化マトリクスを以下の式（以下、マトリクス変換式Ａという）で変換して、出力ストリームの量子化マトリクスＷｏ（ｕ，ｖ）を算出する。

Ｗｏ（ｕ，ｖ）＝α（ｉ）×Ｗｉ（ｕ，ｖ） （ｕ＋ｖ≦εの場合（低周波成分））
＝Ｗｉ（ｕ，ｖ） （ｕ＋ｖ＞εの場合（高周波成分））

ここで、Ｗｉ（ｕ，ｖ）は、入力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数（ｕ＝０〜７、ｖ＝０〜７）を示す定数である。Ｗｏ（ｕ，ｖ）は、出力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数を示す定数である。また、Ｗｏ（ｕ，ｖ）は、ｖ＋１行ｕ＋１列で特定される係数を示す。たとえば、ｕ＝２，ｖ＝５の場合、Ｗｏ（ｕ，ｖ）は、６行３列で特定される係数を示す。εは誤差を抑制する周波数の閾値（基準周波数）を示す定数である。

なお、ここでは、量子化スケールの実績値として、同一種類のピクチャで最も近い位置のピクチャ（評価対象ピクチャ）を選択しているが、これに限定されることはない。例えば、ｉ番目のピクチャの種類によらずに評価対象ピクチャを選択してもよい。

また、ｉ番目のピクチャに最も近い位置でないピクチャを選択してもよい。また、単一のピクチャではなく、ｉ番目のピクチャの前の複数のピクチャを選択してもよい。また、ｉ番目のピクチャの前のピクチャの量子化スケールではなく、ｉ番目のピクチャの量子化スケールを先読みして算出した量子化スケールを利用してもよいし、その他の方法で、量子化スケールを予測してもよい。

なお、ここでは、量子化マトリクス変換率の算出において、量子化スケール変換率の平均値を使用している。しかしながら、これに限定されることなく、使用される値は、量子化スケール変換率の最小値など、量子化スケールに関するその他の実績値であってもよいし、一定値などであってもよい。また、量子化マトリクス変換率の算出方法は、量子化スケールとは無関係の算出方法であってもよい。

次に、本発明の実施の形態１の符号化レート変換装置１０００が行なう、量子化スケール変換（図１５の量子化スケール変換処理）の具体的な処理を説明する。

レート制御で得られた目標量子化スケールは、ＴＭ５のステップ２に基づくものであり、量子化マトリクスと無関係に決定する。そのため、本装置のように、量子化マトリクスを変換する符号化レート変換装置１０００においては、使用される量子化スケールの値が、最適な量子化スケールの値でない可能性がある。そこで、上記の量子化マトリクス変換率などを用いて、目標量子化スケールの値を補正してもよい。

例えば、低周波成分の量子化マトリクス変換率αが１より小さい場合、量子化マトリクスを変換しない場合と比較して、符号化データの符号量は増大する方向である。そのため、レート制御で求めた量子化スケールの値をそのまま使用すると、符号化データの符号量が十分に低減できない可能性もある。この場合、符号化データの符号量を低減できるようにするために、目標量子化スケールの値がやや大きめになるように補正してもよい。

例えば、レート制御で得られた目標量子化スケールｍｑ（ｊ）を補正して、
ｍｑ'（ｊ）＝ｍｑ（ｊ）×（１／α）
として算出してもよい。

なお、ここでは、１／αを乗算することにより目標量子化スケールの補正を行っているが、１／αでなくても１より大きい値であれば、符号化データの符号量を低減方向に補正することができる。また、その他の式で目標量子化スケールの補正を行ってもよいし、補正は行わなくてもよい。

次に、実際に当該マクロブロックの量子化スケールを算出する。

出力ストリームの量子化スケールｑｏ（ｊ）は、これは従来技術としての特許文献２の特開２００１−２０４０２８号公報に開示された技術で導出可能であり、詳細な説明は省略する。

ｑｏ（ｊ）＝
ｑｉ（ｊ） （ｍｑ（ｊ）＜１．５×ｑｉ（ｊ）の場合）
２×ｑｉ（ｊ） （１．５×ｑｉ（ｊ）≦ｍｑ（ｊ）＜２×ｑｉ（ｊ）の場合）
ｍｑ（ｊ） （２ ×ｑｉ（ｊ）＜ｍｑ（ｊ）の場合）

ここで、ｑｉ（ｊ）は入力ストリームの量子化スケールである。また、ｍｑ（ｊ）は目標量子化スケールである。

なお、ここでは、量子化スケールｑｏ（ｊ）を上式で導出しているが、その他の式で導出してもよい。

前述の通り、量子化ＤＣＴ係数変換率（低周波成分）γ＝量子化マトリクス変換率（低周波成分）α×量子化スケール変換率β（β＝ｑｏ（ｊ）／ｑｉ（ｊ））が１未満の場合、ＤＣＴ係数の低周波成分の量子化誤差が増えることはないが、符号化データの符号量の増加を伴う。

符号化レート変換は、符号化データの符号化レートの低減が目的であるため、一部のＭＢであっても符号量の増加を伴う変換は変換効率が悪い。そのため、符号量の増加を伴わない範囲に限定して、出力ストリームの量子化スケールを制御する方法をとってもよい。

その場合の量子化スケールｑｏ'（ｊ）は以下の式で算出できる。

ｑｏ'（ｊ）＝
１／α×ｑｉ（ｊ） （ｍｑ（ｊ）＜１．５×ｑｉ（ｊ）の場合）
ｍａｘ｛１／α，２｝×ｑｉ（ｊ）｝ （１．５×ｑｉ（ｊ）≦ｍｑ（ｊ）＜２×ｑｉ（ｊ）の場合）
ｍａｘ｛１／α×ｑｉ（ｊ），ｍｑ（ｊ）｝ （２ ×ｑｉ（ｊ）＜ｍｑ（ｊ）の場合）
上記式により算出される量子化スケールｑｏ'（ｊ）を用いれば、ＤＣＴ係数の低周波成分の量子化誤差を抑えた変換を行うことが可能である。

なお、ここでは、１／αを乗算することにより、符号化データの符号量の増加を抑えているが、必ずしも１／αと等しくなくても、１／αより大きい値であれば、符号化データの符号量の増加を伴わずに変換することができる。

しかし、前述した重要ＭＢでは、ＤＣＴ係数の低周波成分だけでなく、高周波成分の量子化誤差も抑えたほうが全体的な画質劣化を抑制できることが分かっている。そのため、重要ＭＢにおいては、全周波数領域の量子化誤差を抑制可能な量子化スケールを設定できることが望ましい。

前述したように、重要ＭＢは、一例として、復号されることにより所定の精細度より精細度の高い画像を示すマクロブロックである。この場合、重要ＭＢは、一例として、ＭＢのＭＢブロック部のデータ量と、当該ＭＢのＭＢヘッダ部が示す量子化スケールコードの変換により得られる量子化スケールの値との乗算により得られる値が、所定値より大きい値を示すＭＢであるとする。

また、重要ＭＢに対応する量子化スケールｑｏ”（ｊ）は以下の式で算出できる。

ｑｏ”（ｊ）＝ｑｉ（ｊ）

重要ＭＢで上記の量子化スケールｑｏ”（ｊ）を用いれば、すべての周波数領域の量子化誤差を抑えた変換を行うことができる。

それ以外のＭＢ（通常ＭＢ）であれば、量子化スケールに上記ｑｏ'（ｊ）を用いればよい。

なお、重要ＭＢは、前述した演算（ＭＢブロック部のデータ量×量子化スケールの値）以外の演算を使用して決定してもよい。

次に、量子化スケールの値の変換例を説明する。

図１６Ａおよび図１６Ｂは、量子化スケールの値の変換例を説明するための図である。図１６Ａは、量子化スケールの値の一例を示す図である。図１６Ａに示される複数の数字は、ピクチャの符号化データを構成する複数のＭＢの各々に対して設定された量子化スケールの値を示す。

図１６Ａに示されるように、符号化データを復号することにより得られるピクチャの上部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は“４”であるとする。また、符号化データから得られるピクチャの中央部および下部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は“８”であるとする。

ここで、目標符号化レートに基づきレート制御時における量子化スケールの平均値が“８”であったとする。この場合、量子化スケールの平均値に基づいて、量子化スケールの値を変換するならば、ピクチャの上部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は、“４”から“８”に変換され、それ以外のＭＢに対して設定される量子化スケールの値は、“８”のまま保持されることになる。

しかしながら、量子化マトリクス変換の符号化効率を考慮して策定された、前述の量子化スケールｑｏ'（ｊ）の式を適用すると、量子化マトリクス変換率α＝１／２の場合、符号化データの符号化レートを維持または低減させるためには、量子化スケール変換率β≧２とする必要がある。そのため、図１６Ｂに示されるように、ピクチャの中央部および下部に対応する複数のＭＢの各々に対して設定される量子化スケールの値は“８”から“１６”に変換される。

ただし、ピクチャの中央部および下部に対応する複数のＭＢのうち、前述した重要ＭＢに対して設定される量子化スケール変換率βは“１”となり、量子化スケールの値は“８”のまま保持される。

なお、図１６Ｂに示されるように、ピクチャの上部に対応する複数のＭＢの各々に対して設定される量子化スケールの値は“４”から“８”に変換される。

本発明の実施の形態１の符号化レート変換装置１０００の量子化部１０７が行なう通常ＭＢの量子化の具体的な処理を図１７を用いて説明する。通常ＭＢの量子化の具体的な処理は、図１４のステップＳ５０９で行なわれる。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの低周波成分の係数（ε＝２の場合）を１／２倍にすることになったとする。すなわち、低周波成分の量子化マトリクス変換率αは“１／２”であるとする。また、高周波成分の量子化マトリクス変換率αは“１”であるとする。また、レート制御や量子化スケール変換の結果、量子化スケールの値を“４”から“８”に、すなわち２倍に増加させることになったとする。すなわち、量子化スケール変換率βは“２”であるとする。この場合の量子化スケールの値“８”は前述した目標量子化スケールの値であるとする。

ここで、前述したマトリクス変換式Ａにおいて、ε＝２とする。この場合、量子化マトリクスの低周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数となる。また、量子化マトリクスの高周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数以外の係数となる。

図１７に示される２つの量子化マトリクスのうち、左側の量子化マトリクスは、変換が行なわれる前の量子化マトリクス（以下、変換前量子化マトリクスという）である。また、図１７に示される２つの量子化マトリクスのうち、右側の量子化マトリクスは、変換後の量子化マトリクス（以下、変換済量子化マトリクスという）である。

図１７の変換済量子化マトリクスは、図１３のステップＳ４０８の処理において、量子化マトリクス低域削減変換部１０８が、変換前量子化マトリクスを、低周波成分の量子化マトリクス変換率α“１／２”を使用して変換したマトリクスである。

図１７の変換済量子化マトリクスは、高周波成分の係数の値がそのままで、低周波成分の係数の値は小さくなっている（１／２倍）。そのため、図１７の変換済量子化マトリクスを使用して量子化が行なわれると、符号化データの符号量（符号化レート）が大きくなる。すなわち、図１７の変換済量子化マトリクスは、符号化データの符号量（符号化レート）を大きくするためのマトリクスである。

また、図１７に示される量子化ＤＣＴ係数を示す２つのマトリクスのうち、左側のマトリクスは、量子化が行なわれる前のマトリクス（以下、再量子化前マトリクスという）である。すなわち、図１７に示される再量子化前マトリクスは、逆量子化部１０６により逆量子化の処理が行なわれることにより得られるマトリクスである。また、図１７に示される量子化ＤＣＴ係数を示す２つのマトリクスのうち、右側のマトリクスは、再量子化が行なわれることにより得られるマトリクス（以下、再量子化済マトリクスという）である。

図１７に示される再量子化済マトリクスは、図１４のステップＳ５０９の処理において、量子化部１０７が、図１７の変換済量子化マトリクスと、算出された量子化スケールの値“８”とを使用して、再量子化前マトリクスを、再量子化することにより得られるマトリクスである。

前述した逆量子化の式からは、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の量子化ＤＣＴ係数は２（１／α）倍×１／２（１／β）倍＝１倍に変換する必要がある。また、高周波成分の量子化ＤＣＴ係数は１（１／α）倍×１／２（１／β）倍＝１／２倍に変換する必要がある。

ここで、図１７の再量子化前マトリクスが示す非０量子化ＤＣＴ係数は７、−３、２、１、４、１、−１、１の合計８個であるとする。また、８個の非０量子化ＤＣＴ係数のうち前半の３個の係数（７、−３、２）が低周波成分に該当するＩｎｔｅｒＭＢのブロックを変換対象とする量子化ＤＣＴ係数であるとする。

この場合、図１７の再量子化済マトリクスに示されるように、低周波成分の量子化ＤＣＴ係数は変換不要である。また、図１７の再量子化済マトリクスに示されるように、高周波成分の量子化ＤＣＴ係数は、０．５、２、０．５、−０．５、０．５を整数化した０、２、０、０、０に変換される。

これにより、入力時５０ｂｉｔだった符号量を、３５ｂｉｔに減少させることができる。そのため、低周波成分に量子化誤差を発生させることなく、符号化データの符号化レートを削減することができる。

次に、本発明の実施の形態１の符号化レート変換装置１０００の量子化部１０７が行なう重要ＭＢの量子化の具体的な処理を図１８を用いて説明する。重要ＭＢの量子化の具体的な処理は、図１４のステップＳ５０９で行なわれる。

図１７の説明において、通常ＭＢでは、量子化スケールの値を２倍に変換したために、高周波成分に量子化誤差が発生した。しかしながら、重要ＭＢでは、高周波成分にも量子化誤差を発生させないため、量子化スケールを１倍に設定する。すなわち、量子化スケール変換率βを“１”とする。この場合、算出される量子化スケールの値は図１５のステップＳ６０２の処理により算出される値である。この処理により、量子化スケールの値“４”が算出される。

図１８は、図１７と同様に、変換前量子化マトリクス、変換済量子化マトリクス、再量子化前マトリクスおよび再量子化済マトリクスを示すとする。図１８の変換済量子化マトリクスは、図１７の変換済量子化マトリクスと同様なので詳細な説明は繰り返さない。

図１８の再量子化済マトリクスは、図１４のステップＳ５０９の処理において、量子化部１０７が、図１８の変換済量子化マトリクスと、算出された量子化スケールの値“４”とを使用して、図１８の再量子化前マトリクスを、再量子化することにより得られるマトリクスである。

前述した逆量子化の式から、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の量子化ＤＣＴ係数は２（１／α）×１（１／β）＝２倍に変換する必要がある。また、高周波成分の量子化ＤＣＴ係数は１（１／α）×１（１／β）＝１倍に変換する必要がある。

ここで、図１８の再量子化前マトリクスが示す非０量子化ＤＣＴ係数は７、−３、２、１、４、１、−１、１の合計８個であるとする。また、８個の非０量子化ＤＣＴ係数のうち前半の３個の係数（７、−３、２）が低周波成分に該当するＩｎｔｅｒＭＢのブロックを変換対象とする量子化ＤＣＴ係数であるとする。

この場合、図１８の再量子化済マトリクスに示されるように、低周波成分の量子化ＤＣＴ係数は、入力時の２倍の、１４、−６、４に変換される。また、図１８の再量子化済マトリクスに示されるように、高周波成分の量子化ＤＣＴ係数は、入力時の係数から変換不要となる。

低周波成分の量子化ＤＣＴ係数は、変換倍率が整数である限りは、整数になるので、新たに量子化誤差は発生しない。高周波成分の量子化ＤＣＴ係数は、変換不要であるため、量子化誤差は発生しない。

これにより、入力時５０ｂｉｔだった符号量は５９ｂｉｔに増加するものの、低周波成分から高周波成分までのすべての周波数にわたって、量子化誤差を発生させずに変換することができる。

重要ＭＢがピクチャに対応する全てのＭＢにおいて、多くを占めるのであれば、上記の符号量の増加は目標レート達成に向けて大きな障害となる。しかしながら、重要ＭＢがピクチャに対応する全てのＭＢにおいて、十分少ないのであれば、上記の符号量の増加を他の通常ＭＢの符号量削減で取り返すことが可能である。

したがって、本発明の実施の形態１の符号化レート変換装置１０００において、全体的に量子化マトリクスの低周波成分の係数を入力値より小さくすることで、低周波成分の量子化誤差の発生を抑えるとともに、重要ＭＢでの高周波成分も含む量子化誤差の発生を抑えることができる。

すなわち、本実施の形態の処理によれば、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、重要ＭＢとしての特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

なお、本実施の形態においては、図１９Ａに示されるように、マクロブロックの種類がＩｎｔｅｒＭＢであり、さらに量子化マトリクスの全係数が一定の場合を取り上げた。しかしながら、これに限定されることなく、図１９Ｂに示されるように、本実施の形態の処理は、もちろん、マクロブロックの種類がＩｎｔｒａＭＢであってもよいし、量子化マトリクスの係数が一定値でなくばらばらの場合に行なわれてもよい。

また、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢのどちらかでのみ、量子化マトリクスを利用したレート変換を適用してもよいし、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢの両方において量子化マトリクスの変換倍率などを変化させてもよい。

なお、本実施の形態においては、図１９Ａに示されるように、量子化マトリクスの係数に変換誤差が発生しない場合を取り上げたが、図１９Ｂに示されるように、量子化マトリクスの係数に変換誤差が発生してもよい。

なお、本発明は、ＭＰＥＧ２を前提として記載している。しかしながら、ＭＰＥＧ２に限定されず、ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ４、Ｈ．２６４など、量子化マトリクスをピクチャ単位で設定し、量子化パラメータをマクロブロック単位で設定するコーデックであれば、本発明を適用可能である。

なお、本発明は、ＤＣＴ変換を前提として記載しているが、画像データを周波数成分に分解できる直交変換であれば、その他の変換方法であってもよい。

なお、本発明のように、ＭＰＥＧ２のＩｎｔｒａＭＢのＤＣ成分など、いくつかのコーデックではＤＣ成分などが量子化スケールの適用外になるなど、特別な量子化や符号化がなされる場合がある。しかしながら、これらの特別な係数に関しては、図１９Ｂに示されるように、本発明における量子化マトリクス変換の対象外としてよい。

図２０Ａは、変換前の量子化マトリクスを示す図である。図２０Ｂは、実施の形態１の処理により変換された後の量子化マトリクスを示す図である。図２０Ｃは、図２０Ｂに示される量子化マトリクスに対して使用される数値および処理を示す図である。

なお、本実施の形態においては、量子化マトリクスの低周波成分の変換対象係数をｕ＋ｖ≦２を満たす係数としていたが、ｕ＋ｖ≦２における“２”は２以外であってもよい。また、符号化に使用されるスキャン順（ジグザグスキャン）（０〜６３）を利用してもよい。また、図２０Ｂに示される量子化マトリクスＭＡのように、スキャン順（ジグザグスキャン）≦−１、すなわち変換領域なしとしてもよい。

また、図２０Ｂに示される量子化マトリクスＭＢのように、スキャン順（ジグザグスキャン）≦６３、すなわち全係数を変換領域としてもよい。その他、低周波成分と高周波成分を分離できる方法であれば、どのような方法であってもよい。また、これらの基準は、ピクチャごとに変化するなど、一定でなくてもよい。

なお、本実施の形態においては、量子化マトリクスの変換対象係数の変換率を一定としていたが、図２０Ｂに示される量子化マトリクスＭＣのように、変換対象係数が一定の変換率で変換されていなくても、
（変換後の量子化マトリクス係数）≧（変換前の量子化マトリクス係数）×量子化マトリクス変換率α
が成立していればよい。

なお、本実施の形態においては、量子化マトリクスの変換対象外の係数を変化させなかったが、図２０Ｂに示される量子化マトリクスＭＤのように、変換対象外の係数を変化させたとしても、本発明の本質には影響ない。

なお、本実施の形態においては、量子化マトリクスの変換対象係数をｕ＋ｖ≦一定値を満たす係数、もしくはスキャン順（ジグザグスキャン）を利用した。しかしながら、これに限定されることなく、図２０Ｂに示される量子化マトリクスＭＥのように、量子化マトリクスの変換対象係数を、ｕ≦一定値かつｖ≦一定値の条件を満たす係数としてもよい。

また、図２０Ｂに示される量子化マトリクスＭＦのように、スキャン順（オルタネートスキャン）を利用してもよいし、その他の方法で決定してもよい。なお、スキャン順を利用する場合に、どちらのスキャン順を利用するかを、プログレッシブ画像かインターレース画像かによって決定してもよいし、ストリームがどちらのスキャン順で符号化されているかに合わせて決定してもよい。

なお、本実施の形態においては、ＭＢごとのレート制御がなされることを前提としているが、例えばすべてのＭＢが同じ量子化スケールになるなど、必ずしもＭＢごとでなくてもよい。

また、本実施の形態においては、変換倍率を１倍以上に設定しても、量子化マトリクスの低周波成分の変換倍率（１／α倍）より小さければ、符号化データの符号量はさらに増加することになる。レート変換において、変換倍率１／α倍未満を許容してもよいし、変換倍率１／α倍未満を許容せずに、１／α以上になるように変換倍率を切り上げてもよい。

なお、本実施の形態においては、量子化マトリクスの低周波係数の変換を１／α倍（α：整数）に限定して説明を行ったが、必ずしも１／α倍でなくても、１より小さな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、量子化パラメータの変換を整数倍に限定して説明を行ったが、必ずしも整数倍でなくても、１より大きな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、低周波成分において、量子化マトリクスの変換倍率×量子化パラメータの変換倍率が１以上であることを前提として記載しているが、１より小さな値であっても、高周波成分より大きければ、任意の値であってもよい。

なお、本実施の形態においては、４：２：０（輝度、色差、色差）の６ブロック構成を用いるコーデックを前提として記載しているが、４：２：２などその他のブロック構成をもちいる画像コーデックでも本発明は実施可能である。

なお、本実施の形態においては、量子化ＤＣＴ係数変換時に小数点以下を切り捨てることを前提として記載しているが、小数点以下は四捨五入であっても、その他の方法で整数化していても、本発明は実施可能である。

なお、本実施の形態の符号化レート変換装置は、逆量子化部と量子化部が独立になっているが、逆量子化部と量子化部が一体になり、直接、入力ストリームの量子化ＤＣＴ係数から出力ストリームの量子化ＤＣＴ係数を算出してもよい。

なお、本実施の形態の符号化レート変換装置１０００は、再量子化により得られた量子化ＤＣＴ係数を直接出力しているが、再量子化により得られた量子化ＤＣＴ係数に対して、例えば動き補償による補正を行ってから出力する場合においても、本発明は実施可能である。その他、入力ストリームから出力ストリームに変換する際、一度画像に戻すことなく、直接再量子化により変換する方法であれば、本発明は実施可能である。

（実施の形態２）
実施の形態１の符号化レート変換装置１０００において、例えばＭＰＥＧ２では量子化スケールの値は１〜１１２の範囲しか取ることができない。そのため、入力ストリームの量子化スケールの値が１１２に近い値の場合、量子化スケール変換率βが大きくできない。この場合、量子化マトリクスによる低周波成分の符号量増を打ち消すことができず、符号化レートを十分に削減にできない場合がある。

また、実施の形態１の符号化レート変換装置１０００において、ＭＰＥＧ２では量子化マトリクスの係数は１〜２５５の範囲しか取ることができない。そのため、入力ストリームの量子化マトリクスの低周波成分の係数がすでに１にある程度近い値の場合、低周波成分の量子化マトリクス変換率αを大きくできないため、画質劣化を十分に改善できない場合がある。

本発明の実施の形態２では、上記の課題を解決するための符号化レート変換装置について説明する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図２１は、実施の形態２における符号化レート変換装置１０００Ａの構成を示すブロック図である。

図２１の符号化レート変換装置１０００Ａは、図１１の符号化レート変換装置１０００と比較して、量子化マトリクス変換制御部１１０の代わりに量子化マトリクス変換制御部１１０Ａを備える点と、量子化マトリクス低域削減変換部１０８の代わりに量子化マトリクス高域増加変換部１０８Ａを備える点と、量子化スケール増加変換部１０４の代わりに量子化スケール増加・削減変換部１０４Ａを備える点とが異なる。それ以外は、符号化レート変換装置１０００と同様なので詳細な説明は繰り返さない。

量子化マトリクス変換制御部１１０Ａは、実施の形態１で説明した量子化マトリクス変換制御部１１０が行なう処理の説明において、“量子化マトリクス低域削減変換部１０８”および“量子化スケール増加変換部１０４”を、それぞれ、“量子化マトリクス高域増加変換部１０８Ａ”および“量子化スケール増加・削減変換部１０４Ａ”と置き換えた処理を行なうので詳細な説明は繰り返さない。

量子化マトリクス変換制御部１１０Ａは、先頭のピクチャを処理する際において、当該ピクチャの目標符号量や量子化マトリクスの変換実績などに基づいて量子化マトリクスの変換制御情報を算出し、量子化マトリクス高域増加変換部１０８Ａに通知する。また、量子化マトリクス変換制御部１１０Ａは、マクロブロックごとに、量子化マトリクスの制御情報に基づいて、目標量子化スケールを補正して、補正した量子化スケールを、量子化スケール増加・削減変換部１０４Ａに通知する。

量子化マトリクス高域増加変換部１０８Ａは、量子化マトリクスの変換制御情報に基づいて、入力ストリームの量子化マトリクスの高周波成分の係数を増加方向に変換する。そして、量子化マトリクス高域増加変換部１０８Ａは、変換後の量子化マトリクスを量子化部１０７およびピクチャヘッダ格納部１０９に同時に通知する。

量子化スケール増加・削減変換部１０４Ａは、目標量子化スケールを基準として、あるいは重要ＭＢの判定を行って、入力ストリームの量子化スケールを増加方向あるいは減少方向に変換して、出力ストリームの量子化スケールを算出する。そして、量子化スケール増加・削減変換部１０４Ａは、変換後の量子化スケールを、量子化部１０７およびＭＢヘッダ格納部１０５に同時に通知する。

本発明の実施の形態２の符号化レート変換装置における処理フローを、図１２〜図１４の実施の形態１の符号化レート変換装置の処理フローに基づいて説明する。

Ｓ３０１〜Ｓ３０８、Ｓ４０１〜Ｓ４０７は、実施の形態１と同等のため、説明を省略する。量子化マトリクス高域増加変換部１０８Ａは、量子化マトリクスの変換制御情報に基づいて、ステップＳ３０２，Ｓ３０５，Ｓ４０４のいずれかの処理で設定された入力ストリームの量子化マトリクスの高周波成分を増加方向に変換する（Ｓ４０８）。

Ｓ４０９〜Ｓ４１１、Ｓ５０１〜Ｓ５０４は、実施の形態１と同等のため、説明を省略する。量子化スケール増加・削減変換部１０４Ａは、Ｓ５０２の目標量子化スケールの補正や重要ＭＢの判定などを行い、当該マクロブロックの量子化スケールの入力値を増加方向あるいは削減方向に変換する。Ｓ５０５〜Ｓ５１３は、実施の形態１と同等のため、説明を省略する。

本発明の実施の形態２の符号化レート変換装置におけるレート制御の具体的な動作を説明する。

先頭のピクチャを処理する際において、まず当該ピクチャの目標符号量Ｔ（ｉ）を算出する必要があるが、ＴＭ５のステップ１に基づけば算出可能であるので、詳細な説明は省略する。マクロブロックにおいて、目標量子化スケールを算出する必要があるが、ＴＭ５のステップ２に基づけば算出可能であるので、詳細な説明は省略する。

なお、ここではレート制御方式としてＴＭ５を挙げているが、その他のレート制御方式であってもよい。本発明は特定のレート制御方式に依存するものではない。

本発明の実施の形態２の符号化レート変換装置１０００Ａが行なう図１３のステップＳ４０８の量子化マトリクス変換の具体的な処理を説明する。

ここで、ｉ番目のピクチャと、当該ｉ番目のピクチャの一つ前のピクチャ（以下、評価対象ピクチャという）とが存在するとする。この場合、評価対象ピクチャは、ｉ−１番目のピクチャとなる。ここで、評価対象ピクチャは、ｉ番目のピクチャよりも前に表示対象となるピクチャであるとする。また、ｉ番目のピクチャおよび評価対象ピクチャは、同一の種類のピクチャであるとする。

また、高周波成分（高域）の量子化マトリクス変換率がα（ｉ−１）倍（α（ｉ−１）＞１）、量子化スケール変換率の平均がβ（ｉ−１）倍であったとする。この場合、量子化ＤＣＴ係数変換率γ（ｉ−１）（高周波成分の平均）は、γ（ｉ−１）＝α（ｉ−１）×β（ｉ−１）として算出することができる。

ここで、ＤＣＴ係数の低域の量子化誤差が最小になるのはγ＝１のときであり、さらに、γが１より大きくても、ある程度小さい値（ここではγｍａｘとする）であれば、画質劣化が許容範囲に収まると考えられる。

許容範囲を超えることが想定される場合、許容範囲内に収まるような制御が必要である。また、γが１より小さいと、画質劣化は発生しないが、符号量が増加するため、γが１以上になるような制御が必要になる。

ｉ番目のピクチャに最も近い位置の評価対象ピクチャが、ｉ番目のピクチャと同一の傾向の量子化スケールを持つ（β（ｉ）＝β（ｉ−１））と仮定する。この場合、ｉ番目のピクチャの量子化マトリクス変換率（高域）α（ｉ）は、以下の式により算出することができる。

α（ｉ）＝
１ ×α（ｉ−１）／γ（ｉ−１） （γ（ｉ−１）＜１の場合）
α（ｉ−１） （１≦γ（ｉ−１）≦γｍａｘの場合）
γｍａｘ×α（ｉ−１）／γ（ｉ−１） （γｍａｘ＜γ（ｉ−１）の場合）

次に、その量子化マトリクス変換率α（ｉ）に従って、入力ストリームの量子化マトリクスを以下の式（以下、マトリクス変換式Ｂという）で変換して、出力ストリームの量子化マトリクスＷｏ（ｕ，ｖ）を求める。

Ｗｏ（ｕ，ｖ）＝
Ｗｉ（ｕ，ｖ） （ｕ＋ｖ≦ε（低周波成分）の場合）
α（ｉ）×Ｗｉ（ｕ，ｖ） （ｕ＋ｖ＞ε（高周波成分）の場合）

ここで、Ｗｉ（ｕ，ｖ）は、入力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数（ｕ＝０〜７、ｖ＝０〜７）を示す定数である。Ｗｏ（ｕ，ｖ）は、出力ストリームの量子化マトリクスの第（ｕ，ｖ）番目の係数を示す定数である。また、Ｗｏ（ｕ，ｖ）は、ｖ＋１行ｕ＋１列で特定される係数を示す。たとえば、ｕ＝２，ｖ＝５の場合、Ｗｏ（ｕ，ｖ）は、６行３列で特定される係数を示す。εは誤差を抑制する周波数の閾値（基準周波数）を示す定数である。

なお、ここでは、量子化スケールの実績値として、同一ピクチャ種類で最も近い位置のピクチャ（評価対象ピクチャ）を選択しているが、これに限定されることはない。例えば、ｉ番目のピクチャの種類によらずに評価対象ピクチャを選択してもよい。

また、ｉ番目のピクチャに最も近い位置でないピクチャを選択してもよい。また、単一のピクチャではなく、ｉ番目のピクチャの前の複数のピクチャを選択してもよい。また、ｉ番目のピクチャの前のピクチャの量子化スケールではなく、ｉ番目のピクチャの量子化スケールを先読みして算出した量子化スケールを利用してもよいし、その他の方法で、量子化スケールを予測してもよい。

なお、ここでは、量子化マトリクス変換率の算出において、量子化スケール変換率の平均値を使用している。しかしながら、これに限定されることなく、使用される値は、量子化スケール変換率の最小値など、量子化スケールに関するその他の実績値であってもよいし、一定値などであってもよい。また、量子化マトリクス変換率の算出方法は、量子化スケールとは無関係の算出方法であってもよい。

本発明の実施の形態２の符号化レート変換装置１０００Ａが行なう、量子化スケール変換（図１５の量子化スケール変換処理）の具体的な動作を説明する。

レート制御で算出した目標量子化スケールは、ＴＭ５のステップ２で算出したものであり、量子化マトリクスとは無関係に決定する。そのため、本実施の形態の符号化レート変換装置１０００Ａにおいては、使用される量子化スケールの値が、最適な量子化スケールの値でない可能性がある。

量子化マトリクス変換率（高域）が大きい場合、符号量は減少する方向である。そのため、レート制御で求めた量子化スケールの値をそのまま使用すると、符号量が削減されすぎる可能性もある。この場合、符号量の削減をやや緩めるように、目標量子化スケールの値がやや小さめになるように補正してもよい。

例えば、レート制御で得られた目標量子化スケールｍｑ（ｊ）を補正して、
ｍｑ'（ｊ）＝ｍｑ（ｊ）×（１／α）
として算出してもよい。

なお、ここでは、１／αを乗算することにより目標量子化スケールの補正を行っているが、１／αでなくても１より小さい値であれば、符号化データの符号量を増加方向に補正することができる。また、その他の式で目標量子化スケールの補正を行ってもよいし、補正は行わなくてもよい。

次に、実際に当該マクロブロックの量子化スケールを算出する。出力ストリームの量子化スケールｑｏ（ｊ）は、これは従来技術としての特許文献２の特開２００１−２０４０２８号公報に開示された技術で導出可能であり、詳細な説明は省略する。

ｑｏ（ｊ）＝
ｑｉ（ｊ） （ｍｑ（ｊ）＜１．５×ｑｉ（ｊ）の場合）
２×ｑｉ（ｊ） （１．５×ｑｉ（ｊ）≦ｍｑ（ｊ）＜２×ｑｉ（ｊ）の場合）
ｍｑ（ｊ） （２ ×ｑｉ（ｊ）＜ｍｑ（ｊ）の場合）

ここで、ｑｉ（ｊ）は入力ストリームの量子化スケール、また、ｍｑ（ｊ）は目標量子化スケールである。

なお、ここでは、量子化スケールｑｏ（ｊ）を上式で導出しているが、その他の式で導出してもよい。

上記の量子化スケールを用いれば、ＤＣＴ係数の低周波成分の量子化誤差を抑えた変換を行うことが可能である。

しかし、前述した重要ＭＢでは、ＤＣＴ係数の低周波成分だけでなく、高周波成分の量子化誤差も抑えたほうが全体的な画質劣化を抑制できることが分かっている。そのため、重要ＭＢにおいては、すべての周波数領域に対して量子化誤差を抑制可能な量子化スケールを設定できることが望ましい。

前述したように、重要ＭＢは、ＭＢのＭＢブロック部のデータ量と、当該ＭＢのＭＢヘッダ部が示す量子化スケールコードの変換により得られる量子化スケールの値との乗算により得られる値が、所定値より大きい値を示すＭＢである。

また、重要ＭＢに対応する量子化スケールｑｏ”（ｊ）は以下の式で算出できる。

ｑｏ”（ｊ）＝１／α×ｑｉ（ｊ）
重要ＭＢで上記の量子化スケールｑｏ”（ｊ）を用いれば、すべての周波数領域の量子化誤差を抑えた変換を行うことができる。

それ以外のＭＢ（通常ＭＢ）であれば、量子化スケールに上記ｑｏ（ｊ）を用いればよい。

なお、重要ＭＢは、前述した演算（ＭＢブロック部のデータ量×量子化スケールの値）以外の演算を使用して決定してもよい。

次に、量子化スケールの値の変換例を説明する。

ここで、変換前の量子化スケールの値は、図１６Ａに示される値であるとする。前述したように、図１６Ａに示される複数の数字は、ピクチャの符号化データを構成する複数のＭＢの各々に対して設定された量子化スケールの値を示す。

ここで、目標符号化レートに基づいてレート制御における量子化スケールの平均値が“８”であったとする。この場合、量子化スケールの平均値に基づいて、量子化スケールの値を変換するならば、図２２に示されるように、ピクチャの上部に対応する複数のＭＢの各々に対して設定された量子化スケールの値は、“４”から“８”に変換され、それ以外のＭＢに対して設定される量子化スケールの値は、“８”のまま保持されることになる。

ただし、量子化マトリクス変換率α＝１／２の場合、ピクチャの中央部および下部に対応する複数のＭＢのうち、前述した重要ＭＢに対して設定される量子化スケール変換率βは、量子化誤差を最小とするため、“１／２”とする。したがって、重要ＭＢに対して設定される量子化スケールは“８”から“４”に減少方向に変換されることになる。

本発明の実施の形態２の符号化レート変換装置１０００Ａの量子化部１０７が行なう重要ＭＢの量子化の具体的な処理を図２３を用いて説明する。重要ＭＢの量子化の具体的な処理は、図１４のステップＳ５０９で行なわれる。

レート制御や量子化マトリクス変換の結果、量子化マトリクスの高周波成分の係数（ε＝２の場合）を２倍に増加することになったとする。すなわち、高周波成分の量子化マトリクス変換率αは“２”であるとする。また、低周波成分の量子化マトリクス変換率αは“１”であるとする。

また、重要ＭＢでは高周波成分の量子化誤差を発生させないため、量子化スケールの値を１／２倍に減少するものとする。すなわち、量子化スケール変換率βは“１／２”であるとする。この場合、算出される量子化スケールの値は図１６のステップＳ６０２の処理により算出される値である。この処理により、量子化スケールの値“２”が算出される。

ここで、前述したマトリクス変換式Ｂにおいて、ε＝２とする。この場合、量子化マトリクスの低周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数となる。また、量子化マトリクスの高周波成分の係数は、量子化マトリクスが示す６４個の係数のうち、左上の三角形状に配置された６個の係数以外の係数となる。

図２３は、図１７と同様に、変換前量子化マトリクス、変換済量子化マトリクス、再量子化前マトリクスおよび再量子化済マトリクスを示すとする。

図２３の変換済量子化マトリクスは、図１３のステップＳ４０８の処理において、量子化マトリクス高域増加変換部１０８Ａが、図２３の変換前量子化マトリクスを、高周波成分の量子化マトリクス変換率α“２”を使用して変換したマトリクスである。

図２３に示される変換済量子化マトリクスは、低周波成分の係数の値がそのままで、高周波成分の係数の値が大きくなっている（２倍）。そのため、図２３の変換済量子化マトリクスを使用して量子化が行なわれると、符号化データの符号量（符号化レート）が小さくなる。すなわち、図２３の変換済量子化マトリクスは、符号化データの符号量（符号化レート）を小さくするためのマトリクスである。

図２３の再量子化済マトリクスは、図１４のステップＳ５０９の処理において、量子化部１０７が、図２３の変換済量子化マトリクスと、算出された量子化スケールの値“２”とを使用して、図２３の再量子化前マトリクスを、再量子化することにより得られるマトリクスである。

前述した逆量子化の式から、量子化ＤＣＴ係数を量子化マトリクスおよび量子化スケールにほぼ反比例させる必要がある。そのため、低周波成分の量子化ＤＣＴ係数は１（１／α）×２（１／β）＝２倍に変換する必要がある。また、高周波成分の量子化ＤＣＴ係数は１／２（１／α）×２（１／β）＝１倍に変換する必要がある。

ここで、図２３の再量子化前マトリクスが示す非０量子化ＤＣＴ係数は７、−３、２、１、４、１、−１、１の合計８個であるとする。また、８個の非０量子化ＤＣＴ係数のうち前半の３個の係数（７、−３、２）が低周波成分に該当するＩｎｔｅｒＭＢのブロックを変換対象とする量子化ＤＣＴ係数であるとする。

この場合、図２３の再量子化済マトリクスに示されるように、低周波成分の量子化ＤＣＴ係数は、入力時の２倍の、１４、−６、４に変換される。なお、図２３の再量子化済マトリクスに示されるように、高周波成分の量子化ＤＣＴ係数は、変換不要である。

このとき、低周波成分の量子化ＤＣＴ係数は、変換倍率が整数である限りは、整数になる。そのため、新たに量子化誤差は発生しない。また、高周波成分の係数は入力から変換不要であるため、量子化誤差は発生しない。

これにより、入力時５０ｂｉｔだった符号量は５９ｂｉｔに増加するものの、低周波成分から高周波成分まですべての周波数にわたって量子化誤差を発生させずに変換することができる。

重要ＭＢがピクチャに対応する全てのＭＢにおいて、多くを占めるのであれば、上記の符号量の増加は目標レート達成に向けて大きな障害となる。しかしながら、重要ＭＢがピクチャに対応する全てのＭＢにおいて、十分少ないのであれば、上記の符号量の増加を他の通常ＭＢの符号量削減で取り返すことが可能である。

したがって、本発明の実施の形態２の符号化レート変換装置１０００Ａにおいて、全体的に量子化マトリクスの低周波成分の係数を入力値より小さくすることで、低周波成分の量子化誤差の発生を抑えるとともに、重要ＭＢでの高周波成分も含む量子化誤差の発生を抑えることができる。

すなわち、本実施の形態の処理によれば、低周波成分の量子化誤差に起因する画質劣化を抑制しながら、さらに、重要ＭＢとしての特定のマクロブロックにおいて高周波成分の量子化誤差に起因する画質劣化を抑制することができる。

なお、本実施の形態においては、図２４Ａに示されるように、マクロブロックの種類がＩｎｔｅｒＭＢであり、さらに量子化マトリクスの全係数が一定の場合を取り上げた。しかしながら、これに限定されることなく、図２４Ｂに示されるように、本実施の形態の処理は、もちろん、マクロブロックの種類がＩｎｔｒａＭＢであってもよいし、量子化マトリクスの係数が一定値でなくばらばらの場合に行なわれてもよい。

また、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢのどちらかでのみ、量子化マトリクスを利用したレート変換を適用してもよいし、ＩｎｔｅｒＭＢおよびＩｎｔｒａＭＢの両方において量子化マトリクスの変換倍率などを変化させてもよい。

なお、本発明は、ＭＰＥＧ２を前提として記載している。しかしながら、ＭＰＥＧ２に限定されず、ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ４、Ｈ．２６４など、量子化マトリクスをピクチャ単位で設定し、量子化パラメータをマクロブロック単位で設定するコーデックであれば、本発明を適用可能である。

なお、本発明は、ＤＣＴ変換を前提として記載しているが、画像データを周波数成分に分解できる直交変換であれば、その他の変換方法であってもよい。

なお、本発明のように、ＭＰＥＧ２のＩｎｔｒａＭＢのＤＣ成分など、いくつかのコーデックではＤＣ成分などが量子化スケールの適用外になるなど、特別な量子化や符号化がなされる場合がある。しかしながら、これらの特別な係数に関しては、図２４Ｂのように、本発明における量子化マトリクス変換の対象外としてよい。

図２５Ａは、変換前の量子化マトリクスを示す図である。図２５Ｂは、実施の形態２の処理により変換された後の量子化マトリクスを示す図である。図２５Ｃは、図２５Ｂに示される量子化マトリクスに対して使用される数値および処理を示す図である。

なお、本実施の形態においては、量子化マトリクスの高周波成分の変換対象係数を、ｕ＋ｖ≧３を満たす係数としていたが、ｕ＋ｖ≧３における“３”は３以外であってもよい。また、符号化に使用されるスキャン順（ジグザグスキャン）（０〜６３）を利用してよい。また、図２５Ｂに示される量子化マトリクスＭＡＡのように、スキャン順（ジグザグスキャン）≧０、すなわち全係数を変換領域としてもよい。

また、図２５Ｂに示される量子化マトリクスＭＢＡのように、スキャン順（ジグザグスキャン）≧６４、すなわち変換領域なしとしてもよい。その他、低周波成分と高周波成分を分離できる方法であれば、どのような方法であってもよい。また、これらの基準は、ピクチャごとに変化するなど、一定でなくてもよい。

なお、本実施の形態においては、量子化マトリクスの変換対象係数の変換率を一定としていたが、図２５Ｂに示される量子化マトリクスＭＣＡのように、変換対象係数が一定の変換率で変換されていなくても、
（変換後の量子化マトリクス係数）≦（変換前の量子化マトリクス係数）×量子化マトリクス変換率α
が成立していればよい。

なお、本実施の形態においては、量子化マトリクス変換率は、一例として２を利用したが、１より大きければ、その他の整数であってもよい。たとえば、図２５Ｂに示される量子化マトリクスＭＤＡのように、１より大きければ、量子化マトリクス変換率は、小数であってもよい。

なお、本実施の形態においては、量子化マトリクスの変換対象係数をｕ＋ｖ≦一定値を満たす係数、もしくはスキャン順（ジグザグスキャン）を利用した。しかしながら、これに限定されることなく、図２５Ｂに示される量子化マトリクスＭＥＡのように、量子化マトリクスの変換対象係数を、ｕ≧一定値またはｖ≧一定値の条件を満たす係数としてもよい。

また、図２５Ｂに示される量子化マトリクスＭＦＡのように、スキャン順（オルタネートスキャン）を利用してもよいし、その他の方法で決定してもよい。なお、スキャン順を利用する場合に、どちらのスキャン順を利用するかを、プログレッシブ画像かインターレース画像かによって決定してもよいし、ストリームがどちらのスキャン順で符号化されているかに合わせて決定してもよい。

なお、本実施の形態においては、ＭＢごとのレート制御がなされることを前提としているが、例えばすべてのＭＢが同じ量子化スケールになるなど、必ずしもＭＢごとでなくてもよい。

なお、本実施の形態においては、量子化マトリクスの高周波成分の変換を整数倍に限定して説明を行ったが、必ずしも整数倍でなくても、１より大きな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、量子化スケール変換率を１／α倍（α：整数）に限定して説明を行った。しかしながら、量子化スケール変換率は、必ずしも１／αでなくても、１より小さな値であれば、任意の有理数であってもよい。

なお、本実施の形態においては、４：２：０（輝度、色差、色差）の６ブロック構成を用いるコーデックを前提として記載しているが、４：２：２などその他のブロック構成をもちいる画像コーデックでも本発明は実施可能である。

なお、本実施の形態においては、量子化ＤＣＴ係数変換時に小数点以下を切り捨てることを前提として記載しているが、小数点以下は四捨五入であっても、その他の方法で整数化していても、本発明は実施可能である。

なお、本実施の形態の符号化レート変換装置は、逆量子化部と量子化部が独立になっているが、逆量子化部と量子化部が一体になり、直接、入力ストリームの量子化ＤＣＴ係数から出力ストリームの量子化ＤＣＴ係数を算出してもよい。

なお、本実施の形態の符号化レート変換装置１０００Ａは、再量子化により得られた量子化ＤＣＴ係数を直接出力しているが、再量子化により得られた量子化ＤＣＴ係数に対して、例えば動き補償による補正を行ってから出力する場合においても、本発明は実施可能である。その他、入力ストリームから出力ストリームに変換する際、一度画像に戻すことなく、直接再量子化により変換する方法であれば、本発明は実施可能である。

（実施の形態３）
実施の形態２の符号化レート変換装置１０００Ａにおいて、ＭＰＥＧ２では量子化マトリクスは１〜２５５の範囲しか取ることができない。そのため、入力ストリームの量子化マトリクスの高域（高周波成分）の係数がすでに２５５に近い値の場合、高周波成分の量子化マトリクス変換率αを大きくできない。その結果、高周波成分の符号量を十分削減できないため、符号化レートを十分に削減できない場合がある。

また、実施の形態２の符号化レート変換装置１０００Ａにおいて、ＭＰＥＧ２では量子化スケールは１〜１１２の範囲しか取ることができない。そのため、入力ストリームの量子化スケールがすでに１に近い値の場合、重要ＭＢにおける量子化スケール変換率βを十分小さな値にすることができない。その結果、量子化マトリクスの高域削減により発生する量子化誤差が抑制しきれずに、画質の劣化に結びつく場合がある。

すなわち、入力ストリームの量子化マトリクスや量子化スケールの値によって、最も画質の劣化の少ない量子化処理が可能な符号化レート変換装置は異なる。すなわち、量子化マトリクスや量子化スケールの値によっては、図１１の実施の形態１の符号化レート変換装置１０００が最も画質の劣化の少ない量子化処理ができる場合がある。符号化レート変換装置１０００は、量子化マトリクスを変換するための量子化マトリクス低域削減変換を行なう装置である。量子化マトリクス低域削減変換は、変換対象の量子化マトリクスにおける低周波成分の係数を小さくする変換である。

また、量子化マトリクスや量子化スケールの値によっては、図２１の実施の形態２の符号化レート変換装置１０００Ａが最も画質の劣化の少ない量子化処理ができる場合がある。符号化レート変換装置１０００Ａは、量子化マトリクスを変換するための量子化マトリクス高域増加変換を行なう装置である。量子化マトリクス高域増加変換は、変換対象の量子化マトリクスにおける高周波成分の係数を大きくするための変換である。

また、量子化マトリクスや量子化スケールの値によっては、図９の従来の符号化レート変換装置１３０００が最も画質の劣化の少ない量子化処理ができる場合がある。

本発明の実施の形態３では、上記の課題を解決するための符号化レート変換装置について説明する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図２６は、実施の形態３における符号化レート変換装置１０００Ｂの構成を示すブロック図である。

図２６の符号化レート変換装置１０００Ｂは、図１１の符号化レート変換装置１０００と比較して、量子化マトリクス変換制御部１１０の代わりに量子化マトリクス変換制御部１１０Ｂを備える点と、量子化マトリクス高域増加変換部１０８Ａおよび量子化スケール増加・削減変換部１０４Ａをさらに備える点が異なる。それ以外は、符号化レート変換装置１０００と同様なので詳細な説明は繰り返さない。

量子化マトリクス変換制御部１１０Ｂは、先頭のピクチャを処理する際、量子化マトリクスの変換において、量子化マトリクス低域削減変換および量子化マトリクス高域増加変換のいずれが適用可能であるか否かを判定する。当該判定の詳細は後述する。なお、量子化マトリクスの変換において、量子化マトリクス低域削減変換および量子化マトリクス高域増加変換の両方が適用可能である場合、量子化マトリクス変換制御部１１０Ｂは、どちらか一方を、量子化マトリクスの変換において適用することを決定する。

量子化マトリクスの変換において、量子化マトリクス低域削減変換を適用する場合、符号化レート変換装置１０００Ｂは、実施の形態１の符号化レート変換装置１０００と同様な処理を行なうので詳細な説明は繰り返さない。

量子化マトリクスの変換において、量子化マトリクス高域増加変換を適用する場合、符号化レート変換装置１０００Ｂは、実施の形態２の符号化レート変換装置１０００Ａと同様な処理を行なうので詳細な説明は繰り返さない。

量子化マトリクスの変換において、量子化マトリクス低域削減変換および量子化マトリクス高域増加変換のいずれも適用しない場合、符号化レート変換装置１０００Ｂは、図９の従来の符号化レート変換装置１３０００と同様な処理を行なうので詳細な説明は繰り返さない。

本発明の実施の形態３の符号化レート変換装置１０００Ｂにおける符号化レート変換方法判定の具体的な動作を説明する。

前述の通り、量子化マトリクスを変換するための量子化マトリクス低域削減変換および量子化マトリクス高域増加変換は、量子化マトリクスや量子化スケールの値によっては、必ずしも最適な方法とはならない。したがって、量子化マトリクスや量子化スケールの値に従って、最適な方法を選択することが望ましい。しかしながら、量子化スケールの値は、すべてのＭＢのＭＢヘッダに分散されて符号化されている。そのため、量子化スケールの値を知るには、すべてのＭＢの量子化スケールの値を先読みする必要がある。

量子化スケールの値の先読みをするためには入力ストリームを２回復号化する必要が発生する。そのため、処理対象のピクチャの量子化スケールの値と同様の傾向を持つとして、過去の同一ピクチャ種類の量子化スケールの値で代用してもよい。

まず、量子化マトリクス変換制御部１１０Ｂは、処理対象のピクチャに使用する量子化マトリクスが以下の４つの条件ＪＡ，ＪＢ，ＪＣ，ＪＤのいずれを満たすか否かを判定する。

（ＪＡ）量子化マトリクスの高域係数の最大値が規格上限に近い
（ＪＢ）量子化マトリクスの低域係数の最小値が規格下限に近い
（ＪＣ）ＪＡ，ＪＢのどちらにも該当する
（ＪＤ）ＪＡ，ＪＢのどちらにも該当しない

次に、量子化マトリクス変換制御部１１０Ｂは、処理対象のピクチャに使用する量子化スケールの値が以下の４つの条件Ｊａ，Ｊｂ，Ｊｃ，Ｊｄのいずれを満たすか否かを判定する。

（Ｊａ）量子化スケールの最大値が規格上限に近い
（Ｊｂ）量子化スケールの最小値が規格下限に近い
（Ｊｃ）Ｊａ，Ｊｂのどちらにも該当する
（Ｊｄ）Ｊａ，Ｊｂのどちらにも該当しない

上記量子化マトリクスと量子化スケールの判定結果の組み合わせに対して、量子化マトリクス低域削減変換（以下、方法１という）、量子化マトリクス高域増加変換（以下、方法２という）のいずれの符号化レート変換が適するかどうかは、図２７に示される判定テーブルＴ１００を参照することで判定できる。判定テーブルＴ１００は、量子化マトリクスの変換において、方法１、方法２が適用可能か否かを判定するためのテーブルである。

図２７の判定テーブルＴ１００に示される、“ＪＡ”，“ＪＢ”，“ＪＣ”，“ＪＤ”は、前述した条件ＪＡ，ＪＢ，ＪＣ，ＪＤである。図２７の判定テーブルＴ１００に示される、“Ｊａ”，“Ｊｂ”，“Ｊｃ”，“Ｊｄ”は、前述した条件Ｊａ，Ｊｂ，Ｊｃ，Ｊｄである。

たとえば、前述の判定により、条件ＪＢおよび条件Ｊａが満たされると判定された場合、判定テーブルＴ１００により、量子化マトリクスの変換には方法１（量子化マトリクス低域削減変換）が適すると判定される。

なお、図２７の判定テーブルＴ１００において、“どちらも適用可”となっている箇所は、方法１、方法２のどちらも適用が可能である。

なお、図２７の判定テーブルＴ１００において、“どちらも非適用”となっている箇所は、方法１、方法２のいずれを適用した場合でも、符号化レートが十分に削減できない、画質劣化が発生するなどといった弊害が発生する。そのため、方法１および方法２のいずれの変換方法も適用せず、従来の符号化レート変換を適用するのがよい。

本発明の実施の形態３の符号化レート変換装置１０００Ｂにおけるレート制御、量子化マトリクス変換、量子化スケール変換の具体的な動作に関しては、実施の形態１の符号化レート変換装置１０００、実施の形態２の符号化レート変換装置１０００Ａと同等であるため、説明を省略する。

なお、本実施の形態では、実施の形態１の符号化レート変換装置１０００と、実施の形態２の符号化レート変換装置１０００Ａとを統合した符号化レート変換装置１０００Ｂを前提として説明を行った。しかしながら、これに限定されることなく、量子化スケールを変換するかどうかの判定は、実施の形態１の符号化レート変換装置１０００および実施の形態２の符号化レート変換装置１０００Ａにも適用可能である。

なお、本実施の形態では、量子化マトリクス変換を行うかどうかの判定に、量子化マトリクスや量子化スケールの最大値、最小値を用いているが、平均値などその他の基準値を用いて判定してもよい。

例えば、実施の形態１の符号化レート変換装置１０００が行なう処理において、量子化マトリクス変換率（低域）α×量子化スケール変換率β＝１が成立するとする。このときに、低周波成分の量子化誤差が最も抑制され、さらに従来技術により量子化スケール変換率＝２が成立するときに符号量あたりの画質向上が望めることを考えると、量子化マトリクスの変換率α＝１／２とすることが望ましい。しかしながら、量子化マトリクスの低周波成分の係数が奇数であった場合、量子化マトリクス変換時の変換誤差に起因して画質劣化が発生する場合がある。

また、例えば、実施の形態２の符号化レート変換装置１０００Ａが行なう処理において、量子化スケール変換率βが、１未満であり、かつ、小数を有する実数であるとする。この場合、量子化スケールの値を小さくすることになる。しかしながら、βは整数でないため、量子化スケールの符号化時に使用する量子化スケールコード（量子化パラメータ）への変換時において、量子化スケールコードは量子化スケールに対して離散的に定義されているために変換誤差の発生が多くなる。その結果、画質の劣化に結びつく場合がある。

上記の性質を考慮して、量子化マトリクス変換を行うかどうかの判定に、量子化マトリクスや量子化スケールの変換誤差を用いて、変換誤差が少なくなる方法を適用するように判定してもよい。

また、ＭＰＥＧ２では量子化ＤＣＴ係数が−２０４７〜２０４７の範囲しか取ることができない。そのため、実施の形態１の符号化レート変換装置１０００および実施の形態２の符号化レート変換装置１０００Ａが行なう処理において、入力ストリームの量子化ＤＣＴ係数がすでに−２０４７あるいは２０４７に近い値の場合、重要ＭＢにおいても、量子化ＤＣＴ係数を増加させることができないため、画質劣化が発生する場合がある。

上記の性質を考慮して、量子化マトリクス変換を行うかどうかの判定に、量子化ＤＣＴ係数の最大値など、量子化ＤＣＴ係数を利用してもよい。

（実施の形態４）
実施の形態１の符号化レート変換装置において、量子化マトリクスが１種類であること、もしくはすべての量子化マトリクスに対して同等の変換を行うことを想定している。しかし、ＭＰＥＧ２では、ＩｎｔｒａＭＢとＩｎｔｅｒＭＢ用の２つの量子化マトリクスを定義可能である。

ＭＰＥＧ２のＩｎｔｒａＭＢとＩｎｔｅｒＭＢでは、量子化誤差発生時に画質に与える影響が異なる。ＩｎｔｒａＭＢでは、参照画像が存在しないので、低周波成分の量子化誤差がそのまま画質へ影響する。一方、ＩｎｔｅｒＭＢでは、低周波成分の量子化誤差は参照画像からの差分に対する誤差であり、参照画像自体に対する誤差ではないので、画素への影響が小さい場合も多い。

したがって、ＩｎｔｒａＭＢとＩｎｔｅｒＭＢに対して、同等に低周波成分の量子化誤差を低減する処理を行うと、ＩｎｔｅｒＭＢでは過剰に誤差低減処理を行っていることになり、符号化レート削減の妨げになる可能性がある。

本発明の実施の形態４は、前述の要求に対応するための符号化レート変換装置である。

また、Ｈ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅでは、次の８つの量子化マトリクスを定義できる。

１．４×４，ＩｎｔｒａＭＢ，輝度
２．４×４，ＩｎｔｒａＭＢ，色差（青成分）
３．４×４，ＩｎｔｒａＭＢ，色差（赤成分）
４．４×４，ＩｎｔｅｒＭＢ，輝度
５．４×４，ＩｎｔｅｒＭＢ，色差（青成分）
６．４×４，ＩｎｔｅｒＭＢ，色差（赤成分）
７．８×８，ＩｎｔｒａＭＢ，輝度
８．８×８，ＩｎｔｅｒＭＢ，輝度

ここで、Ｈ．２６４のＩｎｔｒａＭＢは、ＭＰＥＧ２のＩｎｔｒａＭＢとは異なり、基本的に画面内予測であるため、ＩｎｔｅｒＭＢと同様、参照画像からの差分に対する誤差が発生することになる。しかし、参照画像は同一ピクチャであり、ＩｎｔｅｒＭＢと比較して相関性が低いため、依然として、ＩｎｔｒａＭＢにおける量子化誤差が画素へ与える影響が大きい。

ここで、ＭＰＥＧ２ではブロックサイズが８×８固定であったが、Ｈ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅでは、輝度のブロックサイズがマクロブロックごとに４×４、８×８で選択可能である。また、色差のブロックサイズが４×４で固定である。ブロックサイズ８×８のときは、係数が６４個存在するが、ブロックサイズ４×４のときは、係数が１６個しか存在しないので、低周波成分かどうかを判定する基準周波数の位置もそれにあわせて変化させなければ、意図通りに変換することができない。

本発明の実施の形態４は、前述の要求に対応するための符号化レート変換装置である。

また、輝度と色差では、量子化誤差が人間の視覚に与える影響が異なる。輝度より色差、色差の中でも青色より赤色のほうが人間は敏感である。したがって、輝度、色差（青成分）、色差（赤成分）に対して同等に量子化誤差の低減処理を行うと、特に輝度では過剰に誤差低減処理を行っていることになる。そのため、符号化レート削減の妨げになる可能性がある。

本発明の実施の形態４は、前述の要求に対応するための符号化レート変換装置である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

本発明の実施の形態４の符号化レート変換装置の構成は、実施の形態１の図１１の符号化レート変換装置１０００の構成と同じであるので詳細な説明は繰り返さない。なお、実施の形態４では、量子化マトリクス変換制御部１１０および量子化マトリクス低域削減変換部１０８が、複数の量子化マトリクスを独立に制御・変換する。

本発明の実施の形態４の符号化レート変換の具体例を説明する。

前述の通り、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））、予測タイプ（ＩｎｔｒａＭＢまたはＩｎｔｅｒＭＢ）、ブロックサイズ（８×８、４×４）によって、量子化マトリクス変換方法を独立に変更するという要求がある。

Ｈ．２６４の符号化レート変換装置において、ブロックタイプ、予測タイプ、ブロックサイズによって、量子化マトリクスの変換方法を変更したときの一例を図２８Ａおよび図２８Ｂに示す。なお、ブロックタイプ、予測タイプ、ブロックサイズによって、基準周波数と、量子化マトリクスを変換するための値（量子化マトリクス変換率）とを変更する処理は、量子化マトリクス低域削減変換部１０８が行なう。

図２８Ａおよび図２８Ｂに示される変換パターンＰＡは、低域変換を行う基準周波数をｕ＋ｖ≦−１を満たす周波数に設定、すなわち量子化マトリクスの低域係数の変換を行わないものである。

図２８Ａおよび図２８Ｂに示される変換パターンＰＢは、低域変換を行う基準周波数をｕ＋ｖ≦１を満たす周波数に設定し、量子化マトリクス変換率を１／２に設定したものである。

図２８Ａおよび図２８Ｂに示される変換パターンＰＣは、低域変換を行う基準周波数をｕ＋ｖ≦２を満たす周波数に設定し、量子化マトリクス変換率を１／４に設定したものである。

図２８Ａおよび図２８Ｂに示される変換パターンＰＤは、低域変換を行う基準周波数をｕ＋ｖ≦３を満たす周波数に設定し、量子化マトリクス変換率を１／２に設定したものである。

図２８Ａおよび図２８Ｂでは、量子化マトリクスのすべての係数が１６のときの変換例を示しているが、上記の変換パターンは、この量子化マトリクスに限るものではない。図２８Ａに示される表では、ブロックタイプ、予測タイプ（ＩｎｔｒａＭＢまたはＩｎｔｅｒＭＢ）、ブロックサイズの組み合わせ（マトリクス番号Ｍ０〜Ｍ７）によって、変換パターンＰＡ〜ＰＤのいずれかを適用することを示している。

図２９Ａ、図２９Ｂ、図２９Ｃ、図２９Ｄは、実施の形態４の符号化レート変換装置が、図２８Ｂに示される変換後の量子化マトリクスを使用して、Ｈ．２６４のマクロブロックタイプごとに変換された量子化ＤＣＴ係数の変換率を示す。

図２９Ａは、マトリクス番号Ｍ０に対応する変換パターンＰＡにより変換された量子化マトリクスにより、４×４のサイズの輝度のＭＢが再量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、再量子化により、輝度のＭＢが示す全ての量子化ＤＣＴ係数が１倍されたことが示される。

また、図２９Ａは、マトリクス番号Ｍ１に対応する変換パターンＰＢにより変換された量子化マトリクスにより、色差（青成分）のＭＢが再量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、再量子化により、色差（青成分）のＭＢが示す複数の量子化ＤＣＴ係数のうち、左上の１つの量子化ＤＣＴ係数のみが２倍されたことが示される。

また、図２９Ａは、マトリクス番号Ｍ２に対応する変換パターンＰＣにより変換された量子化マトリクスにより、色差（赤成分）のＭＢが再量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、再量子化により、色差（赤成分）のＭＢが示す複数の量子化ＤＣＴ係数のうち、左上の３つの量子化ＤＣＴ係数のみが４倍されたことが示される。

図２９Ｂ、図２９Ｃおよび図２９Ｄに示されるマトリクスは、図２９Ａで説明したのと同様であるので詳細な説明は繰り返さない。

たとえば、図２９Ｃは、マトリクス番号Ｍ６に対応する変換パターンＰＤにより変換された量子化マトリクスにより、輝度のＭＢが逆量子化された後の量子化ＤＣＴ係数の変換率を示す。この場合、逆量子化により、輝度のＭＢが示す複数の量子化ＤＣＴ係数のうち、左上の６つの量子化ＤＣＴ係数のみが２倍されたことが示される。

図２９Ａ、図２９Ｂ、図２９Ｃ、図２９Ｄに示されるマトリクスが示す数値が大きいほど、符号量は大きくなるが、量子化誤差を低減することができる。

以上のように、ブロックタイプ、予測タイプ、ブロックサイズの性質に応じて、その組み合わせによって、量子化誤差の低減度合いに差をつけることで、要求される符号化レートへの変換時に画質劣化を抑えることができる。

なお、本実施の形態において、ブロックタイプには、輝度、色差（青成分）、色差（赤成分）のタイプが存在することを前提に説明を行ったが、その他のタイプが存在していてもよい。

なお、本実施の形態において、予測タイプには、Ｉｎｔｒａ、Ｉｎｔｅｒが存在することを前提に説明を行ったが、その他のタイプが存在していてもよい。

なお、本実施の形態において、ブロックサイズには、８×８、４×４が存在することを前提に説明を行ったが、その他のサイズが存在していてもよい。

なお、本実施の形態において、ブロックタイプ、予測タイプ、ブロックサイズに応じて、独立して量子化マトリクスの定義が可能なコーデックを前提に説明を行った。しかしながら、それに限定されず、それ以外の属性で独立に量子化マトリクスの定義が可能なコーデックであれば、その属性に応じて独立に量子化マトリクスを変換してもよい。

なお、本実施の形態において、予測タイプやブロックサイズは、ＭＢ内で固定であることを前提に説明を行っているが、予測タイプやブロックサイズがＭＢで可変であっても、本発明は実施可能である。

なお、本実施の形態において、ＩｎｔｅｒＭＢの量子化マトリクス変換率をＩｎｔｒａＭＢの量子化マトリクス変換率より下げる例を挙げている。しかし、例えば、画面間の相関性が低く、ＩｎｔｅｒＭＢの誤差が画質に与える影響が高い場合は、逆のほうが優れる場合もある。

本発明は、参照タイプ（ＩｎｔｅｒＭＢ、ＩｎｔｒａＭＢ）によって、量子化マトリクス変換を変更することが本質であり、どちらかの変換率が大きくするかどうかに依存するものではない。また、これは、ブロックタイプ（輝度・色差）、ブロックサイズ（８×８、４×４）によっても同様である。

なお、本実施の形態において、実施の形態１の符号化レート変換装置１０００を基準に説明を行った。しかしながら、本発明の本質は、ブロックタイプ、予測タイプ、ブロックサイズなどの属性に応じて量子化マトリクスの変換方法を変える点である。そのため、本発明は実施の形態２の符号化レート変換装置１０００Ａにも適用可能である。

（実施の形態５）
また、実施の形態１〜２の符号化レート変換装置では、量子化スケールが１種類であること、またすべての種類の量子化スケールに同等の変換をすることを想定している。しかし、予測タイプ（ＩｎｔｒａＭＢ／ＩｎｔｅｒＭＢ）は、マクロブロックごとにしか切り替わらないので、ＩｎｔｒａＭＢの量子化スケール、ＩｎｔｅｒＭＢの量子化スケールで、変換方法を変更することも可能である。

また、Ｈ．２６４におけるブロックサイズ（輝度８×８または４×４）も、マクロブロックごとにしか切り替わらないので、同様に変換方法を変更することも可能である。なお、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））は、１つのマクロブロックの中に複数タイプが存在するが、ＭＰＥＧ２では、両者の量子化スケールは共通である。

また、Ｈ．２６４ Ｈｉｇｈ Ｐｒｏｆｉｌｅでは、輝度、色差（青成分）、色差（赤成分）の３種類の量子化スケールが存在するものの、それぞれの量子化スケールは、その比率がピクチャ内で固定である。そのため、マクロブロックごとに３種類の量子化スケールを独立に設定できるわけではない。ＭＰＥＧ２、Ｈ．２６４以外でそれぞれの量子化スケールを独立に変更可能なコーデックにおいては、そのそれぞれで量子化スケールの変換方法を変更することも可能である。

本発明の実施の形態５における符号化レート変換装置の構成は、実施の形態１の図１１の符号化レート変換装置１０００の構成と同じであるので詳細な説明は繰り返さない。

本発明の実施の形態５における符号化レート変換装置は、量子化マトリクス変換制御部１１０および量子化スケール増加変換部１０４が、実施の形態４と同様に、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））、予測タイプ（ＩｎｔｒａＭＢ／ＩｎｔｅｒＭＢ）、ブロックサイズなどの属性に応じて、量子化スケールの値を変化させるための値（量子化スケール変換率β）を変更する。なお、その他の処理は、実施の形態１で説明した処理と同様なので詳細な説明は繰り返さない。

なお、本発明は実施の形態２の符号化レート変換装置１０００Ａにも適用可能である。この場合、量子化マトリクス変換制御部１１０Ａおよび量子化スケール増加・削減変換部１０４Ａが、実施の形態４と同様に、ブロックタイプ（輝度、色差（青成分）、色差（赤成分））、予測タイプ（ＩｎｔｒａＭＢ／ＩｎｔｅｒＭＢ）、ブロックサイズなどの属性に応じて、量子化スケールの値を変化させるための値（量子化スケール変換率β）を変更する。

（実施の形態６）
本実施の形態では、実施の形態１〜５で示した符号化レート変換装置の応用例あるいはそれを用いたシステムを説明する。

図３０は、符号化レート変換装置を用いた放送ストリーム受信記録装置２００８とそのシステム構成を示す図である。放送ストリーム受信記録装置２００８は、符号化レート変換部２００１と、放送受信部２００３と、ＡＶ多重分離部２００４と、ＡＶ多重部２００５と、ＨＤＤ制御部２００６と、ＨＤＤ２００７とを備える。なお、放送ストリーム受信記録装置２００８内の符号化レート変換部２００１が、実施の形態１〜５で示した符号化レート変換装置と同様な処理を行なう。

放送ストリーム受信記録装置２００８は、デジタル放送波２００２を受けて動作し、放送波から受信したデジタルデータの符号化レートを変換してＨＤＤ２００７に記録する。

デジタル放送波２００２は、変調された状態で搬送波にのせて伝送される。デジタル放送波２００２は、複数のプログラムを含む。複数のプログラムの各々は、ＭＰＥＧ２で符号化された映像データと、ＡＡＣで符号化された音声データと、字幕情報やデータ放送などのシステムデータとを含む。

放送受信部２００３は、デジタル放送波２００２を復調する。そして、放送受信部２００３は、復調により得られた複数プログラムの中から、所望の１つのプログラムを分離して、分離したプログラムを、ＡＶ多重分離部２００４に通知する。

ＡＶ多重分離部２００４は、映像データ、音声データ、システムデータが多重化されたストリームから、映像データだけを抽出して、映像データを符号化レート変換部２００１に通知する。ＡＶ多重分離部２００４は、映像データ以外のデータは、ＡＶ多重部２００５に通知する。

符号化レート変換部２００１は、映像データを所望の符号化レートに変換し、変換後の映像データ（符号化レート変換済みの映像データ）をＡＶ多重部２００５に通知する。ＡＶ多重部２００５は、符号化レート変換済みの映像データと、元の音声データ、システムデータを多重化して、１つのプログラムを再構成し、再構成した１つのプログラムをＨＤＤ制御部２００６に通知する。ＨＤＤ制御部２００６は、プログラムをＨＤＤ２００７に記録する。

日本のＢＳデジタル放送において、１つのプログラムの符号化レートは、２４Ｍｂｐｓである。そのため、ＨＤＤに１時間番組をそのまま記録する場合、ＨＤＤは、１０Ｇｂｙｔｅ以上の容量が必要になる。ＨＤＤが２５０Ｇｂｙｔｅの容量を有していても、２０時間程度しか記録することができない。これに伴い、ＨＤＤにもっと長時間の番組を記録したいという要求が存在する。

本実施の形態における放送ストリーム受信記録装置は、プログラムの中で映像データが約９割を占めることを利用して、映像データの符号化レートを例えば１／２倍に変換することで、上記の要求に答えることができる。

なお、本実施の形態では、放送ストリーム受信記録装置２００８は、デジタル放送波２００２を受信し、処理するようにしている。しかしながら、これに限定されることなく、放送ストリーム受信記録装置２００８は、符号化レート変換なしでＨＤＤに記録されたストリームや、ネットワークを通じて配信されたストリームを受信し、処理してもよい。

また、本実施の形態では、放送ストリーム受信記録装置２００８が受信したデータの記録先をＨＤＤとした。しかしながら、これに限定されず、ＤＶＤなどの光ディスクやメモリーカードなど他の記録媒体としてもよい。

（実施の形態７）
本実施の形態では、実施の形態１〜５で示した符号化レート変換装置の応用例あるいはそれを用いたシステムを説明する。

図３１は、符号化レート変換装置を用いたネットワーク配信システム５０００の一例の構成を示すブロック図である。

ネットワーク配信システム５０００は、ストリーム送信装置２１１０と、ストリーム受信装置２１１１と、ネットワーク２１０９とを含む。ストリーム送信装置２１１０は、符号化ストリームをネットワーク２１０９へ送信する。ストリーム受信装置２１１１は、ネットワーク２１０９から符号化ストリームを受信する。

ネットワーク配信システム５０００は、ストリーム送信装置２１１０のＨＤＤに記録されたＡＶストリームをネットワーク２１０９を通じて配信し、ストリーム受信装置２１１１で再生するシステムである。

ストリーム送信装置２１１０は、符号化レート変換部２１０１と、ＨＤＤ２１０２と、ＨＤＤ制御部２１０３と、ＡＶ多重分離部２１０４と、ＡＶ多重部２１０５と、ネットワーク制御部２１０６とを備える。なお、ストリーム送信装置２１１０内の符号化レート変換部２１０１が、実施の形態１〜５で示した符号化レート変換装置と同様な処理を行なう。ＨＤＤ２１０２には、映像ストリーム、音声ストリーム、システムストリームを含む１つのプログラムが格納されている。

ＨＤＤ制御部２１０３は、ＨＤＤ２１０２からストリームを読み出し、読み出したストリームをＡＶ多重分離部２１０４に通知する。ＡＶ多重分離部２１０４は、実施の形態６と同様、映像ストリームだけを分離して、分離した映像ストリームを符号化レート変換部２１０１に通知する。映像ストリーム以外のストリームは、ＡＶ多重部２１０５に通知する。

符号化レート変換部２１０１は、映像ストリームの符号化レートを変換して、変換後の映像ストリームをＡＶ多重部２１０５に通知する。ＡＶ多重部２１０５は、映像ストリームと音声、システムストリームを再度多重化した１つのＡＶストリームを生成し、生成したストリームをネットワーク制御部２１０６に通知する。

ネットワーク制御部２１０６は、受信したＡＶストリームをネットワーク２１０９に送信する。ネットワーク制御部２１０６は、ネットワーク２１０９が伝送可能なデータの符号化レートを検出し、検出した符号化レートの情報を、符号化レート変換部２１０１に通知する。

ストリーム受信装置２１１１は、ネットワーク制御部２１０７と、ＡＶ再生部２１０８とを備える。ネットワーク制御部２１０７は、ネットワーク２１０９からＡＶストリームを受信し、受信したＡＶストリームをＡＶ再生部２１０８に通知する。ＡＶ再生部２１０８は、ＡＶ多重分離やＡＶストリームの復号を行い、映像（データ放送や字幕も含む）、音声を再生する。なお、ＡＶ再生部は符号化レート変換に直接関係ないので、詳細な構成は省略する。

例えば、日本のＢＳデジタル放送では、１つのプログラムあたりの符号化レートが２４Ｍｂｐｓである。しかしながら、ネットワークではＡＶストリーム以外のデータも同時に伝送されているので、ネットワークでは、２４Ｍｂｐｓの帯域が保障できないことが多い。また、ネットワークが無線の場合は、電波状態によって伝送可能な帯域が随時変化する。そのため、ネットワークでは、２４Ｍｂｐｓの帯域を保障することができないことが多い。帯域が保障できない場合、ＡＶストリームのデータが抜け落ちることで、ストリームの復号が頻繁にエラーになる。そのため、ＡＶ再生がほとんどできないことになる。

ストリーム送信装置２１１０は、ネットワーク制御部２１０６が、ネットワーク２１０９の状態を検知し、ネットワーク２１０９で伝送可能なデータの帯域の情報を符号化レート変換部２１０１に通知する。これにより、符号化レート変換部２１０１は、ＡＶストリームをネットワーク２１０９で伝送可能な符号化レートに変換することができる。これにより、ネットワーク２１０９上でデータが抜け落ちることがなくなるので、ストリーム受信装置２１１１は正常にＡＶ再生ができるようになる。

なお、本実施の形態では、ストリーム送信装置２１１０が受信するデータを、ＨＤＤ２１０２から読み出したデータとしている。しかしながら、これに限定されず、ストリーム送信装置２１１０が受信するデータは、デジタル放送波に含まれるデータや、他の記録媒体から読み出されたデータとしてもよい。

なお、本発明の実施の形態１〜７において、符号化レート変換装置を構成する各機能ブロックは、典型的には、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現される。しかしながら、これに限定されず、符号化レート変換装置を構成する各機能ブロックの一部または全部を集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、使用される集積回路をＬＳＩとしたが、集積度の違いにより、使用される集積回路は、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等のいずれであってもよい。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤ ＰＲＯＧＲＡＭＭＡＢＬＥ ＧＡＴＥ ＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

以上のように、本発明に係る符号化レート変換装置は、例えば、放送ストリーム受信記録装置やネットワークへのストリーム送信装置等において、映像ストリームの符号化レートを低減する際に有用である。

１０１ 可変長復号部
１０２ 可変長符号部
１０３ レート制御部
１０４ 量子化スケール増加変換部
１０４Ａ 量子化スケール増加・削減変換部
１０５ ＭＢヘッダ格納部
１０６ 逆量子化部
１０７ 量子化部
１０８ 量子化マトリクス低域削減変換部
１０８Ａ 量子化マトリクス高域増加変換部
１０９ ピクチャヘッダ格納部
１１０，１１０Ａ，１１０Ｂ 量子化マトリクス変換制御部
１０００，１０００Ａ，１０００Ｂ 符号化レート変換装置
２００８ 放送ストリーム受信記録装置
２００１，２１０１ 符号化レート変換部
２１１０ ストリーム送信装置
２１１１ ストリーム受信装置
５０００ ネットワーク配信システム

Claims (11)

1. ピクチャを符号化する処理において、量子化マトリクスと量子化スケールの値との乗算により得られる値を使用した量子化の処理が少なくとも行なわれることにより得られる前記ピクチャの符号化データの符号化レートを変換するための符号化レート変換装置であって、
   前記量子化スケールは、ピクチャを復元するための符号化データを構成する複数のマクロブロックの各々に対し値が設定され、
   前記量子化マトリクスは、前記符号化データから得られるピクチャ単位で設定され、
   前記複数のマクロブロックを、前記ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する逆量子化部と、
   前記第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する係数である低周波係数の値を変換するための第１変換値と、前記複数の係数のうち前記低周波係数以外の係数である高周波係数の値を変換するための値であって、かつ、前記第１変換値より大きい第２変換値とを使用して、前記第１量子化マトリクスを第２量子化マトリクスに変換する量子化マトリクス変換部と、
   前記第２量子化マトリクスが前記符号化データの符号化レートを大きくするためのマトリクスである場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出し、前記第２量子化マトリクスが前記符号化データの符号化レートを小さくするためのマトリクスである場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２（０＜β２＜１）倍した変換後スケール値を算出するスケール値算出部と、
   前記複数の係数データの少なくとも一部を、前記第２量子化マトリクスと、該少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化することにより、前記逆量子化部により逆量子化される前の符号化レートより小さい符号化レートの前記符号化データを生成する再量子化部と
   を備える、符号化レート変換装置。
2. 前記量子化マトリクス変換部は、前記低周波係数の値をα１（０＜α１＜１）倍することにより前記第１量子化マトリクスを前記第２量子化マトリクスに変換する、
   請求項１に記載の符号化レート変換装置。
3. 前記スケール値算出部は、前記第２量子化マトリクスが前記符号化データの符号化レートを大きくするためのマトリクスである場合、前記符号化データを構成する前記複数のマクロブロックの各々に対応する量子化スケールの値をβ３（≧１／α１）倍した変換後スケール値を算出する、
   請求項２に記載の符号化レート変換装置。
4. 前記量子化マトリクス変換部は、前記高周波係数の値をα２（＞１）倍することにより、前記第１量子化マトリクスを前記第２量子化マトリクスに変換する、
   請求項１に記載の符号化レート変換装置。
5. 前記複数のマクロブロックにおいて、復号されることにより所定の精細度より精細度の高い画像を示すマクロブロックである特定マクロブロックがあるか否かを判定するブロック判定部をさらに備え、
   前記スケール値算出部は、前記特定マクロブロックがあると判定され、かつ、第２量子化マトリクスが前記符号化データの符号化レートを大きくするためのマトリクスである場合、全ての前記特定マクロブロックの各々に対応する量子化スケールの値をβ１倍した変換後スケール値を算出し、前記特定マクロブロックがあると判定され、かつ、前記第２量子化マトリクスが前記符号化データの符号化レートを小さくするためのマトリクスである場合、全ての前記特定マクロブロックの各々に対応する量子化スケールの値をβ２倍した変換後スケール値を算出する、
   請求項１に記載の符号化レート変換装置。
6. 前記特定マクロブロックは、前記複数のマクロブロックにおいて、マクロブロックのデータ量と、該マクロブロックに対応する量子化スケールの値との乗算により得られる値が、所定値より大きい値を示すマクロブロックである、
   請求項５に記載の符号化レート変換装置。
7. 前記量子化マトリクス変換部は、前記複数のマクロブロックの各々において、対応するマクロブロックの種類、予測方法およびサイズの少なくとも１つに応じて、前記所定周波数と、前記第１量子化マトリクスが示す前記複数の係数の少なくとも一部を変化させるための値とを変更する、
   請求項１に記載の符号化レート変換装置。
8. 前記スケール値算出部は、前記複数のマクロブロックの各々において、対応するマクロブロックの種類、予測方法およびサイズの少なくとも１つに応じて、β１またはβ２を変更する、
   請求項１に記載の符号化レート変換装置。
9. 前記低周波係数の値をα１（０＜α１＜１）倍することにより前記第１量子化マトリクスを前記第２量子化マトリクスに変換する第１変換処理、および、前記高周波係数の値をα２（＞１）倍することにより、前記第１量子化マトリクスを前記第２量子化マトリクスに変換する第２変換処理の少なくとも一方が、前記第１量子化マトリクスの変換において適用可能であるか否かを、前記第１量子化マトリクスが示す前記複数の係数の値と前記少なくとも１つのマクロブロックに対応する量子化スケールの値とに基づいて判定する判定部をさらに備え、
   前記判定部により適用可能であると判定された処理がある場合、適用可能であると判定された処理を、前記量子化マトリクス変換部が行ない、
   前記スケール値算出部は、前記量子化マトリクス変換部が前記第１変換処理を行なう場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１倍した変換後スケール値を算出し、前記量子化マトリクス変換部が前記第２変換処理を行なう場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２倍した変換後スケール値を算出する、
   請求項１に記載の符号化レート変換装置。
10. ピクチャを符号化する処理において、量子化マトリクスと量子化スケールの値との乗算により得られる値を使用した量子化の処理が少なくとも行なわれることにより得られる前記ピクチャの符号化データの符号化レートを変換するための符号化レート変換方法であって、
    前記量子化スケールは、ピクチャを復元するための符号化データを構成する複数のマクロブロックの各々に対し値が設定され、
    前記量子化マトリクスは、前記符号化データから得られるピクチャ単位で設定され、
    前記複数のマクロブロックを、前記ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する逆量子化ステップと、
    前記第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する係数である低周波係数の値を変換するための第１変換値と、前記複数の係数のうち前記低周波係数以外の係数である高周波係数の値を変換するための値であって、かつ、前記第１変換値より大きい第２変換値とを使用して、前記第１量子化マトリクスを第２量子化マトリクスに変換する量子化マトリクス変換ステップと、
    前記第２量子化マトリクスが前記符号化データの符号化レートを大きくするためのマトリクスである場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出し、前記第２量子化マトリクスが前記符号化データの符号化レートを小さくするためのマトリクスである場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２（０＜β２＜１）倍した変換後スケール値を算出するスケール値算出ステップと、
    前記複数の係数データの少なくとも一部を、前記第２量子化マトリクスと、該少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化することにより、前記逆量子化ステップにより逆量子化される前の符号化レートより小さい符号化レートの前記符号化データを生成する再量子化ステップと
    を備える、符号化レート変換方法。
11. ピクチャを符号化する処理において、量子化マトリクスと量子化スケールの値との乗算により得られる値を使用した量子化の処理が少なくとも行なわれることにより得られる前記ピクチャの符号化データの符号化レートを変換するための集積回路であって、
    前記量子化スケールは、ピクチャを復元するための符号化データを構成する複数のマクロブロックの各々に対し値が設定され、
    前記量子化マトリクスは、前記符号化データから得られるピクチャ単位で設定され、
    前記複数のマクロブロックを、前記ピクチャの符号化時に使用された第１量子化マトリクスを使用して逆量子化することにより複数の係数データを取得する逆量子化部と、
    前記第１量子化マトリクスが示す複数の係数のうち、所定周波数より低い周波数に対応する係数である低周波係数の値を変換するための第１変換値と、前記複数の係数のうち前記低周波係数以外の係数である高周波係数の値を変換するための値であって、かつ、前記第１変換値より大きい第２変換値とを使用して、前記第１量子化マトリクスを第２量子化マトリクスに変換する量子化マトリクス変換部と、
    前記第２量子化マトリクスが前記符号化データの符号化レートを大きくするためのマトリクスである場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ１（≧１）倍した変換後スケール値を算出し、前記第２量子化マトリクスが前記符号化データの符号化レートを小さくするためのマトリクスである場合、前記複数のマクロブロックのうち少なくとも１つのマクロブロックに対応する量子化スケールの値をβ２（０＜β２＜１）倍した変換後スケール値を算出するスケール値算出部と、
    前記複数の係数データの少なくとも一部を、前記第２量子化マトリクスと、該少なくとも一部の係数データに対応するマクロブロックに対応する算出された変換後スケール値とを使用して量子化することにより、前記逆量子化部により逆量子化される前の符号化レートより小さい符号化レートの前記符号化データを生成する再量子化部と
    を備える、集積回路。

Images