JPH10243397A - 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 復号画像の画質の均一化を図る。 【解決手段】 量子化回路１５では、量子化インデック
ス決定回路２５からの量子化マトリクスにしたがって、
ＤＣＴ回路１４からのＤＣＴ係数に重み付けがなされ、
その重み付け後のＤＣＴ係数が、同じく量子化インデッ
クス決定回路２５からの量子化インデックスに対応する
量子化ステップで量子化される。この場合において、量
子化マトリクスの係数は、通常使用されるものの係数を
１／２にしたものとされており、これにより、量子化ス
テップとして、より大きな値の、広い範囲のものが使用
されるようになされている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法お
よび画像符号化装置、画像伝送方法および画像伝送装
置、並びに記録媒体に関し、特に、復号画像の画質を均
一にすることができるようにする画像符号化方法および
画像符号化装置、画像伝送方法および画像伝送装置、並
びに記録媒体に関する。

【０００２】

【従来の技術】例えば、ＭＰＥＧ（Moving Picture Exp
erts Group）符号化などに代表されるＤＣＴ（Discrete
Cosine Transform）を用いた画像符号化方式（画像圧
縮方式）では、一般的に、画像をＤＣＴ処理して得られ
るＤＣＴ係数に、人間の視覚特性上の空間周波数ごとの
量子化感度の違いを利用した重み付けをして量子化が行
われ、これにより圧縮率を高めるようになされている。
即ち、高次のＤＣＴ係数は、復号画像を見たときの見た
目の画質にあまり影響しないため、低次のＤＣＴ係数に
比較して、粗く量子化が行われるような重み付けがされ
る。

【０００３】ＭＰＥＧでは、上述のような重み付けを行
うための手段として、ＪＰＥＧ（Joint Photographic c
oding Experts Group）から継承された量子化マトリク
スが用意されている。量子化マトリクスは、ＤＣＴ処理
の単位である８×８画素のブロックに対応する８×８の
係数が並んだマトリクス（matrix）で、その係数は、符
号化に際して自由に変更することができるようになされ
ている。

【０００４】量子化マトリクスによる重み付けとは、Ｄ
ＣＴ係数を、量子化マトリクスを構成する係数のうち
の、そのＤＣＴ係数に対応する位置にあるもので除算す
ることを意味するが、実際には、ＤＣＴ係数が、量子化
マトリクスの係数と量子化ステップとを乗算した乗算値
で量子化されるので、即ち、ＤＣＴ係数の重み付けと量
子化とは同時に行われるので、量子化マトリクスは、人
間の視覚特性に対応した量子化を行うための量子化ステ
ップと考えることもできる。

【０００５】量子化マトリクスによれば、上述のよう
に、人間の視覚特性に利用した効率的な量子化を実現す
ることができ、その係数は、一般に、そのような観点か
ら設定されるが、量子化ステップは、一般に、例えば、
発生符号量が所定の目標符号量と一致するように制御す
るレートコントロールと、画像のアクティビティ（acti
vity）（活性度）により変化する復号画像の画質（見た
目の画質）の均一化とを実現する量子化インデックスに
対応して設定される。

【０００６】ＭＰＥＧでは、量子化インデックスと量子
化ステップとの対応関係として、線形なものと非線形な
ものとの２種類が規定されている。即ち、ＭＰＥＧで
は、量子化インデックスとして、１乃至３１の整数値が
規定されており、線形な対応関係によれば、量子化ステ
ップには、量子化インデックスの２倍の値が対応付けら
れている。従って、量子化ステップは、量子化インデッ
クスに対応して一意的に決まり、量子化インデックスが
１，２，・・・，３１のとき、量子化ステップは、２，
４，・・・，６２となる。非線形な対応関係でも、同様
に、量子化インデックスと量子化ステップとが所定の非
線形な関数によって１対１に対応付けられている。

【０００７】なお、非線形な対応関係においては、量子
化インデックスが小さい範囲では、量子化ステップを細
かく変化させることができるように、また、量子化イン
デックスが大きい範囲では、量子化ステップを大きく変
化させることができるように、量子化インデックスと量
子化ステップとが対応付けられている。

【０００８】また、線形または非線形のうちのいずれの
対応関係を用いて量子化を行ったかはＱスケールタイプ
と呼ばれる変数によって表され、デコーダ側では、この
Ｑスケールタイプを参照することで、量子化インデック
スと量子化ステップとの対応関係が認識される。

【０００９】ところで、例えば、ＤＶＤ（Digigal Vers
atile Disc）や、ビデオＣＤ（Compact Disc）などのオ
ーサリングにあたっては、現在、画像の圧縮符号化方法
としてＭＰＥＧ方式が採用されているが、このようなオ
ーサリングなどの画像の記録、あるいは伝送を行う際に
は、少ない符号量で、良好な画質の復号画像を得ること
ができるように、画像を圧縮符号化することが要求され
る。

【００１０】そこで、例えば、オーサリングでは、画像
をＤＣＴ処理して得られるＤＣＴ係数を、固定の量子化
ステップで量子化し、画像の複雑さ（難しさ）として
の、例えば発生符号量などを測定する１パス目の処理
と、その１パス目の処理によって得られる発生符号量な
どに基づいて、所定の目標符号量を設定し、その目標符
号量に、発生符号量が一致するように量子化ステップを
適応的に変化させ、画像を可変レート符号化する２パス
目の処理とを行う、いわゆる２パスエンコーディング
が、一般に行われる。

【００１１】２パスエンコーディングによれば、画像の
複雑さに無関係に一定の符号量が割り当てられることに
より、複雑な部分が極端に粗く量子化されるようなこと
を防止することができる。即ち、１パス目の処理の結果
に基づき、２パス目の処理において、平坦な画像には少
ない符号量を、複雑な画像には多くの符号量を、それぞ
れ目標符号量として割り当てることにより、量子化ステ
ップの変化が、所定の狭い範囲に収まるようにし、その
結果、画像全体にわたって、極端に粗い量子化がされる
ような部分が生じないようにすることができる。

【００１２】

【発明が解決しようとする課題】ところで、量子化ステ
ップが、上述のように所定の狭い範囲で変化する場合に
おいては、その変化前後の量子化ステップの比率が小さ
い方が望ましい。

【００１３】即ち、いま、説明を簡単にするために、量
子化インデックスと量子化ステップとの対応関係とし
て、線形なものを使用するとすると、上述したように、
量子化ステップは、量子化インデックスの２倍の値に設
定される。この場合において、量子化インデックスが、
例えば、１から２に変化するときと、３０から３１に変
化するときとを考えてみる。

【００１４】まず、量子化インデックスが、１から２に
変化する場合、量子化ステップは２から４に変化するの
で、変化前後の量子化ステップの比率（［変化後の量子
化ステップ］／［変化前の量子化ステップ］）は、２
（＝（４−２）／２）倍となる。一方、量子化インデッ
クスが、３０から３１に変化する場合、量子化ステップ
は６０から６２に変化するので、変化前後の量子化ステ
ップの比率は、約１．０３３（≒６２／６０）倍とな
る。

【００１５】ＭＰＥＧにおいては、量子化ステップは、
マクロブロック単位で変化させることができるので、隣
接するマクロブロックにおける量子化ステップが大きい
比率で変化すると、発生符号量に大きな差が生じるだけ
でなく、その復号画像の画質にも大きな差が生じる。従
って、量子化インデックスが小さい値を変化する場合に
おいては、その１段階の変化が、復号画像の画質に大き
な影響を及ぼし、１フレームを構成するマクロブロック
の間で、そのような画質の差が生じると、視聴者に違和
感を感じさせることになる。

【００１６】本発明は、このような状況に鑑みてなされ
たものであり、量子化ステップの変化前後の比率が小さ
くなるようにし、これにより、復号画像の画質の均一化
を図ることができるようにするものである。

【００１７】

【課題を解決するための手段】請求項１に記載の画像符
号化方法は、直交変換係数に付す重みを、量子化ステッ
プが小さい比率で変化するように制御することを特徴と
する。

【００１８】請求項６に記載の画像符号化装置は、直交
変換係数に重み付けをする重み付け手段が、量子化ステ
ップが小さい比率で変化するように、直交変換係数に対
して重み付けを行うことを特徴とする。

【００１９】請求項７に記載の画像伝送方法、および請
求項８に記載の画像伝送装置、並びに請求項９に記載の
記録媒体は、符号化データが、画像を直交変換して得ら
れる直交変換係数に重み付けをし、適応的に変化する量
子化ステップで量子化することにより画像を符号化する
場合において、直交変換係数に付す重みを、量子化ステ
ップが小さい比率で変化するように制御することにより
得られたものであることを特徴とする。

【００２０】請求項１に記載の画像符号化方法において
は、直交変換係数に付す重みを、量子化ステップが小さ
い比率で変化するように制御するようになされている。

【００２１】請求項６に記載の画像符号化装置において
は、重み付け手段が、量子化ステップが小さい比率で変
化するように、直交変換係数に対して重み付けを行うよ
うになされている。

【００２２】請求項７に記載の画像伝送方法、および請
求項８に記載の画像伝送装置、並びに請求項９に記載の
記録媒体においては、符号化データが、画像を直交変換
して得られる直交変換係数に重み付けをし、適応的に変
化する量子化ステップで量子化することにより画像を符
号化する場合において、直交変換係数に付す重みを、量
子化ステップが小さい比率で変化するように制御するこ
とにより得られたものとなっている。

【００２３】

【発明の実施の形態】図１は、本発明の画像符号化装置
の一実施の形態の構成を示している。

【００２４】この画像符号化装置は、いわゆる２パスエ
ンコーディングによって、画像をＭＰＥＧ方式などによ
り可変レートで符号化するようになっており、例えば、
ＤＶＤ（Digigal Versatile Disc）や、ビデオＣＤ（Co
mpact Disc）などのオーサリングシステムその他に適用
することができるようになっている。

【００２５】符号化すべき画像データは、エンコーダ１
に入力されるようになされおり、エンコーダ１は、画像
データを、少なくともＤＣＴ係数などの直交変換係数に
直交変換し、その直交変換係数を量子化することにより
符号化するようになされている。

【００２６】即ち、１パス目では、エンコーダ１は、画
像データを、固定の量子化ステップで量子化することに
より符号化し、その結果得られる符号化データの発生符
号量（あるいは、発生符号量に対応する情報としての、
例えば、画像データの符号化難易度（difficulty）な
ど）を、外部コンピュータ２に出力する。外部コンピュ
ータ２は、エンコーダ１からの発生符号量に基づいて、
例えば、１ＧＯＰ（Group Of Picture）や１画面（１フ
レームまたは１フィールド）ごとの目標符号量を設定す
る。

【００２７】そして、２パス目では、外部コンピュータ
２は、設定した目標符号量を、エンコーダ１に供給し、
エンコーダ１は、この目標符号量に、発生符号量が一致
するように量子化ステップを設定しながら、画像データ
の符号化を行う。なお、量子化ステップは、目標符号量
の他、過去の発生符号量や、デコーダ側に想定されるＶ
ＢＶ（Video Buffering Verifier）バッファにおけるデ
ータの蓄積量、画像の複雑さなどにも基づいて設定され
る。

【００２８】２パス目の符号化によって得られた符号化
データは、例えば、光ディスクや、光磁気ディスク、磁
気テープその他でなる記録媒体３に記録され、あるい
は、例えば、地上波、衛星回線、ＣＡＴＶ網、インター
ネットその他でなる伝送路４を介して伝送される。

【００２９】次に、図２は、図１のエンコーダ１の構成
例を示している。

【００３０】図２では、エンコーダ１において、画像が
ＭＰＥＧ符号化されるようになされている。

【００３１】即ち、符号化すべき画像データは、画像並
び替え回路１１に供給される。画像並び替え回路１１
は、入力された画像データのフレーム（またはフィール
ド）の並びを、必要に応じて替えて、走査変換／マクロ
ブロック化回路１２に出力する。即ち、各フレームの画
像データは、Ｉピクチャ、Ｐピクチャ、またはＢピクチ
ャのうちのいずれかとして処理されるが、例えば、Ｂピ
クチャの処理に、それより時間的に後のＩピクチャやＰ
ピクチャが必要な場合があり、このようなＩピクチャや
Ｐピクチャは、Ｂピクチャより先に処理する必要があ
る。そこで、画像並び替え回路１１では、時間的に後の
フレームを先に処理することができるように、フレーム
の並びを替えるようになされている。

【００３２】なお、シーケンシャルに入力される各フレ
ームの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャ
として処理するかは、予め定められている。

【００３３】画像並び替え回路１１において並び替えら
れた画像データは、走査変換／マクロブロック化回路１
２に出力され、そこでは、画像データの走査変換および
マクロブロック化が行われ、その結果得られるマクロブ
ロックが、演算器１３、動き検出回路２３、およびアク
ティビティ検出回路２４に出力される。

【００３４】動きベクトル検出回路２３は、走査変換／
マクロブロック化回路１２から供給されるマクロブロッ
クの動きベクトルを検出する。

【００３５】即ち、動きベクトル検出回路２３は、予め
定められた所定の参照フレームを参照し、その参照フレ
ームと、走査変換／マクロブロック化回路１２からのマ
クロブロックとをパターンマッチング（ブロックマッチ
ング）することにより、そのマクロブロックの動きベク
トルを検出する。

【００３６】ここで、ＭＰＥＧにおいては、画像の予測
モードには、イントラ符号化（フレーム内符号化）、前
方予測符号化、後方予測符号化、両方向予測符号化（前
方、後方、および両方向の３つの予測符号化は、イント
ラ符号化に対して、インター符号化または非イントラ符
号化と呼ばれる）の４種類があり、Ｉピクチャはイント
ラ符号化され、Ｐピクチャはイントラ符号化または前方
予測符号化され、Ｂピクチャはイントラ符号化、前方予
測符号化、後方予測符号化、または両方法予測符号化さ
れる。

【００３７】即ち、動きベクトル検出回路２３は、Ｉピ
クチャについては、予測モードとしてイントラ符号化モ
ードを設定する。この場合、動きベクトル検出回路２３
では、動きベクトルの検出は行われない。

【００３８】また、動きベクトル検出回路２３は、Ｐピ
クチャについては、前方予測を行い、その動きベクトル
を検出する。さらに、動きベクトル検出回路２３は、前
方予測を行うことにより生じる予測誤差と、符号化対象
のマクロブロック（Ｐピクチャのマクロブロック）の、
例えば分散とを比較し、マクロブロックの分散の方が予
測誤差より小さい場合、予測モードとしてイントラ符号
化モードを設定する。また、動きベクトル検出回路２３
は、前方予測を行うことにより生じる予測誤差の方が小
さければ、予測モードとして前方予測符号化モードを設
定し、検出した動きベクトルを、動き補償回路２２に出
力する。

【００３９】さらに、動きベクトル検出回路２３は、Ｂ
ピクチャについては、前方予測、後方予測、および両方
向予測を行い、それぞれの動きベクトルを検出する。そ
して、動きベクトル検出回路２３は、前方予測、後方予
測、および両方向予測についての予測誤差の中の最小の
もの（以下、適宜、最小予測誤差という）を検出し、そ
の最小予測誤差と、符号化対象のマクロブロック（Ｂピ
クチャのマクロブロック）の、例えば分散とを比較す
る。その比較の結果、マクロブロックの分散の方が最小
予測誤差より小さい場合、動きベクトル検出回路２３
は、予測モードとしてイントラ符号化モードを設定す
る。また、動きベクトル検出回路２３は、最小予測誤差
の方が小さければ、予測モードとして、その最小予測誤
差が得られた予測モードを設定し、対応する動きベクト
ルを、動き補償回路２２に出力する。

【００４０】動き補償回路２２は、動きベクトルを受信
すると、その動きベクトルにしたがって、フレームメモ
リ２１に記憶されている、符号化され、既に局所復号化
された画像データを読み出し、これを、予測画像とし
て、演算器１３および２０に供給する。

【００４１】演算器１３は、走査変換／マクロブロック
化回路１２からのマクロブロックと、動き補償回路２２
からの予測画像との差分を演算する。この差分値は、Ｄ
ＣＴ回路１４（直交変換手段）に供給される。

【００４２】なお、動きベクトル検出回路２３におい
て、予測モードとしてイントラ符号化モードが設定され
た場合、動き補償回路２２は、予測画像を出力しない。
この場合、演算器１３（演算器２０も同様）は、特に処
理を行わず、走査変換／マクロブロック化回路１２から
のマクロブロックを、そのままＤＣＴ回路１４に出力す
る。

【００４３】ＤＣＴ回路１４では、演算器１３の出力に
対して、ＤＣＴ処理が施され、その結果得られるＤＣＴ
係数が、量子化回路１５（量子化手段）（重み付け手
段）に供給される。量子化回路１５では、量子化インデ
ックス決定回路２５からの量子化マトリクスにしたがっ
て、ＤＣＴ回路１４からのＤＣＴ係数に重み付けがなさ
れ、その重み付け後のＤＣＴ係数が、同じく量子化イン
デックス決定回路２５からの量子化インデックスに対応
する量子化ステップ（量子化スケール）で量子化され
る。即ち、量子化回路１５では、量子化インデックス決
定回路２５からの量子化インデックスに対応して量子化
ステップが設定され、その量子化ステップに、量子化イ
ンデックス決定回路２５からの量子化マトリクスの係数
をかけたもので、ＤＣＴ回路１４からのＤＣＴ係数が量
子化される。この量子化されたＤＣＴ係数（以下、適
宜、量子化値という）は、ＶＬＣ器１６に供給される。

【００４４】ＶＬＣ器１６では、量子化回路１５より供
給される量子化値が、例えばハフマン符号などの可変長
符号に変換され、バッファ１７に出力される。バッファ
１７は、ＶＬＣ器１６からのデータを一時蓄積し、その
データ量を平滑化して出力する。なお、バッファ１７に
おけるデータ蓄積量は、発生符号量として、外部コンピ
ュータ２（図１）と量子化インデックス決定回路２５に
供給されるようになされている。

【００４５】一方、量子化回路１５が出力する量子化値
は、ＶＬＣ器１６だけでなく、逆量子化回路１８にも供
給されるようになされている。逆量子化回路１８では、
量子化回路１５からの量子化値が、量子化回路１５で用
いられた量子化ステップおよび量子化マトリクスにした
がって逆量子化され、これによりＤＣＴ係数に変換され
る。このＤＣＴ係数は、逆ＤＣＴ回路１９に供給され
る。逆ＤＣＴ回路１９では、ＤＣＴ係数が逆ＤＣＴ処理
され、演算器２０に供給される。

【００４６】演算器２０には、逆ＤＣＴ回路１９の出力
の他、上述したように、動き補償回路２２から、演算器
１３に供給されている予測画像と同一のデータが供給さ
れており、演算器２０は、逆ＤＣＴ回路１９からの信号
（予測残差）と、動き補償回路２２からの予測画像とを
加算することで、元の画像を、局所復号する（但し、予
測モードがイントラ符号化である場合には、逆ＤＣＴ回
路１９の出力は、演算器２０をスルーして、フレームメ
モリ２１に供給される）。なお、この復号画像は、受信
側において得られる復号画像と同一のものである。

【００４７】演算器２０において得られた復号画像（局
所復号画像）は、フレームメモリ２１に供給されて記憶
され、その後、インター符号化（前方予測符号化、後方
予測符号化、または両方向予測符号化）される画像に対
する参照画像（参照フレーム）として用いられる。

【００４８】一方、アクティビティ検出回路２４では、
マクロブロックの複雑さを表す指標として、例えば、そ
のアクティビティ（activity）が検出され、量子化イン
デックス決定回路２５に供給される。量子化インデック
ス決定回路２５には、外部コンピュータ２から目標符号
量が、バッファ１７から発生符号量が、アクティビティ
検出回路２４からアクティビティが、それぞれ供給され
るようになされている。そして、量子化インデックス決
定回路２５は、これらの目標符号量、発生符号量、およ
びアクティビティに基づいて、適応的に量子化インデッ
クスを決定し、即ち、例えば、発生符号量が目標符号量
に一致するような量子化インデックスであって、アクテ
ィビティに対応した画質の復号画像が得られるようなも
のを決定し、量子化回路１５に供給する。

【００４９】さらに、量子化インデックス決定回路２５
には、外部コンピュータ２から、使用する量子化マトリ
クスを指示する指示信号が供給されるようになされてお
り、量子化インデックス決定回路２５は、この指示信号
にしたがって、使用する量子化マトリクスを決定する。
即ち、外部コンピュータ２は、後述するようにして、使
用する量子化マトリクスを決定し、その量子化マトリク
スに対応する指示信号を、量子化インデックス決定回路
２５に出力するようになされており、量子化インデック
ス決定回路２５は、外部コンピュータ２からの指示信号
にしたがって、使用する量子化マトリクスを決定し、量
子化回路１５に出力する。

【００５０】これにより、量子化回路１５では、上述し
たように、量子化インデックス決定回路２５からの量子
化マトリクスまたは量子化インデックスに対応する量子
化ステップで、ＤＣＴ係数に対する重み付けまたは量子
化がそれぞれ行われる。

【００５１】なお、量子化インデックス決定回路２５
は、１パス目は、固定の量子化インデックスを出力する
ようになされており、これにより、量子化回路１５で
は、固定の量子化ステップで量子化が行われる。そし
て、２パス目において、量子化インデックス決定回路２
５は、上述したように、バッファ１７からの発生符号
量、アクティビティ検出回路２４からのアクティビテ
ィ、さらには、外部コンピュータ２からの目標符号量に
基づいて、適応的に量子化インデックスを設定するよう
になされており、これにより、量子化回路１５では、そ
のように適応的に設定された量子化インデックスに対応
する量子化ステップで量子化が行われる。

【００５２】次に、図１の画像符号化装置における量子
化処理の詳細について説明する。

【００５３】例えば、ＭＰＥＧ符号化を行う場合におい
ては、図２のエンコーダ１における量子化回路１５で
は、まず、ＤＣＴ係数（但し、ＤＣＴ係数のうちのＡＣ
成分についてのみ）が１６倍される。そして、その１６
倍されたＤＣＴ係数が、量子化ステップと、量子化マト
リクスのうちのＤＣＴ係数に対応する位置にある係数と
を除数として除算され、その除算結果を、例えば四捨五
入した値が、量子化値として出力される。

【００５４】図３は、ＭＰＥＧにおけるデフォルトの量
子化マトリクスを示している。なお、同図（Ａ）または
（Ｂ）は、イントラ符号化またはインター符号化が行わ
れる場合のデフォルトの量子化マトリクスをそれぞれ示
している。

【００５５】量子化マトリクスの係数は、イントラ符号
化におけるＤＣ係数を除いて、１６を基準とした、それ
以上の値になっている。これは、上述したように、量子
化が、ＤＣＴ係数を１６倍した後に行われるためであ
る。従って、量子化マトリクスの係数は、必ずしも１６
以上である必要はないが、１６未満の値とした場合に、
量子化ステップが１や２などのように極端に小さな値で
あるときには、量子化値が元のＤＣＴ係数よりも大きな
値となることがあり、また、この場合に量子化値の精度
が向上するわけでもないので、通常は、１６以上の値と
される。

【００５６】なお、ＭＰＥＧでは、イントラ符号化にお
けるＤＣ係数についての量子化マトリクスの係数は８
（固定値）とすることが規定されている。

【００５７】いま、図３に示したデフォルトの量子化マ
トリクスを使用して、２パス目の処理を行った場合に、
発生符号量および目標符号量、アクティビティなどの観
点から、量子化インデックスが、例えば、３乃至９の範
囲の値が設定されて量子化が行われるとする。なお、以
下では、説明を簡単にするために、量子化インデックス
と量子化ステップとの対応関係として線形なものを考え
る。従って、上述の場合、量子化ステップは、６，８，
・・・，１８のうちのいずれかが設定される。

【００５８】この場合において、図４に示すように、量
子化マトリクスを、図３に示した量子化マトリクスの係
数（但し、上述した理由から、イントラ符号化における
ＤＣ係数に対応する位置の係数は除く）を２で除算して
整数に丸めたものに変更すると（図４（Ａ）または図４
（Ｂ）が、それぞれ図３（Ａ）または図３（Ｂ）に対応
している）、その変更前と同一の発生符号量を得るため
には、量子化インデックスは、量子化マトリクスの変更
前における量子化インデックスの２倍にする必要があ
る。即ち、量子化回路１５では、ＤＣＴ係数が、量子化
マトリクスの係数と、量子化インデックスに対応する量
子化ステップとの両方で除算されるから、量子化マトリ
クスの係数を１／２倍にした場合、同一の符号量を得る
ために、量子化インデックスとしては、元の２倍の値の
範囲を設定する必要がある。

【００５９】従って、本来ならば、上述のように、量子
化インデックスが３乃至９の範囲の値が設定されて量子
化が行われる場合において、量子化マトリクスの係数を
１／２倍にすると、量子化インデックスは、元の値の２
倍の範囲である６乃至１８の範囲の値が設定され、その
結果、量子化ステップとしては、１２，１４，・・・，
３６のうちのいずれかが設定されることになる。

【００６０】ここで、量子化マトリクスの変更前と変更
後とにおける量子化インデックスを比較してみると、量
子化マトリクスの変更前では、３乃至９の７値しか使用
することができなかった量子化インデックスが、量子化
マトリクスの変更後には、６乃至１８の１３値を使用す
ることができることになる。

【００６１】従って、量子化マトリクスを、上述のよう
に２で除算（１／２倍）して、その係数を小さな値に変
更することにより、使用する量子化インデックスの範囲
を、大きな値の広い範囲に変更することができ、これに
より、量子化インデックスが変化した場合の、その変化
前後の比率を小さくすることができる。その結果、量子
化インデックスを、その値から見て、細かく、かつ広い
範囲で変化させることができることになる。

【００６２】図１の画像符号化装置では、以上のように
して、量子化インデックス、ひいては、量子化ステップ
を、小さい比率で細かく変化させ、これにより、その１
段階の変化が、復号画像の画質に及ぼす影響を小さく
し、復号画像の画質の均一化を図るようになされてい
る。

【００６３】なお、上述の場合においては、量子化マト
リクスの係数を２で除算するようにしたが、この係数を
除算する除数は２に限定されるものではなく、３や４そ
の他の１より大きい実数を用いることが可能である。

【００６４】次に、量子化マトリクスを、常時、上述の
ように２などで除算（１／２倍など）して、その係数を
小さな値に変更し、使用する量子化インデックスの範囲
を、大きな値の範囲に変更した場合、非常に複雑な画像
が入力されたり、また、低ビットレートに圧縮を行うと
きなどは、量子化インデックスとして、その上限値を越
えた値が必要になることがある。

【００６５】即ち、例えば、図３に示したデフォルトの
量子化マトリクスを使用して、２パス目の処理を行った
場合に、発生符号量および目標符号量、アクティビティ
などの観点から、量子化インデックスが、例えば、８乃
至２４の範囲の値が設定されて量子化が行われるとす
る。この場合において、上述したように、量子化マトリ
クスの係数を１／２倍すると、量子化インデックスとし
ては、８乃至２４の範囲の２倍の範囲である１６乃至４
８の範囲が必要となる。

【００６６】ＭＰＥＧでは、量子化インデックスの上限
値は、前述のように３１であり、この場合、量子化イン
デックスとして、その上限値を越えた値が必要になる。

【００６７】しかしながら、上限値を越えた量子化イン
デックスは設定することができないから、そのような量
子化インデックスが必要な場合であっても、量子化イン
デックスの上限値に対応する量子化ステップ（ＭＰＥＧ
では、前述したように６２）で量子化が行われる。従っ
て、この場合、目標符号量よりも極端に大きな符号量が
発生することになる。

【００６８】ところで、量子化インデックスとして、例
えば、上述のように８乃至２４の範囲などの、比較的大
きな値を含む範囲が使用される場合においては、量子化
マトリクスを変更して、使用可能な量子化インデックス
の値を、さらに大きな値にしなくても、復号画像の均一
性はある程度保たれる。

【００６９】従って、量子化マトリクスの変更は、常時
行う必要はなく、量子化マトリクスをそのまま用いた場
合における量子化インデックスの使用可能な範囲の値に
対応して行えば良い。

【００７０】ここで、量子化マトリクスをそのまま用い
た場合における量子化インデックスの使用可能な範囲
（使用される量子化インデックスの範囲）の正確な値
は、符号化が終了しないと分からない。即ち、例えば、
２パスエンコーディングが行われる場合においては、１
パス目の処理で、固定の量子化ステップで量子化が行わ
れ、その処理結果に基づいて目標符号量が求められ、２
パス目の処理で、発生符号量が目標符号量に一致するよ
うに、適応的に量子化ステップが変化されるから、使用
される量子化ステップの範囲、即ち、使用される量子化
インデックスの範囲の正確な値は、２パス目の処理が終
了して、初めて認識することができる。

【００７１】従って、２パス目の処理により、使用され
る量子化インデックスの範囲を、正確に求め、その範囲
が、小さな値の範囲である場合には、量子化マトリクス
を変更して、再度符号化を行うようにする必要がある
が、これでは、処理に時間を要することになる。

【００７２】そこで、１パス目の処理に基づき、例え
ば、次のようにして、使用される量子化インデックスを
予測し、その予測結果に対応して、量子化マトリクスを
変更するかどうかを決定するようにすることができる。

【００７３】即ち、１パス目の処理では、上述したよう
に、固定の量子化インデックス（量子化ステップ）で量
子化が行われ、その結果得られる符号量その他に基づい
て、２パス目における目標符号量が決定される。

【００７４】そこで、まず、例えば、１ＧＯＰや、１本
の映画などのような所定の時間ごとに、１パス目の処理
で得られた発生符号量の総和Ｇと、その発生符号量に基
づいて決定された目標符号量の総和Ｔを求め、それらの
比ｒ＝Ｔ／Ｇを判定する。

【００７５】この目標符号量の総和Ｔと発生符号量の総
和Ｇとの比ｒは、所定の時間における量子化インデック
スの平均的な値が、１パス目の処理における固定の量子
化インデックス（例えば、８など）と等しければ１にな
り、また、その平均的な値が固定の量子化インデックス
よりも大きい場合または小さい場合は、それぞれ、１よ
り小さくまたは大きくなる。

【００７６】即ち、実際の発生符号量を目標符号量に一
致させるために、２パス目の処理では、１パス目の処理
で得られた目標符号量の総和Ｔが発生符号量の総和Ｇよ
り大であれば、固定の量子化インデックスより小さな量
子化インデックスが設定されることが予想され、その逆
に、１パス目の処理で得られた目標符号量の総和Ｔが発
生符号量の総和Ｇより小であれば、固定の量子化インデ
ックスより大きな量子化インデックスが設定されること
が予想される。

【００７７】従って、目標符号量の総和Ｔと発生符号量
の総和Ｇとの比ｒによって、２パス目の処理における量
子化インデックスの、固定の量子化インデックスを基準
とした値を予測することができるので、この比ｒに対応
して、量子化マトリクスを変更するかどうかを決定すれ
ば良い。

【００７８】以上のようにして符号化を行う場合の図１
の画像符号化装置の処理について、図５のフローチャー
トを参照して、さらに説明する。

【００７９】まず最初に、ステップＳ１において、エン
コーダ１は、１パス目の処理を行う。即ち、エンコーダ
１は、固定の量子化インデックスで量子化を行い、その
結果得られる符号化データの発生符号量、さらには、例
えばＤＣＴ係数のＤＣ成分、画像のアクティビティ、そ
の他の目標符号量を決定するのに必要な情報（統計量）
を、外部コンピュータ２に出力する。

【００８０】外部コンピュータ２は、エンコーダ１から
各種の情報を受信すると、ステップＳ２において、その
情報に基づいて、２パス目の処理により得られる符号化
データの目標符号量を算出する。そして、外部コンピュ
ータ２は、ステップＳ３において、所定の時間単位にお
ける目標符号量の総和Ｔと発生符号量（１パス目の処理
の発生符号量）の総和Ｇとの比ｒを求め、ステップＳ４
に進み、その比ｒの値を判定する。

【００８１】ステップＳ４において、比ｒが、例えば、
０．５より小さいと判定された場合、即ち、２パス目の
処理における量子化インデックスの値が大であると予測
される場合、ステップＳ５に進み、外部コンピュータ２
は、例えばデフォルトの量子化マトリクスをそのまま使
用することを指示する指示信号を、エンコーダ１の量子
化インデックス決定回路２５に供給し、ステップＳ８に
進む。

【００８２】また、ステップＳ４において、比ｒが、例
えば、０．５以上であり、かつ２より小さいと判定され
た場合、即ち、２パス目の処理における量子化インデッ
クスの値が中であると予測される場合、ステップＳ６に
進み、外部コンピュータ２は、例えば、デフォルトの量
子化マトリクスの係数を１／２倍したもの（以下、適
宜、ハーフ量子化マトリクスという）を使用することを
指示する指示信号を、エンコーダ１の量子化インデック
ス決定回路２５に供給し、ステップＳ８に進む。

【００８３】さらに、ステップＳ４において、比ｒが、
例えば、２以上であると判定された場合、即ち、２パス
目の処理における量子化インデックスの値が小であると
予測される場合、ステップＳ６に進み、外部コンピュー
タ２は、例えば、デフォルトの量子化マトリクスの係数
を１／４倍したもの（以下、適宜、クオータ量子化マト
リクスという）を使用することを指示する指示信号を、
エンコーダ１の量子化インデックス決定回路２５に供給
し、ステップＳ８に進む。

【００８４】ステップＳ８では、エンコーダ１の量子化
インデックス決定回路２５において、外部コンピュータ
２からの指示信号にしたがった量子化マトリクス（ここ
では、デフォルトの量子化マトリクス、ハーフ量子化マ
トリクス、またはクオータ量子化マトリクスのうちのい
ずれか）が設定され、さらに目標符号量に対応した量子
化インデックスが設定され、量子化回路１５に供給され
る。これにより、量子化回路１５では、量子化インデッ
クス決定回路２５からの量子化マトリクスと量子化イン
デックスにしたがって、ＤＣＴ係数が量子化される。

【００８５】なお、ステップＳ４乃至Ｓ８の処理は、ス
テップＳ３において、比ｒが求められる時間ごとに繰り
返し行われる。即ち、ステップＳ３において、例えば、
１ＧＯＰごとに目標符号量の総和Ｔと発生符号量の総和
Ｇとの比ｒが求められる場合には、ステップＳ４乃至Ｓ
８の処理は、その比が求められるＧＯＰ単位で繰り返さ
れる。

【００８６】以上のように、量子化ステップの変化前後
の比率が小さくなるように、ＤＣＴ係数に対する重み付
けを行う量子化マトリクスの係数を変更し、これによ
り、量子化ステップを、その値に対して細かく変化させ
ることができるようにしたので、従来のように、量子化
インデックスと量子化ステップとの対応関係として線形
なものと非線形なものとのいずれかしか選択することが
できない場合に比較して、いわばきめ細かい変化が可能
な量子化ステップでの量子化を行うことができる。そし
て、その結果、復号画像の画質の均一化を図ることが可
能となり、視聴者が復号画像を視聴したときの主観的な
画質を大幅に向上させることができる。

【００８７】また、量子化ステップを細かく変化させる
ことができる結果、発生符号量を、より柔軟に調整して
目標符号量に近づけることができるようになり、例え
ば、ＭＰＥＧ符号化を行う際にデコーダ側に想定される
ＶＢＶバッファのデータ蓄積量を管理するために、目標
符号量に対して見積もるマージンを小さくすることがで
きる。即ち、ＶＢＶバッファのアンダーフローを防止す
るために、目標符号量を、本来見積もるべき値より、そ
れほど大きなマージンをみて設定する必要がなくなり、
その結果、複雑な画像に対しては、従来よりも多い符号
量を目標符号量として割り当てることが可能となるの
で、そのような画像についての復号画像の画質を向上さ
せることが可能となる。

【００８８】さらに、２パスエンコーディングを行う場
合においては、１パス目の処理結果から、２パス目にお
ける量子化インデックスを予測し、その予測結果に基づ
いて、量子化マトリクスを変更するようにしたので、上
限値を越えた量子化インデックスが必要となることを防
止することが可能となる。即ち、上限値を越えない範囲
で、量子化インデックスを変化させることが可能とな
る。

【００８９】以上、本発明を、２パスエンコーディング
を行う画像符号化装置に適用した場合について説明した
が、本発明は、その他、１回の処理で符号化を行う場合
にも適用可能である。

【００９０】なお、本実施の形態では、量子化インデッ
クスと量子化ステップとが線形な対応関係にあるとした
が、本発明は、これらが非線形な対応関係にある場合に
も適用することができる。但し、量子化インデックスと
量子化ステップとが非線形な対応関係にある場合、量子
化マトリクスの係数を小さな値に変更しても、量子化ス
テップが、その変更前より細かく変化するとは限らない
（量子化インデックスは細かく変化するようになるが、
量子化ステップは、量子化インデックスと非線形に対応
付けられているため、量子化インデックスと同様に細か
く変化するとは限らない）。しかしながら、この場合で
も、量子化マトリクスの係数を小さな値にすることで、
量子化ステップは大きな値にはなるので、量子化ステッ
プの変化前後の比率は小さくなり、その結果、量子化イ
ンデックスと量子化ステップとが線形な対応関係にある
場合と同様に、画質の均一化を図ることができる。

【００９１】また、本実施の形態では、外部コンピュー
タ２からエンコーダ１に目標符号量を送信し、エンコー
ダ１において量子化インデックスを決定するようにした
が、量子化インデックスは、外部コンピュータ２におい
て決定し、エンコーダ１に送信するようにすることも可
能である。

【００９２】さらに、本実施の形態では、外部コンピュ
ータ２において、使用する量子化マトリクスを決定する
ようにしたが、この決定処理は、エンコーダ１において
行うようにすることも可能である。

【００９３】また、本実施の形態では、ＭＰＥＧで規定
されているデフォルトの量子化マトリクスを用いるよう
にしたが、本発明は、その他の量子化マトリクスを使用
する場合にも適用することが可能である。即ち、例え
ば、図６は、ＴＭ５（Test Model 5(Test Model Editin
g Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/
N0400(Apr.1993))）で提案されている量子化マトリクス
を示しており、イントラ符号化の際に使用される量子化
マトリクス（図６（Ａ））だけでなく、インター符号化
の際に使用される量子化マトリクス（図６（Ｂ））にも
傾斜が付されているが（これに対して、図３に示したＭ
ＰＥＧのデフォルトの量子化マトリクスでは、イントラ
符号化の際に使用されるもののみに傾斜が付されてお
り、インター符号化の際に使用されるものには傾斜が付
されていない）、このような量子化マトリクスについて
も、本発明は適用可能である。つまり、本発明は、量子
化マトリクスにおける係数の傾斜の有無、さらには、そ
の傾斜の付し方に関係なく適用することができる。

【００９４】さらに、本実施の形態においては、量子化
回路１５において、ＤＣＴ回路１４が出力するＤＣＴ係
数を量子化するようにしたが、本発明は、ＤＣＴ係数以
外の直交変換係数を量子化する場合にも適用可能であ
る。

【００９５】

【発明の効果】請求項１に記載の画像符号化方法および
請求項６に記載の画像符号化装置によれば、直交変換係
数に付す重みが、量子化ステップが小さい比率で変化す
るように制御される。従って、量子化ステップが変化す
ることによる、復号画像の画質に与える影響を小さくす
ることが可能となり、その結果、復号画像の画質の均一
化を図ることが可能となる。

【００９６】請求項７に記載の画像伝送方法、および請
求項８に記載の画像伝送装置、並びに請求項９に記載の
記録媒体によれば、符号化データが、画像を直交変換し
て得られる直交変換係数に重み付けをし、適応的に変化
する量子化ステップで量子化することにより画像を符号
化する場合において、直交変換係数に付す重みを、量子
化ステップが小さい比率で変化するように制御すること
により得られたものとなっている。従って、その符号化
データから、画質の均一な復号画像を得ることが可能と
なる。

【図面の簡単な説明】

【図１】本発明の画像符号化装置の一実施の形態の構成
例を示すブロック図である。

【図２】図１のエンコーダ１の構成例を示すブロック図
である。

【図３】ＭＰＥＧで規定されているデフォルトの量子化
マトリクスを示す図である。

【図４】図３の量子化マトリクスの係数を２で除算し、
さらに整数に丸めたものを示す図である。

【図５】図１の画像符号化装置の処理を説明するための
フローチャートである。

【図６】ＴＭ５で規定されている量子化マトリクスを示
す図である。

【符号の説明】

１ エンコーダ， ２ 外部コンピュータ， ３ 記録
媒体， ４ 伝送路，１１ 画像並び替え回路， １２
走査変換／マクロブロック化回路， １３演算器，
１４ ＤＣＴ回路（直交変換手段）， １５ 量子化回
路（量子化手段）（重み付け手段）， １６ ＶＬＣ回
路， １７ バッファ， １８ 逆量子化回路， １９
逆ＤＣＴ回路， ２０ 演算器， ２１ フレームメ
モリ， ２２ 動き補償回路， ２３ 動き検出回路，
２４ アクティビティ検出回路， ２５ 量子化イン
デックス決定回路

Claims (9)

【特許請求の範囲】
1. 【請求項１】 画像を直交変換して得られる直交変換係
   数に重み付けをし、適応的に変化する量子化ステップで
   量子化することにより前記画像を符号化する画像符号化
   方法であって、 前記直交変換係数に付す重みを、前記量子化ステップが
   小さい比率で変化するように制御することを特徴とする
   画像符号化方法。
2. 【請求項２】 前記直交変換係数に付す重みの制御を、
   所定の単位の前記画像を符号化するごとに行うことを特
   徴とする請求項１に記載の画像符号化方法。
3. 【請求項３】 前記直交変換係数を所定の係数で除算す
   ることにより重み付けを行う場合において、 前記直交変換係数に付す重みの制御として、前記所定の
   係数を小さい値にすることを特徴とする請求項１に記載
   の画像符号化方法。
4. 【請求項４】 前記直交変換係数を固定の量子化ステッ
   プで量子化する１パス目の処理を行うことにより得られ
   る符号化データの発生符号量に基づいて、所定の目標符
   号量を設定し、その後、前記画像についての発生符号量
   が前記所定の目標符号量に一致するように、前記量子化
   ステップを設定して量子化を行う２パス目の処理を行う
   場合において、 前記直交変換係数に付す重みを、前記２パス目の処理に
   おける前記量子化ステップの設定範囲が、所定の範囲に
   含まれるように制御することを特徴とする請求項１に記
   載の画像符号化方法。
5. 【請求項５】 前記直交変換係数に付す重みを、１パス
   目の処理により得られる前記発生符号量と目標符号量と
   の比に基づいて制御することを特徴とする請求項４に記
   載の画像符号化方法。
6. 【請求項６】 画像を符号化する画像符号化装置であっ
   て、 前記画像を直交変換して、直交変換係数を出力する直交
   変換手段と、 前記直交変換係数に重み付けをする重み付け手段と、 前記重み付け手段により重み付けされた前記直交変換係
   数を適応的に変化する量子化ステップで量子化する量子
   化手段とを備え、 前記重み付け手段は、前記量子化ステップが小さい比率
   で変化するように、前記直交変換係数に対して重み付け
   を行うことを特徴とする画像符号化装置。
7. 【請求項７】 画像を符号化して得られる符号化データ
   を伝送する画像伝送方法であって、 前記符号化データは、 前記画像を直交変換して得られる直交変換係数に重み付
   けをし、適応的に変化する量子化ステップで量子化する
   ことにより前記画像を符号化する場合において、 前記直交変換係数に付す重みを、前記量子化ステップが
   小さい比率で変化するように制御することにより得られ
   たものであることを特徴とする画像伝送方法。
8. 【請求項８】 画像を符号化して得られる符号化データ
   を伝送する画像伝送装置であって、 前記符号化データは、 前記画像を直交変換して得られる直交変換係数に重み付
   けをし、適応的に変化する量子化ステップで量子化する
   ことにより前記画像を符号化する場合において、 前記直交変換係数に付す重みを、前記量子化ステップが
   小さい比率で変化するように制御することにより得られ
   たものであることを特徴とする画像伝送装置。
9. 【請求項９】 画像を符号化して得られる符号化データ
   が記録されている記録媒体であって、 前記符号化データは、 前記画像を直交変換して得られる直交変換係数に重み付
   けをし、適応的に変化する量子化ステップで量子化する
   ことにより前記画像を符号化する場合において、 前記直交変換係数に付す重みを、前記量子化ステップが
   小さい比率で変化するように制御することにより得られ
   たものであることを特徴とする記録媒体。