JP4081727B2

JP4081727B2 - Image encoding apparatus, image encoding method, recording apparatus, and recording method

Info

Publication number: JP4081727B2
Application number: JP03878397A
Authority: JP
Inventors: 寛司三原; 隆夫鈴木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-02-24
Filing date: 1997-02-24
Publication date: 2008-04-30
Anticipated expiration: 2017-02-24
Also published as: JPH10243397A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに記録装置および記録方法に関し、特に、復号画像の画質を均一にすることができるようにする画像符号化装置および画像符号化方法、並びに記録装置および記録方法に関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）符号化などに代表されるＤＣＴ（Discrete Cosine Transform）を用いた画像符号化方式（画像圧縮方式）では、一般的に、画像をＤＣＴ処理して得られるＤＣＴ係数に、人間の視覚特性上の空間周波数ごとの量子化感度の違いを利用した重み付けをして量子化が行われ、これにより圧縮率を高めるようになされている。即ち、高次のＤＣＴ係数は、復号画像を見たときの見た目の画質にあまり影響しないため、低次のＤＣＴ係数に比較して、粗く量子化が行われるような重み付けがされる。
【０００３】
ＭＰＥＧでは、上述のような重み付けを行うための手段として、ＪＰＥＧ（Joint Photographic coding Experts Group）から継承された量子化マトリクスが用意されている。量子化マトリクスは、ＤＣＴ処理の単位である８×８画素のブロックに対応する８×８の係数が並んだマトリクス（matrix）で、その係数は、符号化に際して自由に変更することができるようになされている。
【０００４】
量子化マトリクスによる重み付けとは、ＤＣＴ係数を、量子化マトリクスを構成する係数のうちの、そのＤＣＴ係数に対応する位置にあるもので除算することを意味するが、実際には、ＤＣＴ係数が、量子化マトリクスの係数と量子化ステップとを乗算した乗算値で量子化されるので、即ち、ＤＣＴ係数の重み付けと量子化とは同時に行われるので、量子化マトリクスは、人間の視覚特性に対応した量子化を行うための量子化ステップと考えることもできる。
【０００５】
量子化マトリクスによれば、上述のように、人間の視覚特性に利用した効率的な量子化を実現することができ、その係数は、一般に、そのような観点から設定されるが、量子化ステップは、一般に、例えば、発生符号量が所定の目標符号量と一致するように制御するレートコントロールと、画像のアクティビティ（activity）（活性度）により変化する復号画像の画質（見た目の画質）の均一化とを実現する量子化インデックスに対応して設定される。
【０００６】
ＭＰＥＧでは、量子化インデックスと量子化ステップとの対応関係として、線形なものと非線形なものとの２種類が規定されている。即ち、ＭＰＥＧでは、量子化インデックスとして、１乃至３１の整数値が規定されており、線形な対応関係によれば、量子化ステップには、量子化インデックスの２倍の値が対応付けられている。従って、量子化ステップは、量子化インデックスに対応して一意的に決まり、量子化インデックスが１，２，・・・，３１のとき、量子化ステップは、２，４，・・・，６２となる。非線形な対応関係でも、同様に、量子化インデックスと量子化ステップとが所定の非線形な関数によって１対１に対応付けられている。
【０００７】
なお、非線形な対応関係においては、量子化インデックスが小さい範囲では、量子化ステップを細かく変化させることができるように、また、量子化インデックスが大きい範囲では、量子化ステップを大きく変化させることができるように、量子化インデックスと量子化ステップとが対応付けられている。
【０００８】
また、線形または非線形のうちのいずれの対応関係を用いて量子化を行ったかはＱスケールタイプと呼ばれる変数によって表され、デコーダ側では、このＱスケールタイプを参照することで、量子化インデックスと量子化ステップとの対応関係が認識される。
【０００９】
ところで、例えば、ＤＶＤ（Digigal Versatile Disc）や、ビデオＣＤ（Compact Disc）などのオーサリングにあたっては、現在、画像の圧縮符号化方法としてＭＰＥＧ方式が採用されているが、このようなオーサリングなどの画像の記録、あるいは伝送を行う際には、少ない符号量で、良好な画質の復号画像を得ることができるように、画像を圧縮符号化することが要求される。
【００１０】
そこで、例えば、オーサリングでは、画像をＤＣＴ処理して得られるＤＣＴ係数を、固定の量子化ステップで量子化し、画像の複雑さ（難しさ）としての、例えば発生符号量などを測定する１パス目の処理と、その１パス目の処理によって得られる発生符号量などに基づいて、所定の目標符号量を設定し、その目標符号量に、発生符号量が一致するように量子化ステップを適応的に変化させ、画像を可変レート符号化する２パス目の処理とを行う、いわゆる２パスエンコーディングが、一般に行われる。
【００１１】
２パスエンコーディングによれば、画像の複雑さに無関係に一定の符号量が割り当てられることにより、複雑な部分が極端に粗く量子化されるようなことを防止することができる。即ち、１パス目の処理の結果に基づき、２パス目の処理において、平坦な画像には少ない符号量を、複雑な画像には多くの符号量を、それぞれ目標符号量として割り当てることにより、量子化ステップの変化が、所定の狭い範囲に収まるようにし、その結果、画像全体にわたって、極端に粗い量子化がされるような部分が生じないようにすることができる。
【００１２】
【発明が解決しようとする課題】
ところで、量子化ステップが、上述のように所定の狭い範囲で変化する場合においては、その変化前後の量子化ステップの比率が小さい方が望ましい。
【００１３】
即ち、いま、説明を簡単にするために、量子化インデックスと量子化ステップとの対応関係として、線形なものを使用するとすると、上述したように、量子化ステップは、量子化インデックスの２倍の値に設定される。この場合において、量子化インデックスが、例えば、１から２に変化するときと、３０から３１に変化するときとを考えてみる。
【００１４】
まず、量子化インデックスが、１から２に変化する場合、量子化ステップは２から４に変化するので、変化前後の量子化ステップの比率（［変化後の量子化ステップ］／［変化前の量子化ステップ］）は、２（＝（４−２）／２）倍となる。一方、量子化インデックスが、３０から３１に変化する場合、量子化ステップは６０から６２に変化するので、変化前後の量子化ステップの比率は、約１．０３３（≒６２／６０）倍となる。
【００１５】
ＭＰＥＧにおいては、量子化ステップは、マクロブロック単位で変化させることができるので、隣接するマクロブロックにおける量子化ステップが大きい比率で変化すると、発生符号量に大きな差が生じるだけでなく、その復号画像の画質にも大きな差が生じる。従って、量子化インデックスが小さい値を変化する場合においては、その１段階の変化が、復号画像の画質に大きな影響を及ぼし、１フレームを構成するマクロブロックの間で、そのような画質の差が生じると、視聴者に違和感を感じさせることになる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、量子化ステップの変化前後の比率が小さくなるようにし、これにより、復号画像の画質の均一化を図ることができるようにするものである。
【００１７】
【課題を解決するための手段】
請求項１に記載の画像符号化装置、および請求項３に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をGOP単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項４に記載の画像符号化装置、および請求項５に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をピクチャ単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項６に記載の画像符号化装置、および請求項７に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
【００１８】
請求項８に記載の画像符号化装置、および請求項９に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項１０に記載の記録装置、および請求項１１に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をGOP単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
請求項１２に記載の記録装置、および請求項１３に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をピクチャ単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
【００１９】
請求項１４に記載の記録装置、および請求項１５に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
請求項１６に記載の記録装置、および請求項１７に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
【００２０】
請求項１に記載の画像符号化装置、および請求項３に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項４に記載の画像符号化装置、および請求項５に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項６に記載の画像符号化装置、および請求項７に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
【００２１】
請求項８に記載の画像符号化装置、および請求項９に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項１０に記載の記録装置、および請求項１１に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
請求項１２に記載の記録装置、および請求項１３に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
【００２２】
請求項１４に記載の記録装置、および請求項１５に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
請求項１６に記載の記録装置、および請求項１７に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
【００２３】
【発明の実施の形態】
図１は、本発明の画像符号化装置の一実施の形態の構成を示している。
【００２４】
この画像符号化装置は、いわゆる２パスエンコーディングによって、画像をＭＰＥＧ方式などにより可変レートで符号化するようになっており、例えば、ＤＶＤ（Digital Versatile Disc）や、ビデオＣＤ（Compact Disc）などのオーサリングシステムその他に適用することができるようになっている。
【００２５】
符号化すべき画像データは、エンコーダ１に入力されるようになされおり、エンコーダ１は、画像データを、少なくともＤＣＴ係数などの直交変換係数に直交変換し、その直交変換係数を量子化することにより符号化するようになされている。
【００２６】
即ち、１パス目では、エンコーダ１は、画像データを、固定の量子化ステップで量子化することにより符号化し、その結果得られる符号化データの発生符号量（あるいは、発生符号量に対応する情報としての、例えば、画像データの符号化難易度（difficulty）など）を、外部コンピュータ２に出力する。外部コンピュータ２は、エンコーダ１からの発生符号量に基づいて、例えば、１ＧＯＰ（Group Of Picture）や１画面（１フレームまたは１フィールド）ごとの目標符号量を設定する。
【００２７】
そして、２パス目では、外部コンピュータ２は、設定した目標符号量を、エンコーダ１に供給し、エンコーダ１は、この目標符号量に、発生符号量が一致するように量子化ステップを設定しながら、画像データの符号化を行う。なお、量子化ステップは、目標符号量の他、過去の発生符号量や、デコーダ側に想定されるＶＢＶ（Video Buffering Verifier）バッファにおけるデータの蓄積量、画像の複雑さなどにも基づいて設定される。
【００２８】
２パス目の符号化によって得られた符号化データは、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体３に記録され、あるいは、例えば、地上波、衛星回線、ＣＡＴＶ網、インターネットその他でなる伝送路４を介して伝送される。
【００２９】
次に、図２は、図１のエンコーダ１の構成例を示している。
【００３０】
図２では、エンコーダ１において、画像がＭＰＥＧ符号化されるようになされている。
【００３１】
即ち、符号化すべき画像データは、画像並び替え回路１１に供給される。画像並び替え回路１１は、入力された画像データのフレーム（またはフィールド）の並びを、必要に応じて替えて、走査変換／マクロブロック化回路１２に出力する。即ち、各フレームの画像データは、Ｉピクチャ、Ｐピクチャ、またはＢピクチャのうちのいずれかとして処理されるが、例えば、Ｂピクチャの処理に、それより時間的に後のＩピクチャやＰピクチャが必要な場合があり、このようなＩピクチャやＰピクチャは、Ｂピクチャより先に処理する必要がある。そこで、画像並び替え回路１１では、時間的に後のフレームを先に処理することができるように、フレームの並びを替えるようになされている。
【００３２】
なお、シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャとして処理するかは、予め定められている。
【００３３】
画像並び替え回路１１において並び替えられた画像データは、走査変換／マクロブロック化回路１２に出力され、そこでは、画像データの走査変換およびマクロブロック化が行われ、その結果得られるマクロブロックが、演算器１３、動き検出回路２３、およびアクティビティ検出回路２４に出力される。
【００３４】
動きベクトル検出回路２３は、走査変換／マクロブロック化回路１２から供給されるマクロブロックの動きベクトルを検出する。
【００３５】
即ち、動きベクトル検出回路２３は、予め定められた所定の参照フレームを参照し、その参照フレームと、走査変換／マクロブロック化回路１２からのマクロブロックとをパターンマッチング（ブロックマッチング）することにより、そのマクロブロックの動きベクトルを検出する。
【００３６】
ここで、ＭＰＥＧにおいては、画像の予測モードには、イントラ符号化（フレーム内符号化）、前方予測符号化、後方予測符号化、両方向予測符号化（前方、後方、および両方向の３つの予測符号化は、イントラ符号化に対して、インター符号化または非イントラ符号化と呼ばれる）の４種類があり、Ｉピクチャはイントラ符号化され、Ｐピクチャはイントラ符号化または前方予測符号化され、Ｂピクチャはイントラ符号化、前方予測符号化、後方予測符号化、または両方法予測符号化される。
【００３７】
即ち、動きベクトル検出回路２３は、Ｉピクチャについては、予測モードとしてイントラ符号化モードを設定する。この場合、動きベクトル検出回路２３では、動きベクトルの検出は行われない。
【００３８】
また、動きベクトル検出回路２３は、Ｐピクチャについては、前方予測を行い、その動きベクトルを検出する。さらに、動きベクトル検出回路２３は、前方予測を行うことにより生じる予測誤差と、符号化対象のマクロブロック（Ｐピクチャのマクロブロック）の、例えば分散とを比較し、マクロブロックの分散の方が予測誤差より小さい場合、予測モードとしてイントラ符号化モードを設定する。また、動きベクトル検出回路２３は、前方予測を行うことにより生じる予測誤差の方が小さければ、予測モードとして前方予測符号化モードを設定し、検出した動きベクトルを、動き補償回路２２に出力する。
【００３９】
さらに、動きベクトル検出回路２３は、Ｂピクチャについては、前方予測、後方予測、および両方向予測を行い、それぞれの動きベクトルを検出する。そして、動きベクトル検出回路２３は、前方予測、後方予測、および両方向予測についての予測誤差の中の最小のもの（以下、適宜、最小予測誤差という）を検出し、その最小予測誤差と、符号化対象のマクロブロック（Ｂピクチャのマクロブロック）の、例えば分散とを比較する。その比較の結果、マクロブロックの分散の方が最小予測誤差より小さい場合、動きベクトル検出回路２３は、予測モードとしてイントラ符号化モードを設定する。また、動きベクトル検出回路２３は、最小予測誤差の方が小さければ、予測モードとして、その最小予測誤差が得られた予測モードを設定し、対応する動きベクトルを、動き補償回路２２に出力する。
【００４０】
動き補償回路２２は、動きベクトルを受信すると、その動きベクトルにしたがって、フレームメモリ２１に記憶されている、符号化され、既に局所復号化された画像データを読み出し、これを、予測画像として、演算器１３および２０に供給する。
【００４１】
演算器１３は、走査変換／マクロブロック化回路１２からのマクロブロックと、動き補償回路２２からの予測画像との差分を演算する。この差分値は、ＤＣＴ回路１４（直交変換手段）に供給される。
【００４２】
なお、動きベクトル検出回路２３において、予測モードとしてイントラ符号化モードが設定された場合、動き補償回路２２は、予測画像を出力しない。この場合、演算器１３（演算器２０も同様）は、特に処理を行わず、走査変換／マクロブロック化回路１２からのマクロブロックを、そのままＤＣＴ回路１４に出力する。
【００４３】
ＤＣＴ回路１４では、演算器１３の出力に対して、ＤＣＴ処理が施され、その結果得られるＤＣＴ係数が、量子化回路１５（量子化手段）（重み付け手段）に供給される。量子化回路１５では、量子化インデックス決定回路２５からの量子化マトリクスにしたがって、ＤＣＴ回路１４からのＤＣＴ係数に重み付けがなされ、その重み付け後のＤＣＴ係数が、同じく量子化インデックス決定回路２５からの量子化インデックスに対応する量子化ステップ（量子化スケール）で量子化される。即ち、量子化回路１５では、量子化インデックス決定回路２５からの量子化インデックスに対応して量子化ステップが設定され、その量子化ステップに、量子化インデックス決定回路２５からの量子化マトリクスの係数をかけたもので、ＤＣＴ回路１４からのＤＣＴ係数が量子化される。この量子化されたＤＣＴ係数（以下、適宜、量子化値という）は、ＶＬＣ器１６に供給される。
【００４４】
ＶＬＣ器１６では、量子化回路１５より供給される量子化値が、例えばハフマン符号などの可変長符号に変換され、バッファ１７に出力される。バッファ１７は、ＶＬＣ器１６からのデータを一時蓄積し、そのデータ量を平滑化して出力する。なお、バッファ１７におけるデータ蓄積量は、発生符号量として、外部コンピュータ２（図１）と量子化インデックス決定回路２５に供給されるようになされている。
【００４５】
一方、量子化回路１５が出力する量子化値は、ＶＬＣ器１６だけでなく、逆量子化回路１８にも供給されるようになされている。逆量子化回路１８では、量子化回路１５からの量子化値が、量子化回路１５で用いられた量子化ステップおよび量子化マトリクスにしたがって逆量子化され、これによりＤＣＴ係数に変換される。このＤＣＴ係数は、逆ＤＣＴ回路１９に供給される。逆ＤＣＴ回路１９では、ＤＣＴ係数が逆ＤＣＴ処理され、演算器２０に供給される。
【００４６】
演算器２０には、逆ＤＣＴ回路１９の出力の他、上述したように、動き補償回路２２から、演算器１３に供給されている予測画像と同一のデータが供給されており、演算器２０は、逆ＤＣＴ回路１９からの信号（予測残差）と、動き補償回路２２からの予測画像とを加算することで、元の画像を、局所復号する（但し、予測モードがイントラ符号化である場合には、逆ＤＣＴ回路１９の出力は、演算器２０をスルーして、フレームメモリ２１に供給される）。なお、この復号画像は、受信側において得られる復号画像と同一のものである。
【００４７】
演算器２０において得られた復号画像（局所復号画像）は、フレームメモリ２１に供給されて記憶され、その後、インター符号化（前方予測符号化、後方予測符号化、または両方向予測符号化）される画像に対する参照画像（参照フレーム）として用いられる。
【００４８】
一方、アクティビティ検出回路２４では、マクロブロックの複雑さを表す指標として、例えば、そのアクティビティ（activity）が検出され、量子化インデックス決定回路２５に供給される。量子化インデックス決定回路２５には、外部コンピュータ２から目標符号量が、バッファ１７から発生符号量が、アクティビティ検出回路２４からアクティビティが、それぞれ供給されるようになされている。そして、量子化インデックス決定回路２５は、これらの目標符号量、発生符号量、およびアクティビティに基づいて、適応的に量子化インデックスを決定し、即ち、例えば、発生符号量が目標符号量に一致するような量子化インデックスであって、アクティビティに対応した画質の復号画像が得られるようなものを決定し、量子化回路１５に供給する。
【００４９】
さらに、量子化インデックス決定回路２５には、外部コンピュータ２から、使用する量子化マトリクスを指示する指示信号が供給されるようになされており、量子化インデックス決定回路２５は、この指示信号にしたがって、使用する量子化マトリクスを決定する。即ち、外部コンピュータ２は、後述するようにして、使用する量子化マトリクスを決定し、その量子化マトリクスに対応する指示信号を、量子化インデックス決定回路２５に出力するようになされており、量子化インデックス決定回路２５は、外部コンピュータ２からの指示信号にしたがって、使用する量子化マトリクスを決定し、量子化回路１５に出力する。
【００５０】
これにより、量子化回路１５では、上述したように、量子化インデックス決定回路２５からの量子化マトリクスまたは量子化インデックスに対応する量子化ステップで、ＤＣＴ係数に対する重み付けまたは量子化がそれぞれ行われる。
【００５１】
なお、量子化インデックス決定回路２５は、１パス目は、固定の量子化インデックスを出力するようになされており、これにより、量子化回路１５では、固定の量子化ステップで量子化が行われる。そして、２パス目において、量子化インデックス決定回路２５は、上述したように、バッファ１７からの発生符号量、アクティビティ検出回路２４からのアクティビティ、さらには、外部コンピュータ２からの目標符号量に基づいて、適応的に量子化インデックスを設定するようになされており、これにより、量子化回路１５では、そのように適応的に設定された量子化インデックスに対応する量子化ステップで量子化が行われる。
【００５２】
次に、図１の画像符号化装置における量子化処理の詳細について説明する。
【００５３】
例えば、ＭＰＥＧ符号化を行う場合においては、図２のエンコーダ１における量子化回路１５では、まず、ＤＣＴ係数（但し、ＤＣＴ係数のうちのＡＣ成分についてのみ）が１６倍される。そして、その１６倍されたＤＣＴ係数が、量子化ステップと、量子化マトリクスのうちのＤＣＴ係数に対応する位置にある係数とを除数として除算され、その除算結果を、例えば四捨五入した値が、量子化値として出力される。
【００５４】
図３は、ＭＰＥＧにおけるデフォルトの量子化マトリクスを示している。なお、同図（Ａ）または（Ｂ）は、イントラ符号化またはインター符号化が行われる場合のデフォルトの量子化マトリクスをそれぞれ示している。
【００５５】
量子化マトリクスの係数は、イントラ符号化におけるＤＣ係数を除いて、１６を基準とした、それ以上の値になっている。これは、上述したように、量子化が、ＤＣＴ係数を１６倍した後に行われるためである。従って、量子化マトリクスの係数は、必ずしも１６以上である必要はないが、１６未満の値とした場合に、量子化ステップが１や２などのように極端に小さな値であるときには、量子化値が元のＤＣＴ係数よりも大きな値となることがあり、また、この場合に量子化値の精度が向上するわけでもないので、通常は、１６以上の値とされる。
【００５６】
なお、ＭＰＥＧでは、イントラ符号化におけるＤＣ係数についての量子化マトリクスの係数は８（固定値）とすることが規定されている。
【００５７】
いま、図３に示したデフォルトの量子化マトリクスを使用して、２パス目の処理を行った場合に、発生符号量および目標符号量、アクティビティなどの観点から、量子化インデックスが、例えば、３乃至９の範囲の値が設定されて量子化が行われるとする。なお、以下では、説明を簡単にするために、量子化インデックスと量子化ステップとの対応関係として線形なものを考える。従って、上述の場合、量子化ステップは、６，８，・・・，１８のうちのいずれかが設定される。
【００５８】
この場合において、図４に示すように、量子化マトリクスを、図３に示した量子化マトリクスの係数（但し、上述した理由から、イントラ符号化におけるＤＣ係数に対応する位置の係数は除く）を２で除算して整数に丸めたものに変更すると（図４（Ａ）または図４（Ｂ）が、それぞれ図３（Ａ）または図３（Ｂ）に対応している）、その変更前と同一の発生符号量を得るためには、量子化インデックスは、量子化マトリクスの変更前における量子化インデックスの２倍にする必要がある。即ち、量子化回路１５では、ＤＣＴ係数が、量子化マトリクスの係数と、量子化インデックスに対応する量子化ステップとの両方で除算されるから、量子化マトリクスの係数を１／２倍にした場合、同一の符号量を得るために、量子化インデックスとしては、元の２倍の値の範囲を設定する必要がある。
【００５９】
従って、本来ならば、上述のように、量子化インデックスが３乃至９の範囲の値が設定されて量子化が行われる場合において、量子化マトリクスの係数を１／２倍にすると、量子化インデックスは、元の値の２倍の範囲である６乃至１８の範囲の値が設定され、その結果、量子化ステップとしては、１２，１４，・・・，３６のうちのいずれかが設定されることになる。
【００６０】
ここで、量子化マトリクスの変更前と変更後とにおける量子化インデックスを比較してみると、量子化マトリクスの変更前では、３乃至９の７値しか使用することができなかった量子化インデックスが、量子化マトリクスの変更後には、６乃至１８の１３値を使用することができることになる。
【００６１】
従って、量子化マトリクスを、上述のように２で除算（１／２倍）して、その係数を小さな値に変更することにより、使用する量子化インデックスの範囲を、大きな値の広い範囲に変更することができ、これにより、量子化インデックスが変化した場合の、その変化前後の比率を小さくすることができる。その結果、量子化インデックスを、その値から見て、細かく、かつ広い範囲で変化させることができることになる。
【００６２】
図１の画像符号化装置では、以上のようにして、量子化インデックス、ひいては、量子化ステップを、小さい比率で細かく変化させ、これにより、その１段階の変化が、復号画像の画質に及ぼす影響を小さくし、復号画像の画質の均一化を図るようになされている。
【００６３】
なお、上述の場合においては、量子化マトリクスの係数を２で除算するようにしたが、この係数を除算する除数は２に限定されるものではなく、３や４その他の１より大きい実数を用いることが可能である。
【００６４】
次に、量子化マトリクスを、常時、上述のように２などで除算（１／２倍など）して、その係数を小さな値に変更し、使用する量子化インデックスの範囲を、大きな値の範囲に変更した場合、非常に複雑な画像が入力されたり、また、低ビットレートに圧縮を行うときなどは、量子化インデックスとして、その上限値を越えた値が必要になることがある。
【００６５】
即ち、例えば、図３に示したデフォルトの量子化マトリクスを使用して、２パス目の処理を行った場合に、発生符号量および目標符号量、アクティビティなどの観点から、量子化インデックスが、例えば、８乃至２４の範囲の値が設定されて量子化が行われるとする。この場合において、上述したように、量子化マトリクスの係数を１／２倍すると、量子化インデックスとしては、８乃至２４の範囲の２倍の範囲である１６乃至４８の範囲が必要となる。
【００６６】
ＭＰＥＧでは、量子化インデックスの上限値は、前述のように３１であり、この場合、量子化インデックスとして、その上限値を越えた値が必要になる。
【００６７】
しかしながら、上限値を越えた量子化インデックスは設定することができないから、そのような量子化インデックスが必要な場合であっても、量子化インデックスの上限値に対応する量子化ステップ（ＭＰＥＧでは、前述したように６２）で量子化が行われる。従って、この場合、目標符号量よりも極端に大きな符号量が発生することになる。
【００６８】
ところで、量子化インデックスとして、例えば、上述のように８乃至２４の範囲などの、比較的大きな値を含む範囲が使用される場合においては、量子化マトリクスを変更して、使用可能な量子化インデックスの値を、さらに大きな値にしなくても、復号画像の均一性はある程度保たれる。
【００６９】
従って、量子化マトリクスの変更は、常時行う必要はなく、量子化マトリクスをそのまま用いた場合における量子化インデックスの使用可能な範囲の値に対応して行えば良い。
【００７０】
ここで、量子化マトリクスをそのまま用いた場合における量子化インデックスの使用可能な範囲（使用される量子化インデックスの範囲）の正確な値は、符号化が終了しないと分からない。即ち、例えば、２パスエンコーディングが行われる場合においては、１パス目の処理で、固定の量子化ステップで量子化が行われ、その処理結果に基づいて目標符号量が求められ、２パス目の処理で、発生符号量が目標符号量に一致するように、適応的に量子化ステップが変化されるから、使用される量子化ステップの範囲、即ち、使用される量子化インデックスの範囲の正確な値は、２パス目の処理が終了して、初めて認識することができる。
【００７１】
従って、２パス目の処理により、使用される量子化インデックスの範囲を、正確に求め、その範囲が、小さな値の範囲である場合には、量子化マトリクスを変更して、再度符号化を行うようにする必要があるが、これでは、処理に時間を要することになる。
【００７２】
そこで、１パス目の処理に基づき、例えば、次のようにして、使用される量子化インデックスを予測し、その予測結果に対応して、量子化マトリクスを変更するかどうかを決定するようにすることができる。
【００７３】
即ち、１パス目の処理では、上述したように、固定の量子化インデックス（量子化ステップ）で量子化が行われ、その結果得られる符号量その他に基づいて、２パス目における目標符号量が決定される。
【００７４】
そこで、まず、例えば、１ＧＯＰや、１本の映画などのような所定の時間ごとに、１パス目の処理で得られた発生符号量の総和Ｇと、その発生符号量に基づいて決定された目標符号量の総和Ｔを求め、それらの比ｒ＝Ｔ／Ｇを判定する。
【００７５】
この目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒは、所定の時間における量子化インデックスの平均的な値が、１パス目の処理における固定の量子化インデックス（例えば、８など）と等しければ１になり、また、その平均的な値が固定の量子化インデックスよりも大きい場合または小さい場合は、それぞれ、１より小さくまたは大きくなる。
【００７６】
即ち、実際の発生符号量を目標符号量に一致させるために、２パス目の処理では、１パス目の処理で得られた目標符号量の総和Ｔが発生符号量の総和Ｇより大であれば、固定の量子化インデックスより小さな量子化インデックスが設定されることが予想され、その逆に、１パス目の処理で得られた目標符号量の総和Ｔが発生符号量の総和Ｇより小であれば、固定の量子化インデックスより大きな量子化インデックスが設定されることが予想される。
【００７７】
従って、目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒによって、２パス目の処理における量子化インデックスの、固定の量子化インデックスを基準とした値を予測することができるので、この比ｒに対応して、量子化マトリクスを変更するかどうかを決定すれば良い。
【００７８】
以上のようにして符号化を行う場合の図１の画像符号化装置の処理について、図５のフローチャートを参照して、さらに説明する。
【００７９】
まず最初に、ステップＳ１において、エンコーダ１は、１パス目の処理を行う。即ち、エンコーダ１は、固定の量子化インデックスで量子化を行い、その結果得られる符号化データの発生符号量、さらには、例えばＤＣＴ係数のＤＣ成分、画像のアクティビティ、その他の目標符号量を決定するのに必要な情報（統計量）を、外部コンピュータ２に出力する。
【００８０】
外部コンピュータ２は、エンコーダ１から各種の情報を受信すると、ステップＳ２において、その情報に基づいて、２パス目の処理により得られる符号化データの目標符号量を算出する。そして、外部コンピュータ２は、ステップＳ３において、所定の時間単位における目標符号量の総和Ｔと発生符号量（１パス目の処理の発生符号量）の総和Ｇとの比ｒを求め、ステップＳ４に進み、その比ｒの値を判定する。
【００８１】
ステップＳ４において、比ｒが、例えば、０．５より小さいと判定された場合、即ち、２パス目の処理における量子化インデックスの値が大であると予測される場合、ステップＳ５に進み、外部コンピュータ２は、例えばデフォルトの量子化マトリクスをそのまま使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８２】
また、ステップＳ４において、比ｒが、例えば、０．５以上であり、かつ２より小さいと判定された場合、即ち、２パス目の処理における量子化インデックスの値が中であると予測される場合、ステップＳ６に進み、外部コンピュータ２は、例えば、デフォルトの量子化マトリクスの係数を１／２倍したもの（以下、適宜、ハーフ量子化マトリクスという）を使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８３】
さらに、ステップＳ４において、比ｒが、例えば、２以上であると判定された場合、即ち、２パス目の処理における量子化インデックスの値が小であると予測される場合、ステップＳ６に進み、外部コンピュータ２は、例えば、デフォルトの量子化マトリクスの係数を１／４倍したもの（以下、適宜、クオータ量子化マトリクスという）を使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８４】
ステップＳ８では、エンコーダ１の量子化インデックス決定回路２５において、外部コンピュータ２からの指示信号にしたがった量子化マトリクス（ここでは、デフォルトの量子化マトリクス、ハーフ量子化マトリクス、またはクオータ量子化マトリクスのうちのいずれか）が設定され、さらに目標符号量に対応した量子化インデックスが設定され、量子化回路１５に供給される。これにより、量子化回路１５では、量子化インデックス決定回路２５からの量子化マトリクスと量子化インデックスにしたがって、ＤＣＴ係数が量子化される。
【００８５】
なお、ステップＳ４乃至Ｓ８の処理は、ステップＳ３において、比ｒが求められる時間ごとに繰り返し行われる。即ち、ステップＳ３において、例えば、１ＧＯＰごとに目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒが求められる場合には、ステップＳ４乃至Ｓ８の処理は、その比が求められるＧＯＰ単位で繰り返される。
【００８６】
以上のように、量子化ステップの変化前後の比率が小さくなるように、ＤＣＴ係数に対する重み付けを行う量子化マトリクスの係数を変更し、これにより、量子化ステップを、その値に対して細かく変化させることができるようにしたので、従来のように、量子化インデックスと量子化ステップとの対応関係として線形なものと非線形なものとのいずれかしか選択することができない場合に比較して、いわばきめ細かい変化が可能な量子化ステップでの量子化を行うことができる。そして、その結果、復号画像の画質の均一化を図ることが可能となり、視聴者が復号画像を視聴したときの主観的な画質を大幅に向上させることができる。
【００８７】
また、量子化ステップを細かく変化させることができる結果、発生符号量を、より柔軟に調整して目標符号量に近づけることができるようになり、例えば、ＭＰＥＧ符号化を行う際にデコーダ側に想定されるＶＢＶバッファのデータ蓄積量を管理するために、目標符号量に対して見積もるマージンを小さくすることができる。即ち、ＶＢＶバッファのアンダーフローを防止するために、目標符号量を、本来見積もるべき値より、それほど大きなマージンをみて設定する必要がなくなり、その結果、複雑な画像に対しては、従来よりも多い符号量を目標符号量として割り当てることが可能となるので、そのような画像についての復号画像の画質を向上させることが可能となる。
【００８８】
さらに、２パスエンコーディングを行う場合においては、１パス目の処理結果から、２パス目における量子化インデックスを予測し、その予測結果に基づいて、量子化マトリクスを変更するようにしたので、上限値を越えた量子化インデックスが必要となることを防止することが可能となる。即ち、上限値を越えない範囲で、量子化インデックスを変化させることが可能となる。
【００８９】
以上、本発明を、２パスエンコーディングを行う画像符号化装置に適用した場合について説明したが、本発明は、その他、１回の処理で符号化を行う場合にも適用可能である。
【００９０】
なお、本実施の形態では、量子化インデックスと量子化ステップとが線形な対応関係にあるとしたが、本発明は、これらが非線形な対応関係にある場合にも適用することができる。但し、量子化インデックスと量子化ステップとが非線形な対応関係にある場合、量子化マトリクスの係数を小さな値に変更しても、量子化ステップが、その変更前より細かく変化するとは限らない（量子化インデックスは細かく変化するようになるが、量子化ステップは、量子化インデックスと非線形に対応付けられているため、量子化インデックスと同様に細かく変化するとは限らない）。しかしながら、この場合でも、量子化マトリクスの係数を小さな値にすることで、量子化ステップは大きな値にはなるので、量子化ステップの変化前後の比率は小さくなり、その結果、量子化インデックスと量子化ステップとが線形な対応関係にある場合と同様に、画質の均一化を図ることができる。
【００９１】
また、本実施の形態では、外部コンピュータ２からエンコーダ１に目標符号量を送信し、エンコーダ１において量子化インデックスを決定するようにしたが、量子化インデックスは、外部コンピュータ２において決定し、エンコーダ１に送信するようにすることも可能である。
【００９２】
さらに、本実施の形態では、外部コンピュータ２において、使用する量子化マトリクスを決定するようにしたが、この決定処理は、エンコーダ１において行うようにすることも可能である。
【００９３】
また、本実施の形態では、ＭＰＥＧで規定されているデフォルトの量子化マトリクスを用いるようにしたが、本発明は、その他の量子化マトリクスを使用する場合にも適用することが可能である。即ち、例えば、図６は、ＴＭ５（Test Model 5(Test Model Editing Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993))）で提案されている量子化マトリクスを示しており、イントラ符号化の際に使用される量子化マトリクス（図６（Ａ））だけでなく、インター符号化の際に使用される量子化マトリクス（図６（Ｂ））にも傾斜が付されているが（これに対して、図３に示したＭＰＥＧのデフォルトの量子化マトリクスでは、イントラ符号化の際に使用されるもののみに傾斜が付されており、インター符号化の際に使用されるものには傾斜が付されていない）、このような量子化マトリクスについても、本発明は適用可能である。つまり、本発明は、量子化マトリクスにおける係数の傾斜の有無、さらには、その傾斜の付し方に関係なく適用することができる。
【００９４】
さらに、本実施の形態においては、量子化回路１５において、ＤＣＴ回路１４が出力するＤＣＴ係数を量子化するようにしたが、本発明は、ＤＣＴ係数以外の直交変換係数を量子化する場合にも適用可能である。
【００９５】
【発明の効果】
請求項１に記載の画像符号化装置および請求項３に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項４に記載の画像符号化装置および請求項５に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項６に記載の画像符号化装置および請求項７に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項８に記載の画像符号化装置および請求項９に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
【００９６】
請求項１０に記載の記録装置および請求項１１に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１２に記載の記録装置および請求項１３に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１４に記載の記録装置および請求項１５に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１６に記載の記録装置および請求項１７に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のエンコーダ１の構成例を示すブロック図である。
【図３】ＭＰＥＧで規定されているデフォルトの量子化マトリクスを示す図である。
【図４】図３の量子化マトリクスの係数を２で除算し、さらに整数に丸めたものを示す図である。
【図５】図１の画像符号化装置の処理を説明するためのフローチャートである。
【図６】ＴＭ５で規定されている量子化マトリクスを示す図である。
【符号の説明】
１エンコーダ，２外部コンピュータ，３記録媒体，４伝送路，１１画像並び替え回路，１２走査変換／マクロブロック化回路，１３演算器，１４ＤＣＴ回路（直交変換手段），１５量子化回路（量子化手段）（重み付け手段），１６ＶＬＣ回路，１７バッファ，１８逆量子化回路，１９逆ＤＣＴ回路，２０演算器，２１フレームメモリ，２２動き補償回路，２３動き検出回路，２４アクティビティ検出回路，２５量子化インデックス決定回路[0001]
BACKGROUND OF THE INVENTION
The present invention provides image coding apparatus And image coding Method , And Recording device and Recording method In particular, image coding that enables the image quality of decoded images to be uniform apparatus And image coding Method , And Recording device and Recording method About.
[0002]
[Prior art]
For example, in an image coding method (image compression method) using DCT (Discrete Cosine Transform) represented by MPEG (Moving Picture Experts Group) coding or the like, generally, a DCT coefficient obtained by DCT processing of an image Further, quantization is performed by weighting using a difference in quantization sensitivity for each spatial frequency in human visual characteristics, thereby increasing the compression rate. That is, since the higher-order DCT coefficients do not significantly affect the image quality when the decoded image is viewed, weighting is performed so that the quantization is coarser than the lower-order DCT coefficients.
[0003]
In MPEG, a quantization matrix inherited from JPEG (Joint Photographic coding Experts Group) is prepared as means for performing weighting as described above. The quantization matrix is a matrix in which 8 × 8 coefficients corresponding to a block of 8 × 8 pixels, which is a unit of DCT processing, are arranged, and the coefficients can be freely changed during encoding. Has been made.
[0004]
The weighting by the quantization matrix means that the DCT coefficient is divided by the coefficient corresponding to the DCT coefficient among the coefficients constituting the quantization matrix. Since quantization is performed with a multiplication value obtained by multiplying the coefficient of the quantization matrix and the quantization step, that is, weighting of the DCT coefficient and quantization are performed at the same time, the quantization matrix corresponds to human visual characteristics. It can also be considered as a quantization step for performing quantization.
[0005]
According to the quantization matrix, as described above, efficient quantization using human visual characteristics can be realized, and the coefficient is generally set from such a viewpoint, but the quantization step In general, for example, rate control for controlling the generated code amount to match a predetermined target code amount, and the image quality (appearance image quality) of the decoded image that varies depending on the activity (activity) of the image Is set corresponding to the quantization index that realizes the conversion.
[0006]
In MPEG, two types of correspondence between a linear index and a non-linear one are defined as a correspondence relationship between a quantization index and a quantization step. That is, in MPEG, an integer value of 1 to 31 is defined as a quantization index, and according to a linear correspondence relationship, a value twice the quantization index is associated with the quantization step. . Therefore, the quantization step is uniquely determined corresponding to the quantization index. When the quantization index is 1, 2,..., 31, the quantization step is 2, 4,. Become. Similarly, in the non-linear correspondence, the quantization index and the quantization step are associated one-to-one with a predetermined non-linear function.
[0007]
In the nonlinear correspondence, the quantization step can be changed finely in the range where the quantization index is small, and the quantization step can be changed greatly in the range where the quantization index is large. As described above, the quantization index and the quantization step are associated with each other.
[0008]
Whether the quantization is performed using linear or non-linear correspondence is represented by a variable called a Q scale type. By referring to the Q scale type, the decoder side refers to the quantization index and the quantum. The correspondence relationship with the conversion step is recognized.
[0009]
By the way, for example, in the authoring of a DVD (Digigal Versatile Disc) or a video CD (Compact Disc), the MPEG system is currently employed as an image compression encoding method. When recording or transmitting, it is required to compress and encode an image so that a decoded image with good image quality can be obtained with a small code amount.
[0010]
Thus, for example, in authoring, a DCT coefficient obtained by DCT processing of an image is quantized at a fixed quantization step, and the generated code amount, for example, is measured as the complexity (difficulty) of the image. And a predetermined target code amount based on the generated code amount obtained by the first pass process, and the quantization step is adaptive so that the generated code amount matches the target code amount. In general, so-called two-pass encoding is performed, in which the second-pass processing of changing the image to variable rate encoding is performed.
[0011]
According to the two-pass encoding, it is possible to prevent a complicated portion from being extremely coarsely quantized by assigning a constant code amount regardless of the complexity of the image. That is, based on the result of the first pass processing, in the second pass processing, a small code amount is assigned to a flat image and a large code amount is assigned to a complex image as a target code amount. It is possible to make the change in the quantization step fall within a predetermined narrow range, and as a result, it is possible to prevent a portion that is extremely coarsely quantized from occurring over the entire image.
[0012]
[Problems to be solved by the invention]
By the way, when the quantization step changes within a predetermined narrow range as described above, it is desirable that the ratio of the quantization step before and after the change is small.
[0013]
That is, for simplicity of explanation, if a linear relationship is used as the correspondence relationship between the quantization index and the quantization step, as described above, the quantization step is twice the quantization index. Set to a value. In this case, consider when the quantization index changes from 1 to 2, for example, and from 30 to 31.
[0014]
First, when the quantization index changes from 1 to 2, since the quantization step changes from 2 to 4, the ratio of the quantization steps before and after the change ([quantization step after change] / [quantization before change) Step)) is 2 (= (4-2) / 2) times. On the other hand, when the quantization index changes from 30 to 31, the quantization step changes from 60 to 62. Therefore, the ratio of the quantization step before and after the change is approximately 1.033 (≈62 / 60) times. .
[0015]
In MPEG, the quantization step can be changed in units of macroblocks. Therefore, if the quantization steps in adjacent macroblocks change at a large ratio, not only a large difference occurs in the generated code amount, but also the decoded image. There is a big difference in image quality. Therefore, when the quantization index changes to a small value, the one-stage change greatly affects the image quality of the decoded image, and such a difference in image quality between macroblocks constituting one frame. If this happens, it will make the viewer feel uncomfortable.
[0016]
The present invention has been made in view of such a situation, and makes it possible to reduce the ratio before and after the change of the quantization step, thereby achieving uniform image quality of the decoded image. It is.
[0017]
[Means for Solving the Problems]
The image encoding device according to claim 1, and Claim 3 In the image coding method described in the above, the generated code amount, which is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in GOP units, and based on the generated generated code amount The target code amount for encoding an image is calculated in GOP units, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is a predetermined threshold value. more than If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. The orthogonal transform coefficient is quantized using a quantization index corresponding to the target code amount using the set quantization matrix.
Claim 4 An image encoding device according to claim 1, and Claim 5 In the image coding method described in the above, a generated code amount that is a code amount obtained by quantizing an orthogonal transform coefficient in a fixed quantization step is output in units of pictures, and the generated code amount is based on the generated generated code amount. The target code amount for encoding an image is calculated in units of pictures, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is a predetermined threshold value. more than If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. The orthogonal transform coefficient is quantized using a quantization index corresponding to the target code amount using the set quantization matrix.
Claim 6 An image encoding device according to claim 1, and Claim 7 The image coding method described in the above item generates a target code amount in GOP units calculated from a generated code amount that is the amount of codes in GOP units obtained by quantizing orthogonal transform coefficients in a fixed quantization step. The ratio of the generated code amount and the target code amount, which is a division value divided by the code amount, is equal to or greater than a predetermined threshold value If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. The orthogonal transform coefficient is quantized using a quantization index corresponding to the target code amount using the set quantization matrix.
[0018]
Claim 8 An image encoding device according to claim 1, and Claim 9 The image encoding method described in 1) generates a target code amount in units of pictures calculated from a generated code amount that is the amount of codes in units of pictures obtained by quantizing orthogonal transform coefficients in a fixed quantization step. The ratio of the generated code amount and the target code amount, which is a division value divided by the code amount, is equal to or greater than a predetermined threshold value If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the ratio is greater than or equal to a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. The orthogonal transform coefficient is quantized using a quantization index corresponding to the target code amount using the set quantization matrix.
Claim 10 A recording device according to claim 1, and Claim 11 In the recording method described in the above, the generated code amount, which is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in GOP units, and an image is generated based on the generated generated code amount. The target code amount when encoding is calculated in GOP units, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is equal to or greater than a predetermined threshold value. If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the ratio is greater than or equal to a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. Then, using the set quantization matrix, the orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount, and the quantized quantized value is encoded and recorded on the recording medium.
Claim 12 A recording device according to claim 1, and Claim 13 In the recording method described in the above, a generated code amount that is a code amount obtained by quantizing an orthogonal transform coefficient in a fixed quantization step is output in units of pictures, and an image is generated based on the output generated code amount. The target code amount when encoding the image is calculated in units of pictures, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is equal to or greater than a predetermined threshold value. If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the ratio is greater than or equal to a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. Then, using the set quantization matrix, the orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount, and the quantized quantized value is encoded and recorded on the recording medium.
[0019]
Claim 14 A recording device according to claim 1, and Claim 15 In the recording method described in the above, the target code amount in GOP units calculated from the generated code amount, which is the amount of codes in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is generated as the generated code amount. The value of the ratio between the generated code amount and the target code amount, which is the division value divided by, is greater than or equal to a predetermined threshold If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the ratio is greater than or equal to a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. Then, using the set quantization matrix, the orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount, and the quantized quantized value is encoded and recorded on the recording medium.
Claim 16 A recording device according to claim 1, and Claim 17 In the recording method described in the above, the target code amount in units of pictures calculated from the generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficient in a fixed quantization step The value of the ratio between the generated code amount and the target code amount, which is the division value divided by, is greater than or equal to a predetermined threshold If not, if the quantization matrix when quantizing the orthogonal transform coefficient is set to the default quantization matrix, and the ratio is greater than or equal to a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, Set the quantization matrix for quantizing orthogonal transform coefficients to a quantization matrix with smaller coefficients than the default quantization matrix. Then, using the set quantization matrix, the orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount, and the quantized quantized value is encoded and recorded on the recording medium.
[0020]
The image encoding device according to claim 1, and Claim 3 In the image coding method described in the above, the generated code amount, which is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in GOP units, and based on the generated generated code amount Thus, the target code amount for encoding an image is calculated in GOP units, and the magnitude of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is a predetermined value. Above threshold Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix.
Claim 4 An image encoding device according to claim 1, and Claim 5 In the image encoding method described in the above, a generated code amount that is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step is output in units of pictures, and based on the generated generated code amount Thus, the target code amount for encoding an image is calculated for each picture, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is a predetermined value. Above threshold Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix.
Claim 6 An image encoding device according to claim 1, and Claim 7 In the image coding method described in the above, the target code amount in GOP units calculated from the generated code amount, which is the amount of codes in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, The ratio of the generated code amount and the target code amount, which is a division value divided by the generated code amount, is equal to or greater than a predetermined threshold value. Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix.
[0021]
Claim 8 An image encoding device according to claim 1, and Claim 9 In the image coding method described in the above, the target code amount in units of pictures calculated from the generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, The ratio of the generated code amount and the target code amount, which is a division value divided by the generated code amount, is equal to or greater than a predetermined threshold value. Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix.
Claim 10 A recording device according to claim 1, and Claim 11 In the recording method described in the above, the generated code amount that is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step is output in GOP units, and based on the generated generated code amount, The target code amount for encoding an image is calculated in GOP units, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is equal to or greater than a predetermined threshold value. Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium.
Claim 12 A recording device according to claim 1, and Claim 13 In the recording method described in the above, a generated code amount that is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step is output in units of pictures, and based on the output generated code amount, The target code amount for encoding an image is calculated in units of pictures, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is equal to or greater than a predetermined threshold value. Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium.
[0022]
Claim 14 A recording device according to claim 1, and Claim 15 In the recording method described in (4), the target code amount in GOP units calculated from the generated code amount, which is the amount of codes in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is generated as the generated code. The ratio of the generated code amount and the target code amount, which is a division value divided by the amount, is greater than or equal to a predetermined threshold value Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium.
Claim 16 A recording device according to claim 1, and Claim 17 In the recording method described in the above, the target code amount in units of pictures calculated from the generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficient in a fixed quantization step is obtained as the generated code. The ratio of the generated code amount and the target code amount, which is a division value divided by the amount, is greater than or equal to a predetermined threshold value Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows the configuration of an embodiment of an image encoding apparatus according to the present invention.
[0024]
This image encoding apparatus encodes an image at a variable rate by the MPEG method or the like by so-called two-pass encoding. t al Versatile Disc), video CD (Compact Disc), and other authoring systems.
[0025]
The image data to be encoded is input to the encoder 1, and the encoder 1 performs orthogonal transform on the image data to at least an orthogonal transform coefficient such as a DCT coefficient, and encodes the orthogonal transform coefficient by quantizing the orthogonal transform coefficient. It is made to become.
[0026]
That is, in the first pass, the encoder 1 encodes the image data by quantizing it in a fixed quantization step, and the generated code amount of the encoded data obtained as a result (or information corresponding to the generated code amount). For example, the encoding difficulty (difficulty) of the image data) is output to the external computer 2. The external computer 2 sets a target code amount for each 1 GOP (Group Of Picture) or one screen (one frame or one field) based on the generated code amount from the encoder 1.
[0027]
In the second pass, the external computer 2 supplies the set target code amount to the encoder 1, and the encoder 1 sets the quantization step so that the generated code amount matches the target code amount. The image data is encoded. The quantization step is set based on the past code amount generated in addition to the target code amount, the amount of data stored in a VBV (Video Buffering Verifier) buffer assumed on the decoder side, the complexity of the image, and the like. The
[0028]
The encoded data obtained by the second pass encoding is recorded on the recording medium 3 such as an optical disk, a magneto-optical disk, a magnetic tape, or the like, or, for example, terrestrial, satellite line, CATV network, Internet It is transmitted via the other transmission path 4.
[0029]
Next, FIG. 2 shows a configuration example of the encoder 1 of FIG.
[0030]
In FIG. 2, an image is MPEG-encoded in the encoder 1.
[0031]
That is, the image data to be encoded is supplied to the image rearrangement circuit 11. The image rearrangement circuit 11 changes the arrangement of frames (or fields) of the input image data as necessary, and outputs it to the scan conversion / macroblocking circuit 12. That is, the image data of each frame is processed as one of an I picture, a P picture, or a B picture. For example, an I picture or a P picture that is later in time than the B picture is processed. In some cases, such an I picture or P picture needs to be processed before a B picture. Therefore, the image rearrangement circuit 11 rearranges the frames so that the temporally subsequent frame can be processed first.
[0032]
Note that it is determined in advance whether the image of each frame that is sequentially input is processed as an I, P, or B picture.
[0033]
The image data rearranged in the image rearrangement circuit 11 is output to the scan conversion / macroblocking circuit 12 where the image data is subjected to scan conversion and macroblocking, and the resulting macroblock is The result is output to the arithmetic unit 13, the motion detection circuit 23, and the activity detection circuit 24.
[0034]
The motion vector detection circuit 23 detects the motion vector of the macroblock supplied from the scan conversion / macroblocking circuit 12.
[0035]
That is, the motion vector detection circuit 23 refers to a predetermined reference frame determined in advance, and performs pattern matching (block matching) between the reference frame and the macroblock from the scan conversion / macroblocking circuit 12. The motion vector of the macroblock is detected.
[0036]
Here, in MPEG, the image prediction modes include intra coding (intraframe coding), forward prediction coding, backward prediction coding, bidirectional prediction coding (three prediction codes in the forward, backward, and bidirectional directions). Encoding is called inter encoding or non-intra encoding), I picture is intra encoded, P picture is intra encoded or forward predictive encoded, B picture Are intra-coded, forward-predictive coded, backward-predicted coded, or both-way predictive coded.
[0037]
That is, the motion vector detection circuit 23 sets the intra coding mode as the prediction mode for the I picture. In this case, the motion vector detection circuit 23 does not detect a motion vector.
[0038]
The motion vector detection circuit 23 performs forward prediction on the P picture and detects the motion vector. Furthermore, the motion vector detection circuit 23 compares the prediction error caused by performing the forward prediction with, for example, the variance of the macroblock to be encoded (the macroblock of the P picture), and the variance of the macroblock is predicted. If it is smaller than the error, the intra coding mode is set as the prediction mode. In addition, if the prediction error caused by performing the forward prediction is smaller, the motion vector detection circuit 23 sets the forward prediction encoding mode as the prediction mode, and outputs the detected motion vector to the motion compensation circuit 22.
[0039]
Further, the motion vector detection circuit 23 performs forward prediction, backward prediction, and bidirectional prediction for the B picture, and detects each motion vector. Then, the motion vector detection circuit 23 detects a minimum one of the prediction errors for forward prediction, backward prediction, and bidirectional prediction (hereinafter referred to as minimum prediction error as appropriate), and the minimum prediction error and encoding For example, the variance of the target macroblock (macroblock of the B picture) is compared. As a result of the comparison, when the variance of the macroblock is smaller than the minimum prediction error, the motion vector detection circuit 23 sets the intra coding mode as the prediction mode. Also, if the minimum prediction error is smaller, the motion vector detection circuit 23 sets a prediction mode in which the minimum prediction error is obtained as the prediction mode, and outputs a corresponding motion vector to the motion compensation circuit 22.
[0040]
When the motion compensation circuit 22 receives the motion vector, the motion compensation circuit 22 reads the encoded and already locally decoded image data stored in the frame memory 21 in accordance with the motion vector, and calculates it as a predicted image. Supply to vessels 13 and 20.
[0041]
The calculator 13 calculates the difference between the macroblock from the scan conversion / macroblocking circuit 12 and the predicted image from the motion compensation circuit 22. This difference value is supplied to the DCT circuit 14 (orthogonal transformation means).
[0042]
In the motion vector detection circuit 23, when the intra coding mode is set as the prediction mode, the motion compensation circuit 22 does not output a prediction image. In this case, the arithmetic unit 13 (the same applies to the arithmetic unit 20) performs no processing, and outputs the macroblock from the scan conversion / macroblocking circuit 12 to the DCT circuit 14 as it is.
[0043]
In the DCT circuit 14, the output of the arithmetic unit 13 is subjected to DCT processing, and the resulting DCT coefficient is supplied to the quantization circuit 15 (quantization means) (weighting means). In the quantization circuit 15, the DCT coefficients from the DCT circuit 14 are weighted according to the quantization matrix from the quantization index determination circuit 25, and the DCT coefficients after the weighting are also quantized from the quantization index determination circuit 25. Quantization is performed at a quantization step (quantization scale) corresponding to the quantization index. That is, in the quantization circuit 15, a quantization step is set corresponding to the quantization index from the quantization index determination circuit 25, and the coefficient of the quantization matrix from the quantization index determination circuit 25 is set in the quantization step. The DCT coefficient from the DCT circuit 14 is quantized. The quantized DCT coefficient (hereinafter, appropriately referred to as a quantized value) is supplied to the VLC unit 16.
[0044]
In the VLC unit 16, the quantized value supplied from the quantizing circuit 15 is converted into a variable length code such as a Huffman code and output to the buffer 17. The buffer 17 temporarily accumulates the data from the VLC unit 16, smoothes the data amount, and outputs it. The data storage amount in the buffer 17 is supplied to the external computer 2 (FIG. 1) and the quantization index determination circuit 25 as a generated code amount.
[0045]
On the other hand, the quantization value output from the quantization circuit 15 is supplied not only to the VLC unit 16 but also to the inverse quantization circuit 18. In the inverse quantization circuit 18, the quantization value from the quantization circuit 15 is inversely quantized according to the quantization step and the quantization matrix used in the quantization circuit 15, and thereby converted into DCT coefficients. This DCT coefficient is supplied to the inverse DCT circuit 19. In the inverse DCT circuit 19, the DCT coefficient is subjected to inverse DCT processing and supplied to the computing unit 20.
[0046]
In addition to the output of the inverse DCT circuit 19, the arithmetic unit 20 is supplied with the same data as the predicted image supplied to the arithmetic unit 13 from the motion compensation circuit 22 as described above. The original image is locally decoded by adding the signal (prediction residual) from the inverse DCT circuit 19 and the prediction image from the motion compensation circuit 22 (provided that the prediction mode is intra coding). The output of the inverse DCT circuit 19 passes through the arithmetic unit 20 and is supplied to the frame memory 21). This decoded image is the same as the decoded image obtained on the receiving side.
[0047]
The decoded image (local decoded image) obtained by the computing unit 20 is supplied to and stored in the frame memory 21 and then inter-coded (forward prediction coding, backward prediction coding, or bidirectional prediction coding). Used as a reference image (reference frame) for an image.
[0048]
On the other hand, in the activity detection circuit 24, for example, the activity is detected as an index indicating the complexity of the macroblock, and is supplied to the quantization index determination circuit 25. The quantization index determination circuit 25 is supplied with a target code amount from the external computer 2, a generated code amount from the buffer 17, and an activity from the activity detection circuit 24. Then, the quantization index determination circuit 25 adaptively determines the quantization index based on the target code amount, the generated code amount, and the activity, that is, for example, the generated code amount matches the target code amount. Such a quantization index that can obtain a decoded image having an image quality corresponding to the activity is determined and supplied to the quantization circuit 15.
[0049]
Further, the quantization index determination circuit 25 is supplied with an instruction signal for instructing a quantization matrix to be used from the external computer 2, and the quantization index determination circuit 25 is in accordance with this instruction signal. Determine the quantization matrix to be used. That is, the external computer 2 determines a quantization matrix to be used as described later, and outputs an instruction signal corresponding to the quantization matrix to the quantization index determination circuit 25. The index determination circuit 25 determines a quantization matrix to be used in accordance with an instruction signal from the external computer 2 and outputs it to the quantization circuit 15.
[0050]
Thereby, in the quantization circuit 15, as described above, the DCT coefficients are weighted or quantized in the quantization step corresponding to the quantization matrix or quantization index from the quantization index determination circuit 25, respectively.
[0051]
The quantization index determination circuit 25 is configured to output a fixed quantization index in the first pass, whereby the quantization circuit 15 performs quantization in a fixed quantization step. In the second pass, as described above, the quantization index determination circuit 25 is based on the generated code amount from the buffer 17, the activity from the activity detection circuit 24, and the target code amount from the external computer 2. Thus, the quantization index is adaptively set, whereby the quantization circuit 15 performs the quantization in the quantization step corresponding to the quantization index adaptively set as described above.
[0052]
Next, the details of the quantization process in the image encoding device of FIG. 1 will be described.
[0053]
For example, in the case of performing MPEG encoding, in the quantization circuit 15 in the encoder 1 of FIG. 2, first, the DCT coefficient (however, only for the AC component of the DCT coefficient) is multiplied by 16. Then, the DCT coefficient multiplied by 16 is divided by using a quantization step and a coefficient at a position corresponding to the DCT coefficient in the quantization matrix as a divisor. Is output as a digitized value.
[0054]
FIG. 3 shows a default quantization matrix in MPEG. Note that FIG. 4A or FIG. 4B respectively show default quantization matrices when intra coding or inter coding is performed.
[0055]
The coefficient of the quantization matrix is a value larger than 16 with reference to 16 except for the DC coefficient in the intra coding. This is because the quantization is performed after multiplying the DCT coefficient by 16 as described above. Therefore, the coefficient of the quantization matrix does not necessarily need to be 16 or more. However, when the quantization step is an extremely small value such as 1 or 2 when the value is less than 16, the quantization value May be larger than the original DCT coefficient, and in this case, the accuracy of the quantized value does not improve, so the value is usually 16 or more.
[0056]
In MPEG, it is stipulated that the coefficient of the quantization matrix for the DC coefficient in intra coding is 8 (fixed value).
[0057]
Now, when the second pass processing is performed using the default quantization matrix shown in FIG. 3, the quantization index is, for example, 3 from the viewpoint of the generated code amount, the target code amount, the activity, and the like. It is assumed that quantization is performed with values in the range of 9 to 9. In the following, in order to simplify the description, a linear relationship is considered as the correspondence between the quantization index and the quantization step. Therefore, in the above-described case, any of 6, 8,..., 18 is set as the quantization step.
[0058]
In this case, as shown in FIG. 4, the quantization matrix is changed to the coefficients of the quantization matrix shown in FIG. 3 (however, for the reason described above, the coefficient at the position corresponding to the DC coefficient in the intra coding is excluded). When divided into two and rounded to an integer (FIG. 4 (A) or FIG. 4 (B) corresponds to FIG. 3 (A) or FIG. 3 (B), respectively), In order to obtain the same generated code amount, the quantization index needs to be twice that before the change of the quantization matrix. That is, in the quantization circuit 15, since the DCT coefficient is divided by both the quantization matrix coefficient and the quantization step corresponding to the quantization index, the quantization matrix coefficient is halved. In order to obtain the same code amount, it is necessary to set a range of twice the original value as the quantization index.
[0059]
Therefore, if the quantization index is set to a value in the range of 3 to 9 and quantization is performed as described above, the quantization index is increased by a factor of 1/2. Is set to a value in the range of 6 to 18, which is twice the range of the original value. As a result, any of 12, 14,..., 36 is set as the quantization step. It will be.
[0060]
Here, when comparing the quantization index before and after the change of the quantization matrix, the quantization index that can only use 7 values of 3 to 9 before the change of the quantization matrix is found. After changing the quantization matrix, 13 values of 6 to 18 can be used.
[0061]
Therefore, by dividing the quantization matrix by 2 (1/2 times) as described above and changing the coefficient to a small value, the range of quantization indexes to be used is changed to a wide range of large values. Thus, when the quantization index changes, the ratio before and after the change can be reduced. As a result, the quantization index can be changed in a fine and wide range as seen from the value.
[0062]
In the image encoding apparatus of FIG. 1, as described above, the quantization index, and hence the quantization step, are finely changed at a small ratio, and thereby the effect of the one-stage change on the image quality of the decoded image. Is made small, and the image quality of the decoded image is made uniform.
[0063]
In the above case, the coefficient of the quantization matrix is divided by 2. However, the divisor for dividing this coefficient is not limited to 2, and 3, 4 or other real numbers larger than 1 are used. It is possible.
[0064]
Next, the quantization matrix is always divided by 2 (such as 1/2) as described above, the coefficient is changed to a small value, and the quantization index range to be used is changed to a large value range. When a very complicated image is input or when compression is performed at a low bit rate, a value exceeding the upper limit may be required as a quantization index.
[0065]
That is, for example, when the second pass processing is performed using the default quantization matrix shown in FIG. 3, the quantization index is, for example, from the viewpoint of the generated code amount, the target code amount, the activity, and the like. , 8 to 24 are set, and quantization is performed. In this case, as described above, when the coefficient of the quantization matrix is multiplied by ½, the quantization index requires a range of 16 to 48, which is twice the range of 8 to 24.
[0066]
In MPEG, the upper limit value of the quantization index is 31, as described above. In this case, a value exceeding the upper limit value is required as the quantization index.
[0067]
However, since a quantization index exceeding the upper limit value cannot be set, even if such a quantization index is necessary, a quantization step corresponding to the upper limit value of the quantization index (in MPEG, the above-described quantization index is used). As described above, quantization is performed in 62). Accordingly, in this case, a code amount extremely larger than the target code amount is generated.
[0068]
By the way, when a range including a relatively large value, such as the range of 8 to 24 as described above, is used as the quantization index, the quantization index can be changed by changing the quantization matrix. Even if the value of is not made larger, the uniformity of the decoded image is maintained to some extent.
[0069]
Therefore, it is not necessary to change the quantization matrix at all times, and it may be performed corresponding to the value in the usable range of the quantization index when the quantization matrix is used as it is.
[0070]
Here, when the quantization matrix is used as it is, an accurate value of the usable range of the quantization index (the range of the used quantization index) is not known unless the encoding is completed. That is, for example, when two-pass encoding is performed, quantization is performed in a fixed quantization step in the first pass processing, and the target code amount is obtained based on the processing result, and the second pass encoding is performed. Since the quantization step is adaptively changed so that the generated code amount matches the target code amount in the process, the range of the used quantization step, that is, the accurate range of the used quantization index is accurately determined. The value can be recognized only after the processing of the second pass is completed.
[0071]
Accordingly, the range of the quantization index to be used is accurately obtained by the processing of the second pass, and when the range is a small value range, the quantization matrix is changed and encoding is performed again. However, this requires time for processing.
[0072]
Therefore, based on the processing of the first pass, for example, the quantization index to be used is predicted as follows, and it is determined whether to change the quantization matrix corresponding to the prediction result. be able to.
[0073]
That is, in the first pass processing, as described above, quantization is performed with a fixed quantization index (quantization step), and the target code amount in the second pass is determined based on the code amount and the like obtained as a result. It is determined.
[0074]
Therefore, for example, for each predetermined time such as 1 GOP or one movie, the sum is determined based on the total amount G of the generated code amount obtained by the first pass processing and the generated code amount. A total sum T of target code amounts is obtained, and the ratio r = T / G is determined.
[0075]
The ratio r between the total T of the target code amount and the total sum G of the generated code amount is such that the average value of the quantization index at a predetermined time is a fixed quantization index (for example, 8 or the like) in the first pass processing. ), It is 1, and when the average value is larger or smaller than the fixed quantization index, it is smaller or larger than 1, respectively.
[0076]
That is, in order to make the actual generated code amount coincide with the target code amount, the total T of the target code amounts obtained by the first pass process is larger than the total G of generated code amounts in the second pass process. For example, a smaller quantization index than the fixed quantization index is expected to be set, and conversely, the target code amount total T obtained in the first pass processing is smaller than the generated code amount total G. If there is, it is expected that a quantization index larger than the fixed quantization index is set.
[0077]
Accordingly, since the ratio r between the total T of the target code amount and the total sum G of the generated code amount can predict the value of the quantization index in the second pass process based on the fixed quantization index, Corresponding to this ratio r, it may be determined whether or not to change the quantization matrix.
[0078]
The processing of the image encoding device in FIG. 1 when encoding is performed as described above will be further described with reference to the flowchart in FIG.
[0079]
First, in step S1, the encoder 1 performs the first pass process. That is, the encoder 1 performs quantization with a fixed quantization index, and determines the generated code amount of the encoded data obtained as a result, and further, for example, the DC component of the DCT coefficient, the image activity, and other target code amounts. Information (statistics) necessary for this is output to the external computer 2.
[0080]
When the external computer 2 receives various types of information from the encoder 1, in step S2, the external computer 2 calculates a target code amount of encoded data obtained by the second pass process based on the information. Then, in step S3, the external computer 2 obtains a ratio r between the total T of the target code amount in a predetermined time unit and the total sum G of the generated code amount (generated code amount of the first pass process), and then proceeds to step S4. Proceed and determine the value of the ratio r.
[0081]
In step S4, when it is determined that the ratio r is smaller than 0.5, for example, when the value of the quantization index in the second pass process is predicted to be large, the process proceeds to step S5, and the external For example, the computer 2 supplies an instruction signal for instructing to use the default quantization matrix as it is to the quantization index determination circuit 25 of the encoder 1, and proceeds to step S <b> 8.
[0082]
In Step S4, when it is determined that the ratio r is, for example, 0.5 or more and smaller than 2, that is, the quantization index value in the second pass process is predicted to be medium. In this case, the process proceeds to step S6, and the external computer 2 sends an instruction signal instructing to use, for example, a value obtained by multiplying the coefficient of the default quantization matrix by 1/2 (hereinafter referred to as a half quantization matrix as appropriate). This is supplied to the quantization index determination circuit 25 of the encoder 1 and proceeds to step S8.
[0083]
Furthermore, when it is determined in step S4 that the ratio r is, for example, 2 or more, that is, when the value of the quantization index in the second pass process is predicted to be small, the process proceeds to step S6. The external computer 2 determines the quantization index of the encoder 1 using, for example, an instruction signal for instructing to use a coefficient obtained by multiplying the coefficient of the default quantization matrix by a factor of 1 (hereinafter referred to as a quota quantization matrix as appropriate). The voltage is supplied to the circuit 25, and the process proceeds to step S8.
[0084]
In step S8, in the quantization index determination circuit 25 of the encoder 1, a quantization matrix (here, a default quantization matrix, a half quantization matrix, or a quarter quantization matrix) according to an instruction signal from the external computer 2 is used. And a quantization index corresponding to the target code amount is set and supplied to the quantization circuit 15. As a result, the quantization circuit 15 quantizes the DCT coefficients according to the quantization matrix and the quantization index from the quantization index determination circuit 25.
[0085]
Note that the processes in steps S4 to S8 are repeated every time the ratio r is obtained in step S3. That is, in step S3, for example, when the ratio r between the total T of the target code amount and the total sum G of the generated code amount is obtained for each GOP, the processing of steps S4 to S8 is performed in units of GOPs for which the ratio is obtained Is repeated.
[0086]
As described above, the coefficient of the quantization matrix for performing weighting on the DCT coefficient is changed so that the ratio before and after the change of the quantization step becomes small, and thereby the quantization step is changed finely with respect to the value. Compared to the case where only the linear or non-linear correspondence can be selected as the correspondence between the quantization index and the quantization step as in the conventional case, It is possible to perform quantization in a quantization step that can be changed. As a result, the image quality of the decoded image can be made uniform, and the subjective image quality when the viewer views the decoded image can be greatly improved.
[0087]
Further, as a result of finely changing the quantization step, the generated code amount can be adjusted more flexibly to approach the target code amount. For example, it is assumed on the decoder side when performing MPEG encoding. In order to manage the amount of data stored in the VBV buffer, the margin estimated for the target code amount can be reduced. In other words, in order to prevent underflow of the VBV buffer, it is not necessary to set the target code amount with a margin that is much larger than the value that should be estimated, and as a result, for a complex image, it is larger than before. Since the code amount can be assigned as the target code amount, the image quality of the decoded image for such an image can be improved.
[0088]
Further, in the case of performing two-pass encoding, the quantization index in the second pass is predicted from the processing result of the first pass, and the quantization matrix is changed based on the prediction result. It is possible to prevent the need for a quantization index exceeding. That is, it is possible to change the quantization index within a range not exceeding the upper limit value.
[0089]
The case where the present invention is applied to an image encoding apparatus that performs two-pass encoding has been described above, but the present invention can also be applied to a case where encoding is performed by a single process.
[0090]
In the present embodiment, the quantization index and the quantization step are in a linear correspondence relationship, but the present invention can also be applied to a case in which they have a nonlinear correspondence relationship. However, when the quantization index and the quantization step have a nonlinear correspondence, even if the coefficient of the quantization matrix is changed to a small value, the quantization step does not always change more finely than before the change (quantum The quantization index changes finely, but since the quantization step is associated with the quantization index nonlinearly, it does not always change finely like the quantization index). However, even in this case, if the coefficient of the quantization matrix is made small, the quantization step becomes large, so the ratio before and after the change of the quantization step becomes small. As a result, the quantization index and the quantum As in the case where the conversion step has a linear correspondence, the image quality can be made uniform.
[0091]
Further, in the present embodiment, the target code amount is transmitted from the external computer 2 to the encoder 1 and the quantization index is determined in the encoder 1, but the quantization index is determined in the external computer 2 and the encoder 1 It is also possible to transmit to.
[0092]
Furthermore, in the present embodiment, the quantization matrix to be used is determined in the external computer 2, but this determination process may be performed in the encoder 1.
[0093]
In this embodiment, the default quantization matrix defined by MPEG is used. However, the present invention can also be applied to the case where other quantization matrices are used. That is, for example, FIG. 6 shows a quantization matrix proposed in TM5 (Test Model 5 (Test Model Editing Commitee: “Test Model 5”, ISO / IEC JTC / SC29 / WG11 / N0400 (Apr. 1993))). In addition to the quantization matrix used for intra coding (FIG. 6A), the quantization matrix used for inter coding (FIG. 6B) is also inclined. (On the other hand, in the MPEG default quantization matrix shown in FIG. 3, only those used for intra coding are given a slope, and inter coding is performed. The present invention is also applicable to such a quantization matrix. That is, the present invention can be applied regardless of the presence / absence of the slope of the coefficient in the quantization matrix and the manner in which the slope is applied.
[0094]
Furthermore, in the present embodiment, the quantization circuit 15 quantizes the DCT coefficient output from the DCT circuit 14, but the present invention also applies to the case where the orthogonal transform coefficient other than the DCT coefficient is quantized. Applicable.
[0095]
【The invention's effect】
The image encoding device according to claim 1 and Claim 3 According to the image coding method described in the above, the generated code amount that is the amount of code obtained by quantizing the orthogonal transform coefficient in the fixed quantization step is output in GOP units, and the generated generated code amount is Based on this, the target code amount for encoding an image is calculated in GOP units, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is predetermined. Over the threshold of Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix. As a result, the image quality of the decoded image can be made uniform.
Claim 4 An image encoding device according to claim 1 and Claim 5 According to the image coding method described in the above, the generated code amount, which is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in units of pictures, and the generated generated code amount is Based on this, the target code amount for encoding an image is calculated for each picture, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is predetermined. Over the threshold of Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix. As a result, the image quality of the decoded image can be made uniform.
Claim 6 An image encoding device according to claim 1 and Claim 7 According to the image coding method described in the above, the target code amount in GOP units calculated from the generated code amount, which is the amount of codes in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is obtained. The ratio of the generated code amount to the target code amount, which is a division value divided by the generated code amount, is greater than or equal to a predetermined threshold value Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix. As a result, the image quality of the decoded image can be made uniform.
Claim 8 An image encoding device according to claim 1 and Claim 9 According to the image coding method described in the above, the target code amount in units of pictures calculated from the generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficients in a fixed quantization step is obtained. The ratio of the generated code amount to the target code amount, which is a division value divided by the generated code amount, is greater than or equal to a predetermined threshold value Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount using the set quantization matrix. As a result, the image quality of the decoded image can be made uniform.
[0096]
Claim 10 The recording device according to Claim 11 According to the recording method described in the above, the generated code amount, which is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in GOP units, and based on the generated generated code amount The target code amount for encoding an image is calculated in GOP units, and the ratio of the generated code amount to the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is a predetermined threshold value. more than Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium. As a result, the image quality of the decoded image can be made uniform.
Claim 12 The recording device according to Claim 13 According to the recording method described in the above, the generated code amount, which is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in units of pictures, and based on the generated generated code amount The target code amount for encoding an image is calculated in units of pictures, and the ratio of the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is a predetermined threshold value. more than Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium. As a result, the image quality of the decoded image can be made uniform.
Claim 14 The recording device according to Claim 15 According to the recording method described in the above, the target code amount in GOP units calculated from the generated code amount that is the amount of codes in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step is generated. The ratio of the generated code amount and the target code amount, which is a division value divided by the code amount, is equal to or greater than a predetermined threshold value Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium. As a result, the image quality of the decoded image can be made uniform.
Claim 16 The recording device according to Claim 17 According to the recording method described in the above, the target code amount in units of pictures calculated from the generated code amount, which is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficients in a fixed quantization step, is generated. The ratio of the generated code amount and the target code amount, which is a division value divided by the code amount, is equal to or greater than a predetermined threshold value Otherwise, the quantization matrix when quantizing the orthogonal transform coefficient is set to a default quantization matrix, and the magnitude of the ratio is equal to or greater than a predetermined threshold, To increase the quantization index when quantizing the orthogonal transform coefficient, The quantization matrix used to quantize the orthogonal transform coefficients is set to a quantization matrix with a smaller coefficient than the default quantization matrix. The orthogonal transform coefficient is quantized with the quantization index corresponding to the target code amount using the set quantization matrix, and the quantized quantized value is encoded and recorded on the recording medium. As a result, the image quality of the decoded image can be made uniform.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image encoding device according to the present invention.
FIG. 2 is a block diagram illustrating a configuration example of an encoder 1 in FIG.
FIG. 3 is a diagram illustrating a default quantization matrix defined by MPEG.
4 is a diagram illustrating a result of dividing the coefficient of the quantization matrix of FIG. 3 by 2 and rounding it to an integer. FIG.
FIG. 5 is a flowchart for explaining processing of the image encoding device in FIG. 1;
FIG. 6 is a diagram illustrating a quantization matrix defined by TM5.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Encoder, 2 External computer, 3 Recording medium, 4 Transmission path, 11 Image rearrangement circuit, 12 Scan conversion / macroblock formation circuit, 13 Calculator, 14 DCT circuit (orthogonal transformation means), 15 Quantization circuit (Quantization) Means) (weighting means), 16 VLC circuit, 17 buffer, 18 inverse quantization circuit, 19 inverse DCT circuit, 20 arithmetic unit, 21 frame memory, 22 motion compensation circuit, 23 motion detection circuit, 24 activity detection circuit, 25 quantum Index determination circuit

Claims

In an image encoding device that encodes the image by quantizing orthogonal transform coefficients obtained by orthogonal transform of the image,
Generated code amount output means for outputting a generated code amount, which is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, in GOP (Group of picture) units;
Based on the generated code amount output by the generated code amount output means, target code amount calculating means for calculating a target code amount for encoding the image in GOP units;
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. A quantization matrix setting means for setting a quantization matrix when quantizing the orthogonal transform coefficient to a quantization matrix having a smaller coefficient than the default quantization matrix;
An image coding apparatus comprising: quantization means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means.

The quantization matrix setting means sets a half quantization matrix obtained by multiplying a coefficient of the default quantization matrix by 1/2 when the ratio is larger than the predetermined threshold and smaller than another threshold, If the ratio is greater than or equal to the other threshold, a quarter quantization matrix is set by multiplying the coefficient of the default quantization matrix by 1/4.
The image encoding device according to claim 1 .

In an image encoding method for encoding the image by quantizing an orthogonal transform coefficient obtained by orthogonally transforming the image,
A generated code amount, which is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in GOP units,
Based on the output generated code amount, a target code amount for encoding the image is calculated in GOP units,
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. The quantization matrix when quantizing the orthogonal transform coefficient is set to a quantization matrix having a smaller coefficient than the default quantization matrix,
An image coding method including a step of quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the set quantization matrix.

In an image encoding device that encodes the image by quantizing orthogonal transform coefficients obtained by orthogonal transform of the image,
Generated code amount output means for outputting a generated code amount, which is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, in units of pictures;
Based on the generated code amount output by the generated code amount output means, target code amount calculating means for calculating a target code amount for encoding the image in units of pictures;
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. A quantization matrix setting means for setting a quantization matrix when quantizing the orthogonal transform coefficient to a quantization matrix having a smaller coefficient than the default quantization matrix;
An image coding apparatus comprising: quantization means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means.

In an image encoding method for encoding the image by quantizing an orthogonal transform coefficient obtained by orthogonally transforming the image,
A generated code amount, which is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in units of pictures,
Based on the generated generated code amount, a target code amount for encoding the image is calculated in units of pictures,
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. The quantization matrix when quantizing the orthogonal transform coefficient is set to a quantization matrix having a smaller coefficient than the default quantization matrix,
An image coding method including a step of quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the set quantization matrix.

In an image encoding device that encodes the image by quantizing orthogonal transform coefficients obtained by orthogonal transform of the image,
A division value obtained by dividing the target code amount in GOP calculated from the generated code amount that is the amount of code in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount. When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix used when quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. A quantization matrix setting means for setting a quantization matrix having a smaller coefficient than the default quantization matrix;
An image coding apparatus comprising: quantization means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means.

In an image encoding method for encoding the image by quantizing an orthogonal transform coefficient obtained by orthogonally transforming the image,
A division value obtained by dividing the target code amount in GOP calculated from the generated code amount that is the amount of code in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount. When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix used when quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. Set to a quantization matrix with a smaller coefficient than the default quantization matrix,
An image coding method including a step of quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the set quantization matrix.

In an image encoding device that encodes the image by quantizing orthogonal transform coefficients obtained by orthogonal transform of the image,
A division value obtained by dividing a target code amount in units of pictures calculated from a generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix used when quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. Quantization matrix setting means for setting a quantization matrix having a smaller coefficient than the default quantization matrix;
An image coding apparatus comprising: quantization means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means.

In an image encoding method for encoding the image by quantizing an orthogonal transform coefficient obtained by orthogonally transforming the image,
A division value obtained by dividing a target code amount in units of pictures calculated from a generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. Set to a quantization matrix with a smaller coefficient than the default quantization matrix,
An image coding method including a step of quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the set quantization matrix.

In a recording apparatus for recording the image encoded by quantizing the orthogonal transform coefficient obtained by orthogonal transform of the image on a recording medium,
Generated code amount output means for outputting a generated code amount, which is the amount of code obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, in GOP units;
Based on the generated code amount output by the generated code amount output means, target code amount calculating means for calculating a target code amount for encoding the image in GOP units;
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. A quantization matrix setting means for setting a quantization matrix when quantizing the orthogonal transform coefficient to a quantization matrix having a smaller coefficient than the default quantization matrix;
Quantizing means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means;
A recording apparatus comprising: a recording unit that encodes the quantization value quantized by the quantization unit and records the encoded value on the recording medium.

In a recording method for recording the image encoded by quantizing an orthogonal transformation coefficient obtained by orthogonal transformation of an image on a recording medium,
A generated code amount, which is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in GOP units,
Based on the output generated code amount, a target code amount for encoding the image is calculated in GOP units,
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. The quantization matrix when quantizing the orthogonal transform coefficient is set to a quantization matrix having a smaller coefficient than the default quantization matrix,
Using the set quantization matrix, the orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount,
A recording method comprising: encoding a quantized quantized value and recording the encoded value on the recording medium.

In a recording apparatus for recording the image encoded by quantizing the orthogonal transform coefficient obtained by orthogonal transform of the image on a recording medium,
Generated code amount output means for outputting a generated code amount, which is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, in units of pictures;
Based on the generated code amount output by the generated code amount output means, target code amount calculating means for calculating a target code amount for encoding the image in units of pictures;
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. A quantization matrix setting means for setting a quantization matrix when quantizing the orthogonal transform coefficient to a quantization matrix having a smaller coefficient than the default quantization matrix;
Quantizing means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means;
A recording apparatus comprising: a recording unit that encodes the quantization value quantized by the quantization unit and records the encoded value on the recording medium.

In a recording method for recording the image encoded by quantizing an orthogonal transformation coefficient obtained by orthogonal transformation of an image on a recording medium,
A generated code amount, which is a code amount obtained by quantizing the orthogonal transform coefficient in a fixed quantization step, is output in units of pictures,
Based on the generated generated code amount, a target code amount for encoding the image is calculated in units of pictures,
When the value of the ratio between the generated code amount and the target code amount, which is a division value obtained by dividing the target code amount by the generated code amount, is not equal to or greater than a predetermined threshold, When the quantization matrix is set to a default quantization matrix and the magnitude of the ratio is equal to or greater than the predetermined threshold, the quantization index when quantizing the orthogonal transform coefficient is increased. The quantization matrix when quantizing the orthogonal transform coefficient is set to a quantization matrix having a smaller coefficient than the default quantization matrix,
Using the set quantization matrix, the orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount,
A recording method comprising: encoding a quantized quantized value and recording the encoded value on the recording medium.

In a recording apparatus for recording the image encoded by quantizing the orthogonal transform coefficient obtained by orthogonal transform of the image on a recording medium,
A division value obtained by dividing the target code amount in GOP calculated from the generated code amount that is the amount of code in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount. When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix used when quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. A quantization matrix setting means for setting a quantization matrix having a smaller coefficient than the default quantization matrix;
Quantizing means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means;
A recording apparatus comprising: a recording unit that encodes the quantization value quantized by the quantization unit and records the encoded value on the recording medium.

In a recording method for recording the image encoded by quantizing an orthogonal transformation coefficient obtained by orthogonal transformation of an image on a recording medium,
A division value obtained by dividing the target code amount in GOP calculated from the generated code amount that is the amount of code in GOP units obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount. When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix used when quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. Set to a quantization matrix with a smaller coefficient than the default quantization matrix,
Using the set quantization matrix, the orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount,
A recording method comprising: encoding a quantized quantized value and recording the encoded value on the recording medium.

In a recording apparatus for recording the image encoded by quantizing the orthogonal transform coefficient obtained by orthogonal transform of the image on a recording medium,
A division value obtained by dividing a target code amount in units of pictures calculated from a generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix used when quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. Quantization matrix setting means for setting a quantization matrix having a smaller coefficient than the default quantization matrix;
Quantizing means for quantizing the orthogonal transform coefficient with a quantization index corresponding to the target code amount using the quantization matrix set by the quantization matrix setting means;
A recording apparatus comprising: a recording unit that encodes the quantization value quantized by the quantization unit and records the encoded value on the recording medium.

In a recording method for recording the image encoded by quantizing an orthogonal transformation coefficient obtained by orthogonal transformation of an image on a recording medium,
A division value obtained by dividing a target code amount in units of pictures calculated from a generated code amount that is the amount of codes in units of pictures obtained by quantizing the orthogonal transform coefficient in a fixed quantization step by the generated code amount When the magnitude of the ratio between the generated code amount and the target code amount is not equal to or greater than a predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set as a default quantization matrix, When the magnitude of the ratio is equal to or greater than the predetermined threshold, a quantization matrix for quantizing the orthogonal transform coefficient is set so that a quantization index for quantizing the orthogonal transform coefficient becomes large. Set to a quantization matrix with a smaller coefficient than the default quantization matrix,
Using the set quantization matrix, the orthogonal transform coefficient is quantized with a quantization index corresponding to the target code amount,
A recording method comprising: encoding a quantized quantized value and recording the encoded value on the recording medium.