JP4186544B2 - 符号化装置および符号化方法、プログラム、並びに記録媒体 - Google Patents
符号化装置および符号化方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP4186544B2 JP4186544B2 JP2002224466A JP2002224466A JP4186544B2 JP 4186544 B2 JP4186544 B2 JP 4186544B2 JP 2002224466 A JP2002224466 A JP 2002224466A JP 2002224466 A JP2002224466 A JP 2002224466A JP 4186544 B2 JP4186544 B2 JP 4186544B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- value
- encoding
- quantization
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、プログラム、並びに記録媒体に関し、特に、ローディレイコーディングを行う場合に用いて好適な、符号化装置および符号化方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、映像データおよび音声データを圧縮して情報量を減らす方法として、種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（Moving Picture Experts Group Phase 2）がある。
【０００３】
図１を参照して、このＭＰＥＧ２方式によって映像データを圧縮符号化する場合、および圧縮符号化された画像データを復号する場合の処理について説明する。
【０００４】
送信側のエンコーダ１は、ナンバ０乃至１１のフレーム画像１１を、フレーム内符号化画像（以下、Ｉピクチャと称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャと称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャと称する）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、あるいは、Ｂピクチャ）に応じて、フレーム画像を符号化する順番に並び替えるリオーダリングを実行し、その順番で各フレーム画像に対して符号化処理を施して、符号化フレーム１２を生成し、デコーダ２に伝送する。
【０００５】
受信側のデコーダ２は、エンコーダ１によって符号化されたフレーム画像を復号した後、再度、リオーダリングして、画像フレームを元の順番に戻して、フレーム画像１３を復元し、再生画像を表示する。
【０００６】
エンコーダ１においては、リオーダリングした後に符号化処理を施すため、ナンバ０のフレーム画像を符号化処理するまでに、ナンバ２のフレーム画像が符号化処理されていなければならず、その分だけ遅延（以下、リオーダリングディレイと称する）が生じる。
【０００７】
また、デコーダ２においても、復号した後にリオーダリングするため、ナンバ０のフレーム画像を復号して表示するまでに、ナンバ２のフレーム画像が復号されていなければならず、その分だけリオーダリングディレイが生じてしまう。
【０００８】
このように、エンコーダ１およびデコーダ２においては双方でリオーダリングを行っているために、画像データを符号化してから再生画像を表示するまでの間に３フレーム分のリオーダリングディレイが生じてしまう。
【０００９】
また、このＭＰＥＧ２方式によって圧縮符号化された符号化データが伝送される場合、送信側の圧縮符号化装置から伝送された符号化データは、受信側のビデオＳＴＤ（System Target Decoder）バッファ（いわゆるＶＢＶ（Video Buffer Verifier）バッファ）に、ピクチャごとに格納されていく。
【００１０】
図２に示されるように、ＶＢＶバッファは、そのバッファサイズ（容量）が決まっており、符号化データは、ＶＢＶバッファに、ピクチャごとに順次格納される。この場合、Ｉピクチャ、Ｐピクチャ、およびＢピクチャの各符号化データは、一定の伝送レートによってＶＢＶバッファにそれぞれ格納され、格納が終了した時点（１フレーム周期）のデコードタイミングで、デコーダに引き抜かれる。Ｉピクチャは、Ｂピクチャと比較して符号化データのデータ量が多いので、ＶＢＶバッファに格納されるまでにＢピクチャよりも多くの時間を必要とする。
【００１１】
このとき、データ送信側であるエンコーダ１は、デコーダ２のＶＢＶバッファに符号化データを格納したとき、および、ＶＢＶバッファから符号化データを引き抜かれたときに、ＶＢＶバッファにおいてオーバーフロー、およびアンダーフローが生じないようにするため、ＶＢＶバッファのバッファ占有率に基づいて発生する符号化データの発生符号量を制御（レートコントロール）する必要がある。しかしながら、画面の更新に必要なＩピクチャの発生符号量が多いので、Ｉピクチャの画像データの伝送時間が多く必要となるため、この時間が遅延となってしまう。
【００１２】
テレビ電話やテレビ会議等の画像データなど、リアルタイム性を要求される実時間伝送を行う場合、上述したように、伝送時間に起因する遅延や、リオーダリングディレイが発生してしまうと、送信側から送られてきた符号化データを受信側で受信して再生画像を表示するまでに時間差が生じてしまう。これに対して、このような遅延を少なくするために、ＭＰＥＧ２方式では、遅延時間を１５０[ms]以下に短縮するローディレイコーディング（Low Delay Coding）と呼ばれる手法が規格によって用意されている。
【００１３】
ローディレイコーディングにおいては、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされている。
【００１４】
イントラスライスは、スライス部分の画像データがフレーム内符号化される画像部分であり、インタースライスは、スライス部分の画像データと前のフレーム画像における同じ領域の参照画像データとの差分データが符号化される画像部分である。
【００１５】
ローディレイコーディングでは、例えば、図３に示されるように、エンコーダ１は、ナンバ０乃至１１のフレーム画像１１を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロの画枠サイズの中で、ナンバ０のフレーム画像の上段から縦２マクロブロック、および横４５マクロブロック分の領域を、イントラスライスＩ０、その他の領域を全てインタースライスＰ０として設定する。
【００１６】
そして、エンコーダ１は、次のナンバ１のフレーム画像においては、ナンバ０のフレーム画像のイントラスライスＩ０の下方向に続く位置に、同じ面積の領域でイントラスライスＩ１を設定し、その他は全てインタースライスＰ１に設定する。以下、同様にイントラスライスとインタースライスがフレーム画像ごとに設定され、最後のナンバ１１のフレーム画像についてもイントラスライスＩ１１とインタースライスＰ１１が設定される。
【００１７】
エンコーダ１は、各フレーム画像のイントラスライスＩ０乃至Ｉ１１を、そのまま伝送データとして符号化し、他のインタースライスＰ０乃至Ｐ１１を、前のフレーム画像の同じ領域の参照画像との差分データに基づいて符号化する（ただし、符号化の開始時においては、インタースライスＰ０の参照画像となる前のフレーム画像は存在しないので、符号化の開始時のみはこの限りでない）。そして、同様の符号化処理を、ナンバ０のフレーム画像からナンバ１１のフレーム画像について繰り返し実行することにより、エンコーダ１は、１枚のＰピクチャにおける画面全体の画像データを符号化して符号化フレーム２１を生成することができる。
【００１８】
この場合、各フレーム画像におけるイントラスライスＩ０乃至Ｉ１１の画像データサイズは全て均一であり、当然、インタースライスＰ０乃至Ｐ１１の画像データサイズも均一であることにより、フレーム画像毎の発生符号量は、ほぼ一定の固定レートになる。
【００１９】
これにより、図４に示すように、Ｐピクチャの各フレーム画像は全て同じ発生符号量の符号化データとなり、ＶＢＶバッファに格納されるとき、および、引き抜かれるときの、ＶＢＶバッファにおける符号化データの推移は、全て同じになる。この結果、送信側のエンコーダ１は、デコーダ２のＶＢＶバッファにアンダーフローおよびオーバーフローを生じさせることなく、符号化データの発生符号量を容易に制御することができ、発生符号量の多いＩピクチャで生じるような遅延やリオーダリングディレイによる不具合を解消することができ、再生画像を遅延なく表示することができる。
【００２０】
ところで、以上説明した構成の圧縮符号化装置においては、イントラスライスＩ０乃至Ｉ１１に関してはそのまま伝送データとして符号化し、インタースライスＰ０乃至Ｐ１１に関しては、前のフレーム画像における同じ領域の参照画像との差分データに基づいて符号化するため、イントラスライスＩ０乃至Ｉ１１の画像データ部分を圧縮符号化したときの実際の発生符号量は多く、インタースライスＰ０乃至Ｐ１１の画像データ部分を圧縮符号化したときの実際の発生符号量は少なくなる。
【００２１】
ところが、ピクチャ全体としての発生符号量は規定されているが、イントラスライスＩ０乃至Ｉ１１およびインタースライスＰ０乃至Ｐ１１毎に割り当てる発生符号量は規定されていない。すなわち、イントラスライスＩ０乃至Ｉ１１のように符号化したときの発生符号量が多くなる画像部分に対しても、またインタースライスＰ０乃至Ｐ１１のように符号化したときの発生符号量があまり多くならない画像データ部分に対しても、均等に発生符号量が割り当てられている。
【００２２】
従って、データ量の多いイントラスライスＩ０乃至Ｉ１１に対して割り当てられる発生符号量が少なく、データ量の少ないインタースライスＰ０乃至Ｐ１１に対して割り当てられる発生符号量が多くなることがあり、このような場合にピクチャ全体としての画像に歪みが生じてしまうという課題があった。
【００２３】
具体的には、図５に示されるように、画像の符号化難易度が低い画像３１に続いて、画像の符号化難易度が高い画像３２が存在した場合、符号化難易度が低い画像３１は、エンコードに容易な画像であるため、Ｑスケールが小さくなるが、従来の方法では、それに続く、画像の符号化難易度が高い画像３２に対して、小さなＱスケールでエンコードを開始してしまうため、画面の途中までに、与えられたビット量を消費してしまい、画面下端に前のピクチャが残ってしまうという現象が発生する。この現象は、イントラスライスが、次に、画面下端の問題発生箇所に現れるまで、影響を及ぼしてしまう。
【００２４】
この課題を解決するために、本出願人は、特開平１１−２０５８０３において、ローディレイモードにおいても、復号器側において高画質な画像を再生できるような符号化データを生成し得る符号化装置および符号化方法を提案している。
【００２５】
すなわち、通常のフィードバック型の量子化制御を行ってイントラスライスおよびインタースライスごとに最適な量子化ステップサイズを決定して量子化制御を行う場合において、次のピクチャが１つ前のピクチャと絵柄の大きく異なるシーンチェンジが起きた場合、１つ前のピクチャを基に算出された量子化インデックスデータＱ（ｊ＋１）を用いるのではなく、これから符号化しようとするピクチャのＭＥ残差情報に基づいて、仮想バッファの初期バッファ容量ｄ（０）を更新することにより、新たに量子化インデックスデータＱ（ｊ＋１）が算出し直されるようにする。これにより、シーンチェンジが起きた場合でも、イントラスライスおよびインタースライスごとに最適な量子化ステップサイズが決定されて、量子化制御が行われる。
【００２６】
ＭＥ残差とは、ピクチャ単位で算出されるものであり、１つ前のピクチャと次のピクチャにおける輝度の差分値の合計値である。従ってＭＥ残差情報が大きな値を示すときには、１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄が大きく異なっていること（いわゆるシーンチェンジ）を表している。
【００２７】
この符号化方法について、図６のフローチャートを参照して説明する。
【００２８】
ステップＳ１において、例えば、動きベクトルを検出するときに得られるＭＥ残差情報が取得される。ここで取得されたＭＥ残差情報をME_infoとする。
【００２９】
ステップＳ２において、取得されたＭＥ残差情報から、ＭＥ残差情報の平均値avgが減算されて、算出された値が、所定の閾値Ｄよりも大きいか否かが判断される。ＭＥ残差情報の平均値avgは、後述するステップＳ４において更新される値であり、次の式（１）で示される。
【００３０】
avg＝１／２（avg＋ME_info）・・・（１）
【００３１】
ステップＳ２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差があまり無い、すなわちシーンチェンジがなかったと判断されるので、処理はステップＳ４に進む。
【００３２】
ステップＳ２において、算出された値は、所定の閾値Ｄより大きいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差が大きい、すなわち、シーンチェンジがあったと判断されるので、ステップＳ３において、式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）が算出されて、仮想バッファが更新される。
【００３３】
ピクチャ単位の画像の難しさＧＣ（Global Complexity）を表すＸは、次の式（２）で表される。
Ｘ＝Ｔ×Ｑ・・・（２）
ただし、Ｔは、ピクチャ単位の発生符号量であり、Ｑは、ピクチャ単位の量子化ステップサイズの平均値である。
【００３４】
そして、ピクチャ単位の画像の難しさＸを、ＭＥ残差情報ME_infoと等しいとした場合、すなわち、次の式（３）が満たされている場合、ピクチャ全体の量子化インデックスデータＱは、式（４）で示される。
【００３５】
Ｘ＝ME_info・・・（３）
Ｑ＝{ｄ（０）×３１}／{２×（ｂｒ／ｐｒ）}・・・（４）
ただし、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【００３６】
そして、式（４）における仮想バッファの初期バッファ容量ｄ（０）は、次の式（５）で示される。
ｄ（０）＝２×{（ME_info×ｂｒ／ｐｒ）／３１×Ｔ}・・・（５）
【００３７】
この仮想バッファの初期バッファ容量ｄ（０）を、再度、式（４）に代入することにより、ピクチャ全体の量子化インデックスデータＱが算出される。
【００３８】
ステップＳ２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、もしくは、ステップＳ３の処理の終了後、ステップＳ４において、次に供給されるピクチャに備えて、ＭＥ残差情報の平均値avgが、上述した式（１）により計算されて更新され、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００３９】
図６のフローチャートを用いて説明した処理により、次のピクチャが１つ前のピクチャと絵柄の大きく異なるシーンチェンジが起きた場合には、これから符号化しようとするピクチャのＭＥ残差情報ME_infoに基づいて、仮想バッファの初期バッファ容量ｄ（０）が更新され、この値を基に、新たに量子化インデックスデータＱ（ｊ＋１）が算出されるので、シーンチェンジに対応して、イントラスライスおよびインタースライスごとに最適な量子化ステップサイズが決定される。
【００４０】
【発明が解決しようとする課題】
しかしながら、特開平１１−２０５８０３に記載の方法を用いた場合、符号化難易度が高い（難しい）画像から、符号化難易度が低い（易しい）画像にシーンが変わる場合などにおいても、同様のエンコード処理をしてしまうため、画質に悪影響を及ぼしてしまう。
【００４１】
具体的には、易しい画像から難しい画像へシーンが変わる場合、および、難しい画像から易しい画像へシーンが変わる場合の双方に対して仮想バッファ調整を行ってしまうため、難しい画像から易しい画像へシーンが変わる場合では、エンコードに余裕があるはずの、符号化難易度が低い画像において、わざわざ画質を悪くしてしまう場合がある。
【００４２】
また、例えば、図７Ａ乃至図７Ｃに示されるように、ある程度複雑な画像（符号化が困難な画像）である領域４１の一部に、簡単な画像（符号化が容易な画像）で構成される領域４２が瞬間的に通り過ぎる（図７Ａ乃至図７Ｃにおいては、図中右から左へ領域４２が横切る）様な画像がエンコードされる場合、領域４２の大きさによっては、シーンチェンジと判断されないことがある。
【００４３】
図７Ｂにおいては、符号化が容易な領域４２が画面上ある程度の大きさで存在するために、量子化インデックスは小さな値に設定される。しかしながら、図７Ｃに示される次のフレームでは、符号化が容易な領域４２の部分が小さくなり、符号化が困難な領域４１の部分が大きくなるのにもかかわらず、シーンチェンジと判断されなければ、前の画像（図７Ｂ）を基にした小さな量子化インデックスにより、エンコードが実行されてしまう。従って、図７Ｃに示される画像のエンコードにおいて、画面の途中までに、与えられたビット量を消費してしまい（画像下端をエンコードするための符号量が足らなくなり）、画面下端の領域４３に前のピクチャが残ってしまう画像スキップが発生する。
【００４４】
本発明はこのような状況に鑑みてなされたものであり、イントラスライスエンコードにおいて、シーンチェンジ時のみならず、シーンチェンジに近い画像の変化時においても、状況に応じて画質を向上させることができるようにするものである。
【００４５】
【課題を解決するための手段】
本発明の第１の側面の符号化装置は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する第１の検出手段と、第１の検出手段により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限手段と、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、決定手段により決定された量子化インデックスデータを基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備えることを特徴とする。
【００４６】
第１の検出手段により検出された絵柄の変化量が第１の閾値よりも大きく、シーンチェンジの発生が検出された場合、簡単な画像から難しい画像へのシーンチェンジであるかを判定する判定手段と、判定手段により簡単な画像から難しい画像へのシーンチェンジであると判定された場合、仮想バッファの初期バッファ容量の値を更新する更新手段とを更に備えさせるようにすることができる。
【００４９】
第１の検出手段には、第１のピクチャの絵柄と第２のピクチャの絵柄との差分を示す指標を算出させ、指標を基に、絵柄の変化を検出させるようにすることができる。
【００５０】
フレーム画像は、全て、フレーム間順方向予測符号化画像であるものとすることができる。
【００５１】
本発明の第１の側面の符号化方法は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする。
【００５２】
本発明の第１の側面の記録媒体に記録されているプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００５３】
本発明の第１の側面のプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する、仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第２の側面の符号化装置は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する第１の検出手段と、第１の検出手段により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限手段と、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、決定手段により決定された量子化インデックスデータを基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備えることを特徴とする。
第１の検出手段により検出された絵柄の変化量が第１の閾値よりも大きく、シーンチェンジの発生が検出された場合、簡単な画像から難しい画像へのシーンチェンジであるかを判定する判定手段と、判定手段により簡単な画像から難しい画像へのシーンチェンジであると判定された場合、仮想バッファの初期バッファ容量の値を更新する更新手段とを更に備えさせるようにすることができる。
制限手段には、ビットレートと複数の閾値とを比較させ、比較結果に基づいて、仮想バッファの初期バッファ容量の最小値の制限値を複数設定させるようにすることができる。
第１の検出手段には、第１のピクチャの絵柄と第２のピクチャの絵柄との差分を示す指標を算出させ、指標を基に、絵柄の変化を検出させるようにすることができる。
フレーム画像は、全て、フレーム間順方向予測符号化画像であるものとすることができる。
本発明の第２の側面の符号化方法は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする。
本発明の第２の側面の記録媒体に記録されているプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容 量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第２の側面のプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００５４】
本発明の第１の側面の符号化装置および符号化方法、並びにプログラムにおいては、１つ前のピクチャである第１のピクチャと次に符号化処理するピクチャである第２のピクチャとの絵柄の変化が検出され、検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値が画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限され、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータが決定され、決定された量子化インデックスデータを基に、量子化が実行され、量子化された量子化係数データが符号化される。
本発明の第２の側面の符号化装置および符号化方法、並びにプログラムにおいては、１つ前のピクチャである第１のピクチャと次に符号化処理するピクチャである第２のピクチャとの絵柄の変化が検出され、検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値が画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限され、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータが決定され、決定された量子化インデックスデータを基に、量子化が実行され、量子化された量子化係数データが符号化される。
【００５５】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００５６】
図８は、ビデオエンコーダ６１の構成を示すブロック図である。
【００５７】
ビデオエンコーダ６１は、全てＰピクチャを用いたローディレイコーディング方式によって、画像データを符号化するようになされている。ビデオエンコーダ６１の前処理部７１は、外部から供給される画像データの入力を受ける。
【００５８】
前処理部７１は、順次入力される画像データの各フレーム画像（この場合全てＰピクチャ）を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割し、これをマクロブロックデータとして、演算部７２、動きベクトル検出部７３、および、量子化制御部８３のイントラＡＣ算出部９１に供給する。
【００５９】
動きベクトル検出部７３は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ８４に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部８１に送出する。
【００６０】
演算部７２は、前処理部７１から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいて、イントラスライスＩ０乃至Ｉ１１に対してはイントラモードで、インタースライスＰ０乃至Ｐ１１に対しては順方向予測モードで、動き補償を行う。
【００６１】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法である。ビデオエンコーダ６１においては、Ｐピクチャのみを使用して、イントラスライスＩ０乃至Ｉ１１とインタースライスＰ０乃至Ｐ１１に分けて符号化するようになされている。
【００６２】
まず、マクロブロックデータが、イントラスライスＩ０乃至Ｉ１１のうちの１つであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部７２は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）部７４に送出する。ＤＣＴ部７４は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部７５に送出する。
【００６３】
量子化部７５は、発生符号量制御部９２から供給される量子化インデックスデータＱ（ｊ＋１）に基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部７７および逆量子化部７８に送出する。ここで、量子化部７５は、発生符号量制御部９２から供給される量子化インデックスデータＱ（ｊ＋１）に応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【００６４】
逆量子化部７８に送出された量子化ＤＣＴ係数データは、量子化部７５と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部７９に送出される。逆ＤＣＴ部７９は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部８０に送出され、参照画像データとしてフレームメモリ８４に記憶される。
【００６５】
そして、マクロブロックデータがインタースライスＰ０乃至Ｐ１１のうちの１つであった場合、演算部７２はマクロブロックデータについて、順方向予測モードによる動き補償処理を行う。
【００６６】
動き補償部８１は、フレームメモリ８４に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データを算出する。演算部７２は、マクロブロックデータについて、動き補償部８１より供給される順方向予測画像データを用いて減算処理を実行する。
【００６７】
すなわち、動き補償部８１は、順方向予測モードにおいて、フレームメモリ８４の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部７２および演算部８０に供給する。演算部７２は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部７２は、差分データをＤＣＴ部７４に送出する。
【００６８】
また、演算部８０には、動き補償部８１より順方向予測画像データが供給されており、演算部８０は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ８４に出力して記憶させる。
【００６９】
かくして、ビデオエンコーダ６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部７７に供給される。ＶＬＣ部７７は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ８２に送出するとともに、マクロブロックごとの符号化発生ビット数を表す発生符号量データＢ（ｊ）を、量子化制御部８３の発生符号量制御部９２、およびＧＣ（Global Complexity）算出部９３にそれぞれ送出する。
【００７０】
ＧＣ算出部９３は、発生符号量データＢ（ｊ）を、マクロブロックごとに順次蓄積し、１ピクチャ分の発生符号量データＢ（ｊ）が全て蓄積された時点で、全マクロブロック分の発生符号量データＢ（ｊ）を累積加算することにより、１ピクチャ分の発生符号量を算出する。
【００７１】
そしてＧＣ算出部９３は、次の式（６）を用いて、１ピクチャのうちの、イントラスライス部分の発生符号量と、イントラスライス部分における量子化ステップサイズの平均値との積を算出することにより、イントラスライス部分の画像の難しさ（以下、これをＧＣと称する）を表すＧＣデータＸｉを求め、これを目標符号量算出部９４に供給する。
【００７２】
Ｘｉ＝（Ｔｉ／Ｎｉ）×Ｑｉ・・・（６）
ここで、Ｔｉは、イントラスライスの発生符号量、Ｎｉは、イントラスライス数、そして、Ｑｉは、イントラスライスの量子化ステップサイズの平均値である。
【００７３】
ＧＣ算出部９３は、これと同時に、次に示す式（７）を用いて、１ピクチャのうちの、インタースライス部分の発生符号量と、このインタースライス部分における量子化ステップサイズの平均値との積を算出することにより、インタースライス部分におけるＧＣデータＸｐを求め、これを目標符号量算出部９４に供給する。
【００７４】
Ｘｐ＝（Ｔｐ／Ｎｐ）×Ｑｐ・・・（７）
ここで、Ｔｐは、インタースライスの発生符号量、Ｎｐは、インタースライス数、Ｑｐは、インタースライスの量子化ステップサイズの平均値である。
【００７５】
目標符号量算出部９４は、ＧＣ算出部９３から供給されるＧＣデータＸｉを基に、次の式（８）を用いて、次のピクチャにおけるイントラスライス部分の目標発生符号量データＴpiを算出するとともに、ＧＣ算出部９３から供給されるＧＣデータＸｐを基に、次の式（９）を基に、次のピクチャにおけるインタースライス部分の目標発生符号量データＴppを算出し、算出した目標発生符号量データＴpiおよびＴppを発生符号量制御部９２にそれぞれ送出する。
【００７６】
Ｔpi＝{（Ｎｉ×Ｘｉ）／（Ｎｐ×Ｘｐ）＋（Ｎｐ×Ｘｉ）}×Ｘｐ・・・（８）
【００７７】
Ｔpp＝{（Ｎｐ×Ｘｐ）／（Ｎｐ×Ｘｐ）＋（Ｎｉ×Ｘｉ）}×Ｘｐ・・・（９）
【００７８】
また、目標符号量算出部９４は、操作入力部８５を用いて、ユーザが入力したビットレートの値の入力を受け、符号量発生部９２に供給する。
【００７９】
ＭＥ残差算出部９５は、入力されるマクロブロックデータを基に、ＭＥ残差情報ME_infoを算出して、発生符号量制御部９２に出力する。ここで、ＭＥ残差情報ME_infoとは、ピクチャ単位で算出されるものであり、１つ前のピクチャと次のピクチャにおける輝度の差分値の合計値である。従って、ＭＥ残差情報ME_infoが大きな値を示すときには、１つ前のピクチャの絵柄と、次に符号化処理するピクチャの絵柄とが大きく異なっていること（いわゆるシーンチェンジ）を表している。
【００８０】
１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄が異なっている場合、１つ前のピクチャの画像データを用いて算出した目標発生符号量データＴpiおよびＴppを基に生成した量子化インデックスデータＱ（ｊ＋１）によって、量子化部７５の量子化ステップサイズを決定することは適切ではない。従って、シーンチェンジが起こった場合は、目標発生符号量データＴpiおよびＴppは、新たに算出されなおされるようにしても良い。
【００８１】
イントラＡＣ算出部９１は、イントラＡＣ（intra ＡＣ）を算出し、現在のイントラＡＣの値を示すmad_infoと、一つ前のイントラＡＣの値を示すprev_mad_infoとを、発生符号量制御部９２に出力する。
【００８２】
イントラＡＣは、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として定義されるパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。すなわち、イントラＡＣとは、ＤＣＴブロック単位で、それぞれの画素の画素値から、ブロック毎の画素値の平均値を引いたものの絶対値和の、画面内における総和である。イントラＡＣ（IntraAC）は、次の式（１０）で示される。
【００８３】
【数１】
・・・（１０）
【００８４】
また、式（1０）において、式（１１）が成り立つ。
【数２】
・・・（１１）
【００８５】
画像の符号化難易度が易しいものから難しいものへのシーンチェンジ、および、難しいものから易しいものへのシーンチェンジの、双方に対して仮想バッファ調整を行ってしまった場合、難しいものから易しいものへのシーンチェンジでは、エンコードに余裕があるはずの易画像においてわざわざ画質を悪くしてしまう結果となる場合がある。また、難しいものから易しいものへのシーンチェンジであっても、その変化の大きさ、あるいは、シーンチェンジ後の画像の難易度によっては、仮想バッファの調整を行うほうがよい場合がある。しかしながら、ＭＥ残差情報のみでは、シーンチェンジの有無を判定することはできるが、シーンチェンジの内容が、易しいものから難しいものへのシーンチェンジであるか、あるいは、難しいものから易しいものへのシーンチェンジであるかを判定することができない。
【００８６】
そこで、イントラＡＣ算出部９１が、イントラＡＣを算出し、現在のイントラＡＣの値を示すmad_infoと、一つ前のイントラＡＣの値を示すprev_mad_infoとを、発生符号量制御部９２に出力することにより、発生符号量制御部９２は、シーンチェンジの状態を判定して、仮想バッファ調整を行うか否かを判断することができる。
【００８７】
発生符号量制御部９２は、バッファ８２に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報を基に量子化ステップサイズを決定するようになされている。
【００８８】
また、発生符号量制御部９２は、イントラスライス部分の目標発生符号量データＴpiよりも実際に発生したマクロブロックの発生符号量データＢ（ｊ）が多い場合、発生符号量を減らすために量子化ステップサイズを大きくし、また、目標発生符号量データＴpiよりも実際の発生符号量データＢ（ｊ）が少ない場合、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００８９】
更に、発生符号量制御部９２は、インタースライス部分の場合も同様に、目標発生符号量データＴppよりも実際に発生したマクロブロックの発生符号量データＢ（ｊ）が多い場合、発生符号量を減らすために量子化ステップサイズを大きくし、また、目標発生符号量データＴppよりも実際の発生符号量データＢ（ｊ）が少ない場合、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９０】
すなわち、発生符号量制御部９２は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、図９に示されるように、ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）を次の式（１２）によって表し、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）を次の式（１３）によって表し、（１２）式から（１３）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）を次の式（１４）として変形することができる。
【００９１】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt}・・・（１２）
【００９２】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【００９３】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｉ）−（Ｔ×ｊ）／MBcnt・・・（１３）
【００９４】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt・・・（１４）
【００９５】
続いて、発生符号量制御部９２は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれているため、図１０に示されるように、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴpiおよびＴppをそれぞれ個別に設定する。
【００９６】
グラフにおいて、マクロブロックのカウント数が０乃至ｓ、および、ｔ乃至endの間にあるとき、次の式（１５）に、インタースライスの目標発生符号量Ｔppを代入することにより、インタースライス部分におけるバッファ占有量ｄ（ｊ＋1）を得ることができる。
【００９７】
【００９８】
また、マクロブロックのカウント数がｓ乃至ｔの間にあるときに、次の式（１６）に、イントラスライスの目標発生符号量Ｔpiを代入することにより、イントラスライス部分におけるバッファ占有量ｄ（ｊ＋1）を得ることができる。
【００９９】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔpi／（ｔ−ｓ）・・・（１６）
【０１００】
従って、発生符号量制御部９２は、イントラスライス部分およびインタースライス部分におけるバッファ占有量ｄ（ｊ＋１）、および、式（１７）に示される定数ｒを、式（１８）に代入することにより、マクロブロック（ｊ＋１）の量子化インデックスデータＱ（ｊ＋１）を算出し、これを量子化部７５に供給する。
【０１０１】
ｒ＝（２×ｂｒ）／ｐｒ ・・・（１７）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（１８）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１０２】
量子化部７５は、量子化インデックスデータＱ（ｊ＋１）に基づいて、次のマクロブロックにおけるイントラスライスまたはインタースライスに応じた量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１０３】
これにより、量子化部７５は、１つ前のピクチャのイントラスライス部分およびインタースライス部分における実際の発生符号量データＢ（ｊ）に基づいて算出された、次のピクチャのイントラスライス部分およびインタースライス部分における目標発生符号量ＴppおよびＴpiにとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１０４】
かくして、量子化部７５では、バッファ８２のデータ占有量に応じて、バッファ８２がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１０５】
例えば、従来の技術として上述した、特願平１１−２０５８０３では、通常のフィードバック型の量子化制御を行いながら、次に符号化処理するピクチャの絵柄が大きく変化する場合には、フィードバック型の量子化制御を止め、ＭＥ残差算出部９５から供給されるＭＥ残差情報に基づいて、仮想バッファの初期バッファ容量ｄ（０）を初期化し、新たな初期バッファ容量ｄ（０）を基に、イントラスライスおよびインタースライスごとに量子化インデックスデータＱ（ｊ＋１）を新たに算出するようになされている。
【０１０６】
しかしながら、従来における場合のように、ＭＥ残差のみで仮想バッファ調整を行うか否かを判定してしまうと、画像難易度が易しいものから難しいものに変わった場合、および難しいものから簡単なものに変わった場合の双方に対して、仮想バッファ調整を行ってしまう。すなわち、画像難易度が難しいものから簡単なものに変わった場合では、エンコードに余裕があるはずの簡単な画像において、わざわざ画質を悪くしてしまう結果となる。
【０１０７】
そこで、図８のビデオエンコーダ６１においては、例えば、イントラＡＣ算出部９１によって算出されるイントラＡＣなどの情報を用いて、画像難易度が易しいものから難しいものに変わるシーンチェンジの時にのみ、仮想バッファ調整を行うようにすることにより、簡単な画像での画質の劣化を防ぐようにすることができる。
【０１０８】
すなわち、発生符号量制御部９２は、通常のフィードバック型の量子化制御を行いながら、次に符号化処理するピクチャの絵柄が大きく変化する場合には、フィードバック型の量子化制御を止め、ＭＥ残差算出部９５から供給されるＭＥ残差情報ME_info、並びに、イントラＡＣ算出部９１から供給される、prev_mad_infoおよびmad_infoを基に、仮想バッファの初期バッファ容量ｄ（０）を初期化するか否かを判断し、仮想バッファの初期バッファ容量ｄ（０）を初期化する場合は、ＭＥ残差算出部９５から供給されるＭＥ残差情報ME_infoに基づいて、仮想バッファの初期バッファ容量ｄ（０）を初期化する。仮想バッファの初期バッファ容量ｄ（０）の初期化については、式（２）乃至式（５）を用いて説明した従来における場合と同様である。
【０１０９】
そして、発生符号量制御部９２は、新たな初期バッファ容量ｄ（０）を基に、イントラスライスおよびインタースライスごとに、式（１２）乃至式（１８）を用いて、量子化インデックスデータＱ（ｊ＋１）を新たに算出し、量子化部７５に供給する。
【０１１０】
更に、発生符号量制御部９２は、次に符号化処理するピクチャの絵柄の変化が、シーンチェンジと判断されるほど大きくなく、しかしながら、シーンチェンジと判断されるのに近い場合、必要に応じて、仮想バッファの最小値をある一定の値より大きくなるように制限する。これにより、量子化インデックスの最小値も制限されるので、図７を用いて説明したような状況において、画像スキップの発生を抑制することができる。
【０１１１】
図１１のフローチャートを参照して、イントラＡＣなどの画像難易度情報を用いて、シーンチェンジは、簡単な画像から難しい画像への変化であるか否かの判定を導入して仮想バッファの調整を行う、仮想バッファ更新処理について説明する。
【０１１２】
ステップＳ２１において、発生符号量制御部９２は、ＭＥ残差算出部９５から、ＭＥ残差情報ME_info を取得する。
【０１１３】
ステップＳ２２において、発生符号量制御部９２は、取得されたＭＥ残差情報から、ＭＥ残差情報の平均値avgを減算し、ME_info−avg > Ｄであるか否か、すなわち、算出された値が、所定の閾値Ｄよりも大きいか否かが判断される。ＭＥ残差情報の平均値avgは、後述するステップＳ２６において更新される値であり、上述した式（１）で示される。なお、所定の閾値Ｄは、画質を検討しながらチューニングされる性質の値である。
【０１１４】
ステップＳ２２において、算出された値は、所定の閾値Ｄより大きいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差が大きい、すなわち、シーンチェンジがあったと判断されるので、ステップＳ２３において、発生符号量制御部９２は、イントラＡＣ算出部９１から取得される、このシーンチェンジの後のイントラＡＣの値であるmad_infoと、このシーンチェンジの前のイントラＡＣの値であるprev_mad_infoとを比較し、mad_info > prev_mad_infoであるか否かを判断する。
【０１１５】
ステップＳ２３において、mad_info > prev_mad_infoではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、処理は、ステップＳ２６に進む。
【０１１６】
ステップＳ２３において、mad_info > prev_mad_infoであると判断された場合、このシーンチェンジは、簡単な画像から、難しい画像へのシーンチェンジであるので、ステップＳ２４において、発生符号量制御部９２は、図１を用いて説明した従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新を行う。
【０１１７】
すなわち、発生符号量制御部９２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０１１８】
ステップＳ２２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差があまり無い、すなわちシーンチェンジがなかったと判断されるので、ステップＳ２５において、図１２を用いて後述する最小値制限処理１、図１３を用いて後述する最小値制限処理２、または、図１４を用いて後述する最小値制限処理３のうちのいずれかの処理が実行される。
【０１１９】
ステップＳ２３において、mad_info > prev_mad_infoではないと判断された場合、ステップＳ２４の処理の終了後、もしくは、ステップＳ２５の処理の終了後、ステップＳ２６において、発生符号量制御部９２は、次に供給されるピクチャに備えて、ＭＥ残差情報の平均値avgを、上述した式（１）により更新し、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０１２０】
図１１のフローチャートを用いて説明した処理により、イントラＡＣを用いて、画像難易度が易しいものから難しいものに変更されるシーンチェンジの時にのみ仮想バッファ調整を行うようにしたので、エンコードに余裕があるはずの簡単な画像において、更に画質を悪くしてしまうことを防ぐことができる。
【０１２１】
更に、シーンチェンジが検出されなかった場合は、図１２を用いて後述する最小値制限処理１、図１３を用いて後述する最小値制限処理２、または、図１４を用いて後述する最小値制限処理３のうちのいずれかの処理が実行される。
【０１２２】
次に、図１２のフローチャートを参照して、最小値制限処理１について説明する。
【０１２３】
ステップＳ４１において、発生符号量制御部９２は、図１１のステップＳ２１において取得したＭＥ残差情報ME_infoを基に、ステップＳ２２において算出したME_info−avgの値を所定の閾値Ｅと比較して、ME_info−avg＞Ｅであるか否かを判断する。ここで、閾値Ｅは、図１１のステップＳ２２の閾値Ｄよりも小さな値である。
【０１２４】
ステップＳ４１において、ME_info−avg＞Ｅであると判断された場合、ステップＳ４２において、発生符号量制御部９２は、仮想バッファの最小値を制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が、少なくとも予め定められた所定の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、最小値が制限されたものとなる。ステップＳ４２の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１２５】
すなわち、図１１のステップＳ２２において、ME_info−avg＞Ｄではないと判断され、ステップＳ４１において、ME_info−avg＞Ｅであると判断された場合、図１３に示されるように、ME_info−avgの値が閾値Ｄより大きい場合のシーンチェンジ領域９６と、ME_info−avgの値が閾値Ｅより小さい場合の通常領域９８に挟まれた中間領域α９７に、ME_info−avgが存在する（Ｄ＞ME_info−avg＞Ｅが成立する）。
【０１２６】
中間領域α９７においては、シーンチェンジとは判断されないが、前の画像を基にフィードバックされる量子化インデックスの値が非常に小さなものであった場合、図７を用いて説明したように、画面の途中までに、与えられたビット量を消費してしまい、符号量が足らなくなり、画像スキップが発生してしまう恐れがある。従って、ステップＳ４２において、仮想バッファの値の最小値を制限することにより、量子化インデックスの最小値も制限されるので、画像スキップの発生を抑制することができる。
【０１２７】
ステップＳ４１において、ME_info−avg＞Ｅではないと判断された場合、前の画像との差は、量子化インデックスの最小値を考慮する必要がない程度であると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。
【０１２８】
図１２を用いて説明した処理により、シーンチェンジとは判断されないが、従来の方法では画像スキップ（画面下端に前のピクチャが残ってしまうという現象）が発生してしまう恐れがある画像を、画面下端までエンコードすることが可能となる。
【０１２９】
ところで、ビットレートが高い画像をエンコードする場合のレート制御は、ビットレートが低い画像をエンコードする場合と比較して、余裕がある。レート制御に十分な余裕があるにもかかわらず、仮想バッファ（量子化インデックス）の最小値を制限してしまうと、画質が劣化してしまう。
【０１３０】
図１４のフローチャートを参照して、ＭＥ残差に加えて、ビットレートの値を参照して、最小値制限を行うか否かを判断する最小値制限処理２について説明する。
【０１３１】
ステップＳ５１において、発生符号量制御部９２は、図１１のステップＳ２１において取得したＭＥ残差情報ME_infoを基に、ステップＳ２２において算出したME_info−avgの値を、所定の閾値Ｅと比較して、ME_info−avg＞Ｅであるか否かを判断する。ここで、閾値Ｅは、図１１のステップＳ２２の閾値Ｄよりも小さな値である。
【０１３２】
ステップＳ５１において、ME_info−avg＞Ｅであると判断された場合、ステップＳ５２において、発生符号量制御部９２は、目標符号量算出部９４から供給されたビットレートの値は、所定の閾値Ｆより小さいか否かを判断する。ここで、閾値Ｆは、符号化する場合にレート制御に余裕が発生するか否かを判断するための値である。
【０１３３】
ステップＳ５２において、ビットレートの値は、所定の閾値Ｆより小さいと判断された場合、ステップＳ５３において、発生符号量制御部９２は、仮想バッファの最小値を制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が、少なくとも予め定められた所定の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、最小値が制限されたものとなる。ステップＳ５３の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１３４】
ステップＳ５１において、ME_info−avg＞Ｅではないと判断された場合、前の画像との差は、量子化インデックスの最小値を考慮する必要がない程度であると判断され、ステップＳ５２において、ビットレートの値は、所定の閾値Ｆより大きいと判断された場合、レート制御には余裕があると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。
【０１３５】
図１４のフローチャートを用いて説明した処理により、レート制御に十分な余裕があるにもかかわらず、仮想バッファ（量子化インデックス）の最小値を制限して、画質が劣化してしまうことを防いで、必要な場合にのみ、仮想バッファ（量子化インデックス）の最小値を制限し、画像スキップ（画面下端に前のピクチャが残ってしまうという現象）の発生を抑制することができる。
【０１３６】
更に、ビットレートの値に応じて、仮想バッファ（量子化インデックス）の最小値を複数設定可能なようにすることにより、更に、画質の安定を図るようにすることができる。
【０１３７】
次に、図１５のフローチャートを参照して、ビットレートの値に応じて、仮想バッファ（量子化インデックス）の複数の最小値を設定することができる最小値制限処理３について説明する。
【０１３８】
ステップＳ６１において、発生符号量制御部９２は、図１１のステップＳ２１において取得したＭＥ残差情報ME_infoを基に、ステップＳ２２において算出したME_info−avgの値を、所定の閾値Ｅと比較して、ME_info−avg＞Ｅであるか否かを判断する。ここで、閾値Ｅは、図１１のステップＳ２２の閾値Ｄよりも小さな値である。
【０１３９】
ステップＳ６１において、ME_info−avg＞Ｅであると判断された場合、ステップＳ６２において、発生符号量制御部９２は、目標符号量算出部９４から供給されたビットレートの値は、所定の閾値Ｇより小さいか否かを判断する。ここで、閾値Ｇは、符号化する場合にレート制御に余裕が発生するか否かを判断するための値である。また、ビットレートが小さい場合の符号化において、最小値の制限を厳密に行うことにより、より効果的に、画質の劣化を防いで、画像スキップの発生を抑制することができるので、閾値Ｇは、図１４を用いて説明した処理における閾値Ｆより小さな値とすると好適である。
【０１４０】
ステップＳ６２において、ビットレートの値は、所定の閾値Ｇより小さいと判断された場合、ステップＳ６３において、発生符号量制御部９２は、仮想バッファの最小値を、予め定められた第１の値に制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が少なくとも第１の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、第１の値により最小値が制限されたものとなる。ステップＳ６３の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１４１】
ステップＳ６２において、ビットレートの値は、所定の閾値Ｇより大きいと判断された場合、ステップＳ６４において、発生符号量制御部９２は、目標符号量算出部９４から供給されたビットレートの値は、所定の閾値Hより小さいか否かを判断する。ここで、レート制御に余裕が発生するか否かを判断するための閾値Hは、閾値Ｇよりも大きい値であり、例えば、図１４を用いて説明した処理における閾値Ｆと同等の値とすると好適である。
【０１４２】
ステップＳ６４において、ビットレートの値は、所定の閾値Hより小さいと判断された場合、ステップＳ６５において、発生符号量制御部９２は、仮想バッファの最小値を、ステップＳ６３における第１の値よりも小さい、予め定められた第２の値に制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が少なくとも第２の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、第２の値により最小値が制限されたものとなる。ステップＳ６５の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１４３】
ステップＳ６１において、ME_info−avg＞Ｅではないと判断された場合、前の画像との差は、量子化インデックスの最小値を考慮する必要がない程度であると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。また、ステップＳ６４において、ビットレートの値は、所定の閾値Hより大きいと判断された場合、レート制御には充分な余裕があると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。
【０１４４】
以上説明した処理により、画像の変更量が、シーンチェンジ検出の閾値付近である場合においても、符号化処理が困難な画像を検出して、仮想バッファ（量子化インデックス）の最小値を制限したり、更に、レート制御が困難な画像を検出して、そのビットレートに対応した仮想バッファ（量子化インデックス）の最小値を設定するようにすることが可能になる。
【０１４５】
このことにより、ローディレイモード、低ビットレートであっても、画像スキップ（画面下端に前のピクチャが残ってしまうという現象）の発生を抑制して、安定した画質を得ることができる。
【０１４６】
また、上述の実施の形態においては、ローディレイコーディングとしてナンバ０乃至１１の各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合について述べたが、本発明はこれに限らず、例えば、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにしても良い。
【０１４７】
また、ここでは、ローディレイエンコードを行う場合を例として説明したが、本発明は、例えば、１５フレームを、フレーム内符号化画像（以下、Ｉピクチャと称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャと称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャと称する）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、あるいは、Ｂピクチャ）に応じて、フレーム画像を符号化するような場合にも適用可能である。
【０１４８】
更に、上述の実施の形態においては、本発明をＭＰＥＧ方式によって圧縮符号化する符号化装置としてのビデオエンコーダ６１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１４９】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ビデオエンコーダ６１は、図１６に示されるようなパーソナルコンピュータ１０１により構成される。
【０１５０】
図１６において、ＣＰＵ１１１は、ＲＯＭ１１２に記憶されているプログラム、または記憶部１１８からＲＡＭ１１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ１１３にはまた、ＣＰＵ１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５１】
ＣＰＵ１１１、ＲＯＭ１１２、およびＲＡＭ１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インタフェース１１５も接続されている。
【０１５２】
入出力インタフェース１１５には、キーボード、マウスなどよりなる入力部１１６、ディスプレイやスピーカなどよりなる出力部１１７、ハードディスクなどより構成される記憶部１１８、モデム、ターミナルアダプタなどより構成される通信部１１９が接続されている。通信部１１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５３】
入出力インタフェース１１５にはまた、必要に応じてドライブ１２０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、あるいは、半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１１８にインストールされる。
【０１５４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５５】
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク１３１（フロッピディスクを含む）、光ディスク１３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ１１２や、記憶部１１８に含まれるハードディスクなどで構成される。
【０１５６】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５７】
【発明の効果】
本発明によれば、画像データをエンコードすることができる。
また、本発明によれば、シーンチェンジが起こっていない場合であっても、その画像の変化量が、シーンチェンジが起こったと判断される値に近い場合、または、その画像の変化量がシーンチェンジが起こったと判断される値に近く、かつ、フレーム画像のビットレートの値が所定の値より小さい場合には、仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限するようにしたので、量子化インデックスはある一定の数値以上に制限され、シーンチェンジ時に画像が劣化してしまうのを防ぐようにすることができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２方式によって映像データを圧縮符号化する場合、および圧縮符号化された画像データを復号する場合の処理について説明する図である。
【図２】ＶＢＶバッファについて説明する図である。
【図３】ローディレイコーディングについて説明する図である。
【図４】ＶＢＶバッファについて説明する図である。
【図５】シーンチェンジについて説明する図である。
【図６】従来の仮想バッファ更新処理について説明するフローチャートである。
【図７】シーンチェンジではなく画像スキップが発生する場合について説明する図である。
【図８】本発明を適用したビデオエンコーダの構成を示すブロック図である。
【図９】仮想バッファのバッファ占有量について説明する図である。
【図１０】イントラスライスおよびインタースライス毎の、仮想バッファのバッファ占有量について説明する図である。
【図１１】本発明を適用した仮想バッファ更新処理について説明するフローチャートである。
【図１２】最小値制限処理１について説明するフローチャートである。
【図１３】シーンチェンジ領域と通常領域との間に存在する中間領域αについて説明する図である。
【図１４】最小値制限処理２について説明するフローチャートである。
【図１５】最小値制限処理３について説明するフローチャートである。
【図１６】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
６１ ビデオエンコーダ， ７１ 前処理部， ７２ 演算部， ７３ 動きベクトル検出部， ７４ ＤＣＴ部， ７５ 量子化部， ７７ ＶＬＣ部， ７８ 逆量子化部， ７９ 逆ＤＣＴ部， ８０ 演算部， ８１ 動き補償部， ８２ バッファ， ８３ 量子化制御部， ８４ フレームメモリ， ９１イントラＡＣ算出部， ９２ 発生符号量制御部， ９３ ＧＣ算出部， ９４ 目標符号量算出部， ９５ ＭＥ残差算出部， ９７ 中間領域α
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、プログラム、並びに記録媒体に関し、特に、ローディレイコーディングを行う場合に用いて好適な、符号化装置および符号化方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、映像データおよび音声データを圧縮して情報量を減らす方法として、種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（Moving Picture Experts Group Phase 2）がある。
【０００３】
図１を参照して、このＭＰＥＧ２方式によって映像データを圧縮符号化する場合、および圧縮符号化された画像データを復号する場合の処理について説明する。
【０００４】
送信側のエンコーダ１は、ナンバ０乃至１１のフレーム画像１１を、フレーム内符号化画像（以下、Ｉピクチャと称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャと称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャと称する）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、あるいは、Ｂピクチャ）に応じて、フレーム画像を符号化する順番に並び替えるリオーダリングを実行し、その順番で各フレーム画像に対して符号化処理を施して、符号化フレーム１２を生成し、デコーダ２に伝送する。
【０００５】
受信側のデコーダ２は、エンコーダ１によって符号化されたフレーム画像を復号した後、再度、リオーダリングして、画像フレームを元の順番に戻して、フレーム画像１３を復元し、再生画像を表示する。
【０００６】
エンコーダ１においては、リオーダリングした後に符号化処理を施すため、ナンバ０のフレーム画像を符号化処理するまでに、ナンバ２のフレーム画像が符号化処理されていなければならず、その分だけ遅延（以下、リオーダリングディレイと称する）が生じる。
【０００７】
また、デコーダ２においても、復号した後にリオーダリングするため、ナンバ０のフレーム画像を復号して表示するまでに、ナンバ２のフレーム画像が復号されていなければならず、その分だけリオーダリングディレイが生じてしまう。
【０００８】
このように、エンコーダ１およびデコーダ２においては双方でリオーダリングを行っているために、画像データを符号化してから再生画像を表示するまでの間に３フレーム分のリオーダリングディレイが生じてしまう。
【０００９】
また、このＭＰＥＧ２方式によって圧縮符号化された符号化データが伝送される場合、送信側の圧縮符号化装置から伝送された符号化データは、受信側のビデオＳＴＤ（System Target Decoder）バッファ（いわゆるＶＢＶ（Video Buffer Verifier）バッファ）に、ピクチャごとに格納されていく。
【００１０】
図２に示されるように、ＶＢＶバッファは、そのバッファサイズ（容量）が決まっており、符号化データは、ＶＢＶバッファに、ピクチャごとに順次格納される。この場合、Ｉピクチャ、Ｐピクチャ、およびＢピクチャの各符号化データは、一定の伝送レートによってＶＢＶバッファにそれぞれ格納され、格納が終了した時点（１フレーム周期）のデコードタイミングで、デコーダに引き抜かれる。Ｉピクチャは、Ｂピクチャと比較して符号化データのデータ量が多いので、ＶＢＶバッファに格納されるまでにＢピクチャよりも多くの時間を必要とする。
【００１１】
このとき、データ送信側であるエンコーダ１は、デコーダ２のＶＢＶバッファに符号化データを格納したとき、および、ＶＢＶバッファから符号化データを引き抜かれたときに、ＶＢＶバッファにおいてオーバーフロー、およびアンダーフローが生じないようにするため、ＶＢＶバッファのバッファ占有率に基づいて発生する符号化データの発生符号量を制御（レートコントロール）する必要がある。しかしながら、画面の更新に必要なＩピクチャの発生符号量が多いので、Ｉピクチャの画像データの伝送時間が多く必要となるため、この時間が遅延となってしまう。
【００１２】
テレビ電話やテレビ会議等の画像データなど、リアルタイム性を要求される実時間伝送を行う場合、上述したように、伝送時間に起因する遅延や、リオーダリングディレイが発生してしまうと、送信側から送られてきた符号化データを受信側で受信して再生画像を表示するまでに時間差が生じてしまう。これに対して、このような遅延を少なくするために、ＭＰＥＧ２方式では、遅延時間を１５０[ms]以下に短縮するローディレイコーディング（Low Delay Coding）と呼ばれる手法が規格によって用意されている。
【００１３】
ローディレイコーディングにおいては、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされている。
【００１４】
イントラスライスは、スライス部分の画像データがフレーム内符号化される画像部分であり、インタースライスは、スライス部分の画像データと前のフレーム画像における同じ領域の参照画像データとの差分データが符号化される画像部分である。
【００１５】
ローディレイコーディングでは、例えば、図３に示されるように、エンコーダ１は、ナンバ０乃至１１のフレーム画像１１を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロの画枠サイズの中で、ナンバ０のフレーム画像の上段から縦２マクロブロック、および横４５マクロブロック分の領域を、イントラスライスＩ０、その他の領域を全てインタースライスＰ０として設定する。
【００１６】
そして、エンコーダ１は、次のナンバ１のフレーム画像においては、ナンバ０のフレーム画像のイントラスライスＩ０の下方向に続く位置に、同じ面積の領域でイントラスライスＩ１を設定し、その他は全てインタースライスＰ１に設定する。以下、同様にイントラスライスとインタースライスがフレーム画像ごとに設定され、最後のナンバ１１のフレーム画像についてもイントラスライスＩ１１とインタースライスＰ１１が設定される。
【００１７】
エンコーダ１は、各フレーム画像のイントラスライスＩ０乃至Ｉ１１を、そのまま伝送データとして符号化し、他のインタースライスＰ０乃至Ｐ１１を、前のフレーム画像の同じ領域の参照画像との差分データに基づいて符号化する（ただし、符号化の開始時においては、インタースライスＰ０の参照画像となる前のフレーム画像は存在しないので、符号化の開始時のみはこの限りでない）。そして、同様の符号化処理を、ナンバ０のフレーム画像からナンバ１１のフレーム画像について繰り返し実行することにより、エンコーダ１は、１枚のＰピクチャにおける画面全体の画像データを符号化して符号化フレーム２１を生成することができる。
【００１８】
この場合、各フレーム画像におけるイントラスライスＩ０乃至Ｉ１１の画像データサイズは全て均一であり、当然、インタースライスＰ０乃至Ｐ１１の画像データサイズも均一であることにより、フレーム画像毎の発生符号量は、ほぼ一定の固定レートになる。
【００１９】
これにより、図４に示すように、Ｐピクチャの各フレーム画像は全て同じ発生符号量の符号化データとなり、ＶＢＶバッファに格納されるとき、および、引き抜かれるときの、ＶＢＶバッファにおける符号化データの推移は、全て同じになる。この結果、送信側のエンコーダ１は、デコーダ２のＶＢＶバッファにアンダーフローおよびオーバーフローを生じさせることなく、符号化データの発生符号量を容易に制御することができ、発生符号量の多いＩピクチャで生じるような遅延やリオーダリングディレイによる不具合を解消することができ、再生画像を遅延なく表示することができる。
【００２０】
ところで、以上説明した構成の圧縮符号化装置においては、イントラスライスＩ０乃至Ｉ１１に関してはそのまま伝送データとして符号化し、インタースライスＰ０乃至Ｐ１１に関しては、前のフレーム画像における同じ領域の参照画像との差分データに基づいて符号化するため、イントラスライスＩ０乃至Ｉ１１の画像データ部分を圧縮符号化したときの実際の発生符号量は多く、インタースライスＰ０乃至Ｐ１１の画像データ部分を圧縮符号化したときの実際の発生符号量は少なくなる。
【００２１】
ところが、ピクチャ全体としての発生符号量は規定されているが、イントラスライスＩ０乃至Ｉ１１およびインタースライスＰ０乃至Ｐ１１毎に割り当てる発生符号量は規定されていない。すなわち、イントラスライスＩ０乃至Ｉ１１のように符号化したときの発生符号量が多くなる画像部分に対しても、またインタースライスＰ０乃至Ｐ１１のように符号化したときの発生符号量があまり多くならない画像データ部分に対しても、均等に発生符号量が割り当てられている。
【００２２】
従って、データ量の多いイントラスライスＩ０乃至Ｉ１１に対して割り当てられる発生符号量が少なく、データ量の少ないインタースライスＰ０乃至Ｐ１１に対して割り当てられる発生符号量が多くなることがあり、このような場合にピクチャ全体としての画像に歪みが生じてしまうという課題があった。
【００２３】
具体的には、図５に示されるように、画像の符号化難易度が低い画像３１に続いて、画像の符号化難易度が高い画像３２が存在した場合、符号化難易度が低い画像３１は、エンコードに容易な画像であるため、Ｑスケールが小さくなるが、従来の方法では、それに続く、画像の符号化難易度が高い画像３２に対して、小さなＱスケールでエンコードを開始してしまうため、画面の途中までに、与えられたビット量を消費してしまい、画面下端に前のピクチャが残ってしまうという現象が発生する。この現象は、イントラスライスが、次に、画面下端の問題発生箇所に現れるまで、影響を及ぼしてしまう。
【００２４】
この課題を解決するために、本出願人は、特開平１１−２０５８０３において、ローディレイモードにおいても、復号器側において高画質な画像を再生できるような符号化データを生成し得る符号化装置および符号化方法を提案している。
【００２５】
すなわち、通常のフィードバック型の量子化制御を行ってイントラスライスおよびインタースライスごとに最適な量子化ステップサイズを決定して量子化制御を行う場合において、次のピクチャが１つ前のピクチャと絵柄の大きく異なるシーンチェンジが起きた場合、１つ前のピクチャを基に算出された量子化インデックスデータＱ（ｊ＋１）を用いるのではなく、これから符号化しようとするピクチャのＭＥ残差情報に基づいて、仮想バッファの初期バッファ容量ｄ（０）を更新することにより、新たに量子化インデックスデータＱ（ｊ＋１）が算出し直されるようにする。これにより、シーンチェンジが起きた場合でも、イントラスライスおよびインタースライスごとに最適な量子化ステップサイズが決定されて、量子化制御が行われる。
【００２６】
ＭＥ残差とは、ピクチャ単位で算出されるものであり、１つ前のピクチャと次のピクチャにおける輝度の差分値の合計値である。従ってＭＥ残差情報が大きな値を示すときには、１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄が大きく異なっていること（いわゆるシーンチェンジ）を表している。
【００２７】
この符号化方法について、図６のフローチャートを参照して説明する。
【００２８】
ステップＳ１において、例えば、動きベクトルを検出するときに得られるＭＥ残差情報が取得される。ここで取得されたＭＥ残差情報をME_infoとする。
【００２９】
ステップＳ２において、取得されたＭＥ残差情報から、ＭＥ残差情報の平均値avgが減算されて、算出された値が、所定の閾値Ｄよりも大きいか否かが判断される。ＭＥ残差情報の平均値avgは、後述するステップＳ４において更新される値であり、次の式（１）で示される。
【００３０】
avg＝１／２（avg＋ME_info）・・・（１）
【００３１】
ステップＳ２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差があまり無い、すなわちシーンチェンジがなかったと判断されるので、処理はステップＳ４に進む。
【００３２】
ステップＳ２において、算出された値は、所定の閾値Ｄより大きいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差が大きい、すなわち、シーンチェンジがあったと判断されるので、ステップＳ３において、式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）が算出されて、仮想バッファが更新される。
【００３３】
ピクチャ単位の画像の難しさＧＣ（Global Complexity）を表すＸは、次の式（２）で表される。
Ｘ＝Ｔ×Ｑ・・・（２）
ただし、Ｔは、ピクチャ単位の発生符号量であり、Ｑは、ピクチャ単位の量子化ステップサイズの平均値である。
【００３４】
そして、ピクチャ単位の画像の難しさＸを、ＭＥ残差情報ME_infoと等しいとした場合、すなわち、次の式（３）が満たされている場合、ピクチャ全体の量子化インデックスデータＱは、式（４）で示される。
【００３５】
Ｘ＝ME_info・・・（３）
Ｑ＝{ｄ（０）×３１}／{２×（ｂｒ／ｐｒ）}・・・（４）
ただし、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【００３６】
そして、式（４）における仮想バッファの初期バッファ容量ｄ（０）は、次の式（５）で示される。
ｄ（０）＝２×{（ME_info×ｂｒ／ｐｒ）／３１×Ｔ}・・・（５）
【００３７】
この仮想バッファの初期バッファ容量ｄ（０）を、再度、式（４）に代入することにより、ピクチャ全体の量子化インデックスデータＱが算出される。
【００３８】
ステップＳ２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、もしくは、ステップＳ３の処理の終了後、ステップＳ４において、次に供給されるピクチャに備えて、ＭＥ残差情報の平均値avgが、上述した式（１）により計算されて更新され、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００３９】
図６のフローチャートを用いて説明した処理により、次のピクチャが１つ前のピクチャと絵柄の大きく異なるシーンチェンジが起きた場合には、これから符号化しようとするピクチャのＭＥ残差情報ME_infoに基づいて、仮想バッファの初期バッファ容量ｄ（０）が更新され、この値を基に、新たに量子化インデックスデータＱ（ｊ＋１）が算出されるので、シーンチェンジに対応して、イントラスライスおよびインタースライスごとに最適な量子化ステップサイズが決定される。
【００４０】
【発明が解決しようとする課題】
しかしながら、特開平１１−２０５８０３に記載の方法を用いた場合、符号化難易度が高い（難しい）画像から、符号化難易度が低い（易しい）画像にシーンが変わる場合などにおいても、同様のエンコード処理をしてしまうため、画質に悪影響を及ぼしてしまう。
【００４１】
具体的には、易しい画像から難しい画像へシーンが変わる場合、および、難しい画像から易しい画像へシーンが変わる場合の双方に対して仮想バッファ調整を行ってしまうため、難しい画像から易しい画像へシーンが変わる場合では、エンコードに余裕があるはずの、符号化難易度が低い画像において、わざわざ画質を悪くしてしまう場合がある。
【００４２】
また、例えば、図７Ａ乃至図７Ｃに示されるように、ある程度複雑な画像（符号化が困難な画像）である領域４１の一部に、簡単な画像（符号化が容易な画像）で構成される領域４２が瞬間的に通り過ぎる（図７Ａ乃至図７Ｃにおいては、図中右から左へ領域４２が横切る）様な画像がエンコードされる場合、領域４２の大きさによっては、シーンチェンジと判断されないことがある。
【００４３】
図７Ｂにおいては、符号化が容易な領域４２が画面上ある程度の大きさで存在するために、量子化インデックスは小さな値に設定される。しかしながら、図７Ｃに示される次のフレームでは、符号化が容易な領域４２の部分が小さくなり、符号化が困難な領域４１の部分が大きくなるのにもかかわらず、シーンチェンジと判断されなければ、前の画像（図７Ｂ）を基にした小さな量子化インデックスにより、エンコードが実行されてしまう。従って、図７Ｃに示される画像のエンコードにおいて、画面の途中までに、与えられたビット量を消費してしまい（画像下端をエンコードするための符号量が足らなくなり）、画面下端の領域４３に前のピクチャが残ってしまう画像スキップが発生する。
【００４４】
本発明はこのような状況に鑑みてなされたものであり、イントラスライスエンコードにおいて、シーンチェンジ時のみならず、シーンチェンジに近い画像の変化時においても、状況に応じて画質を向上させることができるようにするものである。
【００４５】
【課題を解決するための手段】
本発明の第１の側面の符号化装置は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する第１の検出手段と、第１の検出手段により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限手段と、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、決定手段により決定された量子化インデックスデータを基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備えることを特徴とする。
【００４６】
第１の検出手段により検出された絵柄の変化量が第１の閾値よりも大きく、シーンチェンジの発生が検出された場合、簡単な画像から難しい画像へのシーンチェンジであるかを判定する判定手段と、判定手段により簡単な画像から難しい画像へのシーンチェンジであると判定された場合、仮想バッファの初期バッファ容量の値を更新する更新手段とを更に備えさせるようにすることができる。
【００４９】
第１の検出手段には、第１のピクチャの絵柄と第２のピクチャの絵柄との差分を示す指標を算出させ、指標を基に、絵柄の変化を検出させるようにすることができる。
【００５０】
フレーム画像は、全て、フレーム間順方向予測符号化画像であるものとすることができる。
【００５１】
本発明の第１の側面の符号化方法は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする。
【００５２】
本発明の第１の側面の記録媒体に記録されているプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００５３】
本発明の第１の側面のプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する、仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第２の側面の符号化装置は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する第１の検出手段と、第１の検出手段により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限手段と、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、決定手段により決定された量子化インデックスデータを基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備えることを特徴とする。
第１の検出手段により検出された絵柄の変化量が第１の閾値よりも大きく、シーンチェンジの発生が検出された場合、簡単な画像から難しい画像へのシーンチェンジであるかを判定する判定手段と、判定手段により簡単な画像から難しい画像へのシーンチェンジであると判定された場合、仮想バッファの初期バッファ容量の値を更新する更新手段とを更に備えさせるようにすることができる。
制限手段には、ビットレートと複数の閾値とを比較させ、比較結果に基づいて、仮想バッファの初期バッファ容量の最小値の制限値を複数設定させるようにすることができる。
第１の検出手段には、第１のピクチャの絵柄と第２のピクチャの絵柄との差分を示す指標を算出させ、指標を基に、絵柄の変化を検出させるようにすることができる。
フレーム画像は、全て、フレーム間順方向予測符号化画像であるものとすることができる。
本発明の第２の側面の符号化方法は、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする。
本発明の第２の側面の記録媒体に記録されているプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容 量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第２の側面のプログラムは、１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、検出ステップの処理により検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００５４】
本発明の第１の側面の符号化装置および符号化方法、並びにプログラムにおいては、１つ前のピクチャである第１のピクチャと次に符号化処理するピクチャである第２のピクチャとの絵柄の変化が検出され、検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内である場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値が画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限され、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータが決定され、決定された量子化インデックスデータを基に、量子化が実行され、量子化された量子化係数データが符号化される。
本発明の第２の側面の符号化装置および符号化方法、並びにプログラムにおいては、１つ前のピクチャである第１のピクチャと次に符号化処理するピクチャである第２のピクチャとの絵柄の変化が検出され、検出された絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、フレーム画像のビットレートの値が所定の値より小さい場合、符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値が画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限され、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータが決定され、決定された量子化インデックスデータを基に、量子化が実行され、量子化された量子化係数データが符号化される。
【００５５】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００５６】
図８は、ビデオエンコーダ６１の構成を示すブロック図である。
【００５７】
ビデオエンコーダ６１は、全てＰピクチャを用いたローディレイコーディング方式によって、画像データを符号化するようになされている。ビデオエンコーダ６１の前処理部７１は、外部から供給される画像データの入力を受ける。
【００５８】
前処理部７１は、順次入力される画像データの各フレーム画像（この場合全てＰピクチャ）を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割し、これをマクロブロックデータとして、演算部７２、動きベクトル検出部７３、および、量子化制御部８３のイントラＡＣ算出部９１に供給する。
【００５９】
動きベクトル検出部７３は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ８４に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部８１に送出する。
【００６０】
演算部７２は、前処理部７１から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいて、イントラスライスＩ０乃至Ｉ１１に対してはイントラモードで、インタースライスＰ０乃至Ｐ１１に対しては順方向予測モードで、動き補償を行う。
【００６１】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法である。ビデオエンコーダ６１においては、Ｐピクチャのみを使用して、イントラスライスＩ０乃至Ｉ１１とインタースライスＰ０乃至Ｐ１１に分けて符号化するようになされている。
【００６２】
まず、マクロブロックデータが、イントラスライスＩ０乃至Ｉ１１のうちの１つであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部７２は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）部７４に送出する。ＤＣＴ部７４は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部７５に送出する。
【００６３】
量子化部７５は、発生符号量制御部９２から供給される量子化インデックスデータＱ（ｊ＋１）に基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部７７および逆量子化部７８に送出する。ここで、量子化部７５は、発生符号量制御部９２から供給される量子化インデックスデータＱ（ｊ＋１）に応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【００６４】
逆量子化部７８に送出された量子化ＤＣＴ係数データは、量子化部７５と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部７９に送出される。逆ＤＣＴ部７９は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部８０に送出され、参照画像データとしてフレームメモリ８４に記憶される。
【００６５】
そして、マクロブロックデータがインタースライスＰ０乃至Ｐ１１のうちの１つであった場合、演算部７２はマクロブロックデータについて、順方向予測モードによる動き補償処理を行う。
【００６６】
動き補償部８１は、フレームメモリ８４に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データを算出する。演算部７２は、マクロブロックデータについて、動き補償部８１より供給される順方向予測画像データを用いて減算処理を実行する。
【００６７】
すなわち、動き補償部８１は、順方向予測モードにおいて、フレームメモリ８４の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部７２および演算部８０に供給する。演算部７２は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部７２は、差分データをＤＣＴ部７４に送出する。
【００６８】
また、演算部８０には、動き補償部８１より順方向予測画像データが供給されており、演算部８０は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ８４に出力して記憶させる。
【００６９】
かくして、ビデオエンコーダ６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部７７に供給される。ＶＬＣ部７７は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ８２に送出するとともに、マクロブロックごとの符号化発生ビット数を表す発生符号量データＢ（ｊ）を、量子化制御部８３の発生符号量制御部９２、およびＧＣ（Global Complexity）算出部９３にそれぞれ送出する。
【００７０】
ＧＣ算出部９３は、発生符号量データＢ（ｊ）を、マクロブロックごとに順次蓄積し、１ピクチャ分の発生符号量データＢ（ｊ）が全て蓄積された時点で、全マクロブロック分の発生符号量データＢ（ｊ）を累積加算することにより、１ピクチャ分の発生符号量を算出する。
【００７１】
そしてＧＣ算出部９３は、次の式（６）を用いて、１ピクチャのうちの、イントラスライス部分の発生符号量と、イントラスライス部分における量子化ステップサイズの平均値との積を算出することにより、イントラスライス部分の画像の難しさ（以下、これをＧＣと称する）を表すＧＣデータＸｉを求め、これを目標符号量算出部９４に供給する。
【００７２】
Ｘｉ＝（Ｔｉ／Ｎｉ）×Ｑｉ・・・（６）
ここで、Ｔｉは、イントラスライスの発生符号量、Ｎｉは、イントラスライス数、そして、Ｑｉは、イントラスライスの量子化ステップサイズの平均値である。
【００７３】
ＧＣ算出部９３は、これと同時に、次に示す式（７）を用いて、１ピクチャのうちの、インタースライス部分の発生符号量と、このインタースライス部分における量子化ステップサイズの平均値との積を算出することにより、インタースライス部分におけるＧＣデータＸｐを求め、これを目標符号量算出部９４に供給する。
【００７４】
Ｘｐ＝（Ｔｐ／Ｎｐ）×Ｑｐ・・・（７）
ここで、Ｔｐは、インタースライスの発生符号量、Ｎｐは、インタースライス数、Ｑｐは、インタースライスの量子化ステップサイズの平均値である。
【００７５】
目標符号量算出部９４は、ＧＣ算出部９３から供給されるＧＣデータＸｉを基に、次の式（８）を用いて、次のピクチャにおけるイントラスライス部分の目標発生符号量データＴpiを算出するとともに、ＧＣ算出部９３から供給されるＧＣデータＸｐを基に、次の式（９）を基に、次のピクチャにおけるインタースライス部分の目標発生符号量データＴppを算出し、算出した目標発生符号量データＴpiおよびＴppを発生符号量制御部９２にそれぞれ送出する。
【００７６】
Ｔpi＝{（Ｎｉ×Ｘｉ）／（Ｎｐ×Ｘｐ）＋（Ｎｐ×Ｘｉ）}×Ｘｐ・・・（８）
【００７７】
Ｔpp＝{（Ｎｐ×Ｘｐ）／（Ｎｐ×Ｘｐ）＋（Ｎｉ×Ｘｉ）}×Ｘｐ・・・（９）
【００７８】
また、目標符号量算出部９４は、操作入力部８５を用いて、ユーザが入力したビットレートの値の入力を受け、符号量発生部９２に供給する。
【００７９】
ＭＥ残差算出部９５は、入力されるマクロブロックデータを基に、ＭＥ残差情報ME_infoを算出して、発生符号量制御部９２に出力する。ここで、ＭＥ残差情報ME_infoとは、ピクチャ単位で算出されるものであり、１つ前のピクチャと次のピクチャにおける輝度の差分値の合計値である。従って、ＭＥ残差情報ME_infoが大きな値を示すときには、１つ前のピクチャの絵柄と、次に符号化処理するピクチャの絵柄とが大きく異なっていること（いわゆるシーンチェンジ）を表している。
【００８０】
１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄が異なっている場合、１つ前のピクチャの画像データを用いて算出した目標発生符号量データＴpiおよびＴppを基に生成した量子化インデックスデータＱ（ｊ＋１）によって、量子化部７５の量子化ステップサイズを決定することは適切ではない。従って、シーンチェンジが起こった場合は、目標発生符号量データＴpiおよびＴppは、新たに算出されなおされるようにしても良い。
【００８１】
イントラＡＣ算出部９１は、イントラＡＣ（intra ＡＣ）を算出し、現在のイントラＡＣの値を示すmad_infoと、一つ前のイントラＡＣの値を示すprev_mad_infoとを、発生符号量制御部９２に出力する。
【００８２】
イントラＡＣは、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として定義されるパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。すなわち、イントラＡＣとは、ＤＣＴブロック単位で、それぞれの画素の画素値から、ブロック毎の画素値の平均値を引いたものの絶対値和の、画面内における総和である。イントラＡＣ（IntraAC）は、次の式（１０）で示される。
【００８３】
【数１】
【００８４】
また、式（1０）において、式（１１）が成り立つ。
【数２】
【００８５】
画像の符号化難易度が易しいものから難しいものへのシーンチェンジ、および、難しいものから易しいものへのシーンチェンジの、双方に対して仮想バッファ調整を行ってしまった場合、難しいものから易しいものへのシーンチェンジでは、エンコードに余裕があるはずの易画像においてわざわざ画質を悪くしてしまう結果となる場合がある。また、難しいものから易しいものへのシーンチェンジであっても、その変化の大きさ、あるいは、シーンチェンジ後の画像の難易度によっては、仮想バッファの調整を行うほうがよい場合がある。しかしながら、ＭＥ残差情報のみでは、シーンチェンジの有無を判定することはできるが、シーンチェンジの内容が、易しいものから難しいものへのシーンチェンジであるか、あるいは、難しいものから易しいものへのシーンチェンジであるかを判定することができない。
【００８６】
そこで、イントラＡＣ算出部９１が、イントラＡＣを算出し、現在のイントラＡＣの値を示すmad_infoと、一つ前のイントラＡＣの値を示すprev_mad_infoとを、発生符号量制御部９２に出力することにより、発生符号量制御部９２は、シーンチェンジの状態を判定して、仮想バッファ調整を行うか否かを判断することができる。
【００８７】
発生符号量制御部９２は、バッファ８２に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報を基に量子化ステップサイズを決定するようになされている。
【００８８】
また、発生符号量制御部９２は、イントラスライス部分の目標発生符号量データＴpiよりも実際に発生したマクロブロックの発生符号量データＢ（ｊ）が多い場合、発生符号量を減らすために量子化ステップサイズを大きくし、また、目標発生符号量データＴpiよりも実際の発生符号量データＢ（ｊ）が少ない場合、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００８９】
更に、発生符号量制御部９２は、インタースライス部分の場合も同様に、目標発生符号量データＴppよりも実際に発生したマクロブロックの発生符号量データＢ（ｊ）が多い場合、発生符号量を減らすために量子化ステップサイズを大きくし、また、目標発生符号量データＴppよりも実際の発生符号量データＢ（ｊ）が少ない場合、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９０】
すなわち、発生符号量制御部９２は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、図９に示されるように、ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）を次の式（１２）によって表し、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）を次の式（１３）によって表し、（１２）式から（１３）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）を次の式（１４）として変形することができる。
【００９１】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt}・・・（１２）
【００９２】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【００９３】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｉ）−（Ｔ×ｊ）／MBcnt・・・（１３）
【００９４】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt・・・（１４）
【００９５】
続いて、発生符号量制御部９２は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれているため、図１０に示されるように、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴpiおよびＴppをそれぞれ個別に設定する。
【００９６】
グラフにおいて、マクロブロックのカウント数が０乃至ｓ、および、ｔ乃至endの間にあるとき、次の式（１５）に、インタースライスの目標発生符号量Ｔppを代入することにより、インタースライス部分におけるバッファ占有量ｄ（ｊ＋1）を得ることができる。
【００９７】
また、マクロブロックのカウント数がｓ乃至ｔの間にあるときに、次の式（１６）に、イントラスライスの目標発生符号量Ｔpiを代入することにより、イントラスライス部分におけるバッファ占有量ｄ（ｊ＋1）を得ることができる。
【００９９】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔpi／（ｔ−ｓ）・・・（１６）
【０１００】
従って、発生符号量制御部９２は、イントラスライス部分およびインタースライス部分におけるバッファ占有量ｄ（ｊ＋１）、および、式（１７）に示される定数ｒを、式（１８）に代入することにより、マクロブロック（ｊ＋１）の量子化インデックスデータＱ（ｊ＋１）を算出し、これを量子化部７５に供給する。
【０１０１】
ｒ＝（２×ｂｒ）／ｐｒ ・・・（１７）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（１８）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１０２】
量子化部７５は、量子化インデックスデータＱ（ｊ＋１）に基づいて、次のマクロブロックにおけるイントラスライスまたはインタースライスに応じた量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１０３】
これにより、量子化部７５は、１つ前のピクチャのイントラスライス部分およびインタースライス部分における実際の発生符号量データＢ（ｊ）に基づいて算出された、次のピクチャのイントラスライス部分およびインタースライス部分における目標発生符号量ＴppおよびＴpiにとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１０４】
かくして、量子化部７５では、バッファ８２のデータ占有量に応じて、バッファ８２がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１０５】
例えば、従来の技術として上述した、特願平１１−２０５８０３では、通常のフィードバック型の量子化制御を行いながら、次に符号化処理するピクチャの絵柄が大きく変化する場合には、フィードバック型の量子化制御を止め、ＭＥ残差算出部９５から供給されるＭＥ残差情報に基づいて、仮想バッファの初期バッファ容量ｄ（０）を初期化し、新たな初期バッファ容量ｄ（０）を基に、イントラスライスおよびインタースライスごとに量子化インデックスデータＱ（ｊ＋１）を新たに算出するようになされている。
【０１０６】
しかしながら、従来における場合のように、ＭＥ残差のみで仮想バッファ調整を行うか否かを判定してしまうと、画像難易度が易しいものから難しいものに変わった場合、および難しいものから簡単なものに変わった場合の双方に対して、仮想バッファ調整を行ってしまう。すなわち、画像難易度が難しいものから簡単なものに変わった場合では、エンコードに余裕があるはずの簡単な画像において、わざわざ画質を悪くしてしまう結果となる。
【０１０７】
そこで、図８のビデオエンコーダ６１においては、例えば、イントラＡＣ算出部９１によって算出されるイントラＡＣなどの情報を用いて、画像難易度が易しいものから難しいものに変わるシーンチェンジの時にのみ、仮想バッファ調整を行うようにすることにより、簡単な画像での画質の劣化を防ぐようにすることができる。
【０１０８】
すなわち、発生符号量制御部９２は、通常のフィードバック型の量子化制御を行いながら、次に符号化処理するピクチャの絵柄が大きく変化する場合には、フィードバック型の量子化制御を止め、ＭＥ残差算出部９５から供給されるＭＥ残差情報ME_info、並びに、イントラＡＣ算出部９１から供給される、prev_mad_infoおよびmad_infoを基に、仮想バッファの初期バッファ容量ｄ（０）を初期化するか否かを判断し、仮想バッファの初期バッファ容量ｄ（０）を初期化する場合は、ＭＥ残差算出部９５から供給されるＭＥ残差情報ME_infoに基づいて、仮想バッファの初期バッファ容量ｄ（０）を初期化する。仮想バッファの初期バッファ容量ｄ（０）の初期化については、式（２）乃至式（５）を用いて説明した従来における場合と同様である。
【０１０９】
そして、発生符号量制御部９２は、新たな初期バッファ容量ｄ（０）を基に、イントラスライスおよびインタースライスごとに、式（１２）乃至式（１８）を用いて、量子化インデックスデータＱ（ｊ＋１）を新たに算出し、量子化部７５に供給する。
【０１１０】
更に、発生符号量制御部９２は、次に符号化処理するピクチャの絵柄の変化が、シーンチェンジと判断されるほど大きくなく、しかしながら、シーンチェンジと判断されるのに近い場合、必要に応じて、仮想バッファの最小値をある一定の値より大きくなるように制限する。これにより、量子化インデックスの最小値も制限されるので、図７を用いて説明したような状況において、画像スキップの発生を抑制することができる。
【０１１１】
図１１のフローチャートを参照して、イントラＡＣなどの画像難易度情報を用いて、シーンチェンジは、簡単な画像から難しい画像への変化であるか否かの判定を導入して仮想バッファの調整を行う、仮想バッファ更新処理について説明する。
【０１１２】
ステップＳ２１において、発生符号量制御部９２は、ＭＥ残差算出部９５から、ＭＥ残差情報ME_info を取得する。
【０１１３】
ステップＳ２２において、発生符号量制御部９２は、取得されたＭＥ残差情報から、ＭＥ残差情報の平均値avgを減算し、ME_info−avg > Ｄであるか否か、すなわち、算出された値が、所定の閾値Ｄよりも大きいか否かが判断される。ＭＥ残差情報の平均値avgは、後述するステップＳ２６において更新される値であり、上述した式（１）で示される。なお、所定の閾値Ｄは、画質を検討しながらチューニングされる性質の値である。
【０１１４】
ステップＳ２２において、算出された値は、所定の閾値Ｄより大きいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差が大きい、すなわち、シーンチェンジがあったと判断されるので、ステップＳ２３において、発生符号量制御部９２は、イントラＡＣ算出部９１から取得される、このシーンチェンジの後のイントラＡＣの値であるmad_infoと、このシーンチェンジの前のイントラＡＣの値であるprev_mad_infoとを比較し、mad_info > prev_mad_infoであるか否かを判断する。
【０１１５】
ステップＳ２３において、mad_info > prev_mad_infoではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、処理は、ステップＳ２６に進む。
【０１１６】
ステップＳ２３において、mad_info > prev_mad_infoであると判断された場合、このシーンチェンジは、簡単な画像から、難しい画像へのシーンチェンジであるので、ステップＳ２４において、発生符号量制御部９２は、図１を用いて説明した従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新を行う。
【０１１７】
すなわち、発生符号量制御部９２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０１１８】
ステップＳ２２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差があまり無い、すなわちシーンチェンジがなかったと判断されるので、ステップＳ２５において、図１２を用いて後述する最小値制限処理１、図１３を用いて後述する最小値制限処理２、または、図１４を用いて後述する最小値制限処理３のうちのいずれかの処理が実行される。
【０１１９】
ステップＳ２３において、mad_info > prev_mad_infoではないと判断された場合、ステップＳ２４の処理の終了後、もしくは、ステップＳ２５の処理の終了後、ステップＳ２６において、発生符号量制御部９２は、次に供給されるピクチャに備えて、ＭＥ残差情報の平均値avgを、上述した式（１）により更新し、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０１２０】
図１１のフローチャートを用いて説明した処理により、イントラＡＣを用いて、画像難易度が易しいものから難しいものに変更されるシーンチェンジの時にのみ仮想バッファ調整を行うようにしたので、エンコードに余裕があるはずの簡単な画像において、更に画質を悪くしてしまうことを防ぐことができる。
【０１２１】
更に、シーンチェンジが検出されなかった場合は、図１２を用いて後述する最小値制限処理１、図１３を用いて後述する最小値制限処理２、または、図１４を用いて後述する最小値制限処理３のうちのいずれかの処理が実行される。
【０１２２】
次に、図１２のフローチャートを参照して、最小値制限処理１について説明する。
【０１２３】
ステップＳ４１において、発生符号量制御部９２は、図１１のステップＳ２１において取得したＭＥ残差情報ME_infoを基に、ステップＳ２２において算出したME_info−avgの値を所定の閾値Ｅと比較して、ME_info−avg＞Ｅであるか否かを判断する。ここで、閾値Ｅは、図１１のステップＳ２２の閾値Ｄよりも小さな値である。
【０１２４】
ステップＳ４１において、ME_info−avg＞Ｅであると判断された場合、ステップＳ４２において、発生符号量制御部９２は、仮想バッファの最小値を制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が、少なくとも予め定められた所定の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、最小値が制限されたものとなる。ステップＳ４２の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１２５】
すなわち、図１１のステップＳ２２において、ME_info−avg＞Ｄではないと判断され、ステップＳ４１において、ME_info−avg＞Ｅであると判断された場合、図１３に示されるように、ME_info−avgの値が閾値Ｄより大きい場合のシーンチェンジ領域９６と、ME_info−avgの値が閾値Ｅより小さい場合の通常領域９８に挟まれた中間領域α９７に、ME_info−avgが存在する（Ｄ＞ME_info−avg＞Ｅが成立する）。
【０１２６】
中間領域α９７においては、シーンチェンジとは判断されないが、前の画像を基にフィードバックされる量子化インデックスの値が非常に小さなものであった場合、図７を用いて説明したように、画面の途中までに、与えられたビット量を消費してしまい、符号量が足らなくなり、画像スキップが発生してしまう恐れがある。従って、ステップＳ４２において、仮想バッファの値の最小値を制限することにより、量子化インデックスの最小値も制限されるので、画像スキップの発生を抑制することができる。
【０１２７】
ステップＳ４１において、ME_info−avg＞Ｅではないと判断された場合、前の画像との差は、量子化インデックスの最小値を考慮する必要がない程度であると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。
【０１２８】
図１２を用いて説明した処理により、シーンチェンジとは判断されないが、従来の方法では画像スキップ（画面下端に前のピクチャが残ってしまうという現象）が発生してしまう恐れがある画像を、画面下端までエンコードすることが可能となる。
【０１２９】
ところで、ビットレートが高い画像をエンコードする場合のレート制御は、ビットレートが低い画像をエンコードする場合と比較して、余裕がある。レート制御に十分な余裕があるにもかかわらず、仮想バッファ（量子化インデックス）の最小値を制限してしまうと、画質が劣化してしまう。
【０１３０】
図１４のフローチャートを参照して、ＭＥ残差に加えて、ビットレートの値を参照して、最小値制限を行うか否かを判断する最小値制限処理２について説明する。
【０１３１】
ステップＳ５１において、発生符号量制御部９２は、図１１のステップＳ２１において取得したＭＥ残差情報ME_infoを基に、ステップＳ２２において算出したME_info−avgの値を、所定の閾値Ｅと比較して、ME_info−avg＞Ｅであるか否かを判断する。ここで、閾値Ｅは、図１１のステップＳ２２の閾値Ｄよりも小さな値である。
【０１３２】
ステップＳ５１において、ME_info−avg＞Ｅであると判断された場合、ステップＳ５２において、発生符号量制御部９２は、目標符号量算出部９４から供給されたビットレートの値は、所定の閾値Ｆより小さいか否かを判断する。ここで、閾値Ｆは、符号化する場合にレート制御に余裕が発生するか否かを判断するための値である。
【０１３３】
ステップＳ５２において、ビットレートの値は、所定の閾値Ｆより小さいと判断された場合、ステップＳ５３において、発生符号量制御部９２は、仮想バッファの最小値を制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が、少なくとも予め定められた所定の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、最小値が制限されたものとなる。ステップＳ５３の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１３４】
ステップＳ５１において、ME_info−avg＞Ｅではないと判断された場合、前の画像との差は、量子化インデックスの最小値を考慮する必要がない程度であると判断され、ステップＳ５２において、ビットレートの値は、所定の閾値Ｆより大きいと判断された場合、レート制御には余裕があると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。
【０１３５】
図１４のフローチャートを用いて説明した処理により、レート制御に十分な余裕があるにもかかわらず、仮想バッファ（量子化インデックス）の最小値を制限して、画質が劣化してしまうことを防いで、必要な場合にのみ、仮想バッファ（量子化インデックス）の最小値を制限し、画像スキップ（画面下端に前のピクチャが残ってしまうという現象）の発生を抑制することができる。
【０１３６】
更に、ビットレートの値に応じて、仮想バッファ（量子化インデックス）の最小値を複数設定可能なようにすることにより、更に、画質の安定を図るようにすることができる。
【０１３７】
次に、図１５のフローチャートを参照して、ビットレートの値に応じて、仮想バッファ（量子化インデックス）の複数の最小値を設定することができる最小値制限処理３について説明する。
【０１３８】
ステップＳ６１において、発生符号量制御部９２は、図１１のステップＳ２１において取得したＭＥ残差情報ME_infoを基に、ステップＳ２２において算出したME_info−avgの値を、所定の閾値Ｅと比較して、ME_info−avg＞Ｅであるか否かを判断する。ここで、閾値Ｅは、図１１のステップＳ２２の閾値Ｄよりも小さな値である。
【０１３９】
ステップＳ６１において、ME_info−avg＞Ｅであると判断された場合、ステップＳ６２において、発生符号量制御部９２は、目標符号量算出部９４から供給されたビットレートの値は、所定の閾値Ｇより小さいか否かを判断する。ここで、閾値Ｇは、符号化する場合にレート制御に余裕が発生するか否かを判断するための値である。また、ビットレートが小さい場合の符号化において、最小値の制限を厳密に行うことにより、より効果的に、画質の劣化を防いで、画像スキップの発生を抑制することができるので、閾値Ｇは、図１４を用いて説明した処理における閾値Ｆより小さな値とすると好適である。
【０１４０】
ステップＳ６２において、ビットレートの値は、所定の閾値Ｇより小さいと判断された場合、ステップＳ６３において、発生符号量制御部９２は、仮想バッファの最小値を、予め定められた第１の値に制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が少なくとも第１の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、第１の値により最小値が制限されたものとなる。ステップＳ６３の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１４１】
ステップＳ６２において、ビットレートの値は、所定の閾値Ｇより大きいと判断された場合、ステップＳ６４において、発生符号量制御部９２は、目標符号量算出部９４から供給されたビットレートの値は、所定の閾値Hより小さいか否かを判断する。ここで、レート制御に余裕が発生するか否かを判断するための閾値Hは、閾値Ｇよりも大きい値であり、例えば、図１４を用いて説明した処理における閾値Ｆと同等の値とすると好適である。
【０１４２】
ステップＳ６４において、ビットレートの値は、所定の閾値Hより小さいと判断された場合、ステップＳ６５において、発生符号量制御部９２は、仮想バッファの最小値を、ステップＳ６３における第１の値よりも小さい、予め定められた第２の値に制限させるための制御信号を生成し、量子化部７５に供給する。量子化部７５は、発生符号量制御部９２から供給された制御信号に基づいて、前の画像が簡単なものであっても、仮想バッファのバッファ容量が少なくとも第２の値より大きくなるように制限して、式（１２）乃至式（１８）を用いて説明した処理により量子化インデックスを算出する。算出された量子化インデックスも、第２の値により最小値が制限されたものとなる。ステップＳ６５の処理の終了後、処理は、図１１のステップＳ２６の処理に戻る。
【０１４３】
ステップＳ６１において、ME_info−avg＞Ｅではないと判断された場合、前の画像との差は、量子化インデックスの最小値を考慮する必要がない程度であると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。また、ステップＳ６４において、ビットレートの値は、所定の閾値Hより大きいと判断された場合、レート制御には充分な余裕があると判断されるので、最小値制限は行われず、処理は、図１１のステップＳ２６の処理に戻る。
【０１４４】
以上説明した処理により、画像の変更量が、シーンチェンジ検出の閾値付近である場合においても、符号化処理が困難な画像を検出して、仮想バッファ（量子化インデックス）の最小値を制限したり、更に、レート制御が困難な画像を検出して、そのビットレートに対応した仮想バッファ（量子化インデックス）の最小値を設定するようにすることが可能になる。
【０１４５】
このことにより、ローディレイモード、低ビットレートであっても、画像スキップ（画面下端に前のピクチャが残ってしまうという現象）の発生を抑制して、安定した画質を得ることができる。
【０１４６】
また、上述の実施の形態においては、ローディレイコーディングとしてナンバ０乃至１１の各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合について述べたが、本発明はこれに限らず、例えば、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにしても良い。
【０１４７】
また、ここでは、ローディレイエンコードを行う場合を例として説明したが、本発明は、例えば、１５フレームを、フレーム内符号化画像（以下、Ｉピクチャと称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャと称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャと称する）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、あるいは、Ｂピクチャ）に応じて、フレーム画像を符号化するような場合にも適用可能である。
【０１４８】
更に、上述の実施の形態においては、本発明をＭＰＥＧ方式によって圧縮符号化する符号化装置としてのビデオエンコーダ６１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１４９】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ビデオエンコーダ６１は、図１６に示されるようなパーソナルコンピュータ１０１により構成される。
【０１５０】
図１６において、ＣＰＵ１１１は、ＲＯＭ１１２に記憶されているプログラム、または記憶部１１８からＲＡＭ１１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ１１３にはまた、ＣＰＵ１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５１】
ＣＰＵ１１１、ＲＯＭ１１２、およびＲＡＭ１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インタフェース１１５も接続されている。
【０１５２】
入出力インタフェース１１５には、キーボード、マウスなどよりなる入力部１１６、ディスプレイやスピーカなどよりなる出力部１１７、ハードディスクなどより構成される記憶部１１８、モデム、ターミナルアダプタなどより構成される通信部１１９が接続されている。通信部１１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５３】
入出力インタフェース１１５にはまた、必要に応じてドライブ１２０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、あるいは、半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１１８にインストールされる。
【０１５４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５５】
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク１３１（フロッピディスクを含む）、光ディスク１３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ１１２や、記憶部１１８に含まれるハードディスクなどで構成される。
【０１５６】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５７】
【発明の効果】
本発明によれば、画像データをエンコードすることができる。
また、本発明によれば、シーンチェンジが起こっていない場合であっても、その画像の変化量が、シーンチェンジが起こったと判断される値に近い場合、または、その画像の変化量がシーンチェンジが起こったと判断される値に近く、かつ、フレーム画像のビットレートの値が所定の値より小さい場合には、仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限するようにしたので、量子化インデックスはある一定の数値以上に制限され、シーンチェンジ時に画像が劣化してしまうのを防ぐようにすることができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２方式によって映像データを圧縮符号化する場合、および圧縮符号化された画像データを復号する場合の処理について説明する図である。
【図２】ＶＢＶバッファについて説明する図である。
【図３】ローディレイコーディングについて説明する図である。
【図４】ＶＢＶバッファについて説明する図である。
【図５】シーンチェンジについて説明する図である。
【図６】従来の仮想バッファ更新処理について説明するフローチャートである。
【図７】シーンチェンジではなく画像スキップが発生する場合について説明する図である。
【図８】本発明を適用したビデオエンコーダの構成を示すブロック図である。
【図９】仮想バッファのバッファ占有量について説明する図である。
【図１０】イントラスライスおよびインタースライス毎の、仮想バッファのバッファ占有量について説明する図である。
【図１１】本発明を適用した仮想バッファ更新処理について説明するフローチャートである。
【図１２】最小値制限処理１について説明するフローチャートである。
【図１３】シーンチェンジ領域と通常領域との間に存在する中間領域αについて説明する図である。
【図１４】最小値制限処理２について説明するフローチャートである。
【図１５】最小値制限処理３について説明するフローチャートである。
【図１６】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
６１ ビデオエンコーダ， ７１ 前処理部， ７２ 演算部， ７３ 動きベクトル検出部， ７４ ＤＣＴ部， ７５ 量子化部， ７７ ＶＬＣ部， ７８ 逆量子化部， ７９ 逆ＤＣＴ部， ８０ 演算部， ８１ 動き補償部， ８２ バッファ， ８３ 量子化制御部， ８４ フレームメモリ， ９１イントラＡＣ算出部， ９２ 発生符号量制御部， ９３ ＧＣ算出部， ９４ 目標符号量算出部， ９５ ＭＥ残差算出部， ９７ 中間領域α
Claims (15)
- フレーム画像を符号化する符号化装置において、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する第１の検出手段と、
前記第１の検出手段により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内である場合、前記符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限手段と、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、
前記決定手段により決定された前記量子化インデックスデータを基に、量子化を実行する量子化手段と、
前記量子化手段により量子化された量子化係数データを符号化する符号化手段と
を備えることを特徴とする符号化装置。 - 前記第１の検出手段により検出された前記絵柄の変化量が前記第１の閾値よりも大きく、シーンチェンジの発生が検出された場合、簡単な画像から難しい画像へのシーンチェンジであるかを判定する判定手段と、
前記判定手段により簡単な画像から難しい画像へのシーンチェンジであると判定された場合、前記仮想バッファの初期バッファ容量の値を更新する更新手段と
を更に備える請求項１に記載の符号化装置。 - 前記第１の検出手段は、前記第１のピクチャの絵柄と前記第２のピクチャの絵柄との差分を示す指標を算出し、前記指標を基に、前記絵柄の変化を検出する
ことを特徴とする請求項１に記載の符号化装置。 - 前記フレーム画像は、全て、フレーム間順方向予測符号化画像である
ことを特徴とする請求項１に記載の符号化装置。 - フレーム画像を符号化する符号化装置の符号化方法において、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、
前記検出ステップの処理により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内である場合、前記符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
を含むことを特徴とする符号化方法。 - フレーム画像を符号化する符号化装置用のプログラムであって、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、
前記検出ステップの処理により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内である場合、前記符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - フレーム画像を符号化する符号化装置を制御するコンピュータが実行可能なプログラムであって、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、
前記検出ステップの処理により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内である場合、前記符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。 - フレーム画像を符号化する符号化装置において、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する第１の検出手段と、
前記第１の検出手段により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、前記フレーム画像のビットレートの値が所定の値より小さい場合、前記仮想バッファの前記初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない前記所定の値以上となるように制限する制限手段と、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、
前記決定手段により決定された前記量子化インデックスデータを基に、量子化を実行する量子化手段と、
前記量子化手段により量子化された量子化係数データを符号化する符号化手段と
を備えることを特徴とする符号化装置。 - 前記第１の検出手段により検出された前記絵柄の変化量が前記第１の閾値よりも大きく、シーンチェンジの発生が検出された場合、簡単な画像から難しい画像へのシーンチェンジであるかを判定する判定手段と、
前記判定手段により簡単な画像から難しい画像へのシーンチェンジであると判定された場合、前記仮想バッファの初期バッファ容量の値を更新する更新手段と
を更に備える請求項８に記載の符号化装置。 - 前記制限手段は、前記ビットレートと複数の閾値とを比較し、比較結果に基づいて、前記仮想バッファの前記初期バッファ容量の最小値の制限値を複数設定する
ことを特徴とする請求項８に記載の符号化装置。 - 前記第１の検出手段は、前記第１のピクチャの絵柄と前記第２のピクチャの絵柄との差分を示す指標を算出し、前記指標を基に、前記絵柄の変化を検出する
ことを特徴とする請求項８に記載の符号化装置。 - 前記フレーム画像は、全て、フレーム間順方向予測符号化画像である
ことを特徴とする請求項８に記載の符号化装置。 - フレーム画像を符号化する符号化装置の符号化方法において、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、
前記検出ステップの処理により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、前記フレーム画像のビットレートの値が所定の値より小さい場合、前記符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
を含むことを特徴とする符号化方法。 - フレーム画像を符号化する符号化装置用のプログラムであって、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、
前記検出ステップの処理により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、前記フレーム画像のビットレートの値が所定の値より小さい場合、前記符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - フレーム画像を符号化する符号化装置を制御するコンピュータが実行可能なプログラムであって、
１つ前のピクチャである第１のピクチャと、次に符号化処理するピクチャである第２のピクチャとの、絵柄の変化を検出する検出ステップと、
前記検出ステップの処理により検出された前記絵柄の変化量が、シーンチェンジか否かを判定する第１の閾値と、前記第１の閾値よりも小さな第２の閾値との間の範囲内であり、かつ、前記フレーム画像のビットレートの値が所定の値より小さい場合、前記符号化データを復号するデコーダの入力バッファに対応する仮想バッファの初期バッファ容量の最小値を、画面の途中までに与えられたビット量を消費してしまわない所定の値以上となるように制限する制限ステップと、
前記仮想バッファの前記初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224466A JP4186544B2 (ja) | 2002-08-01 | 2002-08-01 | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224466A JP4186544B2 (ja) | 2002-08-01 | 2002-08-01 | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004072144A JP2004072144A (ja) | 2004-03-04 |
| JP4186544B2 true JP4186544B2 (ja) | 2008-11-26 |
Family
ID=32012417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002224466A Expired - Fee Related JP4186544B2 (ja) | 2002-08-01 | 2002-08-01 | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4186544B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100790149B1 (ko) | 2006-07-27 | 2008-01-02 | 삼성전자주식회사 | 비디오 인코딩 데이터율 제어 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0638191A (ja) * | 1992-07-20 | 1994-02-10 | Canon Inc | 動画像信号符号化装置 |
| JP3450384B2 (ja) * | 1993-09-20 | 2003-09-22 | 株式会社東芝 | 動画像符号化装置 |
| JP3074115B2 (ja) * | 1993-10-01 | 2000-08-07 | 東光株式会社 | 画像伝送装置 |
| JPH07115651A (ja) * | 1993-10-18 | 1995-05-02 | Mitsubishi Electric Corp | 映像信号符号化方式 |
| JPH11196423A (ja) * | 1997-12-26 | 1999-07-21 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JPH11205803A (ja) * | 1998-01-19 | 1999-07-30 | Sony Corp | 符号化装置及び符号化方法 |
-
2002
- 2002-08-01 JP JP2002224466A patent/JP4186544B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004072144A (ja) | 2004-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4256574B2 (ja) | 画像信号符号化方法および画像信号符号化装置 | |
| KR100850705B1 (ko) | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 | |
| JP5180294B2 (ja) | ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 | |
| KR100850706B1 (ko) | 적응적 동영상 부호화 및 복호화 방법과 그 장치 | |
| US20100166060A1 (en) | Video transcoder rate control | |
| JP4099682B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4221655B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP2001169281A (ja) | 動画像符号化装置、および動画像符号化方法 | |
| JP3907875B2 (ja) | 符号化レート制御装置及び情報符号化装置 | |
| US20120002724A1 (en) | Encoding device and method and multimedia apparatus including the encoding device | |
| JP4736619B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4186543B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| KR20070034869A (ko) | 동영상 부호화기의 비트율 제어 장치 및 방법 | |
| US9185420B2 (en) | Moving image coding apparatus and moving image coding method | |
| JP4586340B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| JP4228739B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4186544B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4718736B2 (ja) | 動画像符号化装置 | |
| JP4325536B2 (ja) | 動画像符号化装置及び方法 | |
| JP3918208B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JPH11205803A (ja) | 符号化装置及び符号化方法 | |
| KR20010104058A (ko) | 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기 | |
| JP4747109B2 (ja) | 演算量調整装置 | |
| JP4273386B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4273385B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |