JP3641214B2 - 動画像符号化装置および動画像符号化方法 - Google Patents
動画像符号化装置および動画像符号化方法 Download PDFInfo
- Publication number
- JP3641214B2 JP3641214B2 JP2001056014A JP2001056014A JP3641214B2 JP 3641214 B2 JP3641214 B2 JP 3641214B2 JP 2001056014 A JP2001056014 A JP 2001056014A JP 2001056014 A JP2001056014 A JP 2001056014A JP 3641214 B2 JP3641214 B2 JP 3641214B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- frame
- code amount
- intra
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば有線通信や無線通信により伝送される動画像データを符号化する動画像符号化装置および動画像符号化方法に関する。
【０００２】
【従来の技術】
本発明でいう動画像符号化装置とは、ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ標準ＭＰＥＧに代表される動画像符号化方式、すなわち動き補償や直交変換（例えば、離散コサイン変換）等を用いてフレーム単位で符号化を行う装置である。
【０００３】
ＩＴＵ−Ｔ勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ標準ＭＰＥＧに代表される動画像符号化方式は、一般に入力される映像信号に対して空間的・時間的相関関係により圧縮を行う。そして、この圧縮により得られるデータをもとに、所定の順序にしたがってさらに可変長符号化を行い、符号列（ビットストリーム）を生成する。
【０００４】
以下では、ＭＰＥＧ−４における動画像符号化方式について述べる。
映像信号は、複数のビデオオブジェクトプレーン：ＶＯＰ（Video Object Plane）から構成される。ＶＯＰは矩形状の場合、ＭＰＥＧ−１、２におけるフレームおよびフィールドに相当し、ＶＯＰ単位の空間的・時間的相関関係により圧縮を行う。
【０００５】
ＶＯＰは輝度信号と色差信号をもち、複数のマクロブロック：ＭＢ（Macro Block）から構成される。ＭＢは、輝度信号に対して縦横１６画素から成り、このＭＢ単位に空間的圧縮、時間的圧縮を行う。
【０００６】
空間的圧縮には、離散コサイン変換：ＤＣＴ（Discrete Cosine Transform）と量子化が用いられ、時間的圧縮には、動き補償：ＭＣ（Motion Compensation）が用いられる。
【０００７】
ここでＶＯＰ単位の圧縮方法には、空間的圧縮のみで符号化される画面内符号化（イントラ符号化）と、空間的圧縮と時間的圧縮を用いて符号化される画面間符号化（インター符号化）がある。
【０００８】
一般に、画面内符号化されたＶＯＰをＩ（Intra）−ＶＯＰと呼ぶ。また、画面間符号化されたＶＯＰで、参照ＶＯＰとして時間的に前に符号化されたＶＯＰのみを用いてＭＣを行って符号化されたＶＯＰをＰ（Predictive）−ＶＯＰと呼び、参照ＶＯＰとして時間的に前後に符号化されたＶＯＰを用いて双方向のＭＣを行って符号化されたＶＯＰをＢ（Bi-directionally predictive）−ＶＯＰと呼ぶ。
【０００９】
ここでいう参照ＶＯＰとは、過去にＩ−ＶＯＰまたはＰ−ＶＯＰとして符号化され画面間符号化で用いるために復号されたＶＯＰの中で、現在符号化すべきＶＯＰに対して時間的に隣接する高々２つのＶＯＰのことをいう。
【００１０】
なお、Ｉ−ＶＯＰに含まれるＭＢはすべてイントラ符号化で符号化されなければならないが、Ｐ−ＶＯＰおよびＢ−ＶＯＰに含まれるＭＢはイントラ符号化、インター符号化のどちらを用いて符号化されてもよい。
【００１１】
ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のMPEG-4 Video Verification Model Version 6.0におけるＭＢの符号化のイントラモード／インターモード判定では、ＭＢに含まれる各ピクセルの輝度値に対して、ＭＢ内の全ピクセルの平均値との差分値における絶対値の総和ＡとＭＣ誤差ＳＡＤが以下の条件を満たす時にそのＭＢにイントラ符号化を用いる。
【００１２】
Ａ＜ＳＡＤ−２×ＮＢ
ここで、ＮＢはＶＯＰに含まれるＭＢ内のピクセル数である。
【００１３】
次に、ＭＢ単位の符号化処理について説明する。
【００１４】
符号化すべきＭＢを含むＶＯＰがＩ−ＶＯＰの場合には、輝度信号を色差信号に対して、ＤＣＴと量子化を行うことで得られる量子化されたＤＣＴ係数を可変長符号化により圧縮し、ヘッダ情報とともに所定の順序にしたがってビットストリームを作成する。
【００１５】
一方、符号化すべきＭＢを含むＶＯＰがＩ−ＶＯＰ以外の場合には、符号化すべきＭＢを含むＶＯＰに対して時間的に隣接の符号化されたＶＯＰを参照ＶＯＰとして、ブロックマッチングに代表される動き検出法を用いて、符号化すべきＭＢとの輝度信号における差分値（ＭＣ誤差）が最も小さくなる参照ＶＯＰ上のＭＢを求める。
符号化すべきＭＢからＭＣ誤差が最も小さくなるＭＢまでの動きを示すベクトルを動きベクトルと呼ぶ。
【００１６】
そして、ＭＣ誤差に対してＤＣＴと量子化を行う。ここで得られる動きベクトルと輝度信号と色差信号のＭＣに対して量子化されたＤＣＴ係数を可変長符号化により圧縮し、ヘッダ情報とともに所定の順序にしたがってビットストリームを作成する。
【００１７】
動画像符号化装置は、所定の符号化パラメータにしたがって指定された符号量のビットストリームを出力しなければならない。さらにデコーダ側のバッファに対して、オーバーフローやアンダーフローが生じないように、エンコーダ側でデコーダ側のバッファの占有量を想定して発生符号量を制御しなくてはならない。
【００１８】
このバッファのことを仮想バッファ検証器：ＶＢＶ（Video Buffering Verifier）バッファという。
ＶＢＶバッファの容量は、ＭＰＥＧ−４ではプロファイルとレベルによって上限値が決まっている。
【００１９】
発生符号量はフレームをＭＢごとにＤＣＴを行い、得られたＤＣＴ係数を量子化するために用いる量子化スケールにより制御する。
一般に発生符号量と量子化スケールは反比例の関係にある。この性質を用いて発生符号量を自在に変化させることが可能である。
【００２０】
また一般的に、量子化スケールには制限があるため、量子化スケールだけで発生符号量を制御することは不可能である。そこで、発生符号量が目標値よりも多い場合はフレームスキップ数を大きくし、少ない場合はスタッフィングを行う。
【００２１】
フレームスキップ数を大きくすることで、フレームの符号化タイミングを遅らせ、ＶＢＶバッファのアンダーフローを防ぐことができる。また逆に、スタッフィングという冗長なビットを挿入することで、ＶＢＶバッファのオーバーフローを防ぐことができる。
【００２２】
また、動き量の多いシーンでは動き予測の精度を高くするためには、フレームスキップ数を小さくしたほうがよいが、その一方で、動き量の多いシーンでは全般的に発生符号量が増大し、ＶＢＶバッファがアンダーフローする傾向になる。
【００２３】
このため、動き量の多いシーンが比較的長く続く場合は、ＶＢＶバッファのアンダーフローを防ぐためにフレームスキップ数を大きくしなければならないが、フレームスキップ数を大きくすると、ＭＣに用いる参照ＶＯＰとの相関が低くなることがある。
【００２４】
特に動きが激しいシーンでは、画像中の物体が動き補償対象外の領域まで移動している可能性が高く、このような状態では、相関が低いＶＯＰ間で予測符号化を用いると、動きベクトルが大きく、ＭＣ誤差も大きくなる。
【００２５】
動きベクトルは、隣接するＭＢ（あるいはブロック）の動きベクトルから得られる動きベクトルの予測値との差分値を符号化したものである。一般的に隣接するＭＢあるいはブロックの動きベクトルは、同じあるいは近いことが多いため、上記差分値に比例した符号列が割り当てられている。
【００２６】
また、前述のように画面間符号化ＶＯＰのＭＢは、インター符号化だけではなく、イントラ符号化で符号化されてもよく、上記のような相関が低いＶＯＰ間での予測では、イントラ符号化されるＭＢが比較的多くなる。
【００２７】
以上のことから、符号化すべきＶＯＰと参照ＶＯＰとの相関が高い時、上記動きベクトルの差分値とＭＣ誤差が小さくなるので、インター符号化されるＶＯＰの発生符号量がイントラ符号化を行った場合に比べて飛躍的に削減される。
【００２８】
このため、従来の動画像符号化装置では、符号化すべきＶＯＰと参照ＶＯＰとの相関が高い時は、ＶＯＰをインター符号化するようにしている。
一方、フレームスキップ数が大きく、符号化すべきＶＯＰと参照ＶＯＰとの相関が低い時は、上記ＭＢの符号化のイントラモード／インターモード判定によりイントラ符号化されるＭＢが比較的多くなる。この時、イントラ符号化されるＭＢとインター符号化されるＭＢが無秩序に混在する傾向があるため、インター符号化ＭＢにおける上記動きベクトル予測値が大きくなり符号量が増える。それに加え、ＭＣ誤差も比較的大きいので、ＶＯＰ全体として符号量が増えるという問題があった。
このように符号量が増えると、フレームスキップ数をさらに大きくするという悪循環に陥り、非効率的な状態となる。
【００２９】
【発明が解決しようとする課題】
従来の動画像符号化装置では、インター符号化を行っている場合に、符号化すべきＶＯＰと参照ＶＯＰとの相関が低い時は、ＭＢ単位でイントラ符号化するため、ＶＯＰ全体としての符号量が増えるという問題があった。
【００３０】
この発明は、上記の問題を解決すべくなされたもので、符号化すべきＶＯＰと参照ＶＯＰとの相関が低い時でも、ＶＯＰ全体としての符号量が増大することを防止可能な動画像符号化装置を提供することを目的とする。
【００３１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係わる本発明は、動画像を符号化する動画像符号化装置において、符号化の対象となるフレーム間のスキップ数を制御するスキップ数制御手段と、量子化の度合を示す量子化スケールを制御する量子化スケール制御手段と、画面間符号化と画面内符号化とを選択的に用いて、量子化スケールとスキップ数に基づいて動画像の符号化を行う符号化手段と、この符号化手段にて符号化されたフレームの符号量を求める符号量検出手段と、量子化スケール制御手段によって設定された量子化スケールの平均値と、符号量検出手段で求められた符号量との積をフレーム単位で求めて記憶する記憶手段と、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、記憶手段に記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定する符号化設定手段とを具備して構成するようにした。
【００３２】
また、上記の目的を達成するために、請求項４に係わる本発明は、動画像を符号化する動画像符号化方法において、符号化の対象となるフレーム間のスキップ数を制御するスキップ数制御工程と、量子化の度合を示す量子化スケールを制御する量子化スケール制御工程と、画面間符号化と画面内符号化とを選択的に用いて、量子化スケールとスキップ数に基づいて動画像の符号化を行う符号化工程と、この符号化工程にて符号化されたフレームの符号量を求める符号量検出工程と、量子化スケール制御工程によって設定された量子化スケールの平均値と、符号量検出工程で求められた符号量との積をフレーム単位で求めて記憶する記憶工程と、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、前記記憶工程で記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定する符号化設定工程とを具備して構成するようにした。
【００３３】
上記構成の動画像符号化装置および動画像符号化方法では、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、記憶手段に記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定するようにしている。
【００３４】
したがって、上記構成の動画像符号化装置によれば、スキップ数が大きくなると、各符号化における量子化スケールと符号量とに応じて、符号化手段にて実施する符号化を画面内符号化に設定することができるため、従来のように画面間符号化を用いて符号化を行い、イントラ符号化ＭＢが多く用いられて、動き予測の精度が低下し符号量が増大する状態に陥ってしまうことを防止できる。
【００３５】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる動画像符号化装置の構成を示すものである。
【００３６】
動画像符号化装置は、符号化部１０、送信バッファ２０、発生符号量カウント部３０、量子化スケール平均値算出部４０、発生符号量制御部５０、装置制御部１０００を備えている。
【００３７】
装置制御部１０００は、マイクロプロセッサからなり、上述した各部を統括して制御するもので、例えば当該動画像符号化装置に入力される画像信号（ＶＯＰ）の入力制御や、当該動画像符号化装置の符号化により生成されたビットストリームの出力制御などを行う。
【００３８】
ここでビットストリームの出力制御では、目標となる発生符号量（以下、目標ビットレートと称する）や目標となるフレームレートの設定、レート制御や誤り耐性などの符号化モードの設定などを行う。
【００３９】
符号化部１０は、イントラ符号化およびインター符号化による動画像圧縮処理が可能で、後述する発生符号量制御部５０からの指示に応じて、上記どちらかの動画像圧縮にしたがい、入力されるＶＯＰをＭＢに分割して符号化処理を施すもので、フレームメモリ１００、信号処理部２００、および可変長符号化器（ＶＬＣ）３００を備える。
なお、ここでいう動画像圧縮とは、例えば、ＩＳＯ／ＩＥＣ標準のＭＰＥＧ−４やＩＴＵ−Ｔ勧告のＨ．２６３、あるいはこれらを変更したものである。
【００４０】
フレームメモリ１００は、入力されるＶＯＰを一時的に蓄積し、発生符号量制御部５０からスキップ数が指示される場合には、その値に応じて蓄積しているＶＯＰをスキップ出力する。
【００４１】
信号処理部２００は、発生符号量制御部５０からの指示に応じて、フレームメモリ１００から出力されるＶＯＰを、ＭＢ単位でイントラ符号化あるいはインター符号化による圧縮処理して、マクロブロック情報（ＤＣＴ係数、動きベクトル）を求める。
【００４２】
図２は、信号処理部２００の構成を示すものである。
切換スイッチ２０１は、フレームメモリ１００から出力されるＶＯＰを、発生符号量制御部５０から指示される符号化タイプに応じて、第１の出力端子あるいは第２の出力端子に選択的に出力するもので、発生符号量制御部５０から指示がインター符号化を要求する場合には、上記ＶＯＰを第１の出力端子に出力し、一方、上記指示がイントラ符号化を要求する場合には、上記ＶＯＰを第２の出力端子に出力する。
【００４３】
第１の出力端子に出力されたＶＯＰは、動き検出回路２０２と減算器２０３に出力され、一方、第２の出力端子に出力されたＶＯＰは、離散コサイン変換回路（ＤＣＴ）２０４に出力される。
【００４４】
動き検出回路２０２は、後述するメモリ２０８から出力される、１サンプル前に符号化の対象となったＶＯＰと、切換スイッチ２０１から入力されるＶＯＰとに基づいて、ＭＢ単位の動きベクトルを求め、これを後段の可変長符号化器３００と減算器２０３に出力する。
【００４５】
減算器２０３は、切換スイッチ２０１から入力されるＶＯＰのＭＢと、動き検出回路２０２にて求めた動きベクトルで示される参照ＶＯＰ上のＭＢとの差を求め、離散コサイン変換回路２０４に出力する。
【００４６】
離散コサイン変換回路２０４は、入力される信号に対して、離散コサイン変換を施し、この変換結果を量子化回路２０５に出力する。
量子化回路２０５は、発生符号量制御部５０から指示される量子化スケールで、離散コサイン変換回路２０４の変換結果を量子化してＤＣＴ係数を得る。このＤＣＴ係数は、後段の可変長符号化器３００と、逆量子化回路２０６に出力される。
【００４７】
上記ＤＣＴ係数は、逆量子化される。そして、この逆量子化されたものを逆コサイン変換回路２０７にて逆コサイン変換し、参照ＶＯＰとしてメモリ２０８に一時的に蓄えられ、動き検出回路２０２に出力される。
【００４８】
可変長符号化器３００は、信号処理部２００にて求めたマクロブロック情報（ＤＣＴ係数、動きベクトル）を、所定のシンタックスにしたがって可変長符号化により圧縮し、ヘッダ情報とともに所定の順序にしたがってビットストリームを作成する。
【００４９】
また、発生符号量制御部５０からスタッフィングビット数が指示される場合には、所定のシンタックスに従って、上記ビット数に応じたスタッフィングを行う。
上記ビットストリームは、送信バッファ２０と発生符号量カウント部３０に出力される。
【００５０】
送信バッファ２０は、上記ビットストリームを一時的に蓄積し、この蓄積したビットストリームを装置制御部１０００により設定された目標ビットレートに従って出力する。
【００５１】
発生符号量カウント部３０は、符号化部１０で生成されたビットストリームの符号量をカウントし、そのカウント値を発生符号量制御部５０に通知する。
【００５２】
量子化スケール平均値算出部４０は、発生符号量制御部５０から指示される量子化スケールを累積して、ＶＯＰ毎の量子化スケールの平均値を算出し、発生符号量制御部５０に通知する。
【００５３】
発生符号量制御部５０は、発生符号量カウント部３０から通知される発生符号量と、量子化スケール平均値算出部４０から通知される量子化スケールの平均値と、発生符号量制御部５０で求まるＶＢＶバッファの占有量とに基づいて、次に符号化すべきＶＯＰまでのフレームスキップ数および上記ＶＯＰにおける符号化タイプや量子化スケール、スタッフィングビット数などを求め、これらを符号化部１０に出力する。
【００５４】
なお、発生符号量カウント部３０からの発生符号量、装置制御部１０００からの目標ビットレート、符号化処理が始まってからの時間から、ＶＢＶバッファの占有量は発生符号量制御部５０で算出できる。
【００５５】
また、発生符号量制御部５０は、上記発生符号量と、上記量子化スケールの平均値と、フレームスキップ数に応じて、符号化部１０における符号化をイントラ符号化に切換制御する。
【００５６】
次に、上記構成の動画像符号化装置の動作について説明する。
なお、当該動画像符号化装置においても、従来と同様にＶＢＶバッファの制限を満たすように、量子化スケールの制御、フレームスキップ数の制御、およびスタッフィングを行うが、以下ではこれらの制御については説明を省略する。
【００５７】
ここでは、当該発明に関わる、符号化部１０における符号化処理の切換制御について説明する。この制御は、発生符号量制御部５０によってなされる。図３は、上記切換制御を説明するためのフローチャートで、当該装置の起動後、停止されるまで繰り返し実行される。
【００５８】
まず、ステップ３ａでは、例えば従来と同様の基準に基づいて、符号化方法を決定し、この決定した符号化処理を実施するように、符号化部１０に指示を与え、ステップ３ｂに移行する。これにより、符号化部１０は、上記決定した符号化方法で符号化処理を開始する。
【００５９】
ステップ３ｂでは、当該装置の運用を終了する指示を受け付けたか否かを監視する。ここで、当該装置の運用を終了する指示を受け付けた場合には、この処理を終了し、一方、上記指示を受け付けていない場合には、現時点での符号化処理を継続して行い、ステップ３ｃに移行する。
【００６０】
ステップ３ｃでは、発生符号量カウント部３０より通知される発生符号量Ｓと、量子化スケール平均値算出部４０より通知される量子化スケールの平均値Ｑとの積Ｘを求める。
なお、この値Ｘは、ＩＳＯ／ＩＥＣ標準のVideo Codec Test Model Version5（TM5）のglobal complexity measureとして知られている値である。
【００６１】
ここで、Ｉ−ＶＯＰの発生符号量をＳｉとし、量子化スケールの平均値をＱｉとし、両者の積をＸｉとする。同様に、Ｐ−ＶＯＰの発生符号量をＳｐとし、量子化スケールの平均値をＱｐとし、両者の積をＸｐとする。
【００６２】
すなわち、ステップ３ｃでは、この時点で行っている符号化のＸ（Ｘｉ、、あるいはＸｐ）の値が求められ、発生符号量制御部５０は、その最新値を記憶し、ステップ３ｄに移行する。ただし、発生符号量制御部５０は、符号化毎にＸの最新値を記憶する。
【００６３】
ステップ３ｄでは、次に行う符号化処理がイントラ符号化であるか否かを判定する。ここで、イントラ符号化の場合にはステップ３ａに移行し、そうでない場合にはステップ３ｅに移行する。
【００６４】
ステップ３ｅでは、フレームスキップ数が予め設定した値以上になっているか否かを判定する。ここで、フレームスキップ数が予め設定した値以上になっている場合には、ステップ３ｆに移行し、一方、フレームスキップ数が予め設定した値未満の場合には、ステップ３ａに移行する。
【００６５】
ステップ３ｆでは、記憶しているＸｐとＸｉとの比（Ｘｐ／Ｘｉ）を求め、この比が所定値α（＞０）より大きいか否かを判定する。ここで、Ｘｐ／Ｘｉが、所定値αより大きい場合には、ステップ３ｇに移行し、一方、Ｘｐ／Ｘｉが、所定値α以下の場合にはステップ３ａに移行する。
【００６６】
ステップ３ｇでは、符号化部１０に対して、イントラ符号化処理を実施するように指示を与え、ステップ３ｂに移行する。これにより、符号化部１０は、イントラ符号化処理を開始する。
【００６７】
以上のように、上記構成の動画像符号化装置では、各符号化毎に、発生符号量Ｓと量子化スケールの平均値Ｑとの積Ｘ（Ｘｉ、Ｘｐ）の最新値を記憶しておき、フレームスキップ数が所定値以上でインター符号化を行っている場合に、Ｘｐ／Ｘｉ＞αであると、現在行っているインター符号化に代わり、イントラ符号化を行うようにしている。
【００６８】
すなわち、上記構成の動画像符号化装置では、フレームスキップ数が大きくなってＶＯＰ間の相関が低くなると、イントラ符号化を行った場合の発生符号量Ｓと量子化スケールＱの積がインター符号化に比べて小さいことを確かめて、インター符号化に代わってイントラ符号化を行う。
【００６９】
このため、従来のようにインター符号化を継続して行ってイントラ符号化ＭＢが多く用いられて、動き予測の精度が低下することによる符号量増大を防止できる。
【００７０】
したがって、上記構成の動画像符号化装置によれば、フレームスキップ数が大きくなってＶＯＰ間の相関が低くなっても、ＶＯＰ全体としての符号量が増大することを防止でき、ひいてはフレームスキップ数を小さくして符号化効率を高めることができ、イントラ符号化によるエラー耐性も高まる。
【００７１】
尚、この発明は上記実施の形態に限定されるものではない。
この発明は、発生符号量Ｓと量子化スケールの平均値Ｑとの積Ｘを、異なる符号化毎に求めて比較し、積Ｘが小さい符号化を行うようにしたことを特徴としており、この特徴に基づいた構成であれば、種々の変形が可能である。
【００７２】
例えば、αを定数としたが、フレームスキップ数によってＶＯＰ間の相関も変化することを考慮して、下式に示すように、αをフレームスキップ数に関する値としてもよい。
α＝ｆ（frameSkip（t））
ここでｔは時間を示し、frameSkip（t）は、時刻ｔのＶＯＰにおけるフレームスキップ数を示す。
【００７３】
また、フレームスキップ数は時間的に直前に符号化されたＶＯＰからのフレームスキップ数のみを用いているが、下式に示すように、さらに過去のフレームスキップ数も用いてαを定めてもよい。
α＝ｆ（frameSkip（t），frameSkip（t-t0））
さらに、上記実施の形態では、符号化部１０がインター符号化とイントラ符号化のうち、いずれか一方を選択的に実施する場合を例に挙げて説明したが、これに限定されるものではなく、双方向予測符号化を行う場合にも適用できる。
【００７４】
この場合、図３に示した処理に対して、図４に示すようにステップ３ｈ、３ｉを加えるようにする。
図４に示す処理では、ステップ３ｅにおいて、フレームスキップ数が予め設定した値以上になっているか否かを判定し、フレームスキップ数が予め設定した値以上になっている場合には、ステップ３ｈに移行し、一方、フレームスキップ数が予め設定した値未満の場合には、ステップ３ａに移行する。
【００７５】
ステップ３ｈでは、次に行う符号化処理がインター符号化であるか否かを判定する。ここで、インター符号化の場合にはステップ３ｆに移行し、そうでない場合にはステップ３ｉに移行する。
【００７６】
ここで、Ｂ−ＶＯＰの発生符号量をＳｂとし、量子化スケールの平均値をＱｂとし、両者の積をＸｂとする。
ステップ３ｉでは、記憶しているＸｂとＸｉとの比（Ｘｂ／Ｘｉ）を求め、この比が所定値α（＞０）より大きいか否かを判定する。ここで、Ｘｂ／Ｘｉが、所定値αより大きい場合には、ステップ３ｇに移行し、一方、Ｘｂ／Ｘｉが、所定値α以下の場合にはステップ３ａに移行する。
【００７７】
以上のような処理によれば、双方向予測符号化処理を行っている場合でも、フレームスキップ数が大きくなってＶＯＰ間の相関が低くなって、イントラ符号化を行った場合の発生符号量Ｓと量子化スケールの平均値Ｑの積が双方向予測符号化に比べて小さいことを確認すると、双方向予測符号化に代わってイントラ符号化を行うので、従来のように双方向予測符号化を継続して行ってイントラ符号化ＭＢが多く用いられることが防止できる。
【００７８】
さらにまた、上述の実施形態では、発生符号量制御部５０が、各符号化毎に、発生符号量Ｓと量子化スケールの平均値Ｑとの積Ｘの最新値を記憶しておき、これらを比較するようにしたが、これに代わって例えば、複数の符号化を並行して実施し、同じＶＯＰに対する積Ｘを各符号化毎に求め、これらを比較して符号化を切換制御するようにしてもよい。
【００７９】
また、図１に示した各部は、ハードウェアウェアによってそれぞれ構成することも可能であるが、高速なマイクロプロセッサとソフトウェアを記憶するメモリを用いて各部の機能を発揮することにより実現することも可能である。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【００８０】
【発明の効果】
以上述べたように、この発明では、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、記憶手段に記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定するようにしている。
【００８１】
したがって、この発明によれば、スキップ数が大きくなると、各符号化における量子化スケールと符号量とに応じて、符号化手段にて実施する符号化を画面内符号化に設定することができるため、従来のように画面間符号化や双方向予測符号化を継続して行って画面内符号化マクロブロックが多く用いられて、動き予測の精度が低下し符号量が増大する状態に陥ってしまうことを防止可能な動画像符号化装置を提供できる。
【図面の簡単な説明】
【図１】この発明に係わる動画像符号化装置の一実施形態の構成を示す回路ブロック図。
【図２】図１に示した動画像符号化装置の信号処理部の構成を示す回路ブロック図。
【図３】図１に示した動画像符号化装置の符号化の切換制御を説明するためのフローチャート。
【図４】図１に示した動画像符号化装置の符号化の切換制御を説明するためのフローチャート。
【符号の説明】
１０…符号化部
２０…送信バッファ
３０…発生符号量カウント部
４０…量子化スケール平均値算出部
５０…発生符号量制御部
１００…フレームメモリ
２００…信号処理部
２０１…切換スイッチ
２０２…動き検出回路
２０３…減算器
２０４…離散コサイン変換回路（ＤＣＴ）
２０５…量子化回路
２０６…逆量子化回路
２０７…逆離散コサイン変換回路（逆ＤＣＴ）
２０８…メモリ
３００…可変長符号化器（ＶＬＣ）
１０００…装置制御部
【発明の属する技術分野】
この発明は、例えば有線通信や無線通信により伝送される動画像データを符号化する動画像符号化装置および動画像符号化方法に関する。
【０００２】
【従来の技術】
本発明でいう動画像符号化装置とは、ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ標準ＭＰＥＧに代表される動画像符号化方式、すなわち動き補償や直交変換（例えば、離散コサイン変換）等を用いてフレーム単位で符号化を行う装置である。
【０００３】
ＩＴＵ−Ｔ勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ標準ＭＰＥＧに代表される動画像符号化方式は、一般に入力される映像信号に対して空間的・時間的相関関係により圧縮を行う。そして、この圧縮により得られるデータをもとに、所定の順序にしたがってさらに可変長符号化を行い、符号列（ビットストリーム）を生成する。
【０００４】
以下では、ＭＰＥＧ−４における動画像符号化方式について述べる。
映像信号は、複数のビデオオブジェクトプレーン：ＶＯＰ（Video Object Plane）から構成される。ＶＯＰは矩形状の場合、ＭＰＥＧ−１、２におけるフレームおよびフィールドに相当し、ＶＯＰ単位の空間的・時間的相関関係により圧縮を行う。
【０００５】
ＶＯＰは輝度信号と色差信号をもち、複数のマクロブロック：ＭＢ（Macro Block）から構成される。ＭＢは、輝度信号に対して縦横１６画素から成り、このＭＢ単位に空間的圧縮、時間的圧縮を行う。
【０００６】
空間的圧縮には、離散コサイン変換：ＤＣＴ（Discrete Cosine Transform）と量子化が用いられ、時間的圧縮には、動き補償：ＭＣ（Motion Compensation）が用いられる。
【０００７】
ここでＶＯＰ単位の圧縮方法には、空間的圧縮のみで符号化される画面内符号化（イントラ符号化）と、空間的圧縮と時間的圧縮を用いて符号化される画面間符号化（インター符号化）がある。
【０００８】
一般に、画面内符号化されたＶＯＰをＩ（Intra）−ＶＯＰと呼ぶ。また、画面間符号化されたＶＯＰで、参照ＶＯＰとして時間的に前に符号化されたＶＯＰのみを用いてＭＣを行って符号化されたＶＯＰをＰ（Predictive）−ＶＯＰと呼び、参照ＶＯＰとして時間的に前後に符号化されたＶＯＰを用いて双方向のＭＣを行って符号化されたＶＯＰをＢ（Bi-directionally predictive）−ＶＯＰと呼ぶ。
【０００９】
ここでいう参照ＶＯＰとは、過去にＩ−ＶＯＰまたはＰ−ＶＯＰとして符号化され画面間符号化で用いるために復号されたＶＯＰの中で、現在符号化すべきＶＯＰに対して時間的に隣接する高々２つのＶＯＰのことをいう。
【００１０】
なお、Ｉ−ＶＯＰに含まれるＭＢはすべてイントラ符号化で符号化されなければならないが、Ｐ−ＶＯＰおよびＢ−ＶＯＰに含まれるＭＢはイントラ符号化、インター符号化のどちらを用いて符号化されてもよい。
【００１１】
ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のMPEG-4 Video Verification Model Version 6.0におけるＭＢの符号化のイントラモード／インターモード判定では、ＭＢに含まれる各ピクセルの輝度値に対して、ＭＢ内の全ピクセルの平均値との差分値における絶対値の総和ＡとＭＣ誤差ＳＡＤが以下の条件を満たす時にそのＭＢにイントラ符号化を用いる。
【００１２】
Ａ＜ＳＡＤ−２×ＮＢ
ここで、ＮＢはＶＯＰに含まれるＭＢ内のピクセル数である。
【００１３】
次に、ＭＢ単位の符号化処理について説明する。
【００１４】
符号化すべきＭＢを含むＶＯＰがＩ−ＶＯＰの場合には、輝度信号を色差信号に対して、ＤＣＴと量子化を行うことで得られる量子化されたＤＣＴ係数を可変長符号化により圧縮し、ヘッダ情報とともに所定の順序にしたがってビットストリームを作成する。
【００１５】
一方、符号化すべきＭＢを含むＶＯＰがＩ−ＶＯＰ以外の場合には、符号化すべきＭＢを含むＶＯＰに対して時間的に隣接の符号化されたＶＯＰを参照ＶＯＰとして、ブロックマッチングに代表される動き検出法を用いて、符号化すべきＭＢとの輝度信号における差分値（ＭＣ誤差）が最も小さくなる参照ＶＯＰ上のＭＢを求める。
符号化すべきＭＢからＭＣ誤差が最も小さくなるＭＢまでの動きを示すベクトルを動きベクトルと呼ぶ。
【００１６】
そして、ＭＣ誤差に対してＤＣＴと量子化を行う。ここで得られる動きベクトルと輝度信号と色差信号のＭＣに対して量子化されたＤＣＴ係数を可変長符号化により圧縮し、ヘッダ情報とともに所定の順序にしたがってビットストリームを作成する。
【００１７】
動画像符号化装置は、所定の符号化パラメータにしたがって指定された符号量のビットストリームを出力しなければならない。さらにデコーダ側のバッファに対して、オーバーフローやアンダーフローが生じないように、エンコーダ側でデコーダ側のバッファの占有量を想定して発生符号量を制御しなくてはならない。
【００１８】
このバッファのことを仮想バッファ検証器：ＶＢＶ（Video Buffering Verifier）バッファという。
ＶＢＶバッファの容量は、ＭＰＥＧ−４ではプロファイルとレベルによって上限値が決まっている。
【００１９】
発生符号量はフレームをＭＢごとにＤＣＴを行い、得られたＤＣＴ係数を量子化するために用いる量子化スケールにより制御する。
一般に発生符号量と量子化スケールは反比例の関係にある。この性質を用いて発生符号量を自在に変化させることが可能である。
【００２０】
また一般的に、量子化スケールには制限があるため、量子化スケールだけで発生符号量を制御することは不可能である。そこで、発生符号量が目標値よりも多い場合はフレームスキップ数を大きくし、少ない場合はスタッフィングを行う。
【００２１】
フレームスキップ数を大きくすることで、フレームの符号化タイミングを遅らせ、ＶＢＶバッファのアンダーフローを防ぐことができる。また逆に、スタッフィングという冗長なビットを挿入することで、ＶＢＶバッファのオーバーフローを防ぐことができる。
【００２２】
また、動き量の多いシーンでは動き予測の精度を高くするためには、フレームスキップ数を小さくしたほうがよいが、その一方で、動き量の多いシーンでは全般的に発生符号量が増大し、ＶＢＶバッファがアンダーフローする傾向になる。
【００２３】
このため、動き量の多いシーンが比較的長く続く場合は、ＶＢＶバッファのアンダーフローを防ぐためにフレームスキップ数を大きくしなければならないが、フレームスキップ数を大きくすると、ＭＣに用いる参照ＶＯＰとの相関が低くなることがある。
【００２４】
特に動きが激しいシーンでは、画像中の物体が動き補償対象外の領域まで移動している可能性が高く、このような状態では、相関が低いＶＯＰ間で予測符号化を用いると、動きベクトルが大きく、ＭＣ誤差も大きくなる。
【００２５】
動きベクトルは、隣接するＭＢ（あるいはブロック）の動きベクトルから得られる動きベクトルの予測値との差分値を符号化したものである。一般的に隣接するＭＢあるいはブロックの動きベクトルは、同じあるいは近いことが多いため、上記差分値に比例した符号列が割り当てられている。
【００２６】
また、前述のように画面間符号化ＶＯＰのＭＢは、インター符号化だけではなく、イントラ符号化で符号化されてもよく、上記のような相関が低いＶＯＰ間での予測では、イントラ符号化されるＭＢが比較的多くなる。
【００２７】
以上のことから、符号化すべきＶＯＰと参照ＶＯＰとの相関が高い時、上記動きベクトルの差分値とＭＣ誤差が小さくなるので、インター符号化されるＶＯＰの発生符号量がイントラ符号化を行った場合に比べて飛躍的に削減される。
【００２８】
このため、従来の動画像符号化装置では、符号化すべきＶＯＰと参照ＶＯＰとの相関が高い時は、ＶＯＰをインター符号化するようにしている。
一方、フレームスキップ数が大きく、符号化すべきＶＯＰと参照ＶＯＰとの相関が低い時は、上記ＭＢの符号化のイントラモード／インターモード判定によりイントラ符号化されるＭＢが比較的多くなる。この時、イントラ符号化されるＭＢとインター符号化されるＭＢが無秩序に混在する傾向があるため、インター符号化ＭＢにおける上記動きベクトル予測値が大きくなり符号量が増える。それに加え、ＭＣ誤差も比較的大きいので、ＶＯＰ全体として符号量が増えるという問題があった。
このように符号量が増えると、フレームスキップ数をさらに大きくするという悪循環に陥り、非効率的な状態となる。
【００２９】
【発明が解決しようとする課題】
従来の動画像符号化装置では、インター符号化を行っている場合に、符号化すべきＶＯＰと参照ＶＯＰとの相関が低い時は、ＭＢ単位でイントラ符号化するため、ＶＯＰ全体としての符号量が増えるという問題があった。
【００３０】
この発明は、上記の問題を解決すべくなされたもので、符号化すべきＶＯＰと参照ＶＯＰとの相関が低い時でも、ＶＯＰ全体としての符号量が増大することを防止可能な動画像符号化装置を提供することを目的とする。
【００３１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係わる本発明は、動画像を符号化する動画像符号化装置において、符号化の対象となるフレーム間のスキップ数を制御するスキップ数制御手段と、量子化の度合を示す量子化スケールを制御する量子化スケール制御手段と、画面間符号化と画面内符号化とを選択的に用いて、量子化スケールとスキップ数に基づいて動画像の符号化を行う符号化手段と、この符号化手段にて符号化されたフレームの符号量を求める符号量検出手段と、量子化スケール制御手段によって設定された量子化スケールの平均値と、符号量検出手段で求められた符号量との積をフレーム単位で求めて記憶する記憶手段と、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、記憶手段に記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定する符号化設定手段とを具備して構成するようにした。
【００３２】
また、上記の目的を達成するために、請求項４に係わる本発明は、動画像を符号化する動画像符号化方法において、符号化の対象となるフレーム間のスキップ数を制御するスキップ数制御工程と、量子化の度合を示す量子化スケールを制御する量子化スケール制御工程と、画面間符号化と画面内符号化とを選択的に用いて、量子化スケールとスキップ数に基づいて動画像の符号化を行う符号化工程と、この符号化工程にて符号化されたフレームの符号量を求める符号量検出工程と、量子化スケール制御工程によって設定された量子化スケールの平均値と、符号量検出工程で求められた符号量との積をフレーム単位で求めて記憶する記憶工程と、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、前記記憶工程で記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定する符号化設定工程とを具備して構成するようにした。
【００３３】
上記構成の動画像符号化装置および動画像符号化方法では、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、記憶手段に記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定するようにしている。
【００３４】
したがって、上記構成の動画像符号化装置によれば、スキップ数が大きくなると、各符号化における量子化スケールと符号量とに応じて、符号化手段にて実施する符号化を画面内符号化に設定することができるため、従来のように画面間符号化を用いて符号化を行い、イントラ符号化ＭＢが多く用いられて、動き予測の精度が低下し符号量が増大する状態に陥ってしまうことを防止できる。
【００３５】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる動画像符号化装置の構成を示すものである。
【００３６】
動画像符号化装置は、符号化部１０、送信バッファ２０、発生符号量カウント部３０、量子化スケール平均値算出部４０、発生符号量制御部５０、装置制御部１０００を備えている。
【００３７】
装置制御部１０００は、マイクロプロセッサからなり、上述した各部を統括して制御するもので、例えば当該動画像符号化装置に入力される画像信号（ＶＯＰ）の入力制御や、当該動画像符号化装置の符号化により生成されたビットストリームの出力制御などを行う。
【００３８】
ここでビットストリームの出力制御では、目標となる発生符号量（以下、目標ビットレートと称する）や目標となるフレームレートの設定、レート制御や誤り耐性などの符号化モードの設定などを行う。
【００３９】
符号化部１０は、イントラ符号化およびインター符号化による動画像圧縮処理が可能で、後述する発生符号量制御部５０からの指示に応じて、上記どちらかの動画像圧縮にしたがい、入力されるＶＯＰをＭＢに分割して符号化処理を施すもので、フレームメモリ１００、信号処理部２００、および可変長符号化器（ＶＬＣ）３００を備える。
なお、ここでいう動画像圧縮とは、例えば、ＩＳＯ／ＩＥＣ標準のＭＰＥＧ−４やＩＴＵ−Ｔ勧告のＨ．２６３、あるいはこれらを変更したものである。
【００４０】
フレームメモリ１００は、入力されるＶＯＰを一時的に蓄積し、発生符号量制御部５０からスキップ数が指示される場合には、その値に応じて蓄積しているＶＯＰをスキップ出力する。
【００４１】
信号処理部２００は、発生符号量制御部５０からの指示に応じて、フレームメモリ１００から出力されるＶＯＰを、ＭＢ単位でイントラ符号化あるいはインター符号化による圧縮処理して、マクロブロック情報（ＤＣＴ係数、動きベクトル）を求める。
【００４２】
図２は、信号処理部２００の構成を示すものである。
切換スイッチ２０１は、フレームメモリ１００から出力されるＶＯＰを、発生符号量制御部５０から指示される符号化タイプに応じて、第１の出力端子あるいは第２の出力端子に選択的に出力するもので、発生符号量制御部５０から指示がインター符号化を要求する場合には、上記ＶＯＰを第１の出力端子に出力し、一方、上記指示がイントラ符号化を要求する場合には、上記ＶＯＰを第２の出力端子に出力する。
【００４３】
第１の出力端子に出力されたＶＯＰは、動き検出回路２０２と減算器２０３に出力され、一方、第２の出力端子に出力されたＶＯＰは、離散コサイン変換回路（ＤＣＴ）２０４に出力される。
【００４４】
動き検出回路２０２は、後述するメモリ２０８から出力される、１サンプル前に符号化の対象となったＶＯＰと、切換スイッチ２０１から入力されるＶＯＰとに基づいて、ＭＢ単位の動きベクトルを求め、これを後段の可変長符号化器３００と減算器２０３に出力する。
【００４５】
減算器２０３は、切換スイッチ２０１から入力されるＶＯＰのＭＢと、動き検出回路２０２にて求めた動きベクトルで示される参照ＶＯＰ上のＭＢとの差を求め、離散コサイン変換回路２０４に出力する。
【００４６】
離散コサイン変換回路２０４は、入力される信号に対して、離散コサイン変換を施し、この変換結果を量子化回路２０５に出力する。
量子化回路２０５は、発生符号量制御部５０から指示される量子化スケールで、離散コサイン変換回路２０４の変換結果を量子化してＤＣＴ係数を得る。このＤＣＴ係数は、後段の可変長符号化器３００と、逆量子化回路２０６に出力される。
【００４７】
上記ＤＣＴ係数は、逆量子化される。そして、この逆量子化されたものを逆コサイン変換回路２０７にて逆コサイン変換し、参照ＶＯＰとしてメモリ２０８に一時的に蓄えられ、動き検出回路２０２に出力される。
【００４８】
可変長符号化器３００は、信号処理部２００にて求めたマクロブロック情報（ＤＣＴ係数、動きベクトル）を、所定のシンタックスにしたがって可変長符号化により圧縮し、ヘッダ情報とともに所定の順序にしたがってビットストリームを作成する。
【００４９】
また、発生符号量制御部５０からスタッフィングビット数が指示される場合には、所定のシンタックスに従って、上記ビット数に応じたスタッフィングを行う。
上記ビットストリームは、送信バッファ２０と発生符号量カウント部３０に出力される。
【００５０】
送信バッファ２０は、上記ビットストリームを一時的に蓄積し、この蓄積したビットストリームを装置制御部１０００により設定された目標ビットレートに従って出力する。
【００５１】
発生符号量カウント部３０は、符号化部１０で生成されたビットストリームの符号量をカウントし、そのカウント値を発生符号量制御部５０に通知する。
【００５２】
量子化スケール平均値算出部４０は、発生符号量制御部５０から指示される量子化スケールを累積して、ＶＯＰ毎の量子化スケールの平均値を算出し、発生符号量制御部５０に通知する。
【００５３】
発生符号量制御部５０は、発生符号量カウント部３０から通知される発生符号量と、量子化スケール平均値算出部４０から通知される量子化スケールの平均値と、発生符号量制御部５０で求まるＶＢＶバッファの占有量とに基づいて、次に符号化すべきＶＯＰまでのフレームスキップ数および上記ＶＯＰにおける符号化タイプや量子化スケール、スタッフィングビット数などを求め、これらを符号化部１０に出力する。
【００５４】
なお、発生符号量カウント部３０からの発生符号量、装置制御部１０００からの目標ビットレート、符号化処理が始まってからの時間から、ＶＢＶバッファの占有量は発生符号量制御部５０で算出できる。
【００５５】
また、発生符号量制御部５０は、上記発生符号量と、上記量子化スケールの平均値と、フレームスキップ数に応じて、符号化部１０における符号化をイントラ符号化に切換制御する。
【００５６】
次に、上記構成の動画像符号化装置の動作について説明する。
なお、当該動画像符号化装置においても、従来と同様にＶＢＶバッファの制限を満たすように、量子化スケールの制御、フレームスキップ数の制御、およびスタッフィングを行うが、以下ではこれらの制御については説明を省略する。
【００５７】
ここでは、当該発明に関わる、符号化部１０における符号化処理の切換制御について説明する。この制御は、発生符号量制御部５０によってなされる。図３は、上記切換制御を説明するためのフローチャートで、当該装置の起動後、停止されるまで繰り返し実行される。
【００５８】
まず、ステップ３ａでは、例えば従来と同様の基準に基づいて、符号化方法を決定し、この決定した符号化処理を実施するように、符号化部１０に指示を与え、ステップ３ｂに移行する。これにより、符号化部１０は、上記決定した符号化方法で符号化処理を開始する。
【００５９】
ステップ３ｂでは、当該装置の運用を終了する指示を受け付けたか否かを監視する。ここで、当該装置の運用を終了する指示を受け付けた場合には、この処理を終了し、一方、上記指示を受け付けていない場合には、現時点での符号化処理を継続して行い、ステップ３ｃに移行する。
【００６０】
ステップ３ｃでは、発生符号量カウント部３０より通知される発生符号量Ｓと、量子化スケール平均値算出部４０より通知される量子化スケールの平均値Ｑとの積Ｘを求める。
なお、この値Ｘは、ＩＳＯ／ＩＥＣ標準のVideo Codec Test Model Version5（TM5）のglobal complexity measureとして知られている値である。
【００６１】
ここで、Ｉ−ＶＯＰの発生符号量をＳｉとし、量子化スケールの平均値をＱｉとし、両者の積をＸｉとする。同様に、Ｐ−ＶＯＰの発生符号量をＳｐとし、量子化スケールの平均値をＱｐとし、両者の積をＸｐとする。
【００６２】
すなわち、ステップ３ｃでは、この時点で行っている符号化のＸ（Ｘｉ、、あるいはＸｐ）の値が求められ、発生符号量制御部５０は、その最新値を記憶し、ステップ３ｄに移行する。ただし、発生符号量制御部５０は、符号化毎にＸの最新値を記憶する。
【００６３】
ステップ３ｄでは、次に行う符号化処理がイントラ符号化であるか否かを判定する。ここで、イントラ符号化の場合にはステップ３ａに移行し、そうでない場合にはステップ３ｅに移行する。
【００６４】
ステップ３ｅでは、フレームスキップ数が予め設定した値以上になっているか否かを判定する。ここで、フレームスキップ数が予め設定した値以上になっている場合には、ステップ３ｆに移行し、一方、フレームスキップ数が予め設定した値未満の場合には、ステップ３ａに移行する。
【００６５】
ステップ３ｆでは、記憶しているＸｐとＸｉとの比（Ｘｐ／Ｘｉ）を求め、この比が所定値α（＞０）より大きいか否かを判定する。ここで、Ｘｐ／Ｘｉが、所定値αより大きい場合には、ステップ３ｇに移行し、一方、Ｘｐ／Ｘｉが、所定値α以下の場合にはステップ３ａに移行する。
【００６６】
ステップ３ｇでは、符号化部１０に対して、イントラ符号化処理を実施するように指示を与え、ステップ３ｂに移行する。これにより、符号化部１０は、イントラ符号化処理を開始する。
【００６７】
以上のように、上記構成の動画像符号化装置では、各符号化毎に、発生符号量Ｓと量子化スケールの平均値Ｑとの積Ｘ（Ｘｉ、Ｘｐ）の最新値を記憶しておき、フレームスキップ数が所定値以上でインター符号化を行っている場合に、Ｘｐ／Ｘｉ＞αであると、現在行っているインター符号化に代わり、イントラ符号化を行うようにしている。
【００６８】
すなわち、上記構成の動画像符号化装置では、フレームスキップ数が大きくなってＶＯＰ間の相関が低くなると、イントラ符号化を行った場合の発生符号量Ｓと量子化スケールＱの積がインター符号化に比べて小さいことを確かめて、インター符号化に代わってイントラ符号化を行う。
【００６９】
このため、従来のようにインター符号化を継続して行ってイントラ符号化ＭＢが多く用いられて、動き予測の精度が低下することによる符号量増大を防止できる。
【００７０】
したがって、上記構成の動画像符号化装置によれば、フレームスキップ数が大きくなってＶＯＰ間の相関が低くなっても、ＶＯＰ全体としての符号量が増大することを防止でき、ひいてはフレームスキップ数を小さくして符号化効率を高めることができ、イントラ符号化によるエラー耐性も高まる。
【００７１】
尚、この発明は上記実施の形態に限定されるものではない。
この発明は、発生符号量Ｓと量子化スケールの平均値Ｑとの積Ｘを、異なる符号化毎に求めて比較し、積Ｘが小さい符号化を行うようにしたことを特徴としており、この特徴に基づいた構成であれば、種々の変形が可能である。
【００７２】
例えば、αを定数としたが、フレームスキップ数によってＶＯＰ間の相関も変化することを考慮して、下式に示すように、αをフレームスキップ数に関する値としてもよい。
α＝ｆ（frameSkip（t））
ここでｔは時間を示し、frameSkip（t）は、時刻ｔのＶＯＰにおけるフレームスキップ数を示す。
【００７３】
また、フレームスキップ数は時間的に直前に符号化されたＶＯＰからのフレームスキップ数のみを用いているが、下式に示すように、さらに過去のフレームスキップ数も用いてαを定めてもよい。
α＝ｆ（frameSkip（t），frameSkip（t-t0））
さらに、上記実施の形態では、符号化部１０がインター符号化とイントラ符号化のうち、いずれか一方を選択的に実施する場合を例に挙げて説明したが、これに限定されるものではなく、双方向予測符号化を行う場合にも適用できる。
【００７４】
この場合、図３に示した処理に対して、図４に示すようにステップ３ｈ、３ｉを加えるようにする。
図４に示す処理では、ステップ３ｅにおいて、フレームスキップ数が予め設定した値以上になっているか否かを判定し、フレームスキップ数が予め設定した値以上になっている場合には、ステップ３ｈに移行し、一方、フレームスキップ数が予め設定した値未満の場合には、ステップ３ａに移行する。
【００７５】
ステップ３ｈでは、次に行う符号化処理がインター符号化であるか否かを判定する。ここで、インター符号化の場合にはステップ３ｆに移行し、そうでない場合にはステップ３ｉに移行する。
【００７６】
ここで、Ｂ−ＶＯＰの発生符号量をＳｂとし、量子化スケールの平均値をＱｂとし、両者の積をＸｂとする。
ステップ３ｉでは、記憶しているＸｂとＸｉとの比（Ｘｂ／Ｘｉ）を求め、この比が所定値α（＞０）より大きいか否かを判定する。ここで、Ｘｂ／Ｘｉが、所定値αより大きい場合には、ステップ３ｇに移行し、一方、Ｘｂ／Ｘｉが、所定値α以下の場合にはステップ３ａに移行する。
【００７７】
以上のような処理によれば、双方向予測符号化処理を行っている場合でも、フレームスキップ数が大きくなってＶＯＰ間の相関が低くなって、イントラ符号化を行った場合の発生符号量Ｓと量子化スケールの平均値Ｑの積が双方向予測符号化に比べて小さいことを確認すると、双方向予測符号化に代わってイントラ符号化を行うので、従来のように双方向予測符号化を継続して行ってイントラ符号化ＭＢが多く用いられることが防止できる。
【００７８】
さらにまた、上述の実施形態では、発生符号量制御部５０が、各符号化毎に、発生符号量Ｓと量子化スケールの平均値Ｑとの積Ｘの最新値を記憶しておき、これらを比較するようにしたが、これに代わって例えば、複数の符号化を並行して実施し、同じＶＯＰに対する積Ｘを各符号化毎に求め、これらを比較して符号化を切換制御するようにしてもよい。
【００７９】
また、図１に示した各部は、ハードウェアウェアによってそれぞれ構成することも可能であるが、高速なマイクロプロセッサとソフトウェアを記憶するメモリを用いて各部の機能を発揮することにより実現することも可能である。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【００８０】
【発明の効果】
以上述べたように、この発明では、スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、記憶手段に記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、上記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、スキップ後のフレームの符号化方法を画面内符号化に設定するようにしている。
【００８１】
したがって、この発明によれば、スキップ数が大きくなると、各符号化における量子化スケールと符号量とに応じて、符号化手段にて実施する符号化を画面内符号化に設定することができるため、従来のように画面間符号化や双方向予測符号化を継続して行って画面内符号化マクロブロックが多く用いられて、動き予測の精度が低下し符号量が増大する状態に陥ってしまうことを防止可能な動画像符号化装置を提供できる。
【図面の簡単な説明】
【図１】この発明に係わる動画像符号化装置の一実施形態の構成を示す回路ブロック図。
【図２】図１に示した動画像符号化装置の信号処理部の構成を示す回路ブロック図。
【図３】図１に示した動画像符号化装置の符号化の切換制御を説明するためのフローチャート。
【図４】図１に示した動画像符号化装置の符号化の切換制御を説明するためのフローチャート。
【符号の説明】
１０…符号化部
２０…送信バッファ
３０…発生符号量カウント部
４０…量子化スケール平均値算出部
５０…発生符号量制御部
１００…フレームメモリ
２００…信号処理部
２０１…切換スイッチ
２０２…動き検出回路
２０３…減算器
２０４…離散コサイン変換回路（ＤＣＴ）
２０５…量子化回路
２０６…逆量子化回路
２０７…逆離散コサイン変換回路（逆ＤＣＴ）
２０８…メモリ
３００…可変長符号化器（ＶＬＣ）
１０００…装置制御部
Claims (6)
- 動画像を符号化する動画像符号化装置において、
符号化の対象となるフレーム間のスキップ数を制御するスキップ数制御手段と、
量子化の度合を示す量子化スケールを制御する量子化スケール制御手段と、
画面間符号化と画面内符号化とを選択的に用いて、前記量子化スケールと前記スキップ数に基づいて動画像の符号化を行う符号化手段と、
この符号化手段にて符号化されたフレームの符号量を求める符号量検出手段と、
前記量子化スケール制御手段によって設定された量子化スケールの平均値と、前記符号量検出手段で求められた符号量との積をフレーム単位で求めて記憶する記憶手段と、
前記スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、前記記憶手段に記憶される積のうち、画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、前記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、前記スキップ後のフレームの符号化方法を画面内符号化に設定する符号化設定手段とを具備したことを特徴とする動画像符号化装置。 - 前記画面間符号化は、順方向予測符号化および双方向予測符号化の少なくとも一方であることを特徴とする請求項１に記載の動画像符号化装置。
- 前記符号化設定手段は、画面間符号化および画面内符号化毎に、量子化スケールの平均値と符号量との積を求め、前記記憶手段に記憶することを特徴とする請求項１に記載の動画像符号化装置。
- 動画像を符号化する動画像符号化方法において、
符号化の対象となるフレーム間のスキップ数を制御するスキップ数制御工程と、
量子化の度合を示す量子化スケールを制御する量子化スケール制御工程と、
画面間符号化と画面内符号化とを選択的に用いて、前記量子化スケールと前記スキップ数に基づいて動画像の符号化を行う符号化工程と、
この符号化工程にて符号化されたフレームの符号量を求める符号量検出工程と、
前記量子化スケール制御工程によって設定された量子化スケールの平均値と、前記符号量検出工程で求められた符号量との積をフレーム単位で求めて記憶する記憶工程と、
前記スキップ数が予め設定した閾値以上を示し、かつスキップ後のフレームの符号化方法が画面間符号化であるとき、前記記憶工程で記憶された画面間符号化を行ったフレームについて求めた積が示す値と画面内符号化を行ったフレームについて求めた積が示す値とを比較し、前記画面内符号化を行ったフレームについて求めた積が示す値が小さい場合は、前記スキップ後のフレームの符号化方法を画面内符号化に設定する符号化設定工程とを具備したことを特徴とする動画像符号化方法。 - 前記画面間符号化は、順方向予測符号化および双方向予測符号化の少なくとも一方であることを特徴とする請求項４に記載の動画像符号化方法。
- 前記符号化設定工程は、画面間符号化および画面内符号化毎に、量子化スケールの平均値と符号量との積を求め、前記記憶工程で記憶することを特徴とする請求項４に記載の動画像符号化方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001056014A JP3641214B2 (ja) | 2001-02-28 | 2001-02-28 | 動画像符号化装置および動画像符号化方法 |
| US10/058,406 US7054364B2 (en) | 2001-02-28 | 2002-01-30 | Moving picture encoding apparatus and moving picture encoding method |
| CNB021033994A CN1178513C (zh) | 2001-02-28 | 2002-01-31 | 运动图像编码装置以及运动图像编码方法 |
| EP20020001925 EP1237378A3 (en) | 2001-02-28 | 2002-01-31 | Moving picture encoding apparatus and moving picture encoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001056014A JP3641214B2 (ja) | 2001-02-28 | 2001-02-28 | 動画像符号化装置および動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002262297A JP2002262297A (ja) | 2002-09-13 |
| JP3641214B2 true JP3641214B2 (ja) | 2005-04-20 |
Family
ID=18916107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001056014A Expired - Fee Related JP3641214B2 (ja) | 2001-02-28 | 2001-02-28 | 動画像符号化装置および動画像符号化方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7054364B2 (ja) |
| EP (1) | EP1237378A3 (ja) |
| JP (1) | JP3641214B2 (ja) |
| CN (1) | CN1178513C (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2002353301A1 (en) * | 2001-11-21 | 2003-06-10 | Canon Kabushiki Kaisha | Method and device for determining at least one multimedia data encoding parameter |
| JP4069444B2 (ja) * | 2002-12-10 | 2008-04-02 | ソニー株式会社 | 符号化制御方法及び符号化制御プログラム |
| EP1641269A4 (en) | 2003-06-30 | 2011-04-27 | Mitsubishi Electric Corp | DEVICE AND METHOD FOR IMAGE CODING |
| FR2875076B1 (fr) * | 2004-09-07 | 2007-02-02 | Canon Kk | Procede et dispositif de codage d'un signal numerique d'image et procede et dispositif de decodage associes |
| US7936938B2 (en) | 2004-09-07 | 2011-05-03 | Canon Kabushiki Kaisha | Methods and devices for encoding a digital image signal and associated decoding methods and devices |
| GB0428160D0 (en) * | 2004-12-22 | 2005-01-26 | British Telecomm | Variable bit rate processing |
| JP4264656B2 (ja) * | 2005-08-11 | 2009-05-20 | ソニー株式会社 | 符号化装置及び方法、並びにプログラム及び記録媒体 |
| JP4794987B2 (ja) * | 2005-11-09 | 2011-10-19 | キヤノン株式会社 | 映像信号処理装置 |
| DE602006004428D1 (de) * | 2006-04-13 | 2009-02-05 | Thomson Licensing | Verfahren und Vorrichtung zum Bestimmen eines Grenzwertes eines SKIP-Modes in Videokodierung |
| WO2008105222A1 (ja) * | 2007-02-27 | 2008-09-04 | Nec Corporation | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム |
| WO2011027506A1 (ja) * | 2009-09-03 | 2011-03-10 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム |
| JP5556996B2 (ja) * | 2010-01-06 | 2014-07-23 | ソニー株式会社 | 画像処理装置および方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5260783A (en) | 1991-02-21 | 1993-11-09 | Gte Laboratories Incorporated | Layered DCT video coder for packet switched ATM networks |
| FR2691272B1 (fr) | 1992-05-15 | 1997-01-17 | Thomson Csf | Procede de codage d'images tres bas debit et dispositif de codage mettant en óoeuvre ce procede. |
| US5802213A (en) | 1994-10-18 | 1998-09-01 | Intel Corporation | Encoding video signals using local quantization levels |
| JPH08237669A (ja) * | 1995-02-28 | 1996-09-13 | Sony Corp | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 |
| US6002802A (en) * | 1995-10-27 | 1999-12-14 | Kabushiki Kaisha Toshiba | Video encoding and decoding apparatus |
| US5872598A (en) | 1995-12-26 | 1999-02-16 | C-Cube Microsystems | Scene change detection using quantization scale factor rate control |
| KR100495716B1 (ko) | 1996-04-12 | 2005-11-25 | 소니 가부시끼 가이샤 | 화상인코딩장치와방법및화상인코딩프로그램이기록된매체 |
| JP3340639B2 (ja) * | 1997-01-29 | 2002-11-05 | 株式会社日立製作所 | 映像データの記録再生方法とその装置 |
| US5987180A (en) * | 1997-09-26 | 1999-11-16 | Sarnoff Corporation | Multiple component compression encoder motion search method and apparatus |
| US6625211B1 (en) * | 1999-02-25 | 2003-09-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transforming moving picture coding system |
| CN1159916C (zh) * | 1999-06-22 | 2004-07-28 | 日本胜利株式会社 | 活动图象编码装置及其方法 |
-
2001
- 2001-02-28 JP JP2001056014A patent/JP3641214B2/ja not_active Expired - Fee Related
-
2002
- 2002-01-30 US US10/058,406 patent/US7054364B2/en not_active Expired - Fee Related
- 2002-01-31 EP EP20020001925 patent/EP1237378A3/en not_active Withdrawn
- 2002-01-31 CN CNB021033994A patent/CN1178513C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1373611A (zh) | 2002-10-09 |
| CN1178513C (zh) | 2004-12-01 |
| US20020118753A1 (en) | 2002-08-29 |
| JP2002262297A (ja) | 2002-09-13 |
| US7054364B2 (en) | 2006-05-30 |
| EP1237378A2 (en) | 2002-09-04 |
| EP1237378A3 (en) | 2004-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Rate-distortion optimization of rate control for H. 264 with adaptive initial quantization parameter determination | |
| US8218627B2 (en) | Scalable MPEG video/macro block rate control | |
| JP3954656B2 (ja) | 画像符号化装置及び方法 | |
| US8526492B2 (en) | Encoding method, decoding method, and encoding apparatus for a digital picture sequence | |
| JP2001169281A (ja) | 動画像符号化装置、および動画像符号化方法 | |
| JPH0898185A (ja) | 画像符号化装置 | |
| JP3641214B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP2004274236A (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4254147B2 (ja) | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 | |
| WO1999059344A1 (en) | Conditional masking for video encoder | |
| JP3669281B2 (ja) | 符号化装置および符号化方法 | |
| KR100708182B1 (ko) | 동영상 부호화기의 비트율 제어 장치 및 방법 | |
| JPH09294267A (ja) | 画像圧縮符号化装置 | |
| JP4718736B2 (ja) | 動画像符号化装置 | |
| JP5136470B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JPH10229563A (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| US6922490B2 (en) | Image compression of selected regions based on transmission bit rate, motion, and/or region information, and bit selection before compression based on transmission bit rate | |
| JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
| JP2002199408A (ja) | 動画像符号化方法および動画像符号化装置 | |
| US20060146929A1 (en) | Method and system for acceleration of lossy video encoding owing to adaptive discarding poor-informative macroblocks | |
| JP3661711B2 (ja) | 画像符号化方法および装置 | |
| JP3779066B2 (ja) | 動画像符号化装置 | |
| JPH11205803A (ja) | 符号化装置及び符号化方法 | |
| JP2004165894A (ja) | 符号化器のビットレート制御方法 | |
| JP4926912B2 (ja) | 映像符号化装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040622 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |