JP4537186B2 - 符号化モード判定装置及び方法 - Google Patents

Description

本発明は、動画像信号を圧縮符号化する動画像符号化装置に好適に用いることのできる符号化モード判定装置及び方法に関する。

動画像は情報量が多いため、記録・伝送するにあたり、情報を圧縮する技術が必要になる。動画像圧縮技術の代表例として“ＩＴＵ勧告Ｈ．２６１ オーディオビジュアル・サービス用ビデオ符号化”などのハイブリッド符号化方式が挙げられ、これらの方式はフレーム間冗長情報を削減する（以下、インタ符号化）ことにより高圧縮を達成している。しかし、常にフレーム間冗長情報を削減する事が最適な圧縮を促すものでなく、フレーム間の冗長情報を削減するより、フレーム内の冗長情報を削減（以下、イントラ符号化）した方が、高圧縮につながる場合がある。そのため、インタ符号化とイントラ符号化のどちらを用いた方がよいかを判定する符号化モード判定には、高精度であることが望まれている。

図８は、従来の動画像符号化装置の構成例を示すブロック図である。
動画像入力部１００には、時間方向に連続する複数フレームで構成されるデジタル動画像が入力される。動画像入力部１００から入力された動画像は小さな矩形領域（例えば８ｘ８画素，１６ｘ１６画素など）に分割され、カラー動画像の場合はマクロブロックと呼ばれる矩形領域単位で符号化を行う（マクロブロックは一つ以上の矩形領域で構成される）。

以下では、入力動画像がカラー画像である事を想定し、マクロブロック単位で処理を行う。動きベクトル検出部１０９では、画像入力部１００からの現フレームの画像データと、フレームメモリ１０８に記憶された前フレームの局所復号化画像を参照して、マクロブロック単位で動きベクトル検出を行う。この際、符号化対象ブロックの周囲±１５画素の範囲で、ブロックマッチングを行い、各輝度の予測誤差の平均絶対値が最小のブロックを予測ブロックとして、動きベクトルを検出する。

フレームメモリ１０８には、予測画像保持部１１１の画像情報と、減算部１０１、セレクタ１（１１６）、直交変換部１０３、量子化部１０４、逆量子化部１０５、逆直交変換部１０６を経た差分信号の局所復号化情報とを加算部１０７で加算した再生フレーム（参照フレーム）を蓄積する領域がある。動き補償部１１０は、動きベクトル検出部１０９により検出された動きベクトルを用いて、フレームメモリ１０８に蓄積された参照フレームから予測ブロックを検出し、予測画像保持部１１１に出力する。予測画像保持部１１１は、蓄積している予測画像を減算部１０１とセレクタ２（１１７）に出力する。セレクタ２（１１７）は、符号化モード判定部１０２から送られるモード判定情報に基づき、予測画像保持部１１１の画像データを加算部１０７へ送る。

減算部１０１は、動画像入力部１００から入力される符号化対象ブロックと、予測画像保持部１１１からの予測画像ブロックから予測誤差を算出し、セレクタ１（１１６）へ予測誤差を送る。セレクタ１（１１６）では、符号化モード判定部１０２の制御により、減算部１０１から出力された予測誤差か、動画像入力部１００から減算部１０１を通らずに供給される原画像のいずれかを、符号化単位であるマクロブロック単位で直交変換部１０３に出力する。直交変換部１０３では、ＤＣＴ変換によって直交変換が行われる。量子化部１０４では、レート制御部１１２（後述）から出力される量子化制御信号に基づき、スカラー量子化が行われ、量子化後の値を可変長符号化部１１３と逆量子化部１０５に出力する。可変長符号化部１１３では、量子化部１０４で量子化された値を可変長符号化し、バッファ１１４へ出力する。バッファ１１４では、バッファ内の符号量などの情報をレート制御部１１２へ出力するとともに、符号データを符号出力部１１５へ出力する。

レート制御部１１２では、バッファ１１４から出力される符号量などの情報に基づき、量子化部１０４に量子化制御信号を送る。逆量子化部１０５では、量子化部１０４で量子化された値を逆量子化し、逆量子化された値を逆直交変換部１０６へ出力する。逆直交変換部１０６では、直交化された予測誤差信号を逆直交化し、加算部１０７に出力する。加算部１０７は、逆直交変換部１０６の出力と、予測画像保持部１１１の出力を加算し符号化対象ブロックを再生し、フレームメモリ１０８に出力する

上述のように、符号化モード判定部１０２の判定精度は符号化結果の画質に影響を及ぼす。そこで、図９に符号化モード判定部１０２の構成例を示し、その具体的な処理についてさらに説明する。符号化モード判定部１０２には、フレーム単位で、フレーム内符号化とフレーム間符号化の選択を行う処理部と、マクロブロック単位でフレーム内符号化とフレーム間符号化の選択（以下、イントラインタ判定）を行う処理部が存在するが、フレーム単位の選択はIPPIPP....（Ｉ＝フレーム内符号化、Ｐ＝フレーム間符号化）という固定パターンで繰り返すものとして、フレーム単位の判定を行う処理部は図９では省略している。従って、図９にはマクロブロック単位の符号化方法選択に関する構成が示されている。

統計量第一算出部１５０と統計量第二算出部１５１はそれぞれ、原画像と差分画像に関する、輝度もしくは周波数空間上の統計量をマクロブロック単位で算出し、算出結果は統計量比較部１５２にて比較される。符号化モードセレクタ１５３は、統計量比較部１５２での比較結果に基づき、イントラ符号化、インタ符号化のいずれかを選択して、選択された符号化モードをセレクタ１（１１６）及びセレクタ２（１１７）へ送信する。セレクタ１（１１６）は、符号化モード判定部１０２から判定結果が通知されるまで原画像と差分画像を保持し、通知された符号化モードに応じ、イントラ符号化では原画像を、インタ符号化では差分画像を直交変換部１０３へ出力する。

図１０はこのような符号化モード判定部１０２のより具体的な処理の流れの例を示すフローチャートである。
符号化モード判定が開始されると（ステップＳ１０００）、符号化対象のマクロブロックをイントラ符号化した時の発生符号量とインタ符号化した時の発生符号量を予測するために、統計量第一算出部１５０では、原画像のマクロブロックIMbに関する空間統計量Istatを、統計量第二算出部１５１では予測誤差のマクロブロックPMbに関する統計量Pstatを算出し（ステップＳ１００１）する。統計量比較部１５２ではIstatとPstatの大小を比較する（ステップＳ１００２）。

Pstatと”PMbの発生符号量”、Istatと”Imbの発生符号量”は比例関係であると仮定すると、Pstat＜Istatの場合には仮定より予測誤差の方が発生符号量は少ないことになり、符号化モードセレクタ１５３では、インタ符号化が選択され（ステップＳ１００３）、逆にIstatの方が小さい場合、符号化モードセレクタ１５３では、イントラ符号化が選択される（ステップＳ１００４）。インタ符号化、イントラ符号化いずれかが選択されるとモード判定は終了する（ステップＳ１００５）。

IMbとPMbを実際に符号化し、発生した符号量Icode,PcodeをそれぞれIstat,Pstatとし、発生符号量の小さい方を選択すると、符号量の観点から最適なモード判定となるが、実際に符号化すると処理能力を大きく費やすことになるため、簡単な近似式で発生符号量を予測する事が多い。

例えば、ISOで標準化されているMPEG2 Test Model 5では、IstatとPstatを輝度の分散や絶対和として発生符号量を見積もり、モード判定を行っている。また、特許文献１には、IMbとPMbを直交変換し、周波数空間上の係数の統計量をIstat,Pstatとして符号量を予測することが記載されている。

特開２０００−３４１６９７号公報（段落００３３）

しかしながら、輝度の分散や絶対和などでモード判定する場合、計算コスト（計算負荷もしくは計算に必要な能力資源）は少ないが、シーンチェンジのように極端な輝度の変化がなければ正確なモード判定は困難である。また、周波数空間上の係数の統計量でモード判定する場合、精度良くモード判定できるが、計算コストが上昇する。

本発明はこのような従来技術の課題を解決し、計算コストを抑えながら良好な判定精度を得ることが可能な符号化モード判定装置及び方法を実現することにある。

上述の目的は、フレーム内符号化、フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定装置であって、原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出手段と、フレーム内信号の周波数統計量を算出する第１の周波数統計量算出手段と、原画像信号と予測画像信号との差分信号の空間統計量を算出する第２の空間統計量算出手段と、差分信号の周波数統計量を算出する第２の周波数統計量算出手段と、第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値と所定の閾値との大少関係を判定する判定手段と、判定手段によって、第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値が所定の閾値以上と判定された原画像信号については、第１及び第２の空間統計量算出手段が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、判定手段によって第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値が所定の閾値よりも小さいと判定された原画像信号については、第１及び第２の周波数統計量算出手段が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定手段とを有することを特徴とする符号化モード判定装置によって達成される。

また、上述の目的は、フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定方法であって、原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出工程と、フレーム内信号の周波数統計量を算出する第１の周波数統計量算出工程と、原画像信号と予測画像信号との差分信号の空間統計量を算出する第２の空間統計量算出工程と、差分信号の周波数統計量を算出する第２の周波数統計量算出工程と、第１及び第２の空間統計量算出工程が算出した空間統計量の差の絶対値と所定の閾値との大少関係を判定する判定工程と、判定工程によって、第１及び第２の空間統計量算出工程が算出した空間統計量の差の絶対値が所定の閾値以上と判定された原画像信号については、第１及び第２の空間統計量算出工程が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、判定工程によって、第１及び第２の空間統計量算出工程が算出した空間統計量の差の絶対値が所定の閾値よりも小さいと判定された原画像信号については、第１及び第２の周波数統計量算出工程が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定工程とを有することを特徴とする符号化モード判定方法によっても達成される。

さらに、上述の目的は、本発明の符号化モード判定方法をコンピュータに実行させるプログラム及びこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。

このような構成により、本発明によれば、計算コストを抑えながら良好な判定精度を得ることが可能となる。

以下、図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
本発明の第１の実施形態に係る動画像符号化装置の基本的な構成は、符号化モード判定部以外は図８を用いて説明した従来構成と同等でよい。従って、以下の説明においては本実施形態における符号化モード判定部についてのみ説明する。

また、本実施形態において用いるフレーム間符号化方式は、説明及び理解を容易にするため、動きベクトルを用いた簡単な方式を例にとって説明する。しかし、これに限定されることなく、例えば、ＭＰＥＧ２、ＭＰＥＧ４符号化で用いられるようなフレーム間符号化方式に適用することも可能である。

図１は、本実施形態における符号化モード判定部の構成例を示すブロック図である。
符号化モード判定部は、原画像をマクロブロック毎に入力する原画像入力部２０９、差分画像をマクロブロック毎に入力する差分画像入力部２１０、原画像のマクロブロックの輝度絶対和を算出する空間統計量第一算出部２０１、差分画像のマクロブロックの輝度絶対和を算出する空間統計量第二算出部２０２、絶対和の比較を行う空間統計量比較部２０３、モード判定が不安定になるマクロブロックを判定する不安定性検出部２０４、原画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第一算出部２０５、差分画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第二算出部２０６、係数の統計量を比較する周波数統計量比較部２０７、空間統計量比較部２０３と周波数統計量比較部２０７の結果から最終的にイントラ符号化、インタ符号化のいずれかを選択する符号化モードセレクタ２０８、選択した符号化方式をセレクタ１（１１６）、及びセレクタ２（１１７）に出力するデータ出力部２１１とを備える。

次に、このような構成を有する符号化モード判定部の動作を、図２のフローチャートに基づき説明する。
まず、空間統計量第一算出部２０１では、原画像入力部２０９から入力されたマクロブロック単位の原画像データから、輝度の絶対和SMAEintraを算出する。同様に、空間統計量第二算出部２０２では、差分画像入力部２１０から入力されたマクロブロック単位の差分画像データから、輝度の絶対和SMAEinterを算出する（ステップＳ２００１）。

不安定性検出部２０４では、空間統計量算出部２０１、２０２の出力の差の絶対値ABS(SMAEinter-SMAEintra)と、AｘSMAEintra+B（A,Bは正の実数）を求め、その値を比較する（ステップＳ２００２）。そして、大小関係に応じて以下の処理を行う。
１．ABS(SMAEinter-SMAEintra)＞＝AｘSMAEintra+B（ステップＳ２００２、Ｎｏ）の場合
これは、SMAEinterを縦軸に、SMAEintraを横軸とした図３において、太線で囲まれていない領域に対応する。この場合、不安定性検出部２０４は、モード判定が安定する（符号化対象のマクロブロックが、低精度なモード判定方法でも精度の良いモード判定ができるマクロブロック）と予測し、空間統計量比較部２０３を起動し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６、周波数統計量比較部２０７を停止させる。

ここでABS(SMAEinter-SMAEintra)＞＝AｘSMAEintra+Bの意味を説明する。実際に比較したい量は発生符号量であり、理想的にはinterの発生符号量とintraの発生符号量を比較すべきである。しかし、計算量が増えるため、本実施形態では計算が容易なSMAEinterとSMAEintraの比較を行う事によって発生符号量を予測している。具体的にはABS(SMAEinter-SMAEintra)を計算し、結果が正の値ならSMAEintraの方が小さいのでintra符号化の方が、負の値ならinter符号化の発生符号量が小さいと判定することができる。しかし、やはり予測式であるため、実際には大小関係に誤差が含まれる。

この誤差はSMAEinterとSMAEintraの値によって変動する。
どちらかが極端に小さい場合、もしくは大きい場合は、空間統計量同士の比較をすれば符号量同士の比較をした事になる。例えばSMAEinter、SMAEintraが輝度の絶対和の平均なら、それは画像信号のＤＣ成分の概算であるため、極端にお互いの値が異なるなら、発生符号量にも極端な差が生じる。

一方、お互いの値が近い場合、ＤＣ成分の値が近いということになるので、大小関係はＡＣ成分から発生する符号量により決定される必要がある。本明細書における不安定領域とはこのような領域であり、具体的にはABS(SMAEinter-SMAEintra)＜AｘSMAEintra+Bを満たす領域である。

そこで、ABS(SMAEinter-SMAEintra)の値と予め決めた誤差THerrorと比較するABS(SMAEinter-SMAEintra)＞＝THerrorという比較式が考えられる。しかし、SMAEinter、SMAEintraの絶対値によって誤差は変動するので、さらに高精度化することが好ましい。そこで、本実施形態では、絶対値が大きいほど誤差が大きくなるように閾値をSMAEintraに連動させたAｘSMAEintra+Bという誤差を用いている。

ここで、誤差の算出に用いるＡとＢのとりうる値は符号化時の設定レートによって変動するが、Ａ、Ｂの値が極端に大きいと、不安定領域と検出される領域が拡大し計算量が増えるため、あまり大きな値を使わないことが好ましい。具体的には設定レートによって変更することが好ましいが、例えばＡ＝１、Ｂ＝０．１という微小な数値でも、効果を得ることができる。

次に、空間統計量比較部２０３は、SMAEinterとSMAEintraを比較し、SMAEinter＜SMAEintraの場合（ステップＳ２００３，Ｙｅｓ）、ＦＬＡＧ＝０を、SMAEintra≦SMAEinterの場合（ステップＳ２００３，Ｎｏ）、ＦＬＡＧ＝１を符号化モードセレクタ２０８に送信する。

２．ABS(SMAEinter-SMAEintra)＜AｘSMAEintra+B（ステップＳ２００２，Ｙｅｓ）の場合
これは、図３において太線で囲まれている領域に対応する。この場合、不安定性検出部２０４は、モード判定が不安定になる（符号化対象のマクロブロックが、高精度なモード判定方法でないと精度の良いモード判定ができないマクロブロック）と予測し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６及び周波数統計量比較部２０７を起動させ、空間統計量比較部２０３を停止させる。

周波数統計量第一算出部２０５では、原画像入力部２０９から入力されたマクロブロック単位の画像データの輝度を直交変換し、その係数の絶対和TMAEintraを算出し、周波数統計量第二算出部２０６では、差分画像入力部２１０から入力されたマクロブロック単位の差分画像データの輝度を直交変換し、その係数の絶対和TMAEinterを算出する（ステップＳ２００５）。

周波数統計量比較部２０７では、TMAEinterとTMAEintraを比較し、TMAEinter＜TMAEintraの場合（ステップＳ２００６，Ｙｅｓ）、ＦＬＡＧ＝０を、TMAEinter≧TMAEintraの場合（ステップＳ２００６，Ｎｏ）、ＦＬＡＧ＝１を符号化モードセレクタ２０８に送信する。

符号化モードセレクタ２０８では、空間統計量比較部２０３、周波数統計量比較部２０７のいずれかから出力されるＦＬＡＧの値により、符号化方法を以下（ステップＳ２００４）のように決定し、モード判定を終了する。なお空間統計量比較部２０３と周波数統計量比較部２０７は不安定性検出部２０４に制御されているため、同時に起動されない。
１．ＦＬＡＧ＝１の時 イントラ符号化と決定し、原画像入力部２０９からの情報を直交変換部へ出力するようセレクタ１（１１６）へ通知する。
２．ＦＬＡＧ＝０の時 インタ符号化と決定し、差分画像入力部２１０からの情報を直交変換部へ出力するようセレクタ１（１１６）へ通知する。
また、決定した符号化方式はセレクタ２（１１７）へも通知する。

以上説明したように、本実施形態では、高精度なモード判定方法でなければ精度の良いモード判定ができないマクロブロック群と、低精度モード判定方法でも精度の良いモード判定ができるマクロブロック群を分離し、それぞれのモード判定方法で判定しているため、高精度なモード判定方法だけでモード判定した時よりも高速に判定処理が可能で、低精度モード判定方法だけでモード判定した時よりも高精度な判定処理が可能になるという効果がある。換言すれば、計算コストを抑制しながら、効率の良い符号化方式の判定を行うことが可能である。

なお、本実施形態では、空間統計量として輝度の絶対和を用いたが、輝度の分散や平均値などの統計量を用いてもよい。同様に、周波数統計量として、直交変換の係数の絶対和を用いたが、係数の分散や平均値を用いたり、係数を任意の順番にスキャンして求めた差分の分散を用いたりしてもよい。また、不安定領域判定にAｘSMAEintra+Bという閾値を用いたが、SMAEintraの変わりにSMAEinterを用いたAｘSMAEinter+Bという閾値を用いても良い。

＜第２の実施形態＞
次に、第２の実施形態に係る動画像符号化装置について説明する。本発明の第２の実施形態に係る動画像符号化装置の基本的な構成は、符号化モード判定部以外は図８を用いて説明した従来構成と同等でよい。従って、以下の説明においては本実施形態における符号化モード判定部についてのみ説明する。

また、本実施形態において用いるフレーム間符号化方式は、説明及び理解を容易にするため、動きベクトルを用いた簡単な方式を例にとって説明する。しかし、これに限定されることなく、例えば、ＭＰＥＧ２、ＭＰＥＧ４符号化で用いられるようなフレーム間符号化方式に適用することも可能である。

図４は、本実施形態における符号化モード判定部の構成例を示すブロック図であり、図１に示した第１の実施形態に係る符号化モード判定部と同じ構成には同じ参照数字を付した。

符号化モード判定部は、原画像をマクロブロック毎に入力する原画像入力部２０９、差分画像をマクロブロック毎に入力する差分画像入力部２１０、原画像のマクロブロックの輝度絶対和を算出する空間統計量第一算出部２０１、差分画像のマクロブロックの輝度絶対和を算出する空間統計量第二算出部２０２、絶対和の比較を行う空間統計量比較部２０３、モード判定が不安定になるマクロブロックを判定する不安定性検出部２０４、原画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第一算出部２０５、差分画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第二算出部２０６、係数の統計量を比較する周波数統計量比較部２０７、空間統計量比較部２０３及び周波数統計量比較部２０７の比較の結果から、再比較の制御を行う再判定制御部６００、再判定制御部６００から出力される信号に基づき、閾値を再設定する閾値再設定部６０１、空間統計量比較部２０３、周波数統計量比較部２０７及び再判定制御部６００の出力に基づき最終的にインタ符号化とイントラ符号化のいずれかを選択する符号化モードセレクタ２０８、選択した符号化方式をセレクタ１（１１６）、及びセレクタ２（１１７）に出力するデータ出力部２１１とを備える。

次に、このような構成を有する符号化モード判定部の動作を、図５のフローチャートに基づき説明する。
まず、第１の実施形態と同様、ステップＳ２００１において、SMAEintra及びSMAEinterを算出し、ステップＳ２００２で、ABS(SMAEinter-SMAEintra)とAｘSMAEintra+B（Ａ、Ｂは正の実数）の比較を行う。そして、大小関係に応じて以下の処理を行う。

１．ABS(SMAEinter-SMAEintra)＞＝AｘSMAEintra+Bの場合
この場合、第１の実施形態と同様、不安定性検出部２０４は、モード判定が安定であると予測し、空間統計量比較部２０３を起動し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６、周波数統計量比較部２０７を停止する。
次に、空間統計量比較部２０３は、SMAEinterとSMAEintraを比較し、SMAEinter＜SMAEintraの場合（ステップＳ２００３，Ｙｅｓ）、ＦＬＡＧ＝０としインタ符号化を（ステップＳ５００７）、SMAEintra≦SMAEinterの場合（ステップＳ２００３，Ｎｏ）、ＦＬＡＧ＝１としイントラ符号化（ステップＳ５００８）をそれぞれ仮決定し、モードセレクタ２０８に送信する。

２．ABS(SMAEinter-SMAEintra)＜AｘSMAEintra+Bの場合
この場合、不安定性検出部２０４は、モード判定が不安定になると予測し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６及び周波数統計量比較部２０７を起動させ、空間統計量比較部２０３を停止させる。
周波数統計量第一算出部２０５では、原画像入力部２０９から入力されたマクロブロック単位の画像データの輝度を直交変換し、その係数の絶対和TMAEintraを算出し、周波数統計量第二算出部２０６では、差分画像入力部２１０から入力されたマクロブロック単位の差分画像データの輝度を直交変換し、その係数の絶対和TMAEinterを算出する。
周波数統計量比較部２０７では、TMAEinterとTMAEintraを比較し（ステップＳ２００６）、TMAEinter＜TMAEintraの場合、ＦＬＡＧ＝０としインタ符号化を、TMAEinter≧TMAEintraの場合、ＦＬＡＧ＝１としイントラ符号化をそれぞれ決定し、モードセレクタ２０８に送信する。

ここまで説明した、フレーム内のマクロブロック毎に行う符号化モード決定方法は基本的に第１の実施形態で述べた方法と同じであるが、モード判定が安定であると判定されたマクロブロックに対する符号化モードが仮決定である点で異なる。

次に、再判定制御部６００は、フレーム内のイントラ符号化されたマクロブロックの数Ｕ［intra］をカウントし、閾値Ｔｈと比較する（ステップＳ５００９）。閾値以上（Ｕ［intra］≧Ｔｈ）の場合、現在仮決定している符号化モードが確定する（ステップＳ５０１０）。

閾値未満（Ｕ［intra］＜Ｔｈ）の場合、ステップＳ５０１１において、閾値再設定部６０１が実数Ａを所定の小さな数αだけ増加させる（Ａ＝Ａ+α）。この定数Ａの更新は、図６のグラフにおいて、不安定さの判定基準を、点線から実線に変更すること（すなわち、より厳しく安定性を判定すること）を意味する。

なお、本実施形態ではＡ＝Ａ＋αとして、判定基準の直線を変更したが、Ｂに所定の小さな値βを加え、Ｂ＝Ｂ＋βとする更新方法でもかまわない。また、ＡとＢを同時に変更してもかまわない。

不安定性検出器２０４では、更新された閾値を用い、不安定性部２０４で不安定ではないと判定されたマクロブロック（Ｕ［Ｓｉｎｔｒａ］＋Ｕ［Ｓｉｎｔｅｒ］）に対して、ステップＳ２００２と同様の不安定性検出処置を再度行う（ステップＳ５０１２）。

そして、不安定と判断された（ABS(SMAEinter-SMAEintra)＜AｘSMAEintra+Bである）マクロブロックに対し、ステップＳ２００６と同様に周波数空間上でのTMAEintraとTMAEinterの比較を行う（ステップＳ５０１３）。その結果TMAEinter＜TMAEintraの場合、ＦＬＡＧ＝０としインタ符号化（ステップＳ５０１４）を、TMAEinter≧TMAEintraの場合、ＦＬＡＧ＝１としイントラ符号化（ステップＳ５０１５）をそれぞれ決定し、モードセレクタ２０８に送信する。

その後、イントラ符号化が仮決定されるマクロブロックの数が閾値Ｔｈを下回るまで（ステップＳ５０１７）、閾値Ａの再設定、周波数統計量の最比較を繰り返す。
なお、本実施形態においても、第１の実施形態と同様、空間統計量や周波数統計量として他の値を用いても良い。
また、不安定領域判定にAｘSMAEintra+Bという閾値を用いたが、SMAEintraの変わりにSMAEinterを用いたAｘSMAEinter+Bという閾値を用いても良い。
さらに、変数Ａの更新は、イントラ符号化が仮決定されるマクロブロックの数が閾値Ｔｈを下回るまでではなく、変数Ａの更新回数が所定の回数を超えたらＡの更新を終了してもかまわない。

以上説明したように、本実施形態では、符号化モード判定の精度を動的に調整する事が可能であるため、フレーム単位で符号化モード判定の精度を制御できる。よって、符号化モード判定する時間が足りない場合などは精度を落とし、発生符号量を落としたい場合などは精度を上げる等の処理が可能になる。

＜第３の実施形態＞
図７は、上述の第１又は第２の実施形態に係る動画像符号化装置を例えばパーソナルコンピュータ等の汎用情報処理装置で実現する場合の構成例を示すブロック図である。

図において、動画像符号化装置としての情報処理装置は、装置全体の制御を司るＣＰＵ３０１と、ブートプログラム及びＢＩＯＳ等を記憶するＲＯＭ３０２と、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３を有している。ハードディスク装置等の外部記憶装置３０４は、ＯＳ、画像圧縮処理に係るアプリケーションプログラム（ＭＰＥＧアプリケーション）等を格納する。画像入力部３０５は、例えばＵＳＢ、ＩＥＥＥ１３９４などの汎用インタフェースを介して接続されたイメージスキャナ等であるが、画像データが既に記憶媒体に記憶されている場合には、その記憶媒体をアクセスする装置（例えばメモリカードリーダや、光ディスクドライブなど）であってもよいし、画像データがネットワーク上のサーバに存在する場合にはネットワークインタフェースであってもよい。動画像符号化装置はさらに、キーボード（ＫＢ）やポインティングデバイス（ＰＤ）等の入力デバイス３０６、ビデオＲＡＭを搭載すると共にそのビデオＲＡＭへの描画処理及びビデオＲＡＭからデータを読出しビデオ信号として出力する表示制御部３０７、表示制御部３０７よりのビデオ信号に基づき表示する表示装置３０８を有する。

上記構成において、電源を投入すると、ＣＰＵ３０１はＲＯＭ３０２に格納されたブートプログラムに従って外部記憶装置３０４よりＯＳをＲＡＭ３０３にロードし、しかる後、上述の実施形態で説明した符号化モード判定処理を含む画像圧縮符号化プログラムをロード、実行することで、画像入力部３０５より入力した画像データの圧縮符号化データを生成し、外部記憶装置３０４に格納することになる。なお、最終的に生成された圧縮符号化画像データの出力先は外部記憶装置３０４ではなく、ネットワークを介して出力しても構わないし、その出力先は問わない。

＜他の実施形態＞
上述の実施形態においては、符号化モード判定部によって決定した符号化モードをセレクタ１が受信し、直交変換部へ出力するデータを選択していたが、セレクタ１の機能を符号化モード判定部に持たせても良い。この場合、画像入力部１００と差分器１０１からの画像データを直接符号化モードセレクタ２０８に入力する経路を追加し、符号化モードセレクタ２０８にバッファを設けて判定処理が終了するまで画像データを記憶しておき、判定結果に応じて原画像データもしくは差分画像データを直交変換部１０３へ出力するようにすればよい。なお、セレクタ２に対して判定結果を通知する点については変更の必要はない。

また、本実施形態の目的は、上述の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

尚、第１及び第２の実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、カメラ、ディスプレイ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、カムコーダ、遠隔監視装置等）に適用してもよい。

第１の実施形態に係る動画像符号化装置における符号化モード判定部の構成例を示すブロック図である。 図１の符号化モード判定部の動作を説明するフローチャートである。 第１の実施形態における不安定性検出部の検出域を説明する図である。 第２の実施形態に係る動画像符号化装置における符号化モード判定部の構成例を示すブロック図である。 図４の符号化モード判定部の動作を説明するフローチャートである。 第２の実施形態における不安定性検出部が用いる閾値を説明する図である。 第３の実施形態に係る動画像符号化装置の構成例を示すブロック図である。 従来の動画像符号化装置の構成例を示すブロック図である。 図８の符号化モード判定部の構成例を示すブロック図である。 従来のモード判定部の動作を説明するフローチャートである。

Claims (8)

1. フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定装置であって、
   原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出手段と、
   前記フレーム内信号の周波数統計量を算出する第１の周波数統計量算出手段と、
   前記原画像信号と予測画像信号との差分信号の前記空間統計量を算出する第２の空間統計量算出手段と、
   前記差分信号の前記周波数統計量を算出する第２の周波数統計量算出手段と、
   前記第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値と所定の閾値との大少関係を判定する判定手段と、
   前記判定手段によって、前記第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値が前記所定の閾値以上と判定された原画像信号については、前記第１及び第２の空間統計量算出手段が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、前記判定手段によって前記第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値が前記所定の閾値よりも小さいと判定された原画像信号については、前記第１及び第２の周波数統計量算出手段が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定手段とを有することを特徴とする符号化モード判定装置。
2. さらに、前記所定の閾値を更新する閾値更新手段と、
   前記判定手段に、前記第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値が更新前の前記所定の閾値以上と判定された原画像信号について、更新された前記所定の閾値を用いて再度前記判定を行わせるとともに、前記モード判定手段に、前記判定手段による再判定に基づいて前記選択を行わせる制御手段を更に有することを特徴とする請求項１記載の符号化モード判定装置。
3. 前記符号化モード判定装置が、マクロブロック単位で処理を行い、前記制御手段が、前記モード判定手段によってフレーム内符号化を選択されたマクロブロックの数が所定数未満となるまで前記所定の閾値の更新と前記再判定並びに前記選択を繰り返し行うように前記閾値更新手段、前記判定手段及び前記モード判定手段を制御することを特徴とする請求項２記載の符号化モード判定装置。
4. 前記所定の閾値が、前記第１の空間統計量算出手段が算出した空間統計量に基づいて定められることを特徴とする請求項１記載の符号化モード判定装置。
5. 請求項１乃至請求項４のいずれか１項に記載の符号化モード判定装置を用いた動画像符号化装置。
6. フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定方法であって、
   原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出工程と、
   前記フレーム内信号の周波数統計量を算出する第１の周波数統計量算出工程と、
   前記原画像信号と予測画像信号との差分信号の前記空間統計量を算出する第２の空間統計量算出工程と、
   前記差分信号の前記周波数統計量を算出する第２の周波数統計量算出工程と、
   前記第１及び第２の空間統計量算出工程が算出した空間統計量の差の絶対値と所定の閾値との大少関係を判定する判定工程と、
   前記判定工程によって、前記第１及び第２の空間統計量算出工程が算出した空間統計量の差の絶対値が前記所定の閾値以上と判定された原画像信号については、前記第１及び第２の空間統計量算出工程が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、前記判定工程によって、前記第１及び第２の空間統計量算出工程が算出した空間統計量の差の絶対値が前記所定の閾値よりも小さいと判定された原画像信号については、前記第１及び第２の周波数統計量算出工程が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定工程とを有することを特徴とする符号化モード判定方法。
7. 請求項６記載の符号化モード判定方法をコンピュータに実行させるプログラム。
8. 請求項７記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。