JP5007761B2 - 画像処理装置および方法、プログラム、並びに、記録媒体 - Google Patents

Description

本発明は、画像処理装置および方法、プログラム、並びに、記録媒体に関し、特に、より確実に符号量を所望の値以下に抑えることができるようにした画像処理装置および方法、プログラム、並びに、記録媒体に関する。

H.264／AVC（Advanced Video Coding）方式により画像を符号化するシステムにおいては、HRD（Hypothetical Reference Decoder、仮想参照デコーダ）バッファの容量、ネットワークの回線容量、システムレイヤの制約、ディスクドライブの読み出し性能などの条件により、１ピクチャあたりの符号量の上限値が設定される。符号量がその上限値を超えてしまうと、システムの動作に支障を来す恐れがあるため、従来、H.264／AVC方式により画像を符号化する符号化装置において、符号量を制御する方法が種々提案されている（例えば、特許文献１参照）。

特開２００４−１６５８９４号公報

しかしながら、例えば、白色雑音を含む画像が入力された場合、従来のMPEG-2 TestModel5（TM5）に規定されるレート制御方法などに基づく制御では、符号量が上限値を超えてしまう可能性がある。

本発明は、このような状況に鑑みてなされたものであり、より確実に符号量を所望の値以下に抑えることができるようにするものである。

本発明の一側面の画像処理装置は、画像を符号化した場合に発生する発生符号量を予測する予測手段と、予測された前記発生符号量が所定の値を超える場合に、前記画像内のイントラ予測を用いて符号化される各ブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、前記画像内のインター予測を用いて符号化される各ブロックに適用される予測モードを、各ブロックの属するスライスのタイプに基づいて制御する予測モード制御手段と、適用された予測モードにより各ブロックを符号化する符号化手段とを備える。

前記予測モード制御手段には、予測された前記発生符号量が所定の値を超える場合に、イントラ予測を用いて符号化されるブロックに対して、ＤＣモードが適用されるよう制御させることができる。

前記予測モード制御手段には、予測された前記発生符号量が所定の値を超える場合に、イントラ予測を用いて符号化されるブロックに対して、Intra１６×１６モードが適用されるように制御させることができる。

前記予測モード制御手段には、予測された前記発生符号量が所定の値を超える場合に、イントラ予測を用いて符号化されるブロックの大きさを、各ブロックの属するスライスのタイプに基づいて制御させることができる。

前記予測モード制御手段には、予測された前記発生符号量が所定の値を超える場合に、Ｉスライスに属するブロックのイントラ予測を１６×１６のブロックサイズにて行い、ＰスライスもしくはＢスライスに属するブロックのイントラ予測を４×４、８×８、もしくは１６×１６のブロックサイズにて行なうように制御させることができる。

本発明の一側面の画像処理方法は、画像の符号化を行う画像処理装置が、前記画像を符号化した場合に発生する発生符号量を予測し、予測された前記発生符号量が所定の値を超える場合に、Ｂスライスに属するブロックに対して、イントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかかが適用され、Ｐスライスに属するブロックに対して、イントラ予測モードもしくはスキップモードが適用されるとともに、イントラ予測を用いて符号化されるブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、適用された予測モードにより各ブロックを符号化するステップを含む。

本発明の一側面のプログラム、または、記録媒体に記録されているプログラムは、画像の符号化を行う画像処理装置が、前記画像を符号化した場合に発生する発生符号量を予測し、予測された前記発生符号量が所定の値を超える場合に、Ｂスライスに属するブロックに対して、イントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかかが適用され、Ｐスライスに属するブロックに対して、イントラ予測モードもしくはスキップモードが適用されるとともに、イントラ予測を用いて符号化されるブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、適用された予測モードにより各ブロックを符号化するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、画像を符号化した場合に発生する発生符号量が予測され、予測された前記発生符号量が所定の値を超える場合に、Ｂスライスに属するブロックに対して、イントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかかが適用され、Ｐスライスに属するブロックに対して、イントラ予測モードもしくはスキップモードが適用されるとともに、イントラ予測を用いて符号化されるブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御され、適用された予測モードにより各ブロックが符号化される。

本発明の一側面によれば、符号量が抑制される。また、本発明の一側面によれば、より確実に符号量を所望の値以下に抑えることができる。

本発明を適用した画像処理装置の一実施の形態を示すブロック図である。 図１の画像処理装置により実行される符号化処理を説明するためのフローチャートである。 図１の画像処理装置により実行される緊急モード対応処理を説明するためのフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。

画像処理装置１０１は、入力された画像をH.264／AVC（Advanced Video Coding）方式により符号化し、符号化した画像を、例えば、後段の図示せぬ記録装置や伝送路などに出力する装置である。

画像処理装置１０１は、A/D（Analog/Digital）変換部１１１、画面並べ替えバッファ１１２、加算器１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、レート制御部１１８、緊急モード制御部１１９、逆量子化部１２０、逆直交変換部１２１、加算器１２２、デブロッキングフィルタ１２３、フレームメモリ１２４、イントラ予測部１２５、動き予測・補償部１２６、および、モード判定部１２７を含むように構成される。また、緊急モード制御部１１９は、緊急モード判定部１４１および符号量制御部１４２を含むように構成される。

A/D変換部１１１は、外部から入力されたアナログの画像をデジタルの画像にA/D変換し、変換後のデジタルの画像（以下、適宜、原画像とも称する）を画面並べ替えバッファ１１２に供給する。

画面並べ替えバッファ１１２は、A/D変換部１１１から供給された原画像をGOP（Group Of Pictures）構造に基づいて並べ替え、順に、加算器１１３、イントラ予測部１２５、および、動き予測・補償部１２６に供給する。

加算器１１３は、マクロブロックごとに、原画像に対してイントラ予測（フレーム内予測）を用いて予測したイントラ予測画像、および、インター予測（フレーム間予測、動き補償予測）を用いて予測したインター予測画像のうちいずれか一方の予測画像を、モード判定部１２７から取得する。加算器１１３は、マクロブロックごとに、原画像とイントラ予測画像またはインター予測画像との差分を取り、差分を取ることに得られた予測誤差からなる差分画像を直交変換部１１４に供給する。

直交変換部１１４は、差分画像に対して、所定の大きさのブロックごとに離散コサイン変換またはカルーネン・レーベ変換等の直交変換を施し、これにより得られた変換係数を量子化部１１５に供給する。なお、直交変換部１１４は、図３を参照して後述するように、１ピクチャあたりの符号量が所定の上限値を超えそうである緊急モード時には、緊急モード部１２６の制御の基に、所定の周波数成分の変換係数の値を０に置き換える。

量子化部１１５は、レート制御部１１８により制御される量子化スケールを用いて、直交変換部１１４から供給された変換係数を量子化し、量子化した変換係数を可逆符号化部１１６および逆量子化部１２０に供給する。

可逆符号化部１１６は、イントラ予測に関する情報をイントラ予測部１２５から取得し、インター予測に関する情報を動き予測・補償部１２６から取得する。可逆符号変換部１１７は、量子化された変換係数、イントラ予測に関する情報、インター予測に関する情報などを所定の順序に配置し、配置したデータに対してCAVLC（Context-Adaptive Variable Length Coding）などの可変長符号化、または、CABAC（Context-Adaptive Binary Arithmetic Coding）などの算術符号化等の可逆符号化処理を施す。可逆符号化部１１６は、符号化したデータを蓄積バッファ１１７に供給して蓄積させる。

蓄積バッファ１１７は、可逆符号化部１１６から供給されたデータを、H.264／AVC方式で符号化された画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

レート制御部１１８は、蓄積バッファ１１７に記憶されている画像の符号量に基づいて、符号化する画像に割り当てられる時間当たりの符号量であるビットレートを制御する。
例えば、レート制御部１１８は、MPEG-2 TestModel5（TM5）に規定されるレート制御方式を用いて、量子化部１１５が量子化を行うときに変換係数を除算する値である量子化スケールの値を制御することによりビットレートを制御する。また、レート制御部１１８は、次に符号化する画像（ピクチャ）に割り当てられる符号量の見積もり値であるターゲットビットを算出し、算出したターゲットビットを示す情報を緊急モード制御部１１９に供給する。

緊急モード制御部１１９は、緊急モードに関わる処理を行う。

緊急モード制御部１１９を構成する要素のうち、緊急モード判定部１４１は、レート制御部１１８から取得したターゲットビットに基づいて、次に符号化される画像（ピクチャ）について、１ピクチャあたりの符号量が所定の上限値を超えそうであるか否かを判定する。緊急モード判定部１４１は、判定結果を示す情報を符号量制御部１４２に供給する。

なお、１ピクチャあたりの符号量の上限値は、例えば、HRDバッファの容量、ネットワークの回線容量、システムレイヤの制約、ディスクドライブの読み出し性能などの条件に基づいて設定される。また、この上限値を可変とし、条件の変化に応じて、値を変更するようにしてもよい。

符号量制御部１４２は、緊急モード判定部１４１により、１ピクチャあたりの符号量が所定の上限値を超えそうであると判定された場合、図３を参照して後述するように、レート制御部１１８とは異なる方式により、直交変換部１１４、イントラ予測部１２５、または、モード判定部１２７の処理を制御することにより、符号量を抑制するように、符号化を制御する。

逆量子化部１２０は、量子化部１１５から供給された変換係数を逆量子化して逆直交変換部１２１に供給する。

逆直交変換部１２１は、逆量子化部１２０から供給された変換係数に対して逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施す。これにより、差分画像が復号される。逆直交変換部１２１は、復号した差分画像を加算器１２２に供給する。

加算器１２２は、差分画像の生成に用いられたイントラ予測画像またはインター予測画像をモード判定部１２７から取得し、差分画像と取得したイントラ予測画像またはインター予測画像とを加算する。これにより、原画像が復号される。加算器１２２は、復号した画像（以下、適宜、復号画像と称する）をデブロッキングフィルタ１２３に供給する。

デブロッキングフィルタ１２３は、復号画像に対して、ブロック歪みを除去するデブロッキング処理を施す。デブロッキングフィルタ１２３は、デブロッキング処理を施した画像をフレームメモリ１２４に供給する。また、デブロッキングフィルタ１２３は、イントラ予測に用いる画像として、デブロッキング処理を施さない復号画像をそのままフレームメモリ１２４に供給する。

フレームメモリ１２４は、デブロッキングフィルタ１２３から供給された画像を、イントラ予測またはインター予測が行われる場合に参照される画像（以下、適宜、参照画像と称する）として記憶する。

イントラ予測部１２５は、マクロブロックごとに、フレームメモリ１２４に記憶されている同じフレーム内のマクロブロックに隣接する符号化済みの画素を用いて、原画像に対するイントラ予測画像を生成するイントラ予測を行う。なお、上述したように、イントラ予測には、デブロッキング処理を施す前の復号画像の画素が用いられる。

動き予測・補償部１２６は、マクロブロックごとに、フレームメモリ１２４に記憶されている他のフレームの参照画像を用いて、参照画像に対する原画像の動きベクトルを検出し、検出した動きベクトルを用いて参照画像に動き補償を施こすことにより、原画像に対するインター予測画像を生成するインター予測を行う。

モード判定部１２７は、例えば、Low Complexity Mode（高速モード）方式を用いて、各マクロブロックに適用する予測モードを判定する。

ここで、イントラ予測部１２５、動き予測・補償部１２６、および、モード判定部１２７の処理について、より具体的に説明する。

H.264／AVCの規格では、イントラ予測およびインター予測の方法として、それぞれ、複数の予測モードが規定されている。

具体的には、輝度信号のイントラ予測に関して、イントラ予測するブロックの単位として、４×４画素（Intra4x4モード）、８×８画素（Intra8x8モード、High Profileが適用されている場合のみ）、および、１６×１６画素（Intra16x16モード）の３種類が規定されている。また、Intra4x4モードおよびIntra8×8モードにおいては、画素値を予測する方向として、予測モード０乃至予測モード８の９種類が規定されており、Intra16x16モードにおいては、画素値を予測する方向として、予測モード０乃至予測モード３の４種類が規定されている。

また、色差信号のイントラ予測に関して、イントラ予測するブロックの単位として、８×８画素の１種類が規定されており、画素値を予測する方向として、予測モード０乃至予測モード３の４種類が規定されている。

さらに、インター予測に関して、インター予測を行うブロックの単位として、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、および、４×４画素の７種類が規定されている。また、Ｂ（Bi-directional Predictive）スライスに属するブロックのインター予測に関して、時間軸において前方向（過去側）のピクチャのみを参照する前方向予測モード、時間軸において後ろ方向（未来側）のピクチャのみを参照する後ろ方向予測モード、時間軸において前後両方のピクチャを参照する双方向予測モードなどが規定されている。

さらに、Ｐ（Predictive）スライスまたはＢスライスに属するブロックのインター予測に関して、動きベクトルにより参照される参照画像のブロックの画素値をそのまま用いることにより、マクロブロックに関する情報の符号量を抑制するスキップモードが規定されている。また、Ｂスライスに属するブロックのインター予測に関して、符号化済みのブロックの動きベクトル用いて動きベクトルを予測するダイレクトモードが規定されている。

イントラ予測部１２５は、マクロブロックごとに、そのマクロブロックに適用可能な全てのイントラ予測の予測モード（以下、イントラ予測モードとも称する）について、以下の式（１）により、コスト値Cost(Mode)を算出する。

Cost(Mode)＝SA(T)D＋SA(T)D₀ ・・・（１）

ここで、SA(T)Dは、原画像と予測画像との差分である予測誤差の絶対値和である。また、SA(T)D₀は、SA(T)Dに与えられるオフセット値であり、動きベクトルなど、マクロブロックに付加されるヘッダ情報の伝送に供するデータ量である。

イントラ予測部１２５は、算出した全てのコスト値Cost(Mode)、すなわち、マクロブロックに適用可能な全てのイントラ予測モードに対するコスト値Cost(Mode)を示す情報をモード判定部１２７に供給する。

なお、イントラ予測部１２５は、図３を参照して後述するように、緊急モード時には、符号量制御部１１９の制御の基に、コスト値Cost(Mode)を算出する予測モードを制限し、各マクロブロックに適用されるイントラ予測モードを制限する。

動き予測・補償部１２６も、イントラ予測部１２５と同様に、マクロブロックごとに、そのマクロブロックに適用可能な全てのインター予測の予測モード（以下、インター予測モードとも称する）について、上述した式（１）により、コスト値Cost(Mode)を算出する。動き予測・補償部１２６は、算出した全てのコスト値Cost(Mode)、すなわち、マクロブロックに適用可能な全てのインター予測モードに対するコスト値Cost(Mode)を示す情報をモード判定部１２７に供給する。

モード判定部１２７は、イントラ予測部１２５または動き予測・補償部１２６から取得したコスト値Cost(Mode)に基づいて、画質と符号量の観点から、各マクロブロックに適用する予測モードを選択する。

なお、図３を参照して後述するように、モード判定部１２７は、緊急モード時には、符号量制御部１１９の制御の基に、各マクロブロックに適用する予測モードを制限する。

モード判定部１２７は、イントラ予測モードのうちの１つを選択した場合、選択したイントラ予測モードを示す情報をイントラ予測部１２５に供給する。イントラ予測部１２５は、選択されたイントラ予測モードに基づいて、イントラ予測画像を生成し、生成したイントラ予測画像をモード判定部１２７に供給する。また、イントラ予測部１２５は、イントラ予測を行ったマクロブロックのイントラ予測に関する情報として、選択された予測モードなどの情報を可逆符号化部１１６に供給する。

また、モード判定部１２７は、インター予測モードのうちの１つを選択した場合、選択したインター予測モードを示す情報を動き予測・補償部１２６に供給する。動き予測・補償部１２６は、選択されたインター予測モードに基づいて、動きベクトルの検出、および、インター予測画像の生成を行い、生成したインター予測画像をモード判定部１２７に供給する。また、動き予測・補償部１２６は、インター予測を行ったマクロブロックのインター予測に関する情報として、選択された予測モード、検出した動きベクトル、参照画像（ピクチャ）の番号などの情報を可逆符号化部１１６に供給する。

モード判定部１２７は、選択した予測モードに基づいて生成されたイントラ予測画像またはインター予測画像を、加算器１１３および加算器１２２に供給する。

次に、図２のフローチャートを参照して、図１の画像処理装置１０１により実行される符号化処理について説明する。なお、この処理は、例えば、外部から画像処理装置１０１への画像の入力が開始されたとき、開始される。

ステップＳ１において、画像処理装置１０１は、画像の符号化を開始する。すなわち、図１を参照して上述した動作を、画像処理装置１０１の各部が開始することにより、入力された画像のH.264／AVC方式による符号化が開始される。また、図３を参照して後述する緊急モード対応処理も開始される。

ステップＳ２において、画像処理装置１０１は、全ての画像を符号化したかを判定する。ステップＳ２において、外部から入力された全ての画像を符号化したと判定されるまで、画像の符号化が実行され、外部から入力された全ての画像を符号化したと判定された場合、符号化処理は終了する。

次に、図３のフローチャートを参照して、図２を参照して上述した符号化処理中に画像処理装置１０１により実行される緊急モード対応処理を説明する。

ステップＳ２１において、レート制御部１１８は、次のピクチャのターゲットビットを算出する。具体的には、レート制御部１１８は、例えば、TM5に規定されるレート制御方式を用いて、蓄積バッファ１１７に記憶されている画像の符号量に基づいて、次のピクチャのターゲットビットを算出する。レート制御部１１８は、算出したターゲットビットを示す情報を緊急モード判定部１４１に供給する。

ステップＳ２２において、緊急モード判定部１４１は、次のピクチャの符号量が上限値を超えそうであるか否かを判定する。緊急モード判定部１４１は、レート制御部１１８から取得したターゲットビットが所定の上限値を超える場合、次のピクチャの符号量が上限値を超えそうであると判定し、処理はステップＳ２３に進む。

ステップＳ２３において、符号量制御部１４２は、緊急モード時の動作を指令する。具体的には、緊急モード判定部１４１は、次のピクチャの符号量が上限値を超えそうであることを示す情報を符号量制御部１４２に供給する。符号量制御部１４２は、直交変換部１１４、イントラ予測部１２５、および、モード判定部１２７に、緊急モード時の動作を指令する。

ステップＳ２４において、直交変換部１１４は、符号量制御部１４２の制御の基に、所定の周波数成分の変換係数の０への置き換えを開始する。

例えば、次のフレームのターゲットビットをＴ、１ピクチャあたりの符号量の上限値をΘとし、予め定められている１ピクチャあたりの符号量に関する閾値をTh1、Th2、Th3（ただし、Th1＜Th2＜Th3）とした場合、直交変換部１１４は、符号量制御部１４２の制御の基に、Th1＜T−Θ＜Th2であるとき、直流（DC）成分およびそれ以外の特定の周波数成分を除く、所定の周波数成分の変換係数の値を０に置き換え、Th2≦T−Θ＜Th3であるとき、直流成分以外の周波数成分の変換係数の値を０に置き換え、Th3≧T−Θであるとき、直流成分を含む全ての周波数成分の変換係数の値を０に置き換える。すなわち、ターゲットビットＴに基づいて、変換係数を０に置き換える周波数成分の範囲が変更される。より詳細には、ターゲットビットＴが大きいほど、より符号量が抑制されるように、変換係数を０に置き換える周波数成分の範囲が大きくされる。

また、例えば、マクロブロックが属するスライスのタイプに基づいて、変換係数を０に置き換える周波数成分の範囲を変更するようにしてもよい。例えば、Ｉ（Intra）スライスに属するマクロブロックについては、直流成分を含む全ての周波数成分の変換係数の値を０に置き換え、ＰスライスまたはＢスライスに属するマクロブロックについては、直流成分以外の周波数成分の変換係数の値を０に置き換えるようにしてもよい。すなわち、ＰまたはＢスライスよりも符号量が多くなる傾向にあるＩスライスに属するマクロブロックの方が、ＰまたはＢスライスに属するマクロブロックよりも、より符号量が抑制されるように、変換係数を０に置き換える周波数成分の範囲が大きくされる。

このように、所定の周波数成分の変換係数が０に置き換えられることにより、符号量が抑制される。

なお、直交変換部１１４による、変換係数の０への置き換えは、後述するステップＳ２８において、緊急モードが解除されるまで継続される。

ステップＳ２５において、イントラ予測部１２５は、符号量制御部１４２の制御の基に、適用するイントラ予測モードを制限する。例えば、イントラ予測部１２５は、符号量制御部１４２の制御の基に、輝度信号のIntra4x4モード、Intra8x8モード（High Profileが適用されている場合のみ）、および、Intra16x16モード、並びに、色差信号のそれぞれについて、画素値を予測する方向を１種類に限定し、限定された予測方向に対するコスト値Cost(Mode)のみを算出し、その他の予測方向に対するコスト値Cost(Mode)の算出を停止する。これにより、イントラ予測モードにおいて、全て同じ予測方向の予測モードが適用されるようになり、その結果、各ブロックの予測モードの符号化が不要となるため、符号量を抑制することができる。

なお、この場合、DCモード（輝度信号においては予測モード２、および、色差信号においては予測モード０）に予測方向を統一することにより、他の予測モードに統一した場合と比較して、画像に不自然な方向性が現れることなく、画質の劣化を抑えることができる。

また、例えば、輝度信号については、発生する符号量が少ない、Intra16x16モードについてのみコスト値Cost(Mode)の算出を行うようにしてもよい。

さらに、例えば、マクロブロックが属するスライスのタイプに基づいて、適用する予測モードを制限するようにしてもよい。例えば、Ｉスライスに属するマクロブロックの輝度信号については、Intra16x16モードについてのみコスト値Cost(Mode)の算出を行い、ＰスライスまたはＢスライスに属するマクロブロックの輝度信号については、Intra4x4モード、Intra8x8モード（High Profileの場合）、および、Intra16x16モードのそれぞれについて、コスト値Cost(Mode)の算出を行うようにしてもよい。すなわち、ＰまたはＢスライスよりも符号量が多くなる傾向にあるＩスライスに属するマクロブロックの方が、ＰまたはＢスライスに属するマクロブロックよりも、より符号量が抑制されるように、イントラ予測を行う単位であるブロックが大きく設定される。

このように、イントラ予測における符号量が抑制されるように、各マクロブロックに適用されるイントラ予測モードが制限される。

なお、イントラ予測部１２５による、イントラ予測モードの制限は、後述するステップＳ２８において、緊急モードが解除されるまで継続される。

ステップＳ２６において、モード判定部１２７は、符号量制御部１４２の制御の基に、適用するインター予測モードを制限する。

例えば、モード判定部１２７は、符号量制御部１４２の制御の基に、Ｂスライスに属するマクロブロックについては、インター予測モードの選択肢をスキップモードおよびダイレクトモードに制限する。すなわち、Ｂスライスに属するマクロブロックに適用される予測モードが、ステップＳ２５において限定されたイントラ予測モード、ダイレクトモード、および、スキップモードのうちいずれかに制限される。

また、例えば、モード判定部１２７は、符号量制御部１４２の制御の基に、Ｐスライスに属するマクロブロックについては、インター予測モードの選択肢をスキップモードに限定する。すなわち、Ｐスライスに属するマクロブロックに適用される予測モードが、ステップＳ２５において限定されたイントラ予測モード、および、スキップモードのうちいずれかに制限される。

なお、Ｉスライスに属するマクロブロックについては、インター予測は行われないため、適用される予測モードは、ステップＳ２５において限定されたイントラ予測モードに制限される。

モード判定部１２７は、コスト値Cost(Mode)に基づいて、制限された予測モードの中から、当該マクロブロックに適用する予測モードを選択する。

これにより、インター予測が選択された場合、その予測モードが、スキップモードまたはダイレクトモードとなるため、符号量が抑制される。

なお、ＰまたはＢスライスに属するマクロブロックに対して、イントラ予測モードを選択肢に加えないようにしてもよい。これにより、Ｐスライスに属するマクロブロックについては、インター予測のスキップモードが適用され、Ｂスライスに属するマクロブロックについては、インター予測のダイレクトモードまたはスキップモードが適用されるようになり、より符号量を抑制することが可能となる。

なお、モード判定部１２７による、インター予測モードの制限は、後述するステップＳ２８において、緊急モードが解除されるまで継続される。

その後、処理はステップＳ２１に戻り、ステップＳ２１以降の処理が実行される。

ステップＳ２２において、次のピクチャの符号量が上限値を超えそうでないと判定された場合、処理はステップＳ２７に進む。

ステップＳ２７において、符号量制御部１４２は、緊急モード中であるか否かを判定する。緊急モード中であると判定された場合、処理はステップＳ２８に進む。

ステップＳ２８において、符号量制御部１４２は、緊急モードを解除する。具体的には、符号量制御部１４２は、直交変換部１１４、イントラ予測部１２５、および、モード判定部１２７に、緊急モードの解除を指令する。これにより、直交変換部１１４、イントラ予測部１２５、および、モード判定部１２７は、緊急モード時の動作を停止し、通常の動作を再開する。

その後、処理はステップＳ２１に戻り、ステップＳ２１以降の処理が実行される。

ステップＳ２７において、緊急モード中でないと判定された場合、処理はステップＳ２１に戻り、ステップＳ２１以降の処理が実行される。

以上のように、１ピクチャあたりの符号量が所定の上限値を超えそうであると判定された場合、所定の周波数成分の変換係数の０への置き換え、適用するイントラ予測モードの制限、または、適用するインター予測モードの制限を行うことにより、より確実に符号量を上限値以下に抑えることができる。

また、所定の周波数成分の変換係数の０への置き換え、適用するイントラ予測モードの制限、および、適用するインター予測モードの制限は、緊急モード時にしか行われないため、不必要に画質が劣化することが防止される。

なお、以上の説明では、緊急モード時に、ステップＳ２４乃至Ｓ２６の処理を全て行う例を示したが、１つまたは２つのステップの処理のみを行うようにしてもよい。

また、ターゲットビットの値、マクロブロックが属するスライスの種類などに基づいて、上述したように、ステップＳ２４乃至Ｓ２６の各ステップ内において実行する処理の選択を行うだけではなく、ステップＳ２４乃至Ｓ２６のうち実際に実行するステップを選択するようにしてもよい。例えば、予め定められている１ピクチャあたりの符号量に関する閾値をTh11、Th12、Th13（ただし、Th11＜Th12＜Th13）とした場合、Th11＜T−Θ＜Th12であるとき、ステップＳ２５において、イントラ予測モードをDCモードに制限するようにし、Th2≦T−Θ＜Th3であるとき、ステップＳ２５において、イントラ予測モードをIntra16x16モードに制限するようにし、Th3≧T−Θであるとき、ステップＳ２４において、所定の周波数成分の変換係数を０に置き換えるようにしてもよい。

さらに、図３のステップＳ２２の判定処理は、上述した例に限定されるものではなく、ターゲットビット以外の値に基づいて、判定処理を行うようにしてもよい。

なお、以上の説明では、H.264／AVC方式により符号化を行う例を示したが、本発明は、例えば、MPEG-4（Moving Picture Coding Experts Group phase4）など他の符号化方式により符号化を行う場合にも適用できる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ３００の構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記録部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。

CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。

入出力インタフェース３０５に接続されている記録部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３０９を介してプログラムを取得し、記録部３０８に記憶してもよい。

入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記録部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である

１０１ 画像処理装置， １１４ 直交変換部， １１５ 量子化部， １１８ レート制御部， １１９ 緊急モード制御部， １２５ イントラ予測部， １２６ 動き予測・補償部， １２７ モード判定部， １４１ 緊急モード判定部， １４２ 符号量制御部

Claims (8)

1. 画像を符号化した場合に発生する発生符号量を予測する予測手段と、
   予測された前記発生符号量が所定の値を超える場合に、Ｂスライスに属するブロックに対して、イントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかかが適用され、Ｐスライスに属するブロックに対して、イントラ予測モードもしくはスキップモードが適用され、イントラ予測を用いて符号化されるブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御する予測モード制御手段と、
   適用された予測モードにより各ブロックを符号化する符号化手段と
   を備える画像処理装置。
2. 前記予測モード制御手段は、予測された前記発生符号量が所定の値を超える場合に、イントラ予測を用いて符号化されるブロックに対して、ＤＣモードが適用されるように制御する
   請求項１に記載の画像処理装置。
3. 前記予測モード制御手段は、予測された前記発生符号量が所定の値を超える場合に、イントラ予測を用いて符号化されるブロックに対して、Intra１６×１６モードが適用されるように制御する
   請求項１に記載の画像処理装置。
4. 前記予測モード制御手段は、予測された前記発生符号量が所定の値を超える場合に、イントラ予測を用いて符号化されるブロックの大きさを、各ブロックの属するスライスのタイプに基づいて制御する
   請求項１に記載の画像処理装置。
5. 前記予測モード制御手段は、予測された前記発生符号量が所定の値を超える場合に、Ｉスライスに属するブロックのイントラ予測を１６×１６のブロックサイズにて行い、ＰスライスもしくはＢスライスに属するブロックのイントラ予測を４×４、８×８、もしくは１６×１６のブロックサイズにて行なうように制御する
   請求項４に記載の画像処理装置。
6. 画像の符号化を行う画像処理装置が、
   前記画像を符号化した場合に発生する発生符号量を予測し、
   予測された前記発生符号量が所定の値を超える場合に、Ｂスライスに属するブロックに対して、イントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかかが適用され、Ｐスライスに属するブロックに対して、イントラ予測モードもしくはスキップモードが適用されるとともに、イントラ予測を用いて符号化されるブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、
   適用された予測モードにより各ブロックを符号化する
   ステップを含む画像処理方法。
7. 画像を符号化した場合に発生する発生符号量を予測し、
   予測された前記発生符号量が所定の値を超える場合に、Ｂスライスに属するブロックに対して、イントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかかが適用され、Ｐスライスに属するブロックに対して、イントラ予測モードもしくはスキップモードが適用されるとともに、イントラ予測を用いて符号化されるブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、
   適用された予測モードにより各ブロックを符号化する
   ステップを含む処理をコンピュータに実行させるためのプログラム。
8. 画像を符号化した場合に発生する発生符号量を予測し、
   予測された前記発生符号量が所定の値を超える場合に、Ｂスライスに属するブロックに対して、イントラ予測モード、ダイレクトモードもしくはスキップモードのいずれかかが適用され、Ｐスライスに属するブロックに対して、イントラ予測モードもしくはスキップモードが適用されるとともに、イントラ予測を用いて符号化されるブロックに対して、同じ予測方向のイントラ予測モードが適用されるように制御し、
   適用された予測モードにより各ブロックを符号化する
   ステップを含む処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images