JP3773435B2 - 画像符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像信号を符号化する画像符号化装置および画像符号化方法に関するものである。
【０００２】
【従来の技術】
図４に画像符号化装置の一例を示す。図４において、１は、入力画像信号と、予測画像作成器１２により出力される予測画像との差分を出力する減算器である。２は、減算器１の出力、または入力画像信号のいずれかを選択して出力するＤＣＴ入力選択回路である。ＤＣＴ入力選択回路２の出力はＤＣＴ回路３に与えられ、ＤＣＴ回路３の出力は量子化器４に与えられる。量子化器４の出力はＤＣ／ＡＣ予測器５に与えられ、ＤＣ／ＡＣ予測器５の出力は可変長符号化回路６に与えられる。量子化器４の出力はまた、逆量子化器７に与えられ、逆量子化回路７の出力は逆ＤＣＴ回路８に入力される。９は、逆ＤＣＴ回路８の出力と、予測画像作成器１２の出力とを加算する加算器である。１０は逆ＤＣＴ回路８の出力と、加算器９の出力とのいずれかを選択して出力する複合画像選択回路である。
【０００３】
複合画像選択回路１０の出力は復号画像メモリ１１に与えられ、復号画像メモリ１１の出力は予測画像作成回路１２、および動き検出回路１４に与えられる。動き検出回路１４にはまた、入力画像が与えられる。動き検出回路１４は第１の出力である動きベクトル１４ａ、および第２の出力である予測モード信号１４ｂを、予測画像作成回路１２および動きベクトル予測器１５に出力する。予測モード信号１４ｂはさらに、ＤＣＴ入力選択回路２、ＤＣ／ＡＣ予測器５、および復号画像選択回路１０に与えられる。動きベクトル予測器１５の出力は可変長符号化回路６に与えられる。
【０００４】
図４に示す画像符号化装置の入力画像は、基本処理単位であるマクロブロックに分割されている。つまり、入力画像は、マクロブロック毎に入力され、マクロブロック毎に符号化される。図５にマクロブロックに分割された画像信号の構成を示す。画像信号の輝度信号Ｙと、色差信号Ｃｂ，Ｃｒとの比が４：２：０の場合、８画素×８ラインのブロックが輝度信号Ｙに対して４つ、色差信号Ｃｂ、Ｃｒのそれぞれに対して各１つ存在し、合計６つのブロックによって１つのマクロブロックが構成される。こうしたマクロブロックの集合により構成される矩形状の全体画像はＶＯＰ（Video Object Plane）と呼ばれ、フレームに相当する。
【０００５】
以下、図４に示す画像符号化装置の動作を説明する。
まず、入力画像の全てを符号化するイントラ符号化の動作について説明する。この場合、ＤＣＴ入力選択回路２は、入力画像を選択してＤＣＴ回路３に出力する。ＤＣＴ入力選択回路２により出力される入力画像は、各マクロブロック毎にＤＣＴ回路３に入力され、離散コサイン変換（Discrete Cosine Transform）される。ＤＣＴ回路３によって出力されるＤＣＴ係数は、量子化器４によって量子化される。ＤＣ／ＡＣ予測器５では図６に示すように、現在のブロックに隣接するブロックのＤＣ、およびＡＣ係数からそのブロックのＤＣ係数およびＡＣ係数の予測を行う。ＤＣ／ＡＣ予測された各係数は、図示しない並び替えメモリにより１次元配列に変換され、可変長符号化手段７において、量子化パラメータなどの付加情報とともに可変長符号化される。
このように、全てのマクロブロックに対してイントラ符号化を適用して生成されたフレームをＩ−ＶＯＰ（Intra Video Object Plane）と呼ぶ。
【０００６】
一方、量子化器３により量子化されたＤＣＴ係数は、逆量子化器８および逆ＤＣＴ回路９により復号され、復号画像は復号画像メモリ１１に記憶される。復号画像メモリ１１の復号画像は、後述するインター符号化を行うための動きベクトルの検出に使用される。
【０００７】
以下、インター符号化の動作について説明する。復号画像メモリ１１から出力される復号画像、および符号化しようとする入力画像は動き検出回路１４に与えられる。動き検出回路１４は、両画像に基づいて、入力画像の各マクロブロックについて動きベクトル１４ａの検出を行う。動きベクトル１４ａは、複合画像の中で、入力画像の各マクロブロックに最も近い画像が現れる位置を示すものである。動き検出回路１４は、検出した動きベクトル１４ａを予測画像作成回路１２に出力する。
【０００８】
ここで、復号画像との誤差が大きいマクロブロックについては、イントラ符号化により符号化される。動き検出回路１４は、複号画像と入力マクロブロックとの誤差に基づき、各マクロブロックについて、インター符号化とイントラ符号化のいずれを用いるかを決定し、決定結果を予測モード信号１４ｂとして出力する。
【０００９】
予測画像作成回路１２は、予測モード信号１４ｂがインター符号化を指定する場合、動きベクトル１４ａに基づいて予測画像を作成する。作成された予測画像は減算器１に出力され、減算器１の出力はＤＣＴ入力選択回路２に出力される。このときＤＣＴ入力選択回路２は、インター符号化を指定する予測モード信号１４ｂにより減算器１の出力を選択するよう制御される。これにより、予測画像と実際の入力画像との差分信号がＤＣＴ回路２に入力され、ＤＣＴ変換、およびＤＣＴ係数の量子化が行われる。量子化器４により量子化された、差分信号のＤＣＴ係数は、１次元配列に変換され、動きベクトルおよび量子化パラメータなどの付加情報とともに可変長符号化される。このようにインター符号化の場合は、入力画像と予測画像との差分、および動きベクトルに関する情報が符号化される。
【００１０】
また、このとき量子化器４から逆量子化器８に入力されたＤＣＴ係数は、逆ＤＣＴ回路９により逆ＤＣＴ変換され、加算器９に出力される。加算器９において、復号された差分信号と予測画像と加算することにより、復号画像が形成され、復号画像選択回路１０に出力される。このとき、複合画像選択回路１０は、予測モード信号１４ｂがインター符号化を指定している場合は加算器９の出力、イントラ符号化を指定している場合は逆ＤＣＴ回路８の出力を選択して複合画像メモリ１１に出力するよう制御される。
【００１１】
インター符号化には、表示順で時間的に前にある画像のみから予測画像を作成する片方向予測と、時間的に前と後ろの画像の両方から予測する両方向予測とがある。片方向予測で符号化されたフレームをＰ−ＶＯＰ（Predictive Video Object Plane）と呼び、両方向予測で符号化されたフレームをＢ−ＶＯＰ（Bidirectionally predictive Video Object Plane）と呼ぶ。
【００１２】
【発明が解決しようとする課題】
上述のように従来の符号化装置においては、Ｉ−ＶＯＰ以外のＶＯＰでは、イントラ符号化を適用するか、インター符号化を適用するかを決定するために、全てのマクロブロックに対して動き検出が行われる。
【００１３】
しかしながら、画像の性質に係わらず、全てのマクロブロックに対して動き検出を行うことにより、符号化装置の消費電力や処理時間の効率が悪くなるという問題がある。例えば画面全体が急激に変化するシーンチェンジが頻繁に起こった場合、入力画像と復号画像との相関は殆どなく、両者の誤差は大きくなるため、動き検出回路では多くのマクロブロックの符号化方法をイントラ符号化と判定する。イントラ符号化では動きベクトルを検出する必要がないにもかかわらず、従来の符号化装置においては、全てのマクロブロックについて動きベクトルの検出を行うため、動き検出回路を不要に駆動することにより、消費電力や処理時間が浪費されるという問題があった。
【００１４】
この発明は、上述のような課題を解消するためになされたもので、不要な動き検出を行うことなく符号化を行うことが可能な画像符号化装置を提示することを目的とする。
【００１５】
【課題を解決するための手段】
本発明による画像符号化装置は、複数のブロックにより構成される１画面の画像を、前記ブロック毎にイントラ符号化、またはインター符号化のいずれかを適用して符号化する画像符号化装置において、
前記１画面の画像と、当該１画面より前の画面の画像との誤差を、前記画像を構成する各ブロック毎に検出し、検出された前記誤差に基づいて前記各ブロックに適用する符号化方法を決定する手段と、
符号化方法が決定した前記各ブロックのうち、イントラ符号化が適用されるブロックのカウント値Ｎｉｎｔｒａを出力する手段と、
符号化方法が決定したブロックのカウント値Ｎを出力する手段とを備え、
前記各ブロックに適用する符号化方法を決定する手段は、符号化方法が決定したブロックのカウント値Ｎが予め設定されたブロック数を上回り、かつ、以下の条件
Ｎｉｎｔｒａ≧Ｎ×ｋ
（０＜ｋ≦１）
が成立した時点で、強制イントラ予測信号を有効にして、残りの各ブロック全てにイントラ符号化を適用するものである。
【００１６】
また、各ブロックに適用する符号化方法を決定する手段は、前記強制イントラ予測信号が有効になった時点で、前記画像を構成するブロックのうち、符号化方法が決定されていない残りの各ブロックにおいて、動きベクトルの検出を行うことなく、当該残りの各ブロック全ての符号化方法をイントラ符号化とするものである。
【００２０】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、図において、従来のものと同一、または相当のものについては同一符号を付して説明を省略する。
【００２１】
実施の形態１．
図１は本発明の実施の形態１による符号化装置を示すブロック図である。１３は、動き検出回路１４によって出力される第１の予測モード信号１４ｂと、マクロブロック単位で入力される入力画像信号とに基づく強制イントラ予測信号１３ａ、および第２の予測モード信号１３ｂを出力する予測モード判定回路である。
【００２２】
動き検出回路１４は、入力画像、および復号画像メモリ１１から読み出される復号画像に基づいて、マクロブロック毎に動きベクトル１４ａを検出する。動きベクトル１４ａは、複合画像の中で入力画像の各マクロブロックに最も近い画像が現れる位置を示すものである。動きベクトル１４ａの検出は、復号画像において、当該複号画像と各マクロブロックとの誤差が小さくなる位置を検出することにより行われる。動き検出回路１４は、検出した動きベクトル１４ａを予測画像作成回路１２に出力する。
【００２３】
検出された動きベクトルは、減算器１、および加算器９に送られる。このとき、動き検出回路１４は、マクロブロック単位で入力される入力画像と、複合画像との誤差に基づいて、各マクロブロックの符号化方法を決定する。動き検出回路１４は、複号画像と符号化対象となるマクロブロックとの誤差が大きい場合は、当該マクロブロックにイントラ符号化を適用することを示し、前記誤差が小さい場合は当該マクロブロックにインター符号化を適用することを示す第１の予測モード信号１４ｂを出力する。つまり、第１の予測モード信号は、イントラ符号化モード、またはインター符号化モードのいずれかを示す。このように、マクロブロックの符号化方法が決定する毎に、第１の予測モード信号１４ｂは、モード判定回路１３に送られる。
【００２４】
モード判定回路１３は、第１の予測モード信号１４ｂに基づいてイントラ符号化が適用されるマクロブロックをカウントし、また、マクロブロック単位で入力される入力画像信号に基づいて、動き検出回路１４において符号化方法が決定したマクロブロックの数をカウントし、両者のカウント値に基づいて、強制イントラ信号１３ａ、および後述する第２の予測モード信号１３ｂを出力する。強制イントラ信号１３ａは動き検出回路１４に入力され、第２の予測モード信号１３ｂは、ＤＣＴ入力選択回路２、ＤＣ／ＡＣ予測器５、復号画像選択回路１０、予測画像作成回路１２、および動きベクトル予測器１５にそれぞれ入力される。
【００２５】
以下、予測モード判定回路１３の動作を詳しく説明する。図２に予測モード判定回路１３の内部構成を表すブロック図を示す。イントラマクロブロックカウンタ１９は、第一の予測モード信号１４ｂに基づいて、イントラ符号化が適用されるマクロブロックの数をカウントし、カウント値Ｎintraを大小比較回路１８に送る。一方、マクロブロックカウンタ１６は、マクロブロック単位で入力される入力画像信号に基づいて、既に符号化方法が決定しているマクロブロックの数をカウントし、カウント値Ｎを乗算器１７に送る。乗算器１７は、カウント値Ｎに係数ｋ（０＜ｋ≦１）を乗じた値を大小比較回路１８に送る。ｋは、０＜ｋ≦１の係数であり任意に決定される。大小比較回路１８は、ＮintraとＮ×ｋとを比較し、比較結果が以下の条件を満たしたときに真となり、論理和回路２０に１を出力する。
Ｎintra≧Ｎ×ｋ
【００２６】
ここで、係数ｋを１とした場合、動き検出回路１４により符号化方法が決定したマクロブロックが、全てイントラ符号化モードであったときに、大小比較回路１８から１が出力される。大小比較回路１８の出力は、論理和回路２０を介して記憶回路２１に出力される。大小比較回路１８の出力は、記憶回路２１にてＶＯＰが更新されるまでの期間（１フレームに相当する期間）記憶される。これにより、大小比較回路１８の出力が１となった場合、記憶回路２１から出力される強制イントラ予測信号１３ａは、ＶＯＰが更新されるまでの期間１となる。
【００２７】
強制イントラ予測信号１３ａが１となった場合、符号化中の入力画像と復号画像との相関が少ないと判断され、符号化中のＶＯＰの、残りのマクロブロックは全て、強制的にイントラ符号化により符号化される。強制イントラ予測信号１３ａは、図１に示すように、動き検出回路に送られる。強制イントラ予測信号が１の場合、符号化中のＶＯＰの、残りのマクロブロックの符号化が終了するまで、動き検出回路１４は不要な動き検出を行わないよう制御される。
【００２８】
強制イントラ予測信号１３ａはまた、予測モード選択回路２２にも出力される。予測モード選択回路２２は、強制イントラ予測信号１３ａに基づいて、第一の予測モード信号を強制的にイントラ符号化モードに切替える。つまり、強制イントラ予測信号が０の場合、動き検出回路１４により出力される第一の予測モード信号１４ｂがそのまま第二の予測モード信号１３ｂとして出力され、強制イントラ予測信号が１となった場合は、第二の予測モード信号１３ｂはイントラ符号化モードに強制的に切替えられて出力される。図１に示すように、第二の予測モード信号１３ｂは、ＤＣＴ入力選択回路２、ＤＣ／ＡＣ予測器５、復号画像選択回路１０、予測画像作成回路１２、動きベクトル予測回路１５にそれぞれ出力される。
【００２９】
第二の予測モード信号１３ｂがインター符号化モードの場合、予測画像作成回路１２は、動きベクトル１４ａに基づいて予測画像を作成する。このときＤＣＴ入力選択回路２は、減算器１の出力を選択するよう制御される。これにより、ＤＣＴ回路３において、入力画像のマクロブロックと、その予測画像との差分信号に対してＤＣＴ変換が施される。ＤＣＴ回路３により出力されるＤＣＴ係数は量子化器４により量子化され、ＡＣ／ＤＣ予測器５に送られる。ＡＣ／ＤＣ予測器５は、量子化されたＤＣＴ係数に対してＤＣ係数およびＡＣ係数の予測を行い、２次元配列から１次元配列に変換し、可変長符号化回路６に出力する。量子化されたＤＣＴ係数はまた、逆量子化器７に送られ、逆量子化を行った後、逆ＤＣＴ回路８に送られる。逆ＤＣＴ回路８の出力は、加算器９において、予測画像作成器１２からの予測画像と加算されて、復号画像選択回路１０に送られる。
【００３０】
これに対し、第二の予測モード信号１３ｂがイントラ符号化モードの場合、ＤＣＴ入力選択回路２は、入力画像信号を選択してＤＣＴ回路３に出力する。これにより、入力画像信号のマクロブロックに対してＤＣＴ変換が施される。ＤＣＴ回路３により出力されるＤＣＴ係数は量子化器４により量子化され、量子化されたＤＣＴ係数は、ＡＣ／ＤＣ予測器５に送られる。ＡＣ／ＤＣ予測器５は、量子化されたＤＣＴ係数に対してＤＣ係数およびＡＣ係数の予測を行い、２次元配列から１次元配列に変換し、可変長符号化回路６に出力する。量子化されたＤＣＴ係数はまた、逆量子化器７に送られ、逆量子化を行った後、逆ＤＣＴ回路８に送られる。逆ＤＣＴ回路８により出力される複合画像は、加算器９、および復号画像選択回路１０に送られる。このとき、予測画像作成器１２は、予測画像の作成は行われていないので、復号画像選択回路１０は第二の予測モード信号１３ｂにより、逆量子化器８の出力を選択するよう制御される
【００３１】
このように、入力マクロブロックと複号画像との誤差に基づいて、各マクロブロック毎に符号化方法を決定するとともに、符号化方法が決定したマクロブロックのうちイントラ符号化が適用されるマクロブロックをカウントすることにより、符号化中の入力画像と復号画像との相関性を判定し、相関性が少ないと判断された場合は、符号化中のＶＯＰの、残りのマクロブロック全てに対して強制的にイントラ符号化を適用することにより、不要な動きベクトルの検出を省略し、消費電力および処理時間を削減することができる。
【００３２】
実施の形態２．
実施の形態１においては、符号化中のＶＯＰのうち、符号化方法が決定したマクロブロックの数と、このうちイントラ符号化モードと判定されたマクロブロックの数を比較することにより、強制イントラ予測信号１３ａを決定した。この場合、最初に入力されるマクロブロックに、イントラ符号化モードのマクロブロックが集中した場合、後に符号化されるマクロブロックの大半がインター符号化モードであっても、強制的にイントラ符号化により符号化されるため、データ圧縮効率が低下する。
【００３３】
本実施の形態２は、実施の形態１において、強制的にイントラ符号化を用いる際、符号化方法の判定が所定数のマクロブロックについて行われていることをさらなる条件とするものである。
【００３４】
図３は本実施の形態による予測モード判定回路１３の内部構成を表すブロック図である。イントラマクロブロックカウンタ１９は、実施の形態１と同様に、第一の予測モード信号１４ｂに基づいて、イントラ符号化モードと判定されたマクロブロックの数をカウントし、カウント値Ｎintraを第１の大小比較回路１８に送る。また、マクロブロックカウンタ１６は、マクロブロック単位で入力される入力画像信号に基づいて、符号化方法が決定したマクロブロックをカウントし、カウント値Ｎを第２の大小比較回路２３、および乗算器１７に送る。乗算器１７は、既に符号化方法が決定しているマクロブロック数Ｎに係数ｋ（０＜ｋ≦１）を乗じた値を第１の大小比較回路１８に送る。
【００３５】
第１の大小比較回路１８は、ＮintraとＮ×ｋとを比較し、比較結果が実施の形態１と同様に、以下の条件を満たしたときに真となり、１を論理積回路２４に出力する。
Ｎintra≧Ｎ×ｋ
【００３６】
第２の大小比較回路２３は、符号化方法が決定したマクロブロックの数Ｎと、所定の閾値Ｎthrとを比較し、比較結果が以下の条件を満たしたときに真となり、論理回路２４に１を出力する。
Ｎ≧Ｎthr
【００３７】
ここで、Ｎthrは、１ＶＯＰを構成するマクロブロックの数をＭとした場合、１＜Ｎthr＜Ｍを満たす整数であり、任意に設定できる閾値である。Ｎthrの値を、１ＶＯＰを構成するマクロブロックの総数Ｍに近い値に設定した場合、強制イントラ予測信号１３ａが１となるまでに動き検出されるマクロブロックの数は増える。
【００３８】
論理積回路２４は、第一の大小比較回路１８の出力と、第二の大小比較回路２３の出力との論理積を算出し、上記の２つの条件がともに満たされた場合に１を出力する。論理積回路２４の出力は、論理和回路２０を介して記憶回路２１に送られる。記憶回路２１は、ＶＯＰが更新されるまでの期間記憶される。これにより、論理積回路２４の出力が１となった場合、記憶回路２１から出力される強制イントラ予測信号１３ａは、ＶＯＰが更新されるまでの期間１となる。
【００３９】
強制イントラ予測信号１３ａが１となった場合、実施の形態１と同様の動作により、符号化中のＶＯＰの、残りのマクロブロックは全て、強制的にイントラ符号化により符号化される。強制イントラ予測信号１３ａは、図１に示すように、動き検出回路１４に送られる。強制イントラ予測信号が１の場合、符号化中のＶＯＰの、残りのマクロブロックの符号化が終了するまで、動き検出回路１４は動き検出を行わないよう制御される。
【００４０】
上記実施の形態においては、ＭＰＥＧ４のデータパーティションを有する画像信号を対象とする場合について説明したが、データパーティションでない場合や、Ｈ．２６３の場合などでも、同様の構成で、符号化中のＶＯＰにおけるイントラ符号化マクロブロック数による制御を行うことができる。さらに、入力信号が４：２：０以外の場合、ＶＯＰが矩形でない場合にも適用できる。
【００４１】
【発明の効果】
本発明による画像符号化装置は、複数のブロックにより構成される画像と、当該画像より前の画像との誤差を各ブロック毎に検出することにより、各ブロック毎に符号化方法を決定するとともに、符号化方法が決定したブロックのうち、イントラ符号化が適用されるブロックのカウント値に基づいて、残りのブロックの符号化方法を決定するので不要な動きベクトルの検出を省略し、消費電力、および処理時間を削減することができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１を示すブロック図である。
【図２】 この発明の実施の形態１における予測モード判定回路を示す図である。
【図３】 この発明の実施の形態２における予測モード判定回路を示す図である。
【図４】 従来の符号化装置を示すブロック図である。
【図５】 従来の符号化装置への入力信号を示す図である。
【図６】 従来の符号化装置におけるＤＣ／ＡＣ予測の概念を示す図である。
【符号の説明】
１ 減算器，２ ＤＣＴ入力選択回路，３ ＤＣＴ回路，４ 量子化器，５ ＤＣ／ＡＣ予測器，６ 可変長符号化回路，７ 逆量子化器，８ 逆ＤＣＴ回路，９ 加算器，１０ 復号画像選択回路，１１ 復号画像メモリ，１２ 予測画像作成回路，１３ 予測モード判定回路，１４ 動き検出回路，１５ 動きベクトル予測器，１６ マクロブロック計数回路，１７ 乗算器，１８ 大小比較回路
１９ イントラマクロブロック計数回路，２０ 論理和回路，２１ 記憶回路
２２ 予測モード選択回路，２３ 第二の大小比較回路，２４ 論理積回路

Claims (2)

1. 複数のブロックにより構成される１画面の画像を、前記ブロック毎にイントラ符号化、またはインター符号化のいずれかを適用して符号化する画像符号化装置において、
   前記１画面の画像と、当該１画面より前の画面の画像との誤差を、前記画像を構成する各ブロック毎に検出し、検出された前記誤差に基づいて前記各ブロックに適用する符号化方法を決定する手段と、
   符号化方法が決定した前記各ブロックのうち、イントラ符号化が適用されるブロックのカウント値Ｎｉｎｔｒａを出力する手段と、
   符号化方法が決定したブロックのカウント値Ｎを出力する手段とを備え、
   前記各ブロックに適用する符号化方法を決定する手段は、符号化方法が決定したブロックのカウント値Ｎが予め設定されたブロック数を上回り、かつ、以下の条件
   Ｎｉｎｔｒａ≧Ｎ×ｋ
   （０＜ｋ≦１）
   が成立した時点で、強制イントラ予測信号を有効にして、残りの各ブロック全てにイントラ符号化を適用する画像符号化装置。
2. 前記各ブロックに適用する符号化方法を決定する手段は、前記強制イントラ予測信号が有効になった時点で、前記画像を構成するブロックのうち、符号化方法が決定されていない残りの各ブロックにおいて、動きベクトルの検出を行うことなく、当該残りの各ブロック全ての符号化方法をイントラ符号化とする請求項１に記載の画像符号化装置。

Images