JP3888533B2 - 画像特徴に応じた画像符号化装置 - Google Patents
画像特徴に応じた画像符号化装置 Download PDFInfo
- Publication number
- JP3888533B2 JP3888533B2 JP2002145005A JP2002145005A JP3888533B2 JP 3888533 B2 JP3888533 B2 JP 3888533B2 JP 2002145005 A JP2002145005 A JP 2002145005A JP 2002145005 A JP2002145005 A JP 2002145005A JP 3888533 B2 JP3888533 B2 JP 3888533B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- gop
- encoding
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像符号化装置に関し、特にデジタル動画像信号の動き補償予測を用いた符号化を行う画像特徴に応じた画像符号化装置に関する。
【０００２】
【従来の技術】
連続して入力される動画像信号をより少ない符号量で符号化する高能率符号化方式のうち、画像信号の画像間の動きと相関を利用する符号化方式として、過去の符号化された画像を復号再生し、該画像からの小ブロック単位での動き情報を利用する動き補償予測符号化がある。従来の動き補償予測符号化の一例を、図８に示す。
【０００３】
図８において、第１画面の入力画像信号１が入力された場合、予測モード制御部１２により各々のスイッチはそれぞれ▲１▼側に接続されており、入力信号は高い符号化効率を得るために直交変換器３に直接入力され、該直交変換器３でＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で直交変換係数が量子化される。この量子化係数は第１可変長符号化器５でハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【０００４】
一方、逆量子化器６に入力した量子化係数は逆量子化され、さらに逆直交変換器７で画像データが復元される。復元された画像データはフレームメモリ９に蓄積される。また、ビデオ多重化器１５では、第１可変長符号化器５からの符号化データや量子化器４からの量子化情報１８を多重化して符号化ビデオデータ出力１６として出力する。
【０００５】
次の画面の入力画像信号１が入力されるようになると、符号化モード制御部１２により、各々のスイッチは▲２▼側の接点に接続され、入力画像信号１が予測信号減算器２および動き補償器１０に入力される。動き補償器１０では該入力画像信号１とフレームメモリ９から入力された参照画像とで動きベクトルが検出され、該動きベクトルは位置シフタ１１と第２可変長符号化器１４に入力される。第２可変長符号化器１４では、動きベクトル情報がハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【０００６】
位置シフタ１１では、動きベクトルによって指定される画像信号をフレームメモリ９から抽出し、動き補償予測信号として予測信号減算器２および局所復号加算器８に出力される。予測信号減算器２で入力画像信号１から動き補償予測信号が減算され、その予測誤差が符号化される。予測誤差信号は高い符号化効率を得るために直交変換器３においてＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で量子化された信号は第１可変長符号化器５でハフマン符号などの可変長符号に変換される。また復号側と同一の予測信号を用いるために、量子化器４で得られる量子化係数を逆量子化器６で逆量子化し、逆直交変換器７で予測誤差信号が局所的に復号される。さらに動き補償予測信号が局所復号加算器８で復元された予測誤差信号と加算され、フレームメモリ９に蓄積される。
【０００７】
動画像の符号化では、画像間の動きや相関を利用した符号化を行うことで、符号化効率を向上することができるが、符号化された動画像から任意の時点の画像の復号再生を行う場合には、動き補償予測で用いた参照画像もあらかじめ復号再生されている必要があるため、符号化画像の先頭からの復号処理を行わないと全ての画像の復号再生を行うことができないことになる。この問題を解消するため、過去の復号再生画像と関係なく独立して復号することができるフレーム内予測符号化フレームを定期的に挿入することにより、符号化効率を保ちながら、なおかつ動画像の先頭以外からの復号再生を可能としている。
【０００８】
動画像の符号化では、高能率符号化と復号再生の利便性から、以下の３種類の画像符号化方式を組み合わせて利用されている。
【０００９】
Ｐフレーム：片方向予測フレーム。フレーム間予測フレームの一つ。過去に符号化された画像からフレーム間動き補償予測符号化により符号化される。該画像は復号再生され、次のＰフレーム符号化のための参照画像となる。参照される画像と参照する画像の類似性が高い場合には符号化効率が向上する。
【００１０】
Ｂフレーム：フレーム間予測フレームの一つ。過去に符号化された時間的に前後する２枚の画像からフレーム間動き補償予測により符号化される。該フレームは参照画像としては利用されない。
【００１１】
Ｉフレーム：フレーム内符号化フレーム。画像間の動きと相関は利用せず、１枚の画像を独立して符号化する。したがって独立したフレームの復号が可能。
【００１２】
上記の３種類の符号化方式を組み合わせ、独立した復号が可能な画像群の最小単位をＧＯＰ（Group Of Picture）と呼ぶ。また、その符号化方式の組み合わせをＧＯＰ構造という。一つのＧＯＰ内で最初に符号化されるフレームはフレーム内符号化（Ｉフレーム）となる。図９にＧＯＰの例を示す。図９において一つのＧＯＰに含まれるフレーム数をＧＯＰサイズ、Ｐフレーム間、またはＩフレームとＰフレームとの間隔を予測フレーム間隔と呼ぶ。
【００１３】
従来は、入力画像の特徴に関係なくＩフレーム挿入間隔、つまりＧＯＰサイズを固定値とし、一定枚数ごとに強制的にフレーム内符号化を行っている。そのため、参照画像との相関が高く、フレーム間予測符号化を用いることで符号化効率が向上できる可能性がある場合でも、フレーム内符号化を利用しなくてはならない場合が生ずる。
【００１４】
また、予測フレーム間隔についても、最も符号化効率のよい予測フレーム間隔は画像の特徴に依存する。たとえば、動きの激しい映像では、予測フレーム間隔を短くすることによって参照画像からの予測効率が高くなり、符号化効率を向上することができる。逆に変化がほとんどない場合には、予測フレーム間隔を長くすることにより、符号化効率を向上することができる。しかし、従来の方式では画像の特徴には関係なく、固定的に予測フレーム間隔を０．１秒程度としている。
【００１５】
【発明が解決しようとする課題】
前記した従来方法による画像の符号化においては、入力される画像に変化があり、フレーム間予測符号化が効果的ではない場合でもフレーム間予測符号化が用いられたり、フレーム間予測符号化であれば効果的な符号化ができるにもかかわらず、強制的にフレーム内予測符号化が用いられたりするため、符号化効率の向上や、復号再生画像の画質の向上を妨げている。また、画像特徴変化直後の画質に大幅な変動が起こることも避けることができない。例えば、シーンの変化等の大きな変化が入力画像にあった場合には、画質が大幅に変動してしまうという問題があった。
【００１６】
本発明の目的は、前記した従来技術の問題点を解決し、入力画像の特徴や、入力画像の特徴の変化に応じて、ＧＯＰサイズ、および予測フレーム間隔を適応的に変化させることで、符号化効率の向上を達成し、更に符号化画像品質を安定化させる画像特徴に応じた画像符号化装置を提供することにある。
【００１７】
【課題を解決するための手段】
前記目的を達成するために、本発明は、連続して入力される画像信号に対して、各画像間の動き補償予測を利用した画像符号化を行う動画像符号化装置において、入力された画像信号をあらかじめ一定量蓄積する蓄積手段と、該蓄積手段に蓄積された各画像の小ブロック毎の代表値間の差分情報または画素差分情報の画面内総和から画像間の変化量を測定し、該測定された変化量が予め決められた第１の閾値以上の場合に、フレーム内符号化モードでの符号化を行う画像を決定し、該フレーム内符号化された画像と次にフレーム内符号化される画像の直前の画像までを１ＧＯＰと決定する手段と、前記１ＧＯＰ内の基準画像と他の画像との間の動き特徴予測情報の平均値を求め、予測フレーム間隔と該平均値との間に反比例の関係が成立するように予測符号化フレーム間隔を決定する手段とを具備し、前記蓄積手段に蓄積されている画像を、前記各手段により決定されるＧＯＰと、該ＧＯＰ内の予測符号化フレーム間隔に従って符号化するようにした点に特徴がある。
【００１８】
この特徴によれば、ＧＯＰサイズは画像特徴により異なるサイズとなり、入力画像間の動きの特徴により、最適な予測フレーム間隔を決定することができるようになる。さらに、従来の固定ＧＯＰサイズおよび固定予測フレーム間隔での画像符号化方式では避けることのできなかった入力画像の変化に伴う画質の大幅な変動や、符号化効率の低下を解消することができるようになる。
【００１９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。なお、以下の説明では、動画像符号化方式として、図８に示した符号化装置を用いるものとするが、本発明はこれに限定されるものではない。また、図８と同じ符号は、同一または同等物を示す。
【００２０】
この実施形態は、連続して入力される画像信号からその画像信号の特徴の解析を行い、その情報に応じてＧＯＰ構造を決定し、その情報から符号化処理を行うことに特徴がある。
【００２１】
図１において、連続的に入力される画像信号はＧＯＰ構造決定部２０において、その特徴解析を行い、入力画像に応じたＧＯＰ構造を決定し、その情報を基に、画像の符号化の際に符号化モード制御部１２に対してＧＯＰ構造情報信号２１を出力し、また、符号化レート制御部１７に対して符号化複雑度予測情報２２を出力する。なお、上記以外の動作は、図８の符号化装置の動作と同様であるので、説明を省略する。
【００２２】
図１におけるＧＯＰ構造決定部２０の処理の実施形態をブロック図により示したものが図２〜図５である。本発明の第一実施形態である図２における処理の手順を説明する。まず連続的に入力される画像信号は、フレームメモリ３１に蓄積される。フレームメモリ３１では最大ＧＯＰサイズ分の画像を蓄積することができるものとする。
【００２３】
２画像間変化量解析部３２では、フレームメモリ３１に蓄積される各画像と、時間的に直前に隣接する画像との間の映像からの変化量の算出を行い、その結果である画像間変化量情報ＡをＧＯＰ境界決定部３３に出力する。ここでは画像間変化量情報Ａの算出には対象画像と直前の画像を用いたが、その他の画像を用いることも可能である。
【００２４】
ＧＯＰ境界位置決定部３３では、２画像間変化量解析部３２から出力された、画像間変化量情報Ａから、フレームメモリ３１内においてＧＯＰ境界とするのに最適な位置を決定し、その情報をＧＯＰ境界位置情報Ｂとして出力する。このＧＯＰ境界位置の決定により、フレームメモリ３１内にある該決定したＧＯＰ境界位置よりも古い画像が１つのＧＯＰとなる。
【００２５】
また、簡易動き探索部３４では、ＧＯＰ境界位置決定部３３におけるＩフレーム位置挿入決定、つまり１ＧＯＰサイズ決定後に、ＧＯＰ境界位置決定部３３から出力されたＩフレーム挿入位置情報であるＧＯＰ境界位置情報Ｂと、フレームメモリ３１に蓄積されている映像情報から決定された１ＧＯＰサイズ分の画像の中から基準となる画像を決定し、その画像と他の画像との間での簡易動き探索により、動き特徴予測情報Ｃを出力する。
【００２６】
次に、予測フレーム間隔決定部３５において、簡易動き探索部３４から入力された動き特徴予測情報Ｃにより予測フレーム間隔を決定し、予測フレーム間隔情報Ｄを出力する。
【００２７】
画像間変化量情報Ａ，ＧＯＰ境界位置情報Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報Ｄは、符号化複雑度予測部３７に入力され、該符号化複雑度予測部３７において、Ｉ，Ｐ，Ｂ各フレーム符号化モードにおける符号化の複雑度を予測し、その情報を符号化複雑度予測情報Ｅとして符号化レート制御部３８へ出力する。
【００２８】
符号化レート制御部３８では、入力画像の符号化時に、符号化複雑度予測部３７から入力された符号化複雑度予測情報Ｅを反映させて符号化レート制御を行う。また、ＧＯＰ境界位置情報Ｂおよび予測フレーム間隔情報Ｄは、符号化モード制御部３６にも出力され、該符号化モード制御部３６は該情報により決定されるＧＯＰ構造により、符号化時のスイッチの制御を行う。
【００２９】
フレームメモリ３１内の一つのＧＯＰの構造が決定した後に、該ＧＯＰ内の各画像の符号化を行うため、フレームメモリ３１は図１の予測信号減算部２に対して画像信号を出力し、出力された画像信号情報は、フレームメモリ３１から削除される。
【００３０】
フレームメモリ３１は、一つのＧＯＰの符号化が終了すると、フレームメモリ３１内の残りの画像の後に連続して入力される画像を蓄積する。フレームメモリ３１は、最大ＧＯＰサイズ分の画像信号を蓄積すると、次のＧＯＰ構造決定のための処理を行い、この処理を繰り返す。
【００３１】
次に、本発明の第１実施形態である図２のＧＯＰ構造決定部２０の各部の動作の詳細を説明する。
【００３２】
まず、フレームメモリ３１では、連続して入力される画像信号を蓄積する。蓄積する画像枚数は、符号化時に決定する最大ＧＯＰサイズ以上とする。フレームメモリ３１では、２画像間変化量解析部３２、および簡易動き探索部３４に対して画像信号の出力を行う。また、蓄積されている画像群において、一つのＧＯＰの構造が決定されると、画像符号化装置に対して画像信号の出力を行い、出力した画像信号はフレームメモリ３１から削除し、該領域上に、新たに入力される画像信号を蓄積する。
【００３３】
次に２画像間変化量解析部３２では、フレームメモリ３１から２枚の画像情報を取り出し、該画像間の変化量情報Ａの算出を行う。算出方法には、２枚の画像における同位置の画素情報同士の絶対差分量のフレーム内の総和量により決定する方法や、画像を小ブロックに分割し、該小ブロック毎の画素の分散値を求め、該分散値を小ブロックの代表値としたフレーム間の絶対差分量のフレーム内の総和量により決定する方法をとる。
【００３４】
前者の決定方法は、例えば図１０(a) に示されているように、画像ｉ、ｊの各画素値を、Ｐi1，Ｐi2，…，Ｐin；Ｐj1，Ｐj2，…，Ｐjnとした場合、同図の(1) 式により決定される。また、後者の決定方法は、例えば同図(b) に示されているように、画像ｉ、ｊの各小ブロックの分散値を、σi1，σi2，…，σim；σj1，σj2，…，σjmとした場合、同図の(2) 式により決定される。
【００３５】
なお、前記決定方法の各画素値は、輝度値のみによる処理を行ったが、色差値による処理や、輝度および色差値双方を用いる処理も可能である。２画像間変化量解析部３２で算出された画像間変化量情報Ａは、ＧＯＰ境界決定部３３、および符号化複雑度予測部３７へ出力される。
【００３６】
ＧＯＰ境界位置決定部３３では、２画像間変化量解析部３２より入力された画像間変化量情報Ａから、その値がある閾値を越えた場合に該フレーム直前をＧＯＰ境界とする方法をとる。また、フレームメモリ３１内の全画像についての画像間変化量情報Ａからその最大値をもつ画像の直前をＧＯＰ境界とする方法や、閾値による方式と最大値による方式との論理和、論理積による決定も可能である。ＧＯＰ境界位置決定部３３で得られたＧＯＰ境界位置情報Ｂは、簡易動き予測部４、符号化モード制御部３６、および符号化複雑度予測部３７へ出力される。
【００３７】
簡易動き探索部３４では、ＧＯＰ境界位置決定部３３においてフレームメモリ３１内の画像について一つのＧＯＰサイズが決定した後、該ＧＯＰ内の画像の動き情報を予測するために簡易動き探索処理を行う。最も正確な動き情報を収集するには、図１に示す動画像の符号化装置における動き補償器１０での動き探索処理と同様に、入力画像を８×８画素や１６×１６画素単位の小ブロック単位に分割し、該小ブロックのそれぞれについて動き探索を行い、その処理で得られた小ブロック毎の動き情報から判断する方法であるが、動き探索に要する処理量は非常に大きく、例えば画像サイズが７２０×４８０画素で、探索範囲を±１６画素とした場合、１枚の画像における動き探索処理に２３１回以上の加算処理が必要となる。
【００３８】
このような処理を簡易動き探索部３４で行うことを考えると、本方式での符号化を行う場合には、処理量の大きい動き探索処理をＧＯＰ構造決定の際と、実際の符号化の際とで２度行う必要が生ずる。この不具合を避けるために、ＧＯＰ構造決定の際に得られた動き情報を、画像符号化時の動き補償器１０での動き情報として利用することで、動き探索の処理回数を１度とする方法が考えられるが、本方式では予測フレーム間隔が確定する前に簡易動き検出部３４の動作が行われるために、該簡易動き検出部３４の探索処理により得られた動き情報を、画像符号化における動き補償器１０においてそのまま利用することは不可能である。
【００３９】
そのため、本発明では簡易動き探索部３４では処理量の少ない簡易な動き探索処理を行い、その情報から画像の動き情報を予測する手段を用いる。以下に簡易動き探索処理を説明する。
【００４０】
まず、決定されたＧＯＰ内の一つの画像を基準画像として選択し、該基準画像を小ブロック毎に分割し、該小ブロックを一つの代表値で表現した縮小画像を作成する。ここで、該代表値の算出には、例えば、小ブロック内全画素値の分散を用いることができる。また、基準となる画像の選択方法として、対象となるＧＯＰ内で最も古い画像を利用することとするが、他の画像を選択することも可能である。
【００４１】
次に、基準となる画像との動き特徴を把握するため、対象画像を定め、該画像の縮小画像を作成する。そして基準画像と対象画像の縮小画像を用いた動き探索処理を行う。本発明ではこの処理をＧＯＰ内の基準画像以外の全ての画像に対して行うが、全てではなく、選択的にいくつかの画像と行うことも可能である。
【００４２】
本方式では、この小ブロック単位で画像特徴情報をよく反映する代表値を算出し、１画像内の全ての小ブロックの代表値から縮小画像を作成し、この縮小画像を用いて画像間の簡易動き探索を行う。図６は縮小画像の作成を示したものである。入力される画像のサイズを水平方向Ｍ画素、垂直方向Ｎ画素とし、小ブロックのサイズを水平および垂直方向に８画素とすると、各小ブロックの代表値には６４画素に対して１個の値となり、生成される縮小画像のサイズはＮ，Ｍ共に８の倍数の場合には、水平方向Ｍ／８画素、垂直方向Ｎ／８画素となる。また、小ブロックのサイズは８画素×８画素以外にも、１６画素×１６画素や、その他全ての矩形ブロックでの処理が可能である。
【００４３】
また、本方式では小ブロック毎の代表値の算出には、小ブロック内全画素値の分散を利用したが、平均値、標準偏差値、または平均値との絶対誤差和の利用、または各々の組み合せの利用も可能である。ここでは画素値には輝度値を用いるが、色差値、または輝度値と色差値の双方を利用することも可能である。
【００４４】
また、動き探索による動き特徴値は、一般的な動き探索処理では、該小ブロック単位での動き探索を行い、最も差分量の小さい位置を示すベクトルを算出するが、本方式においては縮小画像を用いるため、動きベクトル情報の精度は低い。そのため、画像全体の動きの大きさの指標として、縮小画像情報での動き探索の際に最も動き補償予測誤差の低い位置における動き補償予測誤差量をその画像における動き特徴値とする。また、この動き補償予測誤差の算出には、２乗誤差量、絶対誤差量、平方根での絶対誤差量の利用が可能である。一般的な原画像画素情報を用いた動き探索処理と比較し、小ブロックを１６画素単位とした縮小画像を作成し、簡易動き探索処理の場合では、２１３回程度の加算処理となり、一般的な動き探索処理における演算量の１／１０００００以下となる。得られた動き特徴予測情報Ｃは予測フレーム間隔決定部３５へ出力される。
【００４５】
１ＧＯＰ内で基準となる画像とそれ以外の画像との間での簡易な動き探索により得られた動き補償予測誤差量は、動き特徴予測情報Ｃとして予測フレーム間隔決定部３５に入力される。予測フレーム間隔決定部３５では、該動き特徴予測情報Ｃより予測フレーム間隔を決定する。画像の符号化の際に、画像間における動きや変化が大きい場合には予測フレーム間隔を小さくとり、また、画像間における動きや変化が小さい場合には予測フレーム間隔を大きくとることにより、最も効率的な符号化を行うことができる。したがって、まず１ＧＯＰにわたる動き特徴を把握するために、１ＧＯＰ内の基準画像とその他の画像との間の全ての動き特徴予測情報を求め、次いでその平均値を求める。そして、該平均値を代表値とし、該代表値を基に予測フレーム間隔を決定する。予測フレーム間隔と、得られた平均値との間に反比例の関係を持たせることが、本発明の一つの特徴である。また、１ＧＯＰ内の代表値の算出には、平均値を利用する方法以外にも、最大値、最小値を利用することも可能である。
【００４６】
また、入力される画像の解像度が高い場合には、画素に対する相対的な動き量は大きくなるため、画像の解像度と最適な予測フレーム間隔との関係は反比例となる。本発明では予測フレーム間隔値の決定の際に、画像の解像度情報との反比例関係を反映させることを他の特徴とする。決定された予測フレーム間隔情報Ｄは、符号化複雑度予測部３７、および符号化モード制御部３６へと出力される。ＧＯＰ境界位置情報Ｂ、および予測フレーム間隔情報Ｄは、共に符号化モード制御部３６に伝達され、その情報を基に各画像の符号化時のスイッチの制御を行う。
【００４７】
画像間変化量情報Ａ，ＧＯＰ境界位置情報Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報Ｄは、符号化複雑度予測部３７に入力され、Ｉフレーム、Ｐフレーム、Ｂフレームそれぞれの符号化モードでの符号化における発生符号量予測の指標となる符号化複雑度予測情報Ｅを算出し、符号化レート制御部３８へ出力する。
【００４８】
符号化レート制御部３８では、新たなＧＯＰの符号化へと処理が移る際に、各符号化モードにおける符号化複雑度予測情報を、符号化複雑度予測部３７から入力される符号化複雑度予測情報Ｅにより更新する。従来は入力画像の切り替わりや、変動にかかわらず、同じ符号化モードを持つ過去のフレームで利用した符号化複雑度予測情報を利用していた。そのためシーンの変化等の大きな変化が入力画像にあった場合には相関のないフレームの符号化複雑度予測情報の影響を受け、画質が大幅に変動してしまう問題があった。しかし、本発明においては、符号化を行う画像情報からの予測であるため、このような問題を解消することができる。
【００４９】
次に、各符号化モードに対する符号化複雑度予測情報Ｅの算出方法を説明する。Ｉフレームにおける符号化複雑度予測情報Ｅの算出には、Ｉフレームとして符号化される画像を小ブロック単位に分割し、該小ブロック毎の画素値の分散を求め、該分散の画面内平均、およびスケーリングパラメータである固定値ＳＩとの積により決定する。画素値には、輝度情報、色差情報、および双方の利用が可能である。
【００５０】
また、該小ブロック毎の画素値の分散と、隣接小ブロックの画素値の分散値との間で算出した絶対差分量が閾値以上となった場合には、入力画像の該小ブロック領域には輪郭等のエッジ情報が含まれていると判断し、該小ブロック領域を符号化する際に、多くの符号量を割り当てることができるよう、符号化レート制御部３８に反映させることにする。
【００５１】
Ｐフレームにおける符号化複雑度予測情報Ｅは、対象ＧＯＰ内の全ての動き特徴予測情報Ｃより平均値を求め、該平均値とスケーリングパラメータである固定値ＳＰとの積により決定する。また、Ｉフレームにおける符号化複雑度予測情報をスケーリングして算出することも可能である。
【００５２】
Ｂフレームにおける符号化複雑度予測情報Ｅは、Ｐフレームにおける符号化複雑度予測情報とスケーリングパラメータである固定値ＳＢとの積により決定する。
【００５３】
次に、本発明の第２実施形態を、図３に示す。この実施形態は、図２の実施形態から符号化複雑度予測部３７の処理を省いた構成を有するものである。
【００５４】
次に、本発明の第３実施形態を、図４に示す。この実施形態は、図３の第２実施形態からＧＯＰサイズの決定にかかわる処理を省いた構成を有するものである。この実施形態においては、ＧＯＰサイズは、あらかじめ指定された長さで固定となり、各ＧＯＰにおいて、動き特徴予測情報Ｃから、最適な予測フレーム間隔を適応的に変化させるようにしている。
【００５５】
次に、本発明の第４実施形態を、図５に示す。この実施形態は、図３の第２実施形態から予測フレーム間隔の決定にかかわる処理を省いた構成を有するものである。この実施形態においては、予測フレーム間隔は、あらかじめ指定された間隔で固定となり、入力画像の特徴である画像間変化量情報Ａにより、ＧＯＰサイズのみを適応的に変化させるようにしている。
【００５６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、入力画像の特徴や変化に応じたＧＯＰサイズをとるようにしたので、入力画像の変化に適応したＧＯＰサイズをとることが可能になる。また、このため、固定ＧＯＰサイズでの符号化の場合に生じる符号化効率の低下、画質の変動を避けることができるようになる。
【００５７】
また、決定されたＧＯＰサイズから、該ＧＯＰ内の画像の動き特徴を検出し、その動き特徴に応じた予測フレーム間隔を設定するようにしたので、入力画像の動き特徴に応じた予測フレーム間隔を取ることが可能になる。また、このため、従来の固定予測フレーム間隔での符号化を行う場合と比較し、符号化効率を向上することができるようになる。
【００５８】
さらに、従来の装置ではシーンチェンジ等によって前のＧＯＰと対象ＧＯＰとの間に画像特徴に関連がない場合においても前のＧＯＰで利用した符号化複雑度予測情報を反映することによって、符号化画像の画質の大幅な変動や、劣化、符号化効率の低下が発生していた。しかし本発明では、１ＧＯＰの符号化終了後、次のＧＯＰの符号化処理前に、対象ＧＯＰ内の画像の特徴から符号化複雑度予測情報を算出することにより、関連のないＧＯＰの画像特徴の影響を受けることなく、安定した画質での符号化を行うことができるようになる。
【００５９】
ＭＰＥＧ２方式によるシーンの変化のある画像でのシミュレーション実験結果を図７に示す。シミュレーションでは４Ｍｂｉｔ／ｓの符号化レートで圧縮符号化した場合に、ＧＯＰサイズを１５フレーム固定、予測フレーム間距離を３フレームで固定した従来装置の符号化に対し、本発明ではＰＳＮＲの変動が小さく、かつ０．６５ｄＢの画質の改善を行うことができた。
【図面の簡単な説明】
【図１】 本発明を含む動き補償予測符号化装置のブロック図である。
【図２】 本発明の一実施形態のＧＯＰ構造決定部の構成を示すブロック図である。
【図３】 本発明の第２実施形態を示すブロック図である。
【図４】 本発明の第３実施形態を示すブロック図である。
【図５】 本発明の第４実施形態を示すブロック図である。
【図６】 簡易動き探索のための縮小画像作成の説明図である。
【図７】 本発明のシミュレーション実験結果を示すグラフである。
【図８】 本発明が適用される従来の動き補償予測符号化装置のブロック図である。
【図９】 従来のＧＯＰ構造を示す図である。
【図１０】 ２画素間変化量の算出方法の説明図である。
【符号の説明】
１０…動き補償器、１２、３６…符号化モード制御部、１７、３８…符号化レート制御部、２０…ＧＯＰ構造決定部、２１…ＧＯＰ構造情報信号、２２…符号化複雑度予測情報、３１…フレームメモリ、３２…２画素間変化量解析部、３３…ＧＯＰ境界位置決定部、３４…簡易動き探索部、３５…予測フレーム間隔決定部、３７…符号化複雑度予測部。
【発明の属する技術分野】
本発明は画像符号化装置に関し、特にデジタル動画像信号の動き補償予測を用いた符号化を行う画像特徴に応じた画像符号化装置に関する。
【０００２】
【従来の技術】
連続して入力される動画像信号をより少ない符号量で符号化する高能率符号化方式のうち、画像信号の画像間の動きと相関を利用する符号化方式として、過去の符号化された画像を復号再生し、該画像からの小ブロック単位での動き情報を利用する動き補償予測符号化がある。従来の動き補償予測符号化の一例を、図８に示す。
【０００３】
図８において、第１画面の入力画像信号１が入力された場合、予測モード制御部１２により各々のスイッチはそれぞれ▲１▼側に接続されており、入力信号は高い符号化効率を得るために直交変換器３に直接入力され、該直交変換器３でＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で直交変換係数が量子化される。この量子化係数は第１可変長符号化器５でハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【０００４】
一方、逆量子化器６に入力した量子化係数は逆量子化され、さらに逆直交変換器７で画像データが復元される。復元された画像データはフレームメモリ９に蓄積される。また、ビデオ多重化器１５では、第１可変長符号化器５からの符号化データや量子化器４からの量子化情報１８を多重化して符号化ビデオデータ出力１６として出力する。
【０００５】
次の画面の入力画像信号１が入力されるようになると、符号化モード制御部１２により、各々のスイッチは▲２▼側の接点に接続され、入力画像信号１が予測信号減算器２および動き補償器１０に入力される。動き補償器１０では該入力画像信号１とフレームメモリ９から入力された参照画像とで動きベクトルが検出され、該動きベクトルは位置シフタ１１と第２可変長符号化器１４に入力される。第２可変長符号化器１４では、動きベクトル情報がハフマン符号などの可変長符号に変換されてビデオ多重化器１５に入力される。
【０００６】
位置シフタ１１では、動きベクトルによって指定される画像信号をフレームメモリ９から抽出し、動き補償予測信号として予測信号減算器２および局所復号加算器８に出力される。予測信号減算器２で入力画像信号１から動き補償予測信号が減算され、その予測誤差が符号化される。予測誤差信号は高い符号化効率を得るために直交変換器３においてＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化器４で量子化された信号は第１可変長符号化器５でハフマン符号などの可変長符号に変換される。また復号側と同一の予測信号を用いるために、量子化器４で得られる量子化係数を逆量子化器６で逆量子化し、逆直交変換器７で予測誤差信号が局所的に復号される。さらに動き補償予測信号が局所復号加算器８で復元された予測誤差信号と加算され、フレームメモリ９に蓄積される。
【０００７】
動画像の符号化では、画像間の動きや相関を利用した符号化を行うことで、符号化効率を向上することができるが、符号化された動画像から任意の時点の画像の復号再生を行う場合には、動き補償予測で用いた参照画像もあらかじめ復号再生されている必要があるため、符号化画像の先頭からの復号処理を行わないと全ての画像の復号再生を行うことができないことになる。この問題を解消するため、過去の復号再生画像と関係なく独立して復号することができるフレーム内予測符号化フレームを定期的に挿入することにより、符号化効率を保ちながら、なおかつ動画像の先頭以外からの復号再生を可能としている。
【０００８】
動画像の符号化では、高能率符号化と復号再生の利便性から、以下の３種類の画像符号化方式を組み合わせて利用されている。
【０００９】
Ｐフレーム：片方向予測フレーム。フレーム間予測フレームの一つ。過去に符号化された画像からフレーム間動き補償予測符号化により符号化される。該画像は復号再生され、次のＰフレーム符号化のための参照画像となる。参照される画像と参照する画像の類似性が高い場合には符号化効率が向上する。
【００１０】
Ｂフレーム：フレーム間予測フレームの一つ。過去に符号化された時間的に前後する２枚の画像からフレーム間動き補償予測により符号化される。該フレームは参照画像としては利用されない。
【００１１】
Ｉフレーム：フレーム内符号化フレーム。画像間の動きと相関は利用せず、１枚の画像を独立して符号化する。したがって独立したフレームの復号が可能。
【００１２】
上記の３種類の符号化方式を組み合わせ、独立した復号が可能な画像群の最小単位をＧＯＰ（Group Of Picture）と呼ぶ。また、その符号化方式の組み合わせをＧＯＰ構造という。一つのＧＯＰ内で最初に符号化されるフレームはフレーム内符号化（Ｉフレーム）となる。図９にＧＯＰの例を示す。図９において一つのＧＯＰに含まれるフレーム数をＧＯＰサイズ、Ｐフレーム間、またはＩフレームとＰフレームとの間隔を予測フレーム間隔と呼ぶ。
【００１３】
従来は、入力画像の特徴に関係なくＩフレーム挿入間隔、つまりＧＯＰサイズを固定値とし、一定枚数ごとに強制的にフレーム内符号化を行っている。そのため、参照画像との相関が高く、フレーム間予測符号化を用いることで符号化効率が向上できる可能性がある場合でも、フレーム内符号化を利用しなくてはならない場合が生ずる。
【００１４】
また、予測フレーム間隔についても、最も符号化効率のよい予測フレーム間隔は画像の特徴に依存する。たとえば、動きの激しい映像では、予測フレーム間隔を短くすることによって参照画像からの予測効率が高くなり、符号化効率を向上することができる。逆に変化がほとんどない場合には、予測フレーム間隔を長くすることにより、符号化効率を向上することができる。しかし、従来の方式では画像の特徴には関係なく、固定的に予測フレーム間隔を０．１秒程度としている。
【００１５】
【発明が解決しようとする課題】
前記した従来方法による画像の符号化においては、入力される画像に変化があり、フレーム間予測符号化が効果的ではない場合でもフレーム間予測符号化が用いられたり、フレーム間予測符号化であれば効果的な符号化ができるにもかかわらず、強制的にフレーム内予測符号化が用いられたりするため、符号化効率の向上や、復号再生画像の画質の向上を妨げている。また、画像特徴変化直後の画質に大幅な変動が起こることも避けることができない。例えば、シーンの変化等の大きな変化が入力画像にあった場合には、画質が大幅に変動してしまうという問題があった。
【００１６】
本発明の目的は、前記した従来技術の問題点を解決し、入力画像の特徴や、入力画像の特徴の変化に応じて、ＧＯＰサイズ、および予測フレーム間隔を適応的に変化させることで、符号化効率の向上を達成し、更に符号化画像品質を安定化させる画像特徴に応じた画像符号化装置を提供することにある。
【００１７】
【課題を解決するための手段】
前記目的を達成するために、本発明は、連続して入力される画像信号に対して、各画像間の動き補償予測を利用した画像符号化を行う動画像符号化装置において、入力された画像信号をあらかじめ一定量蓄積する蓄積手段と、該蓄積手段に蓄積された各画像の小ブロック毎の代表値間の差分情報または画素差分情報の画面内総和から画像間の変化量を測定し、該測定された変化量が予め決められた第１の閾値以上の場合に、フレーム内符号化モードでの符号化を行う画像を決定し、該フレーム内符号化された画像と次にフレーム内符号化される画像の直前の画像までを１ＧＯＰと決定する手段と、前記１ＧＯＰ内の基準画像と他の画像との間の動き特徴予測情報の平均値を求め、予測フレーム間隔と該平均値との間に反比例の関係が成立するように予測符号化フレーム間隔を決定する手段とを具備し、前記蓄積手段に蓄積されている画像を、前記各手段により決定されるＧＯＰと、該ＧＯＰ内の予測符号化フレーム間隔に従って符号化するようにした点に特徴がある。
【００１８】
この特徴によれば、ＧＯＰサイズは画像特徴により異なるサイズとなり、入力画像間の動きの特徴により、最適な予測フレーム間隔を決定することができるようになる。さらに、従来の固定ＧＯＰサイズおよび固定予測フレーム間隔での画像符号化方式では避けることのできなかった入力画像の変化に伴う画質の大幅な変動や、符号化効率の低下を解消することができるようになる。
【００１９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。なお、以下の説明では、動画像符号化方式として、図８に示した符号化装置を用いるものとするが、本発明はこれに限定されるものではない。また、図８と同じ符号は、同一または同等物を示す。
【００２０】
この実施形態は、連続して入力される画像信号からその画像信号の特徴の解析を行い、その情報に応じてＧＯＰ構造を決定し、その情報から符号化処理を行うことに特徴がある。
【００２１】
図１において、連続的に入力される画像信号はＧＯＰ構造決定部２０において、その特徴解析を行い、入力画像に応じたＧＯＰ構造を決定し、その情報を基に、画像の符号化の際に符号化モード制御部１２に対してＧＯＰ構造情報信号２１を出力し、また、符号化レート制御部１７に対して符号化複雑度予測情報２２を出力する。なお、上記以外の動作は、図８の符号化装置の動作と同様であるので、説明を省略する。
【００２２】
図１におけるＧＯＰ構造決定部２０の処理の実施形態をブロック図により示したものが図２〜図５である。本発明の第一実施形態である図２における処理の手順を説明する。まず連続的に入力される画像信号は、フレームメモリ３１に蓄積される。フレームメモリ３１では最大ＧＯＰサイズ分の画像を蓄積することができるものとする。
【００２３】
２画像間変化量解析部３２では、フレームメモリ３１に蓄積される各画像と、時間的に直前に隣接する画像との間の映像からの変化量の算出を行い、その結果である画像間変化量情報ＡをＧＯＰ境界決定部３３に出力する。ここでは画像間変化量情報Ａの算出には対象画像と直前の画像を用いたが、その他の画像を用いることも可能である。
【００２４】
ＧＯＰ境界位置決定部３３では、２画像間変化量解析部３２から出力された、画像間変化量情報Ａから、フレームメモリ３１内においてＧＯＰ境界とするのに最適な位置を決定し、その情報をＧＯＰ境界位置情報Ｂとして出力する。このＧＯＰ境界位置の決定により、フレームメモリ３１内にある該決定したＧＯＰ境界位置よりも古い画像が１つのＧＯＰとなる。
【００２５】
また、簡易動き探索部３４では、ＧＯＰ境界位置決定部３３におけるＩフレーム位置挿入決定、つまり１ＧＯＰサイズ決定後に、ＧＯＰ境界位置決定部３３から出力されたＩフレーム挿入位置情報であるＧＯＰ境界位置情報Ｂと、フレームメモリ３１に蓄積されている映像情報から決定された１ＧＯＰサイズ分の画像の中から基準となる画像を決定し、その画像と他の画像との間での簡易動き探索により、動き特徴予測情報Ｃを出力する。
【００２６】
次に、予測フレーム間隔決定部３５において、簡易動き探索部３４から入力された動き特徴予測情報Ｃにより予測フレーム間隔を決定し、予測フレーム間隔情報Ｄを出力する。
【００２７】
画像間変化量情報Ａ，ＧＯＰ境界位置情報Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報Ｄは、符号化複雑度予測部３７に入力され、該符号化複雑度予測部３７において、Ｉ，Ｐ，Ｂ各フレーム符号化モードにおける符号化の複雑度を予測し、その情報を符号化複雑度予測情報Ｅとして符号化レート制御部３８へ出力する。
【００２８】
符号化レート制御部３８では、入力画像の符号化時に、符号化複雑度予測部３７から入力された符号化複雑度予測情報Ｅを反映させて符号化レート制御を行う。また、ＧＯＰ境界位置情報Ｂおよび予測フレーム間隔情報Ｄは、符号化モード制御部３６にも出力され、該符号化モード制御部３６は該情報により決定されるＧＯＰ構造により、符号化時のスイッチの制御を行う。
【００２９】
フレームメモリ３１内の一つのＧＯＰの構造が決定した後に、該ＧＯＰ内の各画像の符号化を行うため、フレームメモリ３１は図１の予測信号減算部２に対して画像信号を出力し、出力された画像信号情報は、フレームメモリ３１から削除される。
【００３０】
フレームメモリ３１は、一つのＧＯＰの符号化が終了すると、フレームメモリ３１内の残りの画像の後に連続して入力される画像を蓄積する。フレームメモリ３１は、最大ＧＯＰサイズ分の画像信号を蓄積すると、次のＧＯＰ構造決定のための処理を行い、この処理を繰り返す。
【００３１】
次に、本発明の第１実施形態である図２のＧＯＰ構造決定部２０の各部の動作の詳細を説明する。
【００３２】
まず、フレームメモリ３１では、連続して入力される画像信号を蓄積する。蓄積する画像枚数は、符号化時に決定する最大ＧＯＰサイズ以上とする。フレームメモリ３１では、２画像間変化量解析部３２、および簡易動き探索部３４に対して画像信号の出力を行う。また、蓄積されている画像群において、一つのＧＯＰの構造が決定されると、画像符号化装置に対して画像信号の出力を行い、出力した画像信号はフレームメモリ３１から削除し、該領域上に、新たに入力される画像信号を蓄積する。
【００３３】
次に２画像間変化量解析部３２では、フレームメモリ３１から２枚の画像情報を取り出し、該画像間の変化量情報Ａの算出を行う。算出方法には、２枚の画像における同位置の画素情報同士の絶対差分量のフレーム内の総和量により決定する方法や、画像を小ブロックに分割し、該小ブロック毎の画素の分散値を求め、該分散値を小ブロックの代表値としたフレーム間の絶対差分量のフレーム内の総和量により決定する方法をとる。
【００３４】
前者の決定方法は、例えば図１０(a) に示されているように、画像ｉ、ｊの各画素値を、Ｐi1，Ｐi2，…，Ｐin；Ｐj1，Ｐj2，…，Ｐjnとした場合、同図の(1) 式により決定される。また、後者の決定方法は、例えば同図(b) に示されているように、画像ｉ、ｊの各小ブロックの分散値を、σi1，σi2，…，σim；σj1，σj2，…，σjmとした場合、同図の(2) 式により決定される。
【００３５】
なお、前記決定方法の各画素値は、輝度値のみによる処理を行ったが、色差値による処理や、輝度および色差値双方を用いる処理も可能である。２画像間変化量解析部３２で算出された画像間変化量情報Ａは、ＧＯＰ境界決定部３３、および符号化複雑度予測部３７へ出力される。
【００３６】
ＧＯＰ境界位置決定部３３では、２画像間変化量解析部３２より入力された画像間変化量情報Ａから、その値がある閾値を越えた場合に該フレーム直前をＧＯＰ境界とする方法をとる。また、フレームメモリ３１内の全画像についての画像間変化量情報Ａからその最大値をもつ画像の直前をＧＯＰ境界とする方法や、閾値による方式と最大値による方式との論理和、論理積による決定も可能である。ＧＯＰ境界位置決定部３３で得られたＧＯＰ境界位置情報Ｂは、簡易動き予測部４、符号化モード制御部３６、および符号化複雑度予測部３７へ出力される。
【００３７】
簡易動き探索部３４では、ＧＯＰ境界位置決定部３３においてフレームメモリ３１内の画像について一つのＧＯＰサイズが決定した後、該ＧＯＰ内の画像の動き情報を予測するために簡易動き探索処理を行う。最も正確な動き情報を収集するには、図１に示す動画像の符号化装置における動き補償器１０での動き探索処理と同様に、入力画像を８×８画素や１６×１６画素単位の小ブロック単位に分割し、該小ブロックのそれぞれについて動き探索を行い、その処理で得られた小ブロック毎の動き情報から判断する方法であるが、動き探索に要する処理量は非常に大きく、例えば画像サイズが７２０×４８０画素で、探索範囲を±１６画素とした場合、１枚の画像における動き探索処理に２３１回以上の加算処理が必要となる。
【００３８】
このような処理を簡易動き探索部３４で行うことを考えると、本方式での符号化を行う場合には、処理量の大きい動き探索処理をＧＯＰ構造決定の際と、実際の符号化の際とで２度行う必要が生ずる。この不具合を避けるために、ＧＯＰ構造決定の際に得られた動き情報を、画像符号化時の動き補償器１０での動き情報として利用することで、動き探索の処理回数を１度とする方法が考えられるが、本方式では予測フレーム間隔が確定する前に簡易動き検出部３４の動作が行われるために、該簡易動き検出部３４の探索処理により得られた動き情報を、画像符号化における動き補償器１０においてそのまま利用することは不可能である。
【００３９】
そのため、本発明では簡易動き探索部３４では処理量の少ない簡易な動き探索処理を行い、その情報から画像の動き情報を予測する手段を用いる。以下に簡易動き探索処理を説明する。
【００４０】
まず、決定されたＧＯＰ内の一つの画像を基準画像として選択し、該基準画像を小ブロック毎に分割し、該小ブロックを一つの代表値で表現した縮小画像を作成する。ここで、該代表値の算出には、例えば、小ブロック内全画素値の分散を用いることができる。また、基準となる画像の選択方法として、対象となるＧＯＰ内で最も古い画像を利用することとするが、他の画像を選択することも可能である。
【００４１】
次に、基準となる画像との動き特徴を把握するため、対象画像を定め、該画像の縮小画像を作成する。そして基準画像と対象画像の縮小画像を用いた動き探索処理を行う。本発明ではこの処理をＧＯＰ内の基準画像以外の全ての画像に対して行うが、全てではなく、選択的にいくつかの画像と行うことも可能である。
【００４２】
本方式では、この小ブロック単位で画像特徴情報をよく反映する代表値を算出し、１画像内の全ての小ブロックの代表値から縮小画像を作成し、この縮小画像を用いて画像間の簡易動き探索を行う。図６は縮小画像の作成を示したものである。入力される画像のサイズを水平方向Ｍ画素、垂直方向Ｎ画素とし、小ブロックのサイズを水平および垂直方向に８画素とすると、各小ブロックの代表値には６４画素に対して１個の値となり、生成される縮小画像のサイズはＮ，Ｍ共に８の倍数の場合には、水平方向Ｍ／８画素、垂直方向Ｎ／８画素となる。また、小ブロックのサイズは８画素×８画素以外にも、１６画素×１６画素や、その他全ての矩形ブロックでの処理が可能である。
【００４３】
また、本方式では小ブロック毎の代表値の算出には、小ブロック内全画素値の分散を利用したが、平均値、標準偏差値、または平均値との絶対誤差和の利用、または各々の組み合せの利用も可能である。ここでは画素値には輝度値を用いるが、色差値、または輝度値と色差値の双方を利用することも可能である。
【００４４】
また、動き探索による動き特徴値は、一般的な動き探索処理では、該小ブロック単位での動き探索を行い、最も差分量の小さい位置を示すベクトルを算出するが、本方式においては縮小画像を用いるため、動きベクトル情報の精度は低い。そのため、画像全体の動きの大きさの指標として、縮小画像情報での動き探索の際に最も動き補償予測誤差の低い位置における動き補償予測誤差量をその画像における動き特徴値とする。また、この動き補償予測誤差の算出には、２乗誤差量、絶対誤差量、平方根での絶対誤差量の利用が可能である。一般的な原画像画素情報を用いた動き探索処理と比較し、小ブロックを１６画素単位とした縮小画像を作成し、簡易動き探索処理の場合では、２１３回程度の加算処理となり、一般的な動き探索処理における演算量の１／１０００００以下となる。得られた動き特徴予測情報Ｃは予測フレーム間隔決定部３５へ出力される。
【００４５】
１ＧＯＰ内で基準となる画像とそれ以外の画像との間での簡易な動き探索により得られた動き補償予測誤差量は、動き特徴予測情報Ｃとして予測フレーム間隔決定部３５に入力される。予測フレーム間隔決定部３５では、該動き特徴予測情報Ｃより予測フレーム間隔を決定する。画像の符号化の際に、画像間における動きや変化が大きい場合には予測フレーム間隔を小さくとり、また、画像間における動きや変化が小さい場合には予測フレーム間隔を大きくとることにより、最も効率的な符号化を行うことができる。したがって、まず１ＧＯＰにわたる動き特徴を把握するために、１ＧＯＰ内の基準画像とその他の画像との間の全ての動き特徴予測情報を求め、次いでその平均値を求める。そして、該平均値を代表値とし、該代表値を基に予測フレーム間隔を決定する。予測フレーム間隔と、得られた平均値との間に反比例の関係を持たせることが、本発明の一つの特徴である。また、１ＧＯＰ内の代表値の算出には、平均値を利用する方法以外にも、最大値、最小値を利用することも可能である。
【００４６】
また、入力される画像の解像度が高い場合には、画素に対する相対的な動き量は大きくなるため、画像の解像度と最適な予測フレーム間隔との関係は反比例となる。本発明では予測フレーム間隔値の決定の際に、画像の解像度情報との反比例関係を反映させることを他の特徴とする。決定された予測フレーム間隔情報Ｄは、符号化複雑度予測部３７、および符号化モード制御部３６へと出力される。ＧＯＰ境界位置情報Ｂ、および予測フレーム間隔情報Ｄは、共に符号化モード制御部３６に伝達され、その情報を基に各画像の符号化時のスイッチの制御を行う。
【００４７】
画像間変化量情報Ａ，ＧＯＰ境界位置情報Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報Ｄは、符号化複雑度予測部３７に入力され、Ｉフレーム、Ｐフレーム、Ｂフレームそれぞれの符号化モードでの符号化における発生符号量予測の指標となる符号化複雑度予測情報Ｅを算出し、符号化レート制御部３８へ出力する。
【００４８】
符号化レート制御部３８では、新たなＧＯＰの符号化へと処理が移る際に、各符号化モードにおける符号化複雑度予測情報を、符号化複雑度予測部３７から入力される符号化複雑度予測情報Ｅにより更新する。従来は入力画像の切り替わりや、変動にかかわらず、同じ符号化モードを持つ過去のフレームで利用した符号化複雑度予測情報を利用していた。そのためシーンの変化等の大きな変化が入力画像にあった場合には相関のないフレームの符号化複雑度予測情報の影響を受け、画質が大幅に変動してしまう問題があった。しかし、本発明においては、符号化を行う画像情報からの予測であるため、このような問題を解消することができる。
【００４９】
次に、各符号化モードに対する符号化複雑度予測情報Ｅの算出方法を説明する。Ｉフレームにおける符号化複雑度予測情報Ｅの算出には、Ｉフレームとして符号化される画像を小ブロック単位に分割し、該小ブロック毎の画素値の分散を求め、該分散の画面内平均、およびスケーリングパラメータである固定値ＳＩとの積により決定する。画素値には、輝度情報、色差情報、および双方の利用が可能である。
【００５０】
また、該小ブロック毎の画素値の分散と、隣接小ブロックの画素値の分散値との間で算出した絶対差分量が閾値以上となった場合には、入力画像の該小ブロック領域には輪郭等のエッジ情報が含まれていると判断し、該小ブロック領域を符号化する際に、多くの符号量を割り当てることができるよう、符号化レート制御部３８に反映させることにする。
【００５１】
Ｐフレームにおける符号化複雑度予測情報Ｅは、対象ＧＯＰ内の全ての動き特徴予測情報Ｃより平均値を求め、該平均値とスケーリングパラメータである固定値ＳＰとの積により決定する。また、Ｉフレームにおける符号化複雑度予測情報をスケーリングして算出することも可能である。
【００５２】
Ｂフレームにおける符号化複雑度予測情報Ｅは、Ｐフレームにおける符号化複雑度予測情報とスケーリングパラメータである固定値ＳＢとの積により決定する。
【００５３】
次に、本発明の第２実施形態を、図３に示す。この実施形態は、図２の実施形態から符号化複雑度予測部３７の処理を省いた構成を有するものである。
【００５４】
次に、本発明の第３実施形態を、図４に示す。この実施形態は、図３の第２実施形態からＧＯＰサイズの決定にかかわる処理を省いた構成を有するものである。この実施形態においては、ＧＯＰサイズは、あらかじめ指定された長さで固定となり、各ＧＯＰにおいて、動き特徴予測情報Ｃから、最適な予測フレーム間隔を適応的に変化させるようにしている。
【００５５】
次に、本発明の第４実施形態を、図５に示す。この実施形態は、図３の第２実施形態から予測フレーム間隔の決定にかかわる処理を省いた構成を有するものである。この実施形態においては、予測フレーム間隔は、あらかじめ指定された間隔で固定となり、入力画像の特徴である画像間変化量情報Ａにより、ＧＯＰサイズのみを適応的に変化させるようにしている。
【００５６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、入力画像の特徴や変化に応じたＧＯＰサイズをとるようにしたので、入力画像の変化に適応したＧＯＰサイズをとることが可能になる。また、このため、固定ＧＯＰサイズでの符号化の場合に生じる符号化効率の低下、画質の変動を避けることができるようになる。
【００５７】
また、決定されたＧＯＰサイズから、該ＧＯＰ内の画像の動き特徴を検出し、その動き特徴に応じた予測フレーム間隔を設定するようにしたので、入力画像の動き特徴に応じた予測フレーム間隔を取ることが可能になる。また、このため、従来の固定予測フレーム間隔での符号化を行う場合と比較し、符号化効率を向上することができるようになる。
【００５８】
さらに、従来の装置ではシーンチェンジ等によって前のＧＯＰと対象ＧＯＰとの間に画像特徴に関連がない場合においても前のＧＯＰで利用した符号化複雑度予測情報を反映することによって、符号化画像の画質の大幅な変動や、劣化、符号化効率の低下が発生していた。しかし本発明では、１ＧＯＰの符号化終了後、次のＧＯＰの符号化処理前に、対象ＧＯＰ内の画像の特徴から符号化複雑度予測情報を算出することにより、関連のないＧＯＰの画像特徴の影響を受けることなく、安定した画質での符号化を行うことができるようになる。
【００５９】
ＭＰＥＧ２方式によるシーンの変化のある画像でのシミュレーション実験結果を図７に示す。シミュレーションでは４Ｍｂｉｔ／ｓの符号化レートで圧縮符号化した場合に、ＧＯＰサイズを１５フレーム固定、予測フレーム間距離を３フレームで固定した従来装置の符号化に対し、本発明ではＰＳＮＲの変動が小さく、かつ０．６５ｄＢの画質の改善を行うことができた。
【図面の簡単な説明】
【図１】 本発明を含む動き補償予測符号化装置のブロック図である。
【図２】 本発明の一実施形態のＧＯＰ構造決定部の構成を示すブロック図である。
【図３】 本発明の第２実施形態を示すブロック図である。
【図４】 本発明の第３実施形態を示すブロック図である。
【図５】 本発明の第４実施形態を示すブロック図である。
【図６】 簡易動き探索のための縮小画像作成の説明図である。
【図７】 本発明のシミュレーション実験結果を示すグラフである。
【図８】 本発明が適用される従来の動き補償予測符号化装置のブロック図である。
【図９】 従来のＧＯＰ構造を示す図である。
【図１０】 ２画素間変化量の算出方法の説明図である。
【符号の説明】
１０…動き補償器、１２、３６…符号化モード制御部、１７、３８…符号化レート制御部、２０…ＧＯＰ構造決定部、２１…ＧＯＰ構造情報信号、２２…符号化複雑度予測情報、３１…フレームメモリ、３２…２画素間変化量解析部、３３…ＧＯＰ境界位置決定部、３４…簡易動き探索部、３５…予測フレーム間隔決定部、３７…符号化複雑度予測部。
Claims (5)
- 連続して入力される画像信号に対して、各画像間の動き補償予測を利用した画像符号化を行う動画像符号化装置において、
入力された画像信号をあらかじめ一定量蓄積する蓄積手段と、
該蓄積手段に蓄積された各画像の小ブロック毎の代表値間の差分情報または該各画像の画素差分情報の画面内総和から画像間の変化量を測定し、該測定された変化量が予め決められた第１の閾値以上の場合に、フレーム内符号化モードでの符号化を行う画像を決定し、該フレーム内符号化された画像と次にフレーム内符号化される画像の直前の画像までを１ＧＯＰと決定する手段と、
前記１ＧＯＰ内の基準画像と他の画像との間の動き特徴予測情報の平均値を求め、予測フレーム間隔と該平均値との間に反比例の関係が成立するように予測符号化フレーム間隔を決定する手段とを具備し、
前記蓄積手段に蓄積されている画像を、前記各手段により決定されるＧＯＰと、該ＧＯＰ内の予測符号化フレーム間隔に従って符号化することを特徴とする画像特徴に応じた画像符号化装置 - 請求項１に記載の画像特徴に応じた画像符号化装置において、
前記差分情報の取得は、時間的に隣接する画像間で行うことを特徴とする画像特徴に応じた画像符号化装置。 - 請求項１に記載の画像特徴に応じた画像符号化装置において、
前記１ＧＯＰ内の基準画像と他の画像との間の動き特徴予測情報の算出は、前記基準および他の画像を小ブロックに分割し、該小ブロック毎の代表値により縮小画像を作成し、該縮小画像間の動き予測を行って予測誤差量を求めることを特徴とする画像特徴に応じた画像符号化装置。 - 請求項３に記載の画像特徴に応じた画像符号化装置において、
前記基準画像は、対象となるＧＯＰ内で最も古い画像であることを特徴とする画像特徴に応じた画像符号化装置。 - 請求項３に記載の画像特徴に応じた画像符号化装置において、
前記画像の小ブロック毎の代表値には、入力画像の小ブロック毎の各画素値の平均値、分散値、標準偏差値、および平均値との絶対誤差和の少なくとも一つを利用することを特徴とする画像特徴に応じた画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002145005A JP3888533B2 (ja) | 2002-05-20 | 2002-05-20 | 画像特徴に応じた画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002145005A JP3888533B2 (ja) | 2002-05-20 | 2002-05-20 | 画像特徴に応じた画像符号化装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5804699A Division JP2000261809A (ja) | 1999-03-05 | 1999-03-05 | 画像特徴に応じた画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003032691A JP2003032691A (ja) | 2003-01-31 |
| JP3888533B2 true JP3888533B2 (ja) | 2007-03-07 |
Family
ID=19194643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002145005A Expired - Fee Related JP3888533B2 (ja) | 2002-05-20 | 2002-05-20 | 画像特徴に応じた画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3888533B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100714071B1 (ko) * | 2004-10-18 | 2007-05-02 | 한국전자통신연구원 | 적응적으로 세분화된 ｇｏｐ 구조를 이용한 ｍｃｔｆ-기반동영상 부호화 및복호화 방법 |
| KR101102393B1 (ko) | 2004-12-06 | 2012-01-05 | 엘지전자 주식회사 | 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치 |
| US9602840B2 (en) * | 2006-02-06 | 2017-03-21 | Thomson Licensing | Method and apparatus for adaptive group of pictures (GOP) structure selection |
| US20080025408A1 (en) * | 2006-07-31 | 2008-01-31 | Sam Liu | Video encoding |
| EP3013050A1 (en) * | 2014-10-22 | 2016-04-27 | Axis AB | Video compression with adaptive GOP length and adaptive quantization |
| CN117544623B (zh) * | 2023-11-14 | 2024-06-07 | 江苏海辰云科信息技术有限公司 | 一种基于预测编码算法的桌面云远程显示系统 |
| CN118264798B (zh) * | 2024-05-31 | 2024-09-06 | 摩尔线程智能科技(北京)有限责任公司 | 一种视频编码方法及装置、电子设备和存储介质 |
-
2002
- 2002-05-20 JP JP2002145005A patent/JP3888533B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003032691A (ja) | 2003-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100392974B1 (ko) | 비디오인코더및비디오인코딩방법 | |
| JP4123567B2 (ja) | 画像信号処理装置及び方法 | |
| KR100987765B1 (ko) | 동영상 부호화기에서의 예측 수행 방법 및 장치 | |
| KR100391027B1 (ko) | 비디오정보를예측부호화하는방법및장치 | |
| JP5173409B2 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
| JP2006519565A (ja) | ビデオ符号化 | |
| JP2001169281A (ja) | 動画像符号化装置、および動画像符号化方法 | |
| US20100111180A1 (en) | Scene change detection | |
| JPH07112284B2 (ja) | 予測符号化装置及び復号化装置 | |
| JP3888533B2 (ja) | 画像特徴に応じた画像符号化装置 | |
| JP5649296B2 (ja) | 画像符号化装置 | |
| JP3173369B2 (ja) | 画像圧縮符号化装置 | |
| JP2000261809A (ja) | 画像特徴に応じた画像符号化装置 | |
| JPH0998427A (ja) | 動画像符号化装置 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP3240024B2 (ja) | 画像処理方法 | |
| JP3480067B2 (ja) | 画像符号化装置及び方法 | |
| JP3815665B2 (ja) | 可変ビットレート動画像符号化装置および記録媒体 | |
| JP4532607B2 (ja) | ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法 | |
| US7133448B2 (en) | Method and apparatus for rate control in moving picture video compression | |
| JP3200199B2 (ja) | 動画像圧縮符号化方法 | |
| JP4605183B2 (ja) | 画像信号処理装置及び方法 | |
| JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
| JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
| JPH10336675A (ja) | 動画像符号化方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061122 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3888533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131208 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |