JP4017318B2

JP4017318B2 - Pre-processing equipment for high efficiency coding.

Info

Publication number: JP4017318B2
Application number: JP2000172854A
Authority: JP
Inventors: 吉道大塚; 英輔中須; 幸博西田; 智彦杉本; 菊文神田; 正顕黒住
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2000-06-09
Filing date: 2000-06-09
Publication date: 2007-12-05
Anticipated expiration: 2020-06-09
Also published as: JP2001352546A

Description

【０００１】
【発明の属する技術分野】
この発明は、ＭＰＥＧ−２映像符号化に限定するものではないが、ＭＰＥＧ−２映像符号化を含む高能率符号化における前処理装置に係り、特に、低ビットレート時に発生する符号化歪を目立ちにくくするため、かつ符号化を容易にするため、符号化を行うに先立ち、符号化の難易度（アクティビティという）に応じて可変するプリフィルタを用意する技術に関するものである。
【０００２】
【従来の技術】
高能率符号化装置におけるプリフィルタの従来技術は、一例として、図８に示すような空間的な空間ＬＰＦ８１と時間的な時間ＬＰＦ８４とがあり、入力映像信号から何らかの手段で制御器８２で制御信号を発生し、空間ＬＰＦをかけたものとかけないものを制御信号によって、混合器８３で切換えもしくは適応的に混合する。時間ＬＰＦの多くは、いわゆるフレーム間ノイズリデューサで構成され、制御信号に適応して差分信号を抑圧する。
【０００３】
図８における空間ＬＰＦ８１と混合器８３とが制御信号によってその周波数特性が変化する様子を図９に示す。
太線９１が制御信号に適応して決まるある混合比における周波数特性である。このような従来技術で、良好な効果を得ようとすると、空間ＬＰＦ８１の通過帯域をかなり狭くしなければならない。また、中域から高域にかけた成分は、制御信号に応じてその帯域周波数特性がかなり変化する。このことは、高域成分を完全に遮断することができないことを意味し、高能率符号化装置において高域成分が残っているため高い符号化効率が得られない欠点があった。
【０００４】
【発明が解決しようとする課題】
従来技術の問題点を解決する方法は、高域成分の振幅抑圧を制御するのではなく、通過帯域そのものを制御することである。一例として、図１に示すような周波数特性を実現することにある。すなわち、制御信号に応じて周波数特性を図面上で左右に変化させ振幅の小さな高域成分を遮断することを実現することにある。このためには複数の異なる遮断特性を有するＬＰＦを用意するが、その通過帯域はフル帯域の１／２，１／４，１／８，１／１６のように指数関数的に減少するものが好ましい。符号化がやさしい映像に対しては何もＬＰＦをかける必要はなく、符号化が難しくなるにしたがって遮断する高域成分の振幅を大きくしていき、かつその通過帯域も狭くする必要がある。すなわち、符号化がやさしい映像では、ノイズだけを除去し、符号化が難しくなるにつれて、映像信号自身のもつ高域成分をも除去するよう制御するのが望ましい。
そこで、本発明の目的は、ＭＰＥＧ−２映像符号化などの高能率符号化装置において、低ビットレート時に発生する符号化歪を目立ちにくくするため、かつ符号化をしやすくするため、符号化を行う前に、符号化の難易度（以下、アクティビティという）に応じて可変的なプリフィルタをかけることの可能な高能率符号化における前処理装置を提供せんとするものである。
【０００５】
【課題を解決するための手段】
前述の目的を達成するため、本発明による高能率符号化における前処理装置は、テレビジョン映像の動画像の高能率符号化装置において、予め定められた期間ごとに符号化の難易度を表す物理量であるアクティビティを計算する手段と、Ｎを正の整数とした時、前記アクティビティからＮ個のスレッショルドを発生する手段と、水平、垂直および時間方向の帯域の異なる前記スレッショルドと同一個数すなわちＮ個の低域通過フィルタすなわちＬＰＦと、各前記ＬＰＦにおいて、ｋ番目のＬＰＦの出力と前記ｋ番目のＬＰＦの入力とを比較する手段と、前記比較の差の絶対値がｋ番目の前記スレッショルドより小さい時前記ｋ番目のＬＰＦの出力を出力し、否の時前記ｋ番目のＬＰＦの入力を出力する信号処理手段とを具え、前記ｋ番目のｋを１〜Ｎとし、これらＮ個の信号処理手段をカスケードに接続するよう構成した前処理装置であって、前記アクティビティを計算する手段は、予め定められた期間に所属する画像を予め定められた複数のブロックに分割し、前記ブロックにおいて数学的な分散をブロックアクティビティＡと名付け、前記ブロックにおいて前記ブロックと同一位置、かつ同一サイズの１フレーム前のブロックとの画素同士のフレーム差分を求め、前記ブロック内で前記フレーム差分を２乗平均した値をブロックアクティビティＢと名付け、前記ブロックアクティビティＡと前記ブロックアクティビティＢのうち、値の小さい方をブロックアクティビティと名付け、前記ブロックアクティビティを前記予め定められた期間で平均し、この値を前記アクティビティとして出力し、前記アクティビティからＮ個のスレッショルドを発生する手段は、前記スレッショルドの個数と同数の定数を予め用意し、前記アクティビティの平方根と前記定数の積で前記スレッショルドを発生させ、前記Ｎ個の信号処理手段をカスケードに接続する時、前記カスケードの順番を前記スレッショルドの大きい順とすることを特徴とするものである。
【０００９】
また、本発明による高能率符号化における前処理装置は、前記テレビジョン映像の動画像の高能率符号化装置がＩＳＯ／ＩＥＣ１３８１８−２の通称ＭＰＥＧ−２で規定され、かつメインプロファイルを使用する高能率符号化装置において、前記アクティビティからＮ個のスレッショルドを発生する手段が、前記スレッショルドをＩ、ＰおよびＢピクチャで変えるため、前記スレッショルドと同数の定数を３組み用意し、前記アクティビティの平方根と前記３組みの定数の積で前記Ｉ、ＰおよびＢピクチャ用のそれぞれのスレッショルドを発生させる手段を具えることが好ましい。
【００１０】
【発明の実施の形態】
発明が解決しようとする課題の項に記載した前記従来技術の問題点を解決する方法としてまず第１に想到される方法には、通過帯域の異なるＬＰＦを複数用意し、これをアクティビティと映像信号に含まれる高域成分に応じて切り換える手法がある。しかしながら、この手法では、ＬＰＦの通過帯域が狭くなると長大なタップ長を有し、装置規模が複雑になるという問題を生じる。一方、通過帯域の異なるＬＰＦをカスケードに接続する場合は、１つ１つのＬＰＦが緩やかな遮断特性をもったとしても、これらをカスケードに接続することによって、その総合周波数特性は急峻になり、かつ装置規模も小さくてすむという利点がある。当然のことであるが、テレビジョン映像は、水平、垂直および時間方向にサンプリング構造をもつため、それぞれの方向で、かつ通過帯域の異なるＬＰＦを複数用意する必要がある。また、高域成分の遮断は、あるスレッショルドを設け、該スレッショルド以下の振幅を遮断するようにする。このとき、アクティビティによって、スレッショルドの値を変化させれば、所望のプリフィルタを実現することができると想到される。これを実現させようとするのが第１の発明に係る高能率符号化における前処理装置である。
【００１１】
次に、前記第１の発明では水平、垂直および時間方向の帯域の異なる複数個のＬＰＦを備え、これらをカスケード接続している。前記第１の発明ではあるスレッショルド以下の高域成分はある程度除去されるものである。通過帯域の広いＬＰＦで除去されない高域成分は、帯域の狭いＬＰＦでも除去されない確率が高い。このため、カスケードの順は通過帯域の広い順が好ましい。しかしながら、テレビジョン信号は、水平、垂直および時間方向のサンプリング構造をもつ信号であるから、通過帯域の帯域の広さを簡単に表現することはできない。一方、スレッショルドは通過帯域が広いＬＰＦほどその値が大きいため、通過帯域の広い順をスレッショルドの大きい順とすることができる。ここのところを明確に規定したのが第２の発明に係る高能率符号化における前処理装置である。
【００１２】
さらに、前述のごとくスレッショルドが大きいほど高域成分が除去される。これは、映像にぼかすことによって符号化を容易にしようと企てるものである。絵柄によって、符号化のやさしい映像ではぼかす必要はない。すなわち、スレッショルドを小さくしてよい。一方、符号化の難しい映像では、映像をぼかし、符号化を容易にする必要がある。すなわち、スレッショルドを大きくする。このため、予め定められた期間、例えば、フレーム間隔ごとに、符号化の難易度の指標であるアクティビティを計算する必要がある。アクティビティの従来技術としては、数学的な分散が用いられる。これは、ある定められたサイズのブロック（たとえば、ＤＣＴブロックでは８×８、マクロブロックでは１６×１６）で分散を計算し、これを、ある決められた期間、たとえば、１フレームで平均化したものである。この方法では、高域成分が多いほど、すなわち、高精細な映像はたとえ静止画であってもアクティビティが高いという結果になる。本発明の主旨は、高精細であってもフレーム差分が小さければアクティビティが低いと検出する。このため、予め定められたサイズのブロックに対し、フレーム内の分散とフレーム間の差分の２乗平均のうち、小さい方を選択することによってこの間題を解決している。この点を明確に規定したのが第３の発明に係る高能率符号化における前処理装置である。
【００１３】
次に、アクティビティから通過帯域の異なるＬＰＦにおいて高域成分を除去するためのスレッショルドを発生させる手段は、一般的には、スレッショルドはアクティビティの関数である。ここでは、装置化の容易さを考慮し、また、アクティビティのディメンションが振幅の２乗、スレッショルドのディメンションが振幅であることから、ディメンションを揃えて比例関係にするという手法を取っている。この点をさらに明確に規定したのが第４の発明に係る高能率符号化における前処理装置である。
【００１４】
テレビジョン映像など動画像の高能率符号化装置がＭＰＥＧ−２映像符号化で、かつメインプロファイルを使用する場合、ピクチャタイプ（Ｉ、ＰおよびＢ）でスレッショルドを変えると効果的である。具体的には、Ｉピクチャでスレッショルドを小さく、続いてＰピクチヤ、Ｂピクチヤの順にそのスレッショルドを大きくするなどである。この辺を明確に規定したのが第５の発明に係る高能率符号化における前処理装置である。
【００１５】
【実施例】
以下、添付図面を参照し実施例により本願発明の実施の形態を詳細に説明する。
まず、本発明を実施するにあたり、表１に示す水平、垂直および時間（フィールド間とフレーム間）の計９種類のフィルタを用意するものとする。フィルタの応答特性をｚ変換で表し、対象画素より遅延しているものをｚのマイナス乗、対象画素より先行しているものをｚのプラス乗で表す。ただし、ｚ^-Lは１ライン遅延、ｚ^+Lは１ライン先行、ｚ^-Vは１フィールド遅延で、インタレースフォーマットの場合は対象画素の直下ラインに位置するもの、ｚ^+Vは１フィールド先行で、インタレースフォーマットの場合は対象画素の直上ラインに位置するもの、そして、ｚ^-Fは１フレーム遅延である。
【００１６】
【表１】

【００１７】
フィルタの構成は、水平フィルタおよび垂直フィルタが３タップ構成、フィールド間フィルタは３タップ構成であるが、第１フィールドと第２フィールドをマージしてこれをひとつのフレームとみなし、垂直方向にフィルタをかける構成である。そして、フレーム間フィルタはフレーム間ノイズリデューサの構成になっている。
本実施例では、４つの水平フィルタが用意されており、これを全てカスケードに接続したときのタップ係数は、（１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１５，１４，１３，１２，１１，１０，９，８，７，６，５，４，３，２，１）／２５６となり、かなり狭帯域のＬＰＦを構成する。このようなフィルタを空（そら）のように一様な部分に適用することによって、ノイズを低減するなどの効果を期待できる。
【００１８】
図２に本発明の一実施例に係る全体構成例を示す。ある決められた期間ごと、例えば、１フレーム間隔ごと符号化の難易度を測定するアクティビティを計算するアクティビティ計算部２１と、該アクティビティ計算部から複数、ここでは９個のスレッショルドを発生するスレッショルド発生部２２と、該スレッショルド発生部の発生数と同数のここでは表１に示す９種類のＬＰＦ（ＬＰＦ１〜９）を備え、それぞれのＬＰＦは前記スレッショルド発生部によって制御される構成となっている。これら９種類のＬＰＦは、通過帯域の異なる４種類の水平フィルタ、３種類の垂直フィルタ、１種類のフィールド間フィルタ、１種類のフレーム間フィルタである。
【００１９】
垂直および水平フィルタは図３に示す構成例をもつ３タップのＬＰＦである。ここで、遅延器３１，３２を１画素、２画素、４画素および８画素とすることにより表１の水平フィルタを実現し、遅延を１ライン、２ラインおよび４ラインとすることで表１の垂直フィルタを実現する。
今、時系列で表した入力信号をａ(i) とするとき、ＬＰＦの出力信号ｂ(i) は
ｂ(i) ＝(1/2) ａ(i) ＋(1/4) ｛ａ(i-D) ＋ａ(i+D）｝・・・・（１）
で表すことができる。ただし、Ｄは遅延量である。次に、入力信号とＬＰＦ出力信号の差分をとると、
ａ(i) −ｂ(i) ＝(1/2) ａ(i) −(1/4) ｛ａ(i-D)+ａ(i+D) ｝・・（２）
となる。この差分の絶対値（絶対値器３３で求める）があるスレッショルドより小さいときはＬＰＦ側、すなわち、ｂ(i) を出力し、否のときは入力信号ａ(i)を出力する（比較器３４と切替器３５とによる）。
【００２０】
フィールド間フィルタの構成例を図４に示す。ここで１フィールド遅延器４２，４３とは、１フレームあたりの走査線数を２で割り、０．５の端数を切り捨てた走査線分の遅延である。対象画素が第１フィールドの場合は未来の第２フィールドの画素を用い、対象画素が第２フィールドの場合は過去の第１フィールドの画素を用いてＬＰＦを構成するため、フィールドパリティでこれを切替器４５により切り換える。フィールド間フィルタの構成は、第１フィールドと第２フィールドをマージしてこれを順次走査のフレームと見なしたときの３タップ垂直フィルタにすぎない。これ以後の動作は、水平フィルタ、垂直フィルタとも同じである。
【００２１】
図５にフレーム間フィルタの構成例を示す。入力信号と１フレーム前の信号の差分をとり、その絶対値があるスレッショルド以下の場合は１フレーム前の信号を通過させ、否の場合は入力信号を通過させる構成である。このフィルタはフレームメモリを用いたノイズリダクションフィルタである（以上は、第１の発明の説明である）。
【００２２】
次に、第２の発明の構成は、カスケード接続するフィルタの順番を主張するものである。スレッショルドにより画素単位にＬＰＦがかかったり、かからなかったりするため、これは非線形フィルタであり、フィルタの順番が効果を左右する重要なファクタとなる。確率的にＬＰＦのかかる画素が多い方を前段にもってくる方が大きな効果を期待できる。これは、ＬＰＦの通過帯域の広い順であり、通過帯域の広い方がスレッショルドの値も大きく設定されるため、フィルタの順番はスレッショルドの大きい順とする。スレッショルド発生の手段は第４の発明でより具体的に述べられており、第２の発明で説明されている実施例では、その順番を表１の〔定数〕欄に記された値の大きい順としている。ただし、同じ値の場合の順番は問わない。
【００２３】
第３の発明では、アクティビティの計算手法を規定している。図６にそのアクティビティの計算手法の構成を示すが、ここでは、予め定められた期間を１フレームとし、予め定められたブロックのサイズを８×８としている。最初に入力画像の８×８のブロック化６１を行う。ブロック化６１された信号は、ブロック内で平均値が計算６２され、この値が引かれた後２乗６３され、ブロック内でその平均値を計算６４する。この計算は、数学で言う分散そのものである。この値をブロックアクティビティＡと名付ける。次に、ブロック化６１された信号は、１フレーム遅延器６５で１フレーム遅延され、フレーム差分の２乗６６の平均値が計算６７される。この値をブロックアクティビティＢと名付ける。ブロックアクティビティＡとブロックアクティビティＢの小さい方が選択６８され、これをブロックアクティビティと名付け、ブロックアクティビティをフレーム内で積分平均化６９し、この値をアクティビティとして出力する。アクティビティの値は振幅の２乗のディメンションをもち、実測した結果、おおむね、符号化の難しい映像で４００以上、符号化のやさしい映像で１００以下ということができる。
【００２４】
第４の発明では、アクティビティから各フィルタに入力されるスレッショルドを発生は、アクティビティのディメンションが振幅の２乗であることから、その平方根７１をとり、表１の〔定数〕欄に記載された数値７２と乗算７３が行われスレッショルドとされる。このとき、整数以下の端数は切り捨てられる。この構成は図７に示されている。
【００２５】
第５の発明では、高能率符号化装置がＭＰＥＧ−２メインプロファイルに準拠した符号化装置であるとき、ＭＰＲＧ−２ではピクチャタイプとして、Ｉ、ＰおよびＢピクチャが規定されている。また、Ｉ、ＰおよびＢピクチャの量子化制御は、Ｉピクチャが細かく、続いてＰピクチャの順に、Ｂピクチャは最も粗い量子化制御が行われる。これに伴い、スレッショルドも、Ｉ、ＰおよびＢピクチャの順に大きな値に設定する。この一実施例を表２に示す。ここで、Ｉピクチャのフレーム間フィルタの定数はゼロに設定した。これは、Ｉピクチヤではフレーム間のフィルタは不要であることによる。
【００２６】
【表２】

【００２７】
以上、いくつかの実施例により、本発明の実施の形態について説明してきたが、本発明はこれらに限定されることなく、発明の要旨内で各種の変形、変更の可能なことは自明であろう。
例えば、請求項１で規定されたフィルタの実施例は、ここでは装置化が容易であることを念頭に、オクターブ間隔で通過帯域が狭くなるようなものを選び、ＬＰＦはタップ長が３タップとした。別の実施例として、よりきめ細かな制御を行う場合は半オクターブ間隔でもよいし、タップ長もより長いものも選ぶことができる。
また、スレッショルドを決める定数は、想定するビットレートによって変化させるべきである。ビットレートが高ければより小さな定数となり、ビットレートが高ければより大きなビットレートとなることは当然である。これらは、符号化装置のチューニングの過程で決めるべきであり、ここでは、ハイビジョン１８Ｍｂ／ｓを想定し、比較的、符号化の難しい絵柄で最も好ましいと思われる数値を選んだつもりである。定数表はあくまで実施例であり、本発明の実施例としては別の定数表を設定することもできる。
【００２８】
さらに、前述の実施例では、アクティビティを決定する期間として１フレームをとっている。しかしながら、実際の符号化装置では、バッファメモリによる制御は１フレーム時間より緩和である。もし、符号化装置の遅延が許されるなら、１フレーム間隔ではなく３フレーム間隔とかＭＰＥＧ−２でいう１ＧＯＰ間隔とすることもできる。
また、テレビジョン信号は輝度信号のほか２つの色信号があるが、前述の実施例ではアクティビティの計算に使用する信号の種類のことには触れていない。これには、次のオプションが考えられる。
１）輝度信号でアクティビティを算出し、これで発生したスレッショルドを輝度信号と色信号に適用する。
２）輝度信号と色信号のアクティビティを信号レートに比例する重み和でアクティビティを算出し、これで発生したスレッショルドを輝度信号と色信号に適用する。
３）輝度信号と色信号で独立にアクティビティを算出し、スレッショルド発生も独立に行い、それぞれのスレッショルドで独立に輝度信号と色信号に適用する。
１）〜３）のオプションのうち、最も自然なものは２）である。最後に、輝度信号と色信号でスレッショルドを発生させるための定数表は同じものではなく、異なるものを用いる方が好ましいことを付記しておく。
【００２９】
【発明の効果】
本発明高能率符号化における前処理装置によれば、画像の空間的な解像度を低下させ、目立つ符号化歪の発生を抑えることに重きをおいたため、空（そら）のようにテキスチュアのない部分はノイズが低減し、この部分で得られたビットレート低減のゲインが他の部分でも使用され、全体として見やすい画質に改善された。一方、芝生やアスファルト表面のように、振幅変化は小さいが空間的な解像度が高い部分は、その細かいテキスチュアが損なわれ、ややもすると、質感そのものが失われる傾向にある。しかしながら、ブロック歪やモスキート歪などの符号化特有の劣化は、かなりの部分で低減することができるようになった。
【図面の簡単な説明】
【図１】本発明装置により制御されるべき通過帯域の変化を説明するための図。
【図２】本発明装置の一実施例に係る全体構成を示す図。
【図３】本発明装置に係る水平フィルタおよび垂直フィルタの構成例を示す図。
【図４】本発明装置に係るフィールド間フィルタの構成例を示す図。
【図５】本発明装置に係るフレーム間フィルタの構成例を示す図。
【図６】本発明装置に係るアクティビティの計算手法を説明するための図。
【図７】本発明装置に係るスレッショルドの発生を説明するための図。
【図８】従来技術の高能率符号化における前処理装置。
【図９】図８図示の装置で、空間ＬＰＦと混合器が制御信号により通過周波数特性が変化する様子を説明するための図。
【符号の説明】
２１アクティビティ計算部
２２スレッショルド発生部
ＬＰＦ１〜９低域通過フィルタ１〜９
３１，３２遅延器
３３，４６，５２絶対値器
３４，４７，５３比較器
３５，４５，４８，５４切替器
＋加算器
− 減算器
４１，４４１ライン遅延器
４２，４３１フィールド遅延器
５１，６５１フレーム遅延器
６１ブロック化(8×8)回路
６２，６４，６７ブロック平均化回路
６３，６６２乗器
６８小さい方の選択器
６９フレーム平均化回路
７１平方根計算器
７２定数：表１の〔定数〕欄による
７３乗算器（×）
８１空間ＬＰＦ
８２制御器
８３混合器
８４時間ＬＰＦ
８５高能率符号化装置
９１周波数特性の一例[0001]
BACKGROUND OF THE INVENTION
The present invention is not limited to MPEG-2 video coding, but relates to a pre-processing apparatus for high-efficiency coding including MPEG-2 video coding, and particularly, coding distortion that occurs at low bit rates is conspicuous. The present invention relates to a technique for preparing a pre-filter that is variable according to the degree of difficulty of encoding (referred to as activity) prior to encoding in order to make it difficult and to facilitate encoding.
[0002]
[Prior art]
The prior art of the pre-filter in the high-efficiency encoding apparatus includes, as an example, a spatial space LPF 81 and a temporal time LPF 84 as shown in FIG. 8, and the control signal is controlled by the controller 82 by some means from the input video signal. Are switched by the mixer 83 or adaptively mixed by the control signal according to the control signal. Most of the time LPF is configured by a so-called interframe noise reducer, and suppresses the differential signal in conformity with the control signal.
[0003]
FIG. 9 shows how the frequency characteristics of the space LPF 81 and the mixer 83 in FIG. 8 change according to the control signal.
A thick line 91 is a frequency characteristic at a certain mixing ratio determined adaptively to the control signal. In order to obtain a good effect with such a conventional technique, the pass band of the space LPF 81 has to be considerably narrowed. In addition, the band frequency characteristic of the component applied from the middle range to the high range changes considerably according to the control signal. This means that the high frequency components cannot be completely blocked, and there is a drawback that high coding efficiency cannot be obtained because the high frequency components remain in the high efficiency encoding device.
[0004]
[Problems to be solved by the invention]
A method for solving the problems of the prior art is not to control the amplitude suppression of the high frequency component, but to control the passband itself. One example is to realize the frequency characteristics as shown in FIG. That is, it is to realize that the frequency characteristic is changed left and right in the drawing in accordance with the control signal to cut off a high frequency component having a small amplitude. For this purpose, an LPF having a plurality of different cutoff characteristics is prepared, but the pass band is exponentially reduced to 1/2, 1/4, 1/8, 1/16 of the full band. preferable. It is not necessary to apply any LPF to video that is easy to encode, and it is necessary to increase the amplitude of the high-frequency component to be blocked as the encoding becomes difficult, and to narrow the passband. In other words, in a video that is easy to encode, it is desirable to perform control so that only noise is removed, and high frequency components of the video signal itself are also removed as encoding becomes difficult.
Accordingly, an object of the present invention is to perform encoding in order to make the encoding distortion generated at a low bit rate inconspicuous and to facilitate encoding in a high-efficiency encoding device such as MPEG-2 video encoding. It is an object of the present invention to provide a pre-processing device for high-efficiency encoding that can be subjected to a variable pre-filter according to the difficulty level of encoding (hereinafter referred to as activity).
[0005]
[Means for Solving the Problems]
In order to achieve the above-mentioned object, a pre-processing device in high-efficiency encoding according to the present invention is a physical quantity representing the difficulty of encoding in a predetermined period in a high-efficiency encoding device for moving images of television images. Means for calculating the activity, and means for generating N thresholds from the activity, where N is a positive integer, and the same number of thresholds in different horizontal, vertical and temporal bands, ie N A low-pass filter, ie, an LPF, means for comparing the output of the k-th LPF and the input of the k-th LPF in each LPF, and the absolute value of the difference of the comparison is less than the k-th threshold Signal processing means for outputting the output of the k-th LPF and outputting the input of the k-th LPF when the answer is negative, More and 1 to N, comprising these N signal processing means a processing device before configured to connect to the cascade, means for computing the activity is defined an image belongs to a predetermined time period in advance The block is mathematically distributed as block activity A, and in the block, a frame difference between pixels of the previous block having the same position and the same size as the block is obtained. The value obtained by averaging the frame differences within the square is named block activity B, and the smaller of the block activity A and the block activity B is named block activity, and the block activity is defined as the predetermined period. And average this value with the activity And generating N thresholds from the activity, preparing in advance the same number of constants as the number of thresholds, generating the threshold by the product of the square root of the activities and the constants, and generating the N When the signal processing means are connected to the cascade, the order of the cascade is set in the descending order of the threshold .
[0009]
Further, the pretreatment device in the high efficiency encoding according to the present invention, high-efficiency encoding apparatus of the moving image of the television picture is defined by the called MPEG-2 of ISO / IEC13818-2, and using the Main Profile High In the efficiency coding apparatus , the means for generating N thresholds from the activity prepares three sets of constants having the same number as the threshold in order to change the threshold between I, P and B pictures, and the square root of the activity and the the three sets of constant product I, it is preferred that comprises means for generating a respective threshold for P and B-pictures.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
The first conceivable method for solving the problems of the prior art described in the section of the problem to be solved by the present invention is to prepare a plurality of LPFs having different passbands, and use them as activities and video signals. There is a method of switching according to the high-frequency component included in. However, with this method, when the pass band of the LPF is narrowed, there is a problem that the tap size is long and the apparatus scale is complicated. On the other hand, when LPFs having different passbands are connected to the cascade, even if each LPF has a gentle cutoff characteristic, the total frequency characteristics become steep by connecting them to the cascade, and There is an advantage that the apparatus scale is small. As a matter of course, since television images have sampling structures in the horizontal, vertical and temporal directions, it is necessary to prepare a plurality of LPFs having different passbands in each direction. In order to block the high frequency component, a certain threshold is provided, and the amplitude below the threshold is blocked. At this time, it is conceivable that a desired prefilter can be realized by changing the threshold value depending on the activity. It is the pre-processing device in the high-efficiency coding according to the first invention that attempts to realize this.
[0011]
Next, in the first invention, a plurality of LPFs having different horizontal, vertical and temporal bands are provided, and these are cascade-connected. In the first aspect of the invention, high frequency components below a certain threshold are removed to some extent. There is a high probability that a high-frequency component that is not removed by an LPF having a wide pass band is not removed even by an LPF having a narrow band. For this reason, the order of the cascade is preferably the order of wide passband. However, since a television signal is a signal having sampling structures in the horizontal, vertical, and time directions, the width of the passband cannot be easily expressed. On the other hand, since the threshold value of the LPF having a wider pass band is larger, the threshold value can be set in the descending order of the pass band. What is clearly defined here is the pre-processing device in the high-efficiency encoding according to the second invention .
[0012]
Further, as described above, the higher the threshold, the higher the high frequency component is removed. This is an attempt to facilitate encoding by blurring the video. Depending on the design, there is no need to blur the video that is easy to encode. That is, the threshold may be reduced. On the other hand, in a video that is difficult to encode, it is necessary to blur the video and facilitate encoding. That is, the threshold is increased. For this reason, it is necessary to calculate an activity that is an index of the difficulty of encoding for a predetermined period, for example, every frame interval. As a prior art of activity, mathematical distribution is used. This calculates the variance on a block of a certain size (eg 8x8 for DCT blocks, 16x16 for macroblocks) and averages this over a given period, eg 1 frame Is. In this method, the higher the high frequency component, that is, the result is that the activity of a high-definition video is high even if it is a still image. The gist of the present invention is that even if the definition is high, if the frame difference is small, it is detected that the activity is low. For this reason, this problem is solved by selecting the smaller one of the variance within a frame and the mean square of the difference between frames for a block of a predetermined size. This point is clearly defined in the preprocessing apparatus in the high efficiency coding according to the third invention .
[0013]
Next, the means for generating a threshold for removing high-frequency components in LPFs having different passbands from the activity is generally a function of the activity. Here, considering the ease of device implementation, the activity dimension is the square of the amplitude, and the threshold dimension is the amplitude, so that the dimensions are made proportional to each other. This point is more clearly defined in the preprocessing apparatus in the high efficiency coding according to the fourth invention .
[0014]
When a high-efficiency encoding apparatus for moving images such as television images is MPEG-2 image encoding and uses a main profile, it is effective to change the threshold according to the picture type (I, P and B). Specifically, the threshold is reduced in the I picture, and subsequently the threshold is increased in the order of the P picture and the B picture. This side is clearly defined in the preprocessing apparatus for high-efficiency encoding according to the fifth invention .
[0015]
【Example】
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
First, in implementing the present invention, it is assumed that a total of nine types of filters shown in Table 1, horizontal, vertical, and time (between fields and frames) are prepared. The response characteristic of the filter is expressed by z-transformation, the delay of the target pixel is expressed as a negative power of z, and the one preceding the target pixel is expressed as a positive power of z. However, z ^-L is one line delay, z ^{+ L} is one line ahead, z ^-V is one field delay, and in interlace format, it is located in the line immediately under the target pixel, z ^{+ V} is one field ahead In the case of the interlace format, the one positioned immediately above the target pixel, and z ^−F is one frame delay.
[0016]
[Table 1]

[0017]
The filter configuration is a 3-tap configuration for the horizontal filter and the vertical filter, and a 3-tap configuration for the inter-field filter. However, the first field and the second field are merged and regarded as one frame. It is the composition to hang. The interframe filter has an interframe noise reducer configuration.
In this embodiment, four horizontal filters are prepared, and tap coefficients when all of these are connected in cascade are (1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11). , 12, 13, 14, 15, 16, 15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1) / 256, a fairly narrow band LPF Configure. By applying such a filter to a uniform portion such as the sky, an effect such as noise reduction can be expected.
[0018]
FIG. 2 shows an overall configuration example according to an embodiment of the present invention. An activity calculation unit 21 that calculates an activity for measuring the difficulty level of encoding every predetermined period, for example, every one frame interval, and a threshold generation unit that generates a plurality of, in this case, nine thresholds from the activity calculation unit 22 and nine types of LPFs (LPF1 to 9) shown in Table 1 in the same number as the number of the threshold generation units, here, each LPF is controlled by the threshold generation unit. These nine types of LPFs are four types of horizontal filters, three types of vertical filters, one type of inter-field filter, and one type of inter-frame filter with different passbands.
[0019]
The vertical and horizontal filters are 3-tap LPFs having the configuration example shown in FIG. Here, the horizontal filters shown in Table 1 are realized by setting the delay units 31 and 32 to 1 pixel, 2 pixels, 4 pixels, and 8 pixels, and the delays are set to 1 line, 2 lines, and 4 lines. Realize vertical filter.
If the input signal expressed in time series is a (i), the output signal b (i) of the LPF is b (i) = (1/2) a (i) + (1/4) {a ( iD) + a (i + D)} (1)
It can be expressed as However, D is a delay amount. Next, taking the difference between the input signal and the LPF output signal,
a (i) −b (i) = (1/2) a (i) − (1/4) {a (iD) + a (i + D)} (2)
It becomes. When the absolute value of this difference (obtained by the absolute value unit 33) is smaller than a certain threshold, the LPF side, that is, b (i) is output, and when the result is negative, the input signal a (i) is output (comparator 34). And the switch 35).
[0020]
A configuration example of the inter-field filter is shown in FIG. Here, the 1-

field delay units

42 and 43 are delays for scanning lines obtained by dividing the number of scanning lines per frame by 2 and rounding off a fraction of 0.5. When the target pixel is the first field, the pixel of the future second field is used, and when the target pixel is the second field, the past first field pixel is used to form the LPF. It is switched by the device 45. The configuration of the inter-field filter is only a 3-tap vertical filter when the first field and the second field are merged and regarded as a progressive scanning frame. The subsequent operation is the same for both the horizontal filter and the vertical filter.
[0021]
FIG. 5 shows a configuration example of the interframe filter. The difference between the input signal and the signal one frame before is taken, and if the absolute value is below a certain threshold, the signal one frame before is passed, and if not, the input signal is passed. This filter is a noise reduction filter using a frame memory (the above is the description of the first invention ).
[0022]
Next, the structure of 2nd invention asserts the order of the filter connected in cascade. Since LPF is applied or not applied to each pixel depending on the threshold, this is a non-linear filter, and the order of the filters is an important factor that determines the effect. A larger effect can be expected by bringing the pixels with a lot of LPF stochastically to the previous stage. This is the order in which the LPF pass band is wide, and the wider the pass band, the larger the threshold value is set, so the order of the filters is set in descending order of the threshold. The means for generating the threshold is more specifically described in the fourth invention , and in the embodiment described in the second invention , the order is the order in which the values listed in the [Constant] column of Table 1 are larger. It is said. However, the order in the case of the same value does not matter.
[0023]
In the third invention , an activity calculation method is defined. FIG. 6 shows the configuration of the activity calculation method. Here, the predetermined period is one frame, and the predetermined block size is 8 × 8. First, 8 × 8 blocking 61 of the input image is performed. The average value of the block 61 signal is calculated 62 within the block, and after this value is subtracted, it is squared 63 to calculate 64 the average value within the block. This calculation is the dispersion itself in mathematics. This value is named block activity A. Next, the blocked signal 61 is delayed by one frame by the one-frame delay unit 65, and an average value of the square 66 of the frame difference is calculated 67. This value is named block activity B. The smaller of block activity A and block activity B is selected 68, named as block activity, the block activity is integrated and averaged 69 within the frame, and this value is output as the activity. The value of the activity has a dimension of the square of the amplitude, and as a result of actual measurement, it can be said that it is generally 400 or more for video that is difficult to encode and 100 or less for video that is easy to encode.
[0024]
In the fourth invention , the threshold value input to each filter from the activity is generated because the dimension of the activity is the square of the amplitude. Therefore, the square root 71 is taken and the numerical value described in the [Constant] column of Table 1 is used. 72 and multiplication 73 are performed to obtain a threshold. At this time, any fractions less than an integer are rounded down. This configuration is shown in FIG.
[0025]
In the fifth invention , when the high-efficiency encoding device is an encoding device that complies with the MPEG-2 main profile, MPRG-2 defines I, P, and B pictures as picture types. Also, the quantization control for I, P, and B pictures is finer for I pictures, followed by the coarsest quantization control for B pictures in the order of P pictures. Along with this, the threshold is also set to a larger value in the order of I, P and B pictures. An example of this is shown in Table 2. Here, the constant of the inter-frame filter of the I picture was set to zero. This is because an I-picture does not require a filter between frames.
[0026]
[Table 2]

[0027]
As described above, the embodiments of the present invention have been described with reference to some examples. However, the present invention is not limited thereto, and it is obvious that various modifications and changes can be made within the gist of the invention. Let's go.
For example, in the embodiment of the filter defined in claim 1, the LPF has a tap length of 3 taps so that the passband is narrowed at octave intervals in consideration of easy implementation. did. As another example, when finer control is performed, a half-octave interval may be used, or a tap having a longer tap length may be selected.
Also, the constant that determines the threshold should be changed according to the assumed bit rate. Of course, the higher the bit rate, the smaller the constant, and the higher the bit rate, the higher the bit rate. These should be determined in the tuning process of the encoding device, and here, assuming that HDTV is 18 Mb / s, a value that is considered to be most preferable for a pattern that is relatively difficult to encode is selected. The constant table is only an example, and another constant table can be set as an example of the present invention.
[0028]
Further, in the above-described embodiment, one frame is taken as a period for determining the activity. However, in an actual encoding device, the control by the buffer memory is more relaxed than one frame time. If the encoding apparatus is allowed to be delayed, it can be set at 3 frame intervals instead of 1 frame interval or 1 GOP interval in MPEG-2.
In addition to the luminance signal, the television signal includes two color signals. In the above-described embodiment, the type of signal used for calculating the activity is not mentioned. The following options are conceivable:
1) The activity is calculated from the luminance signal, and the threshold generated thereby is applied to the luminance signal and the color signal.
2) The activity of the luminance signal and the color signal is calculated by a weighted sum proportional to the signal rate, and the threshold generated thereby is applied to the luminance signal and the color signal.
3) Activity is calculated independently from the luminance signal and the color signal, threshold generation is also performed independently, and the luminance signal and the color signal are applied independently at each threshold.
Among the options 1) to 3), the most natural one is 2). Finally, it should be noted that the constant tables for generating the thresholds for the luminance signal and the color signal are not the same, and it is preferable to use different ones.
[0029]
【The invention's effect】
According to the pre-processing apparatus for high-efficiency encoding of the present invention, since the emphasis was placed on reducing the spatial resolution of an image and suppressing the occurrence of conspicuous encoding distortion, a portion having no texture such as the sky. The noise was reduced, and the bit rate reduction gain obtained in this part was also used in other parts, and the image quality was improved as a whole. On the other hand, a fine texture is lost in a portion where the amplitude change is small but the spatial resolution is high, such as a lawn or asphalt surface, and the texture itself tends to be lost. However, the degradation peculiar to encoding such as block distortion and mosquito distortion can be reduced in a considerable part.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a change in a pass band to be controlled by a device of the present invention.
FIG. 2 is a diagram showing an overall configuration according to an embodiment of the apparatus of the present invention.
FIG. 3 is a diagram showing a configuration example of a horizontal filter and a vertical filter according to the device of the present invention.
FIG. 4 is a diagram showing a configuration example of an inter-field filter according to the device of the present invention.
FIG. 5 is a diagram showing a configuration example of an interframe filter according to the apparatus of the present invention.
FIG. 6 is a view for explaining an activity calculation method according to the apparatus of the present invention.
FIG. 7 is a diagram for explaining generation of a threshold according to the device of the present invention.
FIG. 8 shows a pre-processing device in high-efficiency encoding according to the prior art.
FIG. 9 is a diagram for explaining how the frequency characteristics of the spatial LPF and the mixer change according to the control signal in the apparatus shown in FIG. 8;
[Explanation of symbols]
21 activity calculation part 22 threshold generation part LPF1-9 low-pass filter 1-9
31, 32

Delay units

33, 46, 52

Absolute value units

34, 47, 53

Comparators

35, 45, 48, 54 Switcher + Adder-

Subtractor

41, 44 1

line delay unit

42, 43 1

field delay unit

51 , 65 1 frame delay unit 61 Blocking (8 × 8)

circuit

62, 64, 67

Block averaging circuit

63, 66 Squarer 68 Smaller selector 69 Frame averaging circuit 71 Square root calculator 72 Constants: Table 1 73 multiplier in the [Constant] field (×)
81 space LPF
82 Controller 83 Mixer 84 Time LPF
85 High-efficiency encoder 91 Example of frequency characteristics

Claims

In a high-efficiency encoding apparatus for moving images of television images, a means for calculating an activity, which is a physical quantity representing the difficulty of encoding for each predetermined period, and when N is a positive integer, Means for generating N thresholds, the same number of thresholds in different horizontal, vertical and temporal bands, ie, N low-pass filters or LPFs, and the output of the kth LPF in each LPF means for comparing with the input of the kth LPF, and outputs the output of the kth LPF when the absolute value of the difference of the comparison is smaller than the threshold of the kth, and the input of the kth LPF when not comprising a signal processing means for outputting, the k-th k and 1 to N, and these N signal processing unit configured to connect to the cascade A processing apparatus,
The means for calculating the activity divides an image belonging to a predetermined period into a plurality of predetermined blocks, and names mathematical distribution in the block as block activity A, and the block is identical to the block. The frame difference between the pixels of the block at the same position and one frame before is obtained, and a value obtained by averaging the frame differences within the block is named block activity B. The block activity A and the block activity B Among them, the smaller value is named a block activity, the block activity is averaged over the predetermined period, and this value is output as the activity.
The means for generating N thresholds from the activity prepares a constant equal to the number of the thresholds in advance, and generates the threshold by a product of the square root of the activity and the constant,
A pre-processing apparatus in high-efficiency encoding , wherein when the N signal processing means are connected to a cascade, the order of the cascade is set in descending order of the threshold .

2. The apparatus according to claim 1 , wherein the high-efficiency encoding apparatus for moving images of a television video is a high-efficiency encoding apparatus that is defined in ISO / IEC13818-2, commonly called MPEG-2, and uses a main profile. The means for generating N thresholds from an activity prepares three sets of constants equal to the threshold in order to change the thresholds by I, P, and B pictures, and the product of the square root of the activity and the three sets of constants. A pre-processing apparatus for high-efficiency encoding, comprising means for generating respective thresholds for the I, P and B pictures.