JP3640651B2 - 符号化制御装置 - Google Patents
符号化制御装置 Download PDFInfo
- Publication number
- JP3640651B2 JP3640651B2 JP2002261738A JP2002261738A JP3640651B2 JP 3640651 B2 JP3640651 B2 JP 3640651B2 JP 2002261738 A JP2002261738 A JP 2002261738A JP 2002261738 A JP2002261738 A JP 2002261738A JP 3640651 B2 JP3640651 B2 JP 3640651B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- activity
- prediction error
- input
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
この発明は、画像信号を符号化する画像符号化装置に関するものである。
特に、入力信号のフレームとフレームの差分信号に基づいて符号化を行なうフレーム間符号化処理方式に関するものである。
【0002】
【従来の技術】
画像信号を高能率に符号化しようとする場合、画像信号に含まれる冗長成分を取り除くための手段がとられる。特に動画像を符号化する代表的な手法としてはすでに符号化された画像と新たに符号化する画像との差分をとり、差分情報のみを符号化するいわゆるフレーム間符号化方式が良く知られている。
【0003】
図40は、例えば特開昭63−208382号公報に示されたフレーム間符号化装置に関するブロック図であり、図において1は前フレームの画像情報を蓄積するフレームメモリ、2は動きベクトル検出部、3は減算器、4は符号化部、5は局部復号化部、6は加算器、7はフィルタ、8はフィルタ制御部である。
【0004】
次に動作について説明する。
フレームメモリ1に蓄積されている1フレーム前の画像信号11と、入力画像信号12とは動きベクトル検出部2においてブロックマッチングをとり、比較されて動き量とその方向を示す動きベクトル13を発生する。フレームメモリ1は動きベクトル13に応じて動き補償予測信号14を生じる。減算器3は入力画像信号12から動き補償予測信号14を減算して予測誤差信号(差分信号ともいう)15を発生する。
【0005】
符号化部4は予測誤差信号15を量子化して符号化された誤差情報16を発生する。局部復号化部5は符号化された誤差情報16を復号し、局部復号誤差信号17を出力する。加算器6は動き補償予測信号14と局部復号誤差信号17を加算して局部復号信号18を発生する。フィルタ7は局部復号信号18における高域成分を除去し、平滑化された局部復号信号19を発生する。フィルタ制御部8は、動きベクトル13の大きさに応じてフィルタ7の挿入又は非挿入を制御する制御信号20を出力する。
このようにして発生した符号化された誤差信号16と、動きベクトル13とは伝送路を経て送出される。又、一般的にこれらの処理は画像信号に対して16×16画素単位や8×8画素単位毎に行われる。
【0006】
前述の従来例においては加算器6の後段にフィルタ7を設けているが、フレームメモリ1の後段に設ける方法も知られている。又、動き検出の精度を高めるため整数画素単位以下で探索を行う方法やブロック単位に閉じたフィルタ処理を行う方法、周辺画素も含めてフィルタ処理を行う方法がある。これらいずれの方式においても、動き量に応じて高周波成分を抑圧することにより、ノイズを除去し符号化効率の向上を図っている。
【0007】
また、従来の装置でフレーム内符号化を行う場合、入力画像信号12をそのまま符号化部4で量子化して符号化された入力情報16を発生する。局部復号化部5は符号化された入力情報16を復号し、局部復号誤差信号17をフレームメモリ1へ出力する。このようにして発生した符号化された入力情報16は伝送路を経て送出される。
【0008】
【発明が解決しようとする課題】
従来のフレーム間符号化処理方式においては動きベクトルの情報を利用して制御を行うことにより、図41に示すように、静領域においてはローパスフィルタ(LPF)をOFFにして解像度を損なうことなく、動領域においてはローパスフィルタを挿入して、解像度は落ちるが、雑音を除去することを行っていた。
【0009】
図41は、信号の輝度強度(I)と信号の周波数(f)の関係を示す図であり、14aはローパスフィルタをOFFした場合のフレームメモリ1からの信号を示し、14bはローパスフィルタをONした場合のフレームメモリ1からの信号を示している。
【0010】
図に示すように、ローパスフィルタがOFFされる場合は、静領域において、高解像度を保つ場合である。逆に、ローパスフィルタをONする場合は動領域において、低解像度にする場合である。このように、ローパスフィルタをOFFからONにすることにより、図41の斜線で示す高域成分を除去することが可能になる。
【0011】
図42は、入力信号12とフレームメモリからの動き補償予測信号14aの差分信号15が非常に小さい場合を示している。即ち、図42(a)に示すような入力信号12に対して、図42(b)に示すように非常に動き検出精度が良く、動き補償予測信号14aがほぼ同様な特性を示す場合には、図42(c)に示すように、その差分信号15は非常に小さくなる。従って、符号化部4が符号化する情報量が減少し、符号化効率が向上する。
【0012】
しかし、動領域における動き検出精度が良く、入力信号とフレームメモリからの動き補償予測信号の差分が非常に小さいにもかかわらずフィルタ処理がなされる場合がある。
【0013】
前述した図41に示すように動領域において、ローパスフィルタがONされてしまう場合は、動き補償予測信号14の高周波成分がカットされてしまう。この場合は、フィルタ処理した結果と入力信号との差分信号に高周波成分が残存し、符号化すべき情報が増加して符号化効率が低下する上、その部分の解像度が低下する。
【0014】
図43は、この問題点を説明するための図であり、図43(a)は、図42(a)に示した入力信号と同様のものである。
又、図43(b)において14bはローパスフィルタが動領域においてONになり、高周波成分がカットされてしまった特性を示している。即ち、図42(b)の動き補償予測信号14aに比べて、高周波成分(雑音)がカットされ、14bに示すような動き補償予測信号が出力されることを示している。
又、図43(c)においては、前述した図43(a)に示した入力信号と図43(b)に示した動き補償予測信号14bの差分信号15が示されている。図で分かるように、高周波成分が残存するため、符号化部4は符号化すべき情報が増加し、符号化効率が低下する。
【0015】
以上述べたように、動領域において、図42に示すように動き検出が精度良く働きフィルタ処理する必要が無いにもかかわらず、図43に示すようにフィルタ処理がなされてしまうために、その部分の解像度が低下したり、あるいは符号化すべき情報量が増加してしまう等の問題点があった。
【0016】
また、符号化部4は予測誤差信号15を量子化して符号化しているが、符号化部4が入力して符号化する信号は一種類の予測誤差信号に限られており、この予測誤差信号が符号化効率のよくない特性を示す場合であっても、この予測誤差信号を量子化して符号化するため、必ずしも符号化効率のよい信号を得られるとは限らない等の問題点があった。
【0017】
この発明は、上記のような問題点を解決するためになされたもので、符号化すべき信号に高周波成分が残存せず、符号化効率が向上するフレーム間符号化処理方式を得ることを目的とする。
【0018】
また、この発明は上記のような問題点を解決するためになされたもので、符号化すべき信号が符号化効率のよい信号であり、符号化効率が向上する符号化制御方式を得ることを目的とする。
【0019】
【課題を解決するための手段】
この発明に係る符号化制御装置は、フレームメモリより読み出される信号と入力信号とから生成される信号の符号化を行う符号化制御装置において、
前記フレームメモリより読み出される信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第1予測誤差信号を生成して出力する第1減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第2予測誤差信号を生成して出力する第2減算器と、
第1減算器から出力される第1予測誤差信号を入力して第1予測誤差信号のアクティビティを求め、第2減算器から出力される第2予測誤差信号を入力して第2予測誤差信号のアクティビティを求めるとともに、前記第1予測誤差信号のアクティビティと、第2予測誤差信号のアクティビティとを比較し、アクティビティが小さい予測誤差信号を選択して選択信号とするとともに、選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする。
【0020】
この発明に係る符号化制御装置は、フレームメモリより読み出される信号と入力信号とを用いて符号化を行う符号化制御装置において、
前記フレームメモリより読み出される予測誤差信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第1予測誤差信号を生成して出力する第1減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第2予測誤差信号を生成して出力する第2減算器と、
第1減算器から出力される第1予測誤差信号を入力して第1予測誤差信号のアクティビティを求め、第2減算器から出力される第2予測誤差信号を入力して第2予測誤差信号のアクティビティを求め、入力信号に基づいて入力信号のアクティビティを求め、前記第1予測誤差信号のアクティビティと、第2予測誤差信号のアクティビティと、入力信号のアクティビティとの3つを比較し、前記第1予測誤差信号と前記第2予測誤差信号と入力信号との中からアクティビティが最も小さい信号を選択して選択信号とするとともに、この選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする。
【0021】
【作用】
この発明における符号化制御方式は、入力信号または差分誤差信号に基づいて求められる特徴値(アクティビティ)のうち最適な特徴値(アクティビティ)を持つモードの信号に基づいて符号化制御部において符号化を制御するため、符号化効率を向上させることができる。
【0022】
【実施例】
実施例1.
以下、この発明の一実施例を図1を用いて説明する。ここでは8×8画素を処理単位として、符号化を行なう場合について説明する。図1において、21はフィルタ制御部、22は適応フィルタ部である。その他の符号は図40に示したものと同じである。
【0023】
次に図1をもとに動作について説明する。
フレームメモリ1に蓄積されている1フレーム前の画像信号11と入力画像信号12から動きベクトル検出部2において動きベクトル13を検出し、それに応じた動き補償予測信号14が生成されるまでは従来例と同様である。フィルタ制御部21は入力画像信号12と動き補償予測信号14によりフィルタ制御信号23を生成する。
【0024】
フィルタ制御信号23の生成について図2をもとに説明する。
図2において30は入力画像信号12と動き補償予測信号14の差異情報32を計算するための差情報演算部、31は判定部である。差情報演算部30では入力画像信号12と動き補償予測信号14との差分絶対値又は差分自乗をとり、それらを8×8画素単位というフィルタの処理単位にあった複数画素分(8×8=64画素分)累算し、得られた結果を差異情報32として出力する。
【0025】
図3は、差異情報32を説明するための図である。図3(a)は入力画像信号を示している。この実施例においては8×8画素を処理単位としているため、入力画像信号は1つの処理単位の中にS1〜S64まで64画素存在している。次に図3(b)は、動き補償予測信号を示す図である。動き補償予測信号も8×8画素を処理単位としており、Y1〜Y64までの64画素から構成されている。図3(c)は、差情報演算部30が入力画像信号を12と動き補償予測信号14との差分絶対値を64画素分累算した結果を差異情報とする場合を示している。また、図3(d)は差情報演算部30が入力画像信号12と動き補償予測信号14との差分自乗をとり、64画素分累算し、得られた結果を差異情報32としている場合を示している。
【0026】
予測精度が高く最適な予測信号が得られている場合にはこの差異情報32の値は小さくなるが、予測精度が低い場合や全く異なった画像が入力されたとき、又はフレームメモリ1内の局部復号化信号に多くの量子化誤差が含まれる場合などにはこの差異情報32の値は大きくなる。
【0027】
判定部31では先に差異情報32を求めた複数画素に対応する入力画像信号12の信号アクティビティ(以下、単にアクティビティともいう)を計算する。例えば、信号アクティビティは図4に示すように信号の最大値と最小値の差として計算する。
【0028】
図4は、信号アクティビティを画素信号の最大値と最小値の差から計算する場合の一例を示す図である。図においては、簡単に説明するために第1から第8の画素について、信号アクティビティを計算する場合を示している。この例においては、第4の画素の輝度が最大値を示し、第5の画素が最小の輝度を示しているため、この差を信号アクティビティとする。
【0029】
あるいは信号アクティビティは、図5に示すように信号平均値からの差分絶対値和や差分自乗和として求められる。
図5は、差分絶対値や差分自乗を用いて信号アクティビティを計算する場合の一例を示した図である。図5(a)に示すように、第1から第8の画素の持つ輝度とこれらの8つの輝度の平均値の差をそれぞれX1からX8とすると、信号平均値からの差分絶対値は、図5(b)に示すようにX1からX8の絶対値を加算した値となる。又、信号平均値からの差分自乗は、図5(c)に示すようにX1からX8をそれぞれ自乗した後、加算した値となる。
【0030】
図4及び図5に示したように、信号アクティビティは、画像信号の絶対的な強度を示すものではなく、相対的な値を示すものである。
即ち、低周波成分を多く含むような滑らかに変化する信号の場合には信号アクティビティの値Xは小さくなり、変化の激しい高周波成分を多く含む場合には信号アクティビティの値Xは大きくなる。
【0031】
差異情報32は信号アクティビティで正規化(除算)され正規化結果が得られ、この値の大小に応じて高周波成分除去を行うフィルタ強度を指定するフィルタ制御信号23を出力する。即ち正規化結果の値が大きい場合(即ち、入力画像が低周波成分を多く含むような滑らかに変化する信号の場合)はフィルタ強度を強くする。又、正規化結果の値が小さい場合(即ち、入力画像が変化の激しい高周波成分を多く含む信号の場合)は、フィルタ強度を弱くする。即ち、正規化結果の値は、適応フィルタ部22における強度の異なる複数種類のフィルタの個数に応じてその強度指定を多値で指定する。
【0032】
簡略化のためにフィルタの挿入、非挿入をフィルタ制御信号23として2値で指定する場合には所定の値より先に求めた正規化情報が大きければフィルタ挿入を行って高周波成分を除去して符号化すべき情報を削減し、正規化情報が小さければフィルタを挿入せず解像度を保持した予測誤差信号とするようフィルタ制御信号23を発する。
【0033】
図6に、フィルタ制御部21のon/off判定フローの一実施例を示す。
このフィルタ制御部21の動作は、入力画像信号12と動き補償予測信号14によってフィルタのon/off判定を行うものである。
まず、ST1で、デフォルト値としてフィルタをoffにする。ST2で、差情報演算部30は入力画像信号12と動き補償予測信号14の差異情報Nを算出する。また、ST3で判定部31は入力画像信号12の信号アクティビティの値Xを算出する。
次に、ST6においては、差異情報32を信号アクティビティの値Xで正規化(除算)する。この差異情報Nを信号アクティビティの値Xで除した値が、閾値ThNXより小さければ、フィルタをoffにする。この差異情報Nを信号アクティビティの値Xで除した値が、閾値ThNXより小さい時は、予測が適当で差異情報32が小さい、あるいは、入力画像信号のアクティビティが大きいことを意味する。差異情報32が小さい場合には予測が適当である場合を示しているため、フィルタをonにする必要がない。また、入力信号のアクティビティが大きい場合には動き補償予測信号14は入力信号に追随して変化の激しい高周波成分を多く含む信号となる場合が多いため、フィルタをonにせず、動き補償予測信号14をそのまま出力する。
また、この差異情報Nを信号アクティビティの値Xで除した値が閾値ThNXより大きいときは、フィルタをonにする。この差異情報Nを信号アクティビティの値Xで除した値が閾値ThNXより大きいときは、予測が適当でなく、差異情報32が大きいあるいは入力画像信号のアクティビティが小さいことを意味する。差異情報32が大きい場合は予測が適当でなく、動き補償予測信号14には高周波成分が多く含まれているので、フィルタをonにすることにより、動き補償予測信号14から高周波成分を除去して符号化効率を向上させる。また、入力画像信号のアクティビティが小さい場合は同様にフィルタがonされるが、入力画像信号のアクティビティが大きい場合にはフィルタはoffのままになる。これは入力画像信号のアクティビティが大きい場合には動き補償予測信号14も変化の激しい高周波成分を多く含む信号である場合が多いため、フィルタをoffにして動き補償予測信号14の高周波成分をそのまま残すことにより、符号化効率を向上させるものである。
【0034】
次に、図7は、フィルタ制御部21のon/off判定フローの他の例を示す図である。図7において、差異情報Nが閾値ThN より大きければ、フィルタをonにする。このように差異情報Nが閾値ThN より大きい場合は、動き補償予測信号には高周波成分が多く含まれているので、フィルタをonにすることによって高周波成分を除去して符号化効率を向上させることを意味する。
つぎに、ST5では、入力画像信号12の信号アクティビティXが閾値ThX より小さければ、フィルタをonにする。信号アクティビティXが閾値ThX より小さい入力画像信号は高周波成分をほとんど含まない。したがって、フィルタをonにしても高周波成分の除去に関してはほとんど影響がなく、フィルタがoffの場合以上に高周波雑音の除去に効果がある。逆に、入力画像信号12の信号アクティビティXが閾値ThX より大きければ、フィルタをoffのままとする。信号アクティビティXが閾値ThX より大きい入力画像信号は、高周波成分を含んでいると考えられる。従って、動き補償予測信号14も入力画像信号12に対応して高周波成分を含んでいると考えられる。このため、フィルタをoffのままにして動き補償信号14の高周波成分をそのままにして出力するようにする。
【0035】
次に図8は、フィルタ制御部21のon/off判定フローの他の例を示す図である。図8に示すon/off判定フローは図6と図7に示したフローを組み合わせたものである。このように図6に示した判定と図7に示した判定の両方を用いることにより、異なる閾値を用いてフィルタのon/offを判定することができ、フィルタのon/offの制御をさらにきめ細かく判定することができる。
なお、図示しないが、フィルタ制御部21のon/off判定を入力画像信号12から算出された信号アクティビティと閾値ThX との比較により行うようにしても構わない。すなわち、図7に示したon/off判定フローからST2における差異情報の算出処理およびST4における差異情報Nと閾値ThN との比較処理を除いたST1、ST3、ST5、ST7によるon/off判定フローを用いてフィルタの制御を行うようにしても構わない。
【0036】
なお、図6のST6で信号アクティビティの値Xが零の場合、零で除算することはできないので、正規化結果は不定となるが、一般にはこの正規化演算が有限語長による演算のため、その語長における最大値とされる。例えば、正規化演算を8ビットを一語とする語長で演算する場合には、8ビットの値の最大値である“FF”という値を用いて正規化結果とする。これは、この正規化演算で出力される最大値である。
【0037】
適応フィルタ部22ではフィルタ制御信号23に応じて動き補償予測信号14の高周波成分除去を行うためのフィルタリング処理を行う。フィルタは図9に示すように、空間方向に1次元または2次元のローパス特性をもつものや、さらに時間的にフィルタ係数値が変化する3次元のものが適用でき、フィルタ制御信号23に従ってそのフィルタ強度を変化させるものである。
【0038】
図9は、1次元、2次元、3次元のローパス特性を持つフィルタを説明する図であり、図9(a)は1次元方向において、ローパス特性を持つフィルタを示している。図9(b)は、2次元方向にローパス特性を持つフィルタを示している。図9(c)1次元、2次元及び時刻t1、t2、t3という時刻の異なるフレームの処理単位により、3次元方向のローパス特性を持つフィルタを示している。
図9において、黒丸は注目画素であり、この注目画素に対して、1次元、2次元、又は、3次元方向の画素を用いてフィルタリング処理を行なうことが可能である。
【0039】
又、図10に示すようにフィルタリング処理は、8×8画素という処理単位の内部に閉じた画素のみで行なうことも可能であるが、8×8画素という処理単位を越えた画素を用いてフィルタリング処理を行なっても構わない。
図10において、F1は注目画素に対して、8×8画素という処理単位をまたがって、隣接する処理単位の画素を用いてフィルタリング処理を行なう場合を示している。同様に、F2も隣接する8×8画素の処理単位内にある画素を用いて注目画素のフィルタリング処理を行なう場合を示している。
【0040】
次に図11はフィルタリング処理の一例を示す図であり、1次元方向のフィルタリング処理を説明するための図である。
ここで、画素S1からS5までの内、S3を注目画素とする。又、K1からK5は係数であり、図11(b)に示すようにK1からK5までの和は1.0であるものとする。
【0041】
フィルタリング処理は、各画素の輝度に対して、それぞれK1からK5の係数を掛け合わせその和を取ることによって計算される。もし、フィルタに用いる係数の値が図11(c)に示すような値を用いれば、注目画素S3は周囲にあるS1、S2、S4、S5の輝度により影響を受け、平均化されることになる。それに対して係数図11(d)に示すようにK3=1.0でその他の係数が0の場合には、注目画素S3は他の画素には全く影響せず、そのまま出力されることになり、フィルタ処理はOFFされていることになる。
【0042】
図12はこのように係数を変化させることにより、フィルタの強度が変化する状態を示す図であり、予測信号24がフィルタ処理により変化する場合を示している。フィルタ制御信号23に従って、フィルタの係数が変化し、その結果フィルタ強度が変化し、図12に示すように予測信号24の高周波成分のカットが多段階に制御可能となる。即ち、入力信号が変化の激しい高周波成分を多く含む場合には、フィルタ係数値が変化して図12において予測信号24は矢印Aの方向に変化する。又、入力信号が低周波成分を多く含むような信号の場合には、図12の矢印Bに示すようにフィルタを挿入せず、解像度を保持した予測信号を出力するようになる。
【0043】
フィルタ処理がなされた予測信号24は減算器3により入力画像信号12より減算され予測誤差信号15が生成される。符号化部4は予測誤差信号15を量子化して符号化された誤差情報16を発生する。局部復号化部5は符号化された誤差情報16を復号し、局部復号誤差信号17を出力する。加算器6は予測信号24と局部復号誤差信号17を加算して局部復号信号18を発生した後、フレームメモリ1に書き込まれる。
【0044】
実施例2.
上記実施例1においては動きベクトル検出部2を設けた構成としたが、装置簡素化により例えば、図13に示すように、常に動き量が零として、図1に示した動きベクトル検出部2を設けないときにも同様の処理が可能である。
【0045】
実施例3.
上記実施例1においては適応フィルタ部22をフレームメモリ1の後段に配置したが、図14に示すように適応フィルタ22を加算器6の後段に配置するときにも同様の処理が可能である。
【0046】
実施例4.
又、図15に示すように、常に、動き量が0として動きベクトル検出部2を設けず、適応フィルタ22を加算器6の後段に配置する場合でも構わない。
【0047】
実施例5.
又、この発明の他の実施例を図16を用いて説明する。フィルタ制御部21において求められた差異情報32は画素数(8×8=64画素)で徐され、画素当たりの差異情報25として符号化部4に送られる。
【0048】
図17は、この実施例におけるフィルタ制御部21の構成を示す図であり、33は一画素当りの差異情報25を演算するための画素当り差情報演算部である。差情報演算部30においては、前述したように入力画像信号12と動き補償予測信号14との差分絶対値、又は、差分自乗をとり、これを8×8画素という処理単位にある複数画素分(64画素分)累算して差異情報32として出力する。
【0049】
画素当り差情報演算部33が、この差異情報32を8×8画素、即ち、64画素で除算するということは、差異情報32の一画素当りの平均値を求めていることになる。符号化部4では画素当たりの差異情報25に基づきそれよりも小さな符号化誤差で量子化されるよう量子化ステップサイズを決定する。
【0050】
図18は、符号化部4における量子化ステップサイズの決定動作について説明するための図である。
図18に示すように第1画素から第8画素については、画素当りの差異情報25がD1の値であり、第9画素から第16画素についての画素当りの差異情報25はD2の値であり、第17画素から第24画素についての画素当りの差異情報25はD3の値である場合を示している。そして、画素当りの差異情報D1、D2、D3は図18(b)に示すように、
D1>D2>D3
という関係を持って、フィルタ制御部21から出力されたものとする。
【0051】
符号化部4ではこのような画素当りの差異情報25を入力すると、第1画素から第8画素に対しては量子化ステップサイズが画素当りの差異情報D1よりも小さな符号化誤差で量子化されるような、ステップサイズSS1を選択する。
同様に第9画素から第16画素についても画素当りの差異情報D2に基づき、それよりも小さな符号化誤差で量子化されるステップサイズSS2を選択する。
第17画素から第24画素に対しても、画素当りの差異情報D3よりも小さな符号化誤差で量子化されるような量子化ステップサイズSS3を選択する。
従って、量子化ステップサイズは図18(d)に示すように、
SS1>SS2>SS3
という関係を持って符号化部4により選択され、入力信号を量子化することになる。
【0052】
以上のことから、入力画像信号12と動き補償予測信号14との差が大きい場合には量子化ステップサイズも大きくなり、入力画像信号12と動き補償予測信号14との差が小さい場合には量子化ステップサイズも小さくなる。従って、符号化誤差の少ない復号化画像が生成される。
【0053】
ただし、符号化部4における量子化ステップサイズの決定は、一画素当りの差異情報25(制御信号ともいう)のみよって決定されるのではない。例えば、符号化部4から出力された符号化された信号を一時保存して出力するための出力バッファのサイズ等により符号化量が制限されている場合には、その制限内で量子化ステップサイズを選択する。
【0054】
実施例6.
上記実施例5においては、フィルタ制御部21が適応フィルタ22への制御信号23と、符号化部4への制御信号25を出力する場合を示したが、この2つの制御信号23及び25を出力する必要が無く、図19に示したように制御部21aは、符号化部4への制御信号25のみを出力する場合でも構わない。
図20(a)は、この実施例における制御部21の構成を示す図であり、図17と異なる点は、判定部31が存在しない点である。図20(a)において、差情報演算部30と画素当り差情報演算部33の動作は、実施例5で説明したものと同様であり、ここではその説明を省略する。
【0055】
又、図20(b)は、この実施例における制御部21aの他の構成を示す図であり、判定部31aから信号アクティビティを制御信号25として出力する点を特徴としている。判定部31aは入力信号12を入力し、その信号アクティビティを計算する。信号アクティビティは、図4あるいは図5に示したような方法で計算する。
前述したように、信号アクティビティは、画像信号の絶対的な強度を示すものではなく、相対的な値を示すものである。
即ち、低周波成分を多く含むような滑らかに変化する信号の場合には信号アクティビティの値Xは小さくなり、変化の激しい高周波成分を多く含む場合には信号アクティビティの値Xは大きくなる。
従って、この信号アクティビティを制御信号25として入力して、符号化部4の量子化ステップサイズを動的に変更することにより、適切な符号化が行なえる。
【0056】
又、図20(c)は、図20(b)に示した入力信号12の変わりに、フレームメモリからの動き補償予測信号14を入力するようにしたものである。その他の動作は図20(b)と同様である。
【0057】
実施例7.
上記実施例において、フレームメモリ1は画像フレームを単位として記憶する場合を示したが、フレームメモリ1は画像フレーム単位ではなくフィールド単位に記憶する場合でもよい。図21は、このフレームとフィールドの関係を示す図である。図21(a)に示すように1つのフレームは、第1フィールドと第2フィールドからなっており、この第1フィールドの信号と第2フィールドの信号を図21(b)に示すようにインターレースモードで表示することにより、1つの画像フレームを構成する。
【0058】
又、前述した実施例においては、フィルタはフレームを単位としてフィルタリング処理を実行する場合について説明したが、フィールド単位で処理する場合でも構わない。
【0059】
又フレームメモリはフレームを複数枚数記憶する場合にも同様の処理が可能である。複数の枚数を持つ場合には、過去のフレーム又はフィールドを持つ場合ばかりでなく、既に撮影されているビデオ等のように、現在のフレームやフィールドより後に出力されるであろう次のフレームやフィールドを記憶する場合であっても構わない。
【0060】
実施例8.
又、上記実施例において、判定部31では入力画像信号12の信号アクティビティを求めて、差異情報32の正規化を行ったが、動き補償予測信号14の信号アクティビティを求めて、差異情報32を正規化しても同様の処理が可能である。
【0061】
実施例9.
以下、この発明の一実施例を図22を用いて説明する。図22において、41は符号化制御部、42は符号化制御信号である。他は図1と同じである。ただし、図22には図1にある適応フィルタ22、フィルタ制御部21および動きベクトル検出部2はない。
【0062】
次に図22をもとに動作について説明する。フレームメモリ1に蓄積されている1フレーム前の画像信号11を予測信号とする。減算器3は入力画像信号12から画像信号11を減算して予測誤差信号15を発生する。符号化制御部41では、入力画像信号12および予測誤差信号15のアクティビティに基づいて、符号化制御信号42および選択信号150を符号化部4へ出力する。
符号化部4は選択信号150を量子化して符号化された誤差情報16を発生する。局部復号化部5は符号化された誤差情報16を復号し、局部復号誤差信号17を出力する。加算器6で画像信号11と局部復号誤差信号17を加算して局部復号信号18を発生した後、フレームメモリ1に書き込む。このようにして発生した符号化された誤差信号16は伝送路を経て送出される。
【0063】
符号化制御部41の動作について図23をもとに説明する。図において、45はアクティビティ算出部、46はアクティビティ比較選択部、12aは入力画像信号12から求められたアクティビティ、15aは予測誤差信号15から求められたアクティビティ、42は符号化部を制御するための符号化制御信号、150は選択信号である。
符号化制御部41では、アクティビティ算出部45で入力画像信号12および予測誤差信号15のアクティビティをそれぞれ求め、アクティビティ比較選択部46へ出力する。
【0064】
ここでいう信号アクティビティとは、実施例1で述べたような信号の最大値と最小値の差あるいは信号平均値からの差分絶対値和や差分自乗和などを意味している。このアクティビティは画像信号の個々の絶対的な強度ではなく、複数画素全体として滑らかに変化するすなわち低周波成分を多く含むような信号の場合には信号アクティビティの値は小さくなり、変化の激しい高周波成分を多く含む場合には信号アクティビティの値は大きくなる。
【0065】
アクティビティ比較選択部46では、入力したアクティビティの比較を行い所定の条件に合致したモードを選択する。ここで所定の条件として以下のようなものがあげられる。
(1)符号化効率に最も重点を起き、符号化効率が最も向上するモードを選択する。
(2)画質がよくなることに重点を起き、画質が向上するモードを選択する。
(3)符号化効率と画質に対してそれぞれ相当分の重要性をおき、一方が他の重要性を増す場合にはその一方の重要性がある方のモードを選択する。
【0066】
このように所定の条件としては、符号化効率あるいは画質に対する重要度に合致したモードを選択するという場合が考えられるが、それ以外にもシステムあるいは装置によっていろいろな条件を付加することが可能である。例えば、前述した符号化効率を最も向上させるモードを選択する場合には、信号アクティビティが小さいものを選択することになる。一方、画質を向上させるモードを選択する場合には入力画像信号12を選択することになる。また、符号化効率と画質の両方に基づいてモードを選択する場合には入力画像信号12及び予測誤差信号15のアクティビティの比較の結果、一定の関係を満たす場合にいずれかの信号を選択することになる。アクティビティ比較選択部46ではそのモードおよびアクティビティに基づいた量子化ステップサイズ等の符号化パラメータを符号化制御信号42として出力し、選択されたモードの信号を選択信号150として出力する。
【0067】
次に、アクティビティ比較選択部46の動作について図24をもとに説明する。図において、46aは入力画像信号のアクティビティ12a及び/あるいは予測誤差信号15のアクティビティ15aに対して重み付けを行なう重み付け回路、46bは重み付け回路46aから出力される入力画像信号及び予測誤差信号のアクティビティ12b及び15bを比較する比較器、46cは入力画像信号12あるいは予測誤差信号15のいずれかを選択して選択信号150として出力するとともに量子化ステップサイズ及び符号化係数等を多重化して符号化制御信号42を出力する制御信号発生器である。この例では説明を簡単にするため、重み付け回路46aに関しては説明しない(重み付け回路に関しては後述する)。従って、比較器46bには入力画像信号のアクティビティ12a及び予測誤差信号のアクティビティ15aが入力される。比較器は二つのアクティビティを比較した結果をモード信号46mとして制御信号発生器に出力する。モード信号46mは入力画像信号12及び予測誤差信号15のいずれかを選択するためのスイッチ切替に用いられる。また、モード信号46mは制御信号発生器内において量子化ステップサイズ及びDCT(ディスクリートコサイントランスフォーム)係数等の符号化パラメータと共に符号化制御信号の一部として多重化され符号化部4に出力される。符号化部4は符号化制御信号42に多重化された信号を解析する。例えば、モード信号により入力画像信号12か予測誤差信号15のどちらが選択信号として出力されているかを知ることができる。入力画像信号12が選択信号150として出力されている場合には、フレーム内符号化を行なう。また、予測誤差信号15が選択信号150として出力されている場合には、フレーム間符号化を行なう。これらの符号化処理は量子化ステップサイズ、あるいはDCT係数等によって制御される。
【0068】
実施例10.
上記実施例9において、フィルタ制御部、適応フィルタ部、動きベクトル検出部をさらに組み込んだ場合の一実施例を図25を用いて説明する。図25において、2は動きベクトル検出部、13は動きベクトル、14は動き補償予測信号、21はフィルタ制御部、22は適応フィルタ部、23はフィルタ制御信号、24は予測信号、他は図22と同じである。
動きベクトル検出部2、フィルタ制御部21、適応フィルタ部22の各部の動作は実施例1において説明したものと同様なのでここではその説明を省略する。
【0069】
前述した実施例9においては、フレームメモリ1に蓄積されている1フレーム前の画像信号11を予測信号として、この予測信号を減算することにより予測誤差信号15を発生していたのに対し、この実施例10においてはフィルタ制御部21からのフィルタ処理が施された予測信号24から予測誤差信号15を求めている点が異なる点である。すなわち、この実施例はあらかじめフィルタ制御部21からフィルタ処理制御を施された予測誤差信号15のアクティビティとフレーム内信号12のアクティビティとを比較し、所定の条件に基づいて符号化制御信号42を導出する例を示している。
【0070】
この実施例のように、フィルタ制御部において入力信号と画像メモリからの信号の差異情報を入力信号または画像メモリからの信号のアクティビティにより正規化し、正規化結果の大小により高域成分をカットするフィルタ強度を変化させることにより、常に符号化すべき信号に高周波成分が残存せず、また符号化制御部においてはフィルタ強度に応じてフィルタ処理を施した予測誤差信号および入力画像信号のアクティビティの中から最小のアクティビティを持つモードの信号に基づいて符号化制御信号を導出することにより、符号化効率が向上する。
【0071】
実施例11.
上記実施例9,10においては、アクティビティ比較選択部46において入力したアクティビティの比較を行い条件に合致したモードを選択し、そのモードおよびアクティビティに基づいた量子化ステップサイズ等の符号化パラメータを符号化制御信号42として出力していたが、アクティビティ比較選択部46で入力したアクティビティのうち最小のアクティビティを出力したモードを選択し、そのモードおよびアクティビティに基づいた量子化ステップサイズ等の符号化パラメータを符号化制御信号42として出力してもよい。
このように、アクティビティが最小のものを選択することにより、符号化部における符号化効率が最も向上することになる。
【0072】
実施例12.
上記実施例9,10においては、アクティビティ比較選択部46で入力したアクティビティの比較を行う際に、少なくとも何れか一方のアクティビティに重み付けを行ってもよい。
前述した図24に示す重み付け回路46aは、この実施例におけるアクティビティに重み付けを行う回路である。図26は重み付け回路46aの動作を説明するための図である。図26(a)は重み付け回路46aが入力画像信号12及び予測誤差信号15のアクティビティ12a、15aのいずれの信号にいずれのアクティビティに対しても重み付けを行わない場合を示している。また、図26(b)は重み付け回路46aが入力画像信号12のアクティビティ12aに対しては重み付けを行わず、予測誤差信号15のアクティビティ15aに対しては、図26(a)に示した値に対して2倍の重み付けをした場合を示している。
【0073】
もし、アクティビティ比較選択部46が入力したアクティビティの内最小のアクティビティを出力したモードを選択する場合、図26(a)に示す場合は、入力画像信号12のアクティビティ12aが予測誤差信号15のアクティビティ15aに比べていずれの時刻においてもアクティビティの値が大きいためアクティビティ比較選択部46は予測誤差信号15を選択信号150として出力する。
【0074】
一方、図26(b)の場合には、予測誤差信号15のアクティビティ15aが2倍の重み付けをされているため時刻t1からt2の間は入力画像信号12のアクティビティ12aより大きな値を示している。従って、アクティビティ比較選択部46は時刻t0からt1の間は予測誤差信号15を選択信号150として選択し、時刻t1からt2の間は入力画像信号12を選択信号150として出力する。
【0075】
図27に、重み付け回路46aの処理フローの一実施例を示す。重み付け回路46aは入力画像信号12と予測誤差信号15のアクティビティ12a、15aとを入力し、次に、あらかじめ設定されている重み付け係数W1とW2を読み出す。その後、入力画像信号12のアクティビティ12aにW1を乗じ、予測誤差信号のアクティビティ15aにW2を乗じて重み付けを行い、入力画像信号のアクティビティ12axW1を入力画像信号のアクティビティ12aに重み付けを行ったアクティビティ12bとして出力し、予測誤差信号のアクティビティ15axW2を予測誤差信号(入力信号とフレームメモリから読み出した予測信号との差分信号)のアクティビティ15aに重み付けを行ったアクティビティ15bとして出力する。
この例では、入力の双方に重み付けを行ったが、何れか一方でもよい。また、本実施例では、入力は入力画像信号のアクティビティ12aと予測誤差信号のアクティビティ15aの2つであったが、後述する実施例のように3入力でもよく、入力数を限定するものではない(後述する実施例15を参照)。
図28に、前述した重み付け回路の具体的処理フローを示す。
この重み付け回路の動作は、入力画像信号のアクティビティ12aと予測誤差信号のアクティビティ15aを入力し、入力画像信号のアクティビティ12aには重み付けは行わずそのままアクティビティ12bとして出力し、予測誤差信号のアクティビティ15aに対しては2倍して重み付けを行いその結果をアクティビティ15bとして出力する。
【0076】
次に、図29に、比較器46bの処理フローの一実施例を示す。
この比較器46bの動作は、入力した2つの信号アクティビティの大きさを比較して符号化モードを決めるものである。
入力画像信号のアクティビティ12aに重み付けを行ったアクティビティ12bと予測誤差信号(入力信号とフレームメモリから読み出した予測信号との差分信号)のアクティビティに重み付けを行ったアクティビティ15bを入力し、アクティビティ12bがアクティビティ15bより小さい場合はINTRA(フレーム内符号化)モードにし、大きい場合はINTER(フレーム間符号化)モードにして、選択されたモードをモード信号46mとして出力する。
また、本実施例では、入力はアクティビティ12bとアクティビティ15bの2つであったが、後述する実施例のように3入力でもよく、入力数を限定するものではない(後述する実施例15を参照)。
【0077】
図30に、制御信号発生器46cの処理フローの一実施例を示す。
この制御信号発生器46cの動作は、入力したモード信号46mにより選択されたモードに応じて選択信号150、制御信号42を出力するものである。制御信号発生器46cは、入力画像信号12、予測誤差信号15、および重み付けを行ったアクティビティ12bとアクティビティ15b、モード信号46mを入力する。制御信号発生器46cは、モード信号46mをチェックし、INTER(フレーム間符号化)モードなら予測誤差信号15を選択信号150として出力する。制御信号発生器46cは、アクティビティ15bの大きさに応じて、図31(a)に示すメモリテーブルより量子化ステップサイズ(QUANT)およびDCT出力係数を読み出す。また、制御信号発生器46cは、モード信号46mをチェックし、INTRA(フレーム内符号化)モードなら入力画像信号12を選択信号150として出力する。制御信号発生器46cは、アクティビティ12bの大きさに応じて、図31(b)に示すメモリテーブルより量子化ステップサイズ(QUANT)およびDCT出力係数を読み出す。読み出した量子化ステップサイズおよびDCT出力係数とモード信号46mを多重して制御信号42として出力する。
また、本実施例では、入力は重み付けを行った後のアクティビテイ12bと15bであったが、重み付けを行う前の信号入力画像信号のアクティビティ12aと予測誤差信号のアクティビティ15aを入力としてもよい。ただし、この場合、メモリテーブルの内容あるいは閾値を変更する必要がある。
また、図31に示した閾値の数はQUANTおよびDCT出力係数の割当てに応じて多くても少なくてもよい。また、割当てるQUANTおよびDCT出力係数の値に関しては、画質優先あるいは符号化効率優先等の目的に応じて変えてもよい。
【0078】
このように重み付けを行うことにより選択信号150として出力すべき信号を意図的に選択することが可能になる。すなわち、重み付けを行うことの利点は、符号化処理装置の要求や処理する画像に応じて、入力した信号の発生確率(入力した信号が選択信号として出力される確率)を制御できることである。
【0079】
実施例13.
上記実施例10においては、符号化制御部41で入力画像信号12および予測誤差信号15のアクティビティから符号化制御信号42を求めたが、適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号42を導出してもよい。
【0080】
図32はこの実施例の一例を示す図である。図において、24aは適応フィルタ22でフィルタ処理を施した予測信号である。24bは適応フィルタ22によりフィルタ処理を行わなかった予測信号である。これらの予測信号24a及び24bは減算器3a及び3bにそれぞれ入力され、入力画像信号12との差分がとられ予測誤差信号15x及び15yが出力される。この予測誤差信号15xと15yは符号化制御部41に入力され、前述したような動作により符号化制御信号42が求められる。
【0081】
実施例14.
上記実施例13においては、符号化制御部41で適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティに基づいて符号化制御信号42を導出したが、導出の際適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティの少なくとも何れか一方のアクティビティに重み付けを行ってもよい。
【0082】
実施例15.
上記実施例13においては、符号化制御部41で適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティに基づいて符号化制御信号42を導出したが、適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティとフレーム内予測による入力画像信号12のアクティビティとの3者を比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号42を導出してもよい。
【0083】
図33はこの実施例の一例を示す図である。図33において図32と異なる点は入力画像信号12が符号化制御部41に入力されている点である。符号化制御部41はフィルタ処理された予測誤差信号15xとフィルタ処理がされていない予測誤差信号15yと入力画像信号12の3つの信号を入力し、例えば、最も小さいアクティビティを持つ信号を選択することにより符号化制御信号42を導出する。
【0084】
図34は、この実施例における符号化制御部41の構成を示す図である。前述した符号化制御部41と異なる点はフィルタ処理された予測誤差信号15xとフィルタ処理がされていない予測誤差信号15yと入力画像信号12の3つの信号を入力している点である。アクティビティ算出部45は入力した3つの信号のアクティビティを計算してアクティビティ比較選択部46に出力する。図35はアクティビティ比較選択部46の構成を示す図である。アクティビティ比較選択部はアクティビティ算出部45で算出された3つの信号のアクティビティ12a、15a、15cを重み付け回路46aに入力する。重み付け回路46aはあらかじめ重み付け係数としてW1とW2とW3を記憶しているものとする。重み付け回路はアクティビティ12aにW1を乗じ、アクティビティ15aにW2を乗じ、アクティビティ15cにW3を乗じて重み付けを行い、重み付けを行ったアクティビティ12b、15b、15dを比較器46bに出力する。比較器46bは3つの重み付けを行った信号を比較し、その大小関係からモード信号46mを生成する。制御信号発生器46cは入力画像信号12とフィルタ処理された予測誤差信号15xとフィルタ処理がされていない予測誤差信号15yを入力し、モード信号46mに基づいていずれかの信号を選択し、選択信号150を出力する。また、制御信号発生器46cは選択信号150として選ばれた信号が入力画像信号12である場合では、入力画像信号12のアクティビティ12bの大きさに応じて、あらかじめメモリテーブルに記憶された量子化ステップサイズ及びDCT出力係数を読み出す。あるいは選択信号150として選択された信号がフィルタ処理された予測誤差信号15xの場合にはフィルタ処理された予測誤差信号15xのアクティビティ15bの大きさに応じて、あらかじめメモリテーブルに記憶された量子化ステップサイズおよびDCT出力係数を読み出す。あるいは選択信号150として選択された信号がフィルタ処理されていない予測誤差信号15yである場合には、フィルタ処理されていない予測誤差信号15yのアクティビティ15dの大きさに応じて、あらかじめメモリテーブルに記憶された量子化ステップサイズおよびDCT出力係数を読み出す。これら読み出された量子化ステップサイズ、DCT出力係数とモード信号46mは多重化されて制御信号42として出力される。
【0085】
実施例16.
上記実施例15においては、符号化制御部41で適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティとフレーム内予測による入力画像信号12のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号42を導出したが、導出の際適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティとフレーム内予測による入力画像信号12のアクティビティの少なくとも何れか一つのアクティビティに重み付けを行ってもよい。
【0086】
実施例17.
上記実施例15においては、符号化制御部41で適応フィルタ22でフィルタ処理を施した予測誤差信号15のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号15のアクティビティとフレーム内予測による入力画像信号12のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号42を導出したが、予め前記フィルタ制御部からフィルタ処理制御を施された予測誤差信号のアクティビティとフレーム内予測による入力画像信号のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号42を導出してもよい。
【0087】
実施例18.
上記実施例17においては、予め前記フィルタ制御部からフィルタ処理制御を施された予測誤差信号のアクティビティとフレーム内予測による入力画像信号のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号42を導出したが、予め前記フィルタ制御部からフィルタ処理制御を施された予測誤差信号のアクティビティとフレーム内予測による入力画像信号のアクティビティとの比較を行う際に少なくとも何れか一つのアクティビティに重み付けを行ってもよい。
【0088】
図36はこの実施例の一例を示す図である。この図36で特徴となる点は、フィルタ制御部21から出力されるフィルタ制御信号23が符号化制御部41に入力されている点である。このフィルタ制御信号23は符号化制御部41に入力されると、図24に示した重み付け回路46aに入力される。重み付け回路46aはこのフィルタ制御信号23を解析することにより、適応フィルタ22がオンまたはオフされていることを判定することができる。従って、例えば、適応フィルタ22がオンされた予測信号24に基づく予測誤差信号15が符号化制御部41に入力される場合には、重み付けを行い、適応フィルタ22がオフされた予測信号24に基づく予測誤差信号15が符号化制御部41に入力される場合には重み付けを行わないという制御を行なうことが可能となる。なお、この重み付けの制御はオン、オフばかりでなく、フィルタ制御信号23の値によりダイナミックに重み付けの値を変更することも可能である。
【0089】
実施例19.
上記実施例10においては、フィルタ制御部21で入力信号12とフレームメモリ1からの信号との差に相当する情報を入力画像信号12で正規化してフィルタ制御信号23を決定していたが、正規化せずに差に相当する情報そのものの大小に基づいてフィルタ制御信号23を出力してもよい。
【0090】
実施例20.
上記実施例10においては、フィルタ制御部21で入力信号12とフレームメモリ1からの信号との差に相当する情報を入力信号12で正規化してフィルタ制御信号23を決定していたが、フィルタ制御部21で入力信号12とフレームメモリ1からの信号との差に相当する情報によりフィルタ制御信号23を決定してもよい。
【0091】
実施例21.
上記実施例10においては、フィルタ制御部21で入力画像信号12とフレームメモリ1からの信号との差に相当する情報を入力画像信号12で正規化してフィルタ制御信号23を決定していたが、差に相当する情報を画像メモリ1からの信号で正規化した結果により適応フィルタ22へフィルタ制御信号23を出力してもよい。
【0092】
実施例22.
上記実施例10においては適応フィルタ部22をフレームメモリ1の後段に配置したが、図37に示すように適応フィルタ22を加算器6の後段に配置してもよい。この場合フィルタ処理をした局部画像信号またはフィルタ処理をしない局部画像信号をフレームメモリ1に書き込み、減算器3で入力信号12とフレームメモリ1より出力される予測信号24との減算を行い予測誤差信号15を発生させて符号化制御を行う。
【0093】
実施例23.
また、フレームメモリ1は画像フレーム単位に限らずフィールド単位でもよく、また複数枚数もつ場合にも同様の処理が可能である。
【0094】
実施例24.
また、フィルタ制御部および符号化制御部を統合して新たな符号化制御部として統括的に制御を行ってもよい。
図38はこの実施例の一例を示す図である。この図で特徴となるのは符号化制御・フィルタ制御部50が設けられている点である。この符号化制御・フィルタ制御部は前述した実施例のフィルタ制御部21と符号化制御部41を統合化したものである。前述したようにフィルタ制御部21及び符号化制御部41はともに入力した信号のアクティビティを用いて動作しているため、これらアクティビティを計算する部分を共有化することにより小型の装置を得ることが可能になる。また、アクティビティの計算が一箇所で統括的に行われるため、装置全体の制御が容易に行われるようになる。
【0095】
実施例25.
また、上記実施例10においては、動きベクトル検出部2を設けた構成としたが、装置簡素化により例えば常に動き量が零として動きベクトル検出部2を設けないときにも同様の処理が可能である。
【0096】
実施例26.
また、上記実施例9〜25において、前述の符号化制御部41または符号化制御・フィルタ制御部50に、符号化部4より出力される符号化データに基づいたフィードバック制御を組み合せて符号化制御を行ってもよい。
図39は、実施例9に示した符号化制御部41に対して、フィードバック制御を行う場合を示す図である。図において、100は符号化部4より出力される符号化データを記憶する送信バッファ、160は送信バッファ100から出力される送信信号、101は送信バッファ100からフィードバックされるフィードバック信号である。
符号化制御部41は、フィードバック信号101により符号化制御信号42を制御する。例えば、フィードバック信号101が送信バッファのデータ占有率を示すものとすると、データ占有率が高い時は符号化部4の符号化量が少なくなるように符号化制御信号42を出力する。逆に、データ占有率が低い時は符号化部4の符号化量が多くなるように符号化制御信号42を出力する。
【0097】
実施例27.
また、上記実施例においては、信号アクティビティとして、信号に基づく特徴として、信号の最大値と最小値の差あるいは信号平均値からの差分絶対値和あるいは差分自乗和を用いる場合を示したが、このアクティビティとは信号に基づいて求められた特徴の一例であり、前述したような信号に基づく特徴として、信号の最大値と最小値の差あるいは信号平均値からの差分絶対値和あるいは差分自乗和を用いる場合に限らずその他の差分信号やあるいは分散を用いることにより同様の効果を奏することが可能である。
【0098】
実施例28.
また、実施例1から27では、8×8画素の画像データを処理単位とする場合について示したが、16×16画素あるいは32×32画素あるいは8×16画素等のその他の処理単位を用いる場合であっても構わない。
【0099】
実施例29.
また、実施例1から27では信号およびデータとして画像を扱っていたが、レーダや音声等の信号やデータを扱ってもよく、本発明は画像データに限定されるものではない。
【0100】
【発明の効果】
この発明は以上説明したように構成されているので、例えば、以下に記載するような効果を奏する。
【0101】
符号化制御部において入力信号と予測誤差信号のアクティビティに基づいて符号化制御信号を導出することにより、符号化効率を向上させることができる。
【0102】
符号化制御部において取り扱うアクティビティに対して重み付けを行うことにより、符号化処理装置の要求や処理する画像に応じて、選択された信号の発生確率を制御できる。
【0103】
動きに関係なくフィルタ処理および符号化制御信号の導出を行うため、動領域においても視覚的解像度を低下させることなく、静領域においても視覚的に知覚されにくい高周波成分を除去することにより、視覚的に良好な符号化画像を得ることができる。
【0104】
予測に用いる画像に量子化誤差が多く含まれている場合においても、フィルタ処理で高域周波数成分を除去し、符号化制御部において最小のアクティビティを持つ信号に基づいて符号化制御信号を導出することにより、符号化効率が向上する。
【0105】
符号化制御部において複数のモードの信号のアクティビティの中から最小のアクティビティを持つモードの信号に基づいて符号化制御信号を導出することにより、常に符号化ループゲインが小さくなるような予測ができ、符号化効率が向上する。
【図面の簡単な説明】
【図1】 この発明の一実施例のフレーム間符号化処理方式のブロック図である。
【図2】 この発明の一実施例におけるフィルタ制御部のブロック図である。
【図3】 この発明の一実施例における差異情報の算出方法を示す図である。
【図4】 この発明の一実施例における信号アクティビティを説明するための図である。
【図5】 この発明の一実施例における信号アクティビティを説明するための図である。
【図6】 この発明の一実施例のフィルタ制御部on/off判定フロー図である。
【図7】 この発明の一実施例のフィルタ制御部on/off判定フロー図である。
【図8】 この発明の一実施例のフィルタ制御部on/off判定フロー図である。
【図9】 この発明の一実施例における1次元、2次元、3次元のフィルタ処理を説明するための図である。
【図10】 この発明の一実施例における処理単位をまたがったフィルタリング処理を説明するための図である。
【図11】 この発明の一実施例における適応フィルタの動作を説明するための図である。
【図12】 この発明の一実施例における適応フィルタの出力例を説明するための図である。
【図13】 この発明の実施例2におけるフレーム間符号化処理方式のブロック図である。
【図14】 この発明の実施例3におけるフレーム間符号化処理方式のブロック図である。
【図15】 この発明の実施例4におけるフレーム間符号化処理方式のブロック図である。
【図16】 この発明の実施例5におけるフレーム間符号化処理方式のブロック図である。
【図17】 この発明の実施例5におけるフィルタ制御部のブロック図である。
【図18】 この発明の実施例5における符号化部の動作を説明するための図である。
【図19】 この発明の実施例6におけるフレーム間符号化処理方式のブロック図である。
【図20】 この発明の実施例6における制御部のブロック図である。
【図21】 この発明の実施例7におけるフレームとフィールドの関係を説明するための図である。
【図22】 この発明の実施例9におけるフレーム間符号化処理方式のブロック図である。
【図23】 この発明の実施例9における符号化制御部のブロック図である。
【図24】 この発明の実施例9におけるアクティビティ比較選択部のブロック図である。
【図25】 この発明の実施例10におけるフレーム間符号化処理方式のブロック図である。
【図26】 この発明の実施例10における重み付け回路の動作を説明するための図である。
【図27】 この発明の一実施例の重み付け回路の処理フロー図である。
【図28】 この発明の実施例12における重み付け回路の処理フロー図である。
【図29】 この発明の一実施例の比較器の処理フロー図である。
【図30】 この発明を示す一実施例の制御信号発生器の処理フロー図である。
【図31】 この発明を示す一実施例の制御信号発生器のメモリテーブルを示す図である。
【図32】 この発明の実施例13におけるフレーム間符号化処理方式のブロック図である。
【図33】 この発明の実施例15におけるフレーム間符号化処理方式のブロック図である。
【図34】 この発明の実施例15における符号化制御部のブロック図である。
【図35】 この発明の実施例15におけるアクティビティ比較選択部のブロック図である。
【図36】 この発明の実施例18におけるフレーム間符号化処理方式のブロック図である。
【図37】 この発明の実施例22におけるフレーム間符号化処理方式のブロック図である。
【図38】 この発明の実施例24におけるフレーム間符号化処理方式のブロック図である。
【図39】 この発明の実施例26におけるフレーム間符号化処理方式のブロック図である。
【図40】 従来例のフレーム間符号化処理方式のブロック図である。
【図41】 従来例のフレーム間符号化処理方式においてフィルタをON/OFFさせた場合の動作を説明するための図である。
【図42】 従来例のフレーム間符号化処理方式のフィルタの動作を説明するための図である。
【図43】 従来例のフレーム間符号化処理方式のフィルタの動作を説明するための図である。
【符号の説明】
1 フレームメモリ、2 動きベクトル検出部、3 減算器、4 符号化部、5 局部復号化部、6 加算器、7 フィルタ、8 フィルタ制御部、11 1フレーム前の画像信号、12 入力信号、13 動きベクトル、14 動き補償予測信号、15 予測誤差信号、16 符号化された誤差信号、17 局部復号誤差信号、18 局部復号信号、19 平滑化された局部復号信号、20 制御信号、21 フィルタ制御部、22 適応フィルタ部、23 フィルタ制御信号、24 予測信号、25 画素当たりの差異情報、30 差情報演算部、31 判定部、32 差異情報、33 画素当たり差情報演算部、41 符号化制御部、42 符号化制御信号、45 アクティビティ算出部、46 アクティビティ比較選択部、150 選択信号。
Claims (2)
- フレームメモリより読み出される信号と入力信号とから生成される信号の符号化を行う符号化制御装置において、
前記フレームメモリより読み出される信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第1予測誤差信号を生成して出力する第1減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第2予測誤差信号を生成して出力する第2減算器と、
第1減算器から出力される第1予測誤差信号を入力して第1予測誤差信号のアクティビティを求め、第2減算器から出力される第2予測誤差信号を入力して第2予測誤差信号のアクティビティを求めるとともに、前記第1予測誤差信号のアクティビティと、第2予測誤差信号のアクティビティとを比較し、アクティビティが小さい予測誤差信号を選択して選択信号とするとともに、選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする符号化制御装置。 - フレームメモリより読み出される信号と入力信号とを用いて符号化を行う符号化制御装置において、
前記フレームメモリより読み出される予測誤差信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第1予測誤差信号を生成して出力する第1減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第2予測誤差信号を生成して出力する第2減算器と、
第1減算器から出力される第1予測誤差信号を入力して第1予測誤差信号のアクティビティを求め、第2減算器から出力される第2予測誤差信号を入力して第2予測誤差信号のアクティビティを求め、入力信号に基づいて入力信号のアクティビティを求め、前記第1予測誤差信号のアクティビティと、第2予測誤差信号のアクティビティと、入力信号のアクティビティとの3つを比較し、前記第1予測誤差信号と前記第2予測誤差信号と入力信号との中からアクティビティが最も小さい信号を選択して選択信号とするとともに、この選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする符号化制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002261738A JP3640651B2 (ja) | 1992-12-25 | 2002-09-06 | 符号化制御装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34655292 | 1992-12-25 | ||
JP4-346552 | 1992-12-25 | ||
JP5-36371 | 1993-02-25 | ||
JP3637193 | 1993-02-25 | ||
JP2002261738A JP3640651B2 (ja) | 1992-12-25 | 2002-09-06 | 符号化制御装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001003536A Division JP3364484B2 (ja) | 1992-12-25 | 2001-01-11 | 符号化制御方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003163936A JP2003163936A (ja) | 2003-06-06 |
JP3640651B2 true JP3640651B2 (ja) | 2005-04-20 |
Family
ID=27289074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002261738A Expired - Lifetime JP3640651B2 (ja) | 1992-12-25 | 2002-09-06 | 符号化制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3640651B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI386064B (zh) * | 2006-10-10 | 2013-02-11 | Nippon Telegraph & Telephone | 內部預測編碼控制方法及裝置,其程式,以及記錄有程式之記憶媒體 |
EP3105927B1 (en) | 2014-02-13 | 2021-04-14 | Intel Corporation | Methods and apparatus to perform fractional-pixel interpolation filtering for media coding |
-
2002
- 2002-09-06 JP JP2002261738A patent/JP3640651B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003163936A (ja) | 2003-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3165296B2 (ja) | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 | |
US7805016B2 (en) | Decoding apparatus and decoding method | |
US5937101A (en) | Post-processing device for eliminating blocking artifact and method therefor | |
JP2877768B2 (ja) | 動補償された映像のブロック化効果及びリンギングノイズ減少のためのループフィルタリング方法 | |
US8681877B2 (en) | Decoding apparatus, decoding control apparatus, decoding method, and program | |
US6553068B1 (en) | Video signal coding method and device adapted to control code amounts according to the characteristics of pictures | |
JP2000350211A (ja) | 動画像符号化方法及び動画像符号化装置 | |
US6512792B1 (en) | Moving image encoding apparatus with a quantization step size different from the dequantization step size | |
US5204740A (en) | Image signal decoding apparatus | |
US6577680B2 (en) | Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures | |
JPH04275790A (ja) | 画像処理装置 | |
JP3640651B2 (ja) | 符号化制御装置 | |
KR20020041764A (ko) | 노이즈 감소 방법 | |
JPH07240924A (ja) | 画像符号化装置及び画像符号化方法 | |
JP3364483B2 (ja) | フレーム間符号化処理装置及びフレーム間符号化処理方法 | |
JP3364484B2 (ja) | 符号化制御方式 | |
JPH05300492A (ja) | 動画像符号化装置 | |
JP4695115B2 (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH0681308B2 (ja) | フレ−ム間符号化における量子化雑音抑圧方式 | |
JPH08154250A (ja) | 動画像符号化装置 | |
JP2003116137A (ja) | フレーム間符号化処理装置及びフレーム間符号化処理方法 | |
JPH0512913B2 (ja) | ||
JPH08130664A (ja) | 画像符号化装置の雑音抑圧方式 | |
JPH11355781A (ja) | 動画像符号化装置 | |
KR0178711B1 (ko) | 적응적 후처리를 이용한 부호화 및 복호화시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20031216 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040119 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040512 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050118 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |