JP3364483B2 - フレーム間符号化処理装置及びフレーム間符号化処理方法 - Google Patents
フレーム間符号化処理装置及びフレーム間符号化処理方法Info
- Publication number
- JP3364483B2 JP3364483B2 JP2001003482A JP2001003482A JP3364483B2 JP 3364483 B2 JP3364483 B2 JP 3364483B2 JP 2001003482 A JP2001003482 A JP 2001003482A JP 2001003482 A JP2001003482 A JP 2001003482A JP 3364483 B2 JP3364483 B2 JP 3364483B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- activity
- filter
- coding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
化する画像符号化装置に関するものである。特に、入力
信号のフレームとフレームの差分信号に基づいて符号化
を行なうフレーム間符号化処理方式に関するものであ
る。
場合、画像信号に含まれる冗長成分を取り除くための手
段がとられる。特に動画像を符号化する代表的な手法と
してはすでに符号化された画像と新たに符号化する画像
との差分をとり、差分情報のみを符号化するいわゆるフ
レーム間符号化方式が良く知られている。
2号公報に示されたフレーム間符号化装置に関するブロ
ック図であり、図において1は前フレームの画像情報を
蓄積するフレームメモリ、2は動きベクトル検出部、3
は減算器、4は符号化部、5は局部復号化部、6は加算
器、7はフィルタ、8はフィルタ制御部である。
リ1に蓄積されている1フレーム前の画像信号11と、
入力画像信号12とは動きベクトル検出部2においてブ
ロックマッチングをとり、比較されて動き量とその方向
を示す動きベクトル13を発生する。フレームメモリ1
は動きベクトル13に応じて動き補償予測信号14を生
じる。減算器3は入力画像信号12から動き補償予測信
号14を減算して予測誤差信号(差分信号ともいう)1
5を発生する。
て符号化された誤差情報16を発生する。局部復号化部
5は符号化された誤差情報16を復号し、局部復号誤差
信号17を出力する。加算器6は動き補償予測信号14
と局部復号誤差信号17を加算して局部復号信号18を
発生する。フィルタ7は局部復号信号18における高域
成分を除去し、平滑化された局部復号信号19を発生す
る。フィルタ制御部8は、動きベクトル13の大きさに
応じてフィルタ7の挿入又は非挿入を制御する制御信号
20を出力する。このようにして発生した符号化された
誤差信号16と、動きベクトル13とは伝送路を経て送
出される。又、一般的にこれらの処理は画像信号に対し
て16×16画素単位や8×8画素単位毎に行われる。
フィルタ7を設けているが、フレームメモリ1の後段に
設ける方法も知られている。又、動き検出の精度を高め
るため整数画素単位以下で探索を行う方法やブロック単
位に閉じたフィルタ処理を行う方法、周辺画素も含めて
フィルタ処理を行う方法がある。これらいずれの方式に
おいても、動き量に応じて高周波成分を抑圧することに
より、ノイズを除去し符号化効率の向上を図っている。
う場合、入力画像信号12をそのまま符号化部4で量子
化して符号化された入力情報16を発生する。局部復号
化部5は符号化された入力情報16を復号し、局部復号
誤差信号17をフレームメモリ1へ出力する。このよう
にして発生した符号化された入力情報16は伝送路を経
て送出される。
化処理方式においては動きベクトルの情報を利用して制
御を行うことにより、図41に示すように、静領域にお
いてはローパスフィルタ(LPF)をOFFにして解像
度を損なうことなく、動領域においてはローパスフィル
タを挿入して、解像度は落ちるが、雑音を除去すること
を行っていた。
周波数(f)の関係を示す図であり、14aはローパス
フィルタをOFFした場合のフレームメモリ1からの信
号を示し、14bはローパスフィルタをONした場合の
フレームメモリ1からの信号を示している。
Fされる場合は、静領域において、高解像度を保つ場合
である。逆に、ローパスフィルタをONする場合は動領
域において、低解像度にする場合である。このように、
ローパスフィルタをOFFからONにすることにより、
図41の斜線で示す高域成分を除去することが可能にな
る。
からの動き補償予測信号14aの差分信号15が非常に
小さい場合を示している。即ち、図42(a)に示すよ
うな入力信号12に対して、図42(b)に示すように
非常に動き検出精度が良く、動き補償予測信号14aが
ほぼ同様な特性を示す場合には、図42(c)に示すよ
うに、その差分信号15は非常に小さくなる。従って、
符号化部4が符号化する情報量が減少し、符号化効率が
向上する。
く、入力信号とフレームメモリからの動き補償予測信号
の差分が非常に小さいにもかかわらずフィルタ処理がな
される場合がある。
て、ローパスフィルタがONされてしまう場合は、動き
補償予測信号14の高周波成分がカットされてしまう。
この場合は、フィルタ処理した結果と入力信号との差分
信号に高周波成分が残存し、符号化すべき情報が増加し
て符号化効率が低下する上、その部分の解像度が低下す
る。
であり、図43(a)は、図42(a)に示した入力信
号と同様のものである。又、図43(b)において14
bはローパスフィルタが動領域においてONになり、高
周波成分がカットされてしまった特性を示している。即
ち、図42(b)の動き補償予測信号14aに比べて、
高周波成分(雑音)がカットされ、14bに示すような
動き補償予測信号が出力されることを示している。又、
図43(c)においては、前述した図43(a)に示し
た入力信号と図43(b)に示した動き補償予測信号1
4bの差分信号15が示されている。図で分かるよう
に、高周波成分が残存するため、符号化部4は符号化す
べき情報が増加し、符号化効率が低下する。
2に示すように動き検出が精度良く働きフィルタ処理す
る必要が無いにもかかわらず、図43に示すようにフィ
ルタ処理がなされてしまうために、その部分の解像度が
低下したり、あるいは符号化すべき情報量が増加してし
まう等の問題点があった。
子化して符号化しているが、符号化部4が入力して符号
化する信号は一種類の予測誤差信号に限られており、こ
の予測誤差信号が符号化効率のよくない特性を示す場合
であっても、この予測誤差信号を量子化して符号化する
ため、必ずしも符号化効率のよい信号を得られるとは限
らない等の問題点があった。
るためになされたもので、符号化すべき信号に高周波成
分が残存せず、符号化効率が向上するフレーム間符号化
処理方式を得ることを目的とする。
決するためになされたもので、符号化すべき信号が符号
化効率のよい信号であり、符号化効率が向上する符号化
制御方式を得ることを目的とする。
ーム間符号化処理方式は、入力信号を入力として、入力
信号に高周波成分が多く含まれる特性を有するか否かを
判定し、入力信号に高周波成分が多く含まれる特性を有
すると判定した場合には、フィルタの強度を弱めるよう
にフィルタ係数を指定する制御信号を出力する。
方式は、入力信号に高周波成分が多く含まれる特性を有
するか否かを判定する場合に、入力信号のアクティビテ
ィを用いて、判定する。
方式は、入力信号のアクティビティとして、入力信号の
最大値と最小値の差あるいは信号平均値からの差分絶対
値和あるいは差分自乗和を用いる。
方式は、更にフレームメモリからの信号を入力として、
入力信号に高周波成分が多く含まれる特性を有するか否
かを判定する場合に、入力信号のアクティビティを、入
力信号とフレームメモリからの信号との差に相当する情
報を正規化することに用いる。
方式は、入力信号に高周波成分が多く含まれる特性を有
するか否かを判定する場合に、入力信号のアクティビテ
ィを、所定の閾値と比較して、判定する。
方式は、入力信号に高周波成分が多く含まれる特性を有
するか否かを判定する場合に、入力信号のアクティビテ
ィを、入力信号とフレームメモリからの信号との差に相
当する情報を正規化することに用いて、正規化した結果
を所定の閾値と比較して、判定する。
方式は、前記フィルタ制御部からは2値あるいは多値の
前記適応フィルタ部のフィルタ係数値を適応的に変化さ
せるフィルタ制御信号を発生させる。
方式は、前記適応フィルタ部は空間方向に1次元あるい
は2次元さらに時間方向を加えた3次元の特性をもつ。
方式は、前記適応フィルタ部を前記フレームメモリから
の信号に対してフィルタ処理を行うよう設ける。あるい
は前記適応フィルタ部を前記フレームメモリに書き込ま
れる局部復号信号に対してフィルタ処理を行うよう設け
る。
理方式は、入力信号と前記フレームメモリからの信号を
入力として、入力信号とフレームメモリからの信号との
差に相当する情報を、符号化部へ出力する制御部を設
け、符号化部は、入力信号のフレーム間の符号化をする
場合に、入力信号とフレームメモリからの信号との差に
相当する情報を用いる。
理方式は、制御部における差に相当する情報の画素当り
の値より小さな符号化誤差で符号化を行なう符号化部を
設ける。
理方式は、復号化ループにフィルタを設け、制御部は、
さらに、前記差に相当する情報に基づいて、フィルタの
制御信号を出力する。
理方式は、制御部において入力信号又はフレームメモリ
からの信号の信号アクティビティを求め、信号アクティ
ビティにより符号化誤差が制御される符号化部を設け
る。
理方式は、入力信号を入力として、入力信号に高周波成
分が多く含まれる特性を有するか否かを判定する工程
と、前記入力信号に高周波成分が多く含まれる特性を有
すると判定した場合には、フィルタの強度を弱めるよう
にフィルタ係数を指定する制御信号を出力する工程と、
上記フィルタ係数に基づいて、フィルタリング処理を行
なう工程を有する。
理方式は、入力信号を入力として、入力信号に高周波成
分が多く含まれる特性を有するか否かを判定する工程
で、入力信号のアクティビティを用いて、判定する。
理方法は、入力信号とフレームメモリからの信号を入力
し、その差に相当する情報を求める工程と、差に相当す
る情報に基づいて、符号化部の量子化ステップサイズを
変更する工程と、変更された量子化ステップサイズに基
づき、符号化を行なう工程を有する。
理方法は、入力信号又はフレームメモリからの信号を入
力し、アクティビティ信号等の、絶対的な強さではな
く、相対的な特徴信号を求める工程と、この特徴信号に
基づいて、符号化部の量子化ステップサイズを変更する
工程と、変更された量子化ステップサイズに基づき、符
号化を行なう工程を有する。
入力画像信号またはフレームメモリからの信号のアクテ
ィビティに基づいて符号化部へ符号化制御信号を出力す
る符号化制御部を設ける。
フレーム間信号のアクティビティとフレーム内信号のア
クティビティとを比較し、例えば、何れか小さいアクテ
ィビティを持つ信号のアクティビティに基づいて前記符
号化部の符号化を制御する。
前記フレーム間信号のアクティビティと前記フレーム内
信号のアクティビティとの比較を行う際に、少なくとも
何れか一方のアクティビティに重み付けを行って比較を
行う。
フィルタ処理を行なうフィルタと、入力画像信号と前記
フレームメモリからの信号を入力として前記フィルタの
制御信号を出力するフィルタ制御部とをさらに設ける。
前記フィルタ処理を施した予測誤差信号のアクティビテ
ィとフィルタ処理を行わなかった場合の予測誤差信号の
アクティビティとフレーム内予測による入力信号のアク
ティビティとの3者から少なくとも2者を比較し、例え
ば、何れか小さいアクティビティを持つ信号のアクティ
ビティに基づいて前記符号化部の符号化を制御する。
前記フィルタ処理を施した予測誤差信号のアクティビテ
ィとフィルタ処理を行わなかった場合の予測誤差信号の
アクティビティとフレーム内予測による入力信号のアク
ティビティとの比較を行う際に、少なくとも何れか一つ
のアクティビティに重み付けを行い、前記3つのうち少
なくとも2つ以上のアクティビティに対して比較を行
う。
予め前記フィルタ制御部からフィルタ処理制御を施され
た予測誤差信号のアクティビティとフレーム内信号のア
クティビティとを比較し、いずれか最も小さいアクティ
ビティを持つ信号のアクティビティに基づいて前記符号
化部の符号化を制御する。
予め前記フィルタ制御部からフィルタ処理制御を施され
た予測誤差信号のアクティビティとフレーム内信号のア
クティビティとの比較を行う際に、少なくともいずれか
一つのアクティビティに重み付を行って比較を行う。
入力画像信号又は前記画像メモリからの信号のアクティ
ビティに基づいて符号部へ符号化制御信号を出力する
か、あるいは前記符号化部より出力される符号化データ
に基づいてフィードバック制御を行うために符号化部へ
符号化制御信号を出力する符号化制御部を設ける。
アクティビティとして、信号に基づく特徴として、信号
の最大値と最小値の差あるいは信号平均値からの差分絶
対値和あるいは差分自乗和を用いるものである。
理方式及び第14〜第15の発明におけるフレーム間符
号化処理方法は、フィルタ制御部において入力信号とフ
レームメモリからの信号の差分情報を入力信号又はフレ
ームメモリからの信号により正規化し正規化結果の大小
により、あるいは、差分情報や入力信号の特徴と閾値を
比較し比較結果により、高域成分をカットするフィルタ
強度を変化させる。このようにして、常に符号化すべき
信号に高周波成分が残存せず符号化効率が向上する上、
動領域においても視覚的解像度を低下させることなく、
しかも視覚的に良好な符号化画像を得ることができる。
ム間符号化処理方式及び第16、第17の発明における
フレーム間符号化処理方法は、制御部において入力信号
とフレームメモリからの信号の差分情報又は入力信号又
はフレームメモリからの信号を用いて、符号化部におけ
る量子化ステップサイズを変更するので、符号化誤差の
少ない信号が生成される。
化制御方式は、入力信号または差分誤差信号に基づいて
求められる特徴(アクティビティ)のうち最適な特徴
(アクティビティ)を持つモードの信号に基づいて符号
化制御部において符号化を制御するため、符号化効率を
向上させることができる。
明する。ここでは8×8画素を処理単位として、符号化
を行なう場合について説明する。図1において、21は
フィルタ制御部、22は適応フィルタ部である。その他
の符号は図40に示したものと同じである。
フレームメモリ1に蓄積されている1フレーム前の画像
信号11と入力画像信号12から動きベクトル検出部2
において動きベクトル13を検出し、それに応じた動き
補償予測信号14が生成されるまでは従来例と同様であ
る。フィルタ制御部21は入力画像信号12と動き補償
予測信号14によりフィルタ制御信号23を生成する。
をもとに説明する。図2において30は入力画像信号1
2と動き補償予測信号14の差異情報32を計算するた
めの差情報演算部、31は判定部である。差情報演算部
30では入力画像信号12と動き補償予測信号14との
差分絶対値又は差分自乗をとり、それらを8×8画素単
位というフィルタの処理単位にあった複数画素分(8×
8=64画素分)累算し、得られた結果を差異情報32
として出力する。
である。図3(a)は入力画像信号を示している。この
実施例においては8×8画素を処理単位としているた
め、入力画像信号は1つの処理単位の中にS1〜S64
まで64画素存在している。次に図3(b)は、動き補
償予測信号を示す図である。動き補償予測信号も8×8
画素を処理単位としており、Y1〜Y64までの64画
素から構成されている。図3(c)は、差情報演算部3
0が入力画像信号を12と動き補償予測信号14との差
分絶対値を64画素分累算した結果を差異情報とする場
合を示している。また、図3(d)は差情報演算部30
が入力画像信号12と動き補償予測信号14との差分自
乗をとり、64画素分累算し、得られた結果を差異情報
32としている場合を示している。
いる場合にはこの差異情報32の値は小さくなるが、予
測精度が低い場合や全く異なった画像が入力されたと
き、又はフレームメモリ1内の局部復号化信号に多くの
量子化誤差が含まれる場合などにはこの差異情報32の
値は大きくなる。
複数画素に対応する入力画像信号12の信号アクティビ
ティ(以下、単にアクティビティともいう)を計算す
る。例えば、信号アクティビティは図4に示すように信
号の最大値と最小値の差として計算する。
最大値と最小値の差から計算する場合の一例を示す図で
ある。図においては、簡単に説明するために第1から第
8の画素について、信号アクティビティを計算する場合
を示している。この例においては、第4の画素の輝度が
最大値を示し、第5の画素が最小の輝度を示しているた
め、この差を信号アクティビティとする。
すように信号平均値からの差分絶対値和や差分自乗和と
して求められる。図5は、差分絶対値や差分自乗を用い
て信号アクティビティを計算する場合の一例を示した図
である。図5(a)に示すように、第1から第8の画素
の持つ輝度とこれらの8つの輝度の平均値の差をそれぞ
れX1からX8とすると、信号平均値からの差分絶対値
は、図5(b)に示すようにX1からX8の絶対値を加
算した値となる。又、信号平均値からの差分自乗は、図
5(c)に示すようにX1からX8をそれぞれ自乗した
後、加算した値となる。
ィビティは、画像信号の絶対的な強度を示すものではな
く、相対的な値を示すものである。即ち、低周波成分を
多く含むような滑らかに変化する信号の場合には信号ア
クティビティの値Xは小さくなり、変化の激しい高周波
成分を多く含む場合には信号アクティビティの値Xは大
きくなる。
化(除算)され正規化結果が得られ、この値の大小に応
じて高周波成分除去を行うフィルタ強度を指定するフィ
ルタ制御信号23を出力する。即ち正規化結果の値が大
きい場合(即ち、入力画像が低周波成分を多く含むよう
な滑らかに変化する信号の場合)はフィルタ強度を強く
する。又、正規化結果の値が小さい場合(即ち、入力画
像が変化の激しい高周波成分を多く含む信号の場合)
は、フィルタ強度を弱くする。即ち、正規化結果の値
は、適応フィルタ部22における強度の異なる複数種類
のフィルタの個数に応じてその強度指定を多値で指定す
る。
フィルタ制御信号23として2値で指定する場合には所
定の値より先に求めた正規化情報が大きければフィルタ
挿入を行って高周波成分を除去して符号化すべき情報を
削減し、正規化情報が小さければフィルタを挿入せず解
像度を保持した予測誤差信号とするようフィルタ制御信
号23を発する。
f判定フローの一実施例を示す。このフィルタ制御部2
1の動作は、入力画像信号12と動き補償予測信号14
によってフィルタのon/off判定を行うものであ
る。まず、ST1で、デフォルト値としてフィルタをo
ffにする。ST2で、差情報演算部30は入力画像信
号12と動き補償予測信号14の差異情報Nを算出す
る。また、ST3で判定部31は入力画像信号12の信
号アクティビティの値Xを算出する。次に、ST6にお
いては、差異情報32を信号アクティビティの値Xで正
規化(除算)する。この差異情報Nを信号アクティビテ
ィの値Xで除した値が、閾値ThNXより小さければ、フ
ィルタをoffにする。この差異情報Nを信号アクティ
ビティの値Xで除した値が、閾値ThNXより小さい時
は、予測が適当で差異情報32が小さい、あるいは、入
力画像信号のアクティビティが大きいことを意味する。
差異情報32が小さい場合には予測が適当である場合を
示しているため、フィルタをonにする必要がない。ま
た、入力信号のアクティビティが大きい場合には動き補
償予測信号14は入力信号に追随して変化の激しい高周
波成分を多く含む信号となる場合が多いため、フィルタ
をonにせず、動き補償予測信号14をそのまま出力す
る。また、この差異情報Nを信号アクティビティの値X
で除した値が閾値ThNXより大きいときは、フィルタを
onにする。この差異情報Nを信号アクティビティの値
Xで除した値が閾値ThNXより大きいときは、予測が適
当でなく、差異情報32が大きいあるいは入力画像信号
のアクティビティが小さいことを意味する。差異情報3
2が大きい場合は予測が適当でなく、動き補償予測信号
14には高周波成分が多く含まれているので、フィルタ
をonにすることにより、動き補償予測信号14から高
周波成分を除去して符号化効率を向上させる。また、入
力画像信号のアクティビティが小さい場合は同様にフィ
ルタがonされるが、入力画像信号のアクティビティが
大きい場合にはフィルタはoffのままになる。これは
入力画像信号のアクティビティが大きい場合には動き補
償予測信号14も変化の激しい高周波成分を多く含む信
号である場合が多いため、フィルタをoffにして動き
補償予測信号14の高周波成分をそのまま残すことによ
り、符号化効率を向上させるものである。
/off判定フローの他の例を示す図である。図7にお
いて、差異情報Nが閾値ThN より大きければ、フィル
タをonにする。このように差異情報Nが閾値ThN よ
り大きい場合は、動き補償予測信号には高周波成分が多
く含まれているので、フィルタをonにすることによっ
て高周波成分を除去して符号化効率を向上させることを
意味する。つぎに、ST5では、入力画像信号12の信
号アクティビティXが閾値ThXより小さければ、フィ
ルタをonにする。信号アクティビティXが閾値ThX
より小さい入力画像信号は高周波成分をほとんど含まな
い。したがって、フィルタをonにしても高周波成分の
除去に関してはほとんど影響がなく、フィルタがoff
の場合以上に高周波雑音の除去に効果がある。逆に、入
力画像信号12の信号アクティビティXが閾値ThX よ
り大きければ、フィルタをoffのままとする。信号ア
クティビティXが閾値ThX より大きい入力画像信号
は、高周波成分を含んでいると考えられる。従って、動
き補償予測信号14も入力画像信号12に対応して高周
波成分を含んでいると考えられる。このため、フィルタ
をoffのままにして動き補償信号14の高周波成分を
そのままにして出力するようにする。
off判定フローの他の例を示す図である。図8に示す
on/off判定フローは図6と図7に示したフローを
組み合わせたものである。このように図6に示した判定
と図7に示した判定の両方を用いることにより、異なる
閾値を用いてフィルタのon/offを判定することが
でき、フィルタのon/offの制御をさらにきめ細か
く判定することができる。なお、図示しないが、フィル
タ制御部21のon/off判定を入力画像信号12か
ら算出された信号アクティビティと閾値ThX との比較
により行うようにしても構わない。すなわち、図7に示
したon/off判定フローからST2における差異情
報の算出処理およびST4における差異情報Nと閾値T
hN との比較処理を除いたST1、ST3、ST5、S
T7によるon/off判定フローを用いてフィルタの
制御を行うようにしても構わない。
の値Xが零の場合、零で除算することはできないので、
正規化結果は不定となるが、一般にはこの正規化演算が
有限語長による演算のため、その語長における最大値と
される。例えば、正規化演算を8ビットを一語とする語
長で演算する場合には、8ビットの値の最大値である
“FF”という値を用いて正規化結果とする。これは、
この正規化演算で出力される最大値である。
23に応じて動き補償予測信号14の高周波成分除去を
行うためのフィルタリング処理を行う。フィルタは図9
に示すように、空間方向に1次元または2次元のローパ
ス特性をもつものや、さらに時間的にフィルタ係数値が
変化する3次元のものが適用でき、フィルタ制御信号2
3に従ってそのフィルタ強度を変化させるものである。
ス特性を持つフィルタを説明する図であり、図9(a)
は1次元方向において、ローパス特性を持つフィルタを
示している。図9(b)は、2次元方向にローパス特性
を持つフィルタを示している。図9(c)1次元、2次
元及び時刻t1、t2、t3という時刻の異なるフレー
ムの処理単位により、3次元方向のローパス特性を持つ
フィルタを示している。図9において、黒丸は注目画素
であり、この注目画素に対して、1次元、2次元、又
は、3次元方向の画素を用いてフィルタリング処理を行
なうことが可能である。
理は、8×8画素という処理単位の内部に閉じた画素の
みで行なうことも可能であるが、8×8画素という処理
単位を越えた画素を用いてフィルタリング処理を行なっ
ても構わない。図10において、F1は注目画素に対し
て、8×8画素という処理単位をまたがって、隣接する
処理単位の画素を用いてフィルタリング処理を行なう場
合を示している。同様に、F2も隣接する8×8画素の
処理単位内にある画素を用いて注目画素のフィルタリン
グ処理を行なう場合を示している。
示す図であり、1次元方向のフィルタリング処理を説明
するための図である。ここで、画素S1からS5までの
内、S3を注目画素とする。又、K1からK5は係数で
あり、図11(b)に示すようにK1からK5までの和
は1.0であるものとする。
して、それぞれK1からK5の係数を掛け合わせその和
を取ることによって計算される。もし、フィルタに用い
る係数の値が図11(c)に示すような値を用いれば、
注目画素S3は周囲にあるS1、S2、S4、S5の輝
度により影響を受け、平均化されることになる。それに
対して係数図11(d)に示すようにK3=1.0でそ
の他の係数が0の場合には、注目画素S3は他の画素に
は全く影響せず、そのまま出力されることになり、フィ
ルタ処理はOFFされていることになる。
により、フィルタの強度が変化する状態を示す図であ
り、予測信号24がフィルタ処理により変化する場合を
示している。フィルタ制御信号23に従って、フィルタ
の係数が変化し、その結果フィルタ強度が変化し、図1
2に示すように予測信号24の高周波成分のカットが多
段階に制御可能となる。即ち、入力信号が変化の激しい
高周波成分を多く含む場合には、フィルタ係数値が変化
して図12において予測信号24は矢印Aの方向に変化
する。又、入力信号が低周波成分を多く含むような信号
の場合には、図12の矢印Bに示すようにフィルタを挿
入せず、解像度を保持した予測信号を出力するようにな
る。
算器3により入力画像信号12より減算され予測誤差信
号15が生成される。符号化部4は予測誤差信号15を
量子化して符号化された誤差情報16を発生する。局部
復号化部5は符号化された誤差情報16を復号し、局部
復号誤差信号17を出力する。加算器6は予測信号24
と局部復号誤差信号17を加算して局部復号信号18を
発生した後、フレームメモリ1に書き込まれる。
クトル検出部2を設けた構成としたが、装置簡素化によ
り例えば、図13に示すように、常に動き量が零とし
て、図1に示した動きベクトル検出部2を設けないとき
にも同様の処理が可能である。
ィルタ部22をフレームメモリ1の後段に配置したが、
図14に示すように適応フィルタ22を加算器6の後段
に配置するときにも同様の処理が可能である。
に、動き量が0として動きベクトル検出部2を設けず、
適応フィルタ22を加算器6の後段に配置する場合でも
構わない。
16を用いて説明する。フィルタ制御部21において求
められた差異情報32は画素数(8×8=64画素)で
徐され、画素当たりの差異情報25として符号化部4に
送られる。
御部21の構成を示す図であり、33は一画素当りの差
異情報25を演算するための画素当り差情報演算部であ
る。差情報演算部30においては、前述したように入力
画像信号12と動き補償予測信号14との差分絶対値、
又は、差分自乗をとり、これを8×8画素という処理単
位にある複数画素分(64画素分)累算して差異情報3
2として出力する。
報32を8×8画素、即ち、64画素で除算するという
ことは、差異情報32の一画素当りの平均値を求めてい
ることになる。符号化部4では画素当たりの差異情報2
5に基づきそれよりも小さな符号化誤差で量子化される
よう量子化ステップサイズを決定する。
ップサイズの決定動作について説明するための図であ
る。図18に示すように第1画素から第8画素について
は、画素当りの差異情報25がD1の値であり、第9画
素から第16画素についての画素当りの差異情報25は
D2の値であり、第17画素から第24画素についての
画素当りの差異情報25はD3の値である場合を示して
いる。そして、画素当りの差異情報D1、D2、D3は
図18(b)に示すように、 D1>D2>D3 という関係を持って、フィルタ制御部21から出力され
たものとする。
情報25を入力すると、第1画素から第8画素に対して
は量子化ステップサイズが画素当りの差異情報D1より
も小さな符号化誤差で量子化されるような、ステップサ
イズSS1を選択する。同様に第9画素から第16画素
についても画素当りの差異情報D2に基づき、それより
も小さな符号化誤差で量子化されるステップサイズSS
2を選択する。第17画素から第24画素に対しても、
画素当りの差異情報D3よりも小さな符号化誤差で量子
化されるような量子化ステップサイズSS3を選択す
る。従って、量子化ステップサイズは図18(d)に示
すように、 SS1>SS2>SS3 という関係を持って符号化部4により選択され、入力信
号を量子化することになる。
補償予測信号14との差が大きい場合には量子化ステッ
プサイズも大きくなり、入力画像信号12と動き補償予
測信号14との差が小さい場合には量子化ステップサイ
ズも小さくなる。従って、符号化誤差の少ない復号化画
像が生成される。
プサイズの決定は、一画素当りの差異情報25(制御信
号ともいう)のみよって決定されるのではない。例え
ば、符号化部4から出力された符号化された信号を一時
保存して出力するための出力バッファのサイズ等により
符号化量が制限されている場合には、その制限内で量子
化ステップサイズを選択する。
ルタ制御部21が適応フィルタ22への制御信号23
と、符号化部4への制御信号25を出力する場合を示し
たが、この2つの制御信号23及び25を出力する必要
が無く、図19に示したように制御部21aは、符号化
部4への制御信号25のみを出力する場合でも構わな
い。図20(a)は、この実施例における制御部21の
構成を示す図であり、図17と異なる点は、判定部31
が存在しない点である。図20(a)において、差情報
演算部30と画素当り差情報演算部33の動作は、実施
例5で説明したものと同様であり、ここではその説明を
省略する。
制御部21aの他の構成を示す図であり、判定部31a
から信号アクティビティを制御信号25として出力する
点を特徴としている。判定部31aは入力信号12を入
力し、その信号アクティビティを計算する。信号アクテ
ィビティは、図4あるいは図5に示したような方法で計
算する。前述したように、信号アクティビティは、画像
信号の絶対的な強度を示すものではなく、相対的な値を
示すものである。即ち、低周波成分を多く含むような滑
らかに変化する信号の場合には信号アクティビティの値
Xは小さくなり、変化の激しい高周波成分を多く含む場
合には信号アクティビティの値Xは大きくなる。従っ
て、この信号アクティビティを制御信号25として入力
して、符号化部4の量子化ステップサイズを動的に変更
することにより、適切な符号化が行なえる。
た入力信号12の変わりに、フレームメモリからの動き
補償予測信号14を入力するようにしたものである。そ
の他の動作は図20(b)と同様である。
メモリ1は画像フレームを単位として記憶する場合を示
したが、フレームメモリ1は画像フレーム単位ではなく
フィールド単位に記憶する場合でもよい。図21は、こ
のフレームとフィールドの関係を示す図である。図21
(a)に示すように1つのフレームは、第1フィールド
と第2フィールドからなっており、この第1フィールド
の信号と第2フィールドの信号を図21(b)に示すよ
うにインターレースモードで表示することにより、1つ
の画像フレームを構成する。
はフレームを単位としてフィルタリング処理を実行する
場合について説明したが、フィールド単位で処理する場
合でも構わない。
憶する場合にも同様の処理が可能である。複数の枚数を
持つ場合には、過去のフレーム又はフィールドを持つ場
合ばかりでなく、既に撮影されているビデオ等のよう
に、現在のフレームやフィールドより後に出力されるで
あろう次のフレームやフィールドを記憶する場合であっ
ても構わない。
部31では入力画像信号12の信号アクティビティを求
めて、差異情報32の正規化を行ったが、動き補償予測
信号14の信号アクティビティを求めて、差異情報32
を正規化しても同様の処理が可能である。
22を用いて説明する。図22において、41は符号化
制御部、42は符号化制御信号である。他は図1と同じ
である。ただし、図22には図1にある適応フィルタ2
2、フィルタ制御部21および動きベクトル検出部2は
ない。
る。フレームメモリ1に蓄積されている1フレーム前の
画像信号11を予測信号とする。減算器3は入力画像信
号12から画像信号11を減算して予測誤差信号15を
発生する。符号化制御部41では、入力画像信号12お
よび予測誤差信号15のアクティビティに基づいて、符
号化制御信号42および選択信号150を符号化部4へ
出力する。符号化部4は選択信号150を量子化して符
号化された誤差情報16を発生する。局部復号化部5は
符号化された誤差情報16を復号し、局部復号誤差信号
17を出力する。加算器6で画像信号11と局部復号誤
差信号17を加算して局部復号信号18を発生した後、
フレームメモリ1に書き込む。このようにして発生した
符号化された誤差信号16は伝送路を経て送出される。
もとに説明する。図において、45はアクティビティ算
出部、46はアクティビティ比較選択部、12aは入力
画像信号12から求められたアクティビティ、15aは
予測誤差信号15から求められたアクティビティ、42
は符号化部を制御するための符号化制御信号、150は
選択信号である。符号化制御部41では、アクティビテ
ィ算出部45で入力画像信号12および予測誤差信号1
5のアクティビティをそれぞれ求め、アクティビティ比
較選択部46へ出力する。
例1で述べたような信号の最大値と最小値の差あるいは
信号平均値からの差分絶対値和や差分自乗和などを意味
している。このアクティビティは画像信号の個々の絶対
的な強度ではなく、複数画素全体として滑らかに変化す
るすなわち低周波成分を多く含むような信号の場合には
信号アクティビティの値は小さくなり、変化の激しい高
周波成分を多く含む場合には信号アクティビティの値は
大きくなる。
したアクティビティの比較を行い所定の条件に合致した
モードを選択する。ここで所定の条件として以下のよう
なものがあげられる。 (1)符号化効率に最も重点を起き、符号化効率が最も
向上するモードを選択す る。(2)画質がよくなることに重点を起き、画質が向
上するモードを選択する。 (3)符号化効率と画質に対してそれぞれ相当分の重要
性をおき、一方が他の重要性を増す場合にはその一方の
重要性がある方のモードを選択する。
率あるいは画質に対する重要度に合致したモードを選択
するという場合が考えられるが、それ以外にもシステム
あるいは装置によっていろいろな条件を付加することが
可能である。例えば、前述した符号化効率を最も向上さ
せるモードを選択する場合には、信号アクティビティが
小さいものを選択することになる。一方、画質を向上さ
せるモードを選択する場合には入力画像信号12を選択
することになる。また、符号化効率と画質の両方に基づ
いてモードを選択する場合には入力画像信号12及び予
測誤差信号15のアクティビティの比較の結果、一定の
関係を満たす場合にいずれかの信号を選択することにな
る。アクティビティ比較選択部46ではそのモードおよ
びアクティビティに基づいた量子化ステップサイズ等の
符号化パラメータを符号化制御信号42として出力し、
選択されたモードの信号を選択信号150として出力す
る。
作について図24をもとに説明する。図において、46
aは入力画像信号のアクティビティ12a及び/あるい
は予測誤差信号15のアクティビティ15aに対して重
み付けを行なう重み付け回路、46bは重み付け回路4
6aから出力される入力画像信号及び予測誤差信号のア
クティビティ12b及び15bを比較する比較器、46
cは入力画像信号12あるいは予測誤差信号15のいず
れかを選択して選択信号150として出力するとともに
量子化ステップサイズ及び符号化係数等を多重化して符
号化制御信号42を出力する制御信号発生器である。こ
の例では説明を簡単にするため、重み付け回路46aに
関しては説明しない(重み付け回路に関しては後述す
る)。従って、比較器46bには入力画像信号のアクテ
ィビティ12a及び予測誤差信号のアクティビティ15
aが入力される。比較器は二つのアクティビティを比較
した結果をモード信号46mとして制御信号発生器に出
力する。モード信号46mは入力画像信号12及び予測
誤差信号15のいずれかを選択するためのスイッチ切替
に用いられる。また、モード信号46mは制御信号発生
器内において量子化ステップサイズ及びDCT(ディス
クリートコサイントランスフォーム)係数等の符号化パ
ラメータと共に符号化制御信号の一部として多重化され
符号化部4に出力される。符号化部4は符号化制御信号
42に多重化された信号を解析する。例えば、モード信
号により入力画像信号12か予測誤差信号15のどちら
が選択信号として出力されているかを知ることができ
る。入力画像信号12が選択信号150として出力され
ている場合には、フレーム内符号化を行なう。また、予
測誤差信号15が選択信号150として出力されている
場合には、フレーム間符号化を行なう。これらの符号化
処理は量子化ステップサイズ、あるいはDCT係数等に
よって制御される。
ルタ制御部、適応フィルタ部、動きベクトル検出部をさ
らに組み込んだ場合の一実施例を図25を用いて説明す
る。図25において、2は動きベクトル検出部、13は
動きベクトル、14は動き補償予測信号、21はフィル
タ制御部、22は適応フィルタ部、23はフィルタ制御
信号、24は予測信号、他は図22と同じである。動き
ベクトル検出部2、フィルタ制御部21、適応フィルタ
部22の各部の動作は実施例1において説明したものと
同様なのでここではその説明を省略する。
モリ1に蓄積されている1フレーム前の画像信号11を
予測信号として、この予測信号を減算することにより予
測誤差信号15を発生していたのに対し、この実施例1
0においてはフィルタ制御部21からのフィルタ処理が
施された予測信号24から予測誤差信号15を求めてい
る点が異なる点である。すなわち、この実施例はあらか
じめフィルタ制御部21からフィルタ処理制御を施され
た予測誤差信号15のアクティビティとフレーム内信号
12のアクティビティとを比較し、所定の条件に基づい
て符号化制御信号42を導出する例を示している。
いて入力信号と画像メモリからの信号の差異情報を入力
信号または画像メモリからの信号のアクティビティによ
り正規化し、正規化結果の大小により高域成分をカット
するフィルタ強度を変化させることにより、常に符号化
すべき信号に高周波成分が残存せず、また符号化制御部
においてはフィルタ強度に応じてフィルタ処理を施した
予測誤差信号および入力画像信号のアクティビティの中
から最小のアクティビティを持つモードの信号に基づい
て符号化制御信号を導出することにより、符号化効率が
向上する。
は、アクティビティ比較選択部46において入力したア
クティビティの比較を行い条件に合致したモードを選択
し、そのモードおよびアクティビティに基づいた量子化
ステップサイズ等の符号化パラメータを符号化制御信号
42として出力していたが、アクティビティ比較選択部
46で入力したアクティビティのうち最小のアクティビ
ティを出力したモードを選択し、そのモードおよびアク
ティビティに基づいた量子化ステップサイズ等の符号化
パラメータを符号化制御信号42として出力してもよ
い。このように、アクティビティが最小のものを選択す
ることにより、符号化部における符号化効率が最も向上
することになる。
は、アクティビティ比較選択部46で入力したアクティ
ビティの比較を行う際に、少なくとも何れか一方のアク
ティビティに重み付けを行ってもよい。前述した図24
に示す重み付け回路46aは、この実施例におけるアク
ティビティに重み付けを行う回路である。図26は重み
付け回路46aの動作を説明するための図である。図2
6(a)は重み付け回路46aが入力画像信号12及び
予測誤差信号15のアクティビティ12a、15aのい
ずれの信号にいずれのアクティビティに対しても重み付
けを行わない場合を示している。また、図26(b)は
重み付け回路46aが入力画像信号12のアクティビテ
ィ12aに対しては重み付けを行わず、予測誤差信号1
5のアクティビティ15aに対しては、図26(a)に
示した値に対して2倍の重み付けをした場合を示してい
る。
力したアクティビティの内最小のアクティビティを出力
したモードを選択する場合、図26(a)に示す場合
は、入力画像信号12のアクティビティ12aが予測誤
差信号15のアクティビティ15aに比べていずれの時
刻においてもアクティビティの値が大きいためアクティ
ビティ比較選択部46は予測誤差信号15を選択信号1
50として出力する。
信号15のアクティビティ15aが2倍の重み付けをさ
れているため時刻t1からt2の間は入力画像信号12
のアクティビティ12aより大きな値を示している。従
って、アクティビティ比較選択部46は時刻t0からt
1の間は予測誤差信号15を選択信号150として選択
し、時刻t1からt2の間は入力画像信号12を選択信
号150として出力する。
ーの一実施例を示す。重み付け回路46aは入力画像信
号12と予測誤差信号15のアクティビティ12a、1
5aとを入力し、次に、あらかじめ設定されている重み
付け係数W1とW2を読み出す。その後、入力画像信号
12のアクティビティ12aにW1を乗じ、予測誤差信
号のアクティビティ15aにW2を乗じて重み付けを行
い、入力画像信号のアクティビティ12axW1を入力
画像信号のアクティビティ12aに重み付けを行ったア
クティビティ12bとして出力し、予測誤差信号のアク
ティビティ15axW2を予測誤差信号(入力信号とフ
レームメモリから読み出した予測信号との差分信号)の
アクティビティ15aに重み付けを行ったアクティビテ
ィ15bとして出力する。この例では、入力の双方に重
み付けを行ったが、何れか一方でもよい。また、本実施
例では、入力は入力画像信号のアクティビティ12aと
予測誤差信号のアクティビティ15aの2つであった
が、後述する実施例のように3入力でもよく、入力数を
限定するものではない(後述する実施例15を参照)。
図28に、前述した重み付け回路の具体的処理フローを
示す。この重み付け回路の動作は、入力画像信号のアク
ティビティ12aと予測誤差信号のアクティビティ15
aを入力し、入力画像信号のアクティビティ12aには
重み付けは行わずそのままアクティビティ12bとして
出力し、予測誤差信号のアクティビティ15aに対して
は2倍して重み付けを行いその結果をアクティビティ1
5bとして出力する。
ーの一実施例を示す。この比較器46bの動作は、入力
した2つの信号アクティビティの大きさを比較して符号
化モードを決めるものである。入力画像信号のアクティ
ビティ12aに重み付けを行ったアクティビティ12b
と予測誤差信号(入力信号とフレームメモリから読み出
した予測信号との差分信号)のアクティビティに重み付
けを行ったアクティビティ15bを入力し、アクティビ
ティ12bがアクティビティ15bより小さい場合はI
NTRA(フレーム内符号化)モードにし、大きい場合
はINTER(フレーム間符号化)モードにして、選択
されたモードをモード信号46mとして出力する。ま
た、本実施例では、入力はアクティビティ12bとアク
ティビティ15bの2つであったが、後述する実施例の
ように3入力でもよく、入力数を限定するものではない
(後述する実施例15を参照)。
ローの一実施例を示す。この制御信号発生器46cの動
作は、入力したモード信号46mにより選択されたモー
ドに応じて選択信号150、制御信号42を出力するも
のである。制御信号発生器46cは、入力画像信号1
2、予測誤差信号15、および重み付けを行ったアクテ
ィビティ12bとアクティビティ15b、モード信号4
6mを入力する。制御信号発生器46cは、モード信号
46mをチェックし、INTER(フレーム間符号化)
モードなら予測誤差信号15を選択信号150として出
力する。制御信号発生器46cは、アクティビティ15
bの大きさに応じて、図31(a)に示すメモリテーブ
ルより量子化ステップサイズ(QUANT)およびDC
T出力係数を読み出す。また、制御信号発生器46c
は、モード信号46mをチェックし、INTRA(フレ
ーム内符号化)モードなら入力画像信号12を選択信号
150として出力する。制御信号発生器46cは、アク
ティビティ12bの大きさに応じて、図31(b)に示
すメモリテーブルより量子化ステップサイズ(QUAN
T)およびDCT出力係数を読み出す。読み出した量子
化ステップサイズおよびDCT出力係数とモード信号4
6mを多重して制御信号42として出力する。また、本
実施例では、入力は重み付けを行った後のアクティビテ
イ12bと15bであったが、重み付けを行う前の信号
入力画像信号のアクティビティ12aと予測誤差信号の
アクティビティ15aを入力としてもよい。ただし、こ
の場合、メモリテーブルの内容あるいは閾値を変更する
必要がある。また、図31に示した閾値の数はQUAN
TおよびDCT出力係数の割当てに応じて多くても少な
くてもよい。また、割当てるQUANTおよびDCT出
力係数の値に関しては、画質優先あるいは符号化効率優
先等の目的に応じて変えてもよい。
信号150として出力すべき信号を意図的に選択するこ
とが可能になる。すなわち、重み付けを行うことの利点
は、符号化処理装置の要求や処理する画像に応じて、入
力した信号の発生確率(入力した信号が選択信号として
出力される確率)を制御できることである。
符号化制御部41で入力画像信号12および予測誤差信
号15のアクティビティから符号化制御信号42を求め
たが、適応フィルタ22でフィルタ処理を施した予測誤
差信号15のアクティビティとフィルタ処理を行わなか
った場合の予測誤差信号15のアクティビティとを比較
し、何れか最も小さいアクティビティを持つ信号のアク
ティビティに基づいて符号化制御信号42を導出しても
よい。
る。図において、24aは適応フィルタ22でフィルタ
処理を施した予測信号である。24bは適応フィルタ2
2によりフィルタ処理を行わなかった予測信号である。
これらの予測信号24a及び24bは減算器3a及び3
bにそれぞれ入力され、入力画像信号12との差分がと
られ予測誤差信号15x及び15yが出力される。この
予測誤差信号15xと15yは符号化制御部41に入力
され、前述したような動作により符号化制御信号42が
求められる。
符号化制御部41で適応フィルタ22でフィルタ処理を
施した予測誤差信号15のアクティビティとフィルタ処
理を行わなかった場合の予測誤差信号15のアクティビ
ティに基づいて符号化制御信号42を導出したが、導出
の際適応フィルタ22でフィルタ処理を施した予測誤差
信号15のアクティビティとフィルタ処理を行わなかっ
た場合の予測誤差信号15のアクティビティの少なくと
も何れか一方のアクティビティに重み付けを行ってもよ
い。
符号化制御部41で適応フィルタ22でフィルタ処理を
施した予測誤差信号15のアクティビティとフィルタ処
理を行わなかった場合の予測誤差信号15のアクティビ
ティに基づいて符号化制御信号42を導出したが、適応
フィルタ22でフィルタ処理を施した予測誤差信号15
のアクティビティとフィルタ処理を行わなかった場合の
予測誤差信号15のアクティビティとフレーム内予測に
よる入力画像信号12のアクティビティとの3者を比較
し、何れか最も小さいアクティビティを持つ信号のアク
ティビティに基づいて符号化制御信号42を導出しても
よい。
る。図33において図32と異なる点は入力画像信号1
2が符号化制御部41に入力されている点である。符号
化制御部41はフィルタ処理された予測誤差信号15x
とフィルタ処理がされていない予測誤差信号15yと入
力画像信号12の3つの信号を入力し、例えば、最も小
さいアクティビティを持つ信号を選択することにより符
号化制御信号42を導出する。
部41の構成を示す図である。前述した符号化制御部4
1と異なる点はフィルタ処理された予測誤差信号15x
とフィルタ処理がされていない予測誤差信号15yと入
力画像信号12の3つの信号を入力している点である。
アクティビティ算出部45は入力した3つの信号のアク
ティビティを計算してアクティビティ比較選択部46に
出力する。図35はアクティビティ比較選択部46の構
成を示す図である。アクティビティ比較選択部はアクテ
ィビティ算出部45で算出された3つの信号のアクティ
ビティ12a、15a、15cを重み付け回路46aに
入力する。重み付け回路46aはあらかじめ重み付け係
数としてW1とW2とW3を記憶しているものとする。
重み付け回路はアクティビティ12aにW1を乗じ、ア
クティビティ15aにW2を乗じ、アクティビティ15
cにW3を乗じて重み付けを行い、重み付けを行ったア
クティビティ12b、15b、15dを比較器46bに
出力する。比較器46bは3つの重み付けを行った信号
を比較し、その大小関係からモード信号46mを生成す
る。制御信号発生器46cは入力画像信号12とフィル
タ処理された予測誤差信号15xとフィルタ処理がされ
ていない予測誤差信号15yを入力し、モード信号46
mに基づいていずれかの信号を選択し、選択信号150
を出力する。また、制御信号発生器46cは選択信号1
50として選ばれた信号が入力画像信号12である場合
では、入力画像信号12のアクティビティ12bの大き
さに応じて、あらかじめメモリテーブルに記憶された量
子化ステップサイズ及びDCT出力係数を読み出す。あ
るいは選択信号150として選択された信号がフィルタ
処理された予測誤差信号15xの場合にはフィルタ処理
された予測誤差信号15xのアクティビティ15bの大
きさに応じて、あらかじめメモリテーブルに記憶された
量子化ステップサイズおよびDCT出力係数を読み出
す。あるいは選択信号150として選択された信号がフ
ィルタ処理されていない予測誤差信号15yである場合
には、フィルタ処理されていない予測誤差信号15yの
アクティビティ15dの大きさに応じて、あらかじめメ
モリテーブルに記憶された量子化ステップサイズおよび
DCT出力係数を読み出す。これら読み出された量子化
ステップサイズ、DCT出力係数とモード信号46mは
多重化されて制御信号42として出力される。
符号化制御部41で適応フィルタ22でフィルタ処理を
施した予測誤差信号15のアクティビティとフィルタ処
理を行わなかった場合の予測誤差信号15のアクティビ
ティとフレーム内予測による入力画像信号12のアクテ
ィビティとを比較し、何れか最も小さいアクティビティ
を持つ信号のアクティビティに基づいて符号化制御信号
42を導出したが、導出の際適応フィルタ22でフィル
タ処理を施した予測誤差信号15のアクティビティとフ
ィルタ処理を行わなかった場合の予測誤差信号15のア
クティビティとフレーム内予測による入力画像信号12
のアクティビティの少なくとも何れか一つのアクティビ
ティに重み付けを行ってもよい。
符号化制御部41で適応フィルタ22でフィルタ処理を
施した予測誤差信号15のアクティビティとフィルタ処
理を行わなかった場合の予測誤差信号15のアクティビ
ティとフレーム内予測による入力画像信号12のアクテ
ィビティとを比較し、何れか最も小さいアクティビティ
を持つ信号のアクティビティに基づいて符号化制御信号
42を導出したが、予め前記フィルタ制御部からフィル
タ処理制御を施された予測誤差信号のアクティビティと
フレーム内予測による入力画像信号のアクティビティと
を比較し、何れか最も小さいアクティビティを持つ信号
のアクティビティに基づいて符号化制御信号42を導出
してもよい。
予め前記フィルタ制御部からフィルタ処理制御を施され
た予測誤差信号のアクティビティとフレーム内予測によ
る入力画像信号のアクティビティとを比較し、何れか最
も小さいアクティビティを持つ信号のアクティビティに
基づいて符号化制御信号42を導出したが、予め前記フ
ィルタ制御部からフィルタ処理制御を施された予測誤差
信号のアクティビティとフレーム内予測による入力画像
信号のアクティビティとの比較を行う際に少なくとも何
れか一つのアクティビティに重み付けを行ってもよい。
る。この図36で特徴となる点は、フィルタ制御部21
から出力されるフィルタ制御信号23が符号化制御部4
1に入力されている点である。このフィルタ制御信号2
3は符号化制御部41に入力されると、図24に示した
重み付け回路46aに入力される。重み付け回路46a
はこのフィルタ制御信号23を解析することにより、適
応フィルタ22がオンまたはオフされていることを判定
することができる。従って、例えば、適応フィルタ22
がオンされた予測信号24に基づく予測誤差信号15が
符号化制御部41に入力される場合には、重み付けを行
い、適応フィルタ22がオフされた予測信号24に基づ
く予測誤差信号15が符号化制御部41に入力される場
合には重み付けを行わないという制御を行なうことが可
能となる。なお、この重み付けの制御はオン、オフばか
りでなく、フィルタ制御信号23の値によりダイナミッ
クに重み付けの値を変更することも可能である。
フィルタ制御部21で入力信号12とフレームメモリ1
からの信号との差に相当する情報を入力画像信号12で
正規化してフィルタ制御信号23を決定していたが、正
規化せずに差に相当する情報そのものの大小に基づいて
フィルタ制御信号23を出力してもよい。
フィルタ制御部21で入力信号12とフレームメモリ1
からの信号との差に相当する情報を入力信号12で正規
化してフィルタ制御信号23を決定していたが、フィル
タ制御部21で入力信号12とフレームメモリ1からの
信号との差に相当する情報によりフィルタ制御信号23
を決定してもよい。
フィルタ制御部21で入力画像信号12とフレームメモ
リ1からの信号との差に相当する情報を入力画像信号1
2で正規化してフィルタ制御信号23を決定していた
が、差に相当する情報を画像メモリ1からの信号で正規
化した結果により適応フィルタ22へフィルタ制御信号
23を出力してもよい。
応フィルタ部22をフレームメモリ1の後段に配置した
が、図37に示すように適応フィルタ22を加算器6の
後段に配置してもよい。この場合フィルタ処理をした局
部画像信号またはフィルタ処理をしない局部画像信号を
フレームメモリ1に書き込み、減算器3で入力信号12
とフレームメモリ1より出力される予測信号24との減
算を行い予測誤差信号15を発生させて符号化制御を行
う。
像フレーム単位に限らずフィールド単位でもよく、また
複数枚数もつ場合にも同様の処理が可能である。
符号化制御部を統合して新たな符号化制御部として統括
的に制御を行ってもよい。図38はこの実施例の一例を
示す図である。この図で特徴となるのは符号化制御・フ
ィルタ制御部50が設けられている点である。この符号
化制御・フィルタ制御部は前述した実施例のフィルタ制
御部21と符号化制御部41を統合化したものである。
前述したようにフィルタ制御部21及び符号化制御部4
1はともに入力した信号のアクティビティを用いて動作
しているため、これらアクティビティを計算する部分を
共有化することにより小型の装置を得ることが可能にな
る。また、アクティビティの計算が一箇所で統括的に行
われるため、装置全体の制御が容易に行われるようにな
る。
ては、動きベクトル検出部2を設けた構成としたが、装
置簡素化により例えば常に動き量が零として動きベクト
ル検出部2を設けないときにも同様の処理が可能であ
る。
おいて、前述の符号化制御部41または符号化制御・フ
ィルタ制御部50に、符号化部4より出力される符号化
データに基づいたフィードバック制御を組み合せて符号
化制御を行ってもよい。図39は、実施例9に示した符
号化制御部41に対して、フィードバック制御を行う場
合を示す図である。図において、100は符号化部4よ
り出力される符号化データを記憶する送信バッファ、1
60は送信バッファ100から出力される送信信号、1
01は送信バッファ100からフィードバックされるフ
ィードバック信号である。符号化制御部41は、フィー
ドバック信号101により符号化制御信号42を制御す
る。例えば、フィードバック信号101が送信バッファ
のデータ占有率を示すものとすると、データ占有率が高
い時は符号化部4の符号化量が少なくなるように符号化
制御信号42を出力する。逆に、データ占有率が低い時
は符号化部4の符号化量が多くなるように符号化制御信
号42を出力する。
は、信号アクティビティとして、信号に基づく特徴とし
て、信号の最大値と最小値の差あるいは信号平均値から
の差分絶対値和あるいは差分自乗和を用いる場合を示し
たが、このアクティビティとは信号に基づいて求められ
た特徴の一例であり、前述したような信号に基づく特徴
として、信号の最大値と最小値の差あるいは信号平均値
からの差分絶対値和あるいは差分自乗和を用いる場合に
限らずその他の差分信号やあるいは分散を用いることに
より同様の効果を奏することが可能である。
は、8×8画素の画像データを処理単位とする場合につ
いて示したが、16×16画素あるいは32×32画素
あるいは8×16画素等のその他の処理単位を用いる場
合であっても構わない。
信号およびデータとして画像を扱っていたが、レーダや
音声等の信号やデータを扱ってもよく、本発明は画像デ
ータに限定されるものではない。
に構成されているので、以下に記載するような効果を奏
する。
ムメモリからの信号の差異情報を用いて、高域成分をカ
ットするフィルタ強度を変化させることにより、符号化
すべき信号に高周波成分が残存せず符号化効率が向上す
る。
め、動領域においても視覚的解像度を低下させることが
ない。又、静領域においても視覚的に知覚されにくい高
周波成分を除去することにより、視覚的に良好な符号化
画像を得ることができる。
含まれている場合においても、フィルタ処理により高域
周波数成分が除去され、符号化効率が向上する。
除去フィルタを用いることにより、常に符号化ループゲ
インが小さくなるような予測ができ、符号化効率が向上
する。
御することにより、常に符号化誤差の少ない復号化画像
が生成され、次フレーム以降に渡る予測が効率よく行え
る。
ように構成されているので、以下に記載するような効果
を奏する。
信号のアクティビティに基づいて符号化制御信号を導出
することにより、符号化効率を向上させることができ
る。
ティに対して重み付けを行うことにより、符号化処理装
置の要求や処理する画像に応じて、選択された信号の発
生確率を制御できる。
制御信号の導出を行うため、動領域においても視覚的解
像度を低下させることなく、静領域においても視覚的に
知覚されにくい高周波成分を除去することにより、視覚
的に良好な符号化画像を得ることができる。
れている場合においても、フィルタ処理で高域周波数成
分を除去し、符号化制御部において最小のアクティビテ
ィを持つ信号に基づいて符号化制御信号を導出すること
により、符号化効率が向上する。
のアクティビティの中から最小のアクティビティを持つ
モードの信号に基づいて符号化制御信号を導出すること
により、常に符号化ループゲインが小さくなるような予
測ができ、符号化効率が向上する。
方式のブロック図である。
のブロック図である。
方法を示す図である。
ティを説明するための図である。
ティを説明するための図である。
off判定フロー図である。
off判定フロー図である。
off判定フロー図である。
元、3次元のフィルタ処理を説明するための図である。
たがったフィルタリング処理を説明するための図であ
る。
の動作を説明するための図である。
の出力例を説明するための図である。
号化処理方式のブロック図である。
号化処理方式のブロック図である。
号化処理方式のブロック図である。
号化処理方式のブロック図である。
部のブロック図である。
作を説明するための図である。
号化処理方式のブロック図である。
ック図である。
ィールドの関係を説明するための図である。
号化処理方式のブロック図である。
のブロック図である。
ィ比較選択部のブロック図である。
符号化処理方式のブロック図である。
路の動作を説明するための図である。
フロー図である。
路の処理フロー図である。
図である。
の処理フロー図である。
のメモリテーブルを示す図である。
符号化処理方式のブロック図である。
符号化処理方式のブロック図である。
部のブロック図である。
ティ比較選択部のブロック図である。
符号化処理方式のブロック図である。
符号化処理方式のブロック図である。
符号化処理方式のブロック図である。
符号化処理方式のブロック図である。
ック図である。
てフィルタをON/OFFさせた場合の動作を説明する
ための図である。
ルタの動作を説明するための図である。
ルタの動作を説明するための図である。
算器、4 符号化部、5 局部復号化部、6 加算器、
7 フィルタ、8 フィルタ制御部、11 1フレーム
前の画像信号、12 入力信号、13 動きベクトル、
14 動き補償予測信号、15 予測誤差信号、16
符号化された誤差信号、17 局部復号誤差信号、18
局部復号信号、19 平滑化された局部復号信号、2
0 制御信号、21 フィルタ制御部、22 適応フィ
ルタ部、23 フィルタ制御信号、24 予測信号、2
5 画素当たりの差異情報、30 差情報演算部、31
判定部、32 差異情報、33 画素当たり差情報演算
部、41 符号化制御部、42 符号化制御信号、45
アクティビティ算出部、46 アクティビティ比較選
択部、150 選択信号。
Claims (3)
- 【請求項1】 入力信号のフレーム間符号化を行なう符
号化部と、符号化された信号を復号する復号部と、復号
された1又は複数個のフレーム又はフィールドに相当す
る信号を記憶するフレームメモリとを備えた復号化ルー
プを設けて、入力信号のフレーム間の符号化を行うフレ
ーム間符号化処理装置において、入力信号と前記フレー
ムメモリからの信号を入力として、前記入力信号と前記
フレームメモリからの信号との差分値を、前記符号化部
へ出力する制御部を設け、前記符号化部は、入力信号の
フレーム間の符号化をする場合に、前記入力信号と前記
フレームメモリからの予測信号との間の画素当りの差異
情報に基づいてその画素当りの差異情報よりも小さな符
号化誤差で量子化されるような量子化ステップを決定
し、決定した量子化ステップを用いて符号化を行うこと
を特徴とするフレーム間符号化処理装置。 - 【請求項2】 前記復号化ループは、さらに、フィルタ
を有し、上記制御部は、さらに、前記入力信号と前記フ
レームメモリからの信号との差に相当する情報により前
記フィルタへの制御信号を出力することを特徴とする特
許請求の範囲第1項記載のフレーム間符号化処理装置。 - 【請求項3】 入力信号と、フレームメモリに記憶され
た予測信号とを用いて、入力信号のフレーム間の符号化
を行うフレーム間符号化処理方法において、前記入力信
号と前記フレームメモリからの予測信号との間の画素当
りの差異情報に基づいてその画素当りの差異情報よりも
小さな符号化誤差で量子化されるような量子化ステップ
を決定し、決定した量子化ステップを用いて符号化を行
うことを特徴とするフレーム間符号化処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001003482A JP3364483B2 (ja) | 1992-12-25 | 2001-01-11 | フレーム間符号化処理装置及びフレーム間符号化処理方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34655292 | 1992-12-25 | ||
JP4-346552 | 1992-12-25 | ||
JP5-36371 | 1993-02-25 | ||
JP3637193 | 1993-02-25 | ||
JP2001003482A JP3364483B2 (ja) | 1992-12-25 | 2001-01-11 | フレーム間符号化処理装置及びフレーム間符号化処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20784293A Division JP3165296B2 (ja) | 1992-12-12 | 1993-08-23 | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002261438A Division JP2003116137A (ja) | 1992-12-25 | 2002-09-06 | フレーム間符号化処理装置及びフレーム間符号化処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001186526A JP2001186526A (ja) | 2001-07-06 |
JP3364483B2 true JP3364483B2 (ja) | 2003-01-08 |
Family
ID=27289071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001003482A Expired - Lifetime JP3364483B2 (ja) | 1992-12-25 | 2001-01-11 | フレーム間符号化処理装置及びフレーム間符号化処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3364483B2 (ja) |
-
2001
- 2001-01-11 JP JP2001003482A patent/JP3364483B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001186526A (ja) | 2001-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3165296B2 (ja) | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 | |
US6104434A (en) | Video coding apparatus and decoding apparatus | |
US20070140574A1 (en) | Decoding apparatus and decoding method | |
US6512792B1 (en) | Moving image encoding apparatus with a quantization step size different from the dequantization step size | |
US5204740A (en) | Image signal decoding apparatus | |
KR20020041764A (ko) | 노이즈 감소 방법 | |
JP3364483B2 (ja) | フレーム間符号化処理装置及びフレーム間符号化処理方法 | |
JP3360191B2 (ja) | 画像符号化装置及び画像符号化方法 | |
JP3364484B2 (ja) | 符号化制御方式 | |
JP3640651B2 (ja) | 符号化制御装置 | |
US7408985B2 (en) | Moving picture coding apparatus and method | |
JP2003116137A (ja) | フレーム間符号化処理装置及びフレーム間符号化処理方法 | |
JP2897082B2 (ja) | 動き補償可変長符号化方式 | |
JPH0681308B2 (ja) | フレ−ム間符号化における量子化雑音抑圧方式 | |
KR100282141B1 (ko) | 영상 부호화기의 시공간 전치 필터 | |
JPH08130664A (ja) | 画像符号化装置の雑音抑圧方式 | |
KR0178711B1 (ko) | 적응적 후처리를 이용한 부호화 및 복호화시스템 | |
JPH07255057A (ja) | 動画像ブロック判定回路 | |
JPH11196417A (ja) | 画像符号化装置及び画像処理システム | |
JP2000023165A (ja) | 動画像符号化装置及び方法 | |
JPH11225342A (ja) | データ符号化装置及びデータ符号化方法 | |
JPH0787485A (ja) | 動画像信号の符号化方式とその装置 | |
JP2000197011A (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラムを記憶した記憶媒体 | |
JPH09163374A (ja) | 雑音低減装置 | |
JPH10327408A (ja) | 画像符号化装置及び方法並びに画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021008 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071025 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081025 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091025 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091025 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101025 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111025 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121025 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131025 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term |