JP2845451B2 - 動画像信号の前処理方法とその装置およびそれを用いた符号化装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本願発明は、動画像信号の前処理方法とその装置およ
びそれを用いた符号化装置に関する。

（従来の技術） 従来の動画像の符号化においては、入力画像信号に含
まれる雑音により符号化能率が低下することを防止する
ため、入力の動画像信号に対してノイズリデューサーに
より雑音を除去してから符号化を行なっていた。

（発明が解決しようとする問題点） 従来の動画像信号の符号化においては、急激な動きや
大きな動きで過大な情報が発生した場合には、低ビット
レートの符号化においては、符号化が停止されることが
しばしばおこり、符号化画像に不連続が生じて非常に見
苦しかった。このような場合には、ノイズリデューサー
は無力であった。本発明は、急激な動きなどによる過大
な情報量の発生を抑圧し、上述の問題を解決することの
できる動画像信号の前処理技術を提供することを目的と
する。

（問題を解決するための手段） 本願の第１の発明によれば、複数の特性を有する時間
軸フィルターを用いた動画像信号の前処理方法であっ
て、前記時間軸フィルターは、入力の大小にかかわらず
出力の増幅度が１となる特性および増幅度を１以下とし
て通過帯域を狭くした複数の通過特性を有し、動画像信
号のフレーム差分の絶対値を１フレーム時間累積し、こ
の値が大となるに従って段階をおって前記時間軸フィル
ターの特性の増幅度がゼロに近くなる通過特性を選択
し、前記動画像信号の通過帯域を狭くすることを特徴と
する動画像信号の前処理方法が得られる。

また本願の第２の発明によれば、入力動画像信号が供
給されるフレームメモリーと、前記入力動画像信号と前
記フレームメモリー出力とが供給され通過特性指示信号
を出力する制御部と、複数の特性を有する時間軸フィル
ターによって、前記フレームメモリー出力に前記通過特
性指示信号に応じた通過特性を与える前処理信号出力手
段とを備えた動画像信号の前処理装置であって、前記時
間軸フィルターは、入力の大小にかかわらず出力の増幅
度が１となる特性および増幅度を１以下として通過帯域
を狭くした複数の通過特性を有し、前記制御部は、前記
入力動画像信号と前記フレームメモリー出力との差信号
の絶対値を１フレーム時間累算する手段と、この累算す
る手段の出力の値が大になるに従って前記前処理信号出
力手段の通過特性を段階をおって狭くする通過特性を指
定する通過特性指示信号を出力する手段とから構成され
る動画像信号の前処理装置が得られる。

また本願の第３の発明によれば、第２の発明に記載の
動画像信号前処理装置において、前記制御部は、入力動
画像信号と前記フレームメモリー出力から複数画素から
なるブロック単位で、ブロック内の画素毎の差分の絶対
値の累積値から現ブロックが動きブロックであるか否か
を判定し、動きブロックに数を計数し動き部分の面積を
求める手段と、この面積を示す値が大になるに従って前
記前処理信号出力手段の通過特性を段階をおって狭くな
る通過特性を指定する通過特性指示信号を出力する手
段、とから構成される動画像信号の前処理装置が得られ
る。

また本願の第４の発明によれば、第３の発明に記載の
動画像信号前処理装置において、前記制御部は、前記入
力動画像信号と前記フレームメモリー出力との差分信号
の絶対値を所定区間毎に累積する手段と、前記入力動画
像信号と前記フレームメモリー出力とから複数画素から
なるブロック単位で、ブロック内の画素毎の差分の絶対
値の累積値から現ブロックが動きブロックであるか否か
を判定し、動きブロックの数を計数し動き部分の面積を
求める手段と、前記累積値と前記動き部分の面積に従っ
て前記通過特性指示信号を発生する手段、とから構成さ
れる動画像信号の前処理装置が得られる。

また本願の第５の発明によれば、入力の大小にかかわ
らず出力の増幅度が１となる特性および増幅度を１以下
として通過帯域を狭くした複数の通過特性を有し通過特
性指示信号により指定された通過特性を入力信号に作用
させる時間軸前処理フィルターと、少なくともフレーム
間予測を用い前記時間軸前処理フィルター出力と予測信
号とから予測誤差信号を発生する予測手段と、前記予測
誤差信号を量子化する量子化手段と、前記量子化手段の
出力と予測信号から局部復号信号を得る局部復号手段
と、前記局部復号手段の出力を１フレーム遅延させ、予
測信号を得るフレームメモリーと、少なくとも前記予測
誤差信号が供給され、前記予測誤差信号の絶対値を１フ
レーム時間累積し、この値が大となるにしたがって前記
時間軸前処理フィルターの複数のフィルター特性の中
で、段階をおって通過特性を狭くする特性を指定する前
記通過特性指示信号を出力する手段とから構成される動
画像信号の符号化装置が得られる。

（作用） 従来の低ビットレートの動画像の符号化においては、
入力の動画像信号の動きが激しくなったときには、一時
的に符号化を停止し過大な情報の発生を抑え、符号化の
速度と伝送路の速度の整合をとっていた。しかしながら
このような方法では、符号化が停止されたときに符号化
画像に不連続が生じ、動きが不自然になり非常に目障り
であった。本願発明によれば、低ビットレートの動画像
符号化を行なうにあたり、符号化を実行しようとする動
画像信号に対して前処理を行ない、動画像の急激な動き
にともなう過大な情報の発生を抑え、符号化の停止によ
る符号化画像の不連続をなくそうとするものである。本
願発明の前処理方法としては、時間方向のフィルターに
よるもので、動画像の動きの大きさあるいは、発生情報
量に応じてフィルターの通過特性を切替て、時間的に見
て情報の発生が平滑化されるように制御する。本願発明
の前処理は、第１図に示すようにフレームメモリー１、
制御回路２、前処理フィルター100によって構成され
る。この前処理フィルターの特性を切替えるための具体
的な手法としては、種々のものがあるが、例えば フレーム差分値によりフィルターの特性を切替える場
合は、前画面の画像信号と現画面の画像信号とのフレー
ム間差分の絶対値和を求め、その値を予め定めた閾値と
比較することによってフィルターの特性を切替える。

画面内の動きの面積の割合によってフィルターの特性
を切替える場合は、まず画面内の動き領域の判定を行な
う。動き領域の判定の方法については既にいくつか知ら
れている。例えば特願昭59−194110号明細書「動画像信
号の動静分離装置」にあるように、画面をある大きさの
ブロックに分割し、ブロック内の各画素のフレーム差分
値をブロック内で加算し、この加算結果と定められた閾
値との大小比較により、該ブロック判定を行なう方法が
ある。あるいは、グラジェント法と呼ばれる方法を用い
て、フレーム内の輝度勾配とフレーム差分値から画素単
位の動ベクトルを求め、この動ベクトルがゼロでない画
素の集合をもって動き領域とすることができる。本願発
明においては、動静分離の方法はいずれの方法でもかま
わない。画面内の動きブロックの数に対してどのフィル
ター特性を選択するかを、予め統計的に調べて定めてお
く。そして動静分離によって得られた動ブロックの数
と、予め定められた値との比較によりフィルターの特性
を切替える。さらに、フレーム差分値と動き面積の両者
を用いることができる。例えば、動き面積が大きくても
平坦な画像であればフレーム間差分はあまり発生しな
い。また、動き面積はあまり大きくなく、入力画像信号
に細かな雑音が多量に含まれている場合には、フレーム
間差分信号がかなり発生するが、細かな雑音などは符号
化の際にノイズリデューサーにより除去されるので符号
化情報量はそれほど大きくなることはない。このような
場合にフレーム差分値と動き面積の両者を用いて判定を
行なえば、さらに適確なフィルター特性の選択を行なう
ことができる。この場合も前記と同様に、フレーム差分
の絶対値和の値と動き面積の割合を、予め定められた値
との比較によりフィルターの特性を切替える。

つぎに前処理フィルターについて説明する。前処理フ
ィルターとしては、例えば第２図に示すような時間軸フ
ィルターを用いることができる。入力の動画像信号は、
減算器３で１フレーム前の動画像信号との減算が行なわ
れ、フレーム差分信号がROM（リードオンリーメモリ
ー）４に与えられる。ROMには、第３図に示すような特
性を予め複数種書込んでおき、切替信号によって切替え
る。第３図の特性の横軸は入力で、縦軸が出力である。
例えば動きが小さいフレームあるいは、フレーム差分信
号が少ないフレームの時は、特性（ａ）を選択し、動き
が中ぐらいあるいは、フレーム差分信号が中ぐらいのフ
レームの時は、特性（ｂ）を選択し、動きが大きいある
いは、フレーム差分信号が多いフレームの時には、特性
（ｃ）を選択する。特性（ａ）は増幅度が１なので差分
信号がそのまま通過するが、特性（ｂ）は増幅度が１以
下である為、動きにともなって発生した大きな差分信号
が抑圧され、その結果として動画像信号の通過帯域が狭
められる。特性（ｃ）は特性（ｂ）よりも更に増幅度が
低いので過大な差分信号を強力に抑圧することができ、
特性（ｂ）の場合より通過帯域がさらに狭められる。ま
たこの他にも差分値が大きくなるほど増幅度を１より小
とした特性を複数個設け、動きが大となるほど非線形特
性の強い特性を使用することも可能である。

ROMの出力の抑圧された差分信号は、加算器５で１フ
レーム前の信号と加算され、過大な情報の発生を抑えた
動画像信号が得られる。またこの信号はフレームメモリ
ー６にも供給され、次のフレームのフィルタリングに用
いられる。この様に入力の動画像信号の状況に対応して
前処理フィルターの特性を切替えることにより、発生情
報量の平滑化をはかり瞬時の急激な情報の発生を抑え、
符号化停止による動きの不連続のを取除き視覚的に好ま
しい符号化画像を得ることができる。

（実施例） 第４図、第５図、第６図、第７図、第８図、を参照し
ながら本願発明の一実施例について詳細に説明する。ま
ず第４図を参照しながら説明する。入力の動画像信号
は、線10を介してフレームメモリー１と制御回路２に供
給される。フレームメモリー１は、線10を介して供給さ
れた動画像信号を１フレーム時間遅延し、線12を介して
制御回路２と減算器３に供給する。制御回路２は、線10
を介して供給された現フレームの動画像信号と、フレー
ムメモリー１から線12を介して供給された前フレームの
動画像信号を基に前処理フィルターの通過特性を選択す
る切替信号を生成する。

制御回路２は、フレーム差分値を基にしてフィルター
の特性を切替える場合には、第５図に示すような構成に
なる。線10を介して供給された現フレームの動画像信号
と、線12を介して供給された前フレームの動画像信号
は、制御回路２に含まれている減算器21に供給される。
減算器21は、前フレームの信号と現フレームの信号の減
算を行ないフレーム差分信号を得る。減算器21で得られ
たフレーム差分信号は、絶対値累積器22に供給される。
絶対値累積器22は、減算器21から供給されたフレーム差
分信号を、絶対値に変換し１フレームにわたって累積す
る。そして累積された値をROM23に供給する。また絶対
値累積器22は、同期分離器24から供給されるリセット信
号によってフレームの先頭でリセットされる。ROM23
は、予め統計的に調べたフィルター切替の閾値を書込ん
でおき、絶対値累積器22から供給されたフレーム毎のフ
レーム差分値の絶対値和をアドレスとし、各アドレスに
書込まれた値に従い数種類の前処理フィルターの通過特
性を選択する切替信号を発生する。ROM23で発生された
切替信号は、制御回路２の出力の切替信号としてROM4に
供給される。同期分離器24は、線10を介して供給された
現フレームの画像信号から同期を分離し、分離された同
期信号を基にフレームの先頭で絶対値累積器のリセット
を行なうためのリセット信号を生成し、絶対値累積器22
に供給する。動き面積の割合によってフィルターを切替
える場合の制御回路２は、第６図に示すような構成にな
る。現フレームの信号は、線10を介して減算器21と同期
分離器240に供給される。前フレームの信号は、線12を
介して減算器21に供給される。減算器21は、現フレーム
の信号と前フレームの信号の減算を行ないフレーム差分
信号を得る。減算器21で得られたフレーム差分信号は、
走査変換器220に供給される。走査変換器220は、減算器
21から供給されたフレーム差分信号に対して走査変換を
行ない予め定められた大きさのブロックに変換する。走
査変換器220でブロック化されたフレーム差分信号は、
絶対値累積器230に供給される。絶対値累積器230は、走
査変換器220から供給されたブロック化されたフレーム
差分信号に対し絶対値変換を行ない、その値をブロック
内で累積する。また絶対値累積器230は、同期分離器240
から線2423を介して供給されるブロックリセット信号に
よってブロックの先頭のタイミングで累積器の値をリセ
ットする。ブロック毎の累積された値は、ROM250に供給
される。同期分離器240は、線10を介して供給された現
フレームの信号から同期を分離し、分離した同期信号を
基にブロック毎のリセット信号およびフレーム毎のリセ
ット信号を生成する。同期分離器240で生成されたブロ
ック毎のリセット信号は、線2423を介して絶対値累積器
230に供給される。また同期分離器240で生成されたフレ
ーム毎のリセット信号は、線2426を介して累積器260に
供給される。ROM250は、絶対値累積器230から供給され
たブロック内のフレーム差分の絶対値の累積結果によっ
て動きブロックの判定を行なうが、動きブロックと静止
ブロックの境になる閾値を予め統計的に調べておく。そ
して累積結果が閾値を超えているときには動きブロック
であることを示す信号１を出力し、累積結果が閾値以下
の時は静止ブロックであることを示す信号０を出力す
る。ROM250の出力信号は、累積器260に供給される。累
積器260は、ROM250から供給された信号を１フレーム分
累積する。累積器260で累積された信号は、そのフレー
ムにおける動き部分の面積を示す信号としてROM270に供
給される。また累積器260は、同期分離器240から線2426
を介して供給されたフレームリセット信号により、フレ
ームの先頭で累積器のリセットを行なう。ROM270は、動
き面積の値に対してどのフィルター特性を選択するかを
予め統計的に調べ、フィルターを選択するための切替信
号を書込んでおく。そして累積器260から供給された動
き面積の値に対応したフィルターの切替信号を出力す
る。ROM270の出力の切替信号は、制御回路２の出力信号
としてROM4に供給される。

フレーム差分値と動き面積によってフィルターを切替
える場合の制御回路２は、第７図に示すような構成にな
る。現フレームの信号は、線10を介して減算器21と同期
分離器2400に供給される。前フレームの信号は、線12を
介して減算器21に供給される。減算器21は、現フレーム
の信号と前フレームの信号の減算を行ないフレーム差分
信号を得る。減算器21で得られたフレーム差分信号は、
走査変換器2200と絶対値累積器2800に供給される。走査
変換器2200は、減算器21から供給されたフレーム差分信
号に対して走査変換を行ない予め定められた大きさのブ
ロックに変換する。走査変換器2200でブロック化された
フレーム差分信号は、絶対値累積器2300に供給される。
絶対値累積器2300は、走査変換器2200から供給されたブ
ロック化されたフレーム差分信号に対し絶対値変換を行
ない、その値をブロック内で累積する。また絶対値累積
器2300は、同期分離器2400から線2324を介して供給され
るブロックリセット信号によってブロックの先頭のタイ
ミングで累積器の値をリセットする。ブロック毎の累積
された値は、ROM2500に供給される。同期分離器2400
は、線10を介して供給された現フレームの信号から同期
を分離し、分離した同期信号を基にブロック毎のリセッ
ト信号およびフレーム毎のリセット信号を生成する。同
期分離器2400で生成されたブロック毎のリセット信号
は、線2324を介して絶対値累積器2300に供給される。ま
た同期分離器2400で生成されたフレーム毎のリセット信
号は、線2624を介して累積器2600と絶対値累積器2800に
供給される。ROM2500は、絶対値累積器2300から供給さ
れたブロック内のフレーム差分の絶対値の累積結果によ
って動きブロックの判定を行なうが、動きブロックと静
止ブロックの境になる閾値を予め統計的に調べておく。
そして累積結果が閾値を超えているときには動きブロッ
クであることを示す信号１を出力し、累積結果が閾値以
下の時は静止ブロックであることを示す信号０を出力す
る。ROM2500の出力信号は、累積器2600に供給される。
累積器2600は、ROM2500から供給された信号を１フレー
ム分累積する。累積器2600で累積された信号は、そのフ
レームにおける動き部分の面積を示す信号として線2627
を介してROM2700に供給される。また累積器2600は、同
期分離器2400から線2624を介して供給されたフレームリ
セット信号により、フレームの先頭で累積器のリセット
を行なう。絶対値累積器2800は、減算器21から供給され
たフレーム差分信号を、絶対値に変換し１フレームにわ
たって累積する。そして累積された絶対値和を線2827を
介してROM2700に供給する。また絶対値累積器2800は、
同期分離器2400から線2624を介して供給されたリセット
信号によってフレーム毎にリセットされる。ROM2700
は、動き面積とフレーム差分の絶対値和の値によってど
のフィルター特性を選択するかを、予め統計的に調べて
書込んでおく。そしてROM2700は、累積器2600から供給
された動き面積の値と、絶対値累積器2800から供給され
たフレーム差分の絶対値和に対応して、フィルター特性
の切替信号を出力する。ROM2700の出力の切替信号は、
制御回路２の出力としてROM4に供給される。なお、以上
の第６図、第７図の説明において入力動画像信号が既に
走査変換された状態で入力されるならば、第６図、第７
図の走査変換器220、2200は不要となる。

第４図に戻る。減算器３は、フレームメモリー１から
供給された信号と、フレームメモリー６から供給される
予測信号との減算を行ないフレーム間差分信号を得る。
減算器３で得られたフレーム間差分信号は、ROM4に供給
される。ROM4は、第３図に示すような入出力関係の信号
通過特性の値を予め複数個書込んでおき、制御回路２か
ら供給された切替信号が、例えばフレーム差分信号が少
ないフレームで信号の抑圧を行なわなくてもよいことを
示しているときは、第３図の（ａ）の様な特性を選択す
る。フレーム差分信号が中ぐらいのフレームで切替信号
が入力信号に中ぐらいの抑圧を行なうことを示している
ときには、第３図の（ｂ）の様な特性を選択する。フレ
ーム差分信号が多いフレームで切替信号が入力信号に強
力な抑圧を行なうことを示しているときには、第３図の
（ｃ）の様な特性を選択する。ROM4の出力のフィルター
がかけられた差分信号は、加算器５に供給される。加算
器５は、ROM4から供給されたフィルターがかけられた差
分信号と、フレームメモリー６から供給されるフィルタ
リングが施された前フレームの信号を加算し、時間軸フ
ィルター処理が加えられた動画像信号を得る。加算器５
の出力の時間軸フィルター処理が加えられた動画像信号
は、フレームメモリー６と符号器７に供給される。フレ
ームメモリー６は、加算器５から供給された時間軸フィ
ルター処理が加えられた動画像信号を１フレーム時間遅
延し、次のフレームのフィルター処理を行なうための信
号として減算器３と加算器５に供給する。符号器７は、
画面間の相関などを用いた通常の動画像符号器である。
符号器７は、加算器５から供給された時間軸フィルター
処理が加えられた動画像信号を符号化し伝送路に出力す
る。

この他に第８図に示すように符号器に画面間の相関を
利用したものを用いる場合には、符号器で得られるフレ
ーム差分信号を用いてフィルター特性の切替信号を生成
することもできる。この場合には、第５図、第６図また
は第７図の制御回路２の減算器21を削除し、減算器21の
出力信号の代りに符号器から供給されるフレーム間差分
信号を供給する。また制御回路２に含まれている同期分
離器24、240、2400、には、現フレームの信号として前
処理フィルターの入力信号を供給する。また、制御回路
２内に同期分離器を設けず、同期信号を別途供給しても
よいことは勿論である。

（発明の効果） 以上詳しく説明したように、本願発明の動画像信号の
前処理を用いれば急激な動きにともなう過大な情報の発
生を抑えることができ、その結果符号化停止による符号
化画像の不連続を取除き、視覚的に好ましい符号化画像
が得られる。この様に本願発明を実用に供すると動画像
の符号化における画質改善効果は、きわめて大きい。

【図面の簡単な説明】

第１図、第２図、第３図は本願発明の原理を説明する
図、第４図、第５図、第６図、第７図、第８図は、本願
発明の実施例を説明する図である。図において、 １、６……フレームメモリー、２……制御回路、３、21
……減算器、４、23、250、270、2500、2700……ROM、
５……加算器、７……符号器、22、230、2300、2800…
…絶対値累積器、24、240、2400……同期分離器、220、
2200……走査変換器、260、2600……累積器。

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】複数の特性を有する時間軸フィルターを用
   いた動画像信号の前処理方法であって、 前記時間軸フィルターは、入力の大小にかかわらず出力
   の増幅度が１となる特性および増幅度を１以下として通
   過帯域を狭くした複数の通過特性を有し、動画像信号の
   フレーム差分の絶対値を１フレーム時間累積し、この値
   が大となるに従って段階をおって前記時間軸フィルター
   の特性の増幅度がゼロに近くなる通過特性を選択し、前
   記動画像信号の通過帯域を狭くすることを特徴とする動
   画像信号の前処理方法。
2. 【請求項２】入力動画像信号が供給されるフレームメモ
   リーと、前記入力動画像信号と前記フレームメモリー出
   力とが供給され通過特性指示信号を出力する制御部と、
   複数の特性を有する時間軸フィルターによって、前記フ
   レームメモリー出力に前記通過特性指示信号に応じた通
   過特性を与える前処理信号出力手段とを備えた動画像信
   号の前処理装置であって、 前記時間軸フィルターは、入力の大小にかかわらず出力
   の増幅度が１となる特性および増幅度を１以下として通
   過帯域を狭くした複数の通過特性を有し、 前記制御部は、前記入力動画像信号と前記フレームメモ
   リー出力との差信号の絶対値を１フレーム時間累算する
   手段と、 この累算する手段の出力の値が大になるに従って前記前
   処理信号出力手段の通過特性を段階をおって狭くする通
   過特性を指定する通過特性指示信号を出力する手段とか
   ら構成される動画像信号の前処理装置。
3. 【請求項３】請求項（２）記載の動画像信号前処理装置
   において、前記制御部は、入力動画像信号と前記フレー
   ムメモリー出力から複数画素からなるブロック単位で、
   ブロック内の画素毎の差分の絶対値の累積値から現ブロ
   ックが動きブロックであるか否かを判定し、動きブロッ
   クに数を計数し動き部分の面積を求める手段と、 この面積を示す値が大になるに従って前記前処理信号出
   力手段の通過特性を段階をおって狭くなる通過特性を指
   定する通過特性指示信号を出力する手段、とから構成さ
   れる動画像信号の前処理装置。
4. 【請求項４】請求項（２）記載の動画像信号前処理装置
   において、前記制御部は、前記入力動画像信号と前記フ
   レームメモリー出力との差分信号の絶対値を所定区間毎
   に累積する手段と、 前記入力動画像信号と前記フレームメモリー出力とから
   複数画素からなるブロック単位で、ブロック内の画素毎
   の差分の絶対値の累積値から現ブロックが動きブロック
   であるか否かを判定し、動きブロックの数を計数し動き
   部分の面積を求める手段と、 前記累積値と前記動き部分の面積に従って前記通過特性
   指示信号を発生する手段、とから構成される動画像信号
   の前処理装置。
5. 【請求項５】入力の大小にかかわらず出力の増幅度が１
   となる特性および増幅度を１以下として通過帯域を狭く
   した複数の通過特性を有し通過特性指示信号により指定
   された通過特性を入力信号に作用させる時間軸前処理フ
   ィルターと、 少なくともフレーム間予測を用い前記時間軸前処理フィ
   ルター出力と予測信号とから予測誤差信号を発生する予
   測手段と、 前記予測誤差信号を量子化する量子化手段と、 前記量子化手段の出力と予測信号から局部復号信号を得
   る局部復号手段と、 前記局部復号手段の出力を１フレーム遅延させ、予測信
   号を得るフレームメモリーと、 少なくとも前記予測誤差信号が供給され、前記予測誤差
   信号の絶対値を１フレーム時間累積し、この値が大とな
   るにしたがって前記時間軸前処理フィルターの複数のフ
   ィルター特性の中で、段階をおって通過特性を狭くする
   特性を指定する前記通過特性指示信号を出力する手段と
   から構成される動画像信号の符号化装置。