JP3628564B2

JP3628564B2 - 帯域制限方法、フィルタ装置、および帯域制限プログラムを記録した記録媒体

Info

Publication number: JP3628564B2
Application number: JP27047699A
Authority: JP
Inventors: 英明木全; 淳清水; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-09-24
Filing date: 1999-09-24
Publication date: 2005-03-16
Anticipated expiration: 2019-09-24
Also published as: JP2001094832A

Description

【０００１】
【発明が属する技術分野】
本発明は動画像信号の帯域制限方法およびフィルタ装置に関するものである。
【０００２】
【従来の技術】
一般的に、画像の高周波成分は視覚に与える影響が少ないため、高周波成分を削除しても視覚的な劣化は少ない。このため動画像の符号化において、符号化前に予め入力画像にフィルタを施して帯域を制限することにより、符号化効率を向上させることが行われている。
【０００３】
帯域を制限するフィルタには、画面内画素間の相関を利用する空間フィルタとフレーム間画素間の相関を利用する時間フィルタがある。
【０００４】
このうち、空間フィルタの１つには移動平均フィルタがある。このフィルタでは、図７に示すように、求める画素を中心にした、縦Ｎ画素、横Ｎ画素（Ｎタップ）の正方形のフィルタを設定し、その正方形に含まれる画素の画像情報を式（１）に示す重み付け加算をすることによって、その画素の画像情報を求める。この処理を画面内の各画素に施すことによって、画面全体に移動平均フィルタを施す。このフィルタの周波数特性はタップ数Ｎと重み付け係数Ｗによって特徴付けられ、帯域制限後の視覚特性はこれらの値に依存する。一般的にタップ数Ｎが大きいほど、広範囲な画素の平均となるため、隣り合う画素間の差が少なくなり、より高周波成分が削除される。
【０００５】
【数１】

空間フィルタには、メディアンフィルタに代表される、エッジ情報を保存したまま帯域を制限するフィルタもある。また、エッジの画素とその他の画素とで周波数特性の異なるフィルタを施す方法も提案されている。
【０００６】
時間フィルタには、図８に示すように、前フレームと現フレームの同じ画素の画像情報から、式（２）に示す重み付け平均を行い、その値を画素の画像情報とする方法がある。一般に、前フレームと現フレームの画像情報の差が大きい場合の残像を防ぎつつ、フレーム間予測符号化の符号化効率を向上させることを目的として関数Ｆを設定する。この残像を防ぐことと、符号化効率を向上させることはトレードオフの関係にある。例えば、残像を防ぐことを優先する場合の時間フィルタでは、前フレームと現フレームの画像情報の差が大きい場合には重み付け平均値を現フレームの値に、差が小さい場合には重み付け平均値を前フレームの値に近くなるように式（２）の関数Ｆを設定する。
【０００７】
【数２】

また、以上に示した空間フィルタと時間フィルタを組み合わせた時空間フィルタを定義することが可能である。例えば、現フレーム縦Ｎ横Ｎ画素と前フレーム縦Ｎ横Ｎ画素の画像情報を入力とし、それらの重み付け平均値を出力とするフィルタを定義することが可能である。
【０００８】
さらに、動いている物体と静止している物体の視覚特性の違いを利用した、視覚的劣化の少ない帯域制限も行われる。例えば、前フレームと現フレームの画像情報の差から、動領域または静止領域を判断し、動領域では広い周波数帯で帯域制限を行い、静止領域では狭い周波数帯で帯域制限を行う。
【０００９】
【発明が解決しようとする課題】
しかし、現フレームと前フレームの画素の画像情報の差から動領域と静止領域を決定すると、動領域であっても高周波成分が少ない領域が存在するため、必ずしも、動領域と静止領域とでフィルタの周波数特性を変更することが好適とは限らない場合がある。例えば、図９に示すように、円が存在する系列Ａと、円が現れて消える系列Ｂがあるとすると、系列Ｂの第２フレームにおける円周内部と、第３フレームにおける、以前に円周の存在した領域は、動領域と判定される。
【００１０】
このような系列に対して、周波数特性が異なる静止領域用と動領域用のエッジ保存空間フィルタを適用する場合を考える。系列Ａでは、全てのフレームに対し、静止領域用のフィルタを適用する。それに対して、系列Ｂでは、各フレームにおいて異なるフィルタを適用する。第１フレームには画面全体に静止領域用のフィルタを適用し、第２フレームには、円以外の部分は静止領域用のフィルタで、円の部分は動領域用のフィルタを適用する。そして、第３フレームには、前フレームで円が存在していなかった部分は静止領域用のフィルタで、円が存在していた部分は動領域用のフィルタを適用する。したがって、系列Ｂの第３フレームでは、円が存在しないにも関わらず、周波数特性の異なるフィルタを適用することになる。このため視覚的な画質の劣化を引き起こす。
【００１１】
また、時間フィルタに関しても、周波数特性が異なる静止領域用と動領域用の時間フィルタを適用する場合を考えると、同様に、系列Ｂの第３フレームでは、前フレームで円が存在していなかった部分は静止領域用のフィルタで、円が存在していた部分は動領域用のフィルタを適用することになる。したがって、動領域に対して高周波成分をより多く削除し符号化効率を向上させる場合には、第３フレームの円が存在していた部分に円の残像が生じてしまい、視覚的な画質の劣化を引き起こす。
【００１２】
すなわち、従来の方法では、周波数成分が均一な領域に対して、異なる周波数特性の空間または時間フィルタを用いるため、フィルタ処理後の画像の周波数成分が不均一になり、視覚的な画質劣化を引き起こすという問題があった。
【００１３】
本発明の目的は、フィルタ処理後の画像の周波数成分が均一で、視覚的な画質劣化のない帯域制限方法、フィルタ装置、および帯域制限プログラムを記録した記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、本発明のフィルタ装置は、入力画像のエッジを検出するエッジ検出部と、現フレームの各画素のエッジ強度を示すエッジ情報を蓄積するエッジ情報蓄積部と、前フレームのエッジ情報を蓄積する前エッジ情報蓄積部と、現フレームの各画素のエッジ情報と前フレームの同一画素のエッジ情報を比較し、現フレームにて発生したエッジを検出するエッジ変化分検出部と、現フレームに存在するエッジの位置情報と、現フレームにて発生したエッジの位置情報を用いて、エッジが発生した部分、前フレームからエッジが存続している部分、エッジ以外の部分を判断し、予め設定されているフィルタの中から、空間フィルタまたは時間フィルタまたは時空間フィルタを選択するフィルタ選択部と、入力画像に前記選択されたフィルタで空間フィルタ処理または時間フィルタ処理または時空間フィルタ処理を施すフィルタ処理部と、エッジ検出部またはエッジ変化分検出部で検出されたエッジ情報の画面内の統計処理または各画素の統計処理を行なうエッジ計測部と、予め設定されているフィルタの周波数特性を、エッジ計測部での統計処理結果に基づいて制御するフィルタ制御部を有する。
ここで、エッジ情報の画面内の統計処理としては
１．画面内のエッジ画素の総数の計算
２．画面内の現フレームにて発生したエッジ画素の総数の計算
があり、
また、各画素の統計処理としては
３．各画素周辺領域のエッジの密度の計算
４．各画素周辺領域の現フレームにて発生したエッジの密度変化の計算
がある。
【００１５】
従来、現フレームと前フレームの画素の画像情報の差から動領域と静止領域を決定してフィルタの周波数特性を変更するのに対して、本発明では、現フレームにおけるエッジの有無を検出し、さらに現フレームと前フレームとでエッジの発生を検出し、これらの検出結果に従って周波数特性を変更する。これにより、動領域中の周波数成分が均一な領域に対して、同じ周波数特性の空間または時間フィルタを用いることが可能となる。
【００１６】
例えば、空間フィルタについては、エッジ部分に対して、エッジが新たに発生した領域に適用するエッジ発生領域用エッジ保存フィルタと、エッジが前フレームから存在している領域に適用する静止領域用エッジ保存フィルタを定義し、エッジ部分以外に対しては、平滑化フィルタを定義する。このフィルタを図９に示す系列Ａと系列Ｂに適用すると、系列Ａに対しては全てのフレームで、円周部分は静止領域用エッジ保存フィルタを適用し、円の内部と外部は平滑化フィルタを適用する。系列Ｂに対しては、第１フレームでは全体に平滑化フィルタを適用し、第２フレームでは、円周部分はエッジ発生領域用エッジ保存フィルタを適用し、円の内部と外部は平滑化フィルタを適用し、第３フレームでは全体に平滑化フィルタを適用する。これにより、従来、系列Ｂの第３フレームで発生した、周波数特性の異なるフィルタを適用することによる、視覚的な画質の劣化を防ぐことができる。
【００１７】
また、時間フィルタについては、エッジが発生した領域に適用するエッジ発生領域用フィルタと、エッジが前フレームから存在している領域に適用する静止領域用フィルタを定義する。このフィルタを図９の系列Ａと系列Ｂに適用すると、系列Ａに対してはすべてのフレームで、全体に対して静止領域用フィルタを適用する。系列Ｂに対しては、全体に対して静止領域用フィルタを適用し、第２フレームでは、円周部分はエッジ発生領域用フィルタを適用し、円の内部と外部は静止領域用フィルタを適用し、第３フレームでは全体に静止領域用フィルタを適用する。これにより、従来、系列Ｂの第３フレームで発生した、円の残像による視覚的な画質の劣化を防ぐことができる。
【００１８】
予め設定されているフィルタの周波数特性を制御するフィルタ制御部を備えることにより、例えば、エッジ発生部分の高周波成分を多く削除したい場合には、より低周波のみを通過するように、エッジ発生部分に適用するフィルタの周波数特性を変更することができる。
【００１９】
エッジ検出部またはエッジ変化分検出部で検出した、エッジ情報の画面内の統計処理または各画素の統計処理を行うエッジ計測部を備えることにより、例えば画面内のエッジ部分の画素の総数を計測する場合には、このエッジ総数に基づき、フィルタ制御部がフィルタの周波数特性を変更すること、あるいはフィルタ選択部がフィルタの周波数特性を変更することができる。
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２３】
図１を参照すると、本発明の一実施形態のフィルタ装置は画像入力部１０１とフィルタ処理部１０２とエッジ検出部１０３とエッジ情報蓄積部１０４と前エッジ情報蓄積部１０５とエッジ変化分検出部１０６とフィルタ選択部１０７と画像出力部１０８とフィルタ制御部１０９で構成されている。
【００２４】
本装置では、エッジを検出し、エッジ発生領域と、前フレームからのエッジ領域と、エッジ以外の領域とで、空間フィルタを変更する。また、本装置では、エッジ画素の総数に基づいてエッジ発生領域の空間フィルタの周波数特性を制御する。
【００２５】
画像入力部１０１は画像を入力する。
【００２６】
エッジ検出部１０３は、入力画像のエッジを検出し、エッジ情報蓄積部１０４に各画素のエッジ強度を示すエッジ情報を蓄積する。
【００２７】
エッジ変化分検出部１０６は、エッジ情報蓄積部１０４に蓄積された現フレームのエッジ情報と前エッジ情報蓄積部１０５に蓄積された前フレームのエッジ情報との比較から、現フレームにて新規に発生したエッジを検出する。
【００２８】
フィルタ選択部１０７には、エッジ発生領域用のフィルタＦ１、前フレームからのエッジ領域用のフィルタＦ２、エッジ以外の領域用のフィルタＦ３が設定されており、エッジ情報蓄積部１０４からのエッジの有無の情報と、エッジ変化分検出部１０６からのエッジ発生情報に基づいて、これら３つのフィルタＦ１、Ｆ２、Ｆ３のうちいずれかのフィルタを選択する。すなわち、図２に示すように、フィルタ選択部１０７は、フィルタを施す画素が、エッジ部分かどうかを調べ（ステップ２０１）、エッジ部分ではない場合には、フィルタＦ３を選択し（ステップ２０３）、エッジ部分の場合には、さらに現フレームにて新規にエッジが発生したかどうかを調べ（ステップ２０２）、新規に発生したエッジの場合には、フィルタＦ１を選択し（ステップ２０５）、新規に発生したエッジではない場合には、フィルタＦ２を選択する（ステップ２０４）。
【００２９】
エッジ計測部１１０はエッジ情報蓄積部１０４の出力から現フレームのエッジの総数を計測する。
【００３０】
フィルタ制御部１０９は、計測されたエッジ画素の総数に基づいて、フィルタ選択部１０７におけるエッジ発生領域用のフィルタＦ１の周波数特性を制御する。すなわち、図３に示すように、エッジ画素の総数が総画素数の半分未満の場合には、特性Ｃ２にＦ１を設定し（ステップ３０１，３０２）、半分以上では、Ｃ１よりも高周波成分を削除する特性Ｃ１にＦ１を設定する（ステップ３０１，３０３）。
【００３１】
フィルタ処理部１０２はフィルタ選択部１０７におけるフィルタの選択と、フィルタ制御部１０９におけるフィルタＦ１の周波数特性の選択に従って、入力画像に対してフィルタ処理を施す。
【００３２】
画像出力部１０８はフィルタ処理が施された画像を出力する。
【００３３】
図４を参照すると、本発明の第２の実施形態のフィルタ装置は画像入力部１０１とエッジ検出部１０３とエッジ情報蓄積部１０４と前エッジ情報蓄積部１０５とエッジ変化分検出部１０６と画像出力部１０８とフィルタ制御部１０９’と空間フィルタ選択部１１１と空間フィルタ処理部１１２と時間フィルタ選択部１１３と時間フィルタ処理部１１４と前画像蓄積部１１５で構成されている。図１中と同じ参照番号は同じものを指す。
【００３４】
本装置では、エッジを検出し、エッジ領域とエッジ以外の領域とで空間フィルタを変更し、エッジ発生領域と、前フレームからのエッジ領域と、エッジ以外の領域とで、時間フィルタを変更する。また、本装置では、ユーザーが画像内容を判断し、動きの激しいシーンでは、エッジ発生領域の画素が現フレームの画像情報に近くなるように時間フィルタの特性を制御し、動きの少ないシーンでは、エッジ発生領域の画素が前フレームの画像情報に近くなるように時間フィルタの特性を制御する。
【００３５】
空間フィルタ選択部１１１には、エッジ領域用のフィルタＳＦ１とエッジ以外の領域用のフィルタＳＦ２が設定されており、エッジ情報蓄積部１０４からのエッジの有無の情報に基づいて、２つのうちいずれかのフィルタを選択する。すなわち、空間フィルタ選択部１１１は、フィルタを施す画素が、エッジ部分かどうかを調べ、エッジ部分の場合には、フィルタＳＦ１を選択し、エッジ部分ではない場合には、フィルタＳＦ２を選択する。
【００３６】
時間フィルタ選択部１１３には、エッジ発生領域用のフィルタＦ１、前フレームからのエッジ領域用のフィルタＦ２、エッジ以外の領域用のフィルタＦ３が設定されており、エッジ情報蓄積部１０４からのエッジの有無の情報と、エッジ変化分検出部１０６からのエッジ発生情報に基づいて、これら３つのフィルタＦ１、Ｆ２、Ｆ３のうちいずれかのフィルタを選択する。フィルタの選択手順は、第１の実施形態のフィルタ選択部１０７におけるフィルタの選択手順と同様である。
【００３７】
フィルタ制御部１０９は、ユーザーが画像内容を判断し、動きの激しいシーンでは、エッジ発生領域の画素が現フレームの画像情報に近くなる（特性Ｃ１）ように時間フィルタの特性を制御し、動きの少ないシーンでは、エッジ発生領域の画素が前フレームの画像情報に近くなる（特性Ｃ２）ように時間フィルタＦ１の特性を制御する。
【００３８】
空間フィルタ処理部１１２は空間フィルタ選択部１１１における空間フィルタの選択に従って、入力画像に対してフィルタ処理を施す。
【００３９】
時間フィルタ処理部１１４は時間フィルタ選択部１１３における時間フィルタの選択と、フィルタ制御部１０９’における時間フィルタの周波数特性の選択に従って、前画像蓄積部１１５に蓄積された前画像を用いて、空間フィルタ処理後の画像に対してフィルタ処理を施す。
【００４０】
なお、図４中から空間フィルタ選択部１１１と空間フィルタ処理部１１２を除けば時間フィルタ装置になる。
【００４１】
図６を参照すると、本発明の第３の実施形態のフィルタ装置は、第１の実施形態のフィルタ装置に対応するもので、入力装置５０１と記憶装置５０２，５０３と出力装置５０４と記録媒体５０５とデータ処理装置５０６で構成されている。入力装置５０１は画像を入力するためのものである。記憶装置５０２は図１中のエッジ情報蓄積部１０４と前エッジ情報蓄積部１０５に相当する。記憶装置５０３はハードディスクである。出力装置５０４はフィルタ処理を施された画像を表示するディスプレイである。記録媒体５０５は図１中のエッジ情報蓄積部１０４と前エッジ情報蓄積部１０５を除いた各部の処理からなる帯域制限プログラムを記録した、フロッピィ・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等の記録媒体である。データ処理装置５０６は記録媒体５０５から帯域制限プログラムを記憶装置５０３に読込んで、これを実行するＣＰＵである。
【００４２】
第２の実施形態も第３の実施形態と同様にしてパソコン等のコンピュータ上で実施できる。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、現フレームにおけるエッジの有無を検出し、さらに現フレームと前フレームとでエッジの発生を検出し、これらの検出結果に従ってフィルタの周波数特性を変更することにより、動領域中の周波数成分が均一な領域に対して、同じ周波数特性の空間および／または時間フィルタを用いることが可能となる効果があり、さらに、フィルタの周波数特性を変更することによって、エッジ発生部分の視覚的な特性を制御することが可能となる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のフィルタ装置の構成図である。
【図２】図１のフィルタ選択部１０７におけるフィルタ決定処理を示す流れ図である。
【図３】図１のフィルタ制御部１０９におけるフィルタＦ１の周波数特性決定処理を示す流れ図である。
【図４】本発明の第２の実施形態のフィルタ装置の構成図である。
【図５】図４の空間フィルタ選択部１１１におけるフィルタ決定処理を示す流れ図である。
【図６】本発明の第３の実施形態のフィルタ装置の構成図である。
【図７】空間フィルタの例を示す図である。
【図８】時間フィルタの例を示す図である。
【図９】動画像の例を示す図である。
【符号の説明】
１０１画像入力部
１０２フィルタ処理部
１０３エッジ検出部
１０４エッジ情報蓄積部
１０５前エッジ情報蓄積部
１０６エッジ変化分検出部
１０７フィルタ選択部
１０８画像出力部
１０９，１０９’ フィルタ制御部
１１０エッジ計測部
１１１空間フィルタ選択部
１１２空間フィルタ処理部
１１３時間フィルタ選択部
１１４時間フィルタ処理部
１１５前画像蓄積部
２０１〜２０５，３０１〜３０３，４０１〜４０３ステップ
５０１入力装置
５０２，５０３記憶装置
５０４出力装置
５０５記録媒体
５０６データ処理装置

Claims

画像の帯域を制限する帯域制限方法であって、
入力画像のエッジを検出するエッジ検出ステップと、
現フレームの各画素のエッジ強度を示すエッジ情報を蓄積するエッジ情報蓄積ステップと、
前フレームのエッジ情報を蓄積する前エッジ情報蓄積ステップと、
現フレームの各画素のエッジ情報と前フレームの同一画素のエッジ情報を比較することにより、現フレームにて新たに発生したエッジを検出するエッジ変化分検出ステップと、
現フレームに存在するエッジの位置情報と、現フレームにて発生したエッジの位置情報を用いて、エッジが発生した部分、前フレームからエッジが存続している部分、エッジ以外の部分を判断し、予め設定されている、周波数特性の異なる複数のフィルタの中から入力画像に適用するフィルタを選択するフィルタ選択ステップと、
入力画像に前記選択されたフィルタでフィルタ処理を施すフィルタ処理ステップと、
前記エッジ検出ステップまたは前記エッジ変化分検出ステップで検出されたエッジ情報の画面内の統計処理または各画素の統計処理を行うエッジ計測ステップと、
前記の予め設定されているフィルタの周波数特性を、前記エッジ計測ステップでの統計処理結果に基づいて制御するフィルタ制御ステップと、
を有し、
前記エッジ情報の画面内の統計処理が、画面内のエッジ画素の総数の計算または画面内の現フレームにて発生したエッジ画素の総数の計算を含み、各画素の統計処理が、各画素周辺領域のエッジの密度の計算または各画素数周辺領域の現フレームにて発生したエッジの密度変化の計算を含む、
帯域制限方法。
前記フィルタ制御ステップは、計算されたエッジ画素の総数に応じてエッジ発生部分の高周波成分を削除する度合いを制御する、請求項１に記載の帯域制御方法。
画像の帯域を制限するフィルタ装置であって、
入力画像のエッジを検出するエッジ検出部と、
現フレームの各画素のエッジ強度を示すエッジ情報を蓄積するエッジ情報蓄積部と、
前フレームのエッジ情報を蓄積する前エッジ情報蓄積部と、
現フレームの各画素のエッジ情報と前フレームの同一画素のエッジ情報を比較することにより、現フレームにて新たに発生したエッジを検出するエッジ変化分検出部と、
現フレームに存在するエッジの位置情報と、現フレームにて発生したエッジの位置情報を用いて、エッジが発生した部分、前フレームからエッジが存続している部分、エッジ以外の部分を判断し、予め設定されている、周波数特性の異なる複数のフィルタの中から入力画像に適用するフィルタを選択するフィルタ選択部と、
入力画像に前記選択されたフィルタでフィルタ処理を施すフィルタ処理部と、
前記エッジ検出部または前記エッジ変化分検出部で検出されたエッジ情報の画面内の統計処理または各画素の統計処理を行うエッジ計測部と、
前記の予め設定されているフィルタの周波数特性を、前記エッジ計測部での統計処理結果に基づいて制御するフィルタ制御部と、
を有し、
前記エッジ情報の画面内の統計処理が、画面内のエッジ画素の総数の計算または画面内の現フレームにて発生したエッジ画素の総数の計算を含み、各画素の統計処理が、各画素周辺領域のエッジの密度の計算または各画素周辺領域の現フレームにて発生したエッジの密度変化の計算を含む、
帯域制限装置。
前記フィルタ制御部は、計算されたエッジ画素の総数に応じてエッジ発生部分の高周波成分を削除する度合いを制御する、請求項３に記載の帯域制限装置。
入力画像のエッジを検出するエッジ検出処理と、
現フレームの各画素のエッジ強度を示すエッジ情報を蓄積するエッジ情報蓄積処理と、
前フレームのエッジ情報を蓄積する前エッジ情報蓄積処理と、
現フレームの各画素のエッジ情報と前フレームの同一画素のエッジ情報を比較することにより、現フレームにて新たに発生したエッジを検出するエッジ変化分検出処理と、
現フレームに存在するエッジの位置情報と、現フレームにて発生したエッジの位置情報を用いて、エッジが発生した部分、前フレームからエッジが存続している部分、エッジ以外の部分を判断し、予め設定されている、周波数特性の異なる複数のフィルタの中から入力画像に適用するフィルタを選択するフィルタ選択処理と、
入力画像を前記選択されたフィルタでフィルタリングするフィルタ処理と、
前記エッジ検出処理または前記エッジ変化分検出処理で検出されたエッジ情報の画面内の統計処理または各画素の統計処理を行うエッジ計測処理と、
前記の予め設定されているフィルタの周波数特性を制御するフィルタ制御処理と、
をコンピュータに実行させるための帯域制限プログラムであり、
前記エッジ情報の画面内の統計処理が、画面内のエッジ画素の総数の計算または画面内の現フレームにて発生したエッジ画素の総数の計算を含み、各画素の統計処理が、各画素周辺領域のエッジの密度の計算または各画素周辺領域の現フレームにて発生したエッジの密度変化の計算を含む、
帯域制限プログラムを記録した記録媒体。
前記フィルタ制御処理は、計算されたエッジ画素の総数に応じてエッジ発生部分の高周波成分を削除する度合いを制御する、請求項５に記載の帯域制限プログラムを記録した記録媒体。