JP5683307B2 - 間引きフィルタ及びプログラム - Google Patents

Description

本発明は、画像に対するフィルタ処理に関し、特に、画像のダウンサンプリングを行う間引きフィルタ及びプログラムに関する。

従来、画像に対する間引きフィルタとして、有限長で打ち切った２次元Ｓｉｎｃ関数によるフィルタ及びＬａｎｃｚｏｓ関数によるフィルタを畳み込む手法が知られている。

また、間引きフィルタ（デシメーションフィルタ）と復元フィルタ（予測フィルタ）とを対にした画像処理において、相互のフィルタ特性を繰り返し演算により最適化することで、最適な間引きフィルタ及び復元フィルタの対を生成する手法が提案されている（特許文献１）。具体的には、オリジナルフレームに初期の間引きフィルタを適用して間引き済みフレームを生成し、初期の間引きフィルタを固定にして、間引き済みフレーム及びオリジナルフレームの両方から最適な復元フィルタを抽出する。そして、この最適な復元フィルタを固定にして、最適な復元フィルタ及び間引き済みフレームから予測フレームを生成し、間引き済みフレーム及び予測フレームから、最適な間引きフィルタを生成する。

特開２０１０−９３８２１号公報

しかしながら、前述の２次元Ｓｉｎｃ関数及びＬａｎｃｚｏｓ関数による間引きフィルタでは、画像内全体に亘って、均一なフィルタ処理を行う。例えば、動画像の画像フレームに対し、間引きフィルタを適用してダウンサンプリングを行い（画像を縮小し）、その処理結果に対し、復元フィルタを適用してアップサンプリングを行う（画像を拡大する）場合に、動きの異なる領域に対しても同一の間引きフィルタ処理が行われる。このため、局所的に見ると、必ずしも復元フィルタ処理に適した間引きフィルタ処理になっているとは限らないという問題があった。

また、前述の特許文献１の手法では、間引きフィルタ及び復元フィルタの対において、フィルタ処理の最適化が行われる。このため、局所的な画像特性の違い等に適応させることが可能である。しかし、間引きフィルタ及び復元フィルタの対におけるフィルタ処理の最適化を行うには繰り返し処理が必要となり、演算コストが高くなるという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、原画像を間引きフィルタ処理し、間引きフィルタ処理後の画像を復元フィルタ処理して原画像に復元する画像処理において、復元に適した間引きフィルタ処理を実現可能な間引きフィルタ及びプログラムを提供することにある。

前記した課題を解決するため、本発明の請求項１に係る間引きフィルタは、入力画像信号を間引きして出力画像信号を出力する間引きフィルタにおいて、前記入力画像信号について局所的にフィルタの帯域を判定する帯域判定手段と、前記帯域判定手段により局所的に判定されたそれぞれの帯域により、前記フィルタを設定するフィルタ設定手段と、前記フィルタ設定手段により設定されたフィルタを用いて、前記入力画像信号を間引きして出力画像信号を出力するフィルタ手段と、を備え、前記帯域判定手段は、前記入力画像信号における時刻の異なる２フレームの画像信号の差分値を局所的に計算し、前記差分値が所定の第１の閾値以下の場合に、前記差分値が所定の第２の閾値（前記第１の閾値より小さい閾値）よりも大きいときは帯域が広く遮断周波数が所定の周波数より高くなり、前記差分値が前記第２の閾値以下のときは帯域が狭く遮断周波数が所定の周波数以下になるように、また、前記差分値が前記第１の閾値よりも大きい場合には、帯域が狭く遮断周波数が所定の周波数以下になるように、前記フィルタの帯域を局所的に判定することを特徴とする。

請求項１の間引きフィルタによれば、静止画像の領域及び動きの大きい領域に対しては折り返し歪みが少なくなるフィルタが設定され、動きの小さい領域に対しては折り返し歪みが多くなるフィルタが設定される。複数枚超解像方式は、静止画像の領域ではなく動きの小さい領域に対して特に効果を奏する。このため、請求項１の間引きフィルタは、復元フィルタに複数枚超解像方式を用いる場合に特に好適である。

また、本発明の請求項２に係る間引きフィルタは、入力画像信号を間引きして出力画像信号を出力する間引きフィルタにおいて、前記入力画像信号について局所的にフィルタの帯域を判定する帯域判定手段と、前記帯域判定手段により局所的に判定されたそれぞれの帯域にて、前記フィルタを設定するフィルタ設定手段と、前記フィルタ設定手段により設定されたフィルタを用いて、前記入力画像信号を間引きして出力画像信号を出力するフィルタ手段と、を備え、前記帯域判定手段は、前記入力画像信号における時刻の異なる２フレームの画像信号の差分値を局所的に計算し、前記入力画像信号と前記出力画像信号に対し時間的に位相をずらして標本化する際の標本点間の差を示す標本点位相差が所定の第３の閾値以下の場合に、前記差分値が所定の第４の閾値（前記第３の閾値より小さい閾値）よりも大きいときは帯域が広く遮断周波数が所定の周波数より高くなり、前記差分値が前記第４の閾値以下のときは帯域が狭く遮断周波数が所定の周波数以下になるように、また、前記標本点位相差が前記第３の閾値よりも大きい場合には、帯域が広く遮断周波数が所定の周波数より高くなるように、前記フィルタの帯域を局所的に判定することを特徴とする。

請求項２の間引きフィルタによれば、出力画像信号に対してインターレース処理等により標本化を行う場合に、擬似的にテクスチャの動きが生じるときであっても適切な間引きフィルタ処理を行うことができる。

また、本発明の請求項３に係るプログラムは、コンピュータを、請求項１または２に記載の間引きフィルタとして機能させることを特徴とする。

以上のように、本発明によれば、間引きフィルタの帯域を、入力画像信号の局所的な画像特性の違い等に適応させることができるから、復元に適した間引きフィルタ処理を実現することができる。また、繰り返し演算が不要になり、高速実行が可能となる。

本発明の実施形態による適応間引きフィルタの構成を示すブロック図である。 帯域判定手段の第１構成例を示すブロック図である。 帯域判定手段の第１構成例における判定の処理を示すフローチャートである。 帯域判定手段の第２構成例を示すブロック図である。 帯域判定手段の第２構成例における差分手段の処理を示すフローチャートである。 帯域判定手段の第３構成例を示すブロック図である。 帯域判定手段の第３構成例における判定の処理を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、間引きフィルタにおいて、復元フィルタによるアップサンプリング処理を考慮して、所定の領域について、ナイキスト周波数を超える成分による折り返し歪みを敢えて残すように、ダウンサンプリング処理を行うことを特徴とする。特に、復元フィルタによるアップサンプリング処理に複数枚超解像方式を用いた場合には、折り返し歪みの残っている画像を用いた方が折り返し歪みの残っていない画像を用いるよりも、高画質な画像を復元することができる場合がある。これは、複数枚超解像方式が、折り返し歪みを利用することにより、高画質な画像を復元する仕組みを有しているからである。

尚、複数枚超解像方式については既知であるから、ここでは説明を省略する。詳細については、例えば「青木信、“複数のデジタル画像データによる超解像処理”、Ricoh Technical Report No.24,NOVEMBER,1998」を参照されたい。

図１は、本発明の実施形態による適応間引きフィルタの構成を示すブロック図である。この適応間引きフィルタ１は、帯域判定手段１０、フィルタ設定手段２０及びフィルタ手段３０を備え、画像信号（入力画像信号）を入力し、間引きによるダウンサンプリング処理を行い、画像信号（出力画像信号）を出力する。

帯域判定手段１０は、入力画像信号から、局所領域毎に動きの大小を判定し、該判定の結果を帯域判定結果としてフィルタ設定手段２０に出力する。帯域判定の手法の詳細については後述する。

フィルタ設定手段２０は、帯域判定手段１０から帯域判定結果を入力し、帯域判定結果が示す局所領域毎の判定結果に基づいて、該局所領域毎に所定数のタップ係数を決定することによりフィルタを設定、すなわちフィルタの帯域を設定し、局所領域毎の所定数のタップ係数をフィルタ制御信号としてフィルタ手段３０に出力する。タップ係数の決定手法の詳細については後述する。

フィルタ手段３０は、フィルタ設定手段２０からフィルタ制御信号を入力し、入力画像信号に対し、フィルタ制御信号が示す局所領域毎の所定数のタップ係数により、間引きによるダウンサンプリングのフィルタ処理を行い、その処理結果を出力画像信号として出力する。すなわち、フィルタ手段３０は、フィルタ設定手段２０により局所領域毎に設定されたフィルタを、局所領域毎に適用し、その処理結果を出力画像信号として出力する。

〔第１の帯域判定手段〕
まず、図１に示した帯域判定手段１０における第１の構成例について説明する。図２は、帯域判定手段１０の第１構成例を示すブロック図である。この第１の帯域判定手段１０は、記憶手段１１、差分手段１２及び判定手段１３を備えている。

記憶手段１１は、現在の入力画像信号（現フレーム画像）を入力して記憶する。記憶手段１１に記憶された入力画像信号は、所定時間遅延した後、過去の入力画像信号（前フレーム画像）として差分手段１２によって読み出される。尚、ここでは入力画像信号を「フレーム」として扱ったが、「フィールド」として扱うようにしてもよい。

ここで、時刻ｔにおける入力画像信号をＩ（ｔ，ｘ，ｙ）とする。ｘは画像の水平座標とし、ｙは垂直座標とする。

Δｔフレーム（Δｔは自然数）の遅延を行う場合、記憶手段１１に記憶されたフレーム画像Ｉ（ｔ，ｘ，ｙ）は、差分手段１２によって前フレーム画像Ｉ（ｔ−Δｔ，ｘ，ｙ）として読み出される。Δｔは例えば１とする。

差分手段１２は、入力画像信号として現フレーム画像Ｉ（ｔ，ｘ，ｙ）を入力すると共に、記憶手段１１から、所定時間遅延したフレーム画像を前フレーム画像Ｉ（ｔ−Δｔ，ｘ，ｙ）として読み出し、現フレーム画像Ｉ（ｔ，ｘ，ｙ）と前フレーム画像Ｉ（ｔ−Δｔ，ｘ，ｙ）との間の差を計算し、この計算結果を差分画像Ｄ（ｔ，ｘ，ｙ）として判定手段１３に出力する。差分画像Ｄ（ｔ，ｘ，ｙ）は、以下の式により表される。

判定手段１３は、差分手段１２から差分画像Ｄ（ｔ，ｘ，ｙ）を入力し、所定の局所領域毎に、差分画像Ｄ（ｔ，ｘ，ｙ）によるフレーム間差分の大小を判定し、帯域判定結果を出力する。

図３は、帯域判定手段１０の第１構成例における判定の処理を示すフローチャートである。まず、判定手段１３は、差分画像Ｄ（ｔ，ｘ，ｙ）を入力し（ステップＳ３０１）、所定数Ｋ個の複数のブロック（局所領域）Ｂ_ｋに分割する（ステップＳ３０２）。ブロックの形状は、例えば矩形とする。尚、隣接するブロック同士は重なり合っていてもよいし、重なり合っていなくてもよい。

ここで、ｋ番目（ｋ＝０，１，・・・，Ｋ−１；Ｋは自然数）のブロックをＢ_ｋとする。判定手段１３は、差分画像Ｄ（ｔ，ｘ，ｙ）を水平Ａ個、垂直Ｂ個に分割することにより、Ｋ＝Ａ×Ｂ個のブロックＢ_ｋを設定する。例えば、該ブロック群の、例えば左上から順にラスタ走査の順序で、ブロックＢ_０，Ｂ_１，・・・，Ｂ_Ｋ−１を設定する。

判定手段１３は、ブロックＢ_ｋ毎に、差分画像Ｄ（ｔ，ｘ，ｙ）によるフレーム間差分の大きさを計算し、すなわち差分画像Ｄ（ｔ，ｘ，ｙ）の画素値の合計Ｇを評価値として、以下の式により計算する（ステップＳ３０３）。

判定手段１３は、その評価値Ｇが所定の閾値θ以下であるか否かを判定し（ステップＳ３０４）、評価値Ｇが閾値θ以下であると判定した場合（ステップＳ３０４：Ｙ）、「狭帯域」の帯域判定結果Ｊ_ｋを設定し（ステップＳ３０５）、合計Ｇが閾値θ以下でないと判定した場合（ステップＳ３０４：Ｎ）、「広帯域」の帯域判定結果Ｊ_ｋを設定する（ステップＳ３０６）。そして、判定手段１３は、「狭帯域」または「広帯域」の２値の結果が設定された帯域判定結果Ｊ_ｋを出力する（ステップＳ３０７）。ここで、「狭帯域」の帯域判定結果Ｊ_ｋは、後段のフィルタ設定手段２０において、そのブロックＢ_ｋに対するフィルタが狭帯域に設定されること、例えば、フィルタの帯域を狭くするために、遮断周波数が所定の周波数以下になるように設定されることを示しており、「広帯域」の帯域判定結果Ｊ_ｋは、そのブロックＢ_ｋに対するフィルタが広帯域に設定されること、例えば、フィルタの帯域を広くするために、遮断周波数が所定の周波数よりも高くなるように設定されることを示している。この所定の周波数は、あらかじめ入力画像の種類に応じてどのような値を分岐点とすれば最適かを多数の被験者による実験結果を基に定めておくものとする。また、現実には所定の周波数はナイキスト周波数あるいはその近傍に存在する。

すなわち、判定手段１３は、以下の式により、ブロックＢ_ｋ毎の帯域判定結果Ｊ_ｋを生成して出力する。例えば、静止画像のブロックＢ_ｋについては、「狭帯域」の帯域判定結果Ｊ_ｋが出力され、動画像のブロックＢ_ｋについては、「広帯域」の帯域判定結果Ｊ_ｋが出力される。

このように、第１の帯域判定手段１０を備えた適応間引きフィルタ１によれば、判定手段１３が、ブロックＢ_ｋ毎に、差分画像Ｄ（ｔ，ｘ，ｙ）によるフレーム間差分に基づいて画素値の合計Ｇを評価値として計算し、その評価値Ｇが所定の閾値θ以下である場合、「狭帯域」の帯域判定結果Ｊ_ｋを出力し、評価値Ｇが閾値θ以下でない場合、「広帯域」の帯域判定結果Ｊ_ｋを出力するようにした。これにより、後述するフィルタ設定手段２０において、「狭帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、静止画像の領域）については、例えば、遮断周波数が所定の周波数以下の低域通過型フィルタが設定され、「広帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、動画像の領域）については、例えば、遮断周波数が所定の周波数より高い低域通過型フィルタが設定される。これにより、局所的に適用すべきフィルタを変化させることができるから、局所的な画像特性の違い等に適応した間引き処理を実現できる。したがって、復元に適した間引きフィルタ処理を実現することができる。また、簡易な差分演算により局所的なフィルタが設定されるから、局所的な動き量に応じて適切な間引き処理を実現できると共に、繰り返し演算が不要になるから、高速実行が可能となる。

また、第１の帯域判定手段１０を備えた適応間引きフィルタ１によれば、後述するフィルタ手段３０により、「狭帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、静止画像の領域）については、折り返し歪みの少ない出力画像信号が出力され、「広帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、動画像の領域）については、折り返し歪みの多い出力画像信号が出力される。これにより、例えば復元フィルタに複数枚超解像方式を用いた場合、動画像の領域については、小数精度位置合わせにより、折り返し歪みの成分から高域成分を再生できるため精細感が向上する。また、位置合わせの効果のない静止画像の領域については、折り返し歪みが少ないから、画像エッジのがたつきを抑制できる。

尚、前記例では、判定手段１３は、フレーム間差分の大きさに基づいた画素値の合計Ｇである評価値を二段階に区分けし、「狭帯域」または「広帯域」の２値の結果が反映された帯域判定結果Ｊ_ｋを出力するようにした。これに対し、判定手段１３は、フレーム間差分の大きさに基づいた画素値の合計Ｇである評価値を三段階に区分けし、「狭帯域」または「広帯域」の２値の結果が反映された帯域判定結果Ｊ_ｋを出力するようにしてもよい。具体的には、判定手段１３は、以下の式により、ブロックＢ_ｋ毎の帯域判定結果Ｊ_ｋを生成して出力する。

ここで、θ_０，θ_１は閾値であり、θ_０＜θ_１とする。例えば、静止画像のブロックＢ_ｋについては、「狭帯域」の帯域判定結果Ｊ_ｋが出力され、動画像のうちの動きの小さいブロックＢ_ｋについては、「広帯域」の帯域判定結果Ｊ_ｋが出力され、動画像のうちの動きの大きいブロックＢ_ｋについては、「狭帯域」の帯域判定結果Ｊ_ｋが出力される。

このように、第１の帯域判定手段１０を備えた適応間引きフィルタ１によれば、判定手段１３が、ブロックＢ_ｋ毎に、差分画像Ｄ（ｔ，ｘ，ｙ）によるフレーム間差分に基づいて画素値の合計Ｇを評価値として計算し、その評価値Ｇが所定の閾値θ_０以下である場合、「狭帯域」の帯域判定結果Ｊ_ｋを出力し、評価値Ｇが閾値θ_０よりも大きくかつ所定の閾値θ_１以下である場合、「広帯域」の帯域判定結果Ｊ_ｋを出力し、評価値Ｇが閾値θ_１よりも大きい場合、「狭帯域」の帯域判定結果Ｊ_ｋを出力するようにした。これにより、後述するフィルタ設定手段２０において、「狭帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、静止画像の領域、及び動画像のうちの動きの大きい領域）については、例えば、遮断周波数が所定の周波数以下の低域通過型フィルタが設定され、「広帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、動画像のうちの動きの小さい領域）については、例えば、遮断周波数が所定の周波数より高い低域通過型フィルタが設定される。これにより、「狭帯域」または「広帯域」の２値の帯域判定結果Ｊ_ｋを出力する前述の場合と同様の効果を奏する。すなわち、復元に適した間引きフィルタ処理を高速に実現することができる。

以上、第１の帯域判定手段１０を備えた適応間引きフィルタ１によれば、後述するフィルタ手段３０により、「狭帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、静止画像の領域、及び動画像領域のうちの動きの大きい領域）については、折り返し歪みの少ない出力画像信号が出力され、「広帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、動画像領域のうちの動きの小さい領域）については、折り返し歪みの多い出力画像信号が出力される。ここで、例えば復元フィルタに複数枚超解像方式を用いた場合には、動画像のうちの動きの小さい領域に対し、最も効果的に作用し、動画像のうちの動きの大きい領域に対してはさほど効果的に作用しない。動画像のうちの動きの小さい領域については、折り返し歪みの多い出力画像信号が出力されるから、複数枚超解像方式によって折り返し歪みの成分から高域成分を再生できるため、精細感が向上する。これに対し、動画像のうちの動きの大きい領域については、折り返し歪みの多い出力画像信号が出力されたとしても、この領域は動きによるぶれが大きいから、複数枚超解像方式がさほど有効に機能しない。そこで、動画像のうちの動きの大きい領域については、「狭帯域」の帯域判定結果Ｊ_ｋがなされ、折り返し歪みの少ない出力画像信号が出力されるようにした。したがって、動画像のうちの動きの小さい領域に対し最も効果的に作用する意味で、復元フィルタに複数枚超解像方式を用いる場合に特に好適である。

〔第２の帯域判定手段〕
次に、図１に示した帯域判定手段１０における第２の構成例について説明する。図４は、帯域判定手段１０の第２構成例を示すブロック図である。この第２の帯域判定手段１０は、記憶手段１１、差分手段１４及び判定手段１３を備えており、適応間引きフィルタ１の後段にて実行される標本化のためのインターレース処理を考慮し、標本化位相に関する情報（以下、標本化位相情報という。）を参照することで、差分画像Ｄ（ｔ，ｘ，ｙ）を生成する。図２に示した帯域判定手段１０の第１構成例とこの第２構成例とを比較すると、両帯域判定手段１０は、記憶手段１１及び判定手段１３を備えている点で同一であるが、帯域判定手段１０の第２構成例は、第１構成例とは異なる差分手段１４を備えている点で相違する。記憶手段１１及び判定手段１３は図２に示した手段と同一であるから、ここでは説明を省略する。

差分手段１４は、入力画像信号として現フレーム画像Ｉ（ｔ，ｘ，ｙ）を入力すると共に、記憶手段１１から前フレーム画像Ｉ（ｔ−Δｔ，ｘ，ｙ）を読み出し、さらに、標本化位相情報を入力する。そして、差分手段１４は、標本化位相情報に基づいて現標本点と前標本点との間の位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））を求め、この標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））の分だけ現フレーム画像Ｉ（ｔ，ｘ，ｙ）と前フレーム画像（ｔ−Δｔ，ｘ，ｙ）との間の相対位置をずらすことで、差分画像Ｄ（ｔ，ｘ，ｙ）を計算し、判定手段１３に出力する。差分画像Ｄ（ｔ，ｘ，ｙ）は、以下の式により表される。

図５は、帯域判定手段１０の第２構成例における差分手段１４の処理を示すフローチャートである。まず、差分手段１４は、入力画像信号として現フレーム画像Ｉ（ｔ，ｘ，ｙ）及び前フレーム画像Ｉ（ｔ−Δｔ，ｘ，ｙ）を入力すると共に、標本化位相情報を入力する（ステップＳ５０１）。ここで、標本化位相情報は、インターレース処理における１回目の標本点の位相（前標本化位相）及び２回目の標本点の位相（現標本化位相）である。

差分手段１４は、この標本化位相情報を用いて、前標本化位相から現標本化位相を引いた位相差である標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））を求める（ステップＳ５０２）。尚、標本点位相差は、画像内の各標本点において一様であってもよいし、ブロックＢ_ｋ毎に異なっていてもよいし、画素毎に異なっていてもよい。

差分手段１４は、現フレーム画像Ｉ（ｔ，ｘ，ｙ）、前フレーム画像Ｉ（ｔ−Δｔ，ｘ，ｙ）及び標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））により、前記式（５）に示した差分画像Ｄ（ｔ，ｘ，ｙ）を計算し（ステップＳ５０３）、差分画像Ｄ（ｔ，ｘ，ｙ）を出力する（ステップＳ５０４）。

このように、第２の帯域判定手段１０を備えた適応間引きフィルタ１によれば、差分手段１４が、適応間引きフィルタ１の後段にて実行される標本化のためのインターレース処理を考慮し、標本化位相情報を用いて標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））を求め、この標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））の分だけ現フレーム画像Ｉ（ｔ，ｘ，ｙ）と前フレーム画像Ｉ（ｔ−Δｔ，ｘ，ｙ）との間の相対位置をずらすことで、差分画像Ｄ（ｔ，ｘ，ｙ）を計算するようにした。これにより、インターレース処理に伴う擬似的な動きがキャンセルされた差分画像Ｄ（ｔ，ｘ，ｙ）を得ることができる。したがって、後段の判定手段１３により、インターレース処理による影響を受けることのない帯域判定結果Ｊ_ｋを出力することができる。つまり、前述した第１の帯域判定手段１０を備えた適応間引きフィルタ１による同一の効果に加えて、インターレースによる標本化を行う場合等のように、擬似的にテクスチャの動きが生じる場合であっても、適切な間引きフィルタ処理を実現することができる。

また、第２の帯域判定手段１０を備えた適応間引きフィルタ１によれば、後段のフィルタ設定手段２０によって、被写体及びカメラの動きに起因するテクスチャの動きと、インターレース処理による擬似的な動きとを合成した動きの大小によって、フィルタの帯域が設定される。これにより、適応間引きフィルタ１の出力画像信号を標本化した後の画像におけるテクスチャの動きに対し、忠実な適応処理を実現できる。

〔第３の帯域判定手段〕
次に、図１に示した帯域判定手段１０における第３の構成例について説明する。図６は、帯域判定手段１０の第３構成例を示すブロック図である。この第３の帯域判定手段１０は、記憶手段１１、差分手段１２及び判定手段１５を備えており、適応間引きフィルタ１の後段にて実行される標本化のためのインターレース処理を考慮し、標本化位相情報を参照することで、帯域判定結果Ｊ_ｋを生成する。図２に示した帯域判定手段１０の第１構成例とこの第３構成例とを比較すると、両帯域判定手段１０は、記憶手段１１及び差分手段１２を備えている点で同一であるが、帯域判定手段１０の第３構成例は、第１構成例とは異なる判定手段１５を備えている点で相違する。記憶手段１１及び差分手段１２は図２に示した手段と同一であるから、ここでは説明を省略する。

判定手段１５は、差分手段１２から差分画像Ｄ（ｔ，ｘ，ｙ）を入力すると共に、標本化位相情報を入力し、標本化位相情報に基づいて現標本点と前標本点との間の位相差である標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））を求め、所定のブロックＢ_ｋ毎に標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））の大小を判定し、また、所定のブロックＢ_ｋ毎にフレーム間差分の大小を判定し、帯域判定結果Ｊ_ｋを出力する。

図７は、帯域判定手段１０の第３構成例における判定の処理を示すフローチャートである。まず、判定手段１５は、差分画像Ｄ（ｔ，ｘ，ｙ）及び標本化位相情報を入力し（ステップＳ７０１）、この標本化位相情報を用いて標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））を求める（ステップＳ７０２）。そして、判定手段１５は、差分画像Ｄ（ｔ，ｘ，ｙ）を、所定数Ｋ個の複数のブロックＢ_ｋに分割する（ステップＳ７０３）。

判定手段１５は、ブロックＢ_ｋ毎に、標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））の大きさ（絶対値）の平均Ａを評価値として、以下の式により計算する（ステップＳ７０４）。

判定手段１５は、その評価値Ａが所定の閾値θ_２よりも大きいか否かを判定し（ステップＳ７０５）、評価値Ａが閾値θ_２よりも大きいと判定した場合（ステップＳ７０５：Ｙ）、「広帯域」の帯域判定結果Ｊ_ｋを設定し（ステップＳ７０６）、評価値Ａが閾値θ_２よりも大きくないと判定した場合（ステップＳ７０５：Ｎ）、ステップＳ７０７へ移行する。図７において、ステップＳ７０７〜ステップＳ７１０は、図３のステップＳ３０３〜ステップＳ３０６と同様であるから、ここでは説明を省略する。例えば、判定手段１５は、評価値Ａが閾値θ_２よりも大きいと判定した場合、適応間引きフィルタ１により出力される出力画像信号に対する標本化処理における時間的位相ずらし量（標本点位相差）が非零であると判定し、すなわち、インターレースの標本化処理が行われると判定して、「広帯域」の帯域判定結果Ｊ_ｋを設定する。一方、判定手段１５は、評価値Ａが閾値θ_２よりも大きくないと判定した場合、時間的位相ずらし量（標本点位相差）が零であると判定し、すなわち、インターレースの標本化処理が行われないと判定して、ステップＳ７０７へ移行する。

判定手段１５は、ステップＳ７０６、ステップＳ７０９またはステップＳ７１０から移行して、「狭帯域」または「広帯域」の２値の結果が設定された帯域判定結果Ｊ_ｋを出力する（ステップＳ７１１）。

すなわち、判定手段１５は、ステップＳ７０５において、評価値Ａが閾値θ_２よりも大きくないと判定した場合（ステップＳ７０５：Ｎ）、前記式（３）により、ブロックＢ_ｋ毎の帯域判定結果Ｊ_ｋを生成して出力する。これにより、例えば、インターレース処理が行われるブロックＢ_ｋについては、「広帯域」の帯域判定結果Ｊ_ｋが出力され、インターレース処理が行われない静止画像のブロックＢ_ｋについては、「狭帯域」の帯域判定結果Ｊ_ｋが出力され、インターレース処理が行われない動画像のブロックＢ_ｋについては、「広帯域」の帯域判定結果Ｊ_ｋが出力される。

このように、第３の帯域判定手段１０を備えた適応間引きフィルタ１によれば、判定手段１５が、ブロックＢ_ｋ毎に、前フレームと現フレームとの間の標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））の大きさの平均Ａを評価値として、その評価値Ａが閾値θ_２よりも大きい場合、「広帯域」の帯域判定結果Ｊ_ｋを出力し、評価値Ａが閾値θ_２よりも大きくない場合、差分画像Ｄ（ｔ，ｘ，ｙ）によるフレーム間差分に基づいた画素値の合計Ｇを評価値として、その評価値Ｇが所定の閾値θ以下である場合、「狭帯域」の帯域判定結果Ｊ_ｋを出力し、評価値Ｇが閾値θ以下でない場合、「広帯域」の帯域判定結果Ｊ_ｋを出力するようにした。これにより、後述するフィルタ設定手段２０において、「狭帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、インターレース処理が行われない静止画像の領域）については、例えば、遮断周波数が所定の周波数以下の低域通過型フィルタが設定され、「広帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、インターレース処理が行われる領域、及びインターレース処理が行われない動画像の領域）については、例えば、遮断周波数が所定の周波数より高い低域通過型フィルタが設定される。そして、後述するフィルタ手段３０により、「狭帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、インターレース処理が行われない静止画像の領域）については、折り返し歪みの少ない出力画像信号が出力され、「広帯域」の帯域判定結果Ｊ_ｋのブロックＢ_ｋ（例えば、インターレース処理が行われる領域、及びインターレース処理が行われない動画像の領域）については、折り返し歪みの多い出力画像信号が出力される。

例えば復元フィルタに複数枚超解像方式を用いた場合には、インターレース処理に伴って擬似的な動きが生じる領域及び動画像の領域に対し、効果的に作用する。これにより、前述した第１の帯域判定手段１０を備えた適応間引きフィルタ１による同一の効果に加えて、インターレースによる標本化を行う場合等のように、擬似的にテクスチャの動きが生じる場合であっても、このテクスチャの動き及び実際の被写体の動き（動画像の領域）の両方を考慮した適切な間引きフィルタ処理を実現することができる。また、第３の帯域判定手段１０を備えた適応間引きフィルタ１によれば、簡易なＩＦ／ＴＨＥＮ規則によって適応処理を実現できるため、演算コスト及びハードウェア規模を削減することができる。

尚、判定手段１５は、ブロックＢ_ｋ毎に、標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））の大きさ（絶対値）の平均Ａを示す評価値を、前記式（６）により計算し、閾値θ_２と比較するようにした。これに対し、判定手段１５は、ブロックＢ_ｋ毎に、標本点位相差（Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ））のいずれか一方の大きさ（絶対値）の平均を評価値とするようにしてもよいし、絶対値が大きい方の平均を評価値とするようにしてもよい。

また、判定手段１５は、評価値Ａが閾値θ_２よりも大きくない場合、差分画像Ｄ（ｔ，ｘ，ｙ）によるフレーム間差分に基づいた画素値の合計Ｇを評価値として、前記式（３）に示したように、その評価値Ｇと閾値θとを比較することにより、評価値Ｇを二段階に区分けし、「狭帯域」または「広帯域」の２値の結果が反映された帯域判定結果Ｊ_ｋを出力するようにした。これに対し、判定手段１５は、評価値Ａが閾値θ_２よりも大きくない場合、前記式（４）に示したように、評価値Ｇと閾値θ_０，θ_１とを比較することにより、評価値Ｇを三段階に区分けし、「狭帯域」または「広帯域」の２値の結果が反映された帯域判定結果Ｊ_ｋを出力するようにしてもよい。

〔フィルタ設定手段〕
次に、図１に示したフィルタ設定手段２０について説明する。前述のとおり、フィルタ設定手段２０は、帯域判定手段１０から入力したブロックＢ_ｋ毎の帯域判定結果Ｊ_ｋに基づいて、ブロックＢ_ｋ毎に、所定数のタップ係数を決定することによりフィルタを設定し、すなわちフィルタの帯域を設定し、ブロックＢ_ｋ毎の所定数のタップ係数をフィルタ制御信号としてフィルタ手段３０に出力する。

具体的には、フィルタ設定手段２０は、帯域判定結果Ｊ_ｋが「狭帯域」を示している場合、そのブロックＢ_ｋについてはフィルタの帯域を狭くするために、例えば遮断周波数が所定の周波数以下になるように、フィルタを狭帯域に設定する。これにより、そのブロックＢ_ｋについて、フィルタ手段３０にて、ナイキスト周波数を超える成分による折り返し歪みが残らないように、ダウンサンプリング処理が行われる。一方、フィルタ設定手段２０は、帯域判定結果Ｊ_ｋが「広帯域」を示している場合、そのブロックＢ_ｋについてはフィルタの帯域を広くするために、例えば遮断周波数が所定の周波数よりも高くなるように、フィルタを広帯域に設定する。これにより、そのブロックＢ_ｋについて、フィルタ手段３０にて、ナイキスト周波数を超える成分による折り返し歪みが残るように、ダウンサンプリング処理が行われる。

つまり、図２に示した第１の帯域判定手段１０において、判定手段１３が前記式（３）を用いて図３の処理を行う場合、帯域判定結果Ｊ_ｋが「狭帯域」を示す静止画像の領域に対しては、折り返し歪みが残らないようにフィルタが設定される。一方、帯域判定結果Ｊ_ｋが「広帯域」を示す動画像の領域に対しては、折り返し歪みが残るようにフィルタが設定される。

また、図２に示した第１の帯域判定手段１０において、判定手段１３が前記式（４）を用いて処理を行う場合、帯域判定結果Ｊ_ｋが「狭帯域」を示す、静止画像の領域及び動画像のうちの動きの大きい領域に対しては、折り返し歪みが残らないようにフィルタが設定される。一方、帯域判定結果Ｊ_ｋが「広帯域」を示す、動画像のうちの動きの小さい領域に対しては、折り返し歪みが残るようにフィルタが設定される。

また、図４に示した第２の帯域判定手段１０においては、図２に示した第１の帯域判定手段１０と同様のフィルタが設定される。

また、図６に示した第３の帯域判定手段１０において、判定手段１５が前記式（３）を用いて図７の処理を行う場合、帯域判定結果Ｊ_ｋが「狭帯域」を示す、インターレース処理が行われない静止画像の領域に対しては、折り返し歪みが残らないようにフィルタが設定される。一方、帯域判定結果Ｊ_ｋが「広帯域」を示す、インターレース処理が行われる領域及びインターレース処理が行われない動画像の領域に対しては、折り返し歪みが残るようにフィルタが設定される。

また、図６に示した第３の帯域判定手段１０において、判定手段１５が前記式（４）を用いて処理を行う場合、帯域判定結果Ｊ_ｋが「狭帯域」を示す、インターレース処理が行われない静止画像の領域及びインターレース処理が行われない動画像のうちの動きの大きい領域に対しては、折り返し歪みが残らないようにフィルタが設定される。一方、帯域判定結果Ｊ_ｋが「広帯域」を示す、インターレース処理が行われる領域及びインターレース処理が行われない動画像のうちの動きの小さい領域に対しては、折り返し歪みが残るようにフィルタが設定される。

前述のとおり、例えば復元フィルタに複数枚超解像方式を用いた場合には、ナイキスト周波数を超える成分による折り返し歪みを利用することで、高画質の画像を復元することができ、動画像の領域（特に、動画像のうちの動きの小さい領域）、及びインターレース処理に伴って擬似的な動きが生じる領域に対し、効果的に作用する。フィルタ設定手段２０は、ナイキスト周波数を超える成分による折り返し歪みがこれらの領域に残るように、フィルタを設定するようにしたから、復元に適した間引きフィルタ処理を実現することができる。

以下、フィルタ設定手段２０について具体例を挙げて説明する。例えば、帯域判定結果Ｊ_ｋが「狭帯域」及び「広帯域」からなる２値の場合、フィルタ設定手段２０は、「Ｊ_ｋ＝狭帯域」なるブロックＢ_ｋに対しては、その遮断空間周波数が水平ｕ_ｓ、垂直ｖ_ｓとなるフィルタを設定する。一方、フィルタ設定手段２０は、「Ｊ_ｋ＝広帯域」なるブロックＢ_ｋに対しては、その遮断空間周波数が水平ｕ_ｍ、垂直ｖ_ｍとなるフィルタを設定する。ここで、ｕ_ｓ＝ｖ_ｓかつｕ_ｍ＝ｖ_ｍとする。また、ｕ_ｓ＜ｕ_ｍかつｖ_ｓ＜ｖ_ｍとする。典型的には、ｕ_ｓ＝ｖ_ｓ＜ｕ_ｍ＝ｖ_ｍとする。

例えば、フィルタ手段３０が、入力画像信号を、水平、垂直共に１／４に間引くことを想定した場合に、フィルタ設定手段２０は、「Ｊ_ｋ＝狭帯域」なるブロックＢ_ｋに対し、以下の式に示すタップ係数、またはこれを近似するタップ係数の１次元フィルタを水平方向及び垂直方向に畳み込むようなフィルタを設定する。

尚、前記式（７）に示すタップ係数は、原画像である入力画像信号のナイキスト周波数の１／４が遮断空間周波数となるＳｉｎｃ関数を、１５タップで打ち切った例である。

一方、フィルタ設定手段２０は、「Ｊ_ｋ＝広帯域」なるブロックＢ_ｋに対し、以下の式に示すタップ係数、またはこれを近似するタップ係数の１次元フィルタを水平方向及び垂直方向に畳み込むようなフィルタを設定する。

尚、前記式（８）に示すタップ係数は、原画像である入力画像信号のナイキスト周波数の１／２が遮断空間周波数となるＳｉｎｃ関数を、７タップで打ち切った例である。

このように、適応間引きフィルタ１のフィルタ設定手段２０が、複数枚超解像方式を用いた復元フィルタ処理を考慮して、所定のブロックＢ_ｋ（例えば、動画像の領域（特に動きの小さい領域）、所定の閾値を超える標本点位相差が存在するインターレース処理が行われる領域）について、フィルタ手段３０にてナイキスト周波数を超える成分による折り返し歪みが敢えて残るように、広帯域のフィルタを設定するようにした。これにより、複数枚超解像方式を用いた復元フィルタ処理により、高画質の画像を復元することができる。つまり、復元に適した間引きフィルタ処理を実現することができると共に、繰り返し演算が不要であるから、高速実行が可能となる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、帯域判定手段１０は、「狭帯域」または「広帯域」の２値の結果が反映された帯域判定結果Ｊ_ｋを出力し、フィルタ設定手段２０は、帯域判定結果Ｊ_ｋに基づいて、ブロックＢ_ｋ毎に、「狭帯域」または「広帯域」のフィルタを設定するようにした。これに対し、帯域判定手段１０は、３以上の多値の結果が反映された帯域判定結果Ｊ_ｋを出力し、フィルタ設定手段２０は、ブロックＢ_ｋ毎に、多値の結果が反映された異なる帯域幅を有するフィルタを設定するようにしてもよい。また、帯域判定手段１０は、所定の「狭帯域」から所定の「広帯域」までを連続値で示した帯域判定結果Ｊ_ｋを出力し、フィルタ設定手段２０は、ブロックＢ_ｋ毎に、その連続値に応じた異なる帯域幅を有するフィルタを設定するようにしてもよい。また、フィルタ設定手段２０は、ブロックＢ_ｋ毎に、多種類のフィルタを切り替えたり、パラメトリックにフィルタのタップ係数を調整したりするようにしてもよい。

例えば、図２に示した帯域判定手段１０の判定手段１３は、ブロックＢ_ｋ毎に、差分画像Ｄ（ｔ，ｘ，ｙ）の画素値の合計である評価値Ｇの大きさに比例する連続値を設定し、その連続値を帯域判定結果Ｊ_ｋとして出力する。そして、フィルタ設定手段２０は、判定手段１３から帯域判定結果Ｊ_ｋを入力し、帯域判定結果Ｊ_ｋの示す連続値に比例する帯域幅を設定し、その帯域幅を有するフィルタを設定する。これにより、フレームの差分が大きいほど、すなわち動画像であるほど、広帯域のフィルタが設定される。尚、判定手段１３は、評価値Ｇに応じて、比例しない連続値を帯域判定結果Ｊ_ｋとして出力するようにしてもよい。

また、帯域判定手段１０の判定手段１３は、ブロックＢ_ｋ毎に、差分画像Ｄ（ｔ，ｘ，ｙ）の画素値の合計である評価値Ｇが閾値θ_１以下の場合、評価値Ｇの大きさに比例する連続値を設定し、評価値Ｇが閾値θ_１を超える場合、評価値Ｇの大きさに反比例する連続値を設定し、その連続値を帯域判定結果Ｊ_ｋとして出力する。そして、フィルタ設定手段２０は、判定手段１３から帯域判定結果Ｊ_ｋを入力し、帯域判定結果Ｊ_ｋの示す連続値に比例する帯域幅を設定し、その帯域幅を有するフィルタを設定する。これにより、動画像のうちの動きが小さい領域に対し、広帯域に近いフィルタが設定され、静止画像の領域及び動画像のうちの動きが大きい領域に対し、狭帯域に近いフィルタが設定される。

尚、本発明の実施形態による適応間引きフィルタ１のハードウェア構成としては、通常のコンピュータを使用することができる。適応間引きフィルタ１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。適応間引きフィルタ１に備えた帯域判定手段１０、フィルタ設定手段２０及びフィルタ手段３０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１ 適応間引きフィルタ
１０ 帯域判定手段
１１ 記憶手段
１２，１４ 差分手段
１３，１５ 判定手段
２０ フィルタ設定手段
３０ フィルタ手段

Claims (3)

1. 入力画像信号を間引きして出力画像信号を出力する間引きフィルタにおいて、
   前記入力画像信号について局所的にフィルタの帯域を判定する帯域判定手段と、
   前記帯域判定手段により局所的に判定されたそれぞれの帯域にて、前記フィルタを設定するフィルタ設定手段と、
   前記フィルタ設定手段により設定されたフィルタを用いて、前記入力画像信号を間引きして出力画像信号を出力するフィルタ手段と、を備え、
   前記帯域判定手段は、前記入力画像信号における時刻の異なる２フレームの画像信号の差分値を局所的に計算し、前記差分値が所定の第１の閾値以下の場合に、前記差分値が所定の第２の閾値（前記第１の閾値より小さい閾値）よりも大きいときは帯域が広く遮断周波数が所定の周波数より高くなり、前記差分値が前記第２の閾値以下のときは帯域が狭く遮断周波数が所定の周波数以下になるように、また、前記差分値が前記第１の閾値よりも大きい場合には、帯域が狭く遮断周波数が所定の周波数以下になるように、前記フィルタの帯域を局所的に判定することを特徴とする間引きフィルタ。
2. 入力画像信号を間引きして出力画像信号を出力する間引きフィルタにおいて、
   前記入力画像信号について局所的にフィルタの帯域を判定する帯域判定手段と、
   前記帯域判定手段により局所的に判定されたそれぞれの帯域にて、前記フィルタを設定するフィルタ設定手段と、
   前記フィルタ設定手段により設定されたフィルタを用いて、前記入力画像信号を間引きして出力画像信号を出力するフィルタ手段と、を備え、
   前記帯域判定手段は、前記入力画像信号における時刻の異なる２フレームの画像信号の差分値を局所的に計算し、前記入力画像信号と前記出力画像信号に対し時間的に位相をずらして標本化する際の標本点間の差を示す標本点位相差が所定の第３の閾値以下の場合に、前記差分値が所定の第４の閾値（前記第３の閾値より小さい閾値）よりも大きいときは帯域が広く遮断周波数が所定の周波数より高くなり、前記差分値が前記第４の閾値以下のときは帯域が狭く遮断周波数が所定の周波数以下になるように、また、前記標本点位相差が前記第３の閾値よりも大きい場合には、帯域が広く遮断周波数が所定の周波数より高くなるように、前記フィルタの帯域を局所的に判定することを特徴とする間引きフィルタ。
3. コンピュータを、請求項１または２に記載の間引きフィルタとして機能させるためのプログラム。

Images