JP5556415B2 - 画像処理装置 - Google Patents

Description

本願開示は、一般に画像処理装置に関し、詳しくは時間フィルタ処理を行なう画像処理装置に関する。

ハイビジョンやスーパーハイビジョンといった高品位動画においては、１フレームあたりのデータ量が膨大であるために、時間フィルタ処理の対象画像を、処理装置内部の高価なＳＲＡＭ（Static Random Access Memory）に格納しておくことは好ましくない。一般には、処理装置外部のＳＤＲＡＭ（Synchronous Dynamic Random Memory）をフレームメモリとして使用して、このフレームメモリに時間フィルタ処理の対象画像を配置する。

外部ＳＤＲＡＭをフレームメモリとして使用する場合、単位時間あたりのデータ転送量は、処理後の画素の生成に必要なデータの取得量に依存する。即ち、ある単位基準値×画面サイズ×フレームレート×フィルタのタップ数により、データ転送量の計算を定式化することが可能である。動画処理においては、画面サイズ及びフレームレートは製品の基本的な仕様から決定されるものであり、自由度が無い。従って、時間フィルタ処理に用いるタップ数が、データ転送量を実質的に決定することになる。

時間フィルタ処理を行なうためのデジタルフィルタとしては、ＦＩＲ（Finite Impulse Response）型或いはＩＩＲ（Infinite Impulse Response）型が主に用いられる。ＩＩＲ型フィルタのメリットとしては、例えば２入力１出力構成であり、外部のＳＤＲＡＭからのデータ読み出し量が少なくてすむ。ＩＩＲ型のフィルタのデメリットとしては、消しきれなかったノイズや誤処理により生じたノイズが、長期間伝播してしまう。ＦＩＲ型フィルタのメリットとしては、消しきれなかったノイズや誤処理により生じたノイズが伝播しない点が挙げられる。またＦＩＲ型フィルタのデメリットとしては、ＩＩＲ型と同程度のハードウァエリソースに抑えようとするとタップ数が２程度となり、このように少ないタップ数では時間フィルタとして良好な性能を発揮するのが困難である。即ち、単位時間あたりにメモリから読み出すデータ転送量を制限してしまうと、良好なフィルタ性能を発揮することが困難となる。

特開平８−９３１０号公報 特開２００５−１２７６８号公報

以上を鑑みると、限られたデータ転送量の範囲内で良好なフィルタ性能を発揮することが可能な画像処理装置が望まれる。

画像処理装置は、カレントフレームと複数の参照候補フレームとの各々を縮小して複数の縮小フレームを生成する縮小ユニットと、前記複数の参照候補フレームの各々を分割した各ブロックについて、前記カレントフレーム中の同一位置にあるブロックとの類似度を前記縮小フレームを用いて計算する類似度計算ユニットと、前記類似度に応じて前記各ブロックについての優先度を算出する優先度算出ユニットと、前記複数の参照候補フレームに含まれる全てのブロックのうち、所定数を超えない数のブロックを前記優先度に応じて選択する参照画像選択ユニットと、前記選択したブロックと前記カレントフレームのブロックとを用いて時間フィルタ処理を実行するフィルタユニットを含むことを特徴とする。

本願開示の少なくとも１つの実施例によれば、ブロック毎に求めた優先度に基づいて、所定数を超えない数のブロックを参照候補フレームから選択して、時間フィルタ処理を実行する。従って、限られたデータ転送量の範囲内で、類似度の高いブロックのみを用いた良好な性能のフィルタ処理を実現することができる。

画像処理装置の構成の一例を示す図である。 優先度及びヒストグラム算出ユニットにより算出するヒストグラムについて説明する図である。 ヒストグラムに応じて所定数を超えない数のブロックを選択することについて説明する図である。 複数の参照候補フレームに含まれる全てのブロックのうち、カレントフレームの各ブロック毎に一定個数のブロックを優先度に応じて選択する動作を示す図である。 縮小ユニットの構成の一例を示す図である。 供給される動画像の各フレーム毎の処理のタイミングを示す図である。 アクティビティを入力とする関数の一例を示す図である。 Ｍｅｄｉａｎ（Ｓｘｙ）を入力とする関数の一例を示す図である。 関数値Ｓａと関数値Ｓｂとの積であるＳａ・Ｓｂを示す図である。 類似度と優先度との関係の一例を示す図である。 図１の画像処理装置を用いたシステムの構成の一例を示す図である。 図１の画像処理装置を用いたシステムの構成の別の一例を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。

図１は、画像処理装置の構成の一例を示す図である。図１の画像処理装置は、縮小ユニット１０、動き検出用カレントメモリ１１、動き検出用参照メモリ１２、動き検出（類似度計算）ユニット１３、時間類似度ラインメモリ１４、時間類似度読み出しユニット１５、優先度及びヒストグラム算出ユニット１６を含む。画像処理装置は更に、参照画像優先度マップ１７、参照画像選択ユニット１８、適応ＦＩＲ（時間フィルタ）１９、空間類似度用特徴量抽出ユニット２０、空間類似度用ラインメモリ２１、空間類似度算出ユニット２２を含む。縮小遅延メモリ３０−１乃至３０−４及び遅延フレームメモリ３１−１乃至３１−４は、画像処理装置の外部のＤＲＡＭである外部メモリ３３に設けられるメモリ領域である。図１では、図示の都合上、４つの縮小遅延メモリ３０−１乃至３０−４及び４つの遅延フレームメモリ３１−１乃至３１−４のみが示されているが、ｎ枚の画像を参照する場合にはそれぞれｎ個ずつ設けられる。

縮小ユニット１０は、順次供給される動画像の各フレームを縮小して縮小フレームを生成し、生成した縮小フレームを動き検出用カレントメモリ１１に供給すると共に、外部メモリ３３の縮小遅延メモリ領域に順次格納する。例えば、縦横それぞれを１／４に縮小することにより、画素数が１／１６である縮小フレームを生成してよい。外部メモリ３３の縮小遅延メモリ領域は縮小フレームｎ枚分の縮小フレーム領域を含み、最も古い縮小フレーム領域の縮小フレームデータを最新の縮小フレームデータにより順次更新する。また同時に、順次供給される動画像の各フレームは、外部メモリ３３の遅延フレームメモリ領域に順次格納される。外部メモリ３３の遅延フレームメモリ領域はフレームｎ枚分の遅延フレーム領域を含み、最も古い遅延フレーム領域のフレームデータを最新のフレームデータにより順次更新する。

カレントフレームと複数の参照候補フレームとに着目した場合、カレントフレームの縮小フレームの縮小カレントブロックが動き検出用カレントメモリ１１に保持されてよい。このとき、動き検出用参照メモリ１２は、複数の参照候補フレーム中の前記カレントブロックと同一位置にある縮小ブロックを、外部メモリ３３の縮小遅延メモリ３０−１乃至３０−４から読み出して保持してよい。動き検出（類似度計算）ユニット１３は、複数の参照候補フレームの各々を分割した各ブロックについて、カレントフレーム中の同一位置にあるブロックとの類似度を縮小フレームのデータを用いて計算する。即ち、動き検出（類似度計算）ユニット１３は、動き検出用カレントメモリ１１に格納される縮小カレントブロックと、動き検出用参照メモリ１２に格納される複数の参照候補フレームの各縮小ブロックとの類似度を計算する。後程説明するように、複数の参照候補フレーム中の各ブロックのうちで、カレントブロックとの類似度が高いブロック（類似しているブロック）が、時間フィルタ処理の計算対象として選択されることになる。

上記類似度計算においては、複数の参照候補フレームにわたり、縮小カレントブロックと２次元的に同位置の縮小ブロックに対して、縮小カレントブロックとのＳＡＤ（Sum of Absolute Differences）又はＳＳＤ（Sum of Squared Differences）等を計算してよい。計算したＳＡＤ又はＳＳＤがある閾値以下の縮小ブロックについては、カレントブロックに対してほぼ静止しているものと推定することができる。動き検出（類似度計算）ユニット１３は、求めたＳＡＤ又はＳＳＤの値を各縮小ブロック毎の時間類似度として出力する。この際、ＳＡＤ又はＳＳＤがある閾値より大きい縮小ブロックについては、静止していないと推定されるブロックであるが、求めた大きな値のＳＡＤ又はＳＳＤをそのまま類似度として出力してよい。或いは、ＳＡＤ又はＳＳＤがある閾値より大きい縮小ブロックについては、静止していないブロックであるとして、例えば類似度を最大値に設定してよい。これら類似度の値が大きなブロック（静止していないと推定されるブロック）については、時間フィルタ処理において選択されないことになる。また或いは、ＳＡＤ又はＳＳＤがある閾値より大きい縮小ブロックについては、例えばフラグ等を設定することにより、時間フィルタ処理において選択されないようにしてよい。

動き検出（類似度計算）ユニット１３が出力した時間類似度は、時間類似度ラインメモリ１４に順次格納される。時間類似度読み出しユニット１５は、時間類似度ラインメモリ１４から時間類似度を順次読み出して、優先度及びヒストグラム算出ユニット１６に供給する。優先度及びヒストグラム算出ユニット１６は、時間類似度に応じて、複数の参照候補フレームの各ブロックについての優先度を算出する。優先度は、時間類似度そのものでもよいし、時間類似度を量子化した値でもよいし、時間類似度を何らかの関数で変換した値でもよいし、後述するようにカレントブロックの空間的特徴に基づいて時間類似度を補正した値であってもよい。なお図１の構成では、空間類似度用特徴量抽出ユニット２０、空間類似度用ラインメモリ２１、及び空間類似度算出ユニット２２により空間的特徴に応じた空間類似度を算出し、優先度及びヒストグラム算出ユニット１６での優先度算出に用いている。しかしながらこのように空間的特徴に応じた空間類似度を用いることは必須ではなく、時間類似度のみに基づいて優先度を算出してもよい。

複数の参照候補フレームの各ブロックに対して求められた優先度は、参照画像優先度マップ１７に格納される。参照画像選択ユニット１８は、この参照画像優先度マップ１７を参照して、複数の参照候補フレームに含まれる全てのブロックのうち、所定数を超えない数のブロックを優先度に応じて選択する。この選択されたブロックとカレントブロックとが外部メモリ３３の遅延フレームメモリ３１−１乃至３１−４から読み出されて、適応ＦＩＲ（時間フィルタ）１９に供給される。適応ＦＩＲ（時間フィルタ）１９は、選択したブロックとカレントフレームのブロックとを用いて時間フィルタ処理を実行する。

このように、ブロック単位に時間類似度から求めた優先度に応じて、所定数を超えない数のブロックを参照ブロックとして選択し、カレントフレームのブロックと参照ブロックとを用いて時間フィルタ処理を実行する。類似度が高いと判断したブロックのみを用いて時間フィルタ処理を実行することにより、良好な性能の時間フィルタ処理を実現することができる。この際、カレントフレームのブロック毎に選択する参照ブロックの数は、カレントフレームの各ブロックについて同一であってよいし、或いはカレントフレームの各ブロック毎に異なってもよい。またカレントフレームのブロック毎に選択する参照ブロックが所属する参照候補フレームは、カレントフレームの各ブロック毎に異なってよい。ｎ枚の参照候補フレーム（過去のフレーム）のうちから選択する参照ブロックの総数がｍフレーム分（ｍ＜ｎ）となるように設定すれば、単純にｎ枚参照するＦＩＲフィルタと比較して、ｍ／ｎ倍のデータ転送量の削減が可能となる。逆に言えば、ｍフレーム分という限られたデータ転送量の範囲内で、良好な時間フィルタ特性を実現することができる。なお外部メモリ３３の縮小遅延メモリとのデータのやり取りが追加で発生するが、縮小フレームのデータサイズは元フレームの１／１６等であるので、ｎ枚の縮小フレームを読み出したとしても高々ｎ／１６フレーム分のデータ量が追加されるに過ぎない。

優先度及びヒストグラム算出ユニット１６は、複数の参照候補フレームの各々について優先度のヒストグラムを生成してよい。そして参照画像選択ユニット１８は、このヒストグラムに応じて所定数を超えない数のブロックを選択してよい。

図２は、優先度及びヒストグラム算出ユニット１６により算出するヒストグラムについて説明する図である。図２において、カレントフレームのカレントブロック４０と同一位置において、複数ｎ＋１枚の参照候補フレーム４１−０乃至４１−ｎ中のブロック４２−０乃至４２−ｎが示されている。ブロック４２−０乃至４２−ｎのそれぞれに対して、カレントブロック４０とのＳＡＤ又はＳＳＤを求めて時間類似度とし、この時間類似度に基づいて優先度が求められる。ブロック４２−０乃至４２−ｎに対して求めた優先度がそれぞれｒ０乃至ｒｎであるとする。同様にして全てのブロックについて優先度を求めることにより、参照候補フレーム４１−０乃至４１−ｎの各フレームに対して、各ブロックの優先度を示した優先度マップ４３−０乃至４３−ｎが求められる。ここで優先度は、所定のスキップ幅で量子化しておく。例えば優先度マップ４３−０において、優先度が第１の値であるブロックの総数、或いは優先度が第１の範囲にあるブロックの総数を求めると、その数がｈ０であったとする。また優先度マップ４３−０において、優先度が第２の値であるブロックの総数、或いは優先度が第２の範囲にあるブロックの総数を求めると、その数がｉ０であったとする。更に優先度マップ４３−０において、優先度が第３の値であるブロックの総数、或いは優先度が第３の範囲にあるブロックの総数を求めると、その数がｊ０であったとする。同様にして、優先度がある値である或いはある範囲にあるブロックの総数を数えていくことにより、参照候補フレーム４１−０に対して、優先度のヒストグラム４５−０が作成される。このようにして、参照候補フレーム４１−０乃至４１−ｎに対して優先度のヒストグラム４５−０乃至４５−ｎを作成することができる。

図３は、ヒストグラムに応じて所定数を超えない数のブロックを選択することについて説明する図である。図３において、縦軸は、カレントフレーム１枚に対して選択されるブロックの総数を示す。カレントフレーム１枚に対して選択されるブロックの総数には、点線５０で示す上限が設けられている。ヒストグラムに応じてブロックを選択する方法には、時間距離に応じた重みＷ（ｔ）を考慮する方法と、重みＷ（ｔ）を考慮しない方法とがある。

時間距離に応じた重みＷ（ｔ）を考慮しない場合には、まず、優先度が最も高いブロック（時間類似度が高いブロック）を、各参照候補フレーム４１−０乃至４１−ｎから順番に選択する。図２に示す例の場合には、ヒストグラム４５−０乃至４５−ｎのそれぞれにおいて、ｈ０乃至ｈｎ個のブロックが、優先度が最も高いブロックであるとする。この場合、図３に示すように、ｈ０乃至ｈｎ個のブロックが最優先して順番に選択される。この際、カレントフレームに最も近い参照候補フレーム４１−０のｈ０個を最初に選択し、カレントフレームに２番目に近い参照候補フレーム４１−１のｈ１個を次に選択し、というように選択する。即ち、ｈ０、ｈ１、ｈ２、・・・、ｈｎの順に選択する。これらのブロックを選択した時点で、まだ上限ブロック数に対して余裕があるので、優先度が２番目に高いブロックを、各参照候補フレーム４１−０乃至４１−ｎから順番に選択する。図２に示す例の場合には、ヒストグラム４５−０乃至４５−ｎのそれぞれにおいて、ｉ０乃至ｉｎ個のブロックが、優先度が２番目に高いブロックであるとする。この場合、カレントフレームからの時間距離に応じてｉ０、ｉ１、ｉ２、・・・、ｉｎの順に選択するが、最初のｉ０個を選択した時点で、図３に示すように上限ブロック数に対して余裕がなくなっている。即ち、次のｉ１を選択すると上限ブロック数を超えてしまう。従って、図３に示すように、ｈ０、ｈ１、ｈ２、・・・、ｈｎ、ｉ０個のブロックを選択した時点で、選択処理を終了する。

時間距離に応じた重みＷ（ｔ）を考慮する場合には、カレントフレームと各参照候補フレームとの時間距離を、ブロック選択処理において考慮するファクターの１つとして用いる。例えば、複数の参照候補フレームのうちの第１の参照候補フレームがカレントフレームから第１の時間的距離にあり、第２の参照候補フレームがカレントフレームから第１の距離よりも長い第２の時間的距離にあるとする。この場合に、第１の参照候補フレームの各ブロックが、第２の参照候補フレームの各ブロックよりも選択されやすくなるように、優先度及びヒストグラム算出ユニット１６は、優先度にＷ（ｔ）による重み付けをする。ここで重みＷ（ｔ）としては、カレントフレームとの時間距離ｔが大きくなると徐々に減少する値をとるものとすればよい。即ち、図２の例で言えば、ヒストグラム４５−０のｈ０個のブロックの優先度に対して、ヒストグラム４５−１のｈ１個のブロックの優先度が低くなるように、各優先度にＷ（ｔ）を掛算してよい。同様にして、ヒストグラム４５−０乃至４５−ｎの各優先度にＷ（ｔ）を掛算する。この結果、図３に示す例では、ヒストグラム４５−２のｈ２個のブロックの優先度よりも、ヒストグラム４５−０のｉ０個のブロックの優先度が高くなり、ヒストグラム４５−０のｉ０個のブロックが先に選択されている。

図４は、複数の参照候補フレームに含まれる全てのブロックのうち、カレントフレームの各ブロック毎に一定個数のブロックを優先度に応じて選択する動作を示す図である。図１に示す参照画像選択ユニット１８は、参照画像優先度マップ１７を参照して、カレントフレームの各ブロック毎に一定個数のブロックを優先度に応じて選択してよい。図４に示す例では、各ブロック毎に優先度の高い方から２個のブロックを選択している。この場合も、時間距離に応じた重みＷ（ｔ）を考慮する方法と、重みＷ（ｔ）を考慮しない方法とがある。

時間距離に応じた重みＷ（ｔ）を考慮しない場合には、カレントフレームの各ブロックについて、参照候補フレーム４１−０乃至４１−ｎから優先度が最も高いブロックを２個選択する。例えば図２に示すカレントフレームのカレントブロック４０に対しては、図４において優先度がｒ１のブロックと優先度がｒｎのブロックとが選択されている。優先度ｒ１と優先度ｒｎとが、優先度ｒ０乃至ｒｎのうちで上位２つの優先度であることになる。また他の１つのブロックに対しては、優先度がｑ０のブロックと優先度がｑ２のブロックとが選択されている。優先度ｑ０と優先度ｑ２とが、優先度ｑ０乃至ｑｎのうちで上位２つの優先度であることになる。

時間距離に応じた重みＷ（ｔ）を考慮する場合には、カレントフレームと各参照候補フレームとの時間距離を、ブロック選択処理において考慮するファクターの１つとして用いる。前述の場合と同様に、優先度及びヒストグラム算出ユニット１６は、優先度にＷ（ｔ）による重み付けをする。ここで重みＷ（ｔ）としては、カレントフレームとの時間距離ｔが大きくなると徐々に減少する値をとるものとすればよい。例えば図２に示すカレントフレームのカレントブロック４０に対しては、図４において優先度がｒ０のブロックと優先度がｒ１のブロックとが選択されている。重み付け優先度Ｗ（ｔ）・ｒ０と重み付け優先度Ｗ（ｔ）・ｒ１とが、重み付け優先度Ｗ（ｔ）・ｒ０乃至Ｗ（ｔ）・ｒｎのうちで上位２つの重み付け優先度であることになる。

図５は、縮小ユニット１０の構成の一例を示す図である。図５に示す縮小ユニット１０は、２次元ノイズ除去ユニット５１、２次元ローパスフィルタ５２、及びサブサンプリングユニット５３を含む。２次元ノイズ除去ユニット５１は、例えば３×３近傍領域で中間値を検出して領域の中心画素値とするメディアンフィルタであり、孤立点ノイズ等を除去するために用いられる。２次元ローパスフィルタ５２は、例えば所望の低域通過特性を持つガウシアン関数やｓｉｎｃ関数等を畳み込みカーネルとしてフィルタリングすることにより、高周波成分を除去して低周波成分のみを含む画像を生成する。サブサンプリングユニット５３は、例えば、縦方向に４画素毎に１画素を選択し、横方向に４画素毎に１画素を選択することにより、１６画素毎に１画素を選択するサブサンプリングを実行する。

図６は、供給される動画像の各フレーム毎の処理のタイミングを示す図である。動画像の複数のフレーム６０−０乃至６０−５が、図１の画像処理装置に順次供給される。各フレームが供給されると、画像処理装置の縮小ユニット１０は、当該フレームの縮小フレームを生成する。縮小フレームの生成は、次のフレームが供給される前に、１フレーム期間の間に行なわれる。フレーム６０−０乃至６０−５に対する縮小フレームが縮小フレーム６１−０乃至６１−５として示される。

縮小フレームを生成すると共に、１フレーム期間の間に、外部メモリ３３の縮小遅延メモリから直近の過去５枚の縮小フレームを読み出す。この例では参照候補フレームの数が５であるが、参照候補フレームの数は５に限られることなく、所望の数に設定されてよい。現在のフレームから計算した縮小フレーム（カレント縮小フレーム）と、読み出した参照縮小フレームとに基づいて、画像処理装置の動き検出（類似度計算）ユニット１３が類似度を計算する。更にこの類似度に基づいて、優先度及びヒストグラム算出ユニット１６が優先度を算出する。これらの計算も、次のフレームが供給される前に、１フレーム期間の間に行なわれる。フレーム６０−０乃至６０−５の各々をカレントフレームとして計算された優先度が、優先度６２−０乃至６２−５として示される。

上記のようにして計算された優先度に基づいて、次のフレーム期間において、参照画像選択ユニット１８が、外部メモリ３３の遅延フレームメモリから、カレントフレームと選択されたブロックとを読み出す。例えば、フレーム６０−１が供給されるフレーム期間においては、フレーム６０−０をカレントフレームとして、カレントフレームと直近の過去５枚のフレームが外部メモリ３３の遅延フレームメモリから読み出される。図６においては、外部メモリ３３の遅延フレームメモリが遅延フレームメモリ６３として示される。フレーム６０−１が供給されるフレーム期間においては、“０”で示されるカレントフレームと、“−１”乃至“−５”で示される直近の過去５枚のフレームの選択ブロックとが読み出される。これらの読み出された画像データを用いて、画像処理装置の適応ＦＩＲ（時間フィルタ）１９が時間フィルタ処理を実行し、出力フレームを生成する。図６において、各フレーム期間において生成された出力フレームが、フレーム６４−０乃至６４−５として示されている。

図１に戻り、空間類似度用特徴量抽出ユニット２０は、供給されるカレントフレームのデータに基づいて、各ブロックの空間的特徴を示す特徴量を算出する。ここで算出する特徴量としては、ブロックの輝度分散値や、当該ブロックと周囲８ブロックとのＳＡＤ又はＳＳＤの中間値等である。空間類似度用特徴量抽出ユニット２０が算出した特徴量は空間類似度用ラインメモリ２１に供給される。空間類似度算出ユニット２２は、空間類似度用ラインメモリ２１から供給される上記特徴量に基づいて、空間類似度を算出する。このようにして算出された空間類似度は、前述の時間類似度を補正するために使用される。

時間類似度の算出では、同一空間位置で時間位置が異なる２つのブロック間のＳＡＤ又はＳＳＤを求めることにより、ＳＡＤ又はＳＳＤが小さい場合には静止ブロックであると推定している。しかしながら、空間的に比較的平坦な輝度分布のブロック等の場合には、時間位置が異なる２つのブロック間のＳＡＤ又はＳＳＤが小さいとしても、必ずしも静止しているとは限らない。そのような場合には、時間類似度が高い類似度を示していたとしても、それ程信頼性が無いことになるので、時間類似度の示す類似の度合いを低める方向に補正する（それ程類似していないことを示す方向に変化させる）。また当該ブロックと周囲８ブロックとのＳＡＤ又はＳＳＤの中間値等が低い場合には、当該ブロックと周囲８ブロックとが類似していることになる。即ち、同じような空間的特徴のブロックが並んでいることになる。そのような場合に、時間位置が異なる２つのブロック間のＳＡＤ又はＳＳＤが小さいとしても、必ずしも静止しているとは限らない。そのような場合には、時間類似度が高い類似度を示していたとしても、それ程信頼性が無いことになるので、時間類似度の示す類似の度合いを低める方向に補正する（それ程類似していないことを示す方向に変化させる）。

まず、空間的に比較的平坦な輝度分布であるか否かを示す指標として、空間類似度用特徴量抽出ユニット２０は、カレントブロックの輝度分散（例えば、ブロック内の各画素値と平均画素値との差分の自乗和を全画素数で正規化した値）等を求める。このような輝度分散は、一般に、アクティビティと呼ばれる。なおアクティビティの代りに、空間類似度用特徴量抽出ユニット２０は、微分フィルタ等を用いて検出した高周波成分のピークや分布に基づいた、別の平坦さの指標を用いてもよい。アクティビティは、値が小さいほど平坦である度合いが強いことを示すものである。このアクティビティの値がある閾値より低い場合（即ち平坦な場合）にのみ、類似の度合いを低める方向に時間類似度を補正するために、アクティビティをある関数Ｆａの入力として、Ｓａ＝Ｆａ（アクティビティ）を計算する。

図７は、アクティビティを入力とする関数Ｆａの一例を示す図である。横軸はアクティビティ、縦軸は関数値Ｓａを示す。アクティビティがある閾値よりも小さくなると、関数値Ｓａは１より大きくなり、アクティビティが０の時に関数値Ｓａは最大となる。この関数値Ｓａを時間類似度に掛け合わせることにより、アクティビティが小さい場合（即ち平坦な場合）に、時間類似度が示す類似の度合いを低める方向に補正することができる。

また、カレントブロックと周囲ブロックとの類似度を示す指標として、空間類似度用特徴量抽出ユニット２０は、カレントブロックと周囲８ブロックとのＳＡＤ又はＳＳＤ等を計算する。こうして求めた計算値をＳｘｙとする。このＳｘｙは、値が小さいほど類似の度合いが強いことを示すものである。このＳｘｙの中間値（Ｍｅｄｉａｎ（Ｓｘｙ））がある閾値より低い場合（即ち周囲と全体的に類似する場合）にのみ、類似の度合いを低める方向に時間類似度を補正するために、Ｓｘｙをある関数Ｆｂの入力として、Ｓｂ＝Ｆｂ（Ｍｅｄｉａｎ（Ｓｘｙ））を計算する。

図８は、Ｍｅｄｉａｎ（Ｓｘｙ）を入力とする関数Ｆｂの一例を示す図である。横軸はＭｅｄｉａｎ（Ｓｘｙ）、縦軸は関数値Ｓｂを示す。Ｍｅｄｉａｎ（Ｓｘｙ）がある閾値よりも小さくなると、関数値Ｓｂは１より大きくなり、Ｍｅｄｉａｎ（Ｓｘｙ）が０の時に関数値Ｓｂは最大となる。この関数値Ｓｂを時間類似度に掛け合わせることにより、Ｍｅｄｉａｎ（Ｓｘｙ）が小さい場合（即ち周囲と全体的に類似する場合）に、時間類似度が示す類似の度合いを低める方向に補正することができる。

図９は、関数値Ｓａと関数値Ｓｂとの積であるＳａ・Ｓｂを示す図である。アクティビティを示す軸とＭｅｄｉａｎ（Ｓｘｙ）を示す軸とが直交する平面上において、関数値Ｓａ・Ｓｂが、図９に示すような値を有する関数値として定義される。図１に示す画像処理装置の空間類似度算出ユニット２２は、この関数値Ｓａ・Ｓｂを空間類似度として出力する。

図１０は、類似度と優先度との関係の一例を示す図である。図１に示す画像処理装置の優先度及びヒストグラム算出ユニット１６は、時間類似度と空間類似度とに基づいて類似度を計算し、更にこの類似度に基づいて優先度を計算してよい。時間類似度は、動き検出（類似度計算）ユニット１３により計算され、空間類似度は、空間類似度算出ユニット２２により計算される。優先度及びヒストグラム算出ユニット１６は、時間類似度に対して空間類似度Ｓａ・Ｓｂを掛け合わせることにより、空間的特徴に基づいて補正された時間類似度である類似度を算出する。更にこの類似度がある閾値以上の場合には最大値に飽和し、且つ類似度が小さいほど類似度変化に対する優先度変化が大きくなるような関数（図１０に示す関数）を用いることにより、優先度を計算する。

上記のようにして求めた優先度に基づいて、参照画像優先度マップ１７（各参照候補フレームの各ブロック毎に優先度を示したデータ）を生成し、この参照画像優先度マップ１７を参照して、参照画像選択ユニット１８が参照ブロックを選択する。そして、選択された参照ブロックとカレントフレームとを外部メモリ３３から読み出して、適応ＦＩＲ（時間フィルタ）１９が時間フィルタ処理を実行する。時間フィルタ処理の一例としては、加重平均フィルタがあげられる。この際、前述のように、時間類似度算出には例えば縦横１／４倍した縮小フレームが用いられるので、縦横に４画素程度の微小な動きが存在する可能性がある。従って、外部メモリ３３から読み出す参照ブロックとしては、カレントブロックに対して一回り大きな領域を読み込んでよい。カレントブロックと参照ブロックとの相関検出により詳細な位置合わせを行ない、４画素以内の動き又は静止が確認されたブロックについて、画素単位での加重平均処理を実行する。この際、加重平均処理の対象として、参照候補フレームの何れが用いられ何れが用いられないかに応じて、適宜ＦＩＲフィルタのタップ係数を補正する。参照候補フレームの数が例えば５つである場合に、タップ係数も５つあり、単純な加重平均であれば各タップ係数は０．２である。この場合、無効なタップ（対応する参照候補フレームが加重平均に用いられないタップ）の係数の値は、他のタップ係数に分配し、当該タップ係数の値は０としてよい。

図１１は、図１の画像処理装置を用いたシステムの構成の一例を示す図である。図１１に示す例では、ビデオレコーダの構成が示される。ビデオレコーダは、画像入力イメージセンサ７１、３Ｄフィルタ処理ユニット７２、ＭＰＥＧ符号化ユニット７３、及び記録メディア７４を含む。画像入力イメージセンサ７１は、ＣＣＤやＣＭＯＳ等の撮像素子により対象物を撮像し、画像データを出力する。この画像データは、３Ｄフィルタ処理ユニット７２により、空間的フィルタ処理及び時間的フィルタ処理に供される。この時間的フィルタ処理部分に、図１の画像処理装置を用いてよい。フィルタ処理後の画像データは、ＭＰＥＧ符号化ユニット７３に供給され、ＭＰＥＧフォーマットに従い符号化される。符号化後の画像データは、ハードディスク、ＤＶＤ、不揮発性メモリ等の記録メディア７４に記録される。

図１２は、図１の画像処理装置を用いたシステムの構成の別の一例を示す図である。図１２に示す例では、ＴＶセット又はＴＶセットのトップボックスの構成が示される。放送局又は記録メディア８１からの符号化画像データが、ＭＰＥＧ復号化ユニット８２に入力される。ＭＰＥＧ復号化ユニット８２は、ＭＰＥＧフォーマットに従い符号化画像データを復号する。復号化後の画像データは、３Ｄフィルタ処理ユニット８３により、空間的フィルタ処理及び時間的フィルタ処理に供される。この時間的フィルタ処理部分に、図１の画像処理装置を用いてよい。フィルタ処理後の画像データは、表示装置８４に供給され、液晶表示装置などの表示画面に表示される。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

なお本願発明は以下の内容を含むものである。
（付記１）
カレントフレームと複数の参照候補フレームとの各々を縮小して複数の縮小フレームを生成する縮小ユニットと、
前記複数の参照候補フレームの各々を分割した各ブロックについて、前記カレントフレーム中の同一位置にあるブロックとの類似度を前記縮小フレームを用いて計算する類似度計算ユニットと、
前記類似度に応じて前記各ブロックについての優先度を算出する優先度算出ユニットと、
前記複数の参照候補フレームに含まれる全てのブロックのうち、所定数を超えない数のブロックを前記優先度に応じて選択する参照画像選択ユニットと、
前記選択したブロックと前記カレントフレームのブロックとを用いて時間フィルタ処理を実行するフィルタユニット
を含むことを特徴とする画像処理装置。
（付記２）
前記優先度算出ユニットは、前記複数の参照候補フレームの各々について前記優先度のヒストグラムを生成し、前記参照画像選択ユニットは、前記ヒストグラムに応じて前記所定数を超えない数のブロックを選択することを特徴とする付記１記載の画像処理装置。
（付記３）
前記複数の参照候補フレームのうちの第１の参照候補フレームが前記カレントフレームから第１の時間的距離にあり、第２の参照候補フレームが前記カレントフレームから前記第１の距離よりも長い第２の時間的距離にある場合に、前記第１の参照候補フレームの各ブロックが、前記第２の参照候補フレームの各ブロックよりも前記参照画像選択ユニットにより選択されやすくなるように、前記優先度算出ユニットは、前記優先度に重み付けをすることを特徴とする付記１又は２記載の画像処理装置。
（付記４）
前記優先度算出ユニットは、前記カレントフレームの各ブロックの空間的特徴に応じて前記優先度に重み付けすることを特徴とする付記１乃至３何れか一項記載の画像処理装置。
（付記５）
前記参照画像選択ユニットは、前記複数の参照候補フレームに含まれる全てのブロックのうち、前記カレントフレームの各ブロック毎に一定個数のブロックを前記優先度に応じて選択することを特徴とする付記１記載の画像処理装置。
（付記６）
カレントフレームと複数の参照候補フレームとの各々を縮小して複数の縮小フレームを生成し、
前記複数の参照候補フレームの各々を分割した各ブロックについて、前記カレントフレーム中の同一位置にあるブロックとの類似度を前記縮小フレームを用いて計算し、
前記類似度に応じて前記各ブロックについての優先度を算出し、
前記複数の参照候補フレームに含まれる全てのブロックのうち、所定数を超えない数のブロックを前記優先度に応じて選択し、
前記選択したブロックと前記カレントフレームのブロックとを用いて時間フィルタ処理を実行する
各段階を含むことを特徴とする画像処理方法。
（付記７）
前記複数の参照候補フレームの各々について前記優先度のヒストグラムを生成する段階を更に含み、前記選択する段階は、前記ヒストグラムに応じて前記所定数を超えない数のブロックを選択することを特徴とする付記６記載の画像処理方法。
（付記８）
前記複数の参照候補フレームのうちの第１の参照候補フレームが前記カレントフレームから第１の時間的距離にあり、第２の参照候補フレームが前記カレントフレームから前記第１の距離よりも長い第２の時間的距離にある場合に、前記第１の参照候補フレームの各ブロックが、前記第２の参照候補フレームの各ブロックよりも前記参照画像選択ユニットにより選択されやすくなるように、前記優先度に重み付けをする段階を更に含むことを特徴とする付記６又は７記載の画像処理方法。
（付記９）
前記カレントフレームの各ブロックの空間的特徴に応じて前記優先度に重み付けする段階を更に含むことを特徴とする付記６乃至８何れか一項記載の画像処理方法。
（付記１０）
前記選択する段階は、前記複数の参照候補フレームに含まれる全てのブロックのうち、前記カレントフレームの各ブロック毎に一定個数のブロックを前記優先度に応じて選択することを特徴とする付記６記載の画像処理方法。

１０ 縮小ユニット
１１ 動き検出用カレントメモリ
１２ 動き検出用参照メモリ
１３ 動き検出（類似度計算）ユニット
１４ 時間類似度ラインメモリ
１５ 時間類似度読み出しユニット
１６ 優先度及びヒストグラム算出ユニット
１７ 参照画像優先度マップ
１８ 参照画像選択ユニット
１９ 適応ＦＩＲ（時間フィルタ）
２０ 空間類似度用特徴量抽出ユニット
２１ 空間類似度用ラインメモリ
２２ 空間類似度算出ユニット

Claims (5)

1. カレントフレームと複数の参照候補フレームとの各々を縮小して複数の縮小フレームを生成する縮小ユニットと、
   前記複数の参照候補フレームの各々を分割した各ブロックについて、前記カレントフレーム中の同一位置にあるブロックとの類似度を前記縮小フレームを用いて計算する類似度計算ユニットと、
   前記類似度に応じて前記各ブロックについての優先度を算出する優先度算出ユニットと、
   前記複数の参照候補フレームに含まれる全てのブロックのうち、所定数を超えない数のブロックを前記優先度に応じて選択する参照画像選択ユニットと、
   前記選択したブロックと前記カレントフレームのブロックとを用いて時間フィルタ処理を実行するフィルタユニット
   を含むことを特徴とする画像処理装置。
2. 前記優先度算出ユニットは、前記複数の参照候補フレームの各々について前記優先度のヒストグラムを生成し、前記参照画像選択ユニットは、前記ヒストグラムに応じて前記所定数を超えない数のブロックを選択することを特徴とする請求項１記載の画像処理装置。
3. 前記複数の参照候補フレームのうちの第１の参照候補フレームが前記カレントフレームから第１の時間的距離にあり、第２の参照候補フレームが前記カレントフレームから前記第１の時間的距離よりも長い第２の時間的距離にある場合に、前記第１の参照候補フレームの各ブロックが、前記第２の参照候補フレームの各ブロックよりも前記参照画像選択ユニットにより選択されやすくなるように、前記優先度算出ユニットは、前記優先度に重み付けをすることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記優先度算出ユニットは、前記カレントフレームの各ブロックの空間的特徴に応じて前記優先度に重み付けすることを特徴とする請求項１乃至３何れか一項記載の画像処理装置。
5. 前記参照画像選択ユニットは、前記複数の参照候補フレームに含まれる全てのブロックのうち、前記カレントフレームの各ブロック毎に一定個数のブロックを前記優先度に応じて選択することを特徴とする請求項１記載の画像処理装置。

Images