JP6018492B2 - 画質評価装置及びその制御方法、プログラム - Google Patents

Description

本発明は、動画像のノイズ特性を評価する画質評価装置、及びその制御方法、プログラムに関するものである。

従来、デジタルカメラやイメージスキャナ等の撮像装置や画像入力装置が生成する静止画像のノイズを評価する様々な手法が開発されている。

例えば、特許文献１では、静止画に関してノイズを評価する手法を開発している。特許文献１では、明度情報及び知覚色度情報を周波数変換してパワースペクトルを算出し、網点周波数成分を除去したのち、視覚特性を乗算することで、ノイズの評価値を算出している。

他方、デジタルビデオカメラ等の動画撮像装置が生成する画像のノイズ評価手法は、静止画ノイズ評価手法の延長として開発されてきている。例えば、特許文献２では、フレーム毎に交流成分のパワー量を算出し、その平均値に対して空間視覚特性を重みづけすることでノイズの評価値を算出している。

これに対して、空間視覚特性のみではなく、時間視覚特性も考慮してノイズを評価する手法もある。特許文献３では、動画の３次元データに対して空間視覚周波数特性及び時間視覚周波数特性を有するフィルタを施したのち、ノイズ量を積算することで、ノイズ評価値を算出している。

特開２００４−０６４６８９号公報 特開２００３−１８９３３７号公報 特開２０００−０３６９７１号公報

特許文献１及び特許文献２には、ノイズの時間周波数特性を考慮しておらず、主観評価値との相関が低いという課題がある。

特許文献１及び特許文献２は、動画像のノイズに対しても、静止画と同様に空間的なノイズ量のみを考慮しており、時間的な変化を考慮していない。例えば、２４ｆｐｓのノイズ動画像と、それを静止画像として見た場合とを見比べると、動画像として見た方がノイズのちらつきが目につき、ノイズ感を強く感じる。このように、同じノイズがのった画像でも、フレームレートを変えて表示した場合に、知覚されるノイズ量も異なる。しかしながら、特許文献１及び特許文献２の手法では、ノイズ評価値は同じになる。

他方、特許文献３による手法では、ノイズの時空間の周波数特性を考慮できるため、主観との相関が高いが、計算量が膨大になるという課題がある。これは、特許文献３による手法では、３次元の画像データに対して、空間周波数フィルタを施したのち、さらに時間周波数フィルタを施す必要があるからである。また、周波数解析に基づき、同様の処理を行う際にも、３次元フーリエ変換処理を施したのち、時空間の視覚周波数特性を乗算する必要があるため、膨大な計算量が必要となる。

本発明は上記の課題を解決するためになされたものであり、主観との相関が高い評価値を効率的に算出することができる画質評価装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画質評価装置は以下の構成を備える。即ち、
動画像のノイズ特性を評価する画質評価装置であって、
評価対象の動画像の空間方向の自己相関係数及び時間方向の自己相関係数を取得する取得手段と、
前記取得手段で取得した前記空間方向の自己相関係数に対して周波数解析を実行し、その周波数解析結果に空間周波数の視覚特性を示す視覚応答関数を乗算することで空間方向のノイズ量を計算すると共に、前記時間方向の自己相関係数に対して周波数解析を実行し、その周波数解析結果に時間周波数の視覚特性を示す視覚応答関数を乗算することで時間方向のノイズ量を計算する計算手段と、
前記計算手段で計算した複数のノイズ量の積を、前記評価対象の動画像の動画ノイズ評価値として算出する評価値算出手段と
を備える。

本発明は、ノイズ特性としてノイズの自己相関係数に着目し、それを空間、時間方向にて独立に視覚特性を乗算することで、評価値を算出する。具体的には、まず、時空間３次元の自己相関係数からパワースペクトルを算出し、それぞれに視覚周波数特性を乗算し、その積分値を算出する。さらに、各積分値の積をとることで、動画ノイズ評価値を算出する。

本発明によれば、空間方向の視覚特性だけでなく、時間方向の視覚特性も考慮できるため、ノイズの時間的な変化も考慮したノイズ評価値を算出できる。このため、再生時の再生フレームレート等の影響を反映でき、主観との相関が高い評価値を算出できる。

さらに、空間、時間方向のノイズ特性を独立に扱い評価値を算出することで、フーリエ変換の次元数を減らすことができ、特許文献３の手法より計算量を大幅に削減できる。また、予め独立とみなせる次元毎にノイズの自己相関係数を算出しておくため、画像処理等によりノイズの特性が変わった場合にも評価値の再計算の演算量が少ないという効果もある。例えば、時間方向のみのＮＲ係数が変わった場合は、時間方向のみの自己相関係数を再計算するだけでよい。

実施形態１のチャート画像の一例を表す模式図である。 実施形態１の画質評価装置の構成を示すブロック図である。 実施形態１のアプリケーションウィンドウを表す模式図である。 実施形態１の画像条件を設定するダイアログウィンドウを表す模式図である。 実施形態１の画質評価処理の動作を表すフローチャートである。 実施形態１の自己相関係数と画像信号との関係を表す模式図である。 実施形態１の水平方向ノイズ量算出処理の動作を表すフローチャートである。 実施形態１の視覚特性の模式図である。 実施形態１の垂直方向ノイズ量算出処理の動作を表すフローチャートである。 実施形態１の時間方向ノイズ量算出処理の動作を表すフローチャートである。 実施形態２の画質評価処理の動作を表すフローチャートである。 実施形態２の自己相関係数と画像信号との関係を表す模式図である。 実施形態２の空間方向２次元のノイズ量算出処理の動作を表すフローチャートである。 実施形態３のアプリケーションウィンドウを表す模式図である。 実施形態３のノイズ評価値計算の情報設定ダイアログを表す模式図である。 実施形態３の評価値計算処理の動作を表すフローチャートである。 実施形態３のディスプレイの時間応答特性を考慮する場合の構成図である。 実施形態５のノイズマッチング装置の構成図である。 実施形態５のアプリケーションウィンドウを表す模式図である。 実施形態５のディスプレイのステップ応答を取得するための再生画像の模式図である。 実施形態５のノイズ量補正処理の動作を表すフローチャートである。 実施形態５のディスプレイ時間応答特性取得処理の動作を表すフローチャートである。 実施形態５のディスプレイのステップ応答の模式図である。 実施形態５のディスプレイのインパルス応答の模式図である。 実施形態５の最適パラメータ選択処理の動作を表すフローチャートである。 実施形態５のディスプレイのインパルス応答を取得するための再生画像の模式図である。 実施形態６のノイズマッチング装置の構成図である。 実施形態６のアプリケーションウィンドウを表す模式図である。 実施形態６の評価条件を設定するダイアログウィンドウを表す模式図である。 実施形態６のノイズ量補正処理の動作を表すフローチャートである。 実施形態７のノイズ量補正処理の動作を表すフローチャートである。 実施形態７の撮像装置時間応答特性取得処理の動作を表すフローチャートである。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
実施形態１は、動画像の動画ノイズの特性が水平方向、垂直方向、時間方向に対して独立であると仮定し、少ない計算量で主観との相関が高い動画ノイズ定量評価値を算出する。具体的には、水平、垂直、時間の３次元それぞれに対して自己相関関数（自己相関係数）をあらかじめ算出しておき、視覚特性を乗算することで３つの次元それぞれに対してノイズ量を算出する。さらに、算出された次元毎のノイズ量を乗算により統合することで、動画ノイズの評価値（ノイズの知覚量）を出力する。

実施形態１では、図１に示すチャート画像を撮像装置にて撮影し、その動画ノイズの知覚量を画質評価装置にて評価する。以下では、まず、画質評価装置の構成について説明し、画質評価処理の１つとして、具体的な動画ノイズ評価処理（あるいは動画ノイズ評価プログラム）について述べる。

図２は、撮像装置により撮影されたチャート画像の動画ノイズ知覚量を評価する画質評価装置の構成を示すブロック図である。

ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２及びハードディスクドライブ（ＨＤＤ）２０５に格納されたオペレーティングシステム（ＯＳ）や各種プログラムを実行する。そして、ＣＰＵ２０１は、ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス等のシステムバス２１３を介して各種構成要素を制御する。さらに、ＣＰＵ２０１は、後述する動画ノイズ評価プログラム、メディアリーダドライバを含む各種プログラムを実行する。ＣＰＵ２０１は、システムバス２１３及びＨＤＤインタフェイス（Ｉ／Ｆ）２０４を介してＨＤＤ２０５にアクセスする。

ＨＤＤインタフェイス（Ｉ／Ｆ）２０４は、ＨＤＤ２０５や光ディスクドライブ等の二次記憶装置を接続する。これには、例えば、シリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスがある。ＣＰＵ２０１は、ＨＤＤインタフェイス（Ｉ／Ｆ）２０４を介して、ＨＤＤ２０５からのデータ読出、及びＨＤＤ２０５へのデータ書込が可能である。また、ＣＰＵ２０１は、後述する処理のユーザインタフェイスや処理結果をグラフィックアクセラレータ２１１を介してディスプレイ２１２に表示する。さらに、ＣＰＵ２０１は、ユーザからの指示をＵＳＢインタフェイス（Ｉ／Ｆ）２０８に接続されたキーボード２０９、マウス２１０を介して入力する。また、ＣＰＵ２０１は、画像データをメディアインタフェイス（Ｉ／Ｆ）２０６を介してメディアリーダ２０７より入力する。

上記構成において、動画ノイズ評価プログラムは、次の様に動作する。まず、ＨＤＤ２０５に格納されている動画ノイズ評価プログラムが、キーボード２０９及びマウス２１０を介したユーザの指示によりＣＰＵ２０１にて実行される。これにより、図３のアプリケーションウィンドウ３０１がディスプレイ２１２上に表示される。ユーザがアプリケーションウィンドウ３０１のメニューリスト３０２から「画像ファイルの読込」を選択し、処理対象の画像ファイルを設定する。これにより、プログラム処理に従い、メディアに格納されている画像ファイルはメディアリーダ２０７とメディアインタフェイス（Ｉ／Ｆ）２０６を介しＲＡＭ２０３に画像データとして転送される。また、ＨＤＤ２０５に格納されている画像ファイルはＨＤＤインタフェイス（Ｉ／Ｆ）２０４を介してＲＡＭ２０３に画像データとして転送される。読み込まれた画像データは、グラフィックアクセラレータ２１１を介して、ディスプレイ２１２上の画像表示領域３０３に表示される。

また、ユーザがメニューリスト３０２から「画像評価条件の設定」を選択すると、図４のダイアログウィンドウ４０１がディスプレイ２１２上に表示され、画像評価条件の設定を行う。ダイアログウィンドウ４０１に於いて、フレームレート設定エディタ４０２では読み込んだ画像データの表示フレームレートを設定する。また、ディスプレイ縦画素ピッチ設定エディタ４０３では読み込んだ画像データを表示するディスプレイの縦画素ピッチを設定する。また、ディスプレイ横画素ピッチ設定エディタ４０４では読み込んだ画像データを表示するディスプレイの横画素ピッチを設定する。最後に、観察者視距離設定エディタ４０５ではユーザがディスプレイを観察する際の視距離を設定する。ユーザが設定終了ボタン４０６を押下すると、各設定エディタ４０２、４０３、４０４に入力された値が、例えば、ＲＡＭ２０３に記憶され、ダイアログウィンドウ４０１が非表示となる。

次に、ユーザは画像表示領域３０３上で、マウス２１０を介して評価領域３０４を指定する。ここで、評価領域３０４は、撮影画像のチャート画像領域をはみ出さないように設定される必要がある。そして、ユーザが評価値計算ボタン３０５を押下すると、後述する図５のフローチャートに従う画質評価処理がなされ、算出された動画ノイズ評価値が評価値表示エディタ３０６に表示される。

以下では、動画ノイズ評価プログラムで実行される画質評価処理について述べる。実施形態１では、画像データの水平方向、垂直方向、時間方向の３つの次元に対して、それぞれ予め自己相関関数を算出しておく。さらに、それぞれの自己相関関数と空間及び時間視覚特性を用いて３つの次元それぞれに対してノイズ量を計算する。さらに、計算された次元毎のノイズ量を乗算により統合することで、動画ノイズの評価値を出力する。以下では、図５のフローチャートを用いて、処理の内容を具体的に説明する。

ステップＳ５０１では、メニューリスト３０２によりＲＡＭ２０３上に読み込まれた評価対象の画像データ（動画像データ）に対して、後述する色空間変換処理を施し、均等色空間へと変換する。

ステップＳ５０２では、画像データから動画ノイズ成分のみを抽出する。具体的には、実施形態１がチャート画像等の静止物体を撮影しているという仮定に基づき、画像データを時間方向に平均することで時間的な直流成分を算出し、算出した直流成分をその画像データから減算することで、動画ノイズ成分のみを抽出する。

ステップＳ５０３では、抽出した動画ノイズ成分に対し、水平方向、垂直方向、時間方向それぞれにおける自己相関係数を算出する。尚、あらかじめＲＡＭ２０３等のメモリに保持している場合には、ＲＡＭから水平方向、垂直方向、時間方向に対するそれぞれ自己相関係数を取得する。

ステップＳ５０４では、水平方向のノイズの自己相関係数と水平方向周波数感度特性とから、水平方向のノイズ量（第１のノイズ量）を計算する。ここで、水平方向のノイズ量は、Ｌ＊成分を用いて計算したＨｖａｌ＿Ｌ、ａ＊成分を用いて計算したＨｖａｌ＿ａ、ｂ＊成分を用いて計算したＨｖａｌ＿ｂである。

ステップＳ５０５では、垂直方向のノイズの自己相関係数と垂直方向周波数感度特性とから、垂直方向のノイズ量（第２のノイズ量）を計算する。ここで、垂直方向のノイズ量は、Ｌ＊成分を用いて計算したＶｖａｌ＿Ｌ、ａ＊成分を用いて計算したＶｖａｌ＿ａ、ｂ＊成分を用いて計算したＶｖａｌ＿ｂである。

ステップＳ５０６では、時間方向のノイズの自己相関係数と時間方向周波数感度特性とから、時間方向のノイズ量（第３のノイズ量）を計算する。ここで、時間方向のノイズ量は、Ｌ＊成分を用いて計算したＴｖａｌ＿Ｌ、ａ＊成分を用いて計算したＴｖａｌ＿ａ、ｂ＊成分を用いて計算したＴｖａｌ＿ｂである。

ステップＳ５０７では、ステップＳ５０４、ステップＳ５０５、ステップＳ５０６により計算されたノイズ量の積から、Ｌ＊、ａ＊、ｂ＊毎の動画ノイズ評価値を算出する。具体的には、Ｌ＊成分の動画ノイズ評価値Ｎｖａｌ＿Ｌ、ａ＊成分の動画ノイズ評価値Ｎｖａｌ＿ａ、ｂ＊成分の動画ノイズ評価値Ｎｖａｌ＿ｂは、以下の（１）式により与えられる。

ステップＳ５０８では、動画ノイズの定量評価値を算出する。ノイズ評価値算出処理は、具体的に以下の様に行われる。ステップＳ５０７で算出したＬ＊、ａ＊、ｂ＊毎の動画ノイズ評価値を線形和することで、動画ノイズの定量評価値を算出する。具体的には、以下の式（２）により与えられる。

ここで、ａ＿ｗｅｉｇｈｔ及びｂ＿ｗｅｉｇｈｔは重み係数である。

以下では、ステップＳ５０１の色空間変換処理について詳しく述べる。まず、メニューリスト３０２によりＲＡＭ２０３上に読み込まれた画像データを、三次元のＲＧＢデータへとデコードする。以下では、ｔフレーム目の画像における、左上から水平方向にｘ画素目、垂直方向にｙ画素目のＲＧＢ画素値を、それぞれＲ（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）、Ｂ（ｘ，ｙ，ｔ）として表現する。次に、ＲＧＢデータから三刺激値Ｘ、Ｙ、Ｚを算出し、さらにＬ＊、ａ＊、ｂ＊値へと変換する。実施形態１では、ＲＧＢからＸＹＺへの変換は、ＩＴＵ−Ｔ ＢＴ．７０９に規定されるＲＧＢからＸＹＺへの変換式を用いて実行する。具体的には、８ｂｉｔのＲ（ｘ，ｙ，ｔ）、Ｇ（ｘ，ｙ，ｔ）、Ｂ（ｘ，ｙ，ｔ）のデータに対して、０以上１以下の値に正規化したのち、ディスプレイのγ特性をかけ、（３）式によりＲ’（ｘ，ｙ，ｔ）、Ｇ’（ｘ，ｙ，ｔ）、Ｂ’（ｘ，ｙ，ｔ）を算出する。

次に、以下の変換式（（４）式）を用いて、三刺激値Ｘ、Ｙ、Ｚへと変換する。

さらに、以下の（５）式を用いて、三刺激値Ｘ、Ｙ、ＺからＬ＊、ａ＊、ｂ＊へと変換する。

以下では、ステップＳ５０２のノイズ成分抽出処理について述べる。実施形態１では、チャート画像等の静止物体を撮影し動画ノイズを評価することを前提としている。そこで、時間的に固定なパターンをノイズ以外の成分として減算することで、動画ノイズ成分のみを抽出する。具体的には、以下の（６）式により、明度ノイズ成分ＮＬ、ａ＊色差ノイズ成分Ｎａ、ｂ＊色差ノイズ成分Ｎｂが抽出される。

ここで、Ｔは画像のフレーム数を表す。

以下では、ステップＳ５０３の自己相関係数取得処理について、具体的に説明する。

まず、水平方向の自己相関係数の算出方法について、以下に述べる。ノイズ成分の水平方向の自己相関係数の代表値として、図６（ａ）に示すように、ｔｈフレーム目、ｙｈ行目の自己相関係数を算出する。Ｌ＊、ａ＊、ｂ＊に対する水平方向の自己相関係数Ｃｈ＿Ｌ、Ｃｈ＿ａ、Ｃｈ＿ｂは、（７）式により、

として算出される。ここで、Ｎは画像データの横画素数を表す。

次に、垂直方向の自己相関係数について、以下に述べる。ノイズの垂直方向の自己相関係数の代表値として、図６（ｂ）に示すように、ｔｖフレーム目、ｘｖピクセル目を算出する。Ｌ＊、ａ＊、ｂ＊に対する垂直方向の自己相関係数Ｃｖ＿Ｌ、Ｃｖ＿ａ、Ｃｖ＿ｂは、（８）式により、

として算出される。ここで、Ｍは画像データの縦画素数を表す。

最後に、時間方向の自己相関係数の算出方法について述べる。

ノイズの時間方向の自己相関係数の代表値として、図６（ｃ）に示すように、水平方向にｘｆピクセル目、垂直方向にｙｆピクセル目の自己相関係数を算出する。Ｌ＊、ａ＊、ｂ＊に対する時間方向の自己相関係数Ｃｔ＿Ｌ、Ｃｔ＿ａ、Ｃｔ＿ｂは、（９）式により、

として算出される。ここで、Ｔは画像データのフレーム数を表す。

尚、前記のようにＬａｂデータのひとつの列に対する自己相関係数をそのままノイズの自己相関係数としてもよいし、複数の列に対して自己相関係数を計算し、その平均をとってもよい。画像データの全ての平均をとる場合には、Ｃｈ＿Ｌを例にとると、以下の（１０）式で計算される。

以下では、ステップＳ５０４の水平方向のノイズ量Ｈｖａｌの算出方法について、図７のフローチャートを用いて、具体的に説明する。

ステップＳ７０１では、ステップＳ５０３にて算出した自己相関係数に対する周波数解析として、一次元フーリエ変換を適用する。以下では、Ｃｈ＿Ｌ（ｘ）のフーリエ変換結果をＦｃｈ＿Ｌ（ｕ）、Ｃｈ＿ａ（ｘ）のフーリエ変換結果をＦｃｈ＿ａ（ｕ）、Ｃｈ＿ｂ（ｘ）のフーリエ変換結果をＦｃｈ＿ｂ（ｕ）とする。ここで、ｕは水平方向の空間周波数（単位はｃｙｃｌｅｓ／ｄｅｇｒｅｅ）である。

ステップＳ７０２では、図８（ａ）に示す水平方向の視覚特性ＶＴＦｓ（ｕ）を乗算する。ここで、Ｆｃｈ（ｕ）に対して視覚特性を乗算するためには、空間周波数の単位を一致させる必要がある。ここで、ディスプレイ横画素ピッチ設定エディタ４０４で指定された縦画素ピッチをｐｘ、観察者視距離設定エディタ４０５で指定された視距離をＲ、評価対象画像サイズをＮｘとする。この場合、Ｄｏｏｌｅｙの空間ＶＴＦより、視覚応答関数ＶＴＦｓ（ｕ）は以下の（１１）式で与えられる。

以上より、Ｆｃｈ＿Ｌ（ｕ）、Ｆｃｈ＿ａ（ｕ）、Ｆｃｈ＿ｂ（ｕ）に対して視覚特性（視覚応答関数）を乗算したＦｃｈ＿Ｌ’（ｕ）、Ｆｃｈ＿ａ’（ｕ）、Ｆｃｈ＿ｂ’（ｕ）は、以下の（１２）式で与えられる。

ステップＳ７０３では、Ｆｃｈ＿Ｌ’、Ｆｃｈ＿ａ’、Ｆｃｈ＿ｂ’のスペクトルの積算値を計算し、水平方向のノイズ量を得る。具体的には、Ｈｖａｌ＿Ｌ、Ｈｖａｌ＿ａ、Ｈｖａｌ＿ｂは以下の（１３）式で与えられる。

以下では、ステップＳ５０４の垂直方向のノイズ量Ｖｖａｌの算出方法について述べる。垂直方向のノイズ量Ｖｖａｌは、ステップＳ５０４の水平方向のノイズ量Ｈｖａｌと同様に算出できる。以下では、図９のフローチャートを用いて、具体的に説明する。

ステップＳ９０１では、算出した自己相関係数に対する周波数解析として、一次元フーリエ変換を適用する。以下では、Ｃｖ＿Ｌ（ｘ）のフーリエ変換結果をＦｃｖ＿Ｌ（ｕ）、Ｃｖ＿ａ（ｘ）のフーリエ変換結果をＦｃｖ＿ａ（ｕ）、Ｃｖ＿ｂ（ｘ）のフーリエ変換結果をＦｃｖ＿ｂ（ｖ）とする。ここで、ｖは垂直方向の空間周波数（単位はｃｙｃｌｅｓ／ｄｅｇｒｅｅ）である。

ステップＳ９０２では、図８（ａ）に示す垂直方向の視覚特性を乗算する。実施形態１では、ステップＳ６０３と同様に、垂直方向の視覚特性にも視覚応答関数ＶＴＦｓ（ｖ）を用いる。ここで、Ｆｃｖ（ｖ）に対して視覚特性を乗算するためには、空間周波数の単位を一致させる必要がある。ここで、ディスプレイ縦画素ピッチ設定エディタ４０３により指定された縦画素ピッチをｐｙ、観察者視距離設定エディタ４０５により指定された視距離をＲ、評価対象の縦画像サイズをＮｙとする。この場合、Ｄｏｏｌｅｙの空間ＶＴＦより、視覚応答関数ＶＴＦｓ（ｖ）は以下の（１４）式で与えられる。

よって、Ｆｃｖ＿Ｌ（ｖ）、Ｆｃｖ＿ａ（ｖ）、Ｆｃｖ＿ｂ（ｖ）に対して視覚特性（視覚応答関数）を乗算したＦｃｖ＿Ｌ’（ｖ）、Ｆｃｖ＿ａ’（ｖ）、Ｆｃｖ＿ｂ’（ｖ）は、以下の（１５）式で与えられる。

ステップＳ９０３では、垂直方向のノイズ量Ｖｖａｌ＿Ｌ、Ｖｖａｌ＿ａ、Ｖｖａｌ＿ｂを以下の（１６）式で算出する。

以下では、ステップＳ５０５の時間方向のノイズ量Ｔｖａｌの算出方法について述べる。時間方向のノイズ量Ｔｖａｌは、ステップＳ５０４の水平方向のノイズ量Ｈｖａｌと同様に算出できる。以下では、図１０のフローチャートを用いて、具体的に説明する。

ステップＳ１００１では、算出した自己相関係数に対する周波数解析として、一次元フーリエ変換を適用する。以下では、Ｃｔ＿Ｌ（ｔ）のフーリエ変換結果をＦｃｔ＿Ｌ（ｆ）、Ｃｔ＿ａ（ｔ）のフーリエ変換結果をＦｃｔ＿ａ（ｆ）、Ｃｔ＿ｂ（ｔ）のフーリエ変換結果をＦｃｔ＿ｂ（ｆ）とする。ここで、ｆは時間方向の時間周波数（単位はＨｚ）である。

ステップＳ１００２では、図８（ｂ）に示す時間方向の視覚特性を乗算する。ここで、Ｆｃｔ（ｆ）に視覚特性を乗算するためには、時間周波数の単位を一致させる必要がある。撮影時のフレーム間隔をｓ［ｓｅｃ］とすると、乗算する視覚応答関数ＶＴＦｔ（ｆ）の形状は、Ｋｅｌｌｙの時間ＶＴＦより、以下の（１７）式で与えられる。

また、撮影時のフレーム間隔をｓ［ｓｅｃ］とすると、ＶＴＦｔの周波数単位は１／２ｓ［Ｈｚ］として表わされる。よって、Ｆｃｔ＿Ｌ（ｆ）、Ｆｃｔ＿ａ（ｆ）、Ｆｃｔ＿ｂ（ｆ）に対して視覚特性（視覚応答関数）を乗算したＦｃｔ＿Ｌ’（ｆ）、Ｆｃｔ＿ａ’（ｆ）、Ｆｃｔ＿ｂ’（ｆ）は、以下の（１８）式で与えられる。

ステップＳ１００３では、時間方向のノイズ量Ｔｖａｌ＿Ｌ、Ｔｖａｌ＿ａ、Ｔｖａｌ＿ｂを以下の（１９）式で算出する。

以上説明したように、実施形態１では、水平、垂直、時間の３次元それぞれに対して自己相関関数の代表値を算出し、視覚特性（視覚応答関数）を乗算することで３つの次元それぞれに対してノイズ量を算出する。これにより、少ない計算量でノイズの空間特性及び時間特性を考慮でき、主観と相関の高い定量評価値を算出可能である。

尚、実施形態１では、動画ノイズ評価プログラムが図５の動画ノイズ評価処理を実行する構成としているが、これに限定されない。図５の動画ノイズ評価処理のステップのすべてあるいは一部が専用のハードウェアで実現されても良いし、ハードウェアとソフトウェア（プログラム）とを協働させて実現されても良い。

＜実施形態２＞
実施形態２は、実施形態１に対して、ノイズ特性が水平−垂直間で独立であるとはみなさずに評価値を計算する。これにより、空間方向２次元にノイズリダクションがかけられている場合等に対応できる。実施形態２では、空間２次元と時間１次元それぞれに対して自己相関係数の代表値を計算し、視覚特性を乗算する。以下では、実施形態１との差分について説明する。

動画ノイズ評価プログラムで実行される画質評価処理について、図１１のフローチャートを用いて説明する。

ステップＳ１１０１では、メニューリスト３０２によりＲＡＭ２０３上に読み込まれた画像データに対して、後述する色空間変換処理を施し、均等色空間へと変換する。ここでの処理は、実施形態１と同様である。

ステップＳ１１０２では、画像データから動画ノイズ成分を抽出する。ここでの処理は、実施形態１と同様である。

ステップＳ１１０３では、抽出した動画ノイズ成分に対し、空間方向２次元における自己相関係数と、時間方向１次元における自己相関係数を算出する。ステップＳ１１０３における具体的な処理に関しては、後述する。

ステップＳ１１０４では、水平−垂直方向のノイズの自己相関係数と水平−垂直方向周波数感度特性とから、空間方向のノイズ量（第１のノイズ量）を計算する。ここで、空間方向のノイズ量は、Ｌ＊成分を用いて計算したＨＶｖａｌ＿Ｌ、ａ＊成分を用いて計算したＨＶｖａｌ＿ａ、ｂ＊成分を用いて計算したＨＶｖａｌ＿ｂである。ステップＳ１１０４における具体的な処理に関しては、後述する。

ステップＳ１１０５では、時間方向のノイズの自己相関係数と時間方向周波数感度特性とから、時間方向のノイズ量（第２のノイズ量）を計算する。ここで、時間方向のノイズ量は、Ｌ＊成分を用いて計算したＴｖａｌ＿Ｌ、ａ＊成分を用いて計算したＴｖａｌ＿ａ、ｂ＊成分を用いて計算したＴｖａｌ＿ｂである。ここでの処理は、実施形態１と同様である。

ステップＳ１１０６では、ステップＳ１１０４、ステップＳ１１０５により計算されたノイズ量の積から、動画ノイズ評価値を算出する。具体的には、Ｌ＊成分の動画ノイズ評価値Ｎｖａｌ＿Ｌ、ａ＊成分の動画ノイズ評価値Ｎｖａｌ＿ａ、ｂ＊成分の動画ノイズ評価値Ｎｖａｌ＿ｂは、以下の（２０）式により与えられる。

ステップＳ１１０７では、ステップＳ１１０６で算出した値の線形和をとることで、動画ノイズの定量評価値を算出する。

以下では、ステップＳ１１０３の自己相関係数算出処理について述べる。尚、時間方向１次元の自己相関係数の算出方法は実施形態１と同様であるため、以下では空間方向２次元の自己相関係数の算出方法についてのみ述べる。

ノイズの空間２次元の自己相関係数は以下のように算出される。ノイズの空間２次元の自己相関係数の代表値として、図１２に示すように、ｔフレーム目の画像に対する自己相関係数として算出される。Ｌ＊、ａ＊、ｂ＊に対する空間２次元の自己相関係数Ｃｈｖ＿Ｌ、Ｃｈｖ＿ａ、Ｃｈｖ＿ｂは、（２１）式により、

として算出される。尚、前記のようにＬａｂデータのひとつの行に対する自己相関係数をそのままノイズの自己相関係数としてもよいし、複数の行に対して自己相関係数を計算し、その平均をとってもよい。

以下では、ステップＳ１１０４の空間２次元のノイズ量の算出について、図１３のフローチャートを用いて詳しく述べる。

ステップＳ１３０１では、算出した自己相関係数に対する周波数解析として、二次元フーリエ変換を適用する。以下では、Ｃｈｖ＿Ｌ（ｘ，ｙ）のフーリエ変換結果をＦｃｈｖ＿Ｌ（ｕ，ｖ）、Ｃｈｖ＿ａ（ｘ，ｙ）のフーリエ変換結果をＦｃｈｖ＿ａ（ｕ，ｖ）、Ｃｈｖ＿ｂ（ｘ，ｙ）のフーリエ変換結果をＦｃｈｖ＿ｂ（ｕ，ｖ）とする。ここで、ｕは水平方向の空間周波数（単位はｃｙｃｌｅｓ／ｄｅｇｒｅｅ）、ｖは垂直方向の空間周波数（単位はｃｙｃｌｅｓ／ｄｅｇｒｅｅ）である。

ステップＳ１３０２では、空間２次元の視覚特性（視覚応答関数）を乗算する。実施形態２で乗算する視覚特性ＶＴＦｓ（ｕ，ｖ）は、具体的に以下の（２２）式で与えられる。

ここで、ｐｘ、ｐｙはディスプレイの縦及び横画素ピッチを、Ｎｘ、Ｎｙは評価画像の縦及び横画素サイズを、Ｒは観察者の視距離を表す。よって、Ｆｃｈｖ＿Ｌ（ｕ，ｖ）、Ｆｃｈｖ＿ａ（ｕ，ｖ）、Ｆｃｈｖ＿ｂ（ｕ，ｖ）に対して視覚特性を乗算したＦｃｈｖ＿Ｌ’（ｕ）、Ｆｃｈｖ＿ａ’（ｕ）、Ｆｃｈｖ＿ｂ’（ｕ）は、以下の（２３）式で与えられる。

ステップＳ１３０３では、Ｆｃｈｖ＿Ｌ’、Ｆｃｈｖ＿ａ’、Ｆｃｈｖ＿ｂ’のスペクトルの積算値を計算し、空間２次元のノイズ量を得る。具体的には、空間２次元のノイズ量ＨＶｖａｌ＿Ｌ、ＨＶｖａｌ＿ａ、ＨＶｖａｌ＿ｂは以下の（２４）式で与えられる。

以上説明したように、実施形態２によれば、実施形態２で説明した効果に加えて、空間２次元のノイズ量を加味してノイズの評価値を算出するので、空間方向２次元にノイズリダクションがかけられている場合等に対応できる。

尚、実施形態１では、動画ノイズ評価プログラムが図１１の動画ノイズ評価処理を実行する構成としているが、これに限定されない。図１１の動画ノイズ評価処理のステップのすべてあるいは一部が専用のハードウェアで実現されても良いし、ハードウェアとソフトウェア（プログラム）とを協働させて実現されても良い。

＜実施形態３＞
実施形態３では、一度評価値を算出した算出後のノイズ画像に対して、そのノイズ特性が変化した際に、ノイズ特性の差分のみに着目してインクリメンタルに評価値を計算する。実施形態１では、動画ノイズのノイズ特性を自己相関係数としてあらかじめ保持しておき、その自己相関係数をもとに動画ノイズ評価値を計算している。そのため、例えば、ノイズの時間特性のみが変化した場合には、水平方向及び垂直方向の周波数特性は再計算せずに、ノイズの評価値を算出できる。この場合、水平方向及び垂直方向の評価値は再利用でき、時間方向の評価値Ｔｖａｌ＿Ｌ、Ｔｖａｌ＿ａ、Ｔｖａｌ＿ｂのみを再計算するだけでよい。以下では、実施形態１との差分について説明する。

動画ノイズ評価プログラムにおいて、ノイズの特性が変化した際の評価値の再計算は、次の様に行われる。まず、ユーザは、キーボード２０９及びマウス２１０を介して、ＨＤＤ２０５に格納されている動画ノイズ評価プログラムを起動する。これにより、図１４のアプリケーションウィンドウ１４０１がディスプレイ２１２上に表示される。ユーザは、実施形態１に記述した手順のもと、動画ノイズの定量評価値を一旦計算する。

次に、ユーザはメニューリスト１４０２内の「評価値をインクリメンタルに計算する」をクリックする。これにより、図１５の情報設定ダイアログ１５０１がディスプレイ２１２上に表示される。ユーザは、画像ファイル指定エディタ１５０２に動画ノイズ評価値を算出する画像ファイルのファイルパスを入力する。次に、ユーザは、水平方向、垂直方向及び時間方向のノイズ特性それぞれに対応するチェックボックス１５０３〜１５０５のうち、既に計算した画像データから変化したノイズの特性に対応するチェックボックスをマウス２１０を用いてチェック（指定）する。

例えば、評価値を算出した画像データから、時間ノイズリダクション処理のみを変更した画像データを評価する場合には、ユーザはチェックボックス１５０５のみをチェックすればよい。最後に、ユーザは計算ボタン１５０６を押下すると、後述するインクリメンタル評価値計算処理が実行され、動画ノイズ評価値の計算結果がエディタ１５０７に表示される。

以下では、実施形態３におけるインクリメンタルな評価値計算処理について、図１６のフローチャートを用いて処理の内容を具体的に説明する。

ステップＳ１６０１では、画像ファイル指定エディタ１５０２により指定された画像ファイルをＲＡＭ２０３上に読み込み、色空間変換処理を施し、均等色空間へと変換する。本ステップにおける色変換処理は、実施形態１の図５のステップＳ５０１と同様である。

ステップＳ１６０２では、画像データから動画ノイズ成分のみを抽出する。本ステップは、実施形態１図５のステップＳ５０２と同様である。

ステップＳ１６０３では、水平方向のノイズ特性のチェックボックス１５０３がチェックされているか否かを判定する。チェックされている場合（ステップＳ１６０３でＹＥＳ）、ステップＳ１６０４に進む。一方、チェックされていない場合（ステップＳ１６０３でＮＯ）、ステップＳ１６０６に進む。

ステップＳ１６０４では、水平方向の自己相関係数を再計算する。水平方向の自己相関係数の再計算は、実施形態１の図５のステップＳ５０３と同様である。

ステップＳ１６０５では、水平方向のノイズ量を再計算する。本ステップにおける処理は、実施形態１の図５のステップＳ５０４と同様である。

ステップＳ１６０６では、チェックボックス１５０４がチェックされているか否かを判定する。チェックされている場合（ステップＳ１６０６でＹＥＳ）、ステップＳ１６０７に進む。一方、チェックされていない場合（ステップＳ１６０６でＮＯ）、ステップＳ１６０７に進む。

ステップＳ１６０７では、垂直方向の自己相関係数を再計算する。垂直方向の自己相関係数の再計算は、実施形態１の図５のステップＳ５０３と同様である。

ステップＳ１６０８では、垂直方向のノイズ量を再計算する。本ステップにおける処理は、実施形態１の図５のステップＳ５０５と同様である。

ステップＳ１６０９では、チェックボックス１５０５がチェックされているか否かを判定する。チェックされている場合（ステップＳ１６０９でＹＥＳ）、ステップＳ１６１０に進む。一方、チェックされていない場合（ステップＳ１６０９でＮＯ）、ステップＳ１６１２に進む。

ステップＳ１６１０では、時間方向の自己相関係数を再計算する。時間方向の自己相関係数の再計算は、実施形態１の図５のステップＳ５０３と同様である。

ステップＳ１６１１では、時間方向のノイズ量を再計算する。本ステップにおける処理は、実施形態１の図５のステップＳ５０６と同様である。

ステップＳ１６１２では、計算された／再計算されたノイズ量の積から、Ｌ＊、ａ＊、ｂ＊毎の動画ノイズ評価値を算出する。具体的には、Ｌ＊成分の動画ノイズ評価値Ｎｖａｌ＿Ｌ、ａ＊成分の動画ノイズ評価値Ｎｖａｌ＿ａ、ｂ＊成分の動画ノイズ評価値Ｎｖａｌ＿ｂは、以下の（２５）式により与えられる。

ステップＳ１６１３では、ステップＳ１６１２で算出した動画ノイズ評価値を線形和することで、動画ノイズの定量評価値を算出する。具体的には、以下の（２６）式により与えられる。

ここで、ａ＿ｗｅｉｇｈｔ及びｂ＿ｗｅｉｇｈｔは重み係数である。

以上説明したように、実施形態３によれば、実施形態１で説明した効果に加えて、水平方向、垂直方向、時間方向の少なくとも１つのノイズ特性が変化した場合、その変化した次元のノイズ特性についての評価値を再計算する。そして、変化していない次元のノイズ特性と変化した次元のノイズ特性を用いることで、ノイズ特性の変化に対応した評価値計算を行うことができる。

＜実施形態４＞
以上の実施形態では、撮像装置により撮影された画像のデジタルデータを入力として、ノイズの定量評価値を算出している。しかしながら、実際には画像を表示するディスプレイによりノイズの知覚量は大きく異なり、液晶の応答速度等のディスプレイ特性は無視できない。そこで、図１７に示す様に、実際にディスプレイを高速度カメラ（撮像装置）により撮影し、その撮影画像に対して動画ノイズ評価処理を適用すれば、ディスプレイの特性を考慮できる。

実施形態４の具体的な動作について、以下に述べる。画質評価装置は、まず、評価対象のノイズ画像をディスプレイに対して出力する。ディスプレイは、画像評価装置から評価対象のノイズ画像を受け取り、画像をパネル上に表示する。撮像装置は、ディスプレイの表示タイミングとの同期をとるための垂直同期信号や制御信号を画質評価装置から受け取り、ディスプレイ上に表示されたノイズ画像を撮影する。その撮影されたノイズ画像を入力として、以降の処理は、図５の動画ノイズ評価処理を適用すれば、動画ノイズ評価値が算出される。

実施形態４によれば、ディスプレイの動特性を考慮した動画ノイズ評価値が算出可能なため、例えば、ＣＲＴとＬＣＤ等の特性の異なるディスプレイ間のノイズの見えの違いを評価できる。

また、入力として画像データそのものを与えるのではなく、事前に算出したノイズの時空間自己相関係数をデータとして与え、評価値を計算することも可能である。本発明は、ノイズの時空間の自己相関係数を乗算することで評価値を算出するため、必ずしも画像データそのものが必要ではないからである。

そのため、例えば、ＣＣＤやＣＭＯＳ等のイメージセンサの特性をもとに、あらかじめノイズの自己相関係数をプロファイルとして計算しておく。このプロファイル内の自己相関係数を図５のステップ５０４以降の処理に与え、評価値を算出することで、どの程度のノイズが知覚されるかを計算できる。

＜実施形態５＞
実施形態５では、ビデオカメラの時間応答特性が既知であるとの前提のもと、表示装置の特性を考慮して、ノイズの知覚量を目標値へとマッチングさせるための画像処理に関して説明する。

前述したように、一般に、動画ノイズの見えはディスプレイ等の表示装置の時間応答特性によって変化する。例えば、時間応答特性が低いディスプレイと時間応答特性が良いディスプレイで同一の画像を再生した場合、時間応答特性が低いディスプレイの方がノイズを知覚しにくい。このように、同一の画像でも表示するディスプレイが異なれば、知覚されるノイズ量にずれが生じる。このため、どのようなディスプレイで表示してもノイズ量を一定に保つためには、ディスプレイ上に表示された画像のノイズ知覚量を目標値へとマッチングさせる必要がある。

ノイズの見えを目標値と一致させるには、ディスプレイの時間応答特性に応じて、ノイズリダクションの強度を変更する必要がある。しかしながら、ディスプレイの時間応答特性を考慮した自動チューニング手法は提案されていない。

そこで、実施形態５では、時間応答特性が既知なカメラ（撮像装置）を用いてディスプレイの時間応答特性を算出し、時間応答特性を考慮したノイズ評価値が目標値と等しくなるように画像処理パラメータを変更する。

実施形態５の構成例を図１８に示す。まず、時間応答特性が既知のビデオカメラを用いて、ディスプレイを撮影することで、ディスプレイの時間応答特性を取得する。次に、取得したディスプレイの時間応答特性とビデオカメラの時間応答特性を考慮して、各々のディスプレイに対するノイズ評価値を算出し、目標値と同等となるようにノイズリダクション強度を変更する。尚、図１８の画像処理装置の構成は、実施形態１において記述した画像評価装置と同様のものでありうる。

以下では、図１８の画像処理装置において実現される具体的な動画ノイズ量マッチング処理（あるいは動画ノイズ量マッチングプログラム）について説明する。動画ノイズ量マッチングプログラムは、具体的に以下の様に動作する。

まず、ＨＤＤ２０５に格納されている動画ノイズ量マッチングプログラムが、キーボード２０９及びマウス２１０を介したユーザの指示によりＣＰＵ２０１にて実行される。これにより、図１９のアプリケーションウィンドウ１９０１がディスプレイ２１２上に表示される。

次に、ユーザはノイズ量の目標値の設定を行うため、テキストエディタ１９０２にキーボード２０９を介して目標値を入力する。ここで、目標値とは実施形態１乃至４で述べたノイズ評価値に対応する値である。

さらに、ユーザは画像表示領域１９０４上で、マウス２１０を介して撮影領域１９０５を指定する。ここで、撮影領域１９０５は、ディスプレイＡの画面をはみ出さないように設定される必要がある。さらに、ユーザは撮影開始ボタン１９０３を選択すると、プログラム処理に従い、ディスプレイＡに対してテスト動画が出力される。ここで、例えば、図２０に示したように、最初は全面「黒」を表示しておき、ｎフレーム以降は全面「白」を表示するステップ応答の画像等が出力される。但し、表示される画像はこれに限定されるものではなく、パッチ画像や水平方向のライン画像等であってもよい。また、画像処理装置は撮像装置を制御し、画像の撮影が開始され、撮影データＶａが取得される。ここで、撮像装置の撮影フレームレートは、ディスプレイＡのフレームレートより大きいものとする。

次に、ユーザは定量評価値算出のための評価条件を設定するため、評価条件設定ボタン１９０６を押下する。すると、図４のダイアログウィンドウ４０１がディスプレイ２１２上に表示される。ダイアログウィンドウ４０１において、フレームレート設定エディタ４０２では読み込んだ画像データの表示フレームレートを設定する。また、ディスプレイ縦画素ピッチ設定エディタ４０３では、読み込んだ画像データを表示するディスプレイの縦画素ピッチを設定する。また、ディスプレイ横画素ピッチ設定エディタ４０４では、読み込んだ画像データを表示するディスプレイの横画素ピッチを設定する。最後に、観察者視距離設定エディタ４０５では、ユーザがディスプレイを観察する際の視距離を設定する。ユーザが設定終了ボタン４０６を押下すると、各設定エディタ４０２、４０３、４０４に入力された値が、例えば、ＲＡＭ２０３に記憶され、ダイアログウィンドウ４０１が非表示となる。

最後に、ユーザが補正開始ボタン１９０７を押下すると、後述する図２１のフローチャートに従うノイズ量補正処理がなされ、ディスプレイＡと目標値とのノイズ感マッチング処理が実行される。

以下では、ノイズ量マッチングプログラムで実行されるノイズ量補正処理について、図２１のフローチャートを用いて処理の内容を説明する。

ステップＳ２１０１では、目標値取得処理を行う。具体的には、テキストエディタ１９０２からマッチングの目標値を取得する。以下では、目標値をＤｖａｌとする。

ステップＳ２１０２では、後述するディスプレイ時間応答特性取得処理を施し、撮影したディスプレイＡの撮影画像Ｖａと、撮像装置の時間応答特性Ｒｃから、ディスプレイＡの時間応答特性Ｒａを算出する。尚、Ｒａが既知の場合は、本ステップを省略してもよい。

ステップＳ２１０３では、ノイズリダクションのパラメータを設定する。ここで、ノイズリダクションは、撮像装置にて行われてもよいし、ディスプレイＡにて行われてもよいし、画像処理装置にて行われてもよい。

ステップＳ２１０４では、ノイズリダクションがかけられた画像に対して、時間応答特性Ｒａを用いてディスプレイに対するノイズ評価値ｓａを算出する。具体的な評価値算出処理の動作については、後述する。

ステップＳ２１０５では、全てのノイズリダクションパラメータに対して評価値の算出が完了したか否かを判定する。全てのノイズリダクションパラメータに対して評価値の算出が完了している場合（ステップＳ２１０５でＹＥＳ）は、ステップＳ２１０６へ移行する。一方、全てのノイズリダクションパラメータに対して評価値の算出が完了していない場合（ステップＳ２１０５でＮＯ）、ステップＳ２１０３へ処理を戻し、新たにノイズリダクションパラメータを設定する。

ステップＳ２１０６では、後述する最適パラメータ選択処理により、ディスプレイＡのノイズ評価値が目標値と同等になるようにノイズリダクションのパラメータを最適化する。

以下では、ディスプレイ時間応答特性取得処理に関して、図２２のフローチャートを用いて具体的に説明する。以下では、ディスプレイＡの時間応答特性Ｒａを得る方法について説明する。

ステップＳ２２０１では、撮影した画像のステップ画像を求める。ステップ応答Ｒｓａ＿Ｌ、Ｒｓａ＿ａ、Ｒｓａ＿ｂは、撮影画像Ｖａの各フレームの平均値をとることで算出される。具体的には、以下の式で得られる。

ここで、Ｖａ＿Ｌ（ｘ，ｙ，ｚ）は撮影画像Ｖａのｔフレーム目の座標（ｘ，ｙ）のＬ＊値を表す。同様に、Ｖａ＿ａ（ｘ，ｙ，ｔ）及びＶａ＿ｂ（ｘ，ｙ，ｔ）は撮影画像Ｖａのｔフレーム目の座標（ｘ，ｙ）のａ＊値及びｂ＊を表す。撮影画像Ｖａ及びＶｂから、Ｖａ＿Ｌ、Ｖａ＿ａ及びＶａ＿ｂへの変換は、実施形態１で述べたとおりである。また、図２３は、得られたステップ応答の一例を示している。

ステップＳ２２０２では、画像Ｖａのインパルス応答Ｒｉａ＿Ｌ、Ｒｉａ＿ａ及びＲｉａ＿ｂを求める。インパルス応答Ｒｉａ＿Ｌ、Ｒｉａ＿ａ及びＲｉａ＿ｂは、下記の式を用いて、ステップＳ２２０１で得られたＲｓａを微分することで得られる。

尚、上記式のｈｄは微分フィルタである。ここで、図２３のデータに対して本ステップの処理を施した結果得られるインパルス応答の模式図を図２４に示す。

ステップＳ２２０３では、Ｒｉａ＿Ｌ、Ｒｉａ＿ａ及びＲｉａ＿ｂに対してノイズの影響を低減させる平滑化処理を行い、時間応答特性データＲｉａ＿Ｌ’、Ｒｉａ＿ａ’及びＲｉａ＿ｂ’を算出する。平滑化処理は公知の方法で良い。ここでは５タップの平滑化フィルタ処理を下記の式を用いて、Ｒｉａの全てのデータに対して行うものとする。

ステップＳ２２０４では、ステップＳ２２０３で得られたＲｉａ＿Ｌ’、Ｒｉａ＿ａ’及びＲｉａ＿ｂ’に対して、撮像装置の特性を取り除き、ディスプレイ単体の時間応答特性Ｒａ＿Ｌ、Ｒａ＿ａ及びＲａ＿ｂを得る。Ｒｉａ＿Ｌ’、Ｒｉａ＿ａ’及びＲｉａ＿ｂ’には、ディスプレイ単体の時間応答特性Ｒａ＿Ｌ、Ｒａ＿ａ及びＲａ＿ｂだけでなく、撮像装置の時間応答特性Ｒｃ＿Ｌ、Ｒｃ＿ａ及びＲｃ＿ｂが含まれている。そこで、Ｒｉａ＿Ｌ’、Ｒｉａ＿ａ’及びＲｉａ＿ｂ’に対して、撮像装置の特性を取り除くため、デコンボリューション処理を行う。具体的には、以下の式によって実現される。

ここで、ｆｆｔはフーリエ変換を表し、ｉｆｆｔは逆フーリエ変換を表す。

以下では、評価値算出処理の動作について、実施形態１との差分について述べる。本実施形態では、ノイズの時間方向の相関を算出する際に、ディスプレイの時間応答特性を考慮する。具体的には、ノイズ画像の時間相関係数に、ディスプレイの時間応答特性を畳みこめばよい。そこで、ステップＳ５０３の時間方向の自己相関係数Ｃｔ＿Ｌ、Ｃｔ＿ａ及びＣｔ＿ｂを以下の式で表わされるＣｔ＿Ｌ’ 、Ｃｔ＿ａ’及びＣｔ＿ｂ’に置き換えればよい。

以下では、最適パラメータ選択処理について述べる。最適パラメータ選択処理では、ディスプレイＡに対する評価値と目標値Ｄｖａｌに対して、両者の値が最も近くなるノイズリダクションパラメータの組み合わせを総当たり的に算出する。図２５のフローチャートを用いて、具体的に説明する。

ステップＳ２５０１では、初期設定を行う。具体的には、ｉ＝０、ｄｉｆｆ＝Ｉｎｆ、ｐａ＝Ｎｕｌｌを代入する。ここで、ｉはディスプレイＡに対する設定パラメータのインデックスを表す変数である。また、ｄｉｆｆはディスプレイＡの評価値と目標値Ｄｖａｌとの差分絶対値の最小値を保存する変数であり、Ｉｎｆは正の無限大値を表す。ｐａはディスプレイＡに対する最適パラメータを表し、Ｎｕｌｌは未定義値を表す。

ステップＳ２５０２では、ノイズリダクションパラメータｐ（ｉ）に対するディスプレイＡの評価値ｓａ（ｉ）を取得する。

ステップＳ２５０３では、ｓａ（ｉ）とＤｖａｌの差分絶対値がｄｉｆｆより小さいか否かを判定する。ｓａ（ｉ）とＤｖａｌの差分絶対値がｄｉｆｆより小さい場合（ステップＳ２５０３でＹＥＳ）、ステップＳ２５０４に移行する。一方、ｓａ（ｉ）とＤｖａｌの差分絶対値がｄｉｆｆ以上である場合（ステップＳ２５０３でＮＯ）、ステップＳ２５０５に移行する。

ステップＳ２５０４では、最適パラメータ及び評価値の誤差を更新する。具体的には、ｄｉｆｆ＝｜ｓａ（ｉ）−Ｄｖａｌ｜、ｐａ＝ｐ（ｉ）を代入する。

ステップＳ２５０５では、ｉがＮより小さいか否かを判定する。ここで、Ｎは設定されたパラメータの総数である。ｉがＮより小さい場合（ステップＳ２５０５でＹＥＳ）、ステップＳ２５０６に移行する。一方、ｉがＮ以上である場合（ステップＳ２５０５でＮＯ）、以上の処理で得られたｐａを最適化パラメータとして出力し、処理を終了する。

ステップＳ２５０６では、ｉをインクリメントする。

尚、実施形態５では、ディスプレイのステップ応答を撮影することにより、ディスプレイの時間応答特性を求めていた。しかしながら、本発明はこれに限定されない。具体的には、図２６に示した画像をディスプレイＡに表示することで、インパルス応答を直接取得してもよい。

＜実施形態６＞
実施形態５では、目標値をユーザが直接与え、ノイズマッチング処理を行っていた。実施形態６では、複数のディスプレイ間のノイズ知覚量のマッチングを行う。具体的には、まず、複数のディスプレイを撮影し、各ディスプレイにおけるノイズ評価値を算出する。次に、一方のノイズ評価値を目標値として設定し、もう一方のディスプレイに対し、実施形態５と同様にノイズリダクションの最適パラメータを算出する。

以下では、図２７に示す様に、２つのディスプレイのノイズの見えを一致させる場合を例にとり、実施形態６を具体的に説明する。尚、ノイズの見えを一致させるディスプレイは２つに限定されず、３つ以上でもよい。以下では、ディスプレイＢに対して、ディスプレイＡをマッチングさせるものとして、実施形態６を説明する。

以下では、図２７の画像処理装置において実現される具体的な動画ノイズ量マッチング処理（あるいは動画ノイズ量マッチングプログラム）について述べる。動画ノイズ量マッチングプログラムは、具体的に以下の様に動作する。

まず、ＨＤＤ２０５に格納されている動画ノイズ量マッチングプログラムが、キーボード２０９及びマウス２１０を介したユーザの指示によりＣＰＵ２０１にて実行される。これにより、図２８のアプリケーションウィンドウ２８０１がディスプレイ２１２上に表示される。

次に、ユーザはディスプレイＡの撮影を行うため、選択ボタン２８０２を押下する。すると画像表示領域２８０４には、撮像装置の録画している画像が表示される。ユーザは画像表示領域２８０４上で、マウス２１０を介して撮影領域２８０５を指定する。ここで、撮影領域２８０５は、ディスプレイＡの画面をはみ出さないように設定される必要がある。さらに、ユーザは撮影開始ボタン２８０６を選択すると、プログラム処理に従い、ディスプレイＡに対して画像信号が出力される。ここで出力される画像は、実施形態５と同様である。

さらに、ユーザはディスプレイＢの撮影を行うため、選択ボタン２８０２を選択する。すると画像表示領域２８０４には、撮像装置の録画している画像が表示される。以下、ディスプレイＡの撮影と同様の手順により、ディスプレイＢの撮影データＶｂが取得される。

次に、ユーザは定量評価値算出のための評価条件を設定するため、評価条件設定ボタン２８０７を押下する。すると、図２９のダイアログウィンドウ２９０１がディスプレイ２１２上に表示される。ダイアログウィンドウ２９０１に於いて、ディスプレイＡ縦画素ピッチ設定エディタ２９０２では、ディスプレイＡの縦画素ピッチを、ディスプレイＡ横画素ピッチ設定エディタ２９０３では、ディスプレイＡの横画素ピッチを設定する。また、同様に、ディスプレイＢ縦画素ピッチ設定エディタ２９０４では、ディスプレイＢの縦画素ピッチを、ディスプレイＢ横画素ピッチ設定エディタ２９０５では、ディスプレイＢの横画素ピッチを設定する。さらに、観察者視距離設定エディタ２９０６では、ユーザがディスプレイＡ及びＢを観察する際の視距離を設定する。フレームレート設定エディタ２９０７では、ディスプレイＡ及びＢの表示フレームレートを設定する。また、ユーザが設定終了ボタン２９０８を押下すると、各設定エディタに入力された値が、例えば、ＲＡＭ２０３に記憶され、ダイアログウィンドウ２９０１が非表示となる。

最後に、ユーザが補正開始ボタン２８０８を押下すると、後述する図３０のフローチャートに従うノイズ量補正処理がなされ、ディスプレイＡとディスプレイＢのノイズ感をマッチングさせる。

以下では、ノイズ量マッチングプログラムで実行されるノイズ量補正処理について、図３０のフローチャートを用いて処理の内容を説明する。

ステップＳ３００１では、ディスプレイ時間応答特性取得処理を施し、撮影したディスプレイＡ及びＢの撮影画像Ｖａ及びＶｂと、撮像装置の時間応答特性Ｒｃから、各ディスプレイの時間応答特性Ｒａ及びＲｂを算出する。ここで、Ｒａ及びＲｂの取得方法は、ステップＳ２１０１と同様である。

ステップＳ３００２では、マッチング目標であるディスプレイＢに対して、Ｒｂを用いてノイズ評価値を算出することでマッチングの目標値を取得する。ここで、評価値の算出方法は、実施形態５と同様である。

ステップＳ３００３では、ノイズリダクションのパラメータを設定する。ここで、ノイズリダクションは、撮像装置にて行われてもよいし、ディスプレイＡにて行われてもよいし、画像処理装置にて行われてもよい。

ステップＳ３００４では、ノイズリダクションがかけられた画像に対して、Ｒａを用いてディスプレイに対するノイズ評価値ｓａを算出する。

ステップＳ３００５では、全てのノイズリダクションパラメータに対して評価値の算出が完了したか否かを判定する。全てのノイズリダクションパラメータに対して評価値の算出が完了している場合（ステップＳ３００５でＹＥＳ）、ステップＳ３００６へ移行する。一方、全てのノイズリダクションパラメータに対して評価値の算出が完了していない場合（ステップＳ３００５でＮＯ）、ステップＳ３００３へ処理を戻し、新たにノイズリダクションパラメータを設定する。

ステップＳ３００６では、最適パラメータ選択処理により、ディスプレイＡのノイズ評価値が目標値と同等になるようにノイズリダクションのパラメータを選択する。

＜実施形態７＞
実施形態５、６では、撮像装置の特性が既知であるという前提があったが、撮像装置の特性は撮影条件や気温、経年劣化などにより変化することがあり、必ずしも既知であるとは限らない。このため、ノイズのマッチングを行う際に、ディスプレイの時間応答特性を取得するために、撮像装置の時間応答特性の取得が必要な場合がある。

そこで、実施形態７では、撮影機器の時間応答特性を特性が既知のディスプレイで測定し、ノイズ感のマッチングを行う。以下では、ディスプレイＢの時間応答特性が既知であるが、ディスプレイＡの時間応答特性が未知である場合について説明するが、本発明はこれに限定されない。例えば、ディスプレイＡ及びＢの両方の時間応答特性が未知の場合には、特性が既知の第三のディスプレイを用意して撮像装置の時間応答特性を取得すればよい。また、ノイズの見えを一致させるディスプレイは２つに限定されず、３つ以上でもよい。以下では、実施形態６との差分である、ノイズ量補正処理について説明する。

以下では、ノイズ量マッチングプログラムで実行されるノイズ量補正処理について、図３１のフローチャートを用いて処理の内容を説明する。

ステップＳ３１０１では、後述する撮像装置時間応答特性取得処理を施し、既知のディスプレイＢの時間応答特性を用いて撮像装置の時間応答特性Ｒｃを算出する。

ステップＳ３１０２では、ディスプレイ時間応答特性取得処理を施し、撮影したディスプレイＡの撮影画像Ｖａと、撮像装置の時間応答特性Ｒｃから、各ディスプレイの時間応答特性Ｒａを得る。ここで、Ｒａの取得方法は、ステップＳ２１０１と同様である。

ステップＳ３１０３では、マッチング目標であるディスプレイＢに対して、Ｒｂを用いてノイズ評価値を算出することでマッチングの目標値を取得する。ここで、評価値の算出方法は、実施形態５と同様である。

ステップＳ３１０４では、ノイズリダクションのパラメータを設定する。ここで、ノイズリダクションは、撮像装置にて行われてもよいし、ディスプレイＡにて行われてもよいし、画像処理装置にて行われてもよい。

ステップＳ３１０５では、ノイズリダクションがかけられた画像に対して、Ｒａを用いてディスプレイに対するノイズ評価値ｓａを算出する。

ステップＳ３１０６では、全てのノイズリダクションパラメータに対して評価値の算出が完了したか否かを判定する。全てのノイズリダクションパラメータに対して評価値の算出が完了している場合（ステップＳ３１０６でＹＥＳ）、ステップＳ３１０７へ移行する。一方、全てのノイズリダクションパラメータに対して評価値の算出が完了していない場合（ステップＳ３１０６でＮＯ）、ステップＳ３１０４へ処理を戻し、新たにノイズリダクションパラメータを設定する。

ステップＳ３１０７では、最適パラメータ選択処理により、ディスプレイＡのノイズ評価値が目標値と同等になるようにノイズリダクションのパラメータを選択する。

以下では、撮像装置時間応答特性取得処理について、図３２のフローチャートを用いて具体的に説明する。

ステップＳ３２０１では、撮影した画像のステップ画像を求める。ステップ応答Ｒｓｂ＿Ｌ、Ｒｓｂ＿ａ、Ｒｓｂ＿ｂは、撮影画像Ｖｂの各フレームの平均値をとることで得られる。具体的には、以下の式で得られる。

ここで、Ｖｂ＿Ｌ（ｘ，ｙ，ｚ）は撮影画像Ｖｂのｔフレーム目の座標（ｘ，ｙ）のＬ＊値を表す。同様に、Ｖｂ＿ａ（ｘ，ｙ，ｔ）及びＶｂ＿ｂ（ｘ，ｙ，ｔ）は撮影画像Ｖｂのｔフレーム目の座標（ｘ，ｙ）のａ＊値及びｂ＊を表す。撮影画像Ｖｂから、Ｖｂ＿Ｌ、Ｖｂ＿ａ及びＶｂ＿ｂへの変換は、実施形態１で述べたとおりである。

ステップＳ３２０２では、画像Ｖｂのインパルス応答Ｒｉｂ＿Ｌ、Ｒｉｂ＿ａ及びＲｉｂ＿ｂを求める。インパルス応答Ｒｉｂ＿Ｌ、Ｒｉｂ＿ａ及びＲｉｂ＿ｂは、下記の式を用いて、ステップＳ３２０１で得られたＲｓｂを微分することで得られる。

尚、上記式のｈｄは微分フィルタである。

ステップＳ３２０３では、Ｒｉｂ＿Ｌ、Ｒｉｂ＿ａ及びＲｉｂ＿ｂに対してノイズの影響を低減させる平滑化処理を行い、時間応答特性データＲｉｂ＿Ｌ’、Ｒｉｂ＿ａ’及びＲｉｂ＿ｂ’を算出する。平滑化処理は公知の方法で良い。ここでは５タップの平滑化フィルタ処理を下記の式を用いて、Ｒｉｂの全てのデータに対して行うものとする。

ステップＳ３２０４では、ステップＳ３２０３で得られたＲｉｂ＿Ｌ’、Ｒｉｂ＿ａ’及びＲｉｂ＿ｂ’に対して、ディスプレイＢの特性を取り除き、撮像装置単体の時間応答特性Ｒｃ＿Ｌ、Ｒｃ＿ａ及びＲｃ＿ｂを得る。Ｒｉｂ＿Ｌ’、Ｒｉｂ＿ａ’及びＲｉｂ＿ｂ’には、カメラ単体の時間応答特性Ｒｃ＿Ｌ、Ｒｃ＿ａ及びＲｃ＿ｂだけでなく、ディスプレイＢの時間応答特性Ｒｂ＿Ｌ、Ｒｂ＿ａ及びＲｂ＿ｂが含まれている。そこで、Ｒｉｂ＿Ｌ’、Ｒｉｂ＿ａ’及びＲｉｂ＿ｂ’に対して、撮像装置の特性をデコンボリューションにより取り除く。具体的には、以下の式によって実現される。

ここで、ｆｆｔはフーリエ変換を表し、ｉｆｆｔは逆フーリエ変換を表す。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 動画像のノイズ特性を評価する画質評価装置であって、
   評価対象の動画像の空間方向の自己相関係数及び時間方向の自己相関係数を取得する取得手段と、
   前記取得手段で取得した前記空間方向の自己相関係数に対して周波数解析を実行し、その周波数解析結果に空間周波数の視覚特性を示す視覚応答関数を乗算することで空間方向のノイズ量を計算すると共に、前記時間方向の自己相関係数に対して周波数解析を実行し、その周波数解析結果に時間周波数の視覚特性を示す視覚応答関数を乗算することで時間方向のノイズ量を計算する計算手段と、
   前記計算手段で計算した複数のノイズ量の積を、前記評価対象の動画像の動画ノイズ評価値として算出する評価値算出手段と
   を備えることを特徴とする画質評価装置。
2. 前記空間方向の自己相関係数には、前記動画像の水平方向の自己相関係数と前記動画像の垂直方向の自己相関係数が含まれることを特徴とする請求項１に記載の画質評価装置。
3. 前記計算手段は、
   前記水平方向に対して計算される第１のノイズ量と、前記垂直方向に対して計算される第２のノイズ量と、前記時間方向に対して計算される第３のノイズ量の３つのノイズ量、および、
   前記水平方向と前記垂直方向で規定される空間２次元に対して計算される第１のノイズ量と、前記時間方向に対して計算される第２のノイズ量の２つのノイズ量
   のいずれかを計算する
   ことを特徴とする請求項２に記載の画質評価装置。
4. 前記評価対象の動画像の色空間を変換する変換手段と、
   前記変換手段で変換された動画像から動画ノイズ成分のみを抽出する抽出手段とを更に備え、
   前記取得手段は、前記抽出手段で抽出した動画ノイズ成分に対し、空間方向及び時間方向の自己相関係数を取得する
   ことを特徴とする請求項１または請求項２に記載の画質評価装置。
5. 前記抽出手段は、前記評価対象の動画像を時間方向に平均することで時間的な直流成分を算出し、算出した直流成分を前記動画像から減算することで、前記動画ノイズ成分を抽出する
   ことを特徴とする請求項４に記載の画質評価装置。
6. 前記評価対象の動画像に対する前記評価値算出手段による前記動画ノイズ評価値の算出後、該評価対象の動画像の水平方向、垂直方向及び時間方向それぞれのノイズ特性の少なくとも１つが変化した場合、変化したノイズ特性の方向を指定する指定手段を更に備え、
   前記取得手段は、前記指定手段で指定された方向に対する自己相関係数を新たに取得し、
   前記計算手段は、前記取得手段で新たに取得した自己相関係数に対する前記ノイズ量を再計算し、
   前記評価値算出手段は、前記計算手段で再計算したノイズ量と、ノイズ特性が変化していない方向についてのノイズ量との積を、前記評価対象の動画像の新たな動画ノイズ評価値として算出する
   ことを特徴とする請求項１に記載の画質評価装置。
7. 前記評価対象の動画像をディスプレイに出力する出力手段を更に備え、
   前記出力手段で前記ディスプレイに出力した評価対象の動画像の撮影画像について、前記取得手段、前記計算手段、及び前記評価値算出手段の各手段を実行することで、前記ディスプレイの動特性を考慮した前記動画ノイズ評価値を算出する
   ことを特徴とする請求項１に記載の画質評価装置。
8. 動画像のノイズ特性を評価する画質評価装置の制御方法であって、
   取得手段が、評価対象の動画像の空間方向の自己相関係数及び時間方向の自己相関係数を取得する取得工程と、
   計算手段が、前記取得工程で取得した前記空間方向の自己相関係数に対して周波数解析を実行し、その周波数解析結果に空間周波数の視覚特性を示す視覚応答関数を乗算することで空間方向のノイズ量を計算すると共に、前記時間方向の自己相関係数に対して周波数解析を実行し、その周波数解析結果に時間周波数の視覚特性を示す視覚応答関数を乗算することで時間方向のノイズ量を計算する計算工程と、
   評価値算出手段が、前記計算工程で計算した複数のノイズ量の積を、前記評価対象の動画像データの動画ノイズ評価値として算出する評価値算出工程と
   を備えることを特徴とする画質評価装置の制御方法。
9. 請求項１乃至７のうち、何れか１項に記載の画質評価装置の各手段としてコンピュータを動作させるためのプログラム。

Images