JP5510688B2 - 画像のマルチレベル分解を利用して画質計測値を決定する方法およびシステム - Google Patents

Description

本発明は、画質の評価に係り、特に、向上した認識性能を有する、より向上した画質の計測値またはメトリックを決定する方法およびシステムに係る。

画質評価は、画像のトランスコードおよび圧縮を含む様々なコンテキストにおいて重要である。テキスト、音声、静止画像、動画像、写真、ビデオクリップを含むリッチなマルチメディアコンテキストを、移動端末、携帯電話、コンピュータその他の電子デバイスからなる異機種環境にあるネットワークで配信する際に、画像のトランスコードは欠かせない機能である。画質は、原画像（参照画像とも称される）と、画像処理後の画像（変形画像（distorted image）とも称される）との間の類似度を計測することで評価することができる。このような品質評価は、例えば画像処理技術の高価を判断する際にも利用可能である。

画質の評価は、エンドユーザ、人間のクライアントが許容できる出力を提供するべく、マルチメディアアプリケーションを含む様々な画像およびビデオ処理アプリケーションを開発する際の重要な役割を担っている。画質は、人間の観察者が主観的に評価するのが一番である。しかし、品質の主観的評価は、時間がかかり、コストが高く、リアルタイムには行うことができない。従って、変形されていない原画像と変形された画像信号との間の差異を計測することができる客観的な計測値の定義が必要である。理想的には、このような客観的な計測値は、２種類の画像信号間の認識可能な差異と相関しているはずであり、主観的な品質と一次関数の関係にあるはずである。主観的な画質は、処理画像が人間の観察者の目にどう写るかに関しており、観察者の品質に対する意見が関与する。

通常、主観的な方法は参照画像の利用可能性に基づいて分類することができる。参照画像が利用可能な場合、品質計測値または品質メトリックは、完全参照（ＦＲ）評価計測値とみなされる。ピーク信号対雑音比（ＰＳＮＲ）は、ＦＲの評価計測値としては最も古く、最も幅広く利用されており、いくつも魅力的な特徴を有している。つまり簡単であり、物理的な意味が明解であり、パラメータが不要であり、Ｚ．ＷａｎｇおよびＡ．Ｃ．Ｂｏｖｉｋによる「平均平方誤差：好きではなければ無視せよ：最新の信号忠実度計測値」ＩＥＥＥ信号処理会報誌、２６巻、１号、９８−１１７ページ、２００９年１月にも記載されているように色々な最適化コンテキストにおいてパフォーマンスがすばらしい。この計測値は以下のように定義されている。

ここで、ＸおよびＹは、参照画像（原画像）および変形画像をそれぞれ示しており、Ｘ_ｍａｘは、参照画像Ｘの最大可能性のある画素値であり（最小画素値は０と想定される）、Ｎ_Ｐは、各画像中の画素数である。

しかし従来のＰＳＮＲは、画像忠実度についての人間の認識を十分反映はできず、つまり、いくらＰＳＮＲ利得が大きくても、視覚品質の向上度合いが小さい場合もある。従って研究者たちは、他にもいくつも品質計測値を開発してきた。一般的には、画像信号のＦＲ評価には、上昇型と下降型の２種類の方法がある（Ｚ．ＷａｎｇおよびＡ．Ｃ．Ｂｏｖｉｋによる「現代の画質の評価」米国、Ｍｏｒｇａｎ＆Ｃｌａｙｐｏｏｌ、２００６を参照のこと）。

上昇型の方法では、品質の認識計測値は、目に見えるエラーを定量化することで最もよく推定される。人間の視覚システム（ＨＶＳ）フィーチャに従ってエラーを量子化するために、このカテゴリーの技術は、ＨＶＳの異なる段階の機能的な特徴を、精神物理学的および生理学的実験両方により特徴づけてモデル化しようとする。この作業は通常、Ｚ．ＷａｎｇおよびＡ．Ｃ．Ｂｏｖｉｋによる「現代の画質の評価」米国、Ｍｏｒｇａｎ＆Ｃｌａｙｐｏｏｌ、２００６、および、「画像処理の基本ガイド」、米国、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、２００９、ｃｈ．２１に記載されているように、前処理、周波数分析、対比感度分析、輝度マスキング、コントラストマスキング、および、エラープーリング等といった様々な段階を経て行われる。ＨＶＳに基づく品質評価技術の殆どは、空間周波数の各帯域を独立したチャネルで処理することを想定したマルチチャネルモデルを利用している。Ｓ．Ｄａｌｙが「目に見える差異の予測器：画像忠実度の評価アルゴリズム」、Ｐｒｏｃ．ＳＰＩＥ、１６１６巻、１９９２年２月、２−１５ページで述べているような、目に見える差異の予測器（ＶＤＰ：visible difference predictor）モデルでは、画像を５つの空間レベルに分解してから、さらに６つの配向レベルにＷａｔｓｏｎの大脳皮質変換（Watson's Cortex transform）の変形版を利用して分解する。そして、そのチャネルのコントラストから、閾値マップを計算する。「画像システム設計および評価のための視覚差別化モード」Visual models for Target Detection and Recognition、シンガポール：World Scientific,１９９５、２０７−２２０ページではＳａｒｎｏｆｆの視覚差別化モデルとも称されるＬｕｂｉｎのモデルでは、画像をローパスフィルタして再度サンプリングした後で７つの解像度に分解している。
Ｐ．Ｃ ＴｅｏおよびＤ．Ｊ．Ｈｅｅｇｅｒの研究では、ステアリング可能なピラミッド変換を利用して画像を幾つかの空間周波数レベルに分解しており、ここで各空間周波数レベルは、さらに一式の（６つの）配向帯域に分割される。彼らが提示する方法は、「認識される画像の変形」Ｐｒｏｃ．ＩＥＥＥ．Ｉｎｔ．Ｃｏｎｆ．画像処理、２巻、１９９４年１１月、９８２−９８６ページに記載されている。Ｄ．Ｍ．ＣｈａｎｄｌｅｒおよびＳ．Ｓ．Ｈｅｍａｎｉが「ウェーブレットに基づく、自然画像の視覚上の信号対雑音比」画像処理に対するＩＥＥＥ処理、１６巻、９号、２２８４−２２９８ページ、２００７年９月で説明しているＶＳＮＲも、画像前処理の後に、離散ウェーブレット変換と９／７双直交フィルタとを利用して、参照画像と変形画像との間で、参照画像およびエラー両方を分解する、という別の高度なＨＶＳに基づくメトリックである。この技術では、次に、コントラスト検知閾値を計算して、ウェーブレット分解が生成した各サブバンドの変形を検知する能力を評価する。多解像分解ではなくてフーリエ変換を利用する上昇型の方法を利用する公知な方法には、他にも、重み付けを加えた信号対雑音比（ＷＳＮＲ）などがあり、これは、Ｎ．Ｄａｍｅｒａ−Ｖｅｎｋａｔａ、Ｔ．Ｄ．Ｋｉｔｅ、Ｗ．Ｓ．Ｇｅｉｓｌｅｒ、Ｂ．Ｌ．Ｅｖａｎｓ、および、Ａ．Ｃ．Ｂｏｖｉｋが「劣化モデル（degradation model）に基づく画質評価」画像処理に対するＩＥＥＥ処理、９巻、４号、６３６−６５０ページ、２０００年４月、および、Ｍ．Ｍｉｙａｈａｒａ、Ｋ．Ｋｏｔａｎｉ、Ｖ．Ｒ．Ａｌｇａｚｉが、「画像符号のための客観的画質スケール（ＰＱＳ）」、通信に対するＩＥＥＥ処理、４６巻、９号、１２１５−１２２５ページ、１９９８年９月で説明している画質スケール（ＰＱＳ）で説明している。上昇型の方法は、幾つか重要な制約を有しており、例えば、Ｚ．ＷａｎｇおよびＡ．Ｃ．Ｂｏｖｉｋによる「現代の画質の評価」米国、Ｍｏｒｇａｎ＆Ｃｌａｙｐｏｏｌ、２００６、および、Ｚ．Ｗａｎｇ、Ａ．Ｂｏｖｉｋ、Ｈ．Ｓｈｅｉｋｈ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉによる「画質評価：エラー可視性から構造的類似度へ」画像処理に対するＩＥＥＥ処理、１３巻、４号、６００−６１２ページ、２０００年４月で取り扱われている。
さらに、Ｎ．Ｄａｍｅｒａ−Ｖｅｎｋａｔａ、Ｔ．Ｄ．Ｋｉｔｅ、Ｗ．Ｓ．Ｇｅｉｓｌｅｒ、Ｂ．Ｌ．Ｅｖａｎｓ、および、Ａ．Ｃ．Ｂｏｖｉｋが「劣化モデル（degradation model）に基づく画質評価」画像処理に対するＩＥＥＥ処理、９巻、４号、６３６−６５０ページ、２０００年４月で説明しているＷＳＮＲ、雑音品質計測値（ＮＱＭ）および、Ｄ．Ｍ．ＣｈａｎｄｌｅｒおよびＳ．Ｓ．Ｈｅｍａｎｉが「ＶＳＮＲ：ウェーブレットに基づく、自然画像の視覚上の信号対雑音比」画像処理に対するＩＥＥＥ処理、１６巻、９号、２２８４−２２９８ページ、２００７年９月で説明しているＶＳＮＲ等の、エラーに基づく技術は、人間の視覚システム（ＨＶＳ）パラメータを計算するために高度な処理を必要とするために、少々複雑になる。

下降型の方法に基づく技術では、ＨＶＳの機能全体をブラックボックスととらえ、入出力の関係に注目する。従って、下降型の方法による技術では、ＨＶＳまたは視覚設定からの較正パラメータが不要である。このカテゴリーの２つの主要な戦略は、構造的方法および情報理論法を利用する。

構造的方法を利用する最も重要な方法は、Ｚ．Ｗａｎｇ、Ａ．Ｂｏｖｉｋ、Ｈ．Ｓｈｅｉｋｈ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉによる「画質評価：エラー可視性から構造的類似度へ」画像処理に対するＩＥＥＥ処理、１３巻、４号、６００−６１２ページ、２０００年４月に記載されている構造的類似度（ＳＳＩＭ）インデックスである。Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ｍ．Ｆ．Ｓａｂｉｒ、およびＡ．Ｃ．Ｂｏｖｉｋが「最近の全参照画質評価アルゴリズムの統計学的評価」、画像処理に対するＩＥＥＥ処理、１５巻、１１号、３４４０−３４５１ページ、２００６年１１月で説明しているように、ＳＳＩＭは、他の品質計測値に比して、許容できる計算上の複雑度の正確なスコアを提供する。ＳＳＩＭは、近年注目されており、幅広い用途が考えられる。Ｚ．Ｗａｎｇ、Ａ．Ｂｏｖｉｋ、Ｈ．Ｓｈｅｉｋｈ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉによる「画質評価：エラー可視性から構造的類似度へ」画像処理に対するＩＥＥＥ処理、１３巻、４号、６００−６１２ページ、２０００年４月に記載されているように、ＳＳＩＭ法の根底にある原理は、ＨＶＳが、視覚シーンから構造的情報を抽出するのに非常に適しているので、構造的類似度（または変形）の計測値が、認識される画質のよい近似を提供する、ということである。
Ｚ．Ｗａｎｇ、Ｅ．Ｓｉｍｏｎｃｅｌｌｉ、およびＡ．Ｃ．Ｂｏｖｉｋによる「画質評価に対するマルチスケール構造的類似度」Ｐｒｏｃ．ＩＥＥＥ Ａｓｉｌｏｍａｒ Ｃｏｎｆ．Ｓｉｇｎａｌｓ，Ｓｙｓｔｅｍｓ，Ｃｏｍｐｕｔｅｒｓ、２巻、２００３年１１月、１３９８−１４０２ページに記載されているマルチスケールＳＳＩＭは、ローパスフィルタとダウンサンプリングを繰り返すことで、５つの異なる解像度の画像の詳細を含めて、ＳＳＩＭ評価の制度を上げる試みを行っている。「構造的類似度メトリックを理解して簡略化する」Proc. IEEE International Conference on image processing、サンディエゴ、２００８年１０月、１１８８−１１９１ページ、および、Ｄ．Ｍ．ＲｏｕｓｅおよびＳ．Ｓ．Ｈｅｍａｍｉによる「画質評価について離散ウェーブレット変換に基づく構造的類似度への投資」Proc. IEEE International Conference on image processing、サンディエゴ、２００８年１０月、３７７−３８０ページでは、これを、異なるレベルのサブバンドを利用して離散ウェーブレット領域で計算することを提唱している。
Ｄａｕｂｅｃｈｉｅｓの９／７ウェーブレットを利用する５レベル分解を、原画像および変形画像両方に適用してから、ＳＳＩＭを対応するサブバンド間で計算する。最後に、類似度の計測値を、全てのＳＳＩＭの重み付けされた平均値を計算して求める。重みを決定するまでには、人間の目の様々な周波数帯域への感度を計測するために多くの実験が行われた。Ｚ．Ｗａｎｇ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉは、「複素ウェーブレット領域の、変換（translation）に左右されない画像類似度」Proc. IEEE International Conference on Acoustics, Speech, Signal Processing、２巻、２００５年３月、５７３−５７６ページで、並びに、Ｍ．Ｐ．Ｓａｍｐａｔ、Ｚ．Ｗａｎｇ、Ｓ．Ｇｕｐｔａ、Ａ．Ｃ．Ｂｏｖｉｋ、およびＭ．Ｋ．Ｍａｒｋｅｙが「複素ウェーブレットの構造的類似度：新たな画像類似度のインデックス」画像処理に対するＩＥＥＥ処理、１８巻、１１号、２３８５−２４０１ページ、２００９年１１月で、複素ウェーブレット構造的類似度（ＣＷ−ＳＳＩＭ）を説明しており、これは、６スケール、１６配向のステアリング可能ピラミッド分解特徴の複素数バージョンの利点を享受しており、僅かな幾何学的歪みに対応する計測値を提案している。

情報理論法では、視覚品質評価を、情報忠実度の課題と捉える。自然シーン統計学に基づく画質計測における情報忠実度計測値（ＩＦＣ）は、Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ａ．Ｃ．Ｂｏｖｉｋ、および、Ｇ．ｄｅ Ｖｅｃｉａｎａによる「自然シーン統計学を利用する画質評価の情報忠実度計測値」画像処理に対するＩＥＥＥ処理、１４巻、１２号、２１１７−２１２８ページ、２００５年１２月で説明されている。ＩＦＣでは、画像ソースは、ガウススケール混合（ＧＳＭ）を利用してモデル化され、画像変形プロセスは、エラーを起こしやすい通信チャネルとしてモデル化される。比較される画像間で共有される情報は、情報忠実度の統計学的計測値である相互情報を利用して定量化される。別の情報理論上の品質メトリックに、Ｈ．Ｒ．ＳｈｅｉｋｈおよびＡ．Ｃ．Ｂｏｖｉｋが「視覚情報忠実度（ＶＩＦ）インデックス」および「画像情報および視覚品質」画像処理に対するＩＥＥＥ処理、１５巻、２号、４３０−４４４ページ、２００６年２月で提唱している「視覚情報忠実度（ＶＩＦ）インデックス」がある。ＶＩＦインデックスの計算は、ＩＦＣのものと類似しているが、ＶＩＦインデックスの決定においては、画像変形プロセスおよび視覚認識プロセスを両方とも、エラーを起こしやすい通信チャネルとしてモデル化する点が異なっている。ＶＩＦ計測値では、ＨＶＳ変形チャネルは、加法性のホワイトガウスノイズでモデル化される。ＶＩＦインデックスは、Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ｍ．Ｆ．Ｓａｂｉｒ、およびＡ．Ｃ．Ｂｏｖｉｋの「最近の全参照画質評価アルゴリズムの統計学的評価」、画像処理に対するＩＥＥＥ処理、１５巻、１１号、３４４０−３４５１ページ、２００６年１１月に記載されている有名な画質評価アルゴリズムのパフォーマンス評価による、最も正確な画質計測値である。

既存の文献を検討すると、先行技術の方法のいくつもの欠点が明らかになる。これらの先行技術の方法のもつ制約には以下のようなものがある。

第１に、既存の評価技術は、品質計測値を正確に判断しようとすると、非常に複雑な計算をともなう。画像／動画処理アプリケーションのうち、例えば、「主観的なビデオ品質を利用するオフラインＨ．２６４／ＡＶＣビデオ符号化のための速度制御技術」、IEEE Transactions on Consumer Electronics, ５４巻、３号、１４６５−１４７２ページ、２００８年８月というタイトルの文献でＳ．Ｌ．Ｐ．Ｙａｓａｋｅｔｈｕ、Ｗ．Ａ．Ｃ．Ｆｅｒｎａｎｄｏ、Ｓ．Ａｄｅｄｏｙｉｎ、およびＡ．Ｋｏｎｏｄｏｚが説明しているビデオ符号化における各フレームから最良の定量化パラメータを特定する技術は、品質計測値（品質メトリック）を決定するためのより正確で複雑性の低い技術を利用する場合などには、より効率的ではあるだろう。

第２に、先行技術による方法で利用される上昇型の方法では、関連する技術が多解像度変換を利用して、多数の解像度（５以上）に入力画像を分解する必要がある。一方で、ＨＶＳは、まだ完全にわかっていない複雑なシステムであり、異なる帯域を最終的なメトリックに組み合わせることは難しい。Ｚ．Ｗａｎｇ、Ｅ．Ｐ．Ｓｉｍｏｎｃｅｌｌｉ、および、Ａ．Ｃ．Ｂｏｖｉｋが「画質評価のためのマルチスケール構造的類似度」Proc. IEEE Asilomar Conf. Signals, Systems, Computers, ２巻、２００３年１１月、１３９８−１４０２ページ、並びに、前述したＣ．−Ｌ．Ｙａｎｇ、Ｗ．−Ｒ．Ｇａｏ、およびＬ．−Ｍ．Ｐｏが「離散ウェーブレット変換に基づく、画質評価のための構造的類似度」Proc. IEEE Int. Conf. Image Processing, サンディエゴ、２００８年１０月、３７７−３８０ページ等に開示されている類似している下降型の方法では、異なるスケールまたはサブバンドについてのＨＶＳの感度を決定するためには、数多くの実験が必要となる。さらにウェーブレットまたはフィルタを変更する場合には、計算される重みおよびパラメータが最適でなくなり、有効でさえなくなる場合もでてくる。

第３に、ＳＳＩＭ等の下降型の方法では、矩形のスライディングウィンドウにおいてローカルな統計学上の数字を集め、いつも非常に正確である場合ばかりではない。

第４に、前の段落で引用したＣ．−Ｌ．Ｙａｎｇ、Ｗ．−Ｒ．Ｇａｏ、およびＬ．−Ｍ．Ｐｏが「離散ウェーブレット変換に基づく、画質評価のための構造的類似度」Proc. IEEE Int. Conf. Image Processing, サンディエゴ、２００８年１０月、３７７−３８０ページで説明されている多数の分解レベルによって、主要な画像コンテンツを有する近似されたサブバンドのサイズが非常に小さくなるので、画像統計学の効果的な抽出の助けにならなくなる。

第５に、前のＳＳＩＭ法では、画質計測値（または画質スコア全体）の決定にＳＳＩＭ品質マップの平均値が利用されている。しかし、様々な画像領域の変形は、それぞれ異なる影響力をＨＶＳに対して有する。

従って、先行技術の欠点をなくす、または、軽減させるような、画質の向上した計測値の開発が依然として望まれている。

本発明の目的の１つは、先行技術の欠点を軽減する、画質の計測値を決定するための向上した方法およびシステムの提供である。

本発明の一態様では、変形画像Ｙ用の品質計測値を決定するための方法であって、画像Ｙと、画像Ｙと同じ行列数の画素を有し、変形されていない参照画像Ｘとの間の類似度を特徴付け、（ａ）レベル１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、レベルＮについて、画像Ｘの主要コンテンツを含む近似サブバンドと、画像Ｘのエッジを含む詳細サブバンドとを生成する段階と、（ｂ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｙに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｙの中間サブバンドを生成して、レベルＮについて、画像Ｙの主要コンテンツを含む近似サブバンドと、画像Ｙのエッジを含む詳細サブバンドとを生成する段階と、（ｃ）画質メトリック（ＩＱＭ）を画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに適用して、画像Ｘの主要コンテンツと画像Ｙの主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、（ｄ）画像Ｘについての１からＮ−１までの範囲であるレベルｉの中間サブバンドおよび画像Ｘの詳細サブバンドを集計して、画像Ｘのエッジを特徴付ける画像Ｘのエッジマップを生成する段階と、（ｅ）画像Ｙについての１からＮ−１までの範囲であるレベルｉの中間サブバンドおよび画像Ｙの詳細サブバンドを集計して、画像Ｙのエッジを特徴付ける画像Ｙのエッジマップを生成する段階と、（ｆ）画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＩＱＭを適用して、画像Ｘのエッジと画像Ｙのエッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、（ｇ）近似品質計測値とエッジ品質計測値とを処理して品質計測値を決定する段階とを備える方法が提供される。

上述した方法において、段階（ｄ）はさらに、画像Ｘの１からＮ−１までの範囲である各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する段階と、画像Ｘについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階とを有し、段階（ｅ）はさらに、画像Ｙの各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する段階と、画像Ｙについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階とを有する。

上述した方法において、画像Ｘについて中間サブバンドおよび詳細サブバンドを選択する段階はさらに、画像Ｘについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する段階を有し、画像Ｙについて中間サブバンドおよび詳細サブバンドを選択する段階はさらに、画像Ｙについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する段階を有する。

画像Ｘおよび画像Ｙの各レベルｉについての中間サブバンドは、各画像において、レベルｉ−詳細サブバンドおよびレベルｉ−ウェーブレットパケット（ＷＰ）サブバンドを含み、レベルｉ−ＷＰサブバンドは、レベルｉ−ＷＰ近似サブバンドおよびレベルｉ−ＷＰ詳細サブバンドを含み、レベルｉ−ＷＰ近似サブバンドはさらに、レベルｉ−水平ＷＰ近似サブバンドとレベルｉ−垂直ＷＰ近似サブバンドと、レベルｉ−対角ＷＰ近似サブバンドとを含む。

上述した方法ではさらに、段階（ａ）において、レベル１で、画像Ｘに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する段階と、２からＮまでの範囲であるレベルｉで、レベルｉ−１で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する段階とを実行すること、および、段階（ｂ）において、レベル１で、画像Ｙに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する段階と、
２からＮ−１までの範囲であるレベルｉで、レベルｉ−1で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する段階とを実行すること、の１以上を実行する。

本発明の一実施形態では、近似品質計測値は近似品質マップであり、エッジ品質計測値はエッジ品質マップであり、段階（ｇ）はさらに、画像Ｘおよび画像Ｙの近似サブバンドおよびエッジマップの画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成する段階と、コントラストマップを利用して近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する段階と、コントラストマップを利用してエッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する段階と、近似類似度スコアを、エッジ類似度スコアと組み合わせて、品質計測値を決定する段階とを有する。

方法はさらに、Ｎを、人間の視覚システムに対して実質的なピーク応答を生成する、近似サブバンドＳの最小サイズの関数として決定する段階をさらに備える。

上述した方法において、段階（ｃ）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに構造的類似度（ＳＳＩＭ）ＩＱＭを適用して、近似ＳＳＩＭマップＳＳＩＭ_Ａを生成する段階を有し、段階（ｆ）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＳＳＩＭ ＩＱＭを適用して、エッジＳＳＩＭマップＳＳＩＭ_Ｅを生成する段階を有し、段階（ｇ）は、ＳＳＩＭ_ＡとＳＳＩＭ_Ｅとを処理して、ＳＳＩＭ_ＤＷＴスコアを品質計測値として決定する段階を含む、または、段階（ｃ）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに絶対差（ＡＤ）ＩＱＭを適用して、近似ＡＤマップＡＤ_Ａを生成する段階を有し、段階（ｆ）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＡＤ ＩＱＭを適用して、エッジＡＤマップＡＤ_Ｅを生成する段階を有し、段階（ｇ）は、ＡＤ_ＡとＡＤ_Ｅとを処理して、ＡＤ_ＤＷＴスコアを品質計測値として決定する段階を含む、または、段階（ｃ）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとにピーク信号対雑音比（ＰＳＮＲ）ＩＱＭを適用して、ＰＳＮＲ近似品質スコアＰＳＮＲ_Ａを生成する段階を有し、段階（ｆ）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＰＳＮＲ ＩＱＭを適用して、ＰＳＮＲエッジ品質スコアＰＳＮＲ_Ｅを生成する段階を有し、段階（ｇ）は、ＰＳＮＲ_ＡとＰＳＮＲ_Ｅとを処理して、ＰＳＮＲ_ＤＷＴスコアを品質計測値として決定する段階を含む、または、段階（ｃ）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに視覚情報忠実度（ＶＩＦ）ＩＱＭを適用して、ＶＩＦ近似品質スコアＶＩＦ_Ａを生成する段階を有し、段階（ｆ）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＶＩＦ ＩＱＭを適用して、ＶＩＦエッジ品質スコアＶＩＦ_Ｅを生成する段階を有し、段階（ｇ）は、ＶＩＦ_ＡとＶＩＦ_Ｅとを処理して、ＶＩＦ_ＤＷＴスコアを品質計測値として決定する段階を含む。

上述した方法はさらに、段階（ａ）および段階（ｂ）は、Ｎレベルの離散ウェーブレット変換を適用する段階を有し、離散ウェーブレット変換は、ハール変換、ニューランド変換、またはＤａｕｂｅｃｈｉｅｓフィルタを利用するウェーブレット変換であってよい。

本発明の別の態様では、変形画像Ｙ用の品質計測値を決定するためのシステムであって、画像Ｙと、画像Ｙと同じ行列数の画素を有し、変形されていない参照画像Ｗとの間の類似度を特徴付け、プロセッサと、コンピュータ可読命令が格納されたコンピュータ可読格納媒体とを備え、コンピュータ可読命令はプロセッサにより実行されると、（ａ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、レベルＮについて、画像Ｘの主要コンテンツを含む近似サブバンドと、画像Ｘのエッジを含む詳細サブバンドとを生成する第１の分解ユニットと、（ｂ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｙに適用して、１からＮ−１までの範囲である各レベルｉについて、画像Ｙの中間サブバンドを生成して、レベルＮについて、画像Ｙの主要コンテンツを含む近似サブバンドと、画像Ｙのエッジを含む詳細サブバンドとを生成する第２の分解ユニットと、（ｃ）画質メトリック（ＩＱＭ）を画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに適用して、画像Ｘの主要コンテンツと画像Ｙの主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する近似品質計測ユニットと、（ｄ）画像Ｘについての１からＮ−１までの範囲であるレベルｉの中間サブバンドおよび画像Ｘの詳細サブバンドを集計して、画像Ｘのエッジを特徴付ける画像Ｘのエッジマップを生成する第１の集計ユニットと、（ｅ）画像Ｙについての１からＮ−１までの範囲であるレベルｉの中間サブバンドおよび画像Ｙの詳細サブバンドを集計して、画像Ｙのエッジを特徴付ける画像Ｙのエッジマップを生成する第２の集計ユニットと、（ｆ）画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＩＱＭを適用して、画像Ｘのエッジと画像Ｙのエッジとの間の類似度を特徴付けるエッジ品質計測値を生成するエッジ品質計測ユニットと、（ｇ）近似品質計測値とエッジ品質計測値とを処理して品質計測値を決定する品質計測ユニットとを形成するシステムが提供される。

上述したシステムにおいて、第１の集計ユニットはさらに、画像Ｘの１からＮ−１までの範囲である各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する第１の選択ユニットと、画像Ｘについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第１の選択的集計ユニットとを有し、第２の集計ユニットはさらに、画像Ｙの各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する第２の選択ユニットと、画像Ｙについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第２の選択的集計ユニットとを有する。

上述したシステムにおいて、第１の集計ユニットはさらに、画像Ｘについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する計算手段を有し、第２の集計ユニットはさらに、画像Ｙについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する計算手段を有する。

上述したシステムにおいて、画像Ｘおよび画像Ｙの各レベルｉについての中間サブバンドは、各画像において、レベルｉ−詳細サブバンドおよびレベルｉ−ウェーブレットパケット（ＷＰ）サブバンドを含み、レベルｉ−ＷＰサブバンドは、レベルｉ−ＷＰ近似サブバンドおよびレベルｉ−ＷＰ詳細サブバンドを含み、レベルｉ−ＷＰ近似サブバンドはさらに、レベルｉ−水平ＷＰ近似サブバンドとレベルｉ−垂直ＷＰ近似サブバンドと、レベルｉ−対角ＷＰ近似サブバンドとを含む。

システムはさらに、第１の分解ユニットにおいて、画像Ｘに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する第１のレベル１分解ユニット、および、２からＮまでの範囲であるレベルｉで、レベルｉ−１で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する第１のレベルｉ分解ユニット、並びに、第２の分解ユニットにおいて、画像Ｙに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する第２のレベル１分解ユニット、および、２からＮ−１までの範囲であるレベルｉで、レベルｉ−１で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する第２のレベルｉ分解ユニット、の１以上が含まれる。

システムはさらに、Ｎを、人間の視覚システムに対して実質的なピーク応答を生成する、近似サブバンドＳの最小サイズの関数として決定する計算手段をさらに備える。

上述したシステムにおいて、第１の分解ユニット（ａ）および第２の分解ユニット（ｂ）は、Ｎレベルの離散ウェーブレット変換を適用する計算手段を有し、離散ウェーブレット変換は、ハール変換、ニューランド変換、またはＤａｕｂｅｃｈｉｅｓフィルタを利用するウェーブレット変換であってよい。

本発明のまた別の態様では、コンピュータ可読プログラムコード命令が格納されたコンピュータ可読格納媒体であって、コンピュータ可読プログラムコード命令は、プロセッサにより実行されると、（ａ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、レベルＮについて、画像Ｘの主要コンテンツを含む近似サブバンドと、画像Ｘのエッジを含む詳細サブバンドとを生成する段階と、（ｂ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｙに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｙの中間サブバンドを生成して、レベルＮについて、画像Ｙの主要コンテンツを含む近似サブバンドと、画像Ｙのエッジを含む詳細サブバンドとを生成する段階と、（ｃ）画質メトリック（ＩＱＭ）を画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに適用して、画像Ｘの主要コンテンツと画像Ｙの主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、（ｄ）画像Ｘについての１からＮ−１までの範囲であるレベルｉの中間サブバンドおよび画像Ｘの詳細サブバンドを集計して、画像Ｘのエッジを特徴付ける画像Ｘのエッジマップを生成する段階と、（ｅ）画像Ｙについての１からＮ−１までの範囲であるレベルｉの中間サブバンドおよび画像Ｙの詳細サブバンドを集計して、画像Ｙのエッジを特徴付ける画像Ｙのエッジマップを生成する段階と、（ｆ）画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＩＱＭを適用して、画像Ｘのエッジと画像Ｙのエッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、（ｇ）近似品質計測値とエッジ品質計測値とを処理して品質計測値を決定する段階とを実行させるコンピュータ可読格納媒体が提供される。

このように、画像のマルチレベル分解を利用して画質の計測値を決定する、向上した方法およびシステムが適用された。

本発明のさらなる特徴および利点は、以下の実施形態の記載により明らかとなり、これはあくまで例示であり、以下のように簡単に説明される添付図面を参照して説明される。

本発明の実施形態のシステム１００を表す。 図１ａのレベル数ユニット１０２を詳細に示す。 図１ａの第１の分解ユニット１０３を詳細に示す。 図１ａの第２の分解ユニット１０４を詳細に示す。 図１ａの第１の集計ユニット１１３を詳細に示す。 図１ａの第２の集計ユニット１１４を詳細に示す。 ＳＳＩＭ ＩＱＭに対する別の実施形態について、図１ａの近似品質計測ユニット１０５、品質計測ユニット１０８、および、エッジ品質計測ユニット１０９を詳細に示す。 ＡＤ ＩＱＭに基づく別の実施形態について、図１ａの近似品質計測ユニット１０５、品質計測ユニット１０８、および、エッジ品質計測ユニット１０９を詳細に示す。 ＰＳＮＲ ＩＱＭに基づく別の実施形態について、図１ａの近似品質計測ユニット１０５、品質計測ユニット１０８、および、エッジ品質計測ユニット１０９を詳細に示す。 ＶＩＦ ＩＱＭに基づく別の実施形態について、図１ａの近似品質計測ユニット１０５、品質計測ユニット１０８、および、エッジ品質計測ユニット１０９を詳細に示す。 本発明の別の実施形態であるシステム１００ａを示す。 図１ｋの第１の集計ユニット１１３ａを詳細に示す。 図１ｋの第２の集計ユニット１１４ａをより詳細に示す。 別の実施形態のための図１ｌの第１の選択的集計ユニット１７１を詳細に示す。 別の実施形態のための図１ｍの第２の選択的集計ユニット１８３を詳細に示す。 図１ｎの第１の合成ユニット１９７を詳細に示す。 図１ｏの第２の合成ユニット２０６を詳細に示す。 図１ｋの第１の分解ユニット１０３ａを詳細に示す。 図１ｋの第２の分解ユニット１０４ａを詳細に示す。 品質の計測値を計算するために本発明の実施形態が利用する方法の上位の記載を提供するブロック図である。 品質の計測値を計算するためにシステム１００の一般的な枠組で利用される方法の各ステップを示すフローチャートである。 一例における２レベルの分解された画像のための画像Ｘのサブバンドを示す。 一例における３レベルの分解された画像のための画像Ｘのサブバンドを示す。 原画像の一例を示す。 簡単に観察できるように［０，２５５］の間でスケーリングされたサンプル値を利用して計算された図３ｂの画像のコントラストマップを示す。 レベルごとに集計を実行する方法の各ステップを示すフローチャートを示す。 層間の集計を実行する方法の各ステップを示すフローチャートを示す。 品質の計測値のＳＳＩＭに基づく計算を利用して、別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのＤＭＯＳおよびＳＳＩＭ_Ａ予測値の間のＬＣＣおよびＳＲＣＣを示す。 様々なβ値のためのＤＭＯＳおよびＳＳＩＭ_ＤＷＴ予測値の間のＲＭＳ_Ｅを示す。 ＶＩＦインデックスに基づく先行技術の方法のブロック図を示す。 品質の計測値のＶＩＦに基づく計算を利用する別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのＤＭＯＳおよびＶＩＦ_Ａ予測値の間のＬＣＣおよびＳＲＣＣを示す。 様々なβ値のためのＤＭＯＳおよびＶＩＦＤＷＴ予測値の間のＲＭＳ_Ｅを示す。 品質の計測値のＰＳＮＲに基づく計算を利用する別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのＤＭＯＳおよびＰＳＮＲＡ予測値の間のＬＣＣおよびＳＲＣＣを示す。 様々なβ値のためのＤＭＯＳおよびＰＳＮＲＤＷＴ予測値の間のＲＭＳ_Ｅを示す。 ライブ画像データベースの様々なタイプの画像変形のためのＳＲＣＣおよびＰＳＮＲ_Ａ値を示すテーブルを示す。 品質の計測値のＡＤに基づく計算を利用する別の実施形態で利用される方法の各ステップを示すフローチャートを示す。 様々な分解レベルのためのＤＭＯＳおよびＡＤＡ予測値の間のＬＣＣおよびＳＲＣＣを示す。 ＬＩＶＥデータベースの様々なメトリックおよびＤＭＯＳ値の間のＬＣＣを示す。 ＬＩＶＥデータベースの様々なメトリックおよびＤＭＯＳ値の間のＲＭＳ_Ｅを示す。 ＬＩＶＥデータベースのメトリックおよびＤＭＯＳ値の間のＳＲＣＣを示す。

＜用語＞
コントラストマップとは、画像または副画像のそれぞれ異なる領域に、自動的にそれぞれの視覚重要性に応じた重みを割り当てる重み付け関数のことである。差動平均意見スコア（ＤＭＯＳ）とは、参照画像と比したときの、変形画像の主観的な品質損失を示す。離散ウェーブレット変換とは、高周波成分から低周波成分を分離するために画像に行う変換のことである。エッジマップとは、画像のエッジの推定値を特徴付ける。ガウススライドウィンドウとは、単位合計（unit sum）の係数とガウス確率分布のセットのことである。線形相関係数（ＬＣＣ）とは、線形またはピアソン相関係数であり、２つの量の間の相関関係を示す計測値である。これは、２つの変数の共分散を、それぞれの標準偏差の積で除算することで得られる。提案する方法によるＬＣＣは、予測精度を示す。多解像度分解（multiresolution decomposition）とは、デジタル画像に利用されて、いくつかの副画像を生成する処理（または変換）のことである。副画像の１つが原画像の低周波主要コンテンツを表し、残りの他の副画像が原画像の詳細を表す。スピアマンの順位相関係数（ＳＲＣＣ）とは、２つの変数間の統計的依存性を示す計測値である。２つの変数の間の関係が、単調関数でどのくらいよく示されているかを表す。＋１のＳＲＣＣは、変数それぞれが他の完全な単調関数であることを示す。サブバンドとは、ある画像のＮレベルの多解像度分解中に、多種のサブバンドが生成される、というようなコンテキストで利用される用語である。１つの画像Ｘについてこれらサブバンドを説明する形で取り扱われる。このセクションで利用されるＸおよびインデックス変数Ｌは、例にすぎず、本願の説明に出てくる他の変数名で置き換えることもできる。Ｎレベルの多解像度分解の最後に生成されるサブバンドは、次に紹介する近似サブバンドおよび詳細サブバンドと称される。Ｎレベルの分解の後に得られる、ある画像Ｘの近似サブバンドは、

で表される。近似サブバンドは、画像の主要なコンテンツを含んでいる。ある画像Ｘの詳細サブバンドは、Ｎレベルの分解の後に得られ、水平サブバンド、垂直サブバンド、および対角サブバンドを含む。これらはそれぞれ、

で表される。詳細サブバンドは画像の各エッジを含む。水平サブバンドは水平エッジを含み、垂直サブバンドは垂直エッジを含み、対角サブバンドは画像の対角エッジを含む。中間サブバンドとは、画像Ｘの分解の各レベルＬ（Ｌ＝１からＮ−１）で生成され、レベルＬ−ウェーブレットパケット（ＷＰ）サブバンドと、レベルＬ−詳細サブバンドとを含む。これらを次に説明する。レベルＬ−ＷＰサブバンドは、レベルＬ−ＷＰ近似サブバンドおよびレベルＬ−ＷＰ詳細サブバンドを含む。レベルＬ−ＷＰ近似サブバンドは、レベルＬ−水平ＷＰ近似サブバンド、レベルＬ−垂直ＷＰ近似サブバンド、および、レベルＬ−対角ＷＰ近似サブバンドを含む。これらはそれぞれ、以下で表される。

レベルＬ−ＷＰ詳細サブバンドは、レベルＬ−ＷＰ水平サブバンド、レベルＬ−ＷＰ垂直サブバンド、およびレベルＬ−ＷＰ対角サブバンドを含む。これらはそれぞれ、以下で表される。

レベルＬ−詳細サブバンドは、レベルＬ−水平サブバンド、レベルＬ−垂直サブバンド、および、レベルＬ−対角サブバンドを含む。これらはそれぞれ、以下で表される。

本発明の実施形態は、画質の計測値を、離散ウェーブレット領域の先行技術と比して、より正確に、且つ、計算上の複雑性低く判断するための新規な一般的枠組を提示する。それぞれが特定の画質メトリック（ＩＱＭ）に基づいている様々な品質計測値が、本発明の様々な実施形態で決定される。提案されている枠組は、以下のセクションで説明するように上昇型および下降型両方を含んでおり、構造的類似度（ＳＳＩＭ）インデックス、絶対差（ＡＤ）、ピーク信号対雑音比（ＰＳＮＲ）および可視情報忠実度（ＶＩＦ）を含むＩＱＭに適用することができる。

次に、本発明の実施形態のシステムを説明する。図１ａおよび図１ｋという２つの実施形態を提示する。各実施形態は、これも記載する単位を有している。図１ａおよび図１ｋに示す本発明の実施形態のシステムは、ＣＰＵおよびＣＰＵが実行するコンピュータ可読命令を格納しているコンピュータ可読格納媒体（例えばメモリ、ＤＶＤ、ＣＤ−ＲＯＭ，フロッピー（登録商標）ディスク、フラッシュメモリ、磁気テープその他の格納媒体等）を含んだ汎用または専用コンピュータを含む。または、図１ａおよび図１ｋのシステムが、ファームウェア、またはファームウェアおよびコンピュータ可読格納媒体を有する専用コンピュータの組み合わせで実装されてもよい。

図１ａに示す実施形態を先に説明する。実施形態が提供する汎用枠組を先に説明して、それぞれが特定のＩＱＭを利用してこの枠組を配置する様々な他の実施形態の説明を次に行う。

画質の計測値を判断するシステム１００は、レベル数ユニット１０２と、第１の分解ユニット１０３と、第２の分解ユニット１０４と、近似品質計測ユニット１０５と、第１の詳細サブバンドユニット１０６と、第２の詳細サブバンドユニット１０７と、品質計測ユニット１０８と、エッジ品質計測ユニット１０９とを含む。レベル数ユニット１０２は、参照画像Ｘと変形画像Ｙとに適用するべき分解レベル数Ｎを決定する。分解レベル数Ｎは、人間の視覚システムに対して実質的なピークの応答を生成する近似サブバンドＳの最小サイズの関数として得られる。次に、第１の分解ユニット１０３および第２の分解ユニット１０４がＮの値を読み出し、これらユニットがＮレベルのＤＷＴを画像Ｘおよび画像Ｙにそれぞれ適用することで、画像Ｘおよび画像ＹのＮレベルの分解を行う。各画像について、Ｎレベル分解により、レベルｉ＋１での処理用の各レベルｉ（ｉ＝１からＮ−１）の中間サブバンドおよびレベルＮの詳細サブバンドが生成される。第１の分解ユニット１０３および第２の分解ユニット１０４が実行する多解像度分解の後に生成される近似サブバンドは、近似品質計測ユニット１０５に供給される。第１の分解ユニット１０３および第２の分解ユニット１０４が実行する多解像度分解の後に生成される詳細サブバンドは、第１の詳細サブバンドユニット１０６および第２の詳細サブバンドユニット１０７が画像Ｘおよび画像Ｙそれぞれのエッジマップを生成するときに、入力として利用される。これらユニットの出力はエッジ品質計測ユニット１０９に接続されて、このユニットがエッジマップを処理して、品質計測ユニット１０８が、品質の計測値を決定するときに利用する出力を生成する。

一方でレベル数ユニット１０２は、レベル数１１０を決定する計算手段を含んでいる。第１の分解ユニット１０３および第２の分解ユニット１０４は、ＮレベルＤＷＴ（それぞれ１１１および１１２）を適用する計算手段を含んでいる。第１の詳細サブバンドユニット１０６は、第１の集計ユニット１１３を含み、第２の詳細サブバンドユニット１０７は、第２の集計ユニット１１４を含む。品質計測ユニット１０８は、第１のプーリングユニット１１５、第２のプーリングユニット１１８、コントラストマップユニット１１６、およびスコア合成ユニット１１７を含む。第１のプーリングユニット１１５よび第２のプーリングユニット１１８は、コントラストマップユニット１１６が生成したコントラストマップを利用して、近似品質計測ユニット１０５が生成した近似品質マップ、および、エッジ品質計測ユニット１０９が生成したエッジマップの重み付けプーリングを実行する。第１のプーリングユニット１１５および第２のプーリングユニット１１８の出力は、スコア合成ユニット１７が品質計測値を生成するときに利用される。

本発明の別の実施形態におけるレベル数ユニット１０２の構造を図１ｂに示す。この構造は、見える距離と画像Ｙが表示されるデバイスの高さの比率を決定する最小サイズユニット１２０と、この比率を利用してＮの値を決定する計算ユニット１２１とを含む。別の実施形態では、第１の分解ユニット１０３が（図１ｃ参照）、第１レベル１分解ユニット１２４、第１レベルｊ分解ユニット１２５、および、精度に基づいて、選択する中間サブバンドを決定する第１のサブバンド選択ユニット１２６を含む。第１のサブバンド選択ユニット１２６は、第１レベル１分解ユニット１２４および第１レベルｊ分解ユニット１２５が利用する中間サブバンドを決定するために利用される。第１のサブバンド選択ユニット１２６はさらに、精度を達成するために必要な中間サブバンド数に基づいて、選択する中間サブバンドを決定する第１のサブバンド選択サブユニット１２７も含む。本願の後半で説明するように、別の選択プロセスを利用して、サブバンド集計中に、Ｎレベルの多解像度分解が生成するサブバンドノイズのいずれを利用するかを選択することもできる。多解像度分解を画像Ｘに行い、レベル２を生成するためにレベル１の中間サブバンドを生成する第１レベル１分解ユニット１２４の出力は、多解像度分解を、ｊが２からＮであるところのレベルｊ−１で行うことで生成される、選択された中間サブバンドのみに行う第１レベルｊ分解ユニット１２５に供給される。同様に、第２の分解ユニット１０４は、精度に基づいて選択する中間サブバンドを決定する第２レベル１分解ユニット１３０および第２レベルｊ分解ユニット１３１および第２のサブバンド選択ユニット１３２を含む（図１ｄ参照）。第２のサブバンド選択ユニット１３２は、第２レベル１分解ユニット１３０および第２レベルｊ分解ユニット１３１が利用する中間サブバンドを決定するために利用される。第２のサブバンド選択ユニット１３２はさらに、精度を達成するために必要な中間サブバンド数に基づいて、選択する中間サブバンドを決定する第２のサブバンド選択サブユニット１３３も含む。多解像度分解を画像Ｘに行い、レベル２で処理するためにレベル１の中間サブバンドを生成する第１レベル１分解ユニット１３０の出力は、多解像度分解を、ｊが２からＮであるところのレベルｊ−１で行うことで生成される、選択された中間サブバンドのみに行う第１レベルｊ分解ユニット１３１に供給される。

第１の集計ユニット１１３のコンポーネントを図１ｅに示す。第１の集計ユニット１１３は、第１の詳細サブバンド集計ユニット１３５、並びに、第１レベルｊ集計ユニット１３６および、各レベルｊで選択される中間サブバンドおよび、実質的に同じ解像度１３４の画像Ｘについて選択される詳細サブバンドを選択する計算手段を含む。第１レベルｊ集計ユニット１３６は、画像Ｘのレベルｊのエッジマップを、前述した各レベルｊ（ｊ＝１からＮ−１）で生成される選択された中間サブバンドの二乗の関数として決定する。レベルｊで生成される中間サブバンドの一部のみ（例えば、実質的に解像度が同じサブバンド）を、レベルｊのエッジマップを生成するための集計目的に選択する。第１レベルｊ集計ユニット１３６の出力は、各レベルｊで生成された１以上の選択される中間サブバンドと、レベルＮで生成された画像Ｘの１以上の選択された詳細サブバンドとを集計する第１の詳細サブバンド集計ユニット１３５により処理される。各レベルｊで選択される中間サブバンドおよび実質的に同じ解像度１３４を有する画像Ｘの選択される詳細サブバンドを選択する計算手段は、第１の詳細サブバンド集計ユニット１３５および第１レベルｊ集計ユニット１３６が、各レベルｊの中間サブバンドおよび集計用に実質的に同じ解像度を持つ画像Ｘの詳細サブバンドを選択する際に利用する。ここで、ｊは単にインデックス変数であり、１とＮ−１との間の任意の整数値であってよいことに留意されたい。第１の詳細サブバンド集計ユニット１３５は、第１レベルＮ集計ユニット１３７および第１のエッジマップユニット１３８を含む。第１レベルＮ集計ユニット１３７は、画像ＸのレベルＮのエッジマップを、レベルＮで生成される画像Ｘの選択される詳細サブバンドの二乗の関数として決定して、第１のエッジマップユニット１３８は、画像Ｘのエッジマップを、レベルｊのエッジマップと、第１レベルＮ集計ユニット１３７から受け取るレベルＮのエッジマップとの重み付けされた合計として決定する。

第２の集計ユニット１１4のコンポーネントを図１ｆに示す。第２の集計ユニット１１４は、第２の詳細サブバンド集計ユニット１４１、並びに、第２レベルｊ集計ユニット１４１および、各レベルｊで選択される中間サブバンドおよび、実質的に同じ解像度１３9の画像Ｙの選択される詳細サブバンドを選択する計算手段を含む。第２レベルｊ集計ユニット１４１は、画像Ｙの各レベルｊ（ｊ＝１からＮ−１）のエッジマップを、前述した各レベルｊで生成される選択された中間サブバンドの二乗の関数として決定する。第２レベルｊ集計ユニット１４１の出力は、各レベルｊで生成された１以上の選択される中間サブバンドと、レベルＮで生成された画像Ｙの１以上の選択された詳細サブバンドとを集計する第２の詳細サブバンド集計ユニット１４０により処理される。各レベルｊで選択される中間サブバンドおよび実質的に同じ解像度１３９を有する画像Ｙの選択される詳細サブバンドを選択する計算手段は、第２の詳細サブバンド集計ユニット１４０および第２レベルｊ集計ユニット１４１が、各レベルｊの中間サブバンドおよび集計用に実質的に同じ解像度を持つ画像Ｙの詳細サブバンドを選択する際に利用する。ここでもまた、ｊは単にインデックス変数であり、１とＮ−１との間の任意の整数値であってよいことに留意されたい。第２の詳細サブバンド集計ユニット１４０は、第２レベルＮ集計ユニット１４２および第２エッジマップユニット１４３を含む。第２レベルＮ集計ユニット１４２は、画像ＹのレベルＮのエッジマップを、レベルＮで生成される画像Ｙの選択される詳細サブバンドの二乗の関数として決定して、第２エッジマップユニット１４３は、画像Ｙのエッジマップを、レベルｊのエッジマップと、第２レベルＮ集計ユニット１４２から受け取るレベルＮのエッジマップとの重み付けされた合計として決定する。

システム１００が提供する一般的な枠組は、それぞれが品質計測値を決定するために特定のＩＱＭを利用する別の実施形態でも利用される。ＳＳＩＭ ＩＱＭに基づく実施形態のシステムを図１ｇに示す。この実施形態の近似品質計測ユニット１０５は、近似ＳＳＩＭユニット１４５を含み、品質計測ユニット１０８は、ＳＳＩＭ_ＤＷＴスコアユニット１４６を含み、エッジ品質計測ユニット１０９は、エッジＳＳＩＭマップユニット１４７を含む。近似ＳＳＩＭマップユニット１４５は、ＳＳＩＭ ＩＱＭを画像Ｘの近似サブバンドおよび画像Ｙの近似サブバンドに適用して近似ＳＳＩＭマップを生成し、エッジＳＳＩＭマップユニット１４７は、画像Ｘのエッジマップおよび画像Ｙのエッジマップの間にＳＳＩＭ ＩＱＭを利用して、エッジＳＳＩＭマップを生成する。近似ＳＳＩＭマップユニット１４５およびエッジＳＳＩＭマップユニット１４７それぞれの出力はＳＳＩＭ_ＤＷＴスコアユニット１４６が、ＳＳＩＭ_ＤＷＴスコアを品質計測値として決定するために利用する。

ＡＤ ＩＱＭに基づく実施形態のシステムを図１ｈに示す。本実施形態の近似品質計測ユニット１０５は、近似ＡＤマップユニット１５０を含み、品質計測ユニット１０８はＡＤ_ＤＷＴスコアユニット１５１を含み、エッジ品質計測ユニット１０９は、エッジＡＤマップユニット１５２を含む。近似ＡＤマップユニット１５０は、ＡＤ ＩＱＭを画像Ｘの近似サブバンドおよび画像Ｙの近似サブバンドに適用して、近似ＡＤマップを生成し、エッジＡＤマップユニット１５２は、画像Ｘのエッジマップと画像ＹのエッジマップとにＡＤ ＩＱＭを適用して、エッジＡＤマップを生成する。近似ＡＤマップユニット１５０とエッジＡＤマップユニット１５２の出力は、ＡＤ_ＤＷＴスコアユニット１５１がＡＤ_ＤＷＴスコアを品質計測値として決定するために利用する。

ＰＳＮＲ ＩＱＭに基づく実施形態のシステムを図１ｉに示す。この実施形態の近似品質計測ユニット１０５は、ＰＳＮＲ近似品質スコアユニット１５５を含み、品質計測ユニット１０８は、ＰＳＮＲ_ＤＷＴスコアユニット１５６を含み、エッジ品質計測ユニット１０９は、ＰＳＮＲエッジ品質スコア決定ユニット１５７を含む。ＰＳＮＲ近似品質スコアユニット１５５は、ＰＳＮＲ ＩＱＭを、画像Ｘの近似サブバンドおよび画像Ｙの近似サブバンドに利用して、ＰＳＮＲ近似品質スコアを生成して、ＰＳＮＲエッジ品質スコア決定ユニット１５７は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＰＳＮＲ ＩＱＭを適用して、ＰＳＮＲエッジ品質スコアを生成する。ＰＳＮＲ近似品質スコアユニット１５５およびＰＳＮＲエッジ品質スコア決定ユニット１５７の出力は、ＰＳＮＲ_ＤＷＴスコアユニット１５６により処理され、ＰＳＮＲ_ＤＷＴスコアが品質計測値として決定される。

ＶＩＦ ＩＱＭに基づく実施形態のシステムを図１ｊに示す。この実施形態の近似品質計測ユニット１０５は、ＶＩＦ近似品質スコアユニット１６０を含み、品質計測ユニット１０８は、ＶＩＦ_ＤＷＴスコアユニット１６１を含み、エッジ品質計測ユニット１０９は、ＶＩＦエッジ品質スコア決定ユニット１６２を含む。ＶＩＦ近似品質スコアユニット１６０は、ＶＩＦ ＩＱＭを、画像Ｘの近似サブバンドおよび画像Ｙの近似サブバンドに利用して、ＶＩＦ近似品質スコアを生成して、ＶＩＦエッジ品質スコア決定ユニット１６２は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＶＩＦ ＩＱＭを適用して、ＶＩＦエッジ品質スコアを生成する。ＶＩＦ近似品質スコアユニット１６０およびＶＩＦエッジ品質スコア決定ユニット１６２の出力は、ＶＩＦ_ＤＷＴスコアユニット１６１により処理されて、ＰＳＮＲ_ＤＷＴスコアが品質計測値として決定される。

サブユニット100, 102, 103, 104, 105, 106, 107, 108, 109, 113, 114, 115, 116, 117, 118, 120, 121, 124, 125, 126, 127, 130, 131, 132, 133, 135, 136, 137, 138, 140, 141, 142, 143, 145, 146, 147, 150, 151, 152, 155, 156, 157, 160, 161および162は、ファームウェア、または、プロセッサにより実行されるべくコンピュータ可読格納媒体に格納されたコンピュータ可読命令を含んでよい。１１０、１１１、１１２、１３４、および１３９を含む全ての計算手段が、ＣＰＵが実行するコンピュータ可読格納媒体に格納される方法、処理、機能、またはサブルーチンを実行するコンピュータ可読コードを含む。

次に、図１ｋに示す汎用枠組のための代替的な実施形態について説明する。画質の計測値を決定するためのシステム１００ａは、Ｎ１００ａを決定する計算手段、第１の分解ユニット１０３ａ、第２の分解ユニット１０４ａ、近似品質計測ユニット１０５ａ、第１の集計ユニット１１３ａ、第２の集計ユニット１１４ａ、品質計測ユニット１０８ａ、およびエッジ品質計測ユニット１０９ａを含む。ユニット１０３ａ、１０４ａ、１０５ａ、１０８ａ、１０９ａ、１１５ａ、１１６ａ、１１７ａ、１１８ａは、システム１００のユニット１０３、１０４、１０５、１０８、１０９、１１５、１１６、１１７、１１８に等しいので、さらなる説明は行わない。計算手段１１０ａ、１１１ａ、１１２ａ、１３４ａ、および１３９ａも、前に説明したシステム１００の計算手段１１０、１１１、１１２、１３４、および１３９に等しい。

図１ｌに示すように、画像Ｘを処理する第１の集計ユニット１１３ａは、第１の選択ユニット１７０を含み、その出力が第１の選択集計ユニット１７１の入力に接続される。第１の選択ユニット１７０は、各レベルｉの中間サブバンド（ｉは１からＮ−１の範囲であってよい）、および、画像Ｘの詳細サブバンドを、品質の計測値を決定するとき達成する必要のある精度に基づいて選択する。第１の選択集計ユニット１７１は、画像Ｘの選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する。第１の集計ユニット１１３ａはさらに、実質的に同じ解像度１３４ａを有する画像Ｘの各レベルｉの選択された中間サブバンドおよび選択された詳細サブバンドを選択する計算手段を含む。１３４ａは、前述した１３４に類似しており、集計用の実質的に同じ解像度を有する中間サブバンドおよび詳細サブバンドを選択するために利用される。第１の選択ユニット１７０はさらに、精度を達成するために必要な中間サブバンドおよび詳細サブバンドの数に基づいて画像Ｘの各レベルｉの中間サブバンドおよび詳細サブバンドを選択する。別の実施形態では、第１の選択ユニットは、レベルｉ−ＷＰ近似サブバンドの１以上および画像Ｘの詳細サブバンドの１以上を選択する第１のウェーブレットパケット（ＷＰ）詳細選択サブユニット１７６を含む。第１のＷＰ詳細サブバンド選択サブユニット１７６は、選択時に画像Ｘのレベルｉ詳細サブバンドの１以上を含めるために第１の詳細選択モジュール１７９を含む。

第１のレベルｉ−中間サブバンド集計ユニット１７３は、各レベルｉ（ｉ＝１からＮ−１）の画像Ｘのための各選択された中間サブバンドを二乗して、画像Ｘの各選択された中間サブバンドに所定の重みで実行された二乗処理の結果を乗算して、画像Ｘにレベルｉでエッジマップを生成するために行われた合計の結果に平方根関数を適用する第１のレベルｉ計算ユニット１７７を含む。第１の詳細サブバンド集計ユニット１７４は、画像Ｘの選択された詳細サブバンドそれぞれを二乗して、画像Ｘの各選択された詳細サブバンドの所定の重みで、ステップで生成された二乗結果を乗算して、ステップで行われた乗算の積を合計して、画像ＸのレベルＮのエッジマップを生成するステップで行われた合計結果に平方根関数を適用する第１の詳細サブバンド計算ユニット１８０を含む。第１のエッジマップ決定ユニット１７５は、画像Ｘの各レベルｉのエッジマップを、レベルｉの所定の重みで乗算して、画像ＸのレベルＮのエッジマップを、レベルＮの所定の重みで乗算して、乗算結果の積を合計するための第１の計算ユニット１７８を含む。

図１ｍに示すように、画像Ｙを処理する第２の集計ユニット１１４ａは、第２の選択ユニット１８２を含み、その出力が第２の選択集計ユニット１８３の入力に接続される。第２の選択ユニット１８２は、各レベルｉの中間サブバンド（ｉは１からＮ−１の範囲であってよい）、および、画像Ｙの詳細サブバンドを、品質の計測値を決定するとき達成する必要のある精度に基づいて選択する。第２の選択集計ユニット１８３は、画像Ｙの選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する。第２の集計ユニット１１４ａはさらに、実質的に同じ解像度１３９ａを有する画像Ｙの各レベルｉの選択された中間サブバンドおよび選択された詳細サブバンドを選択する計算手段を含む。１３９ａは、前述した１３９に類似しており、集計用の実質的に同じ解像度を有する中間サブバンドおよび詳細サブバンドを選択するために利用される。第２の選択ユニット１８２はさらに、精度を達成するために必要な中間サブバンドおよび詳細サブバンドの数に基づいて画像Ｙの各レベルｉの中間サブバンドおよび詳細サブバンドを選択する第２の選択サブユニット１８４を含む。別の実施形態では、第２の選択ユニット１８２は、画像Ｙのレベルｉ−ＷＰ近似サブバンドの１以上および詳細サブバンドの１以上を選択する第２のＷＰ詳細選択サブユニット１８８を含む。第２のＷＰ詳細サブバンド選択サブユニット１８８は、選択時に画像Ｙのレベルｉ詳細サブバンドの１以上を含めるために第２の詳細選択モジュール１９１を含む。

第２のレベルｉ−中間サブバンド集計ユニット１８５は、各レベルｉの画像Ｙのための各選択された中間サブバンドを二乗して、画像Ｙの各選択された中間サブバンドに所定の重みで実行された二乗処理の結果を乗算して、乗算結果の積を合計して、画像Ｙにレベルｉのエッジマップを生成するために行われた合計の結果に平方根関数を適用する第２のレベルｉ計算ユニット１８９を含む。第２の詳細サブバンド集計ユニット１８６は、画像Ｙの選択された詳細サブバンドそれぞれを二乗して、画像Ｙの各選択された詳細サブバンドの所定の重みで行われた二乗結果を乗算して、行われた乗算の積を合計して、画像ＹのレベルＮのエッジマップを生成するために行われた合計結果に平方根関数を適用する第２の詳細サブバンド計算ユニット１９２を含む。第２のエッジマップ決定ユニット１８７は、画像Ｙの各レベルｉのエッジマップを、レベルｉの所定の重みで乗算して、画像ＹのレベルＮのエッジマップを、レベルＮの所定の重みで乗算して、乗算結果の積を合計するための第２の計算ユニット１９０を含む。

第１の集計ユニット１７１の構造を図１ｎに示す。第１の選択集計ユニットは、第１の水平エッジマップユニット１９４、第１の垂直エッジマップユニット１９５、および第１の対角エッジマップユニット１９５および第１の合成ユニット１９７を含む。分解のレベルｉで生成される中間サブバンドは、ウェーブレットパケット（ＷＰ）近似およびウェーブレットパケット詳細サブバンドを含む。これらユニット１９４、１９５、および１９６それぞれは、特定の種類のＷＰ近似サブバンドおよびＷＰ詳細サブバンドを処理する。これらサブバンドについては本書類の後半で詳述する。第１の水平エッジマップユニット１９４は、画像Ｘの各レベルｉ（ｉ＝１からＮ−１）のレベルｉ−水平ＷＰ近似サブバンドおよび画像Ｘの水平サブバンドを集計して画像Ｘの水平エッジマップを生成する。第１の垂直エッジマップユニット１９５は、画像Ｘの各レベルｉのレベルｉ−垂直ＷＰ近似サブバンドおよび画像Ｘの垂直サブバンドを集計して画像Ｘの垂直エッジマップを生成する。第１の対角エッジマップユニット１９６は、画像Ｘの各レベルｉのレベルｉ−対角ＷＰ近似サブバンドおよび画像Ｘの対角サブバンドを集計して画像Ｘの対角エッジマップを生成する。画像Ｘの水平、垂直、および対角エッジマップは、第１の合成ユニット１９７により集計される。

画像Ｘのレベルｉ−ＷＰ詳細サブバンドは、さらに、各画像について、レベルｉ−ＷＰ水平サブバンド、レベルｉ−ＷＰ垂直サブバンド、およびレベルｉ−ＷＰ対角サブバンドを含む。第１の水平エッジマップユニット１９４は、集計時に画像Ｘのレベルｉ−ＷＰ水平サブバンドを含む第１の水平サブユニット１９８を含む。第１の垂直エッジマップユニット１９５は、集計時に画像Ｘのレベルｉ−ＷＰ垂直サブバンドを含む第１の垂直サブユニット１９９を含む。第１の対角エッジマップユニット１９６は、集計時に画像Ｘのレベルｉ−ＷＰ対角サブバンドを含む第１の対角サブユニット２００を含む。第１の合成ユニット１９７は、画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップに平方根関数を適用して、平方根関数の適用結果を合計する第１の合成サブユニット２０１を含む。

第２の選択集計ユニット１８３の構造を図１ｏに示す。第２の選択集計ユニットは、第２の水平エッジマップユニット２０３、第２の垂直エッジマップユニット２０４、第２の対角エッジマップユニット２０５、および第２の合成ユニット２０６を含む。第２の水平エッジマップユニット２０３は、画像Ｙの各レベルｉ（ｉ＝１からＮ−１）のレベルｉ−水平ＷＰ近似サブバンドおよび画像Ｙの水平サブバンドを集計して画像Ｙの水平エッジマップを生成する。第２の垂直エッジマップユニット２０４は、画像Ｙの各レベルｉのレベルｉ−垂直ＷＰ近似サブバンドおよび画像Ｙの垂直エッジマップを生成する画像Ｘの垂直サブバンドを集計する。第２の対角エッジマップユニット２０５は、画像Ｙの各レベルｉのレベルｉ−対角ＷＰ近似サブバンドおよび画像Ｙの対角サブバンドを集計して画像Ｙの対角エッジマップを生成する。画像Ｙの水平、垂直、および対角エッジマップは、第２の合成ユニット２０６により集計される。

画像Ｘの場合同様に、画像Ｙのレベルｉ−ＷＰ詳細サブバンドはさらに、各画像について、レベルｉ−ＷＰ水平サブバンド、レベルｉ−ＷＰ垂直サブバンド、および、レベルｉ−ＷＰ対角サブバンドを含む。第２の水平エッジマップユニット２０３は、集計時に画像Ｙのレベルｉ−ＷＰ水平サブバンドを含む第２の水平サブユニット２０７を含む。第２の垂直エッジマップユニット２０４は、集計時に画像Ｙのレベルｉ−ＷＰ垂直サブバンドを含む第２の垂直サブユニット２０８を含む。第２の対角エッジマップユニット２０５は、集計時に画像Ｙのレベルｉ−ＷＰ対角サブバンドを含む第２の対角サブユニット２０９を含む。第２の合成ユニット１９７は、画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップに平方根関数を適用して、平方根関数の適用結果を合計する第２の合成サブユニット２１０を含む。

別の実施形態では、第１の合成ユニット１９７および第２の合成ユニットが実施する集計中に、異なるセットの数学処理を実施する。この実施形態の第１の合成ユニットは、第３のサブユニット２１１（図１ｐ参照）を含み、第２の合成ユニット２０６は、第４の合成サブユニット２１２（図１ｑ参照）を含む。第３の合成サブユニット２１１は、画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップを合計して、実行された合計結果に平方根関数を利用するために利用される。第４の合成サブユニット２１２は、画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップを合計して、実行された合計結果に平方根関数を利用するために利用される。

図１ｒに示す第１の分解ユニット１０３ａは、第１のレベル１分解ユニット２１４を含み、その出力が第１レベルｉ分解ユニット２１５で利用される。第１レベル１分解ユニット２１４は、多解像度分解を画像Ｘに生成して、レベル２での処理用にレベル１の中間サブバンドを生成して、第１レベルｉ分解ユニット２１５は、多解像度分解を、レベルｉ−１（ｉが２からＮの範囲である）で実行される多解像度分解で生成される選択された中間サブバンドに適用する。

図１ｓに示す第２の分解ユニット１０４ａは、第２のレベル１分解ユニット２１６を含み、その出力が第２レベルｉ分解ユニット２１７で利用される。第２レベル１分解ユニット２１６は、多解像度分解を画像Ｙに生成して、レベル２での処理用にレベル１の中間サブバンドを生成して、第２レベルｉ分解ユニット２１７は、多解像度分解を、レベルｉ−１（ｉが２からＮの範囲である）で実行される多解像度分解で生成される選択された中間サブバンドに適用する。

システム１００の一般的な枠組の場合同様、システム１００ａの一般的な枠組は、それぞれが特定の実施形態に結びつく様々なＩＱＭとともに利用することができる。

参照番号103a, 104a, 105a, 108a, 109a, 113a, 114a, 115a, 116a, 117a, 118a, 170,171, 172, 173, 174, 175, 176, 177, 178, 179, 180, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 194, 195, 196, 197, 198, 199, 200, 201, 203, 204, 205, 206, 207, 208, 209, 210, 211, 212, 214, 215, 216および217のユニットおよびサブユニットおよびモジュールを含むシステム１００ａの全てのコンポーネントが、ファームウェア、または、プロセッサが実行するコンピュータ可読格納媒体に格納されているコンピュータ可読命令を含む。参照番号１１０ａ、１１１ａ、１１２ａ、１３４ａ、および１３９ａを付された計算手段は全て、ＣＰＵが実行するコンピュータ可読コードを含み、本願の方法、処理、機能、またはサブルーチンを実行するコンピュータ可読格納媒体を含む。

品質計測値を決定するための枠組が利用する技術の高位な記述が、図２ａのダイアグラムに記載されている。処理は、ＮレベルＤＷＴを参照画像（ボックス２２２）および変形画像（ボックス２２４）に行うことから始まる。ＤＷＴを利用して達成される多解像度分解によって、両画像についての近似サブバンドよび詳細サブバンドが生成される。両画像の近似サブバンドを処理して、近似品質計測値を計算する（ボックス２３２）。利用する品質計測値に応じて、この品質計測値は品質マップまたは品質スコアとなりうる。原画像および変形画像両方の詳細サブバンドを集計する（ボックス２２６およびボックス２３０）。次にこれらの集計を処理して、エッジ品質計測値を計算して、マッピングまたはスコアを行う（ボックス２３４）。決定されるマップまたはインデックスは、品質計測値の生成で利用されるＩＱＭに従っており、これについては後に詳述する。一定のＩＱＭについては（後述する）、コントラストマップを生成する必要がある（ボックス２２８）。コントラストマップを生成することには、人間の視覚システムに対するそれぞれの重要性に応じて、画像の近似サブバンドおよびエッジマップの画素に対応する値を割り当てることが含まれる。コントラストマップは、近似品質マップのプーリング（ボックス２３６）およびエッジ品質マップのプーリング（ボックス２３８）に利用される。次に２つのプーリング処理の結果を合成して、変形画質の計測値を生成する（ボックス２４０）。ＩＱＭでは、コントラストマップが利用されず、それぞれボックス２３２およびボックス２３４からの近似品質計測値およびエッジ品質計測値をボックス２４０で合成して、品質計測値を生成する。

本発明では２つの選択プロセスを利用する。１つ目は、レベルｉで多解像度分解を実行されるレベルｉ−１の画像ＸまたはＹに行われる多解像度分解により生成される中間サブバンドを選択するための、レベルｉの分解（ｉ＝１．．Ｎ−１）で利用される。２つ目は、集計される画像ＸまたはＹの各レベルｉの中間サブバンドおよび詳細サブバンドを選択するために利用される。これら選択は、精度と計算オーバヘッドとの間に効果的なトレードオフを生じさせるように実行される。選択プロセスは、精度を達成するために必要なサブバンド数に基づいていてよい。この実施形態の、枠組に利用される技術に基づく方法を、図２ｂを参照して説明する。開始後（ボックス２５２）、処理２５０はＮ（ＤＷＴのレベル数）を計算する（ボックス２５４）。Ｎは、画像Ｙの解像度（またはサイズ）、画像Ｙの見える距離、および、画像Ｙに利用される画質メトリック（ＩＱＭ）の１以上を利用して計算することができる。処理２５０により、分解レベル数Ｎは、人間の視覚システムに対する実質的なピークの応答を生成する近似サブバンドＳの最小サイズの関数として決定される。従って、Ｎの値は、対応する最大周波数が人間の視覚システムのピーク感度に近くなる近似サブバンド用の解像度（つまり、人間の視覚システムの空間周波数応答の最大値）を生じさせるように決定される。

Ｙ．Ｗａｎｇ、Ｊ．ＯｓｔｅｒｍａｎｎおよびＹ．−Ｑ．Ｚｈａｎｇが「ビデオ処理通信」、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００１で述べているように、空間周波数応答は通常、角度（degree）ごとのサイクル（ＣＰＤ）として表される空間周波数の関数である人間の対比感度の曲線である。このピークは２と４の間である。利用されるＮの値は、本明細書の後の部分で説明するように利用する特定のＩＱＭに対して特別に生成される。一定のＩＱＭについてＮは固定値であるが、エラーに基づくＩＱＭ（例えばＰＳＮＲまたは絶対差（ＡＤ））については、必要となる分解レベル数Ｎは、以下のようにして形成される。Ｍ．Ｒ．ＢｏｌｉｎおよびＧ．Ｗ．Ｍｅｙｅｒが「現実的な画像合成のための画像差メトリック」、Ｐｒｏｃ．ＳＩＥ人間の視覚、Ｅｌｅｃｔｒｏｎ．Ｉｍａｇ．３６４４巻、サンノゼ、１９９９年、１０６−１２０号で記載しているように、画像が高さｈおよび距離ｄで見られると、以下が成り立つ。

ここでｆθは、サイクル／角度（ｃｐｄ）の単位を有する角度周波数であり、ｆｓは、空間周波数を示す。高さＨの画像については、ナイキスト理論により式１ｂとなる。

ＨＶＳは、約２−４ｃｐｄの周波数においてピーク応答を有することが知られている。従ってｆθは３に固定される。画像がｄ＝ｋｈの見える距離で評価された場合には、数１ａおよび数１ｂを適用することで、以下の数１ｃとなる。

従って、人間の目の評価について効果的な画像のサイズは、約３４４／ｋとなる。これは、Ｎレベルの分解の後に近似サブバンドの最小サイズが、３４４／ｋに略等しくなる必要があることを示唆している。従ってサイズＨ×Ｗのサイズの画像においては、Ｎが負の数ではないことを前提として、以下のようにして近似値を計算できる。

Ｎを決定した後で、ハールフィルタを利用してＮレベルＤＷＴを参照画像（画像Ｘ）および変形画像（画像Ｙ）両方に実行する（ボックス２５６）。Ｎレベルの分解において、近似サブバンド

および

並びに詳細サブバンド数を取得する。説明を簡略化するために、ここでは、

および

を、Ｘ_ＡとＹ_Ａとして話をする。本発明の実施形態の方法では、様々な他のウェーブレットフィルタを容易に利用することができる。ハールフィルタを選択したのは、簡単でパフォーマンスが良好だからである。その簡単さによって、アルゴリズムには無視可能な計算上の負荷がかかる。アプリケーションが実行するシミュレーションに基づいて、ハールウェーブレットはさらに、他のウェーブレットベースよりも正確な品質計測値を提供することができる。この理由は、対称ハールフィルタが一般化された直線位相を有するので、知覚される画像構造を保存することができるからである。さらにハールフィルタはフィルタ長さが短いので、画像をフィルタリングしすぎてしまうことがない。

次のステップでは、処理２５０で、画像Ｘ、ＸＡの近似サブバンドと、画像Ｙ、Ｙ_Ａの近似サブバンドとの間にＩＱＭを適用して、近似品質計測値ＩＱＭ_Ａを計算する（ボックス２５８）。次に画像Ｘおよび画像Ｙのエッジマップを生成する（ボックス２６０）。ここでは、エッジマップは単に画像のエッジ構造を反映したものであることに留意されたい。画像エッジの推定値は、詳細サブバンドの集計を利用して各画像に形成することができる。本発明の複数の実施形態で、詳細サブバンドの集計を実行する様々な方法が利用可能である。次に、これらの方法のうち、レベルごとの集計を実行する方法について説明する。本発明の他の実施形態である、層間集計（cross-layer aggregation）等の他のサブバンド集計方法では、画像Ｘおよび画像Ｙのエッジマップを利用することができ、これについては本発明の後の部分で説明する。

レベルごとの集計では、集計を各レベルｉ（ｉ＝１からＮ）で実行する。ＮレベルＤＷＴを画像に適用する場合には、画像Ｘのエッジマップ（画像のエッジ推定値）を以下のように定義する。

ここでＸＥはＸのエッジマップであり、ＸＥ，Ｌは数２で定義される分解レベルＬのエッジマップである。数２では、

が、それぞれ画像Ｘについての分割レベルＬで得られる水平、垂直、および対角詳細サブバンドを示す。近似サブバンドは、画像の主要コンテンツを含み、詳細サブバンドは、画像Ｘのエッジを含む。

はそれぞれ、（Ｎ−Ｌ）−レベルＤＷＴを

に適用して得られるウェーブレットパケット近似サブバンドである。これらは、中間サブバンドに含まれており、レベルＬ−ＷＰ近似サブバンドと称される。パラメータμ、λ、ψは、数２で利用された様々なサブバンドに関連付けられる重みである。ＨＶＳは水平よび垂直サブバンドに感度が高く、対角サブバンドについて感度が低いので、水平および垂直サブバンドには重みを上げ、対角サブバンドには重みを下げる。μ＝λ＝４．５ψを本発明の実施形態では利用する。これにより、μ＝λ＝４．５およびψ＝０．１０のときに数３が満たされる。本発明の実施形態は、これら重みの他の様々な値も含む程度の柔軟性を有する。

Ｙのエッジマップは、Ｘと同様に定義される。一例として、図３ａ１のテーブル３００が、Ｎ＝２のときの画像Ｘのサブバンドを示している。選択されたサブバンドのみをエッジマップの生成に利用する。この図の二重線のボックス内にエッジマップの計算に係るサブバンドを示している。上述したように、エッジマップは、画像エッジの推定値として意図されている。従ってこれら全てを考えるのではなく、エッジマップの形成には最も情報の多いサブバンドを利用して、計算オーバヘッドを低減させる。出願人が実施したシミュレーションによれば、エッジマップの計算に全ての画像サブバンドを利用しても、品質の計測値の精度の上昇にあまり影響が出なかった。別の例では、図３ａ２のテーブル３０２が、Ｎ＝３のときの画像Ｘのサブバンドを示している。選択されたサブバンドのみをエッジマップの生成に利用する。エッジマップの計算に関与するサブバンドは、この図の二重の実線内に示されている。Ｎが２以上の場合に拡張しても、図３ａ１および図３ａ２に示すサブバンド選択に利用される技術では、３Ｎのサブバンドが選択されるのみである。生成されたサブバンド全てをエッジマップ生成に利用すると、４^Ｎ−１サブバンドを利用する必要がある。Ｎが２以上である場合には、４^Ｎ−１は、３Ｎよりずっと大きくなる。従って、本発明の実施形態が利用する技術により、計算複雑性は大幅に低減される。

画像Ｘおよび画像Ｙのエッジマップを生成した後に、ＩＱＭをエッジマップＸ_ＥおよびＹ_Ｅの間に適用する（ボックス２６２）。この結果得られる品質計測値は、エッジ品質計測値ＩＱＭ_Ｅと称される。利用されるＩＱＭに応じたマップまたはスコアという用語については、本願の以下のセクションで説明する。次いで、処理２５０で、コントラストマップを生成する必要があるかをチェックする（ボックス２６４）。必要がある場合には処理はボックス２６４から「ＹＥＳ」へと抜けて、コントラストマップを生成する（ボックス２６６）。このコントラストマップは、複数のＩＱＭの場合に必要である。絶対差（ＡＤ）および構造類似行列（ＳＳＩＭ）を含む一定のＩＱＭが、それぞれ品質スコアを達成するためにプーリングされるべき中間品質マップを生成する。このステップでは、処理２５０は、近似およびエッジ品質マップのプーリングに利用されるコントラストマップを形成する。ＨＶＳは、エッジ付近の領域に感度が高いことが知られており、これは、Ｚ．ＷａｎｇおよびＡ．Ｃ．Ｂｏｖｉｋの、「近代画質評価」米国、Ｍｏｒｇａｎ＆Ｃｌａｙｐｏｏｌ、２００６年に記載されている。従って、エッジ付近の品質マップにおける画素にはより重きを置く。加えて、Ｚ．ＷａｎｇおよびＸ．Ｓｈａｎｇが「知覚画質評価のための空間プーリング戦略」Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓ．、アトランタ、２００６年１０月、２９４５―２９４８ページで記載しているように、高エネルギー（または高分散）画像領域は、ＨＶＳをひきつける情報をより多く含む可能性が高い。従い、高エネルギー領域内の品質マップの画素にも、より高い重み付け（より高い重要度）を与える必要がある。これら事実に基づいて、エッジマップを計算された分散と組み合わせて、コントラストマップと称される関数を形成する。コントラストマップは、局所的なガウス二乗ウィンドウ内で計算されてよく、これは、全エッジマップＸ_ＥおよびＹ_Ｅにおいて（画素ごと（pixel-by-pixel））に移動する。Ｚ．Ｗａｎｇ、Ａ．Ｂｏｖｉｋ、Ｈ．Ｓｈｅｉｋｈ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉによる「画質評価：エラー可視性から構造的類似度へ」画像処理に対するＩＥＥＥ処理、１３巻、４号、６００−６１２ページ、２０００年４月で説明されているように、ガウススライディングウィンドウＷ＝{ｗｋ｜ｋ＝１，２，…，Ｋ}で標準偏差が１．５のサンプルの場合、単位合計に正規化を利用する。係数Ｋの数は１６に設定され、これはつまり、４×４のウィンドウが利用されることを意味する。ウィンドウサイズは大きすぎず、正確な局所統計量を生じさせることができる。コントラストマップは以下のよう定義される。

ここで、ｘ_Ｅおよび

は、スライディングウィンドウ内のｘ_Ｅおよび

の画像パッチを示している。ここでは、コントラストマップが、原画像の統計学的数値を利用して、品質マッププーリングのための重み付けされた関数を形成している点に留意されたい。図３ｃに示されている画像３３０は、図３ｂに示す画像３２０に示される典型的な画像のために数４により得られる、サイズを変更されたコントラストマップを示している。図３ｂおよび図３ｃから分かるように、コントラストマップは明らかに、ＨＶＳにとってのエッジおよび重要な画像構造を示している。コントラストマップにおけるより明るい（より高い）サンプル値は、ＨＶＳにとってより重要であり、画質を判定する際に重要な役割を果たす画像構造を示している。

次のステップでは、処理は、（４）に定義されるコントラストマップを利用して、近似品質マップＩＱＭ_Ａおよびエッジ品質マップＩＱＭ_Ｅに重み付けプーリングを実行する（ボックス２６８）。

コントラストマップのＸ_Ｅ，ｊおよび

が、ｊ番目の局所的ウィンドウの画像パッチを示しており、

ｘ_Ｅ，ｊおよびｙ_Ｅ，ｊという品質マップ内の用語が、ｊ番目のウィンドウの位置における画像パッチ（または画素）を示している。Ｍは、品質マップの画素数であり、Ｓ_ＡおよびＳ_Ｅは、それぞれ重み付けされたプーリング処理の後に達成される近似およびエッジ品質スコアを表している。

次に画像Ｙの品質の計測値を決定する（ボックス２７０）。このステップでは、近似およびエッジ品質スコアを線形に合成して（数９参照）、画像ＸおよびＹの間の全品質スコアＩＱＭ_ＤＷＴを得る。

ここで、ＩＱＭ_ＤＷＴは、画像Ｘに対する画像Ｙの品質の計測値を表し、βは定数である。近似サブバンドが主要画像コンテンツを含むと、βを１に近づけ、近似品質スコア（ＳＡ）により高い重要度を与える必要がある。計測値を生成した後で処理２５０を終了する（ボックス２７２）。本発明の特定の実施形態で、コントラストマップを必要としないＩＱＭを利用する場合には、処理２５０はボックス２６４から「Ｎｏ」へと進み、ボックス２６６および２６８を行わず、近似品質計測値およびエッジ品質計測値を組み合わせて、品質の計測値を決定して（ボックス２７０）、終了する（ボックス２７２）。

上述したように、本発明の別の実施形態では、集計を行う別の方法を利用しており、これについて次に説明する。

＜エッジマップを生成する別の方法を利用する別の実施形態＞
画像Ｘおよび画像Ｙのためのエッジマップの生成に利用される参照画像Ｘおよび変形画像Ｙの詳細サブバンドの集計を実行する際に利用される方法を、図３ｄおよび図３ｅを参照して説明する。集計を行う方法の各ステップを説明する前に、基礎となるコンセプトを説明する。

画像エッジの推定値は、詳細サブバンドの集計を利用して各画像について形成することができる。ＮレベルのＤＷＴを画像に当てはめる場合には、画像Ｘのエッジマップは数６として定義される。

ここで通常は、全てのＬに対してω_Ｌ＜＝ω_Ｌ＋１となる。
ここでＸ_ＥはＸのエッジマップであり、Ｘ_Ｅ，Ｌは、数２で定義されるように計算される画像ＸのレベルＬにおけるエッジマップである。重みω_Ｌは、様々な重要度を、１からｎの異なるレベルで実行される多解像度分解に関連付けるために利用される。一式の所定の重み付けを任意のレベルｉ（ｉ＝１からｎ）のうちの任意のものに利用することができる。数式で利用されるＬの値は、レベルを示すｉに等しい。

レベル１からＮ−１で生成された中間サブバンドおよび多解像度分解のレベルＮで生成された詳細サブバンドを集計するには他の方法もある。この集計はレベルごとに行うこともできるし、またはレベルを超えて集計することもできる。しかし、この集計プロセス中には実質的に同じ解像度のサブバンドのみが合成される。前述したレベルごとの集計は、層を超えた集計と対照的なものとして一般化および提示される。層毎の方法では、選択された中間サブバンドの集計を、各レベルｉ（ｉ＝１からＮ−１）で行い、レベルｉのエッジマップを生成し、選択された詳細サブバンドの集計については、レベルＬで行い、レベルＮのエッジマップを生成する。従って、数２は以下のように一般化される。

ここで、幾つかのμ_Ｌ、λ_Ｌ、ψ_Ｌを、様々なＬの値についてゼロに設定することもできる。μ_Ｌ、λ_Ｌ、ψＬ幾つかをゼロに設定することで、画像Ｘの幾つかの中間サブバンドおよび幾つかの詳細サブバンドを集計プロセスから取り除くことができる。従って、ゼロではない重みに対応する選択されたサブバンドのみを集計用に選択することができる。選択するサブバンドの数を増やすと、分解の結果の精度がより高くすることができる可能性がでてくる。しかしながら、このさらなる精度は、計算におけるオーバヘッドの増加というコストを伴う。本発明の実施形態の方法は、制度と計算の複雑さとの間を効果的にトレードオフすることができ、品質の計測値を決定する際に達成されるべき精度に基づいて、選択する中間サブバンドを決定することができる。利用する中間サブバンドの数により計算上のオーバヘッドが決定され、これは一定の精度について選択することができる。同様のプロセスを、画像Ｙの詳細サブバンドの集計にも利用することができる。

前段落で説明した中間および詳細サブバンドのレベルごとの集計を実行する方法の各ステップを、図３ｄを参照しながら説明する。この方法は、レベルＮで生成された画像Ｘの選択された１以上の詳細サブバンドを集計して、画像ＸについてレベルＮのエッジマップを生成して、各レベルｉ（ｉ＝１からＮ−１）で生成された選択された中間サブバンドの１以上を集計して、画像Ｘのレベルｉのエッジマップを生成することを含む。集計プロセスは、レベルＮのエッジマップを含むレベルｉ全てのエッジマップを集計した後に終了する。レベルｉのエッジマップおよびレベルＮのエッジマップは、数２ａを適用することで決定することができ、画像Ｘのエッジマップは、画像ＸのレベルｊのエッジマップとレベルＮのエッジマップを数６ａを利用した重み付けした合計として決定することができる。画像Ｙの中間サブバンド及び詳細サブバンドの集計についても同様のプロセスを行うことができる。開始すると（ボックス３５２）、処理３５０により、Ｌの値を１に設定する（ボックス３５４）。次に、レベル１からＮまで複数のステップを繰り返す。Ｌの値は、この繰り返しプロセスの現在の分解レベルを表している。一式の所定の重みのセットω_Ｌ、μ_Ｌ、λ_Ｌ、ψ_Ｌを取得する（ボックス３５６）。次いで、レベルＬの画像ＸおよびレベルＬの画像Ｙのエッジマップを生成する（ボックス３５８およびボックス３６０）。Ｌの値を１増分して（ボックス３６２）、処理３５０で、ＬがＮ以下かをチェックする（ボックス３６４）。チェック結果が肯定的である場合には、処理３５０はボックス３６４から「Ｙｅｓ」に進み、ボックス３５６の入力にループバックして、次のレベルの処理を実行する。チェック結果が否定的である場合には、処理３５０は、ボックス３６４から「Ｎｏ」に進み、Ｎレベルの画像Ｘのエッジマップを集計して（ボックス３６６）、レベルＮの画像Ｙのエッジマップを集計する（ボックス３６８）。集計の実行後に、処理３５０が終了する（ボックス３６９）。

層を超えた集計を実行する本発明の実施形態を次に説明する。レベルごとの方法と比べ、層を超えた方法は、複数のレベルでの集計を実行する。この方法では、画像Ｘおよび画像Ｙの水平エッジ、垂直エッジマップ、および対角エッジマップの生成は、次の段落で説明する３つの以下の実施形態における中間ステップとして実行することができる。画像Ｘのこれらエッジマップの生成を次に説明する。同様の数式セットは、画像Ｙのエッジマップの生成にも利用することができる。画像Ｘの各レベルｉで生成される中間サブバンド（ｉ＝１からＮ−１）には、レベルｉ−詳細サブバンド、および、レベルｉ−ウェーブレットパケット（ＷＰ）サブバンドが含まれる。レベル−ｉ詳細サブバンドには、レベルｉ−水平、レベルｉ−垂直、および、レベルｉ−対角サブバンドが含まれる。レベルｉ−ウェーブレットパケットサブバンドは、レベルｉ−ウェーブレットパケット近似サブバンドおよびレベルｉ−ウェーブレットパケット詳細サブバンドを含む。レベルｉ−ウェーブレットパケット近似サブバンドは、レベルｉ−水平ＷＰ近似サブバンド、レベルｉ−垂直ＷＰ近似サブバンド、および、レベルｉ−対角ＷＰ近似サブバンドを含む。

詳細サブバンドおよびウェーブレットパケット近似サブバンドに関する層を超えた集計は、以下の数１０のセットに示されている。３つの式の合計（Ｌ＝１からＮ−１）を実行する。Ｌの各値は、Ｎレベルの分解プロセスの特定のレベルｉに対応している。数１０のＬ＝１に対応する用語は、Ｌ＝１では第１レベルの分解（ｉ＝１）、および、Ｌ＝２では第２レベルの分解（ｉ＝２）といった具合に対応している。従って以下の記載では、レベルＬという用語をレベルｉの代わりに利用する。

これらは以下の３つの選択肢のいずれかとして集計することもできる。
オプション１：

オプション２：

オプション３：

通常は、μ_Ｌ≦μ_Ｌ＋１、λ_Ｌ≦λ_Ｌ＋１、ψ_Ｌ≦ψ_Ｌ＋１である。
ここで、ｋ、ｌ、ｍそれぞれの０、１、または複数の値について、μｋ＝０、λｌ＝０、ψｍ＝０、とすることもできる。

数１０ａ、数１０ｂ、および数１０ｃの左側のＸ_Ｈ、Ｘ_Ｖ、およびＸ_Ｄは、ぞれぞれ、画像Ｘの水平、垂直、および対角エッジマップである。これら３つの数のそれぞれ右側の項には、画像ＸのレベルＬ−ＷＰパケット近似サブバンドおよび詳細サブバンドが含まれる。数１０ａの右側の第１項は、画像ＸのレベルＬ−水平ＷＰ近似サブバンド全ての二乗の重み付けされた合計であり、このＬは１からＮ−１の範囲である。第２項は、最後の分解レベルの後に得られる画像Ｘの水平サブバンドの重み付けされた二乗値である。数１０ｂの右側の第１項は、画像ＸのレベルＬ−垂直ＷＰ近似サブバンド全ての二乗の重み付けされた合計であり、このＬは１からＮ−１の範囲である。第２項は、最後の分解レベルの後に得られる画像Ｘの垂直サブバンドの重み付けされた二乗値である。数１０ｃの右側の第１項は、画像ＸのレベルＬ−対角ＷＰ近似サブバンド全ての二乗の重み付けされた合計であり、このＬは１からＮ−１の範囲である。第２項は、最後の分解レベルの後に得られる画像Ｘの対角サブバンドの重み付けされた二乗値である。様々なエッジマップの計算に関わるサブバンドは、テーブル３００およびテーブル３０２（図３ａ１および図３ａ２）の二重実線のボックス内に記載されている。所定の重みμ_Ｌ、λ_Ｌ、ψ_Ｌは、サブバンドそれぞれに様々な重要度をあてがうために用いることができる。

水平、垂直、および対角エッジマップを得た後には、これらエッジマップを集計する（合成する）３つの選択肢（選択肢１−選択肢３）がある。本発明の３つの異なる実施形態（それぞれが特別な選択肢を有する）を提供する。

数１０および選択肢１−選択肢３に基づく集計を実行する際に利用される方法の各ステップを、図３ｅに示すフローチャート３７０を参照して説明する。開始されると（ボックス３７２）、処理３７０で、各レベルＬ＝１からＮに関する重みμ_Ｌ、λ_Ｌ、ψ_Ｌを得る（ボックス３７４）。次に、画像Ｘの水平エッジマップＸ_Ｈを生成する（ボックス３７６）。この後に、画像Ｘの垂直エッジマップＸ_Ｖを生成し（ボックス３７８）、画像Ｘの対角エッジマップＸ_Ｄを生成する（ボックス３８０）。数１０ａ、数１０ｂおよび数１０ｃは、３つのエッジマップそれぞれを生成する際に利用される。次に、画像Ｘの３つのエッジマップの集計を実行して（ボックス３８２）、画像ＸのエッジマップＸＥを生成する。この後に、画像Ｙの水平エッジマップＹ_Ｈを生成して（ボックス３８４）、画像Ｙの垂直エッジマップＹ_Ｖを生成し（ボックス３８６）、画像Ｙの対角エッジマップＹ_Ｄを生成する（ボックス３８８）。そして処理３７０で、画像Ｙの３つのエッジマップを集計して（ボックス３９０）、画像ＹのエッジマップＹ_Ｅを生成する（ボックス３９２）。３つの実施形態それぞれにおいて、３つの選択肢である選択肢１−選択肢３のいずれかを利用して、異なる方法でボックス３９０の集計が実行される点に留意されたい。

数１０に示すように、中間サブバンドの中からウェーブレットパケット近似サブバンドのみを選択して集計を実行する。ウェーブレットパケット近似サブバンドのみを利用すると、計算の複雑性の低減には寄与するものの、集計プロセスをウェーブレットパケット近似サブバンド

のみを含むものに限定する必要はない。レベルｉ−ＷＰ水平、レベルｉ−ＷＰ垂直、及びレベルｉ−ＷＰ対角サブバンドを含むウェーブレットパケット詳細サブバンドも集計プロセスに含めることができる。このようなウェーブレットパケット詳細サブバンドを含む本発明の更なる実施形態は、水平、垂直、および対角方向のさらなる詳細を含む必要がある場合に利用することができる。

これら実施形態では、集計プロセスは、数１１の以下の形態をとることもできる。

次に、これらを以下の３つの選択肢のいずれかのように集計することができる。
選択肢１ａ：

選択肢２ａ：

選択肢３ａ：

通常は、μ_Ｌ≦μ_Ｌ＋１、λ_Ｌ≦λ_Ｌ＋１、ψ_Ｌ≦ψ_Ｌ＋１、μ'_Ｌ≦μ'_Ｌ＋１、λ'_Ｌ≦λ'_Ｌ＋１、ψ'_Ｌ≦ψ'_Ｌ＋１である。
ここで、ｋ、ｌ、ｍ、ｋ'、ｌ'、ｍ'それぞれの０、１、または複数の値について、μｋ＝０、λｌ＝０、ψｍ＝０、μ'ｋ'＝０、λ'ｌ'＝０、ψ'ｍ'＝０とすることもできる。

図３ｅに示す例に類似した方法を利用することもできる。差異は、数１１ａ、数１１ｂ、および数１１ｃが、画像Ｘおよび画像Ｙの水平、垂直、および対角エッジマップを計算するために利用される点である。レベルＬ−ＷＰ水平サブバンド（Ｌは１からＮ−１の範囲である）の貢献は、数１１ａの右側の最終項に示されている。同様に数１１ｂの右側の最終項が、レベルＬ−ＷＰ垂直サブバンドの貢献を示しており、数１１ｃの右側の最終項が、画像ＸのレベルＬ−ＷＰ対角サブバンドの貢献を示している。様々なエッジマップの計算に利用される、レベルＬ−ＷＰ水平、垂直、および対角サブバンド（Ｌは１からＮ−１の範囲である）は、図３ａ１および図３ａ２のテーブル３００およびテーブル３０２の点線のボックス内に示されている。ここでも、水平、垂直、および対角エッジマップの集計には、３つの選択肢である選択肢１ａから選択肢３ａのいずれかを利用して他の実施形態を利用することもできる。

前述したように、前述した枠組とともに様々なＩＱＭを利用することで、各ＩＱＭについて１つずつ、複数の実施形態が可能となる。これらＩＱＭには、ＳＳＩＭ、ＶＩＦ，ＳＰＮＲ、およびＡＤが含まれる。これら実施形態それぞれについて次に説明する。

＜ＳＳＩＭ ＩＱＭに基づく実施形態＞
本実施形態は、ＳＳＩＭ ＩＱＭを利用する。本発明の本実施形態のＳＳＩＭ−ベースの方法の各ステップを、図４を参照して説明する。開始後（ボックス４０２）、処理４００はＮ（ＤＷＴのレベル数）を１に設定する（ボックス４０４）。画像近似サブバンドは本発明の実施形態の肝なので、Ｎは、近似品質スコアＳＳＩＭ_Ａ（計算は次の段落で述べる）の精度が最大化されるようなものを選択する。図５ａに示すグラフ５００のプロットは、異なるＮの値についてのＳＳＩＭ_Ａおよび差動平均意見スコア（ＤＭＯＳ）値の間の線形相関係数（ＬＣＣ）およびスピアマンの順位相関係数（ＳＲＣＣ）を示している。このテストを実行するにあたり、Ｈ．Ｒ．Ｓｈｅｉｋｈ，Ｚ．Ｗａｎｇ、Ｌ．Ｃｏｒｍａｃｋ、およびＡ．Ｃ．Ｂｏｖｉｋによる「ＬＩＶＥ画質評価データベース・リリース２」（http://live.ece.utexas.edu/research/quality）が記載するＬＩＶＥ画質評価データベース・リリース２の７９９全ての変形画像を、ＬＬＣおよびＳＲＣＣの計算に含めた。図５ａに示すように、ＳＳＩＭＡは、Ｎ＝１のときに最良のパフォーマンスを達成する。この理由は、２以上の分解レベルについて、近似サブバンドは非常に小さくなり、近似サブバンド内でいくつもの重要な画像構造が失われるからである。

ハールフィルタを利用してシングルレベル（＝１）ＤＷＴを参照画像（画像Ｘ）および変形画像（画像Ｙ）両方に実行する（ボックス４０６）。方法は、他の種類のウェーブレットフィルタを処理するよう適合させることもできる。次のステップでは、処理４００はＳＳＩＭ_Ａ（画像Ｘおよび画像Ｙの近似サブバンド間のＳＳＩＭ）を計算する（ボックス４０８）。各画像パッチＸ_ＡおよびＹＡについて（ＸおよびＹの第１レベルの近似サブバンド範囲内で）、ＳＳＩＭ_Ａを、数１２を利用して計算する。

Ｚ．Ｗａｎｇ、Ａ．Ｂｏｖｉｋ、Ｈ．Ｓｈｅｉｋｈ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉによる「画質評価：エラー可視性から構造的類似度へ」画像処理に対するＩＥＥＥ処理、１３巻、４号、６００−６１２ページ、２０００年４月に示されている方法に従って、ＳＳＩＭマップを計算する。ウィンドウサイズを除く全てのパラメータをこの文書で提示されている通りとする。スライディング４×４ガウス・ウィンドウを処理４００で利用する。

次に、処理４００で、画像Ｘおよび画像Ｙのエッジマップを生成する（ボックス４１０）。エッジマップは、数１３および数１４を用いて画像ごとに生成される。

ここで（ｍ，ｎ）は、ウェーブレットサブバンド内の同じ位置を示している。数１２および数１３は、上述した数２および数３に基づいている点に留意されたい。利用した重み付けは、μ＝０．４５、λ＝０．４５、ψ＝０．１であった。次のステップで、２つの画像間のエッジＳＳＩＭマップであるＳＳＩＭ_Ｅを、以下の数を利用して計算する（ボックス４１２）。

ここで、

は、（Ｘ_ＥおよびＹ_Ｅの）画像パッチｘ_Ｅおよびｙ_Ｅ間の共分散であり、パラメータ

が、ｘ_Ｅおよびｙ_Ｅそれぞれの分散であり、ｋは、小さな定数であり、Ｌは、動的な画素の範囲である（グレイスケール画像において２５５）。相関係数および分散を、Ｚ．Ｗａｎｇ、Ａ．Ｂｏｖｉｋ、Ｈ．Ｓｈｅｉｋｈ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉによる「画質評価：エラー可視性から構造的類似度へ」画像処理に対するＩＥＥＥ処理、１３巻、４号、６００−６１２ページ、２０００年４月に示されている方法と同様の方法で計算する。実際のところ、エッジマップのみにより画像エッジ構造が形成されており、輝度情報は含まれないので、この文献で説明されているＳＳＩＭマップの輝度を比較している部分は、エッジＳＳＩＭマップの決定に際しては省くことができる。次にコントラストマップを、数４を利用して生成する（ボックス４１４）。コントラストマップは、数７および数８を利用してＳＳＩＭ_ＡおよびＳＳＩＭ_Ｅの重み付けされたプーリングを行うときに利用される（ボックス４１６）。数７で利用するＩＱＭ_Ａおよび数８で利用するＩＱＭ_Ｅが、それぞれ、ＳＳＩＭ_Ａ（数１２で計算される）およびＳＳＩＭ_Ｅ（数１５で計算される）である点に留意されたい。ＳＳＩＭ_ＤＷＴスコアは、数９を利用して品質の計測値として決定される（ボックス４１８）。

ＳＳＩＭ_ＤＷＴおよびＤＭＯＳ値の間の二乗平均平方根（ＲＭＳＥ）を、数１７の異なるβ値について計算するとき、β＝０．８７という大域的最小点（global minimum）に到達する。βの値は、βが１に近い値であるべきである、という直感的な予測に合致している。図５ｂは、グラフ５２０を示しており、これは、βの異なる値のＲＭＳＥのプロットを表している。ＬＬＣは、βの小さな変動に対してあまり感度を有さない点に留意されたい。つまり、提案されているβ＝０．８７は、異なる画像データベースにおける画質の計測において、ＳＳＩＭ_ＤＷＴの精度に対して大きな影響は持たない。

品質の計測値が生成されると、処理４００を終了する（ボックス４２０）。

＜ＶＩＦ ＩＱＭに基づく実施形態＞
ＶＩＦインデックスは、Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ｍ．Ｆ．Ｓａｂｉｒ、およびＡ．Ｃ．Ｂｏｖｉｋが「最近の全参照画質評価アルゴリズムの統計学的評価」、画像処理に対するＩＥＥＥ処理、１５巻、１１号、３４４０−３４５１ページ、２００６年１１月で記載しているような、有名な画質評価アルゴリズムのパフォーマンス評価において正確な画質メトリックの１つとして認められている。高レベルの精度は有しているものも、このＩＱＭは、様々なアプリケーションでＳＳＩＭ ＩＱＭと違ってあまり重きを置かれてこなかった。この理由はおそらく計算が複雑であるからであろう（Ｈ．Ｒ．ＳｈｅｉｋｈおよびＡ．Ｃ．Ｂｏｖｉｋが「画像情報および視覚品質」画像処理に対するＩＥＥＥ処理、１５巻、２号、４３０−４４４ページ、２００６年２月では、ＳＳＩＭインデックスよりも６．５倍も計算時間がかかる、とされている）。ＶＩＦ ＩＱＭの複雑性の大半の理由は、同じサブバンドの近隣の係数が線形相関しているような、過度に完全な（over-complete）ステアリング可能ピラミッド分解に起因していると思われる。この結果、ベクトルガウススケール混合ＧＳＭ（vector Gaussian scale mixture）を正確な品質予測を行うために実行する。

このセクションでは、提案する枠組を利用して離散ウェーブレット領域のＶＩＦを計算する方法の各ステップを説明する。この提案する方法は、元のＶＩＦインデックスベースの方法よりも精度が高く、しかもＶＩＦ ＩＱＭより複雑性が低い。この方法は、ＶＩＦ計算の画像をモデル化するためにベクトルＧＭＳではなくて、実数のデカルト分離可能ウェーブレット（real Cartesian-separable wavelets）を利用して、スカラーＧＭＳを利用する。以下に短く説明する。

スカラーＧＭＳベースのＶＩＦ：スカラーＧＭＳを、ＩＦＣの計算に利用するものとして説明するが、Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ａ．Ｃ．Ｂｏｖｉｋ、および、Ｇ．ｄｅ Ｖｅｃｉａｎａによる「自然シーン統計学を利用する画質評価の情報忠実度計測値」画像処理に対するＩＥＥＥ処理、１４巻、１２号、２１１７−２１２８ページ、２００５年１２月で説明がなされている。この処理は、ここではスカラーＧＭＳを利用してＶＩＦインデックス計算について繰り返される。図６ａでは、ボックス６０２が、変形されていない原画像（信号）のＧＭＳモデルを表しており、ボックス６０４が、画像の変形をチャネルの変形ととらえて、ボックス６０２から原画像信号に変形を追加して、変形画像信号をモデル化する。ボックス６０６および６０８は、ＨＶＳの関数を、加法性ホワイトガウスノイズとして示しており、それらの出力を、変形信号および原画像信号とそれぞれ認識する。図６ａを考慮すると、Ｃ^Ｍ＝（Ｃ_１，Ｃ_２，…，Ｃ_Ｍ）がＣからのＭ個のエレメントを示しており、Ｄ^Ｍ＝（Ｄ_１，Ｄ_２，…，Ｄ_Ｍ）を、Ｄからの対応するＭ個のエレメントとする。ＣおよびＤはそれぞれ、参照信号および変形信号の無作為なフィールド（ＲＦ）を示している。Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ａ．Ｃ．Ｂｏｖｉｋ、および、Ｇ．ｄｅ Ｖｅｃｉａｎａによる「自然シーン統計学を利用する画質評価の情報忠実度計測値」画像処理に対するＩＥＥＥ処理、１４巻、１２号、２１１７−２１２８ページ、２００５年１２月で記載されているように、これらモデルは１つのサブバンドに対応している。Ｃは、互いに独立した２つの統計学的無作為フィールド（ＲＦ）の積である。

ここでｉは、ＲＦの空間インデックスセットを表し、Ｓは、正のスカラーのＲＦであり、Ｕは、平均値がゼロで分散が

である、ガウススカラーＲＦである。変形モデルは、信号減衰であり、加法性ガウスノイズであり、以下のように定義されている。

ここでＧは決定論的スカラー減衰フィールドであり、Ｖは静止加法性ゼロ平均値のガウスノイズＲＦであり、分散が

である。図６ａに示す、知覚される信号は、Ｈ．Ｒ．ＳｈｅｉｋｈおよびＡ．Ｃ．Ｂｏｖｉｋが「画像情報および視覚品質」画像処理に対するＩＥＥＥ処理、１５巻、２号、４３０−４４４ページ、２００６年２月で記載しており、以下のように定義される。

ここでＮおよびＮ'は、分散

を有する静止ホワイトガウスノイズＲＦを表している。ＶＩＦインデックスについて本文献が概要を示しているようなステップをスカラーＧＳＭを考慮する計算で利用すると、以下が得られる。

ＧＭＳモデルでは、参照画像係数はゼロの平均値であると推定されている。従ってスカラーＧＭＳモデルでは、

の推定値を、局所化されたサンプルの分散推定により得ることができる。Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ａ．Ｃ．Ｂｏｖｉｋ、および、Ｇ．ｄｅ Ｖｅｃｉａｎａによる「自然シーン統計学を利用する画質評価の情報忠実度計測値」画像処理に対するＩＥＥＥ処理、１４巻、１２号、２１１７−２１２８ページ、２００５年１２月で記載されているように、分散

は、一般性を失わない単位元（unity）であるとみなすことができる。従って数２１を数２２に単純化することができる。

同様に、数２３が得られる。

最終ＶＩＦインデックスは数２３により、Ｈ．Ｒ．ＳｈｅｉｋｈおよびＡ．Ｃ．Ｂｏｖｉｋが「画像情報および視覚品質」画像処理に対するＩＥＥＥ処理、１５巻、２号、４３０−４４４ページ、２００６年２月で記載している方法を用いるが、単一のサブバンドのみを考慮することで得られる。

本実施形態におけるＶＩＦベースの方法における各ステップを、図６ｂのフローチャート６５０を参照して説明する。開始すると（ボックス６５２）、処理６５０は、Ｎ＝１に値を設定する（ボックス６５４）。ＳＳＩＭ ＩＱＭに基づいた実施形態の場合で既に記載したように、ＶＩＦベースの品質計測値の計算における分解レベルについて正しい数を先ず決定する必要がある。実験は、スカラーＶＩＦについて前述した実験に類似した方法で行われる。図７ａは、様々な分解レベルＮのＶＩＦ_Ａ（計算については次の段落参照）およびＤＭＯＳ値の間のＬＬＣおよびＳＲＣＣを表すグラフ７００を示している。ＶＩＦ_Ａ予測の精度は、分解レベル数が増加すると低減する。従ってＶＩＦ_Ａの性能はＮ＝１のときに最良である。これは、マルチレベル分解によって近似サブバンドの解像度は低下し、この結果、Ｎを超える値では、ＶＩＦが基づく画像の情報がそのサブバンドで失われてしまうからである。

次に、ＮレベルのＤＷＴを画像Ｘおよび画像Ｙに行う（ボックス６５６）。次いで処理６５０で、ＶＩＦ近似品質スコアＶＩＦ_Ａを、ＸおよびＹという近似サブバンド間で計算する（つまりＸ_ＡおよびＹ_Ａ）。簡略化目的からここではＸ_Ａ１およびＹ_Ａ１の代わりにＸ_ＡおよびＹ_Ａを利用することとする。

Ｍは、近似サブバンド内のサンプル数であり、Ｘ_Ａ，ｉは、近似サブバンドＸＡ内のｉ番目の画像パッチであり、

はその分散である。ノイズ分散

を、本発明のこの実施形態では５に設定する。パラメータｇ_ｉおよび

は、Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ａ．Ｃ．Ｂｏｖｉｋ、および、Ｇ．ｄｅ Ｖｅｃｉａｎａによる「自然シーン統計学を利用する画質評価の情報忠実度計測値」画像処理に対するＩＥＥＥ処理、１４巻、１２号、２１１７−２１２８ページ、２００５年１２月に記載する方法で推定され、以下の数２６および数２７となる。

は、画像パッチｘ_Ａ，ｉおよびｙ_Ａ，ｉ間の共分散であり、εは、

がゼロでありε＝１０^−２０である場合の不安定性を避けるために非常に小さい定数とされている。

全ての統計学数値（画像パッチの分散および共分散）は、局所的なガウス二乗ウィンドウ内で計算され、これは画素ごとに全近似サブバンドＸ_ＡおよびＹ_Ａで移動する。この場合に利用されるガウススライドウィンドウは、前に定義したものと全く同じである。ウェーブレット領域のサブバンドの解像度がより小さいことから、小さな３×３のスライドウィンドウでもほどほどに正確な局所統計量を抽出することができる。しかし最良のパフォーマンスを達成して、正確な局所統計量を抽出するために、ここではより大きなサイズ９×９のウィンドウを利用する。後のセクションで記載するシミュレーション結果は、ＶＩＦに基づく品質の計測値により、ここで記載する設定を有する正確なスコアを提供することができる。次のステップでは、処理６５０で、数２および数３を利用して、エッジマップＸ_ＥおよびＹ_Ｅを生成する（ボックス６６０）。次に、エッジマップ間の類似度を反映した画像Ｘおよび画像Ｙのエッジマップ間のＶＩＦエッジ品質スコアＶＩＦ_Ｅを計算する（ボックス６６２）。最後に、品質の計測値を、数９を利用して計算する（ボックス６６４）。

ＶＩＦ_ＤＷＴスコアは、「０、１」の範囲内の画像Ｙの品質の計測値である。品質の計測値を計算した後で処理６５０が終了する（ボックス６６６）。

図７ｂは、βの異なる値のＶＩＦ_ＤＷＴおよびＤＯＳ値の間のＲＭＳ_Ｅを示すグラフ７２０を示す。ここから分かるのは、ＲＭＳＥがその大域的最小点にβ＝０．８１のとき到達する、ということである。このβの値は、ＳＳＩＭ_ＤＷＴについて得られるものに近い。ＬＣＣはβの小さな変動にあまり高い感度を有さないことが有名である。従ってβについて得られた値は、ＶＩＦ_ＤＷＴを異なる画像データベースの画像に適用した場合であっても有効である。

＜ＰＳＮＲ ＩＱＭに基づく実施形態＞
この実施形態では、変形画質計測値を決定するためにＰＳＮＲ ＩＱＭが利用される。従来のＰＳＮＲおよびその均等物である平均二乗誤差（ＭＳＥ）を数２９および数３０で定義する。

ＸおよびＹは、それぞれ参照画像よび変形画像を示す。Ｘ_ｍａｘは、参照画像Ｘの可能な最大の画素値である。最小画素値はゼロと想定される。Ｎ_Ｐは、画像それぞれの画素数である。従来のＰＳＮＲは、デシベル（ｄＢ）単位で品質を計算するのが簡単なために、依然として人気があるが、この技術は、人間が感じる画像の忠実度を適切に反映することができない。Ｎ．Ｄａｍｅｒａ−Ｖｅｎｋａｔａ、Ｔ．Ｄ．Ｋｉｔｅ、Ｗ．Ｓ．Ｇｅｉｓｌｅｒ、Ｂ．Ｌ．Ｅｖａｎｓ、および、Ａ．Ｃ．Ｂｏｖｉｋが「劣化モデル（degradation model）に基づく画質評価」画像処理に対するＩＥＥＥ処理、９巻、４号、６３６−６５０ページ、２０００年４月で説明しているＷＳＮＲおよびＮＱＭ等、および、Ｄ．Ｍ．ＣｈａｎｄｌｅｒおよびＳ．Ｓ．Ｈｅｍａｎｉが「ウェーブレットに基づく、自然画像の視覚上の信号対雑音比」画像処理に対するＩＥＥＥ処理、１６巻、９号、２２８４−２２９８ページ、２００７年９月で説明しているＶＳＮＲ等の、他の誤差に基づく技術は、人間の視覚システム（ＨＶＳ）パラメータを計算するために高度な処理を踏むために、利用簡便さに劣る。このセクションでは、前述した本発明の実施形態が提供する枠組により離散ウェーブレット領域でＰＳＮＲベースの品質の計測値が正確に計算される様子を説明する。

本発明の本実施形態のＳＳＩＭ−ベースの方法の各ステップを、図８を参照して説明する。開始後（ボックス８０２）、処理８００はＮ（ＤＷＴのレベル数）を計算する（ボックス８０４）。図９ａに示すグラフ９００のプロットは、異なる分解レベルに対するＰＳＮＲ_ＡおよびＤＭＯＳ値の間のＬＣＣおよびＳＲＣＣを示す。テストは、前のセクションで記載した方法に類似した方法で行われる。ここで、Ｎ＝２およびＮ＝３のときに最良または最良に近いパフォーマンスを達成していることが分かる。対応する画像データベースで利用可能な個々のタイプの変形に基づいて、Ｎのどちらの値（２または３）がより正確な品質の計測値を提供するかを判断することができる。参照番号９６０で示され、図９ｃに示されているテーブルIは、５つの異なるタイプの変形についてのＳＲＣＣ値をリストしている。全てのデータ（変形画像）を考慮した場合に、ＰＳＮＲ_Ａのパフォーマンス（計算方法についてはこのセクションの後の部分で述べる）は、Ｎ＝２で最良になっていることが観察される。従ってＮ＝２が、適した分解モデルである。

Ｎ＝２は、テストで利用される全画像データベースでうまく機能するものの、この実施形態では、様々な他の画像に適用することができるＮを利用する必要がある。分解レベル数Ｎは、人間の視覚システムに対する実質的なピークの応答を生成する近似サブバンドＳの最小サイズの関数として得られる。従って数１ｅがＮの決定に利用される。

Ｎの値を計算した後で、ＮレベルのＤＷＴを画像Ｘに適用して（ボックス８０６）、画像Ｙに適用する（ボックス８０８）。参照画像および変形画像両方に対するＮレベルの離散ウェーブレット変換（ＤＷＴ）は、ハールフィルタを利用して適用される。本方法では、他のウェーブレットフィルタにも対応可能である。Ｎレベルの分解では、近似サブバンド

および

ならびに、詳細サブバンド数を取得する。前述したように、ハールフィルタを選択したのは、計算がほどほどに簡単でパフォーマンスが良好だからである。その簡単さによって、本発明の実施形態の全ての方法には無視可能な計算上の負荷がかかる。シミュレーション結果が示すように、ハールウェーブレットは、他のウェーブレットベースよりもさらに正確な品質スコアを提供することができる。

次のステップで、処理８００は、画像Ｘのエッジマップを生成して（ボックス８１０）、次に、画像Ｙのエッジマップを生成する（ボックス８１２）。次に、処理８００は、画像Ｘおよび画像Ｙの近似サブバンド間にＰＳＮＲ ＩＱＭを適用することで、ＰＳＮＲ近似品質スコアＰＳＮＲ_Ａを計算する（ボックス８１４）。次に、ＰＳＮＲエッジ品質スコアＰＳＮＲ_Ｅを、画像Ｘおよび画像Ｙのエッジマップ間にＰＳＮＲ ＩＱＭを適用して計算する（ボックス８１６）。ＰＳＮＲ_ＡおよびＰＳＮＲＥは、数３０および数３１を利用して計算される。

次のステップで、処理８００は、ＰＳＮＲ_ＤＷＴスコアを品質計測値として決定して（ボックス８１８）、終了する（ボックス８２０）。ＰＳＮＲ_ＤＷＴは、ＰＳＮＲ近似品質スコアとＰＳＮＲエッジ品質スコアを数９に基づいて組み合わせることで決定される。

ＰＳＮＲ_ＤＷＴは、１つの画像データベースの様々な画質の計測値を提供することに留意されたい。定数βの最適な値を見つけるために、ＳＳＩＭ_ＤＷＴおよびＶＩＦ_ＤＷＴに焦点を当てて説明した前のサブセクションで記載した実験に類似した実験を実行する。図９ｂは、数３２で利用されるβの異なる値のＰＳＮＲ_ＤＷＴおよびＤＯＳ値の間のＲＭＳ_Ｅを示すグラフ９２０を示す。ここから分かるのは、ＲＭＳＥがその大域的最小点にβ＝０．８４のとき到達する、ということである。このβの値は、他のメトリックについて前に決定した値に非常に近い。このβの値が他のテストデータベースに対してもよく機能することは、この文書の後の部分で説明する。

＜ＡＤ ＩＱＭに基づく実施形態＞
本実施形態ではＡＤ ＩＱＭを利用する。本発明の本実施形態のＡＤ−ベースの方法の各ステップを、図１０を参照して説明する。開始後（ボックス１００２）、処理１０００はＮを決定する（ボックス１００４）。前述したようにテストを画像データベースに行った。図１１は、取得した異なる分解レベルについての近似ＡＤマップ、ＡＤ_Ａ（その生成に関しては次の段落で述べる）およびＤＭＯＳ値の間のＬＣＣおよびＳＲＣＣを示すグラフ１１００を示している。ＰＳＮＲ_Ａに類似して、ＡＤ_ＡパフォーマンスはＮ＝２のとき最良である。Ｎの一般値は、数１ｅにより計算することができる。

次に、ＮレベルのＤＷＴを画像Ｘおよび画像Ｙに行う（ボックス１００６）。以下のステップで、処理１０００は、ＡＤ ＩＱＭを、ＸおよびＹの近似サブバンドの間に適用して、近似ＡＤマップＡＤ_Ａを生成する（ボックス１００８）。

ここで（ｍ，ｎ）は、近似サブバンドのサンプル位置を示す。次に画像Ｘおよび画像Ｙのエッジマップを生成する（ボックス１０１０）。次に、処理１０００は、エッジマップＸ_ＥおよびＹ_Ｅ間にＡＤ ＩＱＭを適用して、エッジＡＤマップＡＤ_Ｅを生成する（ボックス１０１２）。

エッジＡＤマップを生成した後で、処理１０００は、コントラストマップを生成する（ボックス１０１４）。コントラストマップを、数４を利用して得て、次にＡＤ_ＡおよびＡＤ_Ｅを、コントラストマップを利用してプーリングして、それぞれ近似品質スコアおよびエッジ品質スコアＳ_ＡおよびＳ_Ｅを決定する（ボックス１０１６）。

本方法は、Ｓ_ＡおよびＳ_Ｅを利用して、ＡＤ_ＤＷＴスコアを品質の計測値として数３７を利用して決定する（ボックス１０１８）。

前のセクションでも説明したようにβは０．８４に設定されている。品質の計測値を決定した後で処理１０００を終了する（ボックス１０２０）。

＜シミュレーション結果＞
変形画像についての品質の計測値を決定する本発明の実施形態の方法のパフォーマンスは、Ｈ．Ｒ．Ｓｈｅｉｋｈ，Ｚ．Ｗａｎｇ、Ｌ．Ｃｏｒｍａｃｋ、およびＡ．Ｃ．Ｂｏｖｉｋによる「ＬＩＶＥ画質評価データベース・リリース２」（http://live.ece.utexas.edu/research/quality）が記載するＬＩＶＥ画質評価データベース・リリース２の画像を利用して評価される。このデータベースは、５つの種類の変形（ＪＰＥＧ圧縮、ＪＰＥＧ２０００圧縮、ガウスホワイトノイズ（ＧＷＭ）、GBLur（Gaussian blurring：ガウス暈し）、および、レイリー高速フェージング（ＦＦ）チャネルモデル）を利用して２９個のカラー元画像から得られた７７９個の変形画像を含んでいる。データベース用に再編成された主観的な品質データを全ての実験で利用することができる。

それぞれが前述した実施形態で計算されるような３つの異なるＩＱＭベースの品質計測値を、データベースの画像に適用して、客観的なモデルのパフォーマンスを計測することができる。複数のメトリックをこのパフォーマンス評価に利用する。第１のメトリックは、非線形回帰後の、差動平均意見スコア（ＤＭＯＳ）と主観的モデル出力との間のピアソン相関係数（ＬＣＣ）である。この相関係数は、予測精度の評価を行う。非線形回帰では、Ｈ．Ｒ．Ｓｈｅｉｋｈ、Ｍ．Ｆ．Ｓａｂｉｒ、およびＡ．Ｃ．Ｂｏｖｉｋが「最近の全参照画質評価アルゴリズムの統計学的評価」、画像処理に対するＩＥＥＥ処理、１５巻、１１号、３４４０−３４５１ページ、２００６年１１月で定義されている５パラメータのロジスティック関数を利用する。第２のメトリックが、非線形回帰の後のＤＭＯＳおよび主観モデル出力間の二乗平均平方根誤差（ＲＭＳＥ）である。ＲＭＳ_Ｅは、予測の一貫性の計測値と捉えられる。第３のメトリックが、スピアマン順位相関係数（ＳＲＣＣ）であり、予測単調性の計測値を提供する。

本発明の実施形態のパフォーマンス評価を適切なコンテキストに利用するために、実施形態の方法を、先行技術で利用可能な他の画質メトリックと比較する。先行技術には、Ｚ．Ｗａｎｇ、Ａ．Ｂｏｖｉｋ、Ｈ．Ｓｈｅｉｋｈ、および、Ｅ．Ｓｉｍｏｎｃｅｌｌｉによる「画質評価：エラー可視性から構造的類似度へ」画像処理に対するＩＥＥＥ処理、１３巻、４号、６００−６１２ページ、２０００年４月で説明されている従来のＰＳＮＲ，空間領域平均ＳＳＩＭ、および、Ｚ．Ｗａｎｇのリサーチホームページ（http://live.ece.utexas.edu/research/quality）で説明されている画像に対してダウンサンプリングを実行するＳＳＩＭの自動スケールバージョン、および、Ｎ．Ｄａｍｅｒａ−Ｖｅｎｋａｔａ、Ｔ．Ｄ．Ｋｉｔｅ、Ｗ．Ｓ．Ｇｅｉｓｌｅｒ、Ｂ．Ｌ．Ｅｖａｎｓ、および、Ａ．Ｃ．Ｂｏｖｉｋが「劣化モデル（degradation model）に基づく画質評価」画像処理に対するＩＥＥＥ処理、９巻、４号、６３６−６５０ページ、２０００年４月で説明しているＷＳＮＲが含まれ、これらでは、画像が、Ｊ．Ｌ．ＭａｎｎｏｓおよびＤ．Ｊ．Ｓａｋｒｉｓｏｎが「画像の符号化に対する視覚忠実度基準のもつ効果」、IEEE Trans. Inf. Theory、ＩＴ−２０巻、４号、５２５から５３６ページ、１９７４年７月、および、Ｈ．Ｒ．Ｓｈｅｉｋｈ，Ｚ．Ｗａｎｇ、Ｌ．Ｃｏｒｍａｃｋ、およびＡ．Ｃ．Ｂｏｖｉｋによる「ＬＩＶＥ画質評価データベース・リリース２」（http://live.ece.utexas.edu/research/quality）、および、Ｚ．Ｗａｎｇのリサーチホームページ（http://live.ece.utexas.edu/research/quality）で説明されているＣＳＦによりフィルタリングされる。

図１２のテーブルII１２００は、ＬＩＶＥデータベースの異なるメトリックとＤＭＯＳ値との間のＬＣＣをリストにしており、表１３のテーブルIII１２２０および図１４のテーブルIV１２４０が、それぞれメトリックとＤＭＯＳ値との間のＲＭＳＥおよびＳＲＣＣを示している。ここでは、ＳＡについて０．９４４１から０．９５７３に平均ＳＳＩＭＡのＳＲＣＣが増加したことを示しており、これは１．３２％の向上である。ＳＳＩＭ_ＤＷＴのパフォーマンスは、全ての構造メトリックのなかで最良である。ＳＮＲベースのメトリックでは、ＰＳＮＲ_ＡのＳＲＣＣは０．９３０７であり、これは従来のＰＳＮＲ（０．８７５６）よりも高く、ＷＳＮＲ（０．９２４０）よりも高い値となっており、一方で、その複雑性は従来のＰＳＮＲより低い。

本発明の実施形態は、以下を含む複数の利点を提供する。本発明の重要な寄与点は、ウェーブレット領域のコントラストマップを品質マップのプーリングに導入した点である。本発明の新規な観点によると、パラメータを決定するために実験を重点的に行う必要がなく、例えばＳＳＩＭ品質マップをプーリングするために定義されるコントラストマップに基づき、異なるウェーブレットフィルタへの適合が可能となる。図面に示され、明細書で説明される実施形態の様々な変更例および変形例が、本発明の広義の範囲を逸脱せずに以下の請求項の範囲内で可能である。例えばハール変換のほかに、ニューランド変換等の他のウェーブレット変換またはＤａｕｂｅｃｈｉｅｓフィルタを利用するウェーブレット変換を、参照画像および変形画像の多解像度分解で利用することができる。図２ｂの方法２５０を含む方法の様々なステップは、マルチコアＣＰＵまたはマルチプロセッサシステムを利用して並列実行することができる。例えば、多解像度分解中に画像ＸおよびＹの分解を並列実行することができる。これら並列計算により、品質の計測値を計算する際の計算時間を低減させることができる。

まとめると、本発明の一態様では、変形画像Ｙ用の品質計測値を決定するための方法であって、画像Ｙと、画像Ｙと同じ行列数の画素を有し、変形されていない参照画像Ｗとの間の類似度を特徴付け、（ａ１）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、レベルＮについて、画像Ｘの主要コンテンツを含む近似サブバンドと、画像Ｘのエッジを含む詳細サブバンドとを生成する段階と、（ｂ１）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｙに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｙの中間サブバンドを生成して、レベルＮについて、画像Ｙの主要コンテンツを含む近似サブバンドと、画像Ｙのエッジを含む詳細サブバンドとを生成する段階と、（ｃ１）画質メトリック（ＩＱＭ）を画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに適用して、画像Ｘの主要コンテンツと画像Ｙの主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、（ｄ１）画像Ｘについて、１からＮ−１までの範囲であるレベルｉで中間サブバンドおよび画像Ｘの詳細サブバンドを集計して、画像Ｘのエッジを特徴付ける画像Ｘのエッジマップを生成する段階と、（ｅ１）画像Ｙについて、１からＮ−１までの範囲であるレベルｉの中間サブバンドおよび画像Ｙの詳細サブバンドを集計して、画像Ｙのエッジを特徴付ける画像Ｙのエッジマップを生成する段階と、（ｆ１）画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＩＱＭを適用して、画像Ｘのエッジと画像Ｙのエッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、（ｇ１）近似品質計測値とエッジ品質計測値とを処理して品質計測値を決定する段階とを備える方法が提供される。

上述した方法において、段階（ｄ１）がさらに、画像Ｘの１からＮ−１までの範囲である各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する段階（ａ２ｉ）と、画像Ｘについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階（ａ２ｉｉ）とを有する段階（ａ２）を有し、段階（ｅ１）がさらに、画像Ｙの各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する段階（ｂ２ｉ）と、画像Ｙについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階（ｂ２ｉｉ）とを有する段階（ｂ２）を有する。前述した段階（ａ２ｉ）および（ｂ２ｉ）は、画像Ｘおよび画像Ｙについて、各レベルｉについて中間サブバンドと詳細サブバンドとを、精度を達成するために必要な中間サブバンドおよび詳細サブバンド数に基づいて選択する段階をさらに有する。

上述した方法において、段階（ａ２ｉｉ）において、（ａ４ｉ）各レベルｉにおいて、画像の選択された中間サブバンドを集計して、画像Ｘのレベルｉでエッジマップを生成する段階と、（ａ４ｉｉ）画像Ｘの選択された詳細サブバンドを集計して、画像のレベルＮのエッジマップを生成する段階と、（ａ４ｉｉｉ）画像Ｘの各レベルｉのエッジマップと、画像ＸのレベルＮのエッジマップとを集計する段階とが含まれる段階（ａ４）と、段階（ｂ２ｉｉ）において、（ｂ４ｉ）各レベルｉにおいて、画像の選択された中間サブバンドを集計して、画像Ｙのレベルｉでエッジマップを生成する段階と、（ｂ４ｉｉ）画像Ｙの選択された詳細サブバンドを集計して、画像のレベルＮのエッジマップを生成する段階と、（ｂ４ｉｉｉ）画像Ｙの各レベルｉのエッジマップと、画像ＸのレベルＮのエッジマップとを集計する段階とが含まれる段階（ｂ４）とが含まれる。

上述した方法において、段階（ａ４ｉｉｉ）はさらに、（ａ５ｉ）画像Ｘの各レベルｉのエッジマップを、レベルｉの所定の重みで乗算する段階と、（ａ５ｉｉ）画像ＸのレベルＮのエッジマップを、レベルＮの所定の重みで乗算する段階と、（ａ５ｉｉｉ）段階（ａ５ｉ）の乗算結果と、段階（ａ５ｉｉ）の乗算結果とを合計する段階とをさらに含む段階と（ａ５）、段階（ｂ４ｉｉｉ）はさらに、（ｂ５ｉ）画像Ｙの各レベルｉのエッジマップを、レベルｉの所定の重みで乗算する段階と、（ｂ５ｉｉ）画像ＹのレベルＮのエッジマップを、レベルＮの所定の重みで乗算する段階と、（ｂ５ｉｉｉ）段階（ｂ５ｉ）の乗算結果と、段階（ｂ５ｉｉ）の乗算結果とを合計する段階とをさらに含む段階と（ｂ５）がさらに含まれる。

上述した方法において、段階（ａ４ｉ）はさらに、（ａ６ｉ）画像Ｘについて各選択された中間サブバンドを二乗する段階と、（ａ６ｉｉ）画像Ｘについて各選択された中間サブバンドについて所定の重みで、段階（ａ６ｉ）で実行した二乗結果を乗算する段階と、（ａ６ｉｉｉ）段階（ａ６ｉｉ）の乗算の結果得られた積を合計する段階と（ａ６ｉｖ）段階（ａ６ｉｉｉ）で実行された合計結果に平方根関数を利用して、画像Ｘのレベルｉのエッジマップを生成する段階とをさらに含む段階と（ａ６）、段階（ａ４ｉｉ）はさらに、（ｂ６ｉ）画像Ｘについて各選択された詳細サブバンドを二乗する段階と、（ｂ６ｉｉ）画像Ｘについて各選択された詳細サブバンドについて所定の重みで、段階（ｂ６ｉ）で実行した二乗結果を乗算する段階と、（ｂ６ｉｉｉ）段階（ｂ６ｉｉ）の乗算の結果得られた積を合計する段階とをさらに含む段階と、（ｂ６ｉｖ）段階（ｂ６ｉｉｉ）で実行された合計結果に平方根関数を利用して、画像ＸのレベルＮのエッジマップを生成する段階とを含む段階と（ｂ６）、段階（ｂ４ｉ）はさらに、（ｃ６ｉ）画像Ｙについて各選択された中間サブバンドを二乗する段階と、（ｃ６ｉｉ）画像Ｙについて各選択された中間サブバンドについて所定の重みで、段階（ｃ６ｉ）で実行した二乗結果を乗算する段階と、（ｃ６ｉｉｉ）段階（ｃ６ｉｉ）の乗算の結果得られた積を合計する段階とをさらに含む段階と、（ｃ６ｉｖ）段階（ｃ６ｉｉｉ）で実行された合計結果に平方根関数を利用して、画像Ｙのレベルｉのエッジマップを生成する段階とを含む段階と（ｃ６）、段階（ｂ４ｉｉ）はさらに、（ｄ６ｉ）画像Ｙについて各選択された詳細サブバンドを二乗する段階と、（ｄ６ｉｉ）画像Ｙについて各選択された詳細サブバンドについて所定の重みで、段階（ｄ６ｉ）で実行した二乗結果を乗算する段階と、（ｄ６ｉｉｉ）段階（ｄ６ｉｉ）の乗算の結果得られた積を合計する段階とをさらに含む段階と、（ｄ６ｉｖ）段階（ｄ６ｉｉｉ）で実行された合計結果に平方根関数を利用して、画像ＹのレベルＮのエッジマップを生成する段階とを含む段階と（ｄ６）が含まれる。

画像Ｘおよび画像Ｙの各レベルｉについての中間サブバンドは、各画像において、レベルｉ−詳細サブバンドおよびレベルｉ−ウェーブレットパケット（ＷＰ）サブバンドを含み、レベルｉ−ＷＰサブバンドは、レベルｉ−ＷＰ近似サブバンドおよびレベルｉ−ＷＰ詳細サブバンドを含み、レベルｉ−ＷＰ近似サブバンドはさらに、レベルｉ−水平ＷＰ近似サブバンドとレベルｉ−垂直ＷＰ近似サブバンドと、レベルｉ−対角ＷＰ近似サブバンドとを含む。

上述した方法において、段階（ａ２ｉ）はさらに、画像Ｘの１以上のレベルｉ−ＷＰ近似サブバンドと１以上の詳細サブバンドとを選択する段階をさらに有する段階と（ａ８）段階（ｂ２ｉ）はさらに、画像Ｙの１以上のレベルｉ−ＷＰ近似サブバンドと１以上の詳細サブバンドとを選択する段階をさらに有する段階と（ｂ８）が含まれる。

上述した方法において、段階（ａ８）はさらに、選択において画像Ｘの１以上のレベルｉ−詳細サブバンドを含む段階をさらに有する段階と（ａ９）、段階（ｂ８）はさらに、選択において画像Ｙの１以上のレベルｉ−詳細サブバンドを含む段階をさらに有する段階と（ａ９）が含まれる。上述した方法において、段階（ａ２ｉｉ）はさらに、（ａ１０ｉ）各レベルｉで画像Ｘのレベルｉ−水平ＷＰ近似サブバンドと画像Ｘの水平サブバンドとを集計して、画像Ｘの水平エッジマップを生成する段階と、（ａ１０ｉｉ）各レベルｉで画像Ｘのレベルｉ−垂直ＷＰ近似サブバンドと画像Ｘの水平サブバンドとを集計して、画像Ｘの水平エッジマップを生成する段階と、（ａ１０ｉｉｉ）各レベルｉで画像Ｘのレベルｉ−対角ＷＰ近似サブバンドと画像Ｘの水平サブバンドとを集計して、画像Ｘの水平エッジマップを生成する段階と、（ａ１０ｉｖ）画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップを集計する段階とを含み（ａ１０）、段階（ｂ２ｉｉ）はさらに、（ｂ１０ｉ）各レベルｉで画像Ｙのレベルｉ−水平ＷＰ近似サブバンドと画像Ｙの水平サブバンドとを集計して、画像Ｙの水平エッジマップを生成する段階と、（ｂ１０ｉｉ）各レベルｉで画像Ｙのレベルｉ−垂直ＷＰ近似サブバンドと画像Ｙの水平サブバンドとを集計して、画像Ｙの水平エッジマップを生成する段階と、（ｂ１０ｉｉｉ）各レベルｉで画像Ｙのレベルｉ−対角ＷＰ近似サブバンドと画像Ｙの水平サブバンドとを集計して、画像Ｙの水平エッジマップを生成する段階と、（ｂ１０ｉｖ）画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップを集計する段階とを含む（ｂ１０）。

上述した方法において、画像Ｘおよび画像Ｙのレベルｉ−ＷＰ詳細サブバンドはさらに、それぞれの画像について、レベルｉ−ＷＰ水平サブバンド、レベルｉ−ＷＰ垂直サブバンド、およびレベルｉ−ＷＰ対角サブバンドを含み、段階（ａ１０ｉ）は、集計時に画像Ｘのレベルｉ−ＷＰ水平サブバンドを含む段階を含み（ａ１１）、段階（ａ１０ｉｉ）は、集計時に画像Ｘのレベルｉ−ＷＰ垂直サブバンドを含む段階を含み（ｂ１１）、段階（ａ１０ｉｉｉ）は、集計時に画像Ｘのレベルｉ−ＷＰ対角サブバンドを含む段階を含み（ｃ１１）、ブバンドを含み、
段階（ｂ１０ｉ）は、集計時に画像Ｙのレベルｉ−ＷＰ水平サブバンドを含む段階を含み（ｄ１１）、段階（ｂ１０ｉｉ）は、集計時に画像Ｙのレベルｉ−ＷＰ垂直サブバンドを含む段階を含み（ｅ１１）、段階（ｂ１０ｉｉｉ）は、集計時に画像Ｙのレベルｉ−ＷＰ対角サブバンドを含む段階を含む（ｆ１１）。

上述した方法において、段階（ａ１０ｉｖ）は、（ａ１２ｉ）平方根関数を画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用する段階と、（ａ１２ｉｉ）平方根関数を適用した結果を合計する段階とを含み（ａ１２）、段階（ｂ１０ｉｖ）は、（ｂ１２ｉ）平方根関数を画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用する段階と、（ｂ１２ｉｉ）平方根関数を適用した結果を合計する段階とを含む（ｂ１２）。

上述した方法において、段階（ａ１０ｉｖ）は、（ａ１３ｉ）画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップを合計する段階と、（ａ１３ｉｉ）平方根関数を段階（ａ１３ｉ）の合計結果に適用する段階とを含み（ａ１３）、段階（ｂ１０ｉｖ）は、（ｂ１３ｉ）画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップを合計する段階と、（ｂ１３ｉｉ）平方根関数を段階（ｂ１３ｉ）の合計結果に適用する段階とを含む（ｂ１３）。

段階（ａ）および段階（ｂ）は、Ｎレベルの離散ウェーブレット変換を適用する段階を有し、離散ウェーブレット変換は、ハール変換、ニューランド変換、またはＤａｕｂｅｃｈｉｅｓフィルタを利用するウェーブレット変換であってよい。

上述した方法は、段階（ａ１）で、（ａ１７ｉ）レベル１で、画像Ｘに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する段階と、（ａ１７ｉｉ）２からＮ−１までの範囲であるレベルｉで、レベルｉ−１で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する段階とを実行すること（ａ１７）、および、段階（ｂ１）において、（ｂ１７ｉ）レベル１で、画像Ｙに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する段階と、（ｂ１７ｉｉ）２からＮ−１までの範囲であるレベルｉで、レベルｉ−１で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する段階とを実行すること（ｂ１７）、の１以上を実行する。

本発明の実施形態では、近似品質計測値は近似品質マップであり、エッジ品質計測値はエッジ品質マップであり、段階（ｇ１）はさらに、（ａ１８）画像Ｘおよび画像Ｙの近似サブバンドおよびエッジマップの画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成する段階と、（ｂ１８）コントラストマップを利用して近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する段階と、（ｃ１８）コントラストマップを利用してエッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する段階と、（ｄ１８）段階（ｂ１８）の近似類似度スコアを、段階（ｃ１８）のエッジ類似度スコアと組み合わせて、品質計測値を決定する段階とを有する。

本発明の実施形態では、さらに、Ｎを、人間の視覚システムに対して実質的なピーク応答を生成する、近似サブバンドＳの最小サイズの関数として決定する段階を備える。

上述した方法において、（ａ２０）段階（ｃ１）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに構造的類似度（ＳＳＩＭ）ＩＱＭを適用して、近似ＳＳＩＭマップＳＳＩＭ_Ａを生成する段階を有し、（ｂ２０）段階（ｆ１）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＳＳＩＭ ＩＱＭを適用して、近似ＳＳＩＭマップＳＳＩＭ_Ｅを生成する段階を有し、（ｃ２０）段階（ｇ１）は、ＳＳＩＭ_ＡとＳＳＩＭ_Ｅとを処理して、ＳＳＩＭ_ＤＷＴを品質計測値として決定する段階を含む。

または、（ａ２１）段階（ｃ１）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに絶対差（ＡＤ）ＩＱＭを適用して、近似ＡＤマップＡＤ_Ａを生成する段階を有し、（ｂ２１）段階（ｆ１）は、ＡＤ ＩＱＭを画像Ｘのエッジマップと画像Ｙのエッジマップとの間に、エッジＡＤマップＡＤ_Ｅを生成する段階を有し、（ｃ２１）段階（ｇ１）は、ＡＤ_ＡとＡＤ_Ｅとを処理して、ＡＤ_ＤＷＴスコアを品質計測値として決定する段階を含む。

また他の案として、（ａ２２）段階（ｃ１）は、近似サブバンドと画像Ｙの近似サブバンドとにピーク信号対雑音比（ＰＳＮＲ）ＩＱＭを適用して、ＰＳＮＲ近似品質スコアＰＳＮＲ_Ａを生成する段階を有し、（ｂ２２）段階（ｆ１）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＰＳＮＲ ＩＱＭを適用して、ＰＳＮＲエッジ品質スコアＰＳＮＲ_Ｅを生成する段階を有し、（ｃ２２）段階（ｇ１）は、ＰＳＮＲ_ＡとＰＳＮＲ_Ｅとを処理して、ＰＳＮＲ_ＤＷＴを品質計測値として決定する段階を含む。

また別にも、（ａ２３）段階（ｃ１）は、近似サブバンドと画像Ｙの近似サブバンドとに視覚情報忠実度（ＶＩＦ）ＩＱＭを適用して、ＶＩＦ近似品質スコアＶＩＦ_Ａを生成する段階を有し、（ｂ２３）段階（ｆ１）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＶＩＦ ＩＱＭを適用して、ＶＩＦエッジ品質スコアＶＩＦ_Ｅを生成する段階を有し、（ｃ２３）段階（ｇ１）は、ＶＩＦ_ＡとＶＩＦ_Ｅとを処理して、ＶＩＦ_ＤＷＴを品質計測値として決定する段階を含む。

（ａ２４）段階（ａ２）はさらに、画像Ｘについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する段階を有し、（ｂ２４）段階（ｂ２）はさらに、画像Ｙについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する段階を有する。

本発明の別の態様では、変形画像用の品質計測値を決定するためのシステムであって、画像Ｙと、画像Ｙと同じ行列数の画素を有し、変形されていない参照画像Ｗとの間の類似度を特徴付け、システムは、プロセッサと、コンピュータ可読命令を格納したコンピュータ可読媒体とを備え、このコンピュータ可読媒体はプロセッサにより実行されると、（ａ２５）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、レベルＮについて、画像Ｘの主要コンテンツを含む近似サブバンドと、画像Ｘのエッジを含む詳細サブバンドとを生成する第１の分解ユニットと、（ｂ２５）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｙに適用して、１からＮ−１までの範囲である各レベルｉについて、画像Ｙの中間サブバンドを生成して、レベルＮについて、画像Ｙの主要コンテンツを含む近似サブバンドと、画像Ｙのエッジを含む詳細サブバンドとを生成する第２の分解ユニットと、（ｃ２５）画質メトリック（ＩＱＭ）を画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに適用して、画像Ｘの主要コンテンツと画像Ｙの主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する近似品質計測ユニットと、（ｄ２５）画像Ｘについて、１からＮ−１までの範囲であるレベルｉで中間サブバンドおよび画像Ｘの詳細サブバンドを集計して、画像Ｘのエッジを特徴付ける画像Ｘのエッジマップを生成する第１の集計ユニットと、（ｅ２５）画像Ｙについて、１からＮ−１までの範囲であるレベルｉで中間サブバンドおよび画像Ｙの詳細サブバンドを集計して、画像Ｙのエッジを特徴付ける画像Ｙのエッジマップを生成する第２の集計ユニットと、（ｆ２５）画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＩＱＭを適用して、画像Ｘのエッジと画像Ｙのエッジとの間の類似度を特徴付けるエッジ品質計測値を生成するエッジ品質計測ユニットと、（ｇ２５）近似品質計測値とエッジ品質計測値とを処理して品質計測値を決定する品質計測ユニットとを実現する。

上述したシステムにおいて、（ａ２６）第１の集計ユニット（ｄ２５）はさらに、（ａ２６ｉ）画像Ｘの１からＮ−１までの範囲である各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する第１の選択ユニットと、（ａ２６ｉｉ）画像Ｘについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第１の選択的集計ユニットとを有し、（ｂ２６）第２の集計ユニット（ｅ１）はさらに、（ｂ２６ｉ）画像Ｙの各レベルｉについての中間サブバンドと詳細サブバンドとを、品質計測値の決定で達成される精度に基づいて選択する第２の選択ユニットと、（ｂ２６ｉｉ）画像Ｙについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第２の選択的集計ユニットとを有する。

上述したシステムにおいて、（ａ２７）第１の集計ユニット（ａ２６ｉ）はさらに、画像Ｘについて、各レベルｉについて中間サブバンドと詳細サブバンドとを、精度を達成するために必要な中間サブバンドおよび詳細サブバンド数に基づいて選択する第１の選択サブユニットをさらに有し、（ｂ２７）第１の集計ユニット（ｂ２６ｉ）はさらに、画像Ｘについて、各レベルｉについて中間サブバンドと詳細サブバンドとを、精度を達成するために必要な中間サブバンドおよび詳細サブバンド数に基づいて選択する第１の選択サブユニットをさらに有する。

上述したシステムにおいて、第１の選択的集計ユニット（ａ２６ｉｉ）において、（ａ２８ｉ）画像Ｘの選択した中間サブバンドを各レベルｉについて集計して、画像Ｘのレベルｉのエッジマップを生成する第１のレベル−中間サブバンド集計ユニットと、（ａ２８ｉｉ）画像Ｘの選択した詳細サブバンドを集計して、画像ＸのレベルＮのエッジマップを生成する第１の詳細サブバンド集計ユニットと、（ａ２８ｉｉｉ）画像Ｘの各レベルｉのエッジマップを、画像ＸのレベルＮのエッジマップと集計する第１のエッジマップ決定ユニットとを含み（ａ２８）、第２の選択的集計ユニット（ｂ２６ｉｉ）において、（ｂ２８ｉ）画像Ｙの選択した中間サブバンドを各レベルｉについて集計して、画像Ｙのレベルｉのエッジマップを生成する第２のレベル−中間サブバンド集計ユニットと、（ｂ２８ｉｉ）画像Ｙの選択した詳細サブバンドを集計して、画像ＹのレベルＮのエッジマップを生成する第２の詳細サブバンド集計ユニットと、（ｂ２８ｉｉｉ）画像Ｙの各レベルｉのエッジマップを、画像ＹのレベルＮのエッジマップと集計する第２のエッジマップ決定ユニットとを含む（ｂ２８）。

上述したシステムにおいて、（ａ２９）第１のエッジマップ決定ユニット（ａ２８ｉｉｉ）はさらに、画像Ｘの各レベルｉのエッジマップを、レベルｉの所定の重みで乗算して、画像ＸのレベルＮのエッジマップを、レベルＮの所定の重みで乗算して、画像Ｘの各レベルのエッジマップを乗算した結果と、画像ＸのレベルＮのエッジマップを乗算した結果とを合計する第１の計算ユニットを含み、（ｂ２９）第２のエッジマップ決定ユニット（ｂ２８ｉｉｉ）はさらに、画像Ｙの各レベルｉのエッジマップを、レベルｉの所定の重みで乗算して、画像ＹのレベルＮのエッジマップを、レベルＮの所定の重みで乗算して、画像Ｙの各レベルのエッジマップを乗算した結果と、画像ＹのレベルＮのエッジマップを乗算した結果とを合計する第２の計算ユニットを含む。

上述したシステムでは、（ａ３０）第１レベルのｉ−中間サブバンド集計ユニット（ａ２８ｉ）は、各レベルｉで画像Ｘについて各選択された中間サブバンドを二乗して、画像Ｘについて各選択された中間サブバンドについて所定の重みで、二乗結果を乗算して、乗算の結果得られた積を合計して、平方根関数を合計結果に適用して、画像Ｘのレベルｉのエッジマップを生成する第１レベルｉ計算ユニットを含み、（ｂ３０）第１詳細サブバンド集計ユニット（ａ２８ｉ）は、画像Ｘについて各選択された詳細サブバンドを二乗して、画像Ｘについて各選択された詳細サブバンドについて所定の重みで、二乗結果を乗算して、乗算の結果得られた積を合計して、平方根関数を合計結果に適用して、画像ＸのレベルＮのエッジマップを生成する第１詳細サブバンド計算ユニットを含み、（ｃ３０）第２レベルのｉ−中間サブバンド集計ユニット（ｂ２８ｉ）は、各レベルｉで画像Ｙについて各選択された中間サブバンドを二乗して、画像Ｙについて各選択された中間サブバンドについて所定の重みで、二乗結果を乗算して、乗算の結果得られた積を合計して、平方根関数を合計結果に適用して、画像Ｙのレベルｉのエッジマップを生成する第２レベルｉ計算ユニットを含み、（ｄ３０）第２詳細サブバンド集計ユニット（ｂ２８ｉ）は、画像Ｙについて各選択された詳細サブバンドを二乗して、画像Ｙについて各選択された詳細サブバンドについて所定の重みで、二乗結果を乗算して、乗算の結果得られた積を合計して、平方根関数を合計結果に適用して、画像ＹのレベルＮのエッジマップを生成する第２詳細サブバンド計算ユニットを含む。上述したシステムでは、画像Ｘおよび画像Ｙの各レベルｉについての中間サブバンドは、各画像において、レベルｉ−詳細サブバンドおよびレベルｉ−ウェーブレットパケット（ＷＰ）サブバンドを含み、レベルｉ−ＷＰサブバンドは、レベルｉ−ＷＰ近似サブバンドおよびレベルｉ−ＷＰ詳細サブバンドを含み、レベルｉ−ＷＰ近似サブバンドはさらに、レベルｉ−水平ＷＰ近似サブバンドとレベルｉ−垂直ＷＰ近似サブバンドと、レベルｉ−対角ＷＰ近似サブバンドとを含む。

上述したシステムでは、第１の選択ユニット（ａ２６ｉ）はさらに、画像Ｘの１以上のレベルｉ−ＷＰ近似サブバンドと１以上の詳細サブバンドとを選択する第１のＷＰ−詳細選択サブユニットをさらに有し（ａ３２）第２の選択ユニット（ｂ２６ｉ）はさらに、画像Ｙの１以上のレベルｉ−ＷＰ近似サブバンドと１以上の詳細サブバンドとを選択する第２のＷＰ−詳細選択サブユニットをさらに有する（ｂ３２）。

上述したシステムでは、（ａ３３）第１のＷＰ−詳細選択サブユニット（ａ３２）はさらに、選択において画像Ｘの１以上のレベルｉ−詳細サブバンドを含む第１の詳細−選択モジュールを含み、（ｂ３３）第２のＷＰ−詳細選択サブユニット（ｂ３２）はさらに、選択において画像Ｙの１以上のレベルｉ−詳細サブバンドを含む第２の詳細−選択モジュールを含む。

上述したシステムでは、第１の選択的集計ユニット（ａ２６ｉｉ）はさらに、（ａ３４ｉ）各レベルｉで画像Ｘのレベルｉ−水平ＷＰ近似サブバンドと画像Ｘの水平サブバンドとを集計して、画像Ｘの水平エッジマップを生成する第１の水平エッジマップユニットと、（ａ３４ｉｉ）各レベルｉで画像Ｘのレベルｉ−垂直ＷＰ近似サブバンドと画像Ｘの水平サブバンドとを集計して、画像Ｘの水平エッジマップを生成する第１の垂直エッジマップユニットと、（ａ３４ｉｉｉ）各レベルｉで画像Ｘのレベルｉ−対角ＷＰ近似サブバンドと画像Ｘの水平サブバンドとを集計して、画像Ｘの水平エッジマップを生成する第１の対角エッジマップユニットと、（ａ３４ｉｖ）画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップを集計する第１の合成ユニットとを含み（ａ３４）、（ｂ３４）第２の選択的集計ユニット（ｂ２６ｉｉ）はさらに、（ｂ３４ｉ）各レベルｉで画像Ｙのレベルｉ−水平ＷＰ近似サブバンドと画像Ｙの水平サブバンドとを集計して、画像Ｙの水平エッジマップを生成する第２の水平エッジマップユニットと、（ｂ３４ｉｉ）各レベルｉで画像Ｙのレベルｉ−垂直ＷＰ近似サブバンドと画像Ｙの水平サブバンドとを集計して、画像Ｙの水平エッジマップを生成する第２の垂直エッジマップユニットと、（ｂ３４ｉｉｉ）各レベルｉで画像Ｙのレベルｉ−対角ＷＰ近似サブバンドと画像Ｙの水平サブバンドとを集計して、画像Ｙの水平エッジマップを生成する第２の対角エッジマップユニットと、（ｂ３４ｉｖ）画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップを集計する第２の合成ユニットとを含む（ｂ３４）。

上述したシステムでは、画像Ｘおよび画像Ｙのレベルｉ−ＷＰ詳細サブバンドはさらに、それぞれの画像について、レベルｉ−ＷＰ水平サブバンド、レベルｉ−ＷＰ垂直サブバンド、およびレベルｉ−ＷＰ対角サブバンドを含み、第１の水平エッジマップユニット（ａ３４ｉ）は、集計時に画像Ｘのレベルｉ−ＷＰ水平サブバンドを含む第１の水平サブユニットを含み（ａ３５）、第１の垂直エッジマップユニット（ａ３４ｉｉ）は、集計時に画像Ｘのレベルｉ−ＷＰ垂直サブバンドを含む第１の垂直サブユニットを含み（ｂ３５）、第１の対角エッジマップユニット（ａ３４ｉｉｉ）は、集計時に画像Ｘのレベルｉ−ＷＰ対角サブバンドを含む第１の対角サブユニットを含み（ｃ３５）、第２の水平エッジマップユニット（ｂ３４ｉ）は、集計時に画像Ｙのレベルｉ−ＷＰ水平サブバンドを含む第２の水平サブユニットを含み（ｄ３５）、第２の垂直エッジマップユニット（ｂ３４ｉｉ）は、集計時に画像Ｙのレベルｉ−ＷＰ垂直サブバンドを含む第２の垂直サブユニットを含み（ｅ３５）、第２の対角エッジマップユニット（ｂ３４ｉｉｉ）は、集計時に画像Ｙのレベルｉ−ＷＰ対角サブバンドを含む第２の対角サブユニットを含む（ｆ３５）。

上述したシステムでは、（ａ３６）第１の合成ユニット（ａ３４ｉｖ）が、平方根関数を画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用して、平方根関数を適用した結果を合計する第１の合成サブユニットを含み、（ｂ３６）第１の合成ユニット（ｂ３４ｉｖ）が、平方根関数を画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップに適用して、平方根関数を適用した結果を合計する第２の合成サブユニットを含む。

上述したシステムでは、（ａ３７）第１の合成ユニット（ａ３４ｉｖ）は、画像Ｘの水平エッジマップ、垂直エッジマップ、および対角エッジマップを合計して、平方根関数を合計結果に適用する第３の合成サブユニットを含み、（ｂ３７）第２の合成ユニット（ｂ３４ｉｖ）は、画像Ｙの水平エッジマップ、垂直エッジマップ、および対角エッジマップを合計して、平方根関数を合計結果に適用する第４の合成サブユニットを含む。

上述したシステムでは、第１の分解ユニット（ａ１）および第２の分解ユニット（ｂ１）は、Ｎレベルの離散ウェーブレット変換を適用する計算手段を有する。
上述したシステムでは、離散ウェーブレット変換は、ハール変換であってよい。または、離散ウェーブレット変換は、ニューランド変換、またはＤａｕｂｅｃｈｉｅｓフィルタを利用するウェーブレット変換であってもよい。

本発明の実施形態によるシステムは、（ａ４１）第１の分解ユニット（ａ２５）において、（ａ４１ｉ）レベル１で、画像Ｘに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する第１のレベル１分解ユニット、および、（ａ４１ｉｉ）２からＮ−１までの範囲であるレベルｉで、レベルｉ−１で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する第１のレベルｉ分解ユニット、ならびに、（ｂ４１）第２の分解ユニット（ｂ２５）において、（ｂ４１ｉ）レベル１で、画像Ｙに多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する第２のレベル１分解ユニット、および、（ｂ４１ｉｉ）２からＮ−１までの範囲であるレベルｉで、レベルｉ−１で行われる多解像度分解で生成された中間サブバンドの１以上に多解像度分解を適用する第２のレベルｉ分解ユニット、の１以上を含んでよい。

上述したシステムにおいては、近似品質計測値は近似品質マップであり、エッジ品質計測値はエッジ品質マップであり、品質計測ユニット（ｇ２５）はさらに、（ａ４２）画像Ｘおよび画像Ｙの近似サブバンドおよびエッジマップの画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成するコントラストマップユニットと、（ｂ４２）コントラストマップを利用して近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する第１のプーリングユニットと、（ｃ４２）コントラストマップを利用してエッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する第２のプーリングユニットと、（ｄ４２）第１のプーリングユニット（ｂ４２）の近似類似度スコアを、第２のプーリングユニット（ｃ４２）のエッジ類似度スコアと組み合わせて、品質計測値を決定するスコア合成ユニットとを有する。

本発明のシステムは、さらに、Ｎを、人間の視覚システムに対して実質的なピーク応答を生成する、近似サブバンドＳの最小サイズの関数として決定する計算手段も含んでよい。

本発明の実施形態のシステムでは、（ａ４４）近似品質計測ユニット（ｃ２５）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに構造的類似度（ＳＳＩＭ）ＩＱＭを適用して、近似ＳＳＩＭマップＳＳＩＭ_Ａを生成する近似ＳＳＩＭマップユニットを有し、（ｂ４４）エッジ品質計測ユニット（ｆ２５）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＳＳＩＭ ＩＱＭを適用して、近似ＳＳＩＭマップＳＳＩＭ_Ｅを生成するエッジＳＳＩＭマップユニットを有し、（ｃ４４）品質計測ユニット（ｇ２５）は、ＳＳＩＭ_ＡとＳＳＩＭ_Ｅとを処理して、ＳＳＩＭ_ＤＷＴを品質計測値として決定するＳＳＩＭ_ＤＷＴスコアユニットを含む。

上述したシステムではまた、（ａ４５）近似品質計測ユニット（ｃ２５）は、画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに絶対差（ＡＤ）ＩＱＭを適用して、近似ＡＤマップＡＤ_Ａを生成する近似ＡＤマップユニットを有し、（ｂ４５）エッジ品質計測ユニット（ｆ２５）は、ＡＤ ＩＱＭを画像Ｘのエッジマップと画像Ｙのエッジマップとの間に、エッジＡＤマップＡＤ_Ｅを生成するエッジＡＤマップユニットを有し、（ｃ４５）品質計測ユニット（ｇ２５）は、ＡＤ_ＡとＡＤ_Ｅとを処理して、ＡＤ_ＤＷＴスコアを品質計測値として決定するＡＤ_ＤＷＴスコアユニットを含む。

または、（ａ４６）近似品質計測ユニット（ｃ２５）は、近似サブバンドと画像Ｙの近似サブバンドとにピーク信号対雑音比（ＰＳＮＲ）ＩＱＭを適用して、ＰＳＮＲ近似品質スコアＰＳＮＲ_Ａを生成するＰＳＮＲ近似品質スコアユニットを有し、（ｂ４６）エッジ品質計測ユニット（ｆ２５）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＰＳＮＲ ＩＱＭを適用して、ＰＳＮＲエッジ品質スコアＰＳＮＲ_Ｅを生成するＰＳＮＲエッジ品質スコア決定ユニットを有し、（ｃ４６）品質計測ユニット（ｇ２５）は、ＰＳＮＲ_ＡとＰＳＮＲ_Ｅとを処理して、ＰＳＮＲ_ＤＷＴを品質計測値として決定するＰＳＮＲ_ＤＷＴスコアユニットを含んでもよい。

また別の案としては、（ａ４７）近似品質計測ユニット（ｃ２５）は、近似サブバンドと画像Ｙの近似サブバンドとに視覚情報忠実度（ＶＩＦ）ＩＱＭを適用して、ＶＩＦ近似品質スコアＶＩＦ_Ａを生成するＶＩＦ近似品質スコアユニットを有し、（ｂ４７）エッジ品質計測ユニット（ｆ２５）は、画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＶＩＦ ＩＱＭを適用して、ＶＩＦエッジ品質スコアＶＩＦ_Ｅを生成するＶＩＦエッジ品質スコアユニットを有し、（ｃ４７）品質計測ユニット（ｇ２５）は、ＶＩＦ_ＡとＶＩＦ_Ｅとを処理して、ＶＩＦ_ＤＷＴを品質計測値として決定するＶＩＦ_ＤＷＴスコアユニットを含む。

また別の案としては、（ａ４８）第１の集計ユニット（ａ２６）はさらに、画像Ｘについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する計算手段を有し、（ｂ４８）第２の集計ユニット（ｂ２６）はさらに、画像Ｙについて、実質的に同じ解像度を有する各レベルｉについての選択された中間サブバンドと詳細サブバンドと選択する計算手段を有する。
本発明のまた別の態様では、コンピュータ可読プログラムコード命令が格納されたコンピュータ可読格納媒体であって、コンピュータ可読プログラムコード命令は、プロセッサにより実行されると、（ａ４９）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、レベルＮについて、画像Ｘの主要コンテンツを含む近似サブバンドと、画像Ｘのエッジを含む詳細サブバンドとを生成する段階と、（ｂ４９）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｙに適用して、１からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｙの中間サブバンドを生成して、レベルＮについて、画像Ｙの主要コンテンツを含む近似サブバンドと、画像Ｙのエッジを含む詳細サブバンドとを生成する段階と、（ｃ４９）画質メトリック（ＩＱＭ）を画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとに適用して、画像Ｘの主要コンテンツと画像Ｙの主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、（ｄ４９）画像Ｘについて、１からＮ−１までの範囲であるレベルｉで中間サブバンドおよび画像Ｘの詳細サブバンドを集計して、画像Ｘのエッジを特徴付ける画像Ｘのエッジマップを生成する段階と、（ｅ４９）画像Ｙについて、１からＮ−１までの範囲であるレベルｉで中間サブバンドおよび画像Ｙの詳細サブバンドを集計して、画像Ｙのエッジを特徴付ける画像Ｙのエッジマップを生成する段階と、（ｆ４９）画像Ｘのエッジマップと画像Ｙのエッジマップとの間にＩＱＭを適用して、画像Ｘのエッジと画像Ｙのエッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、（ｇ４９）近似品質計測値とエッジ品質計測値とを処理して品質計測値を決定する段階とを実行させるコンピュータ可読格納媒体が提供される。

本発明の実施形態を詳細に記載してきたが、当業者には、以下の請求項の範囲内で本実施形態に変形および変更を行うことが可能であることが明らかである。

Claims (17)

1. 変形画像Ｙ用の品質計測値を決定するための方法であって、前記画像Ｙと、前記画像Ｙと同じ行列数の画素を有し、変形されていない参照画像Ｘとの間の類似度を特徴付け、
   （ａ）レベル１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、
   １からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために前記画像Ｘの中間サブバンドを生成して、
   レベルＮについて、前記画像Ｘの主要コンテンツを含む近似サブバンドと、前記画像Ｘのエッジを含む詳細サブバンドとを生成する段階と、
   （ｂ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を前記画像Ｙに適用して、
   １からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために前記画像Ｙの中間サブバンドを生成して、
   前記レベルＮについて、前記画像Ｙの主要コンテンツを含む近似サブバンドと、前記画像Ｙのエッジを含む詳細サブバンドとを生成する段階と、
   （ｃ）画質メトリック（ＩＱＭ）を前記画像Ｘの前記近似サブバンドと前記画像Ｙの前記近似サブバンドとに適用して、前記画像Ｘの前記主要コンテンツと前記画像Ｙの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、
   （ｄ）前記画像Ｘについての１からＮ−１までの範囲である前記レベルｉの前記中間サブバンドおよび前記画像Ｘの前記詳細サブバンドを集計して、前記画像Ｘの前記エッジを特徴付ける前記画像Ｘのエッジマップを生成する段階と、
   （ｅ）前記画像Ｙについての１からＮ−１までの範囲である前記レベルｉの前記中間サブバンドおよび前記画像Ｙの前記詳細サブバンドを集計して、前記画像Ｙの前記エッジを特徴付ける前記画像Ｙのエッジマップを生成する段階と、
   （ｆ）前記画像Ｘの前記エッジマップと前記画像Ｙの前記エッジマップとの間に前記ＩＱＭを適用して、前記画像Ｘの前記エッジと前記画像Ｙの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、
   （ｇ）前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する段階と
   を備える方法。
2. 前記段階（ｄ）はさらに、
   前記画像Ｘの１からＮ−１までの範囲である各レベルｉについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する段階と、
   前記画像Ｘについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階と
   を有し、
   前記段階（ｅ）はさらに、
   前記画像Ｙの前記各レベルｉについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される前記精度に基づいて選択する段階と、
   前記画像Ｙについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する段階と
   を有する請求項１に記載の方法。
3. 前記画像Ｘについて前記中間サブバンドおよび前記詳細サブバンドを選択する段階はさらに、前記画像Ｘについて、同じ解像度を有する前記各レベルｉについての前記選択された中間サブバンドと前記詳細サブバンドと選択する段階を有し、
   前記画像Ｙについて前記中間サブバンドおよび前記詳細サブバンドを選択する段階はさらに、前記画像Ｙについて、同じ解像度を有する前記各レベルｉについての前記選択された中間サブバンドと前記詳細サブバンドと選択する段階を有する請求項２に記載の方法。
4. 前記画像Ｘおよび前記画像Ｙの前記各レベルｉについての前記中間サブバンドは、各画像において、レベルｉ−詳細サブバンドおよびレベルｉ−ウェーブレットパケット（ＷＰ）サブバンドを含み、
   前記レベルｉ−ＷＰサブバンドは、レベルｉ−ＷＰ近似サブバンドおよびレベルｉ−ＷＰ詳細サブバンドを含み、
   前記レベルｉ−ＷＰ近似サブバンドはさらに、レベルｉ−水平ＷＰ近似サブバンドとレベルｉ−垂直ＷＰ近似サブバンドと、レベルｉ−対角ＷＰ近似サブバンドとを含む請求項２または３に記載の方法。
5. 前記段階（ａ）において、
   レベル１で、前記画像Ｘに前記多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する段階と、
   ２からＮまでの範囲であるレベルｉで、レベルｉ−１で行われる前記多解像度分解で生成された前記中間サブバンドの１以上に前記多解像度分解を適用する段階とを実行すること、および、
   前記段階（ｂ）において、
   レベル１で、前記画像Ｙに前記多解像度分解を適用して、レベル２における処理用に、前記レベル１の中間サブバンドを生成する段階と、
   ２からＮ−１までの範囲であるレベルｉで、レベルｉ−1で行われる前記多解像度分解で生成された前記中間サブバンドの１以上に前記多解像度分解を適用する段階とを実行すること、の１以上を実行する請求項１から４のいずれか一項に記載の方法。
6. 前記近似品質計測値は近似品質マップであり、前記エッジ品質計測値はエッジ品質マップであり、
   前記段階（ｇ）はさらに、
   前記画像Ｘおよび前記画像Ｙの前記近似サブバンドおよび前記エッジマップの前記画素に対応する値を、それぞれの人間の視覚システムに対する重要度に応じて割り当てることを含む、コントラストマップを生成する段階と、
   前記コントラストマップを利用して前記近似品質マップに重み付けされたプーリングを実行して、近似品質スコアを生成する段階と、
   前記コントラストマップを利用して前記エッジ品質マップに重み付けされたプーリングを実行して、エッジ品質スコアを生成する段階と、
   前記近似品質スコアを、エッジ類似度スコアと組み合わせて、前記品質計測値を決定する段階とを有する請求項１から５のいずれか一項に記載の方法。
7. Ｎを、人間の視覚システムに対してピーク応答を生成する、近似サブバンドＳの最小サイズの関数として決定する段階をさらに備える請求項１から６のいずれか一項に記載の方法。
8. 前記段階（ｃ）は、前記画像Ｘの前記近似サブバンドと前記画像Ｙの前記近似サブバンドとに構造的類似度（ＳＳＩＭ）ＩＱＭを適用して、近似ＳＳＩＭマップＳＳＩＭ_Ａを生成する段階を有し、
   前記段階（ｆ）は、前記画像Ｘの前記エッジマップと前記画像Ｙの前記エッジマップとの間にＳＳＩＭ ＩＱＭを適用して、エッジＳＳＩＭマップＳＳＩＭ_Ｅを生成する段階を有し、
   前記段階（ｇ）は、前記ＳＳＩＭ_Ａと前記ＳＳＩＭ_Ｅとを処理して、ＳＳＩＭ_ＤＷＴスコアを前記品質計測値として決定する段階を含む、または、
   前記段階（ｃ）は、前記画像Ｘの前記近似サブバンドと前記画像Ｙの前記近似サブバンドとに絶対差（ＡＤ）ＩＱＭを適用して、近似ＡＤマップＡＤ_Ａを生成する段階を有し、
   前記段階（ｆ）は、前記画像Ｘの前記エッジマップと前記画像Ｙの前記エッジマップとの間に前記ＡＤ ＩＱＭを適用して、エッジＡＤマップＡＤ_Ｅを生成する段階を有し、
   前記段階（ｇ）は、前記ＡＤ_Ａと前記ＡＤ_Ｅとを処理して、ＡＤ_ＤＷＴスコアを前記品質計測値として決定する段階を含む、または、
   前記段階（ｃ）は、前記画像Ｘの前記近似サブバンドと前記画像Ｙの前記近似サブバンドとにピーク信号対雑音比（ＰＳＮＲ）ＩＱＭを適用して、ＰＳＮＲ近似品質スコアＰＳＮＲ_Ａを生成する段階を有し、
   前記段階（ｆ）は、前記画像Ｘの前記エッジマップと前記画像Ｙの前記エッジマップとの間にＰＳＮＲ ＩＱＭを適用して、ＰＳＮＲエッジ品質スコアＰＳＮＲ_Ｅを生成する段階を有し、
   前記段階（ｇ）は、前記ＰＳＮＲ_Ａと前記ＰＳＮＲ_Ｅとを処理して、ＰＳＮＲ_ＤＷＴスコアを前記品質計測値として決定する段階を含む、または、
   前記段階（ｃ）は、前記画像Ｘの前記近似サブバンドと前記画像Ｙの前記近似サブバンドとに視覚情報忠実度（ＶＩＦ）ＩＱＭを適用して、ＶＩＦ近似品質スコアＶＩＦ_Ａを生成する段階を有し、
   前記段階（ｆ）は、前記画像Ｘの前記エッジマップと前記画像Ｙの前記エッジマップとの間にＶＩＦ ＩＱＭを適用して、ＶＩＦエッジ品質スコアＶＩＦ_Ｅを生成する段階を有し、
   前記段階（ｇ）は、前記ＶＩＦ_Ａと前記ＶＩＦ_Ｅとを処理して、ＶＩＦ_ＤＷＴスコアを前記品質計測値として決定する段階を含む請求項１から７のいずれか一項に記載の方法。
9. 前記段階（ａ）および前記段階（ｂ）は、Ｎレベルの離散ウェーブレット変換を適用する段階を有し、前記離散ウェーブレット変換は、ハール変換、ニューランド変換、またはＤａｕｂｅｃｈｉｅｓフィルタを利用するウェーブレット変換であってよい請求項１から８のいずれか一項に記載の方法。
10. 変形画像Ｙ用の品質計測値を決定するためのシステムであって、前記画像Ｙと、前記画像Ｙと同じ行列数の画素を有し、変形されていない参照画像Ｗとの間の類似度を特徴付け、
    プロセッサと、コンピュータ可読命令が格納されたコンピュータ可読格納媒体とを備え、前記コンピュータ可読命令は前記プロセッサにより実行されると、
    （ａ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、
    １からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、
    レベルＮについて、前記画像Ｘの主要コンテンツを含む近似サブバンドと、前記画像Ｘのエッジを含む詳細サブバンドとを生成する第１の分解ユニットと、
    （ｂ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を前記画像Ｙに適用して、
    １からＮ−１までの範囲である各レベルｉについて、前記画像Ｙの中間サブバンドを生成して、
    前記レベルＮについて、前記画像Ｙの主要コンテンツを含む近似サブバンドと、前記画像Ｙのエッジを含む詳細サブバンドとを生成する第２の分解ユニットと、
    （ｃ）画質メトリック（ＩＱＭ）を前記画像Ｘの前記近似サブバンドと前記画像Ｙの前記近似サブバンドとに適用して、前記画像Ｘの前記主要コンテンツと前記画像Ｙの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する近似品質計測ユニットと、
    （ｄ）前記画像Ｘについての１からＮ−１までの範囲である前記レベルｉの前記中間サブバンドおよび前記画像Ｘの前記詳細サブバンドを集計して、前記画像Ｘの前記エッジを特徴付ける前記画像Ｘのエッジマップを生成する第１の集計ユニットと、
    （ｅ）前記画像Ｙについての１からＮ−１までの範囲である前記レベルｉの前記中間サブバンドおよび前記画像Ｙの前記詳細サブバンドを集計して、前記画像Ｙの前記エッジを特徴付ける前記画像Ｙのエッジマップを生成する第２の集計ユニットと、
    （ｆ）前記画像Ｘの前記エッジマップと前記画像Ｙの前記エッジマップとの間に前記ＩＱＭを適用して、前記画像Ｘの前記エッジと前記画像Ｙの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成するエッジ品質計測ユニットと、
    （ｇ）前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する品質計測ユニットと
    を形成するシステム。
11. 前記第１の集計ユニットはさらに、
    前記画像Ｘの１からＮ−１までの範囲である各レベルｉについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する第１の選択ユニットと、
    前記画像Ｘについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第１の選択的集計ユニットとを有し、
    前記第２の集計ユニットはさらに、
    前記画像Ｙの前記各レベルｉについての前記中間サブバンドと前記詳細サブバンドとを、前記品質計測値の決定で達成される精度に基づいて選択する第２の選択ユニットと、
    前記画像Ｙについて、選択された中間サブバンドおよび選択された詳細サブバンドのみを集計する第２の選択的集計ユニットとを有する請求項１０に記載のシステム。
12. 前記第１の集計ユニットはさらに、前記画像Ｘについて、同じ解像度を有する前記各レベルｉについての前記選択された中間サブバンドと前記詳細サブバンドと選択する計算手段を有し、
    前記第２の集計ユニットはさらに、前記画像Ｙについて、同じ解像度を有する前記各レベルｉについての前記選択された中間サブバンドと前記詳細サブバンドと選択する計算手段を有する請求項１１に記載のシステム。
13. 前記画像Ｘおよび前記画像Ｙの前記各レベルｉについての前記中間サブバンドは、各画像において、レベルｉ−詳細サブバンドおよびレベルｉ−ウェーブレットパケット（ＷＰ）サブバンドを含み、
    前記レベルｉ−ＷＰサブバンドは、レベルｉ−ＷＰ近似サブバンドおよびレベルｉ−ＷＰ詳細サブバンドを含み、
    前記レベルｉ−ＷＰ近似サブバンドはさらに、レベルｉ−水平ＷＰ近似サブバンドとレベルｉ−垂直ＷＰ近似サブバンドと、レベルｉ−対角ＷＰ近似サブバンドとを含む請求項１１または１２に記載のシステム。
14. 前記第１の分解ユニットにおいて、
    前記画像Ｘに前記多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する第１のレベル１分解ユニット、および、
    ２からＮまでの範囲であるレベルｉで、レベルｉ−１で行われる前記多解像度分解で生成された前記中間サブバンドの１以上に前記多解像度分解を適用する第１のレベルｉ分解ユニット、並びに、
    前記第２の分解ユニットにおいて、
    前記画像Ｙに前記多解像度分解を適用して、レベル２における処理用に、レベル１の中間サブバンドを生成する第２のレベル１分解ユニット、および、
    ２からＮ−１までの範囲である前記レベルｉで、レベルｉ−１で行われる前記多解像度分解で生成された前記中間サブバンドの１以上に前記多解像度分解を適用する第２のレベルｉ分解ユニット、の１以上が含まれる請求項１０から１３のいずれか一項に記載のシステム。
15. Ｎを、人間の視覚システムに対してピーク応答を生成する、近似サブバンドＳの最小サイズの関数として決定する計算手段をさらに備える請求項１０から１４のいずれか一項に記載のシステム。
16. 前記第１の分解ユニット（ａ）および前記第２の分解ユニット（ｂ）は、Ｎレベルの離散ウェーブレット変換を適用する計算手段を有し、前記離散ウェーブレット変換は、ハール変換、ニューランド変換、またはＤａｕｂｅｃｈｉｅｓフィルタを利用するウェーブレット変換であってよい請求項１０から１５のいずれか一項に記載のシステム。
17. コンピュータに、
    （ａ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｘに適用して、
    １からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために画像Ｘの中間サブバンドを生成して、
    レベルＮについて、前記画像Ｘの主要コンテンツを含む近似サブバンドと、前記画像Ｘのエッジを含む詳細サブバンドとを生成する段階と、
    （ｂ）１、２、…ｉ、ｉ＋１、…Ｎを含むＮレベルの多解像度分解を画像Ｙに適用して、
    １からＮ−１までの範囲である各レベルｉについて、レベルｉ＋１で処理するために前記画像Ｙの中間サブバンドを生成して、
    前記レベルＮについて、前記画像Ｙの主要コンテンツを含む近似サブバンドと、前記画像Ｙのエッジを含む詳細サブバンドとを生成する段階と、
    （ｃ）画質メトリック（ＩＱＭ）を前記画像Ｘの前記近似サブバンドと前記画像Ｙの前記近似サブバンドとに適用して、前記画像Ｘの前記主要コンテンツと前記画像Ｙの前記主要コンテンツとの間の類似度を特徴付ける近似品質計測値を生成する段階と、
    （ｄ）前記画像Ｘについての１からＮ−１までの範囲である前記レベルｉの前記中間サブバンドおよび前記画像Ｘの前記詳細サブバンドを集計して、前記画像Ｘの前記エッジを特徴付ける前記画像Ｘのエッジマップを生成する段階と、
    （ｅ）前記画像Ｙについての１からＮ−１までの範囲である前記レベルｉの前記中間サブバンドおよび前記画像Ｙの前記詳細サブバンドを集計して、前記画像Ｙの前記エッジを特徴付ける前記画像Ｙのエッジマップを生成する段階と、
    （ｆ）前記画像Ｘの前記エッジマップと前記画像Ｙの前記エッジマップとの間に前記ＩＱＭを適用して、前記画像Ｘの前記エッジと前記画像Ｙの前記エッジとの間の類似度を特徴付けるエッジ品質計測値を生成する段階と、
    （ｇ）前記近似品質計測値と前記エッジ品質計測値とを処理して前記品質計測値を決定する段階と
    を実行させるためのプログラム。

Images