JP4040259B2 - 画像評価装置 - Google Patents
画像評価装置 Download PDFInfo
- Publication number
- JP4040259B2 JP4040259B2 JP2001040855A JP2001040855A JP4040259B2 JP 4040259 B2 JP4040259 B2 JP 4040259B2 JP 2001040855 A JP2001040855 A JP 2001040855A JP 2001040855 A JP2001040855 A JP 2001040855A JP 4040259 B2 JP4040259 B2 JP 4040259B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- texture
- value
- image evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、ハードコピー画像の品質を評価する画像評価装置に関し、特に、マルチチャンネルモデルに基づいたロジスティック回帰分析により重み(係数)の決定された評価式を用いて画像の品質を評価する画像評価装置に関する。
【0002】
【従来の技術】
従来、人間の視覚機能においては、空間周波数選択性を有する複数のチャンネル(以降において適宜マルチチャンネルと称する)が存在することが知られている。神経生理学的および解剖学的研究により、網膜神経節細胞(ganglion cell)には、ほぼ円対称の受容野(receptive field)をもち、受容野中心部に興奮性領域を有しつつ周辺部に抑制性領域を有するオン中心型細胞と、その逆の特性を有するオフ中心型細胞が存在することが明らかにされている。このオン中心型細胞とオフ中心型細胞が空間周波数選択性のチャンネルの視覚経路をなしていると考えられている。図17は、チャンネルの受容野の概略形状を示した説明図であり、受容野平面上に各受光体からの出力をz軸方向にプロットしたものを水平方向から表示した図である。図はオン中心型細胞を示している。
【0003】
一方、ハードコピー画像の画像品質を評価する方法として、特開平7−325922号に示される技術が挙げられる。すなわち、人間の視覚特性を考慮するために、物理量である空間周波数領域(パワースペクトラム)に変換された画像情報に対して、人間の視覚のMTF特性(VTF)を乗じた量を用いて画像品質を評価するという方法が用いられている。
【0004】
【発明が解決しようとする課題】
しかしながら、従来の技術では以下の問題点があった。
すなわち、従来の画像品質の評価方法では、デジタル画像のテクスチャの知覚と粒状性を統合することが困難であるという問題点があった。また、テクスチャのみによるエッジの検出が困難であるという問題点があった。
【0005】
これは、画質を知覚する人間の視覚系が非常に非線形なシステムであるため、空間周波数特性は近似的にしか有効でないことに起因すると考えられる。また、視覚のMTF特性は人間の正弦波状の刺激に対するコントラスト感度の閾値のデータを基に得られたものであるため、マルチチャンネルによる視覚現象の1側面を記述したものにすぎないことに起因すると考えられる。
【0006】
たとえば、濃度の同じ画像を二つ並べて見た場合に、人間はそのテクスチャの差によって両画像の見え方が異なると感じる。一方、従来の空間周波数特性を用いた方法では同じ見え方をすると評価してしまうという問題点があった。
【0007】
換言すると、画像に対する主観評価と相関のとれた評価値を出力することができない場合があるという問題点があった。
【0008】
本発明は上記に鑑みてなされたものであって、画像に対する主観評価と相関のとれた評価値を出力することを目的とする。
【0019】
【課題を解決するための手段】
上記の目的を達成するために、請求項1に記載の画像評価装置は、二つの画像を比較して同じに見えるか差があるように見えるかの主観的な評価に沿った評価を出力する画像評価装置であって、評価すべき二つの画像の画像データを入力する画像データ入力手段と、前記評価すべき二つの画像の画像データに対して演算フィルタによる畳み込み演算を行い、画像のテクスチャを表現する物理量であるテクスチャ量を求める畳込演算部と、前記畳込演算部で算出された前記評価すべき二つの画像のテクスチャ量に基づいて、テクスチャ量の差の絶対値ΔTとテクスチャ量の平均値Tmeanとを算出するテクスチャ量算出手段と、前記評価すべき二つの画像の網点面積率の差の絶対値ΔMと網点面積率の平均値Mmeanとを取得する網点面積率取得手段と、前記テクスチャ量算出手段により算出されたテクスチャ量の差の絶対値ΔTとテクスチャ量の平均値Tmean、および、前記網点面積率取得手段により取得された網点面積率の差の絶対値ΔMと網点面積率の平均値Mmeanとを用いて、下式(1)により画像評価値Dを算出する画像評価値算出手段と、を具備したことを特徴とする(但しp1〜p9は、予めおこなわれた主観評価実験により決定された定数とする)。すなわち、請求項1にかかる発明は、巨視的には同じ濃度である画像のテクスチャによる見え方の差を算出する。
また、請求項2に記載の画像評価装置は、請求項1記載の画像評価装置において、前記畳込演算部は、人間の視覚系の空間周波数選択性を有する5種類のチャンネルで画像を畳み込み、下式(5),(6)を用いてテクスチャを表現する物理量を求める、ことを特徴とする。(但し、式(5)および式(6)の添字iは各チャンネルに対応しており、G i (r)は、チャンネルiにおけるG(r)を表すものとする。Nは被演算画素数を示す。A i は、人間の視覚系の空間周波数特性に最適化された係数を示す。)
【0020】
また、請求項3に記載の画像評価装置は、請求項1または2に記載の画像評価装置において、さらに、前記画像評価値算出手段により算出された画像評価値Dを、式(2)に基づいて画像評価値PDに補正する画像評価値補正手段を具備したことを特徴とする(但しq1〜q4は、回帰分析により決定された定数とする)。すなわち、請求項3にかかる発明は、画像に対する主観評価と高精度に相関のとれた評価値を出力する。
【0021】
また、請求項4に記載の画像評価装置は、請求項1ないし3のいずれか一に記載の画像評価装置において、前記画像データ入力手段により入力される画像データの入力密度を、人間が当該画像を観察する際の網膜上の結像密度と略等しくなるように調整する入力密度調節手段を備えたことを特徴とする。すなわち、請求項4にかかる発明は、被評価画像の画像密度と網膜上の画像密度を略等しくする。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
実施の形態1.
実施の形態1では、まず、視覚系のモデルについて概説し、つぎに、画像評価装置をパーソナルコンピュータ(以降適宜PCと称する)に適用した例を説明し、つづいて実験例を、最後に処理流れについて説明する。
【0031】
(視覚系のモデルについて)
ここでは、視覚のマルチチャンネル理論と受容野について概説する。1968年にCampbellとRobsonが心理物理学的実験の結果をもとに、人間の視覚機能における空間周波数選択性を有するチャンネルの存在を結論づけて以来、この空間周波数選択性を有するチャンネルについては様々な心理物理学的研究がおこなわれてきた。
【0032】
一方、網膜神経節細胞には、略円対称の受容野をもち、受容野中心部に興奮性領域を有し周辺部に抑制領域を有するオン中心型細胞と、その逆のオフ中心型細胞が存在することが、神経生理学的、および解剖学的研究の結果明らかにされており、これらが空間周波数選択性のチャンネルの視覚系路をなしていると考えられている。
【0033】
さらに、Wilsonらは視覚の検出域のデータを基礎にして、人間におけるマルチチャンネルメカニズムの定量的モデルを構築した。Wilsonらはこれらのチャンネルに対応する4種に分類される受容野をそれぞれ二つのガウス関数の差(DOG:Difference of Gaussians)として記述し、各チャンネルが刺激を検出する確率が空間的確率加算の法則(Low ofprobability summation)に従うならば、0.25〜16.0[cycle/deg]の範囲の1次元の空間的パターンの閾検出に関する心理物理学的データを基本的に説明できることを証明した。
【0034】
すなわち、Wilsonらは、視野の各点において存在する1次元の4種類のチャンネル(マルチチャンネル)を提案した。これらは受容野の中心的領域の大きさの小さい順にN,S,T,Uと名付けられた。これらのチャンネルの大きさは偏心度、すなわち、視角で表された中心窩からの距離と共に線形に増大する。また、1次元的にはこの様な受容野を有するチャンネルは網膜に写った外界の光の強度変化の検出器の役割を担っていると考えられている。
【0035】
さらに、この定量的モデルはMarらにより2次元的に拡張、補強されている。ここで、Marは、Wilsonらのマルチチャンネル理論を2次元に展開するに当たり、受容野中心部が1個の錐体によって構成されるミジェット神経節細胞に対応する最小チャンネルの存在を予測し、計5つのチャンネルでモデルを構築した。
【0036】
Marらは、刺激の強度分布を検出する最良のフィルタはΔGフィルタであるとする。ここでΔはラプラス演算子であり、Gは標準偏差σ(但しσは各チャンネルによって固有の5つの値をとる)をもつ二次元ガウス分布である。GおよびΔGは下式(3)、(4)により表記される。
【数4】
【数5】
【0037】
以降においては、MarらによるGもしくはΔGの関数プロファイルを用いた当方性微分演算フィルタにより、マルチチャンネルモデルに裏打ちされた画像評価装置、画像評価方法およびコンピュータに画像を評価させるプログラムについて説明する。
【0038】
(画像評価装置について)
図1は、実施の形態1の画像評価装置をPCに適用した場合の機能ブロック図であり、図2は、実施の形態1の画像評価装置のハードウェア構成の一例を示した説明図である。
【0039】
PC100は、評価対象である画像の画像データを入力する画像データ入力部101と、画像データ入力部101により入力された画像データに対して使用する空間演算フィルタを選択する演算フィルタ選択部102と、画像データ入力部101により入力された画像データに対して演算フィルタ選択部102により選択された空間演算フィルタを用いて畳み込み演算をおこなう畳込演算部103と、畳込演算部103によりおこなわれた畳み込み演算の結果に基づいて評価対象の画像の品質の評価値を出力する画像品質評価部104と、を有する。なお、以降においてはPC100を画像評価装置100と称する場合がある。
【0040】
なお、画像品質評価部104では、評価すべき画像の網点面積率を取得する網点面積率取得部105からの出力値を用いて画像の品質の評価値を出力する。なお、使用の態様によっては網点面積率以外の画像の物理的属性、たとえば反射率などを用いてもよい。また、演算フィルタ選択部102が選択する演算フィルタは演算フィルタ格納部106に格納されているものとする。演算フィルタ格納部106には、空間演算フィルタ、たとえば、等方性微分演算フィルタやラプラシアンなどを格納する。以降においては、前述のΔGを用いた例を説明するが、使用の態様によっては、DOGを用いてもよい。
【0041】
PC100は、ハードウェア構成として、畳み込み演算を実行することを初めとし画像の品質の評価値を算出する演算をおこなうCPU201(図2参照)と、CPU201のワークエリアであるRAM202と、OSを含み様々なプログラムないしソフトウェアを格納し、また、評価対象の画像の画像データや、畳み込み演算をおこなう際の空間演算フィルタや演算の際の係数を格納するハードディスク203を有する。
【0042】
また、PC100は、評価すべき画像を表示するCRT204と、CRT204の出力制御をおこなうビデオカード205と、評価すべき画像を印刷するプリンタ206と、各種の指示をおこなうキーボード207およびマウス208と、プリンタ206、キーボード207およびマウス208の入出力を制御するI/F209と、評価すべき画像を読み込むスキャナ210と、以上の各部を接続するバス211を有する。
【0043】
なお、CRT204、プリンタ206は、評価すべき所定の画像を表示もしくは出力するが、これは、各種の係数決めをおこなう際もしくは回帰分析をおこなうためのサンプリングのために用いてもよい。同様に、スキャナ210は、サンプリングの際に用いるものであってもよい。換言すれば、PC100により、これらの入力機器および出力機器の評価をおこなうことができる。
【0044】
ここで、ハードディスク203の格納対象について説明する。ハードディスク203は、PC100の基本動作を制御するOS231と、畳み込み演算や各種のフィルタや係数の読み出しをおこない画像の品質の評価値を出力するプログラムである画像品質評価アプリケーション232と、を有する。
【0045】
ハードディスク203は、評価すべき画像データを格納する画像データ格納部233と、畳み込み演算をおこなう際に参照するフィルタ格納部234と、畳み込み演算をおこなう際に使用する係数や、画像の品質を評価する際に使用する係数を格納する係数格納部235と、を有する。図に示したように、画像データ格納部233には評価対象画像データ1、評価対象画像データ2、・・・が格納され、フィルタ格納部234には、微分演算フィルタ1、微分演算フィルタ2、・・・が格納され、係数格納部235には、係数1、係数2、・・・が格納されている。なお、係数には、後述するt1〜t5、A1〜A5、p1〜p9、q1〜q4等を格納する。
【0046】
つぎに、各部の内容を説明する。
(画像評価装置100:画像データ入力部101の内容)
画像データ入力部101は、評価すべき画像の画像データを入力する。画像データ入力部101は、たとえば300mm等所定の観察距離にて人間が被評価画像を観察する際の人間の網膜上の結像密度と近似的に等しい画像入力密度を有する画像を入力する。なお、予め電子的に作成された画像を入力してもよい。画像データ入力部101は、たとえば、スキャナ210やハードディスク203(特に、画像データ格納部233)によりその機能を実現することができる。なお、使用の態様によっては、マイクロ濃度計(図示せず)により実現することもできる。
【0047】
(画像評価装置100:演算フィルタ選択部102の内容)
演算フィルタ選択部102は、畳み込み演算に使用する演算フィルタを選択し、畳込演算部103に引き渡す。演算フィルタは前述したGもしくはΔG(式(3)もしくは式(4)を参照)を用いる。なお、式GもしくはΔG中のσは、各チャンネルに従って定められた定数であり、5つのチャンネルがあるとするMarのモデルの場合はσは5つあるということになる。以降においては、適宜σ1〜σ5(σ1最小、σ5最大)と表記することとする。
【0048】
従って、演算フィルタ選択部102は、評価すべき画像に応じて、すべてのσに対応したフィルタを選択する場合もあれば、一つのσ、たとえばσ2に対応したフィルタを選択する場合もある。演算フィルタ選択部102は、たとえば、ハードディスク203(特に画像品質評価アプリケーション232とフィルタ格納部234)、CPU201によりその機能を実現することができる。なお、選択される演算フィルタは演算フィルタ格納部106に格納されており、演算フィルタ格納部106は、ハードディスク203(特にフィルタ格納部234)によりその機能を実現することができる。
【0049】
(画像評価装置100:畳込演算部103の内容)
畳込演算部103は、入力された画像データに選択された演算フィルタを施し画像の品質の評価値を算出する際に使用される基礎データを出力する。すなわち、畳込演算部103は、画像データに畳み込み演算を施す。後述する例では、基礎データとして画像のテクスチャを表現する物理量を求めている。畳込演算部103は、たとえば、ハードディスク203(特に画像品質評価アプリケーション232)、CPU201、RAM202によりその機能を実現することができる。
【0050】
(画像評価装置100:画像品質評価部104)
画像品質評価部104は、畳み込み演算の結果に基づいて画像の品質の評価値を出力する。後述する例では、テクスチャ量と網点面積率を用いて、画像に対する主観評価と相関のとれた評価値を出力する。具体的には式(1)に表される評価値Dを出力する。この際使用する係数p1〜p9は、予め求めておいた係数であり、係数格納部235に格納されている。画像品質評価部104は、たとえば、ハードディスク203(特に画像品質評価アプリケーション232と係数格納部235)と、CPU201とRAM202によりその機能を実現することができる。
【0051】
(画像評価装置100:網点面積率取得部105の内容)
網点面積率取得部105は、評価すべき画像の網点面積率を入手し、適宜差の絶対値や平均値を算出し、画像品質評価部104に出力する。ここで、取得とは、画像データ入力部101から入力した画像データに基づいて網点面積率を算出する場合と、キーボード207やテンキーなどを介して数値を入力する場合の何れであってもよいことを意味する。
【0052】
また、差の値や平均値とは、たとえば、A社のプリンタとB社のプリンタを用いて同一画像を出力し、比較する場合にその網点面積率の差の値や平均値をいう。なお、網点面積率取得部105が、差の絶対値や平均値を算出してもよいし、別途画像品質評価部104が算出する態様であってもよい。網点面積率取得部105は、たとえば、ハードディスク203(特に画像品質評価アプリケーション232)や、スキャナ210、キーボード207およびCPU201によりその機能を実現することができる。
【0053】
画像評価装置であるPC100は、以上のような構成を有することにより、たとえば特定の空間周波数帯域に生じるバンディングのような画像欠陥の知覚される大きさを定量化でき、人間の視覚系の特性に基づく画像品質評価をおこなうこと、すなわち、画像に対する主観評価と相関のとれた評価値を出力することが可能となる。
【0054】
(実験例)
つぎに、画像評価装置100を適用した実験例について説明する。ここでは画像の作成、物理量の算出、主観評価実験、評価値と主観評価実験との相関の順について説明する。ここでは、簡単のために、中間調処理された画像における階調変化に伴うテクスチャ変化による画質劣化を定量化する(評価する)実験について説明する。
【0055】
(実験例:画像の作成)
実験は、テクスチャ構造を有する画像として、300dpiおよび600dpiでそれぞれ150線でスクリーン角30度の2値中間調画像の2種類を用いた。150線とは、網点が1インチの中に150個入ることを示す画像の一属性値である。図3は、実験に用いたスクリーン角30度で150線の2値中間調画像(300dpiおよび600dpi)の拡大図である。
【0056】
物理量算出および主観評価実験に用いる中間調画像データはコンピュータを用いて作成した。ここで、物理量を算出するための画像データとして均一入力値の矩形画像データを用い、主観評価に用いる画像データとして各々異なる入力値をもち、隣接する2個の矩形部分からなる画像データを用いた。図4は、物理量を算出するための画像データとして、1画素8ビットの矩形の画像で画像全域にわたって値が等しい画像の例を示した図である。
【0057】
図5は、主観評価に用いる画像データとして各々異なる入力値をもち、隣接する2個の矩形部分からなる画像の例を示した図である。図6は、図5に示した画像の拡大図である。なお、図5は見やすさの観点から、矩形部分の左側は160を、右側を128にしてある。
【0058】
これらコンピュータ上で作成された主観評価用の画像をKodak社のAPPROVALで出力した。なお、APPROVALからは図6に示したように、二値化した画像を出力した。
【0059】
(実験例:物理量の算出)
Marが提唱した視覚系のマルチチャンネル理論に基づいて、5種類のチャンネルを、画質劣化を定量化する基となる物理量の算出に用いた。Marによれば、受容野(すなわち、ある1個の神経節細胞に連結している網膜上の錐体(桿体)の集合で表される網膜上の領域)の中心部の直径は、各々、0.022°、0.073°、0.146°、0.276°、0.495°である(なお、網膜上の単位面積に結像する見込みの視野角は視距離に関係なく一定であるので、上記のごとく°で表すことができる)。
【0060】
従って、眼球光学系の接点が網膜から17mmの位置にあり、錐体の直径が2[μm]であるとすると、この見込み角度は、錐体直径のそれぞれ1.65倍、5.42倍、10.84倍、20.46倍、36.72倍に相当する。また、Marの定義によるチャンネルの数学的記述は、受容野中心からの距離をr(r=sqrt(x2+y2))とすると、上述した式(4)で与えられる。
【0061】
受容野中心部の境界においては、式(4)の左辺が0となるので(図17参照)、ここで用いる5種類のチャンネルのσの値は、錐体の直径を1coneと表すこととすると、1.166cone、3.832cone、7.665cone、14.464cone、25.962coneとなる。
【0062】
画像の観察距離を350mmとして、解像度600dpiすなわち、600分の1インチの物体の像は網膜上では0.0021mmであり、ほぼ錐体の直径と一致する。従って、600dpiの画像は近似的にそのまま網膜像として用いることが可能となる。
【0063】
このようなチャンネルで画像を畳み込むと、各々のチャンネルのスケールにおける強度変化が検出される。均一な強度(濃度)の画像に対してはその出力はすべての画素において0であるが、画像内に強度の変化があると変化に応じた正または負の値が出力される。畳み込みの一例として上述した(5)、(6)を用いて、テクスチャを表現する物理量Tを採用し、後述する評価値Dを算出することとした。
【0065】
但し、式(5)および式(6)の添字iは各チャンネルに対応しており、Gi(r)は、チャンネルiにおけるG(r)を表すものとする。Nは被演算画素数を示す。線形和Tを求める際の係数Aiは、1次元の空間周波数λの正弦波の強度分布をもつ多値画像tiを求め、様々なλに対するtiの線形和を人間の視覚系のコントラスト感度空間周波数特性(VTF:Visual Transfer Function)に対して回帰をおこなうことにより決定した。VTFに対して回帰をおこなったのは、VTFは人間の視覚特性のうち最も基本的な特性を表現する関数と考えられるからである。すなわち、Aiは、人間の視覚系の空間周波数特性に最適化された係数ということができる。
【0066】
図7は、VTFの関数形を示した説明図であり、図8は、回帰をおこなうことによって決定された係数Aiを示した図表である。図8から明らかなように、tiおよびTは画像の強度の変動量に対する増加関数となっている。また、VTFに対して回帰させたので、Aiはσiに一対一に対応する定数であり、評価する画像の種類によらず使用することができる。
【0067】
(実験例:主観評価実験)
主観的評価実験は、入力値の相異なる2個の矩形図形を隣接させたサンプル群を被験者に提示しおこなった。被験者は、知覚されるテクスチャの差異に応じて、サンプル群を5レベルに分類した。すなわち、レベル1は「はっきり差が分かる」、レベル2は「結構差が分かる」、レベル3は、「少し差があるように見える」、レベル4は「何となく差があるように見える」、レベル5は「同一に見える」として、二つの隣接した画像を評価した。図9は、実験に用いたAPPROVALからの出力例を示した図である。前述したように、主観評価実験では図に示した300dpi、150線、スクリーン角30°の二値中間調画像の何れか二つのサンプルを隣接させておこなった。
【0068】
(実験例:評価値と主観評価実験との相関)
各サンプルに対して知覚されるテクスチャの差異の大きさを式(1)で表される関数により与えられる値Dにより予測した。上述したように、ΔTは、式(6)で与えられるテクスチャの差、すなわち、隣接させた片方のサンプルについてのテクスチャ量T(テクスチャ量TLとする)と他方のサンプルについてのテクスチャ量T(テクスチャ量TRとする)との差(TL−TR)である。また、Tmeanは、Tmean=(TL+TR)/2である。なお、Tを求める際のR(x,y)としては、600dpiでスキャンした画像をそのまま用いた。
【0069】
同様に、ΔMは予め分かっているサンプルの網点面積率の差、すなわち、隣接させた片方のサンプルについての網点面積率M(面積率MLとする)と他方のサンプルについての網点面積率M(面積率MRとする)との差(ML−MR)である。また、Mmeanは、Mmean=(ML+MR)/2である。
【0070】
本願発明者は、テクスチャの量の差(ΔT)を平均テクスチャ量(Tmean)で補正した量と、画像の強度(明度)の差(ΔM)を平均強度(明度)(Mmean)で補正した量の線形和となる形で式(1)を案出した。各係数p1〜p9については、主観評価実験の結果に対して回帰をおこない決定した。図10は、最適化により求められた係数p1〜p9の値を示した図表である。
【0071】
係数p3が負であるため式(1)の第1項は平均テクスチャ量(Tmean)に対する増加関数であり、画像の強度変動が大きいほどテクスチャを知覚しやすいという現象に対応しているものと考えられる。また、明度は網点面積率に対して減少関数であるが、係数p7が負であるため第2項は平均強度(明度)に対する増加関数であり、画像が明るいほど明るさの差を知覚しやすいという現象に対応しているものと考えられる。従って、式(1)により算出される評価値Dは、実際の心理物理的現象と矛盾しない予測式ないし評価式であるといえる。
【0072】
(画像評価装置100の処理流れ)
最後に、画像評価装置100の処理流れについて説明する。図11は画像評価装置100の処理流れの一例を示したフローチャートである。画像の品質の評価をおこなうために、まず、評価すべき画像の画像データを入力する(ステップS1101)。この入力は、スキャナ210(図2参照)から入力してもよいが、電子的に作成した理想的なデータを入力してもよい。
【0073】
つぎに、ステップS1101で入力された画像データに対して使用する空間演算フィルタを選択する(ステップS1102)。空間演算フィルタは、式(4)に示したMarのモデルのような等方性微分演算フィルタが挙げられ、使用するσi(i=channel1〜channel5)の全部もしくはいくつかを選択する態様であってもよいし、また、式(4)とは異なる複数の空間演算フィルタから使用すべき空間演算フィルタを選択してもよい。
【0074】
つぎに、ステップS1101で入力された画像データに対してステップS1102で選択された空間演算フィルタを用いて畳み込み演算をおこなう(ステップS1103)。具体的な一例として、式(5)および式(6)により表される演算をおこなうことが挙げられる。つづいて、ステップS1103でおこなわれた畳み込み演算の結果に基づいてステップS1101で入力された画像データを有する画像の品質を評価する(ステップS1104)。具体的な一例として、式(1)に表される評価式に基づいて評価値Dを求めることが挙げられる。すなわち、ステップS1103で求めたテクスチャ量と、別途取得した網点面積率とに基づいて評価値Dを求める。
【0075】
以上説明した様に実施の形態1の画像評価装置は、人間の視覚系の特性に基づく画像品質評価をおこなうことができ、これにより、画像に対する主観評価と相関のとれた評価値を出力することが可能な画像評価装置を提供することができる。特に、空間演算フィルタとしてマルチチャンネルモデルに基づいた等方性微分演算フィルタΔGを用い、各チャンネルからの出力値tiに対する係数Aiも、VTFに回帰させて得た値なので、人間の視覚特性を反映させた評価値を得ることができる。
【0076】
実施の形態2.
実施の形態2では、評価値Dを補正してより評価の精度を向上させる、すなわち、人間主観評価と高精度に相関のとれた評価値を出力する画像評価装置について説明する。なお、実施の形態2では、実施の形態1と同様の構成部分については同一の符号を付し、その説明を省略するものとする。
【0077】
図12は、実施の形態2の画像評価装置をPCに適用した場合の機能ブロック図である。画像評価装置1200は、実施の形態1の画像評価装置100に、さらに、画像評価値補正部1201を含ませたものである。つぎに、画像評価値補正部1201の内容について説明する。
【0078】
(画像評価装置1200:画像評価値補正部1201の内容)
画像評価値補正部1201は、画像品質評価部104から出力された評価値Dを式(2)に基づいて画像評価値PDに補正する。本願発明者は、ロジスティック回帰をおこなうため式(2)の関数形を採用し、ロジスティック回帰をおこなって係数q1〜q4を決定した。図13は、ロジスティック回帰により求められた係数q1〜q4の値を示した図表である。
【0079】
図14は、式(2)による主観評価結果の予測精度、すなわち、補正された評価値の予測精度を示した説明図である。図に示したように、予測精度は相関係数0.901(寄与率0.811)であり、画像評価装置1200は、画像に対する主観評価と非常に高い相関のとれた評価値を出力することが可能であることが分かった。画像評価値補正部1201は、たとえば、ハードディスク203(特に画像品質評価アプリケーション232、係数格納部235)、CPU201およびRAM202によりその機能を実現することができる。
【0080】
(画像評価装置1200の処理流れ)
最後に、画像評価装置100の処理流れについて説明する。図15は画像評価装置1200の処理流れの一例を示したフローチャートである。画像の品質の評価をおこなうために、まず、評価すべき画像の画像データを入力する(ステップS1501)。この入力は、スキャナ210(図2参照)から入力してもよいが、電子的に作成した理想的なデータを入力してもよい。
【0081】
つぎに、ステップS1501で入力された画像データに対して使用する空間演算フィルタを選択する(ステップS1502)。空間演算フィルタは、式(4)に示したMarのモデルのように等方性微分演算フィルタが挙げられ、使用するσi(i=channel1〜channel5)の全部もしくはいくつかを選択する態様であってもよいし、また、式(4)とは異なる複数の空間演算フィルタから使用すべき空間演算フィルタを選択してもよい。
【0082】
つぎに、ステップS1501で入力された画像データに対してステップS1502で選択された空間演算フィルタを用いて畳み込み演算をおこなう(ステップS1503)。具体的な一例として、式(5)および式(6)により表される演算をおこなうことが挙げられる。つづいて、ステップS1503でおこなわれた畳み込み演算の結果に基づいてステップS1501で入力された画像データを有する画像の品質を評価する(ステップS1504)。具体的な一例として、式(1)に表される評価式に基づいて評価値Dを求めることが挙げられる。すなわち、ステップS1503で求めたテクスチャ量と、別途取得した網点面積率とに基づいて評価値Dを求める。
【0083】
画像評価装置1200は、ステップS1504で算出された評価値Dを式(2)に基づいて評価値PDに補正する(ステップS1505)。補正する際の係数q1〜q4は係数格納部235に格納しておく。
【0084】
以上説明したように、実施の形態2の画像評価装置は、画像に対する主観評価と高精度に相関のとれた評価値を出力することが可能となる。たとえば、従来では人間には差が知覚されるが評価値ではうまく差が表れないような、テクスチャのみによるエッジの検出を相関よく評価することが可能となる。
【0085】
実施の形態3.
実施の形態3では、入力される画像データの密度を調節する画像評価装置について説明する。なお、実施の形態3では、実施の形態1と同様の構成部分については同一の符合を付し、その説明を省略するものとする。
【0086】
図16は、実施の形態3の画像評価装置をPCに適用した場合の機能ブロック図である。画像評価装置1600は、実施の形態1の画像評価装置100に、さらに、入力密度調節部1601を含ませたものである。つぎに、入力密度調節部1601の内容について説明する。
【0087】
(画像評価装置1600:入力密度調節部1601の内容)
入力密度調節部1601は、画像データ入力部101により入力される画像データの入力密度を、人間が当該画像を観察する際の網膜上の結像密度と略等しくなるように調節する。調節は以下の方法によりおこなう。まず、人間が被評価画像を観察する際の観察距離を入力する。この入力された観察距離から、人間が被評価画像を観察する際の網膜上の結像密度を演算する。つぎに、演算された網膜上の結像密度と近似的に等しくなるように、画像入力密度を調節する。
【0088】
たとえば、人間が被評価画像を観察する際の観察距離をD[mm]とすると、人間の眼球光学系の接点は通常網膜から17[mm]離れた位置にあり、且つ、網膜上錐体の直径は略0.002[mm]であるといわれているので、錐体1個に結像する物体の直径I[mm]は、I=D・0.002/17で表される。従って、入力密度調節部1601は、画像入力密度が1画素当たりI[mm]となるように調整する。
【0089】
この様に、入力密度を調整することにより、実際の人間の視覚系の特性に基づく画像品質評価をおこなうことが可能となる。すなわち、被評価画像を人間が観察する際の観察距離が異なると、網膜上の結像密度も異なってしまうが、入力密度調節部1601は、様々な相異なる観察距離にて人間が被評価画像を観察する場合に対応でき、相関の高い評価値を出力することが可能となる。なお、仕様の態様によっては、各σを同一比をもって拡大もしくは縮小調節してもよい。
【0090】
以上説明したように、本発明は、心理物理的側面、神経生理学的側面、解剖学的側面からもその存在が確実視されている視覚系のチャンネルについてのモデルを用いている。これにより、実在する視覚メカニズムに基づく演繹法的手法を画質評価に導入することができ、画像に対する主観評価と相関のとれた評価値を出力することが可能となる。すなわち、本発明により、本質的に網膜上の強度変化を検出する機構であるチャネルを用いて、粒状性、鮮鋭性、バンディングといった画像の濃度変動に起因する画質劣化の要因の定量化をおこなうことが可能となり、画像の品質の評価値として出力することが可能となった。
【0091】
また、この評価装置、評価手法を用いて、各種の画像出力機器(プリンタ、スキャナ、CRTモニタ)を評価することができる。例えば、A社とB社のプリンタが同じ2400dpiとしていても、同じ画像データからプリントアウトされた画像は微妙に感じが異なっていることがある。この場合、本発明の画像評価装置、画像評価方法を用いることにより、どちらが「よい」プリンタであるかという、人間の感覚的な尺度に沿った評価を定量的におこうことが可能となる。このような、いわば量的変数(画像データ)から質的変数(画像がよい悪いの人間の判断)を予測可能とするのは、本装置もしくは本方法が、ロジスティック回帰分析を利用しているからであるといえる。
【0092】
なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピューターやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フロッピーディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、上記記録媒体を介して、インターネット等のネットワークを介して配布することができる。
【0103】
【発明の効果】
以上説明したように、本発明の画像評価装置(請求項1)は、二つの画像を比較して同じに見えるか差があるように見えるかの主観的な評価に沿った評価を出力する画像評価装置であって、画像データ入力手段が、評価すべき二つの画像の画像データを入力し、畳込演算部が、評価すべき二つの画像の画像データに対して演算フィルタによる畳み込み演算を行い、画像のテクスチャを表現する物理量であるテクスチャ量を求め、テクスチャ量算出手段が、畳込演算部で算出された評価すべき二つの画像のテクスチャ量に基づいて、テクスチャ量の差の絶対値ΔTとテクスチャ量の平均値Tmeanとを算出し、網点面積率取得手段が、評価すべき二つの画像の網点面積率の差の絶対値ΔMと網点面積率の平均値Mmeanとを取得し、画像評価値算出手段が、テクスチャ量算出手段により算出されたテクスチャ量の差の絶対値ΔTとテクスチャ量の平均値Tmean、および、網点面積率取得手段により取得された網点面積率の差の絶対値ΔMと網点面積率の平均値Mmeanとを用いて、式(1)により画像評価値Dを算出するので、巨視的には同じ濃度である画像のテクスチャによる見え方の差を算出することができ、これにより、画像に対する主観評価と相関のとれた評価値を出力することが可能な画像評価装置を提供することができる。
【0104】
また、本発明の画像評価装置(請求項3)は、請求項1または2に記載の画像評価装置において、さらに、画像評価値補正手段が、画像評価値算出手段により算出された画像評価値Dを、式(2)に基づいて画像評価値PDに補正するので、画像に対する主観評価と高精度に相関のとれた評価値を出力することが可能な画像評価装置を提供することができる。
【0105】
また、本発明の画像評価装置(請求項4)は、請求項1ないし3のいずれか一に記載の画像評価装置において、入力密度調節手段が、画像データ入力手段により入力される画像データの入力密度を、人間が当該画像を観察する際の網膜上の結像密度と略等しくなるように調整するので、被評価画像の画像密度と網膜上の画像密度を略等しくすることができ、これにより、画像に対する主観評価と相関のとれた評価値を出力することが可能な画像評価装置を提供することができる。
【図面の簡単な説明】
【図1】実施の形態1の画像評価装置をPCに適用した場合の機能ブロック図である。
【図2】実施の形態1の画像評価装置のハードウェア構成の一例を示した説明図である。
【図3】実験に用いたスクリーン角30度で150線の2値中間調画像(300dpiおよび600dpi)の拡大図である。
【図4】物理量を算出するための画像データとして、1画素8ビットの矩形の画像で画像全域にわたって値が等しい画像の例を示した図である。
【図5】主観評価に用いる画像データとして各々異なる入力値をもち、隣接する2個の矩形部分からなる画像の例を示した図である。
【図6】図5に示した画像の拡大図である。
【図7】VTFの関数形を示した説明図である。
【図8】実施の形態1の画像評価装置に用いるテクスチャ量Tを算出する際に使用する係数であって、回帰をおこなうことによって決定された係数Aiを示した図表である。
【図9】実施の形態1で説明した主観評価実験に用いたAPPROVALからの出力例を示した図である。
【図10】実施の形態1の画像評価装置に用いる評価値Dを算出する際に使用する係数であって、最適化をすることにより求められた係数p1〜p9の値を示した図表である。
【図11】実施の形態1の画像評価装置の処理流れの一例を示したフローチャートである。
【図12】実施の形態2の画像評価装置をPCに適用した場合の機能ブロック図である。
【図13】実施の形態2の画像評価装置に用いる評価値PDを算出する際に使用する係数であって、ロジスティック回帰により求められた係数q1〜q4の値を示した図表である。
【図14】実施の形態2の画像評価装置で補正された評価値の予測精度を示した説明図である。
【図15】実施の形態2の画像評価装置の処理流れの一例を示したフローチャートである。
【図16】実施の形態3の画像評価装置をPCに適用した場合の機能ブロック図である。
【図17】チャンネルの受容野の概略形状を示した説明図であり、受容野平面上に各受光体からの出力をz軸方向にプロットしたものを水平方向から表示した図である。
【符号の説明】
100 画像評価装置
101 画像データ入力部
102 演算フィルタ選択部
103 畳込演算部
104 画像品質評価部
105 網点面積率取得部
106 演算フィルタ格納部
203 ハードディスク
206 プリンタ
210 スキャナ
232 画像品質評価アプリケーション
233 画像データ格納部
234 フィルタ格納部
235 係数格納部
1200 画像評価装置
1201 画像評価値補正部
1600 画像評価装置
1601 入力密度調節部
D 画像評価値
M 網点面積率
PD 補正後の評価値
T テクスチャ量
ΔG 等方性微分演算フィルタ
Claims (4)
- 二つの画像を比較して同じに見えるか差があるように見えるかの主観的な評価に沿った評価を出力する画像評価装置であって、
評価すべき二つの画像の画像データを入力する画像データ入力手段と、
前記評価すべき二つの画像の画像データに対して演算フィルタによる畳み込み演算を行い、画像のテクスチャを表現する物理量であるテクスチャ量を求める畳込演算部と、
前記畳込演算部で算出された前記評価すべき二つの画像のテクスチャ量に基づいて、テクスチャ量の差の絶対値ΔTとテクスチャ量の平均値Tmeanとを算出するテクスチャ量算出手段と、
前記評価すべき二つの画像の網点面積率の差の絶対値ΔMと網点面積率の平均値Mmeanとを取得する網点面積率取得手段と、
前記テクスチャ量算出手段により算出されたテクスチャ量の差の絶対値ΔTとテクスチャ量の平均値Tmean、および、前記網点面積率取得手段により取得された網点面積率の差の絶対値ΔMと網点面積率の平均値Mmeanとを用いて、下式(1)により画像評価値Dを算出する画像評価値算出手段と、
を具備したことを特徴とする画像評価装置。
- 前記画像データ入力手段により入力される画像データの入力密度を、人間が当該画像を観察する際の網膜上の結像密度と略等しくなるように調整する入力密度調節手段を備えたことを特徴とする請求項1ないし3のいずれか一に記載の画像評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001040855A JP4040259B2 (ja) | 2001-02-16 | 2001-02-16 | 画像評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001040855A JP4040259B2 (ja) | 2001-02-16 | 2001-02-16 | 画像評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002245464A JP2002245464A (ja) | 2002-08-30 |
JP4040259B2 true JP4040259B2 (ja) | 2008-01-30 |
Family
ID=18903377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001040855A Expired - Fee Related JP4040259B2 (ja) | 2001-02-16 | 2001-02-16 | 画像評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4040259B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637301A (zh) * | 2012-03-20 | 2012-08-15 | 武汉大学 | 航空摄影过程中实时自动评定影像色彩质量的方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7003161B2 (en) * | 2001-11-16 | 2006-02-21 | Mitutoyo Corporation | Systems and methods for boundary detection in images |
JP4755012B2 (ja) * | 2005-06-29 | 2011-08-24 | 株式会社エヌ・ティ・ティ・ドコモ | 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム |
EP2230627A3 (en) | 2006-04-26 | 2012-03-28 | Aware, Inc. | Fingerprint preview quality and segmentation |
JP5202190B2 (ja) * | 2008-08-28 | 2013-06-05 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
JP5202263B2 (ja) * | 2008-12-04 | 2013-06-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
US10515304B2 (en) | 2015-04-28 | 2019-12-24 | Qualcomm Incorporated | Filter specificity as training criterion for neural networks |
JP6688468B2 (ja) * | 2017-03-23 | 2020-04-28 | 京セラドキュメントソリューションズ株式会社 | ディザマトリックス生成方法、ディザマトリックス生成装置、画像処理装置及びディザマトリックス生成プログラム |
CN115697713A (zh) | 2020-06-02 | 2023-02-03 | 柯尼卡美能达株式会社 | 画质评价装置、图像形成装置以及画质评价方法 |
CN112990156B (zh) * | 2021-05-12 | 2021-08-13 | 深圳市安软科技股份有限公司 | 基于视频的最优目标捕捉方法、装置及相关设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0415882A (ja) * | 1990-05-09 | 1992-01-21 | Matsushita Electric Ind Co Ltd | 画質評価装置 |
JP3231840B2 (ja) * | 1992-06-15 | 2001-11-26 | 大日本印刷株式会社 | 画像検査装置 |
US5394483A (en) * | 1992-06-30 | 1995-02-28 | Eastman Kodak Co | Method and apparatus for determining visually perceptible differences between images |
JPH0720042A (ja) * | 1993-07-07 | 1995-01-24 | Kubota Corp | 分光分析装置 |
-
2001
- 2001-02-16 JP JP2001040855A patent/JP4040259B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637301A (zh) * | 2012-03-20 | 2012-08-15 | 武汉大学 | 航空摄影过程中实时自动评定影像色彩质量的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2002245464A (ja) | 2002-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zheng et al. | A new metric based on extended spatial frequency and its application to DWT based fusion algorithms | |
Chen et al. | A human perception inspired quality metric for image fusion based on regional information | |
Martens et al. | Image dissimilarity | |
JP4959760B2 (ja) | 画像におけるノイズ出現の評価方法 | |
EP2261853A1 (en) | Image processing apparatus, medium, and method | |
US6813389B1 (en) | Digital image processing method and system including noise reduction and tone scale adjustments | |
EP2179396B1 (en) | Toner-based noise reduction in electrostatography | |
Zhu et al. | A no-reference objective image quality metric based on perceptually weighted local noise | |
JP4040259B2 (ja) | 画像評価装置 | |
US20150244946A1 (en) | Method and systems for thermal image / video measurements and processing | |
EP2462558B1 (en) | Image processing apparatus, image processing method, and computer program | |
KR20120081018A (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
JP5675253B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6369019B2 (ja) | 画像評価装置および画像評価プログラム | |
JPH1139486A (ja) | 画像の画質評価方法 | |
Renuka et al. | An objective measure for assessing the quality of contrast enhancement on magnetic resonance images | |
JP4234358B2 (ja) | ノイズ出現の評価を利用して画像処理経路を選択するシステムおよび方法 | |
CN108288267B (zh) | 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 | |
Liu et al. | Wavelet-based figure of merit for macro-uniformity | |
Yi et al. | Quality evaluation metric for greyscale error diffusion halftone images based on texture and visual characteristics | |
EP1411472A2 (en) | Gradation conversion of an image | |
JP2000188647A (ja) | 画像評価方法および画像評価装置 | |
Jigo et al. | How voluntary and involuntary attention differentially shape spatial resolution | |
Kayargadde | Feature extraction for image quality prediction | |
JP2638921B2 (ja) | 画像評価装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |