WO2013161111A1

WO2013161111A1 - 画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム

Info

Publication number: WO2013161111A1
Application number: PCT/JP2012/079702
Authority: WO
Inventors: 廣美平野
Original assignee: 楽天株式会社
Priority date: 2012-04-25
Filing date: 2012-11-15
Publication date: 2013-10-31
Also published as: ES2575009T3; US9330447B2; US20140301640A1; EP2765555A4; EP2765555B1; EP2765555A1

Abstract

　画像の粗度を適切に評価する画像評価装置（１０１）を提供する。ぼかし部（１０２）は、第１画像aをぼかした第２画像bを生成する。相違部（１０３）は、第１画像aと第２画像bとの相違を表す第３画像cを生成する。第３画像cの各画素の画素値は、第１画像aおよび第２画像bにおける同じ位置の画素の画素値の相違を表す。走査部（１０４）は、第３画像cに含まれる各画素を走査して、隣接する画素の画素値の相違を求め、当該相違ごとの出現確率を求める。計算部（１０５）は、求められた相違ごとの出現確率からエントロピーを計算する。出力部（１０６）は、第１画像aの粗度の評価値として、エントロピーを出力する。

Description

画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム

　本発明は、画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラムに関し、画像の粗度（roughness）を適切に評価するものである。

　従来から、画像評価を行う技術が提案されている。たとえば、特許文献１には、原画像に画像処理を施した評価対象画像の評価を、エントロピーを利用して客観的に行う技術が提案されている。この技術では、評価対象画像のほか、対比用画像として、画像処理を施す前の原画像が必要とされる。

　このほか、非特許文献１には、長方形画像の画素をすべて通過しつつ、経路中で近傍にある画素は、長方形画像内でも近傍にあるような条件を満たす擬似ヒルベルト走査についても研究が進められており、画像圧縮などでの応用が進められている。

特開平１０－２００８９３号公報

Jian Zhang，Sei-ichiro Kamata and Yoshifumi Ueshige， A Pseudo-hilbert Scan Algorithm for Arbitrarily-Sized Rectangle Region, ADVANCES IN MACHINE VISION，IMAGE PROCESSING，AND PATTERN ANALYSIS, Lecture Notes in Computer Science，Volume 4153/2006，290-299, DOI: 10.1007/11821045_31,２００６年

　しかしながら、評価対象画像を、別途用意された他の対比用画像と比較せずに、当該評価対象画像のみを参照して、客観的な評価をしたい、という要望は強い。

　この評価において、画像の粗度を画像のサイズを意識することなく求めたい、という、さらなる要望もある。

　本発明は、上記のような課題を解決するもので、画像の粗度を適切に評価する画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラムを提供することを目的とする。

　本発明の第１の観点に係る画像評価装置は、
　第１画像をぼかした第２画像を生成するぼかし部、
　前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違部、
　前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査部、
　前記求められた相違ごとの出現確率からエントロピーを計算する計算部、
　前記第１画像の粗度の評価値として、前記エントロピーを出力する出力部
　を備えるように構成する。

　また、本発明の画像評価装置において、
　前記走査部は、前記第３画像に含まれる各画素を、左から右へ、上から下へ、走査する
　ように構成することができる。

　また、本発明の画像評価装置において、
　前記走査部は、前記第３画像に含まれる各画素を、空間充填曲線に沿って走査する
　ように構成することができる。

　また、本発明の画像評価装置において、
　前記第３画像に含まれる各画素の画素値は、所定の色空間における前記第１画像の当該各画素の位置における画素値と、前記第２画像の当該各画素の位置における画素値と、の距離である
　ように構成することができる。

　また、本発明の画像評価装置において、
　前記隣接する画素の画素値の相違は、所定の色空間における当該隣接する画素の画素値の距離である
　ように構成することができる。

　本発明の第２の観点に係る画像選択装置は、
　１つの対象を描写した複数の画像を受け付ける受付部、
　前記受け付けられた複数の画像のそれぞれの粗度の評価値を、上記の画像評価装置により、取得する取得部、
　前記取得された粗度の評価値により、前記受け付けられた複数の画像から、最も粗度が低い画像を選択する選択部
　を備えるように構成する。

　本発明の第３の観点に係る画像評価方法は、
　ぼかし部、相違部、走査部、計算部、出力部を有する画像評価装置が実行し、
　前記ぼかし部が、第１画像をぼかした第２画像を生成するぼかし工程、
　前記相違部が、前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違工程、
　前記走査部が、前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査工程、
　前記計算部が、前記求められた相違ごとの出現確率からエントロピーを計算する計算工程、
　前記出力部が、前記第１画像の粗度の評価値として、前記エントロピーを出力する出力工程
　を備えるように構成する。

　本発明の第４の観点に係るコンピュータ読取可能な記録媒体は、
　コンピュータを、
　第１画像をぼかした第２画像を生成するぼかし部、
　前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違部、
　前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査部、
　前記求められた相違ごとの出現確率からエントロピーを計算する計算部、
　前記第１画像の粗度の評価値として、前記エントロピーを出力する出力部
　として機能させるプログラムを記録するように構成する。

　本発明の第５の観点に係るプログラムは、コンピュータを、
　第１画像をぼかした第２画像を生成するぼかし部、
　前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違部、
　前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査部、
　前記求められた相違ごとの出現確率からエントロピーを計算する計算部、
　前記第１画像の粗度の評価値として、前記エントロピーを出力する出力部
　として機能させるように構成する。

　本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読み取り可能な非一時的（non-transitory）な記録媒体に記録することができる。また、これらの記録媒体は、コンピュータとは独立して配布・販売することができる。

　また、本発明のプログラムは、上記のような記録媒体から、ＲＡＭ（Random Access Memory）等のコンピュータによる読み書き可能な記録媒体にロードされ、一時的（temporary）に記録された上で、ＣＰＵ（Central Processing Unit）が、当該ＲＡＭ等に記録されたプログラムを読み出して解釈、実行するように構成することができる。

　さらに、本発明のプログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網等の一時的（transitory）な伝送媒体を介して配布・販売することができる。

　本発明によれば、画像の粗度を適切に評価する画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラムを提供することができる。

画素を走査する経路を説明する説明図である。画素を走査する経路を説明する説明図である。画素を走査する経路を説明する説明図である。本実施形態に係る画像評価装置の概要構成を示す説明図である。本実施形態に係る画像評価装置が実行する画像評価処理の制御の流れを示すフローチャートである。ある物体を描写する粗い画像からなる第１画像aを走査したときに得られる画素値の様子を表す説明図である。ある物体を描写する滑らかな画像からなる第１画像aを走査したときに得られる画素値の様子を表す説明図である。図４Ａに示す第１画像aに対する第２画像bを走査したときに得られる画素値の様子を表す説明図である。図４Ｂに示す第１画像aに対する第２画像bを走査したときに得られる画素値の様子を表す説明図である。図４Ａに示した第１画像aの画素値の様子、ならびに、図５Ａに示した第２画像bの画素値の様子に対応する、第３画像cの画素値の様子を表す説明図である。図４Ｂに示した第１画像aの画素値の様子、ならびに、図５Ｂに示した第２画像bの画素値の様子に対応する、第３画像cの画素値の様子を表す説明図である。本実施形態に係る画像選択装置の概要構成を示す説明図である。当該画像選択装置が実行する画像選択方法の処理の流れを示すフローチャートである。

　以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

　本発明に係る画像評価装置は、サーバ用コンピュータやパーソナルコンピュータ等、各種のコンピュータにおいて、所定のプログラムを実行することにより実現することができる。

　ここで、コンピュータとは、ＣＰＵがプログラムを実行することによって、ＲＡＭを一時的な記憶域や処理の結果の出力先として利用し、キーボードやマウス等の入力装置によりユーザからの指示を受け付けたり、ディスプレイ等の出力装置に処理の結果を出力したり、ＮＩＣ（Network Interface Card）を介して他の機器と通信することにより上記の入出力を行ったりするハードウェアであり、入出力用の機器は、適宜省略することも可能である。

　コンピュータのハードディスク等には、ＣＰＵが実行するプログラムのほか、ＣＰＵによる処理の対象となる画像が記録される。多くの場合、画像は、撮影者、撮影日時、撮影場所、撮影対象の情報とともに、ファイルシステムや各種のデータベースによって管理される。

　なお、専用の接続線や通信回線、インターネットなどのコンピュータ通信網を介して接続された複数のコンピュータが、上記の処理を並列、分散、並行して実行することにより、本発明に係る画像評価装置の処理の高速化を図ることも可能である。

　このほか、ＦＰＧＡ（Field Programmable Gate Array）等の技術を応用することにより、プログラムから電子回路の設計を作成し、当該設計に基づいて、専用の電子回路を構成することによって、本発明の画像評価装置を実現することも可能である。

　（評価の対象となる画像）
　本実施形態では、画像の粗度を評価する。評価の対象となる画像は、ディジタルカメラで現実の物体を撮影した結果や、フィルムや紙などをスキャナでスキャンした結果得られるもので、ディジタル処理が可能な画像である。

　以下では、理解を容易にするため、画像aは、長方形の形状をしており、幅a.Wドット、高さa.Hドットであり、a.W×a.H個の画素の集合として表現されているものとする。各画素の位置を、左上から順に、以下のように参照することとする。すなわち、左から右への横軸により、画素位置を表す座標の第１要素が定められ、上から下への縦軸により、当該座標の第２要素が定められる。

　　(0,0)，(1,0)，(2,0)，...，(a.W-1,0),

　　(0,1)，(1,1)，(2,1)，...，(a.W-1,1),

　　(0,2)，(1,2)，(2,2)，...，(a.W-1,2),

　　...,

　　(0,a.H-2)，(1,a.H-2)，(2,a.H-2)，...，(a.W-1,a.H-2),

　　(0,a.H-1)，(1,a.H-1)，(2,a.H-1)，...，(a.W-1,a.H-1)

　さらに、画像aに含まれる座標(x,y)における画素の画素値をa[x,y]と表記するものとする。

　各画素値は、モノクロ画像ではスカラー値、カラー画像では、赤、緑、青の３次元ベクトルにより表現される。本実施形態では、ディジタル表現を利用するが、たとえば、８ビットモノクロ画像では、画素値は、０から２５５までの整数値をとり、２４ビットカラー画像では、赤、緑、青の３つの画素値のそれぞれが、０から２５５までの整数値をとる。

　２つの画素値同士の距離は、モノクロ画像では、画素値のスカラー値の差の絶対値を採用することができる。カラー画像では、画素値のベクトルの距離（赤、緑、青の各要素の差の自乗和の平方根）、自乗距離（赤、緑、青の各要素の差の自乗和）、マンハッタン距離（赤、緑、青の差の絶対値の総和）などを採用することができる。

　また、カラー画像に含まれる２つの画素の画素値の距離としてカラー画像をモノクロ化した画像を利用する手法もある。すなわち、２つのカラー画素をモノクロ化した２つのモノクロ画素の画素値（スカラー値）の差の絶対値を、当該２つのカラー画素の画素値の距離として採用するのである。

　以下、２つの画素値p，qの距離を、|p-q|と表記することとする。

　本実施形態では、画像に含まれる各画素を走査する。すなわち、画像に含まれる画素を一列に並べる処理が実行される。

　上記のように、画像aの画素は全部でa.W×a.H個ある。そこで、画素を一列に並べたときの、i (i = 0，1，2，...，a.W×a.H-1)番目の画素の座標を、以下のような種々の走査の手法によって求めることとする。

　図１Ａ、図１Ｂ、図１Ｃは、画素を走査する経路を説明する説明図である。以下、これらの図を参照して説明する。これらの図では、８×８個の画素からなる画像１１を、経路１２ａ、１２ｂ、１２ｃによって走査している。

　第１の手法は、画像aのi番目の画素の座標を、(i mod a.W，i div a.W)とするものである。ここで、x div yは整数除算（xをyで割り算した結果）を意味し、x mod yは整数除算における剰余（xをyで割り算した余り）を意味する。図１Ａに示すように、この手法では、画像１１の各画素を、経路１２ａに沿って走査する。すなわち、まず、左端から右端へ水平に走査を実行し、右端に到達したら、１ドット下へ垂直に移動して、左端から右端へ水平に走査を実行することを繰り返す。

　第２の手法は、画像aのi番目の画素の座標を、
　　（ａ）i div (a.W×2)が偶数であれば、(i mod a.W，i div a.W)とし、
　　（ｂ）i div (a.W×2)が奇数であれば、(a.W - (i mod a.W) - 1，i div a.W)とする。

　図１Ｂに示すように、この手法では、画像１１の各画素を、経路１２ａに沿って走査する。すなわち、まず、左端から右端へ水平に走査を実行し、右端に到達したら、１ドット下へ垂直に移動して、右端から左端へ水平に走査を実行し、左端に到達したら、１ドット下へ垂直に移動して、左端から右端へ水平に走査を実行することを繰り返す。

　第３の手法は、非特許文献１に開示されるような擬似ヒルベルト走査を用いる手法である。上記第２の手法においては、画像内において上下に隣り合う画素は、走査の際に離間してしまうが、本手法では、図１Ｃに示すように、画像１１に含まれる画素は、左右に隣り合っていたり、上下に隣り合っていたりすると、走査の経路１２ｃ内において近接する度合ならびに頻度が、図１Ｂの場合よりも多くなる。

　以下では、理解を容易にするため、画像１１の走査における経路１２中でのi番目の画素の画素値をa(i)と表記することとする。

　走査によって得られる画素値の列a(0)，a(1)，a(2)，...，a(a.W×a.H-1)は、以下の画素値

　　a[0,0]，a[1,0]，a[2,0]，...，a[a.W-1,0],

　　a[0,1]，a[1,1]，a[2,1]，...，a[a.W-1,1],

　　a[0,2]，a[1,2]，a[2,2]，...，a[a.W-1,2],

　　...,

　　a[0,a.H-2]，a[1,a.H-2]，a[2,a.H-2]，...，a[a.W-1,a.H-2],

　　a[0,a.H-1]，a[1,a.H-1]，a[2,a.H-1]，...，a[a.W-1,a.H-1]
の順序を入れ換えたものに相当する。

　（画像評価装置）
　図２は、本実施形態に係る画像評価装置の概要構成を示す説明図であり、図３は、画像評価装置が実行する画像評価処理の制御の流れを示すフローチャートである。以下、これらの図を参照して説明する。

　本実施形態に係る画像評価装置１０１は、図２に示す通り、ぼかし部１０２、相違部１０３、走査部１０４、計算部１０５、出力部１０６を備える。これら各部の機能は、所定のプログラムをコンピュータが実行することによって実現される。

　以下、画像評価装置１０１は、第１画像aを評価の対象とすることを想定して説明する。また、上記の種々の走査経路のうち、いずれか一つを選択して、処理の対象となる全画像について適用するものとする。

　ここで、第１画像aならびに後述する処理の対象となる全画像の情報は、ハードディスクなどの記録媒体に記録したり、コンピュータ通信網を介して送受、配信したり、ＲＡＭ等の一時的な記憶領域に格納することで、各種の処理が進められる。

　まず、画像評価装置１０１において、ぼかし部１０２は、第１画像aをぼかした第２画像bを生成する（ステップＳ３０１）。ここで、ぼかし（blur）処理は、いわゆる平滑化フィルタを画像に施すことにより実現することができる。

　なお、第１画像aと第２画像bの縦横サイズは同じである。すなわち、
　　a.W = b.W，a.H = b.H
が成立する。

　さて、第１画像aの各画素の平滑化の単純な手法は、上記の走査を利用すれば、以下のように行うことが可能である。たとえば、
　　b(i) ← 〔a(i)+a(i+1)〕/2,　(i = 0，1，...，a.W×a.H-2)；
　　b(i) ←　 a(i),　　　　　　 (i = a.W×a.H-1)
とする手法では、隣りの画素との平均をとることにより、平滑化する。ここで、「←」は代入を意味する。

　このほか、所定の正定数Bを用いて、
　　b(i) ←　 a(i),　　　　　　　　　　　　　 (i = 0)；
　　b(i) ← 〔a(i-1)+B×a(i)+a(i+1)〕/(B+2),　(i = 1，2，...，W×a.H-2)；
　　b(i) ←　 a(i),　　　　　　　　　　　　　 (i = a.W×a.H-1)
とする手法では、経路中の前後の画素との重み付き平均をとることにより、平滑化がなされる。

　上記の走査の手法によらず、２次元的な平滑化を行うことも可能である。たとえば、整数x，yについて、
　　b[x,y] ←〔a[x-1,y]+a[x+1,y]+a[x,y-1]+a[x,y+1]+B×b[x,y]〕/(B+4),
　　　　(x = 1，2，...，a.W-2； y = 1，2，...，a.H-2)；
　　b[x,y] ←　a[x,y],　　(x=0 or x=a.W-1 or y=0 or y=a.H-1)
とする手法では、ある画素と、その上下左右の隣接画素と、の重み付き平均をとることにより、平滑化がなされる。

　このほか、種々のぼかし、平滑化のための画像フィルタを適用することにより、本ステップにおけるぼかし処理を実行することが可能である。

　なお、上記の手法では、第２画像b内の所望の位置の画素の画素値を求めるために、第１画像aにおいて、所望の位置の画素の画素値を参照するほか、所望の位置の周辺にある画素値を参照して、平均化の処理を行う。このため、所望の位置の周辺がすべて第１画像a内にある場合と、第１画像aの外側にはみ出る場合と、で、平均化の処理を変えている。

　たとえば、上記の最も単純な手法では、所望の位置の画素値と、次の位置の画素値と、の平均をとることで、ぼかしを行っている。

　したがって、所望の位置が、第２画像bの最後の画素である場合には、次の位置は、第１画像aの範囲外となる。そこで、この場合には、第１画像aの最後の位置の画素の画素値をそのまま利用している。他の２つの手法においても同様である。

　図４Ａは、この物体を描写する粗い画像からなる第１画像aを走査したときに得られる画素値の様子を表す説明図である。

　図４Ｂは、ある物体を描写する滑らかな画像からなる第１画像aを走査したときに得られる画素値の様子を表す説明図である。

　図５Ａは、図４Ａに示す第１画像aに対する第２画像bを走査したときに得られる画素値の様子を表す説明図である。

　図５Ｂは、図４Ｂに示す第１画像aに対する第２画像bを走査したときに得られる画素値の様子を表す説明図である。

　以下、これらの図を参照して説明する。

　図４Ａ、４Ｂ、５Ａ、５Ｂにおける横軸は、走査の経路における順序を、縦軸は、当該順序における画素の画素値を、それぞれ表現している。これらの図では、画素値がスカラー値である場合を示している。

　図４Ｂに示す画像では、第１画像aの画素値は、概ね滑かに変化している。

　一方、図４Ａに示す画像では、第１画像aの画素値は、概ね滑かに変化しているが、ところどころに突出したピークや陥没したボトムがある。

　これらは、画像撮影時のノイズ等に相当するものであり、このようなノイズが多ければ多いほど、粗度が高く、画像の品質は低い、と考えられる。

　図５Ａは、図４Ａに係る粗い第１画像aを平滑化した第２画像bの画素値であり、図５Ｂは、図４Ｂに係る滑らかな第１画像aを平滑化した第２画像bの画素値である。

　図５Ａ、５Ｂのそれぞれの画素値の変化は、互いに類似しているが、これはぼかしによって、ピークやボトムが緩和されているからである。

　また、図５Ａ、５Ｂのそれぞれの画素値の変化は、全体として見れば、図４Ａ、４Ｂの第１画像aにおける変化とも類似している。

　なお、画素値の加減乗除は、通常のスカラー値やベクトル値の加減乗除と同じ計算手法によるが、各要素を整数値に正規化すれば、第１画像aと第２画像bのサイズを同じ大きさにすることができる。

　次に、相違部１０３は、第１画像aと第２画像bとの相違を表す第３画像cを生成する（ステップＳ３０２）。

　第１画像aと第２画像bの相違は、画像内において同じ位置に配置されている画素値の距離により表現される。ここで、第３画像cは、第１画像a、第２画像bと、その縦横サイズは等しい。
　　a.W = b.W = c.W，a.H = b.H = c.H

　上記の経路に沿って順に画素を走査し、
　　c(i) ← |b(i)-a(i)|,　　(i = 0，1，2，...，a.W×a.H-1)
のように第３画像cの画素値を定めることとすれば、第３画像cを生成することができる。ただし、他の順序に基づいて画素を操作することとしても良い。たとえば、
　　c[x,y] ←　|b[x,y] - a[x,y]|,
　　　　(x = 0，1，...，a.W-1； y = 0，1，...，a.H-1)
のように、画像内の画素の行や列に沿って操作しても良い。

　図６Ａ、６Ｂは、図４Ａ、４Ｂに示した第１画像aの画素値の様子、ならびに、図５Ａ、５Ｂに示した第２画像bの画素値の様子に対応する、第３画像cの画素値の様子を表す説明図である。以下、本図を参照して説明する。

　図６Ｂに示す第３画像cは、滑らかな第１画像aから生成されたもので、ノイズに相当するピーク部分やボトム部分はほとんど現れず、画素値が０もしくは０に近い値となっている。

　一方、図６Ａに示す第３画像cは、粗い第１画像aから生成されたもので、ノイズに相当するピーク部分やボトム部分が突出して残存している。ただし、ノイズのない部分は、画素値が０もしくは０に近い値となっている。

　したがって、このような突出して残存している度合を評価値とするために、本発明では、エントロピーを用いるのである。

　このため、走査部１０４は、第３画像cに含まれる各画素を走査して、隣接する画素の画素値の相違の出現確率を求める（ステップＳ３０３）。

　ここでも、上記と同様に、画素の行や列に沿っても良いし、以下のように、経路に沿って順に画素を走査することとしても良い。画素値の相違の出現確率を求めるには、まず、各画素値の頻度を求める必要がある。この頻度を記憶するための、配列tを用意する。配列tは、一次元配列、もしくは、連想配列とすることができる。以下、配列tの各要素には、t[x]のようにアクセスするものとする。

　ここで、配列tとして通常の一次元配列を採用する場合、その要素数は、画素値の距離としてありうる最大値DMAXに１を加算した値を採用すれば良い。

　たとえば、第１画像a、第２画像bが８ビット表現モノクロ画像である場合、各画素値も、０～２５５のいずれかの値をとる。そこで、距離として画素値の差の絶対値を採用した場合には、第３画像cの各要素も０～２５５の値をとるから、８ビット表現モノクロ画像とすることができ、DMAX = 255である。

　第１画像a、第２画像bが２４ビット表現のカラー画像であり、距離として画素値の各要素の差の自乗和を採用した場合には、DMAX = 255×255×3 = 195075となる。

　なお、頻度を求めるためには、配列tの各要素の初期値として、０を設定する必要がある。したがって、配列tとして一次元配列を採用する場合には、頻度を数える前に、
　　t[d] ← 0,　　(d = 0，1，...，DMAX)
を実行する必要がある。

　このほか、配列tを、ハッシュなどを利用した連想配列としても良い。画素値の差は、ほとんどが０に極めて近いから、ハッシュ等を利用することで、効率よくメモリを利用することができる。この場合は、配列tの各要素のデフォルト値が０である、という設定を実行すれば良い。

　ここで、配列tの各要素t[x]は、画素値の距離の最大値を格納できる必要がある。

　８ビット表現のモノクロ画像を第１画像aとして採用した場合、第１画像a、第２画像b、第３画像cの各画素値は、０～２５５の間の整数値で表現できる。したがって、これらを表現する配列の各要素には、１バイトの領域を確保すれば良い。

　一方、画像サイズとしては、さまざまな大きさがありうるが、広く利用されている画像サイズは、幅、高さとも、２バイト整数で表現できる。したがって、配列tの各要素には、４バイトの領域を確保すれば良いことになる。

　さて、頻度を求めるための最も単純な手法は、以下のように、経路に沿って数え上げを行うことである。
　　t[c(i)] ← t[c(i)] + 1,　　(i = 0，1，…，a.W×a.H-1)

　なお、第３画像cは、経路に沿って走査した場合には１次元配列として見ることができるし、通常の画像表現として見た場合には２次元配列に相当する。したがって、配列の各要素の値の分布を並行・並列に数え上げるための種々の技術を適用することも可能である。

　さて、配列tの各要素t[d]に画素値の相違がdである画素の頻度が得られたら、相違dの出現確率p(d)は、
　　p(d) = t[d]/(a.W×a.H)
と計算することができる。

　そこで、計算部１０５は、各相違dに対して求められた相違ごとの出現確率p(d)からエントロピーEを計算する（ステップＳ３０４）。

　ここで、第３画像cの画素値（第１画像aと第２画像bの画素値の相違）として出現した整数値の集合を、keys(t)と表記するものとする。すなわち、d∈keys(t)であるならば、t[d]>0であり、d∈keys(t)でないならば、t[d]=0である。
　　keys(t) = ｛d | d∈｛0，1，...，DMAX｝，t[d]>0｝

　すると、エントロピーEは、以下のように計算することができる。
　　E = - Σ_d∈keys(t) p(d)×log〔p(d)〕

　ステップＳ３０１～Ｓ３０３で用いられる演算は、すべて整数による演算で可能であったが、エントロピーの計算の際には、log〔・〕の計算に自然対数もしくは常用対数を採用するため、浮動小数点演算もしくは固定小数点演算を採用することになる。

　最後に、出力部１０６は、第１画像aの粗度の評価値として、エントロピーEを出力する（ステップＳ３０５）。

　上記のように、第１画像aが粗い場合には、画素値にピークやボトムが出現するため、第３画像cにおいても、非零の画素値が多数、様々な値で出現する。このため、上記のように計算されるエントロピーEは高くなる。したがって、エントロピーEを、画像の粗度の指標として利用することができる。

　特許文献１では、評価対象の画像と原画像を対比して、評価対象の画像の粗度を求めている。一方、本手法では、評価対象の第１画像aのみから、第１画像aの粗度を求めている。

　すなわち、本手法では、基準とすべき原画像が存在しないような場合であっても、適切に評価対象の画像の粗度を計算することができるのである。

　なお、上記の手法は、画像に描画されている物体の輪郭を抽出する手法とほぼ同様であるため、第１画像aに撮影されている物体の形状が複雑であれば、計算されるエントロピーも高くなる。

　しかしながら、同じ物体を撮影した２つの画像の粗度を比較する場合には、物体の形状の複雑度に由来するエントロピー成分は、ほぼ同程度となる。

　また、画像のピクセル数が異なる場合であっても、画像内で物体が占める面積の割合が同程度であれば、当該物体が画像に描画されていることに由来するエントロピー成分は、同程度となる。

　したがって、２つの画像から得られたエントロピーをそのまま比較することで、２つの画像の粗度を簡易に比較することができるのである。

　なお、上記実施形態では、第１画像aから、第１画像aをぼかした第２画像b、第１画像aと第２画像bの相違を表す第３画像cを順次生成してから、第３画像cの各画素値の出現頻度を数え上げている。したがって、画像のぼかしや差分を求めるマルチメディア演算ハードウェアを有するCPUやコプロセッサを利用すれば、高速な計算が可能となる。

　一方、画素値c(i)は、b(i)とa(i)の距離であり、b(i)は、第１画像aのi番目の画素の近傍の画素の画素値から求めることができる。したがって、各c(i)を第１画像aの必要な画素の画素値から直接求め、求められた値によって配列tを更新することとすれば、第２画像b、第３画像cを記憶するための画像の記憶領域を省略して、メモリの使用量の低減化を図ることもできる。

　なお、従来の手法においては、異なるサイズの画像の品質を比較する際に、画像サイズを揃える必要があるが、上記実施形態においては、全画素を走査する処理や画像をぼかす処理を行うことで、画像のサイズを直接扱わなくとも、画像の粗度を比較することが可能となる。

　さて、従来の２次元的ぼかしフィルタでは、所望位置の上下左右Dドットの周辺の画素、すなわち、(2×D+1)×(2×D+1)個の画素の画素値を参照して、重み付き平均をとる手法が広く利用される。このため、第２画像bの周囲の縁は、上下左右とも、Dドット分だけ、第１画像aよりも小さくなるフィルタがある。画像の周囲の縁については、平均化の計算を行う画像の領域の範囲を変化させることで、ぼかし前とぼかし後で画像の縦横サイズが変化しないフィルタもある。

　後者の２次元的ぼかしフィルタは、上記実施例でそのまま利用が可能である。一方、前者の２次元的ぼかしフィルタを上記実施例に適用する場合には、
　（ａ）ぼかし以降の処理においては、第１画像aの周囲の縁を、上下左右とも、Dドット分だけ、除去して、第２画像bと同じ大きさとする、あるいは、
　（ｂ）第２画像bの周囲の縁のDドット分の画素は、第１画像aと同じ画素値とする、
のいずれかの手法を採用すれば良い。

　上記（ａ）の手法では、周囲の縁Dドット分の画素は、第１画像aには存在するが、第２画像bには存在しない。そこで、上記（ａ）の手法は、エントロピーの計算の際に、周囲の縁を無視する。

　一方、上記（ｂ）の手法では、周囲の縁Dドット分の画素には、第１画像aと第２画像bとの間に画素値の相違はない、として取り扱うことになる。

　一般に、画像の周囲の縁は背景が表示されており、重要な情報がないことが多い。また、周囲の縁Dドット分の画素の数と、それ以外の画素の数と、では、一般に、後者の方が各段に多い。したがって、上記（ａ）（ｂ）のような手法を採用しても、画像の粗度の評価を行うための指標として十分な結果が得られる。

　上記の実施例では、第３画像における各画素の画素値は、第１画像、第２画像において同じ位置に配置される画素の画素値の相違を表すものとしていた。しかしながら、位置の対応関係は、任意に変更することが可能である。すなわち、第１画像ならびに第２画像の各位置における画素値の相違は、第３画像における同じ位置の画素によって表現することも可能であるが、必ずしも一致しなくとも良い。

　たとえば、第１画像および第２画像における各位置の画素同士の相違は、第３画像において、当該各位置の鏡像位置あるいは反転位置の画素に格納される、とすることができる。

　いずれの場合にも、第３画像における各画素の位置が与えられれば、それに対応する第１画像ならびに第２画像における画素の位置が決まる。

　したがって、一般には、第３画像における各画素の画素値は、第１画像ならびに第２画像における当該各画素に対応付けられる位置に配置される画素の画素値の相違を表すことになる。

　同じ商品を複数の商店主が出品する電子ショッピングモールでは、当該商品を撮影あるいは描写した画像が、各商店主によって用意されることが多い。

　これらの画像には、商品のメーカーがあらかじめ用意した画像、商品そのものを各商店主がディジタルカメラ等で撮影した画像、これらの画像に各商店主が宣伝文句や商店名、商店のロゴマーク、価格などの情報を付与して変更を施した画像などがある。

　一方で、電子ショッピングモールのユーザが商品を検索すると、検索結果の一覧には、商品の画像が表示されることも多い。この場合には、ある商品と、当該商品を出品している商店主と、を、まとめて一つの検索結果とし、当該商品の代表的な画像をユーザに提示したいことがある。

　上記実施例に係る画像評価の手法は、ある商品を描写する画像が複数用意されている場合に、その商品を示す代表的な画像を、適切に選択するために利用することができる。

　すなわち、画像の粗度が低い方が、ユーザにとって、商品の姿が見やすくなり、ユーザの好意を惹き起こすことができると考えられる。

　また、商店主が宣伝文句の追加などの編集をした場合には、画像の粗度が高くなる。したがって、画像の粗度が低い方が、このような編集がされていない現物に忠実な画像が得られやすいと考えられる。

　本実施形態に係る画像選択装置は、このような画像の選択を行うものである。なお、本画像選択装置は、複数の画像からいずれかを選択する場合には、どのような目的であっても適用が可能である。たとえば、ディジタルカメラのユーザが一つの物体を何回か続けて撮影した場合に、最も良い撮影結果の画像を自動選択する場合や、複数のフレーム画像が順に並べられることにより構成される動画像において、当該フレーム画像の中から、当該動画像を代表するフレーム画像を選択する場合等にも適用が可能である。

　本画像選択装置は、上記の画像評価装置１０１と同様に、コンピュータに所定のプログラムを実行させることによって実現することができるほか、ＦＰＧＡ等を利用して電子回路として実装することも可能である。

　図７は、本実施形態に係る画像選択装置の概要構成を示す説明図である。図８は、当該画像選択装置が実行する画像選択方法の処理の流れを示すフローチャートである。以下、これらの図を参照して説明する。

　図７に示すように、画像選択装置６０１は、受付部６０２、取得部６０３、選択部６０４を備える。

　所定のプログラムをコンピュータで実行することにより、画像選択装置６０１が実現される場合には、当該プログラムの起動によって、まず、受付部６０２が、１つの対象を描写した複数の画像を受け付ける（ステップＳ７０１）。

　ここで、複数の画像は、典型的にはハードディスクに記録されているが、コンピュータ通信網の中から順次取得する等の態様を採用しても良い。

　ついで、取得部６０３は、受け付けられた複数の画像のそれぞれの粗度の評価値を、上記の画像評価装置１０１により、取得する（ステップＳ７０２）。

　上記のように、上記の画像評価装置１０１では、原画像や他の画像との対比をせずに、各画像１枚ずつの粗度を独立して評価することが可能である。したがって、粗度の評価値は、並行、並列して計算することも可能である。

　最後に、選択部６０４は、取得された粗度の評価値により、受け付けられた複数の画像から、最も粗度が低い画像、すなわち、エントロピーが最も小さい画像を選択して（ステップＳ７０３）、本処理を終了する。

　上記のように、得られる粗度は、当該画像における滑らかでない部分のエントロピーである。画像にノイズが多数含まれる場合や、画像に新たな情報（たとえば、宣伝文句の文字列の画像等。）が上書きされている場合には、エントロピーが増大する。

　したがって、粗度が最低の画像を選択することにより、撮影対象を、見やすく、できるだけ忠実に描写している画像が選択されることになる。

　このように、本実施形態では、簡易な計算によって、複数の画像から、代表となる画像を適切に選択することが可能となる。

　本願においては、２０１２年４月２５日に日本国において特許出願した特願２０１２－１００２１１を基礎とする優先権を主張するものとし、指定国の法令が許す限り、当該基礎出願の内容を本願に取り込むものとする。

　　１０１　画像評価装置
　　１０２　ぼかし部
　　１０３　相違部
　　１０４　走査部
　　１０５　計算部
　　１０６　出力部
　　６０１　画像選択装置
　　６０２　受付部
　　６０３　取得部
　　６０４　選択部

Claims

　第１画像をぼかした第２画像を生成するぼかし部、
　前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違部、
　前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査部、
　前記求められた相違ごとの出現確率からエントロピーを計算する計算部、
　前記第１画像の粗度の評価値として、前記エントロピーを出力する出力部
　を備えることを特徴とする画像評価装置。
　請求項１に記載の画像評価装置であって、
　前記走査部は、前記第３画像に含まれる各画素を、左から右へ、上から下へ、走査する
　ことを特徴とする画像評価装置。
　請求項１に記載の画像評価装置であって、
　前記走査部は、前記第３画像に含まれる各画素を、空間充填曲線に沿って走査する
　ことを特徴とする画像評価装置。
　請求項１から３のいずれか１項に記載の画像評価装置であって、
　前記第３画像に含まれる各画素の画素値は、所定の色空間における前記第１画像の当該各画素の位置における画素値と、前記第２画像の当該各画素の位置における画素値と、の距離である
　ことを特徴とする画像評価装置。
　請求項１から４のいずれか１項に記載の画像評価装置であって、
　前記隣接する画素の画素値の相違は、所定の色空間における当該隣接する画素の画素値の距離である
　ことを特徴とする画像評価装置。
　１つの対象を描写した複数の画像を受け付ける受付部、
　前記受け付けられた複数の画像のそれぞれの粗度の評価値を、請求項１から５のいずれか１項に記載の画像評価装置により、取得する取得部、
　前記取得された粗度の評価値により、前記受け付けられた複数の画像から、最も粗度が低い画像を選択する選択部
　を備えることを特徴とする画像選択装置。
　ぼかし部、相違部、走査部、計算部、出力部を有する画像評価装置が実行する画像評価方法であって、
　前記ぼかし部が、第１画像をぼかした第２画像を生成するぼかし工程、
　前記相違部が、前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違工程、
　前記走査部が、前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査工程、
　前記計算部が、前記求められた相違ごとの出現確率からエントロピーを計算する計算工程、
　前記出力部が、前記第１画像の粗度の評価値として、前記エントロピーを出力する出力工程
　を備えることを特徴とする画像評価方法。
　コンピュータを、
　第１画像をぼかした第２画像を生成するぼかし部、
　前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違部、
　前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査部、
　前記求められた相違ごとの出現確率からエントロピーを計算する計算部、
　前記第１画像の粗度の評価値として、前記エントロピーを出力する出力部
　として機能させることを特徴とするプログラムを記録したコンピュータ読取可能な記録媒体。
　コンピュータを、
　第１画像をぼかした第２画像を生成するぼかし部、
　前記第１画像と前記第２画像との各画素の画素値の相違を表す第３画像を生成する相違部、
　前記第３画像に含まれる各画素を走査して、隣接する画素の画素値の相違を求め、前記求められた相違ごとの出現確率を求める走査部、
　前記求められた相違ごとの出現確率からエントロピーを計算する計算部、
　前記第１画像の粗度の評価値として、前記エントロピーを出力する出力部
　として機能させることを特徴とするプログラム。