JP3598051B2 - 画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体 - Google Patents
画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3598051B2 JP3598051B2 JP2000247213A JP2000247213A JP3598051B2 JP 3598051 B2 JP3598051 B2 JP 3598051B2 JP 2000247213 A JP2000247213 A JP 2000247213A JP 2000247213 A JP2000247213 A JP 2000247213A JP 3598051 B2 JP3598051 B2 JP 3598051B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter means
- hue
- similarity
- standard deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、比較画像の中から基準画像に類似する類似画像を検索する画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
画像の大域的（全体的）な色彩分布は、当該画像が表示するシーンや物体等により特徴的なパターンを示す。したがって、大域的な色彩分布に関する情報は、画像を構成するシーンおよび物体等を検索、分類および識別等をするための手がかりとなる。
【０００３】
このような画像の色彩分布に関する情報を利用した従来の画像符号化方法としては、ＤＣＴ（離散コサイン変換）等を用いた画像符号化方法がある。また、上記のような画像の色彩分布に関する情報を利用した従来の画像検索方法としては、テキストデータを用いずにＲＧＢ（レッド・グリーン・ブルー）やＨＳＶ（色相・彩度・輝度）等の色空間内で各画像の色情報のヒストグラムを利用し、基準画像に類似する類似画像を検索する手法が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、ＤＣＴ等を用いた画像符号化方法は、信号処理的な観点から画像データを圧縮符号化するものであり、人の視覚特性のうち空間周波数感度のみが考慮され、それ以外が考慮されていないため、人が見るという観点からみると、十分な情報圧縮が行われているとはいえない。
【０００５】
また、上記のＲＧＢおよびＨＳＶ等の色空間に基づく画像検索方法では、信号処理的な観点から見た類似度により基準画像に類似する類似画像を検索しているため、実際に画像を見たときの人間の視覚的な印象とは異なる場合が多い。このため、検索された画像が人の視覚的印象から判断して必ずしも類似しているとはいえない場合があり、人の視覚特性に基づいて基準画像に類似する類似画像を抽出することができない。
【０００７】
本発明の目的は、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体を提供することである。
【００２１】
（１）第１の発明
第１の発明に係る画像検索装置は、比較画像の中から基準画像に類似する類似画像を検索する画像検索装置であって、互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段と、基準画像に対する色相フィルタ手段の各出力の平均値および標準偏差と比較画像に対する色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出する類似度算出手段と、類似度算出手段により算出された類似度に基づき比較画像の中から類似画像を抽出する抽出手段とを備えたものである。
【００２２】
本発明に係る画像検索装置においては、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを基に基準画像に対する比較画像の類似度が算出され、算出された類似度に基づき比較画像の中から類似画像が抽出される。
【００２３】
ここで、色相フィルタ手段は、少なくとも５個設けられ、互いに異なる色相に選択的に反応することができるので、この色相フィルタ手段を通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができる。したがって、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを用いることにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができる。この結果、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
【００２５】
この場合、基準画像と比較画像との色相フィルタ手段の各出力の平均値および標準偏差の差を加算した値を類似度として算出することができるので、人の視覚特性に基づく色彩的な類似度を算出することができ、より高効率に類似する類似画像を抽出することができる。
【００２６】
（２）第２の発明
第２の発明に係る画像検索装置は、第１の発明に係る画像検索装置の構成において、類似度算出手段は、基準画像の輝度の平均値および／または標準偏差と比較画像の輝度の平均値および／または標準偏差との差をさらに類似度に加算して基準画像に対する比較画像の類似度を算出するものである。
【００２７】
この場合、基準画像と比較画像との輝度の平均値および／または標準偏差の差を含めた類似度を算出することができるので、人の視覚特性に基づく色彩的な類似度のみならず、輝度の類似度を含めて画像の類似度を算出することができ、より高精度に類似する類似画像を抽出することができる。
【００２８】
（３）第３の発明
第３の発明に係る画像検索装置は、第１または第２の発明に係る画像検索装置の構成において、色相フィルタ手段は、Ｌ−Ｍ軸とＳ軸とからなる色空間におけるＬ−Ｍ軸と色度点とがなす角度を色相とするものである。
【００２９】
この場合、Ｌ−Ｍ軸とＳ軸とからなる色空間におけるＬ−Ｍ軸と色度点とがなす角度が、色相フィルタ手段の色相となるので、人間の網膜の錐体応答の線型和で定義されるＬ−Ｍ軸およびＳ軸からなる色空間を用いて定義された色相に対する応答出力を得ることができ、より人の視覚特性に適合した応答出力を用いて類似度を算出することができる。
【００３０】
（４）第４の発明
第４の発明に係る画像検索装置は、第３の発明に係る画像検索装置の構成において、色相フィルタ手段は、選択的に反応する色相の範囲を４５度ずつずらせた８個の色相フィルタ手段を含むものである。
【００３１】
この場合、選択的に反応する色相の範囲を４５度ずつずらせた８個の色相フィルタ手段を用いているので、より人間の視覚特性に適合した色相フィルタ手段を用いることができ、人の視覚特性により適合した画像検索を行うことができる。
【００３２】
（５）第５の発明
第５の発明に係る画像検索方法は、比較画像の中から基準画像に類似する類似画像を検索する画像検索方法であって、基準画像の各データを互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段の各々に入力し、基準画像に対する色相フィルタ手段の出力を得るステップと、比較画像の各データを色相フィルタ手段の各々に入力し、比較画像に対する色相フィルタ手段の出力を得るステップと、基準画像に対する色相フィルタ手段の各出力の平均値および標準偏差と比較画像に対する色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出するステップと、算出された類似度に基づき比較画像の中から類似画像を抽出するステップとを含むものである。
【００３３】
本発明に係る画像検索方法においては、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを基に基準画像に対する比較画像の類似度が算出され、算出された類似度に基づき比較画像の中から類似画像が抽出される。
【００３４】
ここで、色相フィルタ手段は、少なくとも５個設けられ、互いに異なる色相に選択的に反応することができるので、この色相フィルタ手段を通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができる。したがって、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを用いることにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができる。この結果、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
この場合、基準画像と比較画像との色相フィルタ手段の各出力の平均値および標準偏差の差を加算した値を類似度として算出することができるので、人の視覚特性に基づく色彩的な類似度を算出することができ、より高効率に類似する類似画像を抽出することができる。
【００３５】
（６）第６の発明
第６の発明に係る画像検索処理プログラムを記録した記録媒体は、比較画像の中から基準画像に類似する類似画像を検索する画像検索処理を演算処理装置に実行させる画像検索処理プログラムを記録した記録媒体であって、画像検索処理プログラムは、基準画像の各データを互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段の各々に入力し、基準画像に対する色相フィルタ手段の出力を得る処理と、比較画像の各データを色相フィルタ手段の各々に入力し、比較画像に対する色相フィルタ手段の出力を得る処理と、基準画像に対する色相フィルタ手段の各出力の平均値および標準偏差と比較画像に対する色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出する処理と、算出された類似度に基づき比較画像の中から類似画像を抽出する処理とを演算処理装置に実行させるものである。
【００３６】
本発明に係る画像検索処理プログラムを記録した記録媒体によれば、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを基に基準画像に対する比較画像の類似度が算出され、算出された類似度に基づき比較画像の中から類似画像が抽出される。
【００３７】
ここで、色相フィルタ手段は、少なくとも５個設けられ、互いに異なる色相に選択的に反応することができるので、この色相フィルタ手段を通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができる。したがって、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを用いることにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができる。この結果、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
この場合、基準画像と比較画像との色相フィルタ手段の各出力の平均値および標準偏差の差を加算した値を類似度として算出することができるので、人の視覚特性に基づく色彩的な類似度を算出することができ、より高効率に類似する類似画像を抽出することができる。
【００３８】
【発明の実施の形態】
以下、本発明の一実施の形態による画像検索装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による画像検索装置の構成を示すブロック図である。
【００３９】
図１において、画像検索装置は、入力部１、制御部２、記憶部３、類似度算出部４および表示部５を備える。
【００４０】
入力部１は、ユーザが種々の入力を行うために用いられ、例えば、ユーザは、入力部１を用いて、画像検索を行う場合の基準となる基準画像を選択したり、基準画像に類似する類似画像を検索する検索指令を入力したり、検索結果として基準画像に類似する類似画像を一覧表示するための検索結果指令を入力したりする。
【００４１】
制御部２は、入力部１を介して入力された種々の指令に応じて、記憶部３、類似度算出部４および表示部５の動作を制御する。例えば、入力部１から基準画像を指定するデータが入力された場合、制御部２は、当該データに対応する画像を基準画像として記憶部３に記憶させる。また、入力部１から類似画像の検索指令が入力された場合、制御部２は、記憶部３に記憶されている基準画像および比較画像を順次類似度算出部４へ出力し、類似度算出部４により算出された各画像の類似度を記憶部３に記憶させ、記憶部３に記憶されている各画像の類似度を基に基準画像に類似する類似画像を表示部５で表示するためのデータを表示部５へ出力する。
【００４２】
記憶部３は、複数の画像を予め記憶しており、例えば、記憶されている複数の画像の中から基準画像が選択され、残りの画像が比較画像となり類似画像を検索する場合の検索対象となる。
【００４３】
類似度算出部４は、制御部２を介して記憶部３から入力された基準画像および比較画像の類似度を算出し、算出した類似度が制御部２を介して記憶部３に記憶される。
【００４４】
表示部５は、制御部２に制御され、種々の表示画面を表示し、例えば、ユーザが基準画像を選択するための選択画面を表示したり、記憶部３に記憶されている類似度に基づき類似画像を一覧表示する。
【００４５】
図２は、図１に示す類似度算出部４の構成を示すブロック図である。図２において、類似度算出部４は、複数の色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂ、平均値算出部Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂ、標準偏差算出部Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂ、輝度平均値算出部Ａａ，Ａｂ、輝度標準偏差算出部Ｓａ，Ｓｂ、減算器Ｄ１〜Ｄ１８および加算器ＡＤを含む。
【００４６】
図２に示す類似度算出部４では、基準画像Ｉａの処理用に８個の色相フィルタＦ１ａ〜Ｆ８ａ、８個の平均値算出部Ａ１ａ〜Ａ８ａ、８個の標準偏差算出部Ｓ１ａ〜Ｓ８ａ、輝度平均値算出部Ａａおよび輝度標準偏差算出部Ｓａが設けられるとともに、比較画像Ｉｂの処理用に８個の色相フィルタＦ１ｂ〜Ｆ８ｂ、８個の平均値算出部Ａ１ｂ〜Ａ８ｂ、８個の標準偏差算出部Ｓ１ｂ〜Ｓ８ｂ、輝度平均値算出部Ａｂおよび輝度標準偏差算出部Ｓｂが設けられている。
【００４７】
図３は、図２に示す色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂの色相に対する感度プロファイルを示す図である。
【００４８】
図３に示す感度プロファイルＳ１が色相フィルタＦ１ａ，Ｆ１ｂの感度プロファイルであり、感度プロファイルＳ２が色相フィルタＦ２ａ，Ｆ２ｂの感度プロファイルであり、以降同様に感度プロファイルＳ３〜Ｓ８が色相フィルタＦ３ａ，Ｆ３ｂ，…，Ｆ８ａ，Ｆ８ｂの感度プロファイルとなる。
【００４９】
ここで、画像は、人間の目を通って網膜に結像し、網膜の受光体である錐体により知覚される。すなわち、色覚は錐体の働きによるものであり、錐体には分光感度の違いにより、波長の長い赤（Ｌｏｎｇ）を感じるＬ錐体、中間の波長の緑（Ｍｉｄｄｌｅ）を感じるＭ錐体、波長の短い紫（Ｓｈｏｒｔ）を感じるＳ錐体がある。この３種類の分光吸収特性を持つ錐体細胞により光を吸収することにより人の色覚が始まる。
【００５０】
しかしながら、本願発明者らによる心理実験により得られた色彩分布弁別特性は、色覚過程の初期過程である錐体機構および反対色機構の働きのみでは説明できず、ＲＧＢ、ＹＩＱ等の３次元色彩情報表現では、この視覚特性に適合しないことが判明した。一方、高次色覚機構である異なる色相に選択的に反応する複数の機構を用いた場合、上記の色彩分布弁別特性をよく説明することができることが判明した。
【００５１】
上記の検討結果を基に、本実施の形態では、図３に示す各感度プロファイルＳ１〜Ｓ８を有する色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂを用い、人の視覚特性に適合した色相フィルタの応答出力の平均値および標準偏差を求めることにより画像データを符号化して圧縮するとともに、基準画像および比較画像に対する色相フィルタの応答出力の平均値および標準偏差等の差を用いて基準画像と比較画像との類似度を求めている。
【００５２】
このように、色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂは、人の色彩知覚モデルに基づき、互いに異なる色相に選択的に反応する色相フィルタである。各感度プロファイルＳ１〜Ｓ８は、基本的に同様の波形を有し、感度のピーク点が４５度ずつずれ、８つの方向の色相にそれぞれ選択的に反応する。
【００５３】
ここで、色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂの色相は、図４に示すように、Ｌ−Ｍ軸と色度点ＰＤとがなす角度θを色相として定義したものである。また、Ｌ−Ｍ軸およびＳ軸は、白色点（Ｄ６５など、他の白色でもよい）を通る、ＭａｃＬｅｏｄ−Ｂｏｙｎｔｏｎ （ＭＢ）色空間（ＭａｃＬｅｏｄ， Ｄ．Ｉ．Ａ． ＆ Ｂｏｙｎｔｏｎ， Ｒ．Ｍ． （１９７９）． Ｃｈｒｏｍａｔｉｃｉｔｙ ｄｉａｇｒａｍ ｓｈｏｗｉｎｇ ｃｏｎｅ ｅｘｃｉｔａｔｉｏｎ ｂｙ ｓｔｉｍｕｌｉ ｏｆ ｅｑｕａｌ ｌｕｍｉｎａｎｃｅ． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ， ６９， １１８３−１１８６． を参照）におけるｌ軸およびｓ軸に平行な軸であり、単位色差を白色からの弁別閾値とするものである。ＭＢ色空間は、人の網膜の錐体応答の線型和で定義されており、視覚系の初期反対色系の特性に基づくものである。
【００５４】
上記のように、図３に示す各感度プロファイルＳ１〜Ｓ８は、図４に示すＬ−Ｍ軸と色度点ＰＤとのなす角度により定義される色相に対してそのピーク点が４５度ずつずれ、互いに異なる色相に選択的に反応するように設定されている。
【００５５】
具体的には、色相フィルタＦｉａ，Ｆｉｂ（ｉ＝１〜８）の感度プロファイルＳｉ （θ）は、以下の式により表される。
【００５６】
【数１】
【００５７】
ここで、ｐは所定の振幅係数であり、ｎは１以上５以下の整数であり、ｎ＝３の場合に人の視覚特性に最も適合したものとなる。なお、各感度プロファイルＳｉ （θ）としては、上記の例に特に限定されず、ガウス分布等を用いてもよい。
【００５８】
なお、色相は、上記の色空間におけるＬ−Ｍ軸と色度点ＰＤとがなす角度θを色相として定義したもの用いることが好ましいが、他の色空間により定義される色相を用いることもできる。また、上記の色相フィルタの数は、各画像に対して５個以上であれば、人の色彩知覚モデルに適合した色相フィルタとなり、人の視覚特性に基づき類似する画像を弁別することができる。また、より高精度に弁別するためには、本実施の形態のように８個の色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂを用いることが好ましい。
【００５９】
再び、図２を参照して、色相フィルタＦ１ａ〜Ｆ８ａには、基準画像Ｉａを構成する各画素データが順次入力され、色相フィルタＦ１ｂ〜Ｆ８ｂには、比較画像Ｉｂを構成する各画素データが順次入力される。
【００６０】
各色相フィルタＦ１ａ〜Ｆ８ａは、基準画像Ｉａを構成する各画素データに対して図３に示す感度プロファイルＳ１に基づき各画素データをフィルタリングすし、各応答出力が平均値算出部Ａ１ａ〜Ａ８ａおよび標準偏差算出部Ｓ１ａ〜Ｓ８ａに入力される。
【００６１】
ここで、色相フィルタＦｉａ（ｉ＝１〜８）に基準画像Ｉａの画素データ（ｒｊ （ａ） θｊ （ａ））が入力されたとすると、下式により各色相フィルタＦ１ａ〜Ｆ８ａの応答出力の平均値Ｒｉ （ａ）が算出され、平均値算出部Ａ１ａ〜Ａ８ａは、算出された応答出力の平均値Ｒｉ （ａ）を対応する減算器Ｄ１，Ｄ３，Ｄ５，Ｄ７，Ｄ９，Ｄ１１，Ｄ１３，Ｄ１５へ出力する。
【００６２】
【数２】
【００６３】
ここで、Ｍは、基準画像Ｉａを構成する画素データの総数である。
また、下式により各色相フィルタＦ１ａ〜Ｆ８ａの応答出力の標準偏差σｉ （ａ）が算出され、標準偏差算出部Ｓ１ａ〜Ｓ８ａは、算出された応答出力の標準偏差σｉ （ａ）を対応する減算器Ｄ２，Ｄ４，Ｄ６，Ｄ８，Ｄ１０，Ｄ１２，Ｄ１４，Ｄ１６へ出力する。
【００６４】
【数３】
【００６５】
上記と同様に、各色相フィルタＦ１ｂ〜Ｆ８ｂも、比較画像Ｉｂの各画素データ（ｒｊ （ｂ），θｊ （ｂ））に対してフィルタリングを行い、平均値算出部Ａ１ｂ〜Ａ８ｂおよび標準偏差算出部Ｓ１ｂ〜Ｓ８ｂは、各色相フィルタＦ１ｂ〜Ｆ８ｂの応答出力の平均値Ｒｉ （ｂ）および標準偏差σｉ （ｂ）を、対応する減算器Ｄ１〜Ｄ１６へ出力する。
【００６６】
ここで、平均値算出部Ａ１ａ〜Ａ８ａ（Ａ１ｂ〜Ａ８ｂ）および標準偏差算出部Ｓ１ａ〜Ｓ８ａ（Ｓ１ｂ〜Ｓ８ｂ）の各出力は、色相フィルタＦ１ａ〜Ｆ８ａ（Ｆ１ｂ〜Ｆ８ｂ）に入力される画像データの符号化データとして用いることができる。すなわち、画像データを符号化して圧縮する画像符号化装置が、色相フィルタＦ１ａ〜Ｆ８ａ（Ｆ１ｂ〜Ｆ８ｂ）、平均値算出部Ａ１ａ〜Ａ８ａ（Ａ１ｂ〜Ａ８ｂ）および標準偏差算出部Ｓ１ａ〜Ｓ８ａ（Ｓ１ｂ〜Ｓ８ｂ）により構成されている。
【００６７】
この場合、互いに異なる色相に選択的に反応する８個の色相フィルタＦ１ａ〜Ｆ８ａ（Ｆ１ｂ〜Ｆ８ｂ）を通過させることにより、人間の視覚特性に適合した画像データの応答出力を得ることができるので、人の視覚特性に適合して十分に圧縮された符号化データを得ることができ、人の見え方に影響を及ぼすことなく、人の視覚特性に基づき画像データを十分に圧縮して符号化することができる。
【００６８】
減算器Ｄ１は、色相フィルタＦ１ａの基準画像Ｉａに対する応答出力の平均値Ｒ１ （ａ）と色相フィルタＦ１ｂの比較画像Ｉｂに対する応答出力の平均値Ｒ１ （ｂ）との差を求め、求めた差を加算器ＡＤへ出力する。減算器Ｄ２は、色相フィルタＦ１ａの基準画像Ｉａに対する応答出力の標準偏差σ１ （ａ）と色相フィルタＦ１ｂの比較画像Ｉｂに対する応答出力の標準偏差σ１ （ｂ）との差を求め、求めた差を加算器ＡＤへ出力する。
【００６９】
同様に、減算器Ｄ２〜Ｄ１６は、色相フィルタＦ２ａ〜Ｆ８ａの基準画像Ｉａに対する応答出力の平均値Ｒｉ （ａ）および標準偏差σｉ （ａ）（ｉ＝２〜８）と、色相フィルタＦ２ｂ〜Ｆ８ｂの比較画像Ｉｂに対する応答出力の平均値Ｒｉ （ｂ）および標準偏差σｉ （ｂ）（ｉ＝２〜８）との差をそれぞれ求め、求めた差を加算器ＡＤへ出力する。
【００７０】
輝度平均値算出部Ａａは、基準画像Ｉａの輝度の平均値を算出し、算出した輝度の平均値を減算器Ｄ１７へ出力する。輝度平均値算出部Ａｂは、比較画像Ｉｂの輝度の平均値を算出し、算出した輝度の平均値を減算器Ｄ１７へ出力する。減算器Ｄ１７は、基準画像Ｉａの輝度の平均値と比較画像Ｉｂの輝度の平均値との差を求め、求めた差を加算器ＡＤへ出力する。
【００７１】
輝度標準偏差算出部Ｓａは、基準画像Ｉａの輝度の標準偏差を算出し、算出した輝度の標準偏差を減算器Ｄ１８へ出力する。輝度標準偏差算出部Ｓｂは、比較画像Ｉｂの輝度の標準偏差を算出し、算出された輝度の標準偏差を減算器Ｄ１８へ出力する。減算器Ｄ１８は、基準画像Ｉａの輝度の標準偏差と比較画像Ｉｂの輝度の標準偏差との差を求め、求めた差を加算器ＡＤへ出力する。
【００７２】
加算器ＡＤは、減算器Ｄ１〜Ｄ１８の各出力をΔＤｉ とすると、次式に従って各出力に所定の重み付けを行った後に各出力を加算し、類似度ΔＤを出力する。
【００７３】
【数４】
【００７４】
ここで、ωｉ は重み付け係数であり、Ｎは１８であり、Ｑは２以上４以下の実数であり、Ｑ＝２の場合に人の視覚特性に最も適合したものとなる。
【００７５】
上記の処理により算出された類似度ΔＤが０に近い場合、基準画像Ｉａと比較画像Ｉｂとが類似し、類似度ΔＤが大きい場合、基準画像Ｉａに比較画像Ｉｂが類似していないことが示される。
【００７６】
なお、上記の説明では、基準画像および比較画像用に８個の色相フィルタ、８個の平均値算出部、８個の標準偏差算出部、輝度平均値算出部および輝度標準偏差算出部を２組設けたが、１組の色相フィルタ、平均値算出部、標準偏差算出部、輝度平均値算出部および輝度標準偏差算出部を基準画像および比較画像用に兼用し、基準画像および比較画像を時分割に入力して類似度を求めてもよい。
【００７７】
本実施の形態では、色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂが色相フィルタ手段に相当し、平均値算出部Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂ、標準偏差算出部Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂ、輝度平均値算出部Ａａ，Ａｂ、輝度標準偏差算出部Ｓａ，Ｓｂ、減算器Ｄ１〜Ｄ１８および加算器ＡＤが類似度算出手段に相当し、制御部２が抽出手段に相当し、平均値算出部Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂが平均値算出手段に相当し、標準偏差算出部Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂが標準偏差算出手段に相当する。
【００７８】
ここで、図１に示す画像検索装置は、ソフトウェアを用いてパーソナルコンピュータ等により実現することもでき、その場合のハードウェア構成について以下に説明する。図５は、図１に示す画像検索装置の機能をソフトウェアにより実現する場合のハードウェア構成を示すブロック図である。
【００７９】
図５に示すＣＰＵ（中央演算処理装置）２１、ＲＯＭ（リードオンリメモリ）２２、ＲＡＭ（ランダムアクセスメモリ）２３、外部記憶装置２４、入力部２５および表示部２６は、バス２７にそれぞれ接続され、バス２７を介して種々の制御信号およびデータが送受信される。
【００８０】
ＣＰＵ２１は、ＲＯＭ２２に記憶されている画像検索処理プログラムに従って動作し、ＲＡＭ２３等を制御し、制御部２および類似度算出部４の機能を実行する。外部記憶装置２４は、ハードディスクドライブ、光ディスクドライブ等の記憶装置から構成され、記憶部３として機能し、上記の各画像が記録される。入力部２５は、キーボード、マウス等から構成され、入力部１の機能を実行する。表示部２６は、ＣＲＴ等のディスプレイ装置から構成され、表示部５の機能を実行する。
【００８１】
なお、ＲＯＭ２２に記憶した画像検索処理プログラムはフロッピィディスクドライブ、ＣＤ−ＲＯＭドライブ、光ディスクドライブ等の外部記憶装置等により記憶媒体であるフロッピィディスクドライブ、ＣＤ−ＲＯＭ、光ディスク等に記憶されたものを読み出し、ＣＰＵ２１で実行するようにしてもよい。また、インターネット等の通信媒体により伝送された画像検索処理プログラムを外部記憶装置２４またはＲＡＭ２３等に記憶し、記憶した画像検索処理プログラムをＣＰＵ２１で実行することにより上記各機能を実現するようにしてもよい。
【００８２】
また、外部記憶装置２４を用いずに、インターネット等の通信媒体を介して、記憶部３に対応する機能を有する他のサーバ等の記憶装置にアクセスすることにより、画像を検索するようにしてもよい。
【００８３】
また、ハードウェアとしては、外部記憶装置２４内に記憶されている画像のデータ量等に応じて、パーソナルコンピュータ、ワークステーション、大型計算機等の種々のものを用いることができ、画像検索処理プログラムを記述する言語も特に限定されず、種々のプログラミング言語を用いることができる。
【００８４】
次に、上記のように構成された画像検索装置の画像検索処理について説明する。図６は、図１に示す画像検索装置による情報検索処理を説明するためのフローチャートである。
【００８５】
まず、ユーザが入力部１を用いて記憶部３に記憶されている基準画像を選択するとともに、基準画像に類似する類似画像の検索を指示すると、ステップＳ１において、制御部２は、入力部１を介して入力される基準画像に対応する画像データを記憶部３から読み出し、類似度算出部４へ出力する。
【００８６】
次に、ステップＳ２において、類似度算出部４は、上記の処理により色相フィルタＦ１ａ〜Ｆ８ａの基準画像に対する応答出力の平均値および標準偏差を算出するとともに、基準画像の輝度の平均値および標準偏差を算出する。
【００８７】
次に、ステップＳ３において、制御部２は、記憶部３に記憶されている画像の中から１つの比較画像を読み込み、類似度算出部４へ出力する。
【００８８】
次に、ステップＳ４において、類似度算出部４は、上記の処理により色相フィルタＦ１ａ〜Ｆ８ａの比較画像に対する応答出力の平均値および標準偏差を算出するとともに、比較画像の輝度の平均値および標準偏差を算出する。
【００８９】
次に、ステップＳ５において、類似度算出部４は、ステップＳ２で算出した基準画像の応答出力の平均値および標準偏差等とステップＳ４で算出した比較画像の応答出力の平均値および標準偏差等との各差分を加算して類似度を算出し、制御部２へ出力する。制御部２は、算出された類似度を記憶部３に記憶させる。
【００９０】
次に、ステップＳ６において、制御部２は、記憶部３から全ての比較画像を読み出したか否かを判断し、全ての比較画像を読み込んでいない場合は、ステップＳ３へ移行し、次の比較画像を読み込み、上記と同様にして読み込んだ比較画像と基準画像との類似度を算出して記憶する。
【００９１】
一方、全ての比較画像の読み込みが終了し、全ての比較画像と基準画像との類似度の算出が終了している場合は、ステップＳ７へ移行し、制御部２は、記憶部３に記憶されている類似画像と比較画像との類似度を参照し、当該類似度が所定の閾値以下の場合に比較画像が基準画像に類似する類似画像であると判断し、読み出した各比較画像を類似画像として表示部５に一覧表示する。
【００９２】
上記のように、本実施の形態では、互いに異なる色相に選択的に反応する８個の色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂを通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができるので、基準画像に対する色相フィルタＦ１ａ〜Ｆ８ａの各応答出力の平均値および標準偏差等と比較画像に対する色相フィルタＦ１ｂ〜Ｆ８ｂの各応答出力の平均値および標準偏差等との差を加算することにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができ、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
【００９３】
なお、本実施の形態では、基準画像および比較画像の色相フィルタの応答出力の平均値および標準偏差の差を用いて類似度を算出したが、平均値および標準偏差のいずれか一方のみの差を用いて類似度を算出するようにしてもよい。
【００９４】
また、本実施の形態では、基準画像および比較画像の輝度の平均値および標準偏差の差を用いて類似度を算出したが、平均値および標準偏差のいずれか一方の差のみと色相フィルタの応答出力の平均値および／または標準偏差の差とを用いて類似度を算出するようにしてもよく、また、色相フィルタの応答出力の平均値および／または標準偏差の差のみを用いて類似度を算出するようにしてもよい。
【００９５】
また、本実施の形態では、一つの画像全体のデータから類似度を算出したが、画像を複数に分割し、分割された画像を用いて類似度を算出してもよく、また、画像から背景部分を分離し、見る人にとって画像の印象的な部分となる、背景部分以外の非背景部分を用いて類似度を算出するようにしてもよい。
【００９６】
また、特定の物体を表す物体画像と風景を表す風景画像とでは、全体の色彩が似ていても、見る人の印象が異なるため、類似度を算出する前に、色彩の空間的な分布を基準にして比較画像を物体画像か背景画像かを分類し、基準画像が物体画像の場合に、分類された物体画像の中から類似画像を検索し、基準画像が風景画像の場合に、分類された風景画像の中から類似画像を検索するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の一実施の形態による画像検索装置の構成を示すブロック図である。
【図２】図１に示す類似度算出部の構成を示すブロック図である。
【図３】図２に示す色相フィルタの色相に対する感度プロファイルを示す図である。
【図４】Ｌ−Ｍ軸およびＳ軸からなる色空間の座標系を示す図である。
【図５】図１に示す画像検索装置の機能をソフトウェアにより実現する場合のハードウェア構成を示すブロック図である。
【図６】図１に示す画像検索装置による情報検索処理を説明するためのフローチャートである。
【符号の説明】
１ 入力部
２ 制御部
３ 記憶部
４ 類似度算出部
５ 表示部
Ｆ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂ 色相フィルタ
Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂ 平均値算出部
Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂ 標準偏差算出部
Ａａ，Ａｂ 輝度平均値算出部
Ｓａ，Ｓｂ 輝度標準偏差算出部
Ｄ１〜Ｄ１８ 減算器
ＡＤ 加算器
【発明の属する技術分野】
本発明は、比較画像の中から基準画像に類似する類似画像を検索する画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
画像の大域的（全体的）な色彩分布は、当該画像が表示するシーンや物体等により特徴的なパターンを示す。したがって、大域的な色彩分布に関する情報は、画像を構成するシーンおよび物体等を検索、分類および識別等をするための手がかりとなる。
【０００３】
このような画像の色彩分布に関する情報を利用した従来の画像符号化方法としては、ＤＣＴ（離散コサイン変換）等を用いた画像符号化方法がある。また、上記のような画像の色彩分布に関する情報を利用した従来の画像検索方法としては、テキストデータを用いずにＲＧＢ（レッド・グリーン・ブルー）やＨＳＶ（色相・彩度・輝度）等の色空間内で各画像の色情報のヒストグラムを利用し、基準画像に類似する類似画像を検索する手法が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、ＤＣＴ等を用いた画像符号化方法は、信号処理的な観点から画像データを圧縮符号化するものであり、人の視覚特性のうち空間周波数感度のみが考慮され、それ以外が考慮されていないため、人が見るという観点からみると、十分な情報圧縮が行われているとはいえない。
【０００５】
また、上記のＲＧＢおよびＨＳＶ等の色空間に基づく画像検索方法では、信号処理的な観点から見た類似度により基準画像に類似する類似画像を検索しているため、実際に画像を見たときの人間の視覚的な印象とは異なる場合が多い。このため、検索された画像が人の視覚的印象から判断して必ずしも類似しているとはいえない場合があり、人の視覚特性に基づいて基準画像に類似する類似画像を抽出することができない。
【０００７】
本発明の目的は、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体を提供することである。
【００２１】
（１）第１の発明
第１の発明に係る画像検索装置は、比較画像の中から基準画像に類似する類似画像を検索する画像検索装置であって、互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段と、基準画像に対する色相フィルタ手段の各出力の平均値および標準偏差と比較画像に対する色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出する類似度算出手段と、類似度算出手段により算出された類似度に基づき比較画像の中から類似画像を抽出する抽出手段とを備えたものである。
【００２２】
本発明に係る画像検索装置においては、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを基に基準画像に対する比較画像の類似度が算出され、算出された類似度に基づき比較画像の中から類似画像が抽出される。
【００２３】
ここで、色相フィルタ手段は、少なくとも５個設けられ、互いに異なる色相に選択的に反応することができるので、この色相フィルタ手段を通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができる。したがって、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを用いることにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができる。この結果、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
【００２５】
この場合、基準画像と比較画像との色相フィルタ手段の各出力の平均値および標準偏差の差を加算した値を類似度として算出することができるので、人の視覚特性に基づく色彩的な類似度を算出することができ、より高効率に類似する類似画像を抽出することができる。
【００２６】
（２）第２の発明
第２の発明に係る画像検索装置は、第１の発明に係る画像検索装置の構成において、類似度算出手段は、基準画像の輝度の平均値および／または標準偏差と比較画像の輝度の平均値および／または標準偏差との差をさらに類似度に加算して基準画像に対する比較画像の類似度を算出するものである。
【００２７】
この場合、基準画像と比較画像との輝度の平均値および／または標準偏差の差を含めた類似度を算出することができるので、人の視覚特性に基づく色彩的な類似度のみならず、輝度の類似度を含めて画像の類似度を算出することができ、より高精度に類似する類似画像を抽出することができる。
【００２８】
（３）第３の発明
第３の発明に係る画像検索装置は、第１または第２の発明に係る画像検索装置の構成において、色相フィルタ手段は、Ｌ−Ｍ軸とＳ軸とからなる色空間におけるＬ−Ｍ軸と色度点とがなす角度を色相とするものである。
【００２９】
この場合、Ｌ−Ｍ軸とＳ軸とからなる色空間におけるＬ−Ｍ軸と色度点とがなす角度が、色相フィルタ手段の色相となるので、人間の網膜の錐体応答の線型和で定義されるＬ−Ｍ軸およびＳ軸からなる色空間を用いて定義された色相に対する応答出力を得ることができ、より人の視覚特性に適合した応答出力を用いて類似度を算出することができる。
【００３０】
（４）第４の発明
第４の発明に係る画像検索装置は、第３の発明に係る画像検索装置の構成において、色相フィルタ手段は、選択的に反応する色相の範囲を４５度ずつずらせた８個の色相フィルタ手段を含むものである。
【００３１】
この場合、選択的に反応する色相の範囲を４５度ずつずらせた８個の色相フィルタ手段を用いているので、より人間の視覚特性に適合した色相フィルタ手段を用いることができ、人の視覚特性により適合した画像検索を行うことができる。
【００３２】
（５）第５の発明
第５の発明に係る画像検索方法は、比較画像の中から基準画像に類似する類似画像を検索する画像検索方法であって、基準画像の各データを互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段の各々に入力し、基準画像に対する色相フィルタ手段の出力を得るステップと、比較画像の各データを色相フィルタ手段の各々に入力し、比較画像に対する色相フィルタ手段の出力を得るステップと、基準画像に対する色相フィルタ手段の各出力の平均値および標準偏差と比較画像に対する色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出するステップと、算出された類似度に基づき比較画像の中から類似画像を抽出するステップとを含むものである。
【００３３】
本発明に係る画像検索方法においては、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを基に基準画像に対する比較画像の類似度が算出され、算出された類似度に基づき比較画像の中から類似画像が抽出される。
【００３４】
ここで、色相フィルタ手段は、少なくとも５個設けられ、互いに異なる色相に選択的に反応することができるので、この色相フィルタ手段を通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができる。したがって、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを用いることにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができる。この結果、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
この場合、基準画像と比較画像との色相フィルタ手段の各出力の平均値および標準偏差の差を加算した値を類似度として算出することができるので、人の視覚特性に基づく色彩的な類似度を算出することができ、より高効率に類似する類似画像を抽出することができる。
【００３５】
（６）第６の発明
第６の発明に係る画像検索処理プログラムを記録した記録媒体は、比較画像の中から基準画像に類似する類似画像を検索する画像検索処理を演算処理装置に実行させる画像検索処理プログラムを記録した記録媒体であって、画像検索処理プログラムは、基準画像の各データを互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段の各々に入力し、基準画像に対する色相フィルタ手段の出力を得る処理と、比較画像の各データを色相フィルタ手段の各々に入力し、比較画像に対する色相フィルタ手段の出力を得る処理と、基準画像に対する色相フィルタ手段の各出力の平均値および標準偏差と比較画像に対する色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出する処理と、算出された類似度に基づき比較画像の中から類似画像を抽出する処理とを演算処理装置に実行させるものである。
【００３６】
本発明に係る画像検索処理プログラムを記録した記録媒体によれば、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを基に基準画像に対する比較画像の類似度が算出され、算出された類似度に基づき比較画像の中から類似画像が抽出される。
【００３７】
ここで、色相フィルタ手段は、少なくとも５個設けられ、互いに異なる色相に選択的に反応することができるので、この色相フィルタ手段を通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができる。したがって、基準画像に対する色相フィルタ手段の各出力と比較画像に対する色相フィルタ手段の各出力とを用いることにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができる。この結果、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
この場合、基準画像と比較画像との色相フィルタ手段の各出力の平均値および標準偏差の差を加算した値を類似度として算出することができるので、人の視覚特性に基づく色彩的な類似度を算出することができ、より高効率に類似する類似画像を抽出することができる。
【００３８】
【発明の実施の形態】
以下、本発明の一実施の形態による画像検索装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による画像検索装置の構成を示すブロック図である。
【００３９】
図１において、画像検索装置は、入力部１、制御部２、記憶部３、類似度算出部４および表示部５を備える。
【００４０】
入力部１は、ユーザが種々の入力を行うために用いられ、例えば、ユーザは、入力部１を用いて、画像検索を行う場合の基準となる基準画像を選択したり、基準画像に類似する類似画像を検索する検索指令を入力したり、検索結果として基準画像に類似する類似画像を一覧表示するための検索結果指令を入力したりする。
【００４１】
制御部２は、入力部１を介して入力された種々の指令に応じて、記憶部３、類似度算出部４および表示部５の動作を制御する。例えば、入力部１から基準画像を指定するデータが入力された場合、制御部２は、当該データに対応する画像を基準画像として記憶部３に記憶させる。また、入力部１から類似画像の検索指令が入力された場合、制御部２は、記憶部３に記憶されている基準画像および比較画像を順次類似度算出部４へ出力し、類似度算出部４により算出された各画像の類似度を記憶部３に記憶させ、記憶部３に記憶されている各画像の類似度を基に基準画像に類似する類似画像を表示部５で表示するためのデータを表示部５へ出力する。
【００４２】
記憶部３は、複数の画像を予め記憶しており、例えば、記憶されている複数の画像の中から基準画像が選択され、残りの画像が比較画像となり類似画像を検索する場合の検索対象となる。
【００４３】
類似度算出部４は、制御部２を介して記憶部３から入力された基準画像および比較画像の類似度を算出し、算出した類似度が制御部２を介して記憶部３に記憶される。
【００４４】
表示部５は、制御部２に制御され、種々の表示画面を表示し、例えば、ユーザが基準画像を選択するための選択画面を表示したり、記憶部３に記憶されている類似度に基づき類似画像を一覧表示する。
【００４５】
図２は、図１に示す類似度算出部４の構成を示すブロック図である。図２において、類似度算出部４は、複数の色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂ、平均値算出部Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂ、標準偏差算出部Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂ、輝度平均値算出部Ａａ，Ａｂ、輝度標準偏差算出部Ｓａ，Ｓｂ、減算器Ｄ１〜Ｄ１８および加算器ＡＤを含む。
【００４６】
図２に示す類似度算出部４では、基準画像Ｉａの処理用に８個の色相フィルタＦ１ａ〜Ｆ８ａ、８個の平均値算出部Ａ１ａ〜Ａ８ａ、８個の標準偏差算出部Ｓ１ａ〜Ｓ８ａ、輝度平均値算出部Ａａおよび輝度標準偏差算出部Ｓａが設けられるとともに、比較画像Ｉｂの処理用に８個の色相フィルタＦ１ｂ〜Ｆ８ｂ、８個の平均値算出部Ａ１ｂ〜Ａ８ｂ、８個の標準偏差算出部Ｓ１ｂ〜Ｓ８ｂ、輝度平均値算出部Ａｂおよび輝度標準偏差算出部Ｓｂが設けられている。
【００４７】
図３は、図２に示す色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂの色相に対する感度プロファイルを示す図である。
【００４８】
図３に示す感度プロファイルＳ１が色相フィルタＦ１ａ，Ｆ１ｂの感度プロファイルであり、感度プロファイルＳ２が色相フィルタＦ２ａ，Ｆ２ｂの感度プロファイルであり、以降同様に感度プロファイルＳ３〜Ｓ８が色相フィルタＦ３ａ，Ｆ３ｂ，…，Ｆ８ａ，Ｆ８ｂの感度プロファイルとなる。
【００４９】
ここで、画像は、人間の目を通って網膜に結像し、網膜の受光体である錐体により知覚される。すなわち、色覚は錐体の働きによるものであり、錐体には分光感度の違いにより、波長の長い赤（Ｌｏｎｇ）を感じるＬ錐体、中間の波長の緑（Ｍｉｄｄｌｅ）を感じるＭ錐体、波長の短い紫（Ｓｈｏｒｔ）を感じるＳ錐体がある。この３種類の分光吸収特性を持つ錐体細胞により光を吸収することにより人の色覚が始まる。
【００５０】
しかしながら、本願発明者らによる心理実験により得られた色彩分布弁別特性は、色覚過程の初期過程である錐体機構および反対色機構の働きのみでは説明できず、ＲＧＢ、ＹＩＱ等の３次元色彩情報表現では、この視覚特性に適合しないことが判明した。一方、高次色覚機構である異なる色相に選択的に反応する複数の機構を用いた場合、上記の色彩分布弁別特性をよく説明することができることが判明した。
【００５１】
上記の検討結果を基に、本実施の形態では、図３に示す各感度プロファイルＳ１〜Ｓ８を有する色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂを用い、人の視覚特性に適合した色相フィルタの応答出力の平均値および標準偏差を求めることにより画像データを符号化して圧縮するとともに、基準画像および比較画像に対する色相フィルタの応答出力の平均値および標準偏差等の差を用いて基準画像と比較画像との類似度を求めている。
【００５２】
このように、色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂは、人の色彩知覚モデルに基づき、互いに異なる色相に選択的に反応する色相フィルタである。各感度プロファイルＳ１〜Ｓ８は、基本的に同様の波形を有し、感度のピーク点が４５度ずつずれ、８つの方向の色相にそれぞれ選択的に反応する。
【００５３】
ここで、色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂの色相は、図４に示すように、Ｌ−Ｍ軸と色度点ＰＤとがなす角度θを色相として定義したものである。また、Ｌ−Ｍ軸およびＳ軸は、白色点（Ｄ６５など、他の白色でもよい）を通る、ＭａｃＬｅｏｄ−Ｂｏｙｎｔｏｎ （ＭＢ）色空間（ＭａｃＬｅｏｄ， Ｄ．Ｉ．Ａ． ＆ Ｂｏｙｎｔｏｎ， Ｒ．Ｍ． （１９７９）． Ｃｈｒｏｍａｔｉｃｉｔｙ ｄｉａｇｒａｍ ｓｈｏｗｉｎｇ ｃｏｎｅ ｅｘｃｉｔａｔｉｏｎ ｂｙ ｓｔｉｍｕｌｉ ｏｆ ｅｑｕａｌ ｌｕｍｉｎａｎｃｅ． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ， ６９， １１８３−１１８６． を参照）におけるｌ軸およびｓ軸に平行な軸であり、単位色差を白色からの弁別閾値とするものである。ＭＢ色空間は、人の網膜の錐体応答の線型和で定義されており、視覚系の初期反対色系の特性に基づくものである。
【００５４】
上記のように、図３に示す各感度プロファイルＳ１〜Ｓ８は、図４に示すＬ−Ｍ軸と色度点ＰＤとのなす角度により定義される色相に対してそのピーク点が４５度ずつずれ、互いに異なる色相に選択的に反応するように設定されている。
【００５５】
具体的には、色相フィルタＦｉａ，Ｆｉｂ（ｉ＝１〜８）の感度プロファイルＳｉ （θ）は、以下の式により表される。
【００５６】
【数１】
ここで、ｐは所定の振幅係数であり、ｎは１以上５以下の整数であり、ｎ＝３の場合に人の視覚特性に最も適合したものとなる。なお、各感度プロファイルＳｉ （θ）としては、上記の例に特に限定されず、ガウス分布等を用いてもよい。
【００５８】
なお、色相は、上記の色空間におけるＬ−Ｍ軸と色度点ＰＤとがなす角度θを色相として定義したもの用いることが好ましいが、他の色空間により定義される色相を用いることもできる。また、上記の色相フィルタの数は、各画像に対して５個以上であれば、人の色彩知覚モデルに適合した色相フィルタとなり、人の視覚特性に基づき類似する画像を弁別することができる。また、より高精度に弁別するためには、本実施の形態のように８個の色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂを用いることが好ましい。
【００５９】
再び、図２を参照して、色相フィルタＦ１ａ〜Ｆ８ａには、基準画像Ｉａを構成する各画素データが順次入力され、色相フィルタＦ１ｂ〜Ｆ８ｂには、比較画像Ｉｂを構成する各画素データが順次入力される。
【００６０】
各色相フィルタＦ１ａ〜Ｆ８ａは、基準画像Ｉａを構成する各画素データに対して図３に示す感度プロファイルＳ１に基づき各画素データをフィルタリングすし、各応答出力が平均値算出部Ａ１ａ〜Ａ８ａおよび標準偏差算出部Ｓ１ａ〜Ｓ８ａに入力される。
【００６１】
ここで、色相フィルタＦｉａ（ｉ＝１〜８）に基準画像Ｉａの画素データ（ｒｊ （ａ） θｊ （ａ））が入力されたとすると、下式により各色相フィルタＦ１ａ〜Ｆ８ａの応答出力の平均値Ｒｉ （ａ）が算出され、平均値算出部Ａ１ａ〜Ａ８ａは、算出された応答出力の平均値Ｒｉ （ａ）を対応する減算器Ｄ１，Ｄ３，Ｄ５，Ｄ７，Ｄ９，Ｄ１１，Ｄ１３，Ｄ１５へ出力する。
【００６２】
【数２】
ここで、Ｍは、基準画像Ｉａを構成する画素データの総数である。
また、下式により各色相フィルタＦ１ａ〜Ｆ８ａの応答出力の標準偏差σｉ （ａ）が算出され、標準偏差算出部Ｓ１ａ〜Ｓ８ａは、算出された応答出力の標準偏差σｉ （ａ）を対応する減算器Ｄ２，Ｄ４，Ｄ６，Ｄ８，Ｄ１０，Ｄ１２，Ｄ１４，Ｄ１６へ出力する。
【００６４】
【数３】
上記と同様に、各色相フィルタＦ１ｂ〜Ｆ８ｂも、比較画像Ｉｂの各画素データ（ｒｊ （ｂ），θｊ （ｂ））に対してフィルタリングを行い、平均値算出部Ａ１ｂ〜Ａ８ｂおよび標準偏差算出部Ｓ１ｂ〜Ｓ８ｂは、各色相フィルタＦ１ｂ〜Ｆ８ｂの応答出力の平均値Ｒｉ （ｂ）および標準偏差σｉ （ｂ）を、対応する減算器Ｄ１〜Ｄ１６へ出力する。
【００６６】
ここで、平均値算出部Ａ１ａ〜Ａ８ａ（Ａ１ｂ〜Ａ８ｂ）および標準偏差算出部Ｓ１ａ〜Ｓ８ａ（Ｓ１ｂ〜Ｓ８ｂ）の各出力は、色相フィルタＦ１ａ〜Ｆ８ａ（Ｆ１ｂ〜Ｆ８ｂ）に入力される画像データの符号化データとして用いることができる。すなわち、画像データを符号化して圧縮する画像符号化装置が、色相フィルタＦ１ａ〜Ｆ８ａ（Ｆ１ｂ〜Ｆ８ｂ）、平均値算出部Ａ１ａ〜Ａ８ａ（Ａ１ｂ〜Ａ８ｂ）および標準偏差算出部Ｓ１ａ〜Ｓ８ａ（Ｓ１ｂ〜Ｓ８ｂ）により構成されている。
【００６７】
この場合、互いに異なる色相に選択的に反応する８個の色相フィルタＦ１ａ〜Ｆ８ａ（Ｆ１ｂ〜Ｆ８ｂ）を通過させることにより、人間の視覚特性に適合した画像データの応答出力を得ることができるので、人の視覚特性に適合して十分に圧縮された符号化データを得ることができ、人の見え方に影響を及ぼすことなく、人の視覚特性に基づき画像データを十分に圧縮して符号化することができる。
【００６８】
減算器Ｄ１は、色相フィルタＦ１ａの基準画像Ｉａに対する応答出力の平均値Ｒ１ （ａ）と色相フィルタＦ１ｂの比較画像Ｉｂに対する応答出力の平均値Ｒ１ （ｂ）との差を求め、求めた差を加算器ＡＤへ出力する。減算器Ｄ２は、色相フィルタＦ１ａの基準画像Ｉａに対する応答出力の標準偏差σ１ （ａ）と色相フィルタＦ１ｂの比較画像Ｉｂに対する応答出力の標準偏差σ１ （ｂ）との差を求め、求めた差を加算器ＡＤへ出力する。
【００６９】
同様に、減算器Ｄ２〜Ｄ１６は、色相フィルタＦ２ａ〜Ｆ８ａの基準画像Ｉａに対する応答出力の平均値Ｒｉ （ａ）および標準偏差σｉ （ａ）（ｉ＝２〜８）と、色相フィルタＦ２ｂ〜Ｆ８ｂの比較画像Ｉｂに対する応答出力の平均値Ｒｉ （ｂ）および標準偏差σｉ （ｂ）（ｉ＝２〜８）との差をそれぞれ求め、求めた差を加算器ＡＤへ出力する。
【００７０】
輝度平均値算出部Ａａは、基準画像Ｉａの輝度の平均値を算出し、算出した輝度の平均値を減算器Ｄ１７へ出力する。輝度平均値算出部Ａｂは、比較画像Ｉｂの輝度の平均値を算出し、算出した輝度の平均値を減算器Ｄ１７へ出力する。減算器Ｄ１７は、基準画像Ｉａの輝度の平均値と比較画像Ｉｂの輝度の平均値との差を求め、求めた差を加算器ＡＤへ出力する。
【００７１】
輝度標準偏差算出部Ｓａは、基準画像Ｉａの輝度の標準偏差を算出し、算出した輝度の標準偏差を減算器Ｄ１８へ出力する。輝度標準偏差算出部Ｓｂは、比較画像Ｉｂの輝度の標準偏差を算出し、算出された輝度の標準偏差を減算器Ｄ１８へ出力する。減算器Ｄ１８は、基準画像Ｉａの輝度の標準偏差と比較画像Ｉｂの輝度の標準偏差との差を求め、求めた差を加算器ＡＤへ出力する。
【００７２】
加算器ＡＤは、減算器Ｄ１〜Ｄ１８の各出力をΔＤｉ とすると、次式に従って各出力に所定の重み付けを行った後に各出力を加算し、類似度ΔＤを出力する。
【００７３】
【数４】
ここで、ωｉ は重み付け係数であり、Ｎは１８であり、Ｑは２以上４以下の実数であり、Ｑ＝２の場合に人の視覚特性に最も適合したものとなる。
【００７５】
上記の処理により算出された類似度ΔＤが０に近い場合、基準画像Ｉａと比較画像Ｉｂとが類似し、類似度ΔＤが大きい場合、基準画像Ｉａに比較画像Ｉｂが類似していないことが示される。
【００７６】
なお、上記の説明では、基準画像および比較画像用に８個の色相フィルタ、８個の平均値算出部、８個の標準偏差算出部、輝度平均値算出部および輝度標準偏差算出部を２組設けたが、１組の色相フィルタ、平均値算出部、標準偏差算出部、輝度平均値算出部および輝度標準偏差算出部を基準画像および比較画像用に兼用し、基準画像および比較画像を時分割に入力して類似度を求めてもよい。
【００７７】
本実施の形態では、色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂが色相フィルタ手段に相当し、平均値算出部Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂ、標準偏差算出部Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂ、輝度平均値算出部Ａａ，Ａｂ、輝度標準偏差算出部Ｓａ，Ｓｂ、減算器Ｄ１〜Ｄ１８および加算器ＡＤが類似度算出手段に相当し、制御部２が抽出手段に相当し、平均値算出部Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂが平均値算出手段に相当し、標準偏差算出部Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂが標準偏差算出手段に相当する。
【００７８】
ここで、図１に示す画像検索装置は、ソフトウェアを用いてパーソナルコンピュータ等により実現することもでき、その場合のハードウェア構成について以下に説明する。図５は、図１に示す画像検索装置の機能をソフトウェアにより実現する場合のハードウェア構成を示すブロック図である。
【００７９】
図５に示すＣＰＵ（中央演算処理装置）２１、ＲＯＭ（リードオンリメモリ）２２、ＲＡＭ（ランダムアクセスメモリ）２３、外部記憶装置２４、入力部２５および表示部２６は、バス２７にそれぞれ接続され、バス２７を介して種々の制御信号およびデータが送受信される。
【００８０】
ＣＰＵ２１は、ＲＯＭ２２に記憶されている画像検索処理プログラムに従って動作し、ＲＡＭ２３等を制御し、制御部２および類似度算出部４の機能を実行する。外部記憶装置２４は、ハードディスクドライブ、光ディスクドライブ等の記憶装置から構成され、記憶部３として機能し、上記の各画像が記録される。入力部２５は、キーボード、マウス等から構成され、入力部１の機能を実行する。表示部２６は、ＣＲＴ等のディスプレイ装置から構成され、表示部５の機能を実行する。
【００８１】
なお、ＲＯＭ２２に記憶した画像検索処理プログラムはフロッピィディスクドライブ、ＣＤ−ＲＯＭドライブ、光ディスクドライブ等の外部記憶装置等により記憶媒体であるフロッピィディスクドライブ、ＣＤ−ＲＯＭ、光ディスク等に記憶されたものを読み出し、ＣＰＵ２１で実行するようにしてもよい。また、インターネット等の通信媒体により伝送された画像検索処理プログラムを外部記憶装置２４またはＲＡＭ２３等に記憶し、記憶した画像検索処理プログラムをＣＰＵ２１で実行することにより上記各機能を実現するようにしてもよい。
【００８２】
また、外部記憶装置２４を用いずに、インターネット等の通信媒体を介して、記憶部３に対応する機能を有する他のサーバ等の記憶装置にアクセスすることにより、画像を検索するようにしてもよい。
【００８３】
また、ハードウェアとしては、外部記憶装置２４内に記憶されている画像のデータ量等に応じて、パーソナルコンピュータ、ワークステーション、大型計算機等の種々のものを用いることができ、画像検索処理プログラムを記述する言語も特に限定されず、種々のプログラミング言語を用いることができる。
【００８４】
次に、上記のように構成された画像検索装置の画像検索処理について説明する。図６は、図１に示す画像検索装置による情報検索処理を説明するためのフローチャートである。
【００８５】
まず、ユーザが入力部１を用いて記憶部３に記憶されている基準画像を選択するとともに、基準画像に類似する類似画像の検索を指示すると、ステップＳ１において、制御部２は、入力部１を介して入力される基準画像に対応する画像データを記憶部３から読み出し、類似度算出部４へ出力する。
【００８６】
次に、ステップＳ２において、類似度算出部４は、上記の処理により色相フィルタＦ１ａ〜Ｆ８ａの基準画像に対する応答出力の平均値および標準偏差を算出するとともに、基準画像の輝度の平均値および標準偏差を算出する。
【００８７】
次に、ステップＳ３において、制御部２は、記憶部３に記憶されている画像の中から１つの比較画像を読み込み、類似度算出部４へ出力する。
【００８８】
次に、ステップＳ４において、類似度算出部４は、上記の処理により色相フィルタＦ１ａ〜Ｆ８ａの比較画像に対する応答出力の平均値および標準偏差を算出するとともに、比較画像の輝度の平均値および標準偏差を算出する。
【００８９】
次に、ステップＳ５において、類似度算出部４は、ステップＳ２で算出した基準画像の応答出力の平均値および標準偏差等とステップＳ４で算出した比較画像の応答出力の平均値および標準偏差等との各差分を加算して類似度を算出し、制御部２へ出力する。制御部２は、算出された類似度を記憶部３に記憶させる。
【００９０】
次に、ステップＳ６において、制御部２は、記憶部３から全ての比較画像を読み出したか否かを判断し、全ての比較画像を読み込んでいない場合は、ステップＳ３へ移行し、次の比較画像を読み込み、上記と同様にして読み込んだ比較画像と基準画像との類似度を算出して記憶する。
【００９１】
一方、全ての比較画像の読み込みが終了し、全ての比較画像と基準画像との類似度の算出が終了している場合は、ステップＳ７へ移行し、制御部２は、記憶部３に記憶されている類似画像と比較画像との類似度を参照し、当該類似度が所定の閾値以下の場合に比較画像が基準画像に類似する類似画像であると判断し、読み出した各比較画像を類似画像として表示部５に一覧表示する。
【００９２】
上記のように、本実施の形態では、互いに異なる色相に選択的に反応する８個の色相フィルタＦ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂを通過させることにより、人間の視覚特性に適合した画像の応答出力を得ることができるので、基準画像に対する色相フィルタＦ１ａ〜Ｆ８ａの各応答出力の平均値および標準偏差等と比較画像に対する色相フィルタＦ１ｂ〜Ｆ８ｂの各応答出力の平均値および標準偏差等との差を加算することにより、人の視覚特性に適合した基準画像と比較画像との相違を類似度として求めることができ、人の視覚特性に基づいて基準画像に類似する類似画像を効率よく検索することができる。
【００９３】
なお、本実施の形態では、基準画像および比較画像の色相フィルタの応答出力の平均値および標準偏差の差を用いて類似度を算出したが、平均値および標準偏差のいずれか一方のみの差を用いて類似度を算出するようにしてもよい。
【００９４】
また、本実施の形態では、基準画像および比較画像の輝度の平均値および標準偏差の差を用いて類似度を算出したが、平均値および標準偏差のいずれか一方の差のみと色相フィルタの応答出力の平均値および／または標準偏差の差とを用いて類似度を算出するようにしてもよく、また、色相フィルタの応答出力の平均値および／または標準偏差の差のみを用いて類似度を算出するようにしてもよい。
【００９５】
また、本実施の形態では、一つの画像全体のデータから類似度を算出したが、画像を複数に分割し、分割された画像を用いて類似度を算出してもよく、また、画像から背景部分を分離し、見る人にとって画像の印象的な部分となる、背景部分以外の非背景部分を用いて類似度を算出するようにしてもよい。
【００９６】
また、特定の物体を表す物体画像と風景を表す風景画像とでは、全体の色彩が似ていても、見る人の印象が異なるため、類似度を算出する前に、色彩の空間的な分布を基準にして比較画像を物体画像か背景画像かを分類し、基準画像が物体画像の場合に、分類された物体画像の中から類似画像を検索し、基準画像が風景画像の場合に、分類された風景画像の中から類似画像を検索するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の一実施の形態による画像検索装置の構成を示すブロック図である。
【図２】図１に示す類似度算出部の構成を示すブロック図である。
【図３】図２に示す色相フィルタの色相に対する感度プロファイルを示す図である。
【図４】Ｌ−Ｍ軸およびＳ軸からなる色空間の座標系を示す図である。
【図５】図１に示す画像検索装置の機能をソフトウェアにより実現する場合のハードウェア構成を示すブロック図である。
【図６】図１に示す画像検索装置による情報検索処理を説明するためのフローチャートである。
【符号の説明】
１ 入力部
２ 制御部
３ 記憶部
４ 類似度算出部
５ 表示部
Ｆ１ａ〜Ｆ８ａ，Ｆ１ｂ〜Ｆ８ｂ 色相フィルタ
Ａ１ａ〜Ａ８ａ，Ａ１ｂ〜Ａ８ｂ 平均値算出部
Ｓ１ａ〜Ｓ８ａ，Ｓ１ｂ〜Ｓ８ｂ 標準偏差算出部
Ａａ，Ａｂ 輝度平均値算出部
Ｓａ，Ｓｂ 輝度標準偏差算出部
Ｄ１〜Ｄ１８ 減算器
ＡＤ 加算器
Claims (6)
- 比較画像の中から基準画像に類似する類似画像を検索する画像検索装置であって、
互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段と、
前記基準画像に対する前記色相フィルタ手段の各出力の平均値および標準偏差と前記比較画像に対する前記色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度に基づき前記比較画像の中から前記類似画像を抽出する抽出手段とを備えたことを特徴とする画像検索装置。 - 前記類似度算出手段は、前記基準画像の輝度の平均値および／または標準偏差と前記比較画像の輝度の平均値および／または標準偏差との差をさらに前記類似度に加算して基準画像に対する比較画像の類似度を算出することを特徴とする請求項１記載の画像検索装置。
- 前記色相フィルタ手段は、Ｌ−Ｍ軸とＳ軸とからなる色空間におけるＬ−Ｍ軸と色度点とがなす角度を色相とすることを特徴とする請求項１または２記載の画像検索装置。
- 前記色相フィルタ手段は、選択的に反応する色相の範囲を４５度ずつずらせた８個の色相フィルタ手段を含むことを特徴とする請求項３記載の画像検索装置。
- 比較画像の中から基準画像に類似する類似画像を検索する画像検索方法であって、
前記基準画像の各データを互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段の各々に入力し、前記基準画像に対する前記色相フィルタ手段の出力を得るステップと、
前記比較画像の各データを前記色相フィルタ手段の各々に入力し、前記比較画像に対する前記色相フィルタ手段の出力を得るステップと、
前記基準画像に対する前記色相フィルタ手段の各出力の平均値および標準偏差と前記比較画像に対する前記色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出するステップと、
算出された類似度に基づき前記比較画像の中から前記類似画像を抽出するステップとを含む画像検索方法。 - 比較画像の中から基準画像に類似する類似画像を検索する画像検索処理を演算処理装置に実行させる画像検索処理プログラムを記録した記録媒体であって、
前記画像検索処理プログラムは、
前記基準画像の各データを互いに異なる色相に選択的に反応する５個以上の色相フィルタ手段の各々に入力し、前記基準画像に対する前記色相フィルタ手段の出力を得る処理と、
前記比較画像の各データを前記色相フィルタ手段の各々に入力し、前記比較画像に対する前記色相フィルタ手段の出力を得る処理と、
前記基準画像に対する前記色相フィルタ手段の各出力の平均値および標準偏差と前記比較画像に対する前記色相フィルタ手段の各出力の平均値および標準偏差との差を加算して基準画像に対する比較画像の類似度を算出する処理と、
算出された類似度に基づき前記比較画像の中から前記類似画像を抽出する処理とを、前記演算処理装置に実行させることを特徴とする画像検索処理プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000247213A JP3598051B2 (ja) | 2000-08-17 | 2000-08-17 | 画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000247213A JP3598051B2 (ja) | 2000-08-17 | 2000-08-17 | 画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002063208A JP2002063208A (ja) | 2002-02-28 |
| JP3598051B2 true JP3598051B2 (ja) | 2004-12-08 |
Family
ID=18737352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000247213A Expired - Fee Related JP3598051B2 (ja) | 2000-08-17 | 2000-08-17 | 画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3598051B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5009638B2 (ja) * | 2007-02-09 | 2012-08-22 | シャープ株式会社 | 類似映像検索装置及び類似映像検索方法 |
-
2000
- 2000-08-17 JP JP2000247213A patent/JP3598051B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002063208A (ja) | 2002-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4194025B2 (ja) | 照明不変の客体追跡方法及びこれを用いた映像編集装置 | |
| EP2063393B1 (en) | Color classifying method, color recognizing method, color classifying device, color recognizing device, color recognizing system, computer program, and recording medium | |
| CN101601287B (zh) | 产生照片级真实感图像缩略图的设备和方法 | |
| US7440638B2 (en) | Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method | |
| US11861810B2 (en) | Image dehazing method, apparatus, and device, and computer storage medium | |
| JP6872742B2 (ja) | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム | |
| EP1280107A2 (en) | Quality based image compression | |
| US20100014781A1 (en) | Example-Based Two-Dimensional to Three-Dimensional Image Conversion Method, Computer Readable Medium Therefor, and System | |
| WO2013069605A1 (ja) | 類似画像検索システム | |
| JP2003507793A (ja) | 色ベースセグメンテーションを用いて領域ベース画像検索を実行するシステム及び方法 | |
| JPH03218581A (ja) | 画像セグメンテーション方法 | |
| US5742520A (en) | Color picture processing method and color picture processing apparatus | |
| Hristova et al. | Style-aware robust color transfer. | |
| Gritzman et al. | Comparison of colour transforms used in lip segmentation algorithms | |
| US20030107570A1 (en) | Incorporating a personalized wireframe image in a computer software application | |
| CN113301409A (zh) | 视频合成方法、装置、电子设备和可读存储介质 | |
| CN112272295A (zh) | 具有三维效果的视频的生成方法、播放方法、装置及设备 | |
| CN111274946B (zh) | 一种人脸识别方法和系统及设备 | |
| CN114449362B (zh) | 视频封面的选取方法、装置、设备及存储介质 | |
| CN115689882A (zh) | 一种图像处理方法、装置和计算机可读存储介质 | |
| CN113178018A (zh) | 一种信息显示方法、装置、ar设备及存储介质 | |
| JP3598051B2 (ja) | 画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体 | |
| US6526167B1 (en) | Image processing apparatus and method and provision medium | |
| CN112508847A (zh) | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 | |
| KR100340035B1 (ko) | 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040910 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |