JP4396328B2

JP4396328B2 - 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム

Info

Publication number: JP4396328B2
Application number: JP2004062410A
Authority: JP
Inventors: 浩太岩元
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-03-05
Filing date: 2004-03-05
Publication date: 2010-01-13
Anticipated expiration: 2024-03-05
Also published as: JP2005250973A

Description

本発明は、複数の画像の類似度を算出する画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムならびに問い合わせ画像に類似した画像を検索する画像検索システムに関し、特に、加工処理が施された画像と元画像との類似度を算出する画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムならびに加工処理が施された問い合わせ画像に類似した画像を検索する画像検索システムに関する。

比較している２つの画像の類似度を算出する画像類似度算出方法は、一般に、登録された検索対象の画像群の中から、問合せ画像と類似する画像を検索する画像検索において、問合せ画像と検索対象画像との類似度を算出するために用いられている。

従来の画像検索方法の一例が特許文献１に記載されている。特許文献１に記載されている画像検索方法では、画像を複数のブロックに分割し、各ブロックの特徴量を算出する。さらに、各ブロックについて取得された特徴量に応じて各ブロックにラベルを付与し、ラベルを所定の順序で並べてラベル行列を生成する。そして、問合せ画像と検索対象画像の画像類似度を、それぞれの画像から得られるラベル列の類似度として算出し、検索においては画像類似度が閾値を超える検索対象画像を検索結果として出力する。

また、問合せ画像と部分的に類似した画像の検索を行う画像検索方法が、特許文献２に記載されている。特許文献２に記載されている画像検索方法では、問合せ画像を入力するとともに、問合せ画像内の検索の対象とする領域を問合せ領域として入力する。そして、問合せ画像をブロック分割し、各ブロックと問合せ領域とが重なる面積に応じて設定した重みで各ブロックの特徴量を重み付けして特徴量を算出する。検索対象の画像に対しても同様に特徴量を算出し、双方の特徴量を比較して画像類似度を算出する。検索においては、画像類似度が高い画像を検索結果として出力する。また、ユーザの検索の意図を反映した画像検索方法が、特許文献３に記載されている。特許文献３に記載されている画像検索方法では、問合せ画像および検索対象の画像を複数の領域に分け、ユーザが各分割領域に異なる重みを設定する。問合せ画像と検索対象の画像との間で各分割領域ごとに特徴量を比較して得られる類似度に対して、各分割領域に設定された重みを作用させることで画像類似度を算出する。ユーザが検索の際に重要視したい領域を指定できるため、ユーザの検索の意図を反映した画像検索を行うことができる。

特開平１１−３１２２４８号公報（段落００１２−００１３、図９、図１３）特開２０００−１６３５７６号公報（段落００１７−００２０、図７、図８）特開２００１−１３４７６５号公報（段落００２８−００３１、図１１）

しかし、特許文献１に記載されている方法では、問合せ画像と検索対象の画像の同一性を前提としている。このため、画像にテロップ重畳、画像の一部の切り抜き・切り出しなどの各種加工処理が施されて画像の絵柄が部分的に変化した画像と、加工前の元画像との間の画像類似度は低い値として算出される。よって、加工処理が施された画像から元画像を判定や検索するのに十分な性能が得られないという問題点がある。

また、特許文献２に記載されている方法では、部分的に絵柄の異なる加工画像に対応できるものの、検索の対象とする領域をあらかじめ指定する必要がある。特許文献３に記載されている方法でも、同様に、画像の領域ごとに重み値を設定することにより、検索の際に重要視したい領域をユーザが指定する必要がある。このため、加工処理が施された画像から、加工前の元画像を判定したり検索したりする目的で画像類似度を算出するために、ユーザがあらかじめ加工処理の施されてない領域を指定する必要がある。よって、ユーザに大きな負担になるという問題点がある。

本発明は、上記の問題点を解決するためになされたものであり、領域を指定するという負担をユーザに課すことなく、加工処理が施されて部分的に絵柄の変化した画像から加工前の元画像を精度よく判定したり検索したりするために、加工処理が施された画像と加工前の元画像との間の画像類似度を高い値として算出することができる画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラムを提供することを目的とする。

本発明による画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、画像の局所領域ごとに加工処理が施される確率にもとづいて問合せ画像を小領域に分割し、問合せ画像の分割された小領域ごとに特徴量を抽出し、問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、問合せ画像と参照画像との画像類似度を算出し、問合せ画像の小領域と参照画像の小領域とが対応しない場合には、問合せ画像と参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出することを特徴とする。

本発明による他の態様の画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、学習画像または機器特性から画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、局所領域加工確率にもとづいて問合せ画像を小領域に分割し、問合せ画像の分割された小領域ごとに特徴量を抽出し、問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、問合せ画像と参照画像との画像類似度を算出し、問合せ画像の小領域と参照画像の小領域とが対応しない場合には、問合せ画像と参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出することを特徴とする。

本発明によるさらに他の態様の画像類似度算出システム、画像類似度算出方法および画像類似度算出用プログラムは、加工処理が施された問合せ画像から局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出し、局所領域加工確率にもとづいて問合せ画像を小領域に分割し、問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、問合せ画像と参照画像との画像類似度を算出し、問合せ画像の小領域と参照画像の小領域とが対応しない場合には、問合せ画像と参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出することを特徴とする。

本発明による画像類似度算出システムの好ましい一態様は、例えば、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、小領域類似度から、問合せ画像の画像全体と参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段とを備え、小領域類似度算出手段は、問合せ画像の小領域と参照画像の小領域とが対応しない場合には、問合せ画像と参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する構成である。このような構成を採用し、画像の局所領域ごとに加工処理が施される確率を考慮して問合せ画像を小領域に分割して特徴量を抽出することにより、画像類似度の算出に用いる特徴量を加工処理の確率モデルに応じて適切に抽出することができ、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができる。

本発明による画像類似度算出システムの好ましい一態様は、例えば、入力として与えられる加工処理が施された問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、局所領域加工確率にもとづいて問合せ画像を小領域に分割する画像分割手段と、分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、小領域類似度から、問合せ画像の画像全体と参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段とを備え、領域類似度算出手段は、問合せ画像の小領域と参照画像の小領域とが対応しない場合には、問合せ画像と参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する構成である。このような構成を採用し、画像の局所領域ごとに加工処理が施される確率を考慮して問合せ画像を小領域に分割して特徴量を抽出することにより、加工確率に応じて小領域ごとに画像類似度の算出に用いる最適な特徴量を抽出でき、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができる。

本発明の第１の効果は、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができることである。その理由は、画像類似度の算出に用いる特徴量を、画像の局所領域ごとに加工処理が施される確率に応じて画像を適切に分割して得られる小領域から抽出することにより、加工処理が施された確率の高い領域の影響を軽減し、また加工画像と元画像間の類似度を適切に算出するのに有効な加工確率の低い領域を有効に使用することができるためである。

本発明の第２の効果は、加工処理が施された画像から元画像を精度良く検索することができることである。その理由は、加工処理が施された画像と元画像間の画像類似度を高い値として算出できる第１の効果を有する画像類似度の算出方法を利用して画像の検索を行うためである。

実施の形態１．
本発明の第1の実施の形態について図面を参照して説明する。本発明の第１の実施の形態は、特徴量抽出部１１と、画像類似度算出部１２と、加工確率モデル推定手段（加工確率算出手段の一例）１３とを備えている。

加工確率モデル推定手段１３は、入力として与えられる加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を画像分割手段１１１に出力する。局所領域は、後述する画像分割手段１１１における画像の小領域分割方法を決定する際に参照されるため、画像の各画素を局所領域とするなど、できるだけ小さく分割した領域とするのが望ましいが、任意の大きさや形状に分割した領域としてもよい。加工処理とは、画像の絵柄を部分的に変化させる処理のことをいう。加工処理とは、画像の絵柄を部分的に変化させる処理のことをいう。加工処理の例として、画像に対するテロップ・字幕やキャラクターなどの重畳オブジェクトのオーバーレイ、画像の一部の切り抜き・切り出し、画像の一部に対するモザイク処理、画像の一部に対するぼかし処理などがある。

学習画像とは、加工確率モデル推定手段１３が局所領域加工確率を算出するための元になる１つまたは複数の加工処理が施された画像である。例えば、本発明が、映像編集装置に適用される場合には、加工処理が施された任意の映像を構成するフレーム画像を学習画像として用いることができる。また、学習画像は１種類に限られず、例えば、ニュース番組として使用されるニュース画像、スポーツ番組として使用されるスポーツ画像、バラエティ番組として使用されるバラエティ画像など、画面においてテロップ挿入などの加工処理が施される場所に特徴があると想定される種別ごとに分類されていてもよい。例えば、スポーツ画像については、画面における周辺部分に加工処理が施される可能性が高いと想定され、バラエティ番組画像については、画面における中央部分に加工処理が施される可能性が高いと想定される場合などに、スポーツ画像用の学習画像と、バラエティ番組画像用の学習画像とを使い分ければよい。この場合には、加工確率モデル推定手段１３は、種別毎の局所領域加工確率を算出する。なお、ユーザが問合せ画像の種別を指定することにより、問合せ画像の種別に対応した局所領域加工確率を使用することができる。

加工処理が施された学習画像が入力として与えられる場合は、学習画像において加工処理が施された領域を特定し、局所領域加工確率を計測する。加工処理が施された領域を特定する方法としては、人手によって行ってもよいし、例えば特開２００３−１７９８８８号公報に記載されているような画像情報と文字情報とを分離する方法（以下、テロップ検出方法という。）などの加工処理を自動的に検出する方法を用いてもよい。加工処理を施す機器の特性が入力として与えられる場合は、当該機器が画像に対して施す加工パターンおよび各加工パターンの使用頻度の情報にもとづいて、局所領域加工確率を計測する方法がある。

機器特性の一例として、加工処理を施す機器が画像に対して施す加工のパターンおよび各加工パターンの使用頻度の情報がある。例えば、本発明が、映像編集装置に適用される場合には、ある映像編集装置を用いたときに画面における特定の１つまたは複数の領域に加工処理が施される可能性が高いと想定され、他の映像編集装置を用いたときに画面における別の特定の１つまたは複数の領域に加工処理が施される可能性が高いと想定される場合に、それらの領域を加工処理が施される領域として示す情報を、加工のパターンを示す情報として使用することができる。また、例えば、スポーツ画像については、画面における周辺領域に加工処理が施される可能性が高いと想定され、バラエティ番組画像については、画面における中央領域に加工処理が施される可能性が比較的高いと想定される場合などに、それらの領域を加工処理が施される領域として示す情報を加工のパターンを示す情報として使用することができる。つまり、本来的な意味での機器の特性だけでなく、一の機器（例えばテロップ挿入装置）が用いられる場合でも画像の種別に応じて加工のパターンを変えるときには、それぞれの加工パターンおよび各加工パターンの使用頻度の情報は、機器特性に含まれる。

特徴量抽出部１１は、画像分割手段１１１と、小領域特徴量抽出手段１１２とを含む。

画像分割手段１１１は、加工確率モデル推定手段１３から入力される局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を不均一の大きさの小領域に分割し、小領域に分割された問合せ画像を小領域特徴量抽出手段１１２に出力する。

画像を小領域に分割する方法として、局所領域加工確率にもとづいて、加工確率が高い画像領域は大きく分割し、加工確率が低い画像領域は細かく分割するのが望ましい。加工確率が高い領域を粗く、加工確率が低い領域を細かく分割することで、加工処理が施された確率の高い領域の影響を軽減し、また加工画像と元画像間の画像類似度を算出するのに有効な加工確率の低い領域から特徴量を多く抽出することができるためである。また、局所領域加工確率にもとづいて、分割して得られる小領域の加工確率が等しくなるように分割する方法もある。この場合、小領域の加工確率は、中に含む局所領域の平均値として算出することができる。また、画像全体を小領域に分割する必要もなく、局所領域加工確率にもとづいて、加工確率の低い画像領域のみを分割する方法もある。小領域の形状は矩形、円形、三角形など任意の形状に分割してよい。また、小領域の一部が重複するように分割してもよい。

小領域特徴量抽出手段１１２は、画像分割手段１１１から入力される小領域に分割された問合せ画像から各小領域の特徴量を抽出し、抽出された問合せ画像の小領域特徴量を小領域類似度算出手段１２１に出力する。抽出する小領域特徴量の例として、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。

色情報の小領域特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。ここでの画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔＣｏｌｏｒ、ＣｏｌｏｒＬａｙｏｕｔ、ＳｃａｌａｂｌｅＣｏｌｏｒ、ＣｏｌｏｒＳｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。エッジ情報の小領域特徴量の例としては、各小領域の大局的なエッジパターンを、複数あるエッジパターンの中の最も合致するパターンとして記述する特徴量（以後、エッジ要素特徴量と呼ぶ）を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＥｄｇｅＨｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅやＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＲｅＲｅｇｉｏｎＳｈａｐｅ、ＣｏｎｔｏｕｒＳｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。

また、問合せ画像が動画像のフレーム画像である場合は、小領域特徴量として動き情報を用いてもよい。動き情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎやＭｏｔｉｏｎＡｃｔｉｖｉｔｙなどがある。

小領域類似度算出手段１２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１２２に出力する。

小領域類似度の算出方法は、使用する小領域特徴量に応じて任意に定められる。例えば、小領域の色の平均値、最頻度値、メディアン値などの代表値を小領域特徴量として用いた場合は、使用している表色空間における距離値や相関値にもとづいて類似度を算出する方法がある。色やエッジ要素の出現ヒストグラムを小領域特徴量として用いる場合は、ヒストグラム間の類似度を算出する方法がある。

また、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔＣｏｌｏｒ、ＣｏｌｏｒＬａｙｏｕｔ、ＳｃａｌａｂｌｅＣｏｌｏｒ、ＣｏｌｏｒＳｔｒｕｃｔｕｒｅ、ＥｄｇｅＨｉｓｔｏｇｒａｍ、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅ、ＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇ、ＲｅｇｉｏｎＳｈａｐｅ、ＣｏｎｔｏｕｒＳｈａｐｅ、Ｓｈａｐｅ３Ｄ、ＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎ、ＭｏｔｉｏｎＡｃｔｉｖｉｔｙなどを小領域特徴量として用いた場合には、ＩＳＯ／ＩＥＣ１５９３８−３で推奨されている距離（類似度）計算法に従って類似度を算出することができる。

また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段１２２は、小領域類似度算出手段１２１から入力される小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。

なお、画像類似度算出システムは、コンピュータで実現可能であり、画像類似度算出システムを構成する各構成要素、すなわち、特徴量抽出部１１、画像類似度算出部１２、加工確率モデル推定手段１３は、コンピュータの処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。画像類似度算出システムを構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、他の実施の形態でも同様である。

次に、図１のブロック図および図２のフローチャートを参照して、第１の実施の形態の動作について説明する。

学習画像または機器特性が入力として与えられると（ステップＡ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する（ステップＡ２）。

図３は、加工確率モデル推定手段１３による局所領域加工確率の算出の仕方を説明する説明図である。図３に示す例では、画像データに対応する画像の領域は１６の局所領域に分けられている。加工確率モデル推定手段１３は、複数の学習画像のそれぞれの局所領域について加工処理が施されている場合には「１」とし、施されていない場合には「０」として、局所領域ごとに平均をとるなどの処理によって、局所領域ごとに加工処理が施される確率を算出する。すなわち、局所領域加工確率を示す確率モデルを推定する。なお、ここで説明した確率モデルの推定方法は一例であり、他の方法を用いてもよい。

加工処理が施された問合せ画像が入力として与えられると（ステップＡ３）、画像分割手段１１１は、ステップＡ２において算出された局所領域加工確率にもとづいて入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＡ４）。

小領域特徴量抽出手段１１２は、小領域分割された画像の各小領域の特徴量を問合せ画像小領域特徴量として抽出し、抽出された問い合わせ画像小領域特徴量を小領域類似度算出手段１２１に出力する（ステップＡ５）。参照画像の小領域特徴量が入力として与えられると（ステップＡ６）、小領域類似度算出手段１２１は、入力された参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１２２に出力する（ステップＡ７）。画像類似度算出手段１２２は、小領域類似度から問合せ画像と参照画像の画像全体の類似度を画像類似度として算出する（ステップＡ８）。最後に、算出された画像類似度を出力する（ステップＡ９）。

本発明の第１の実施の形態では、画像類似度の算出に用いる小領域の特徴量を、画像の局所領域ごとに加工処理が施される確率に応じて画像を適切に分割して得られた小領域から抽出している。このため、画像類似度の算出に用いる小領域の特徴量を、加工処理が施された確率の高い領域の影響を軽減し、加工画像と元画像間の類似度を適切に算出するのに有効な加工確率の低い領域を有効に使用して抽出できるため、加工処理が施された画像と元画像間の画像類似度を高い値として算出することができる。また、本発明の第１の実施の形態では、問合せ画像から加工処理が施された領域を検出する処理を必要とせず、また学習画像または機器特性から局所領域加工確率を算出しているため、あらかじめ別処理において局所領域加工確率を求めておくことができ、画像類似度の算出を高速に行うことができる。

なお、画像類似度算出手段１２２が、加工確率モデル推定手段１３が推定した画像に加工処理が施される確率モデル、具体的には、局所領域ごとに画像に加工処理が施される確率モデルを考慮して画像類似度を算出してもよいし、小領域類似度算出手段１２１が、確率モデルを考慮しながら、入力された参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出するようにしてもよい。例えば、加工処理が施される確率が高い小領域に対して小領域類似度を低めに調整する等の処理を施すようにしてもよい。また、小領域類似度算出手段１２１が、確率モデルを考慮しながら小領域類似度を算出してもよいことは、以下の実施の形態でも同様である。

また、加工確率モデル推定手段１３は、問合わせ画像の入力のそれぞれに対応したタイミングで局所領域加工確率を算出するという必要はない。例えば、本発明が適用される装置またはシステムの設置時や、その後の定期的な時期等に局所領域加工確率の算出処理を行えばよい。そして、加工確率モデル推定手段１３は、算出結果を保持し、問合わせ画像が入力されると、保持している局所領域加工確率を特徴量算出部１１に出力する。また、このことは、以下の各実施の形態における加工確率モデル推定手段についても同様である。

従って、あらかじめ局所領域加工確率を算出し、算出された局所領域加工確率をＲＯＭ等の記憶手段に格納してもよい。図４は、加工確率モデル推定手段１３に代えて、局所領域加工確率を記憶する記憶手段が設けられている第１の実施の形態の変形例を示すブロック図である。

図４に示す構成において、加工確率モデル記憶手段１３９は、局所領域加工確率を記憶している。局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域加工確率として、全ての画像に対して共通に使用する値を記憶しておいてもよいし、ニュース画像、スポーツ画像、バラエティ画像など、使用される画像の種別ごとに異なる値を記憶しておいてもよい。後者の場合において、ユーザが問合せ画像の種別を指定することにより、問合せ画像の種別に対応した局所領域加工確率を使用することができる。

図５は、加工確率モデル記憶手段１３９に記憶される局所領域加工確率の一例を示す説明図である。この例では、ニュース画像、スポーツ画像、バラエティ画像の各種別に応じて、画像の分割された局所領域ごとに加工処理が施される確率が記憶されている。ニュース画像やスポーツ画像では、画像の左上、右上、下部に加工処理が施される確率が高いため、該当する局所領域の局所領域加工確率の値が高くなっている。またバラエティ画像では、画像の中央部に加工処理が施される確率も高くなっている。

なお、図４に示す加工確率モデル記憶手段１３９以外の各ブロックの構成および動作は、図１に示された各ブロックの構成および動作と同じである。このような変形例によれば、演算機能を持つ加工確率モデル推定手段１３を備える必要がなくなる。

また、局所領域加工確率をフラッシュメモリなどの書き換え可能な記憶手段に記憶させ、局所領域加工確率が変更可能になるように構成してもよい。図６は、加工確率モデル推定手段１３に代えて、局所領域加工確率を記憶する書き換え可能な記憶手段が設けられている第１の実施の形態の他の変形例を示すブロック図である。

図６に示す構成において、加工確率モデル推定手段１３は、随時追加で入力される加工処理が施された学習画像または加工処理を施す機器の特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、算出された局所領域加工確率を加工確率モデル更新手段１４９に出力する。なお、加工確率モデル推定手段１３には、例えば、定期的に、または、加工確率モデルが大きく変わる可能性がある何らかの事象が生じたときなどに学習画像または加工処理を施す機器の特性が入力される。

加工確率モデル更新手段１４９は、加工確率モデル記憶手段１３９にあらかじめ記憶されている局所領域加工確率を読み込み、加工確率モデル記憶手段１３９から読み込んだ局所領域加工確率と、加工確率モデル推定手段１３から入力される局所領域加工確率とを用いて、局所領域加工確率を更新し、更新した局所領域加工確率を加工確率モデル記憶手段１３９に記憶させる。また、加工確率モデル更新手段１４９は、加工確率モデル記憶手段１３９から読み込んだ新たな局所領域加工確率を、そのまま加工確率モデル記憶手段１３９に記憶させることによって、局所領域加工確率を更新するようにしてもよい。

なお、図６に示す加工確率モデル更新手段１４９および加工確率モデル記憶手段１３９以外の各ブロックの構成および動作は、図１に示された各ブロックの構成および動作と同じである。このような変形例によれば、加工確率モデル記憶手段１３９に記憶されている局所領域加工確率を、適切な内容に維持することができる。

実施の形態２．
次に、本発明の第２の実施の形態について図面を参照して説明する。図７のブロック図に示すように、本発明の第２の実施の形態は、図１に示された第１の実施の形態における画像類似度算出部１２が、画像類似度算出部２２に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第１の実施の形態とは異なる。なお、この実施の形態のように参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する画像類似度算出システムは、画像検索システムを実現する。

参照画像群小領域特徴量記憶部２４は、事前に登録された複数の参照画像である参照画像群の小領域特徴量を記憶している。参照画像群小領域特徴量記憶部２４に記憶されている各参照画像の小領域特徴量に関する小領域は、画像分割手段１１１において分割される問合せ画像の小領域と対応しているのが望ましいが、問合せ画像の小領域とは異なる形状や大きさに分割されたものでもよい。

画像類似度算出部２２は、小領域類似度算出手段２２１と、画像類似度算出手段２２２とを含む。

小領域類似度算出手段２２１は、参照画像群小領域特徴量記憶部２４から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段２２２に出力する。

画像類似度算出手段２２２は、小領域類似度算出手段２２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を画像類似度として算出する。そして、算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２５に出力する。

画像類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。検索結果出力手段２５は、画像類似度算出手段２２２から入力される参照画像群の各参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する。検索結果としては、参照画像群の全参照画像の中から、最も画像類似度が大きい値を持つ参照画像を出力する方法がある。また参照画像群の各参照画像に対する画像類似度と、あらかじめ設定した閾値を比較し、画像類似度が閾値以上である参照画像を全て出力してもよい。

次に、図７のブロック図および図８のフローチャートを参照して、第２の実施の形態の動作について説明する。

学習画像または機器特性が入力として与えられると（ステップＢ１）、加工確率モデル推定手段１３は、入力された学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する（ステップＢ２）。

加工処理が施された問合せ画像が入力として与えられると（ステップＢ３）、画像分割手段１１１は、ステップＡ２において算出された局所領域加工確率にもとづいて入力された問合せ画像を小領域に分割し、小領域分割された画像を小領域特徴量抽出手段１１２に出力する（ステップＢ４）。次に、小領域特徴量抽出手段１１２は、小領域分割された画像の各小領域の特徴量を問合せ画像小領域特徴量として抽出し、抽出された問い合わせ画像小領域特徴量を小領域類似度算出手段１２１に出力する（ステップＢ５）。次に、参照画像群小領域特徴量記憶部２５から、１画像分の参照画像の小領域特徴量を読み込む（ステップＢ６）。

小領域類似度算出手段２２１は、読み込まれた１画像分の参照画像の小領域特徴量と問合せ画像小領域特徴量を比較して小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段２２２に出力する（ステップＢ７）。画像類似度算出手段２２２は、小領域類似度から読み込まれた１画像分の参照画像と問合せ画像の画像全体の類似度を画像類似度として算出する（ステップＢ８）。次に、参照画像群小領域特徴量記憶部２５に記憶されている全ての参照画像に対する画像類似度を算出したか否かを調べる（ステップＢ９）。画像類似度を算出していない参照画像が残っている場合は、ステップＢ６へ戻る。全ての参照画像に対する画像類似度が算出されている場合は、ステップＢ１０へ進む。最後に、検索結果出力手段２５は、全ての参照画像に対する画像類似度にもとづいて、参照画像群の中から問合せ画像に対する検索結果を出力する（ステップＢ１０）。

次に、本発明の第２の実施の形態の効果について説明する。本発明の第２の実施の形態では、本発明の第１の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。このため、加工処理が施された画像から元画像を精度良く検索することができる。まだ第１の実施の形態と同様に、問合せ画像から加工領域を検出する処理を必要とせず、あらかじめ局所領域加工確率を求めておくことができるため、画像検索を高速に行うことができる。

なお、第２の実施の形態でも、第１の実施の形態についての各変形例を適用することができる。すなわち、加工確率モデル推定手段１３に代えて加工確率モデル記憶手段１３９を設けてもよいし、加工確率モデル更新手段１４９と加工確率モデル記憶手段１３９とを設けてもよい。このことは、加工確率モデル推定手段を備えている他の実施の形態についても同様である。

実施の形態３．
次に、本発明の第３の実施の形態について図面を参照して説明する。図９のブロック図に示すように、本発明の第３の実施の形態は、特徴量抽出部３１と、画像類似度算出部１２と、加工領域検出手段（加工確率算出手段の一例）３３とを備えている。画像類似度算出部１２は、第１の実施の形態において備えられていたものと同じものである。従って、画像類似度算出部１２は、第１の実施の形態におけるそれと同様に動作する。

加工領域検出手段３３は、入力として与えられる加工処理が施された問合せ画像に対して、テロップ検出方法などの加工領域を自動的に検出する方法により、問合せ画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、算出された局所領域加工確率を画像分割手段３１１に出力する。局所領域は、後述する画像分割手段１１１における画像の小領域分割方法を決定する際に参照されるため、画像の各画素を局所領域とするなど、できるだけ小さく分割した領域とするのが望ましいが、任意の大きさや形状に分割した領域としてもよい。局所領域加工確率は、任意の確率値としてもよいし、１，０の２値の確率値としてもよい。

特徴量抽出部３１は、画像分割手段３１１と、小領域特徴量抽出手段３１２とを含む。

画像分割手段３１１は、加工領域検出手段３３から入力される局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を不均一の大きさの小領域に分割し、小領域分割された問合せ画像を小領域特徴量抽出手段３１２に出力する。

画像を小領域に分割する方法として、局所領域加工確率にもとづいて、加工確率が高い画像領域は大きく分割し、加工確率が低い画像領域は細かく分割するのが望ましい。加工確率が高い領域を粗く、加工確率が低い領域を細かく分割することで、加工処理が施された確率の高い領域の影響を軽減し、また加工画像と元画像間の画像類似度を算出するのに有効な加工確率の低い領域から特徴量を多く抽出することができるためである。また、局所領域加工確率にもとづいて、分割して得られる小領域の加工確率が等しくなるように分割する方法もある。この場合、小領域の加工確率は、中に含む局所領域の平均値として算出することができる。また、画像全体を小領域に分割する必要もなく、局所領域加工確率にもとづいて、加工確率の低い画像領域のみを分割する方法もある。局所領域加工確率が、１，０の２値の確率値として与えられている場合は、局所領域加工確率が０である領域のみを分割する方法がある。

小領域に分割する方法の例として、画像を、矩形、円形、三角形など任意の形状に分割してよい。また、小領域の一部が重複するように分割してもよい。

小領域特徴量抽出手段３１２は、画像分割手段３１１から入力される小領域分割された問合せ画像から各小領域の特徴量を抽出し、抽出された問合せ画像の小領域特徴量を小領域類似度算出手段１２１に出力する。抽出する小領域特徴量の例としては、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報などがあるが、これらに限ったものではない。

色情報の小領域特徴量の例としては、各小領域内の全画素値の平均値、最頻値、メディアン値などの代表値や、画素値の出現ヒストグラムなどがある。画素値とはＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間などの各種表色空間系の座標値のことである。また、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔＣｏｌｏｒ、ＣｏｌｏｒＬａｙｏｕｔ、ＳｃａｌａｂｌｅＣｏｌｏｒ、ＣｏｌｏｒＳｔｒｕｃｔｕｒｅなどの色情報に関する特徴量を用いてもよい。

エッジ情報の小領域特徴量の例としては、エッジ要素特徴量を用いてもよいし、各小領域内の局所的なエッジパターンの出現ヒストグラムを用いてもよい。また、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＥｄｇｅＨｉｓｔｏｇｒａｍを用いてもよい。テクスチャ情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅやＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇなどがある。形状情報の特徴量の例としては、ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＲｅＲｅｇｉｏｎＳｈａｐｅ、ＣｏｎｔｏｕｒＳｈａｐｅ、Ｓｈａｐｅ３Ｄなどがある。

本発明の第３の実施の形態では、第１の実施の形態と同様に、局所領域加工確率に応じて画像を適切に分割して得られた小領域から抽出した特徴量を用いて画像類似度を算出するが、局所領域加工確率を問合せ画像から直接算出している。学習画像または機器特性から学習的に局所領域加工確率を平均値として求める第１の実施の形態とは異なり、問合せ画像ごとに局所領域加工確率を算出するため、加工処理が施された画像と元画像間の画像類似度をより高い値として算出することができる。また、本実施の形態では、学習画像または機器特性の入力を必要としない。

実施の形態４．
次に、本発明の第４の実施の形態について図面を参照して説明する。図１０のブロック図に示すように、本発明の第４の実施の形態は、図９に示された第３の実施の形態における画像類似度算出部１２が、画像類似度算出部２２に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第３の実施の形態とは異なる。参照画像群小領域特徴量記憶部２５、画像類似度算出部２２および検索結果出力手段２５は、第２の実施の形態において備えられていたものと同じものである。従って、それらの動作は、第２の実施の形態におけるそれらの動作と同じである。また、加工領域検出手段３３は、第３の実施の形態におけるそれと同様に動作する。

本発明の第４の実施の形態では、第３の実施の形態の効果を有する画像類似度の算出方法を利用して画像の検索を行う。第２の実施の形態とは異なり、問合せ画像ごとに局所領域加工確率を算出するため、加工処理が施された画像から元画像をより高精度に検索することができる。また、第３の実施の形態と同様に、本実施の形態では学習画像または機器特性の入力を必要としない。

実施の形態５．
次に、本発明の第５の実施の形態について図面を参照して説明する。図１１のブロック図に示すように、本発明の第５の実施の形態は、図１に示された第１の実施の形態における画像類似度算出部１２が画像類似度算出部５２に置き換わり、それに加えて局所領域重み値算出手段５４を有し、加工確率モデル推定手段１３から出力される局所領域加工確率が局所領域重み値算出手段５４にも供給される点が第１の実施の形態とは異なる。

局所領域重み値算出手段５４は、加工確率モデル推定手段１３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出し、算出された局所領域重み値を画像類似度算出手段５２２に出力する。局所領域重み値は、当該局所領域の局所領域加工確率が低いほど、高い値に設定するのが有効である。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
として求める方法があるが、これに限ったものではなく、局所領域重み値を、局所領域加工確率が高い場合には低い値、局所領域加工確率が低い場合には高い値とするなど、画像類似度算出処理において、加工処理が施された確率の高い領域の影響を排除することができる他の算出方法を用いてもよい。

局所領域は、画像分割手段１１１において分割される小領域と対応するのが望ましいが、画像分割手段１１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段１１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。

画像類似度算出部５２は、小領域類似度算出手段５２１と、画像類似度算出手段５２２とを含む。

小領域類似度算出手段５２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段５２２に出力する。

また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。

問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段５２２は、小領域類似度算出手段５２１から入力される小領域類似度に対して、局所領域重み値算出手段５４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。

画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段５４から入力される局所領域重み値の局所領域が、小領域類似度算出手段５２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。

小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。

実施の形態６．
次に、本発明の第６の実施の形態について図面を参照して説明する。図１２のブロック図に示すように、本発明の第６の実施の形態は、図１１に示された第５の実施の形態における画像類似度算出部５２が、画像類似度算出部６２に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第５の実施の形態とは異なる。参照画像群小領域特徴量記憶部２４および検索結果出力手段２５は、本発明の第２の実施の形態において備えられていたものと同じものである。従って、参照画像群小領域特徴量記憶部２４は、第２の実施の形態におけるそれと同様の役割を果たす。

画像類似度算出部６２は、小領域類似度算出手段６２１と、画像類似度算出手段６２２とを含む。

小領域類似度算出手段６２１は、参照画像群小領域特徴量記憶部２４から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段６２２に出力する。

また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２４から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段６２２は、小領域類似度算出手段６２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段５４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２５に出力する。

画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段５４から入力される局所領域重み値の局所領域が、小領域類似度算出手段６２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。

小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。

また、局所領域重み値の局所領域分割方法が、小領域類似度の小領域分割方法と全く異なる形状や大きさの分割方法である場合は、小領域と重複する複数の局所領域の重み値を、重複する面積に比例した重み付けをして総和することで、小領域類似度の小領域に対応した重み値を生成することができる。

そして、検索結果出力手段２５は、第２の実施の形態の場合と同様に、検索結果を出力する。

実施の形態７．
次に、本発明の第７の実施の形態について図面を参照して説明する。図１３のブロック図に示すように、本発明の第７の実施の形態は、図９に示された第３の実施の形態における画像類似度算出部１２が画像類似度算出部７２に置き換わり、それに加えて局所領域重み値算出手段７４を有し、加工領域検出手段３３から出力される局所領域加工確率が局所領域重み値算出手段７４にも供給される点が第３の実施の形態とは異なる。

局所領域重み値算出手段７４は、加工領域検出手段３３から入力される局所領域加工確率にもとづいて、画像の各局所領域から抽出される特徴量が画像全体の類似度の算出にどの程度有効であるかを数値化した重み値を局所領域重み値として算出し、算出された局所領域重み値を画像類似度算出手段７２２に出力する。

局所領域は、画像分割手段３１１において分割される小領域と対応するのが望ましいが、画像分割手段３１１において分割される小領域を更に小さい複数の領域に分割したものでもよいし、画像の各画素を局所領域としてもよい。また、画像分割手段３１１における小領域分割方法とは異なる任意の形状や大きさに分割した領域を局所領域としてもよい。局所領域重み値の算出方法の一例として、
局所領域重み値＝１−局所領域加工確率
として求める方法がある。また、加工領域検出手段３３から入力される局所領域加工確率が１，０の２値の確率値として与えられる場合は、複数の局所領域を統合した領域を新たな局所領域とし、局所領域重み値を統合後の局所領域内に含まれる局所領域加工確率が０である統合前の局所領域の面積の割合として求める方法がある。

画像類似度算出部７２は、小領域類似度算出手段７２１と、画像類似度算出手段７２２とを含む。

小領域類似度算出手段７２１は、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段７２２に出力する。

また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。

問合せ画像の小領域と参照画像の小領域が画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。また、参照画像の小領域特徴量に関する小領域分割方法が、問合せ画像の小領域特徴量に関する小領域分割方法と全く異なる形状や大きさの分割方法である場合は、問合せ画像の各小領域と重複する参照画像の複数の小領域の小領域特徴量を、重複する面積に比例した重み付けをして総和することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段７２２は、小領域類似度算出手段７２１から入力される小領域類似度に対して、局所領域重み値算出手段７４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出し、算出された画像類似度を出力する。

画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段７４から入力される局所領域重み値の局所領域が、小領域類似度算出手段７２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。

実施の形態８．
次に、本発明の第８の実施の形態について図面を参照して説明する。図１４のブロック図に示すように、本発明の第８の実施の形態は、図１３に示された第７の実施の形態における画像類似度算出部７２が、画像類似度算出部８２に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第７の実施の形態とは異なる。参照画像群小領域特徴量記憶部２４および検索結果出力手段２５は、第２の実施の形態において備えられていたものと同じものである。従って、参照画像群小領域特徴量記憶部２４は、第２の実施の形態におけるそれと同様の役割を果たす。

画像類似度算出部８２は、小領域類似度算出手段８２１と、画像類似度算出手段８２２とを含む。

小領域類似度算出手段８２１は、参照画像群小領域特徴量記憶部２４から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段８２２に出力する。

また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量に関する小領域と、参照画像群小領域特徴量記憶部２４から読み込んだ参照画像の小領域特徴量に関する小領域が、画像分割方法が異なるために対応していない場合には、どちらかの画像の小領域特徴量から、もう一方の画像の小領域に対応した特徴量を補完したうえで、類似度を算出すればよい。例えば、参照画像の小領域特徴量に関する小領域が、問合せ画像の小領域特徴量に関する小領域をより小さい複数の領域に分割したものであるならば、参照画像の複数の小領域特徴量の平均値を算出することで、問合せ画像の小領域に対応した特徴量を生成することができる。

画像類似度算出手段８２２は、小領域類似度算出手段８２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段７４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を画像類似度として算出する。算出された参照画像群の各参照画像に対する画像類似度を検索結果出力手段２５に出力する。

画像類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段７４から入力される局所領域重み値の局所領域が、小領域類似度算出手段８２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。

実施の形態９．
次に、本発明の第９の実施の形態について図面を参照して説明する。図１５のブロック図に示すように、本発明の第９の実施の形態は、図１に示された第１の実施の形態における画像類似度算出部１２が画像類似度算出部９２に置き換わり、それに加えて一致判定閾値算出手段９４を有し、加工確率モデル推定手段１３から出力される局所領域加工確率が一致判定閾値算出手段９４にも供給される点が第１の実施の形態とは異なる。

一致判定閾値算出手段９４は、加工確率モデル推定手段１３から入力される局所領域加工確率にもとづいて、後述する画像類似度算出手段９２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段９２２に出力する。

最適な閾値の算出方法として、局所領域加工確率にもとづいて加工処理が施され部分的に絵柄の変化した加工画像と元の画像間で、画像類似度算出手段９２２において画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定し、推定された画像全体の類似度の生起確率分布にもとづいて加工が像と元画像を不一致と判定する確率が十分に小さいと判断できる閾値に設定する方法がある。画像全体の類似度の生起確率分布を推定する際に、加工処理による絵柄の変化の影響の他に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部９２は、小領域類似度算出手段９２１と、画像類似度算出手段９２２とを含む。

小領域類似度算出手段９２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段９２２に出力する。

画像類似度算出手段９２２は、小領域類似度算出手段９２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段９４から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。

画像全体の類似度の算出方法として、小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

実施の形態１０．
次に、本発明の第１０の実施の形態について図面を参照して説明する。図１６のブロック図に示すように、本発明の第１０の実施の形態は、図１５に示された第９の実施の形態における画像類似度算出部９２が、画像類似度算出部１０２０に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第９の実施の形態とは異なる。参照画像群小領域特徴量記憶部２４および検索結果出力手段２５は、第２の実施の形態において備えられていたものと同じものである。従って、参照画像群小領域特徴量記憶部２４は、第２の実施の形態におけるそれと同様の役割を果たす。

画像類似度算出部１０２０は、小領域類似度算出手段１０２１と、画像類似度算出手段１０２２とを含む。

小領域類似度算出手段１０２１は、参照画像群小領域特徴量記憶部２４から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１０２２に出力する。

画像類似度算出手段１０２２は、小領域類似度算出手段１０２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段９４から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２５に出力する。

検索結果出力手段２５は、第２の実施の形態の場合と同様に、検索結果を出力する。

実施の形態１１．
次に、本発明の第１１の実施の形態について図面を参照して説明する。図１７のブロック図に示すように、本発明の第１１の実施の形態は、図９に示された第３の実施の形態における画像類似度算出部１２が画像類似度算出部１１２０に置き換わり、それに加えて一致判定閾値算出手段１１４を有し、加工領域検出手段３３から出力される局所領域加工確率が一致判定閾値算出手段１１４にも供給される点が第３の実施の形態とは異なる。

一致判定閾値算出手段１１４は、加工領域検出手段３３から入力される局所領域加工確率にもとづいて、後述する画像類似度算出手段１１２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段１１２２に出力する。

最適な閾値の算出方法として、局所領域加工確率にもとづいて加工処理が施され部分的に絵柄の変化した加工画像と元の画像間で、画像類似度算出手段１１２２において画像の小領域ごとの類似度から求められる画像全体の類似度の生起確率分布を推定し、推定された画像全体の類似度の生起確率分布にもとづいて加工が像と元画像を不一致と判定する確率が十分に小さいと判断できる閾値に設定する方法がある。画像全体の類似度の生起確率分布を推定する際に、加工処理による絵柄の変化の影響の他に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部１１２０は、小領域類似度算出手段１１２１と、画像類似度算出手段１１２２とを含む。

小領域類似度算出手段１１２１は、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１１２２に出力する。

画像類似度算出手段１１２２は、小領域類似度算出手段１１２１から入力される小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１１４から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。

実施の形態１２．
次に、本発明の第１２の実施の形態について図面を参照して説明する。図１８のブロック図に示すように、本発明の第１２の実施の形態は、図１７に示された第１１の実施の形態における画像類似度算出部１１２０が、画像類似度算出部１２２０に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第１１の実施の形態とは異なる。参照画像群小領域特徴量記憶部２４および検索結果出力手段２５は、第２の実施の形態において備えられていたものと同じものである。従って、参照画像群小領域特徴量記憶部２４は、第２の実施の形態におけるそれと同様の役割を果たす。

画像類似度算出部１２２０は、小領域類似度算出手段１２２１と、画像類似度算出手段１２２２とを含む。

小領域類似度算出手段１２２１は、参照画像群小領域特徴量記憶部２４から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１２２２に出力する。

画像類似度算出手段１２２２は、小領域類似度算出手段１２２１から入力される参照画像群の各参照画像に対する小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１１４から出力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２５に出力する。

実施の形態１３．
次に、本発明の第１３の実施の形態について図面を参照して説明する。図１９のブロック図に示すように、本発明の第１３の実施の形態は、図１１に示された第５の実施の形態における画像類似度算出部５２が、画像類似度算出部１３２０に置き換わり、それに加えて一致判定閾値算出手段１３５を有し、局所領域重み値算出手段５４から出力される局所領域重み値が一致判定閾値算出手段１３５にも供給される点が第５の実施の形態とは異なる。

一致判定閾値算出手段１３５は、局所領域重み値算出手段５４から入力される局所領域重み値にもとづいて、後述する画像類似度算出手段１３２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段１３２２に出力する。画像類似度算出手段１３２２では、局所領域重み値から求められる小領域ごとの重み値により小領域ごとの類似度を重み付けして、加工処理の影響を排除したうえで画像全体の類似度を算出しているので、一致判定閾値は局所領域重み値を考慮して算出する。

最適な閾値の算出方法として、加工処理が施された画像と元の画像間で、画像類似度算出手段１３２２において局所領域重み値を作用させて加工処理の影響を排除して求められる画像全体の類似度の推定値を、局所領域重み値にもとづいて算出し、推定された画像全体の類似度にもとづいて、加工画像と元画像を不一致と判定する可能性が十分に低いと判断できる閾値に設定する方法がある。またこの際に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部１３２０は、小領域類似度算出手段１３２１と、画像類似度算出手段１３２２とを含む。

小領域類似度算出手段１３２１は、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１３２２に出力する。

また、類似度を１，０の２値判定結果としてもよい。例えば、エッジ要素特徴量を小領域特徴量として用いる場合は、エッジ要素が一致する場合には類似度を１、一致しない場合には類似度を０とする方法がある。ここで、入力として与えられる参照画像の小領域特徴量に関する小領域は、小領域特徴量抽出手段１２１から入力される問合せ画像の小領域特徴量に関する小領域と対応しているのが望ましい。対応する小領域を直接比較することができるためである。

画像類似度算出手段１３２２は、小領域類似度算出手段１３２１から入力される小領域類似度に対して、局所領域重み値算出手段５４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１３５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。

画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段５４から入力される局所領域重み値の局所領域が、小領域類似度算出手段１３２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。

また、画像全体の類似度を一致判定閾値を用いて修正する方法として、画像全体の類似度が一致判定閾値以上であれば類似度を１に、画像全体の類似度が一致判定閾値未満であれば類似度を０に修正する方法がある。

実施の形態１４．
次に、本発明の第１４の実施の形態について図面を参照して説明する。図２０のブロック図に示すように、本発明の第１４の実施の形態は、図１９に示された第１３の実施の形態における画像類似度算出部１３２０が、画像類似度算出部１４２０に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第１３の実施の形態とは異なる。参照画像群小領域特徴量記憶部２４および検索結果出力手段２５は、本発明の第２の実施の形態において備えられていたものと同じものである。従って、参照画像群小領域特徴量記憶部２４は、第２の実施の形態におけるそれと同様の役割を果たす。

画像類似度算出部１４２０は、小領域類似度算出手段１４２１と、画像類似度算出手段１４２２とを含む。

小領域類似度算出手段１４２１は、参照画像群小領域特徴量記憶部２４から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段１１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１４２２に出力する。

画像類似度算出手段１４２２は、小領域類似度算出手段１４２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段５４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１３５から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２５に出力する。

画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段５４から入力される局所領域重み値の局所領域が、小領域類似度算出手段１４２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。小領域類似度の小領域と、局所領域重み値の局所領域が対応していない場合には、局所領域重み値から小領域類似度の小領域に対応した重み値を補完すればよい。例えば、局所領域重み値の局所領域が、小領域類似度の小領域をより小さい複数の領域に分割したものであるならば、複数の局所領域重み値の平均値を算出することで、小領域類似度の小領域に対応した重み値を生成することができる。

実施の形態１５．
次に、本発明の第１５の実施の形態について図面を参照して説明する。図２１のブロック図に示すように、本発明の第１５の実施の形態は、図１３に示された第７の実施の形態における画像類似度算出部７２が、画像類似度算出部１５２０に置き換わり、それに加えて一致判定閾値算出手段１５５を有し、局所領域重み値算出手段７４から出力される局所領域重み値が一致判定閾値算出手段１５５にも供給される点が第７の実施の形態とは異なる。一致判定閾値算出手段１１４は、第１１の実施の形態において備えられていたものと同じものである。従って、一致判定閾値算出手段１１４は、第１の実施の形態におけるそれと同様に動作する。

一致判定閾値算出手段１５５は、局所領域重み値算出手段７４から入力される局所領域重み値にもとづいて、後述する画像類似度算出手段１６２２で求められる画像全体の類似度に対して、比較している２つの画像が一致するか否かを判定する最適な閾値を一致判定閾値として算出し、算出された一致判定閾値を画像類似度算出手段１６２２に出力する。画像類似度算出手段１６２２では、局所領域重み値から求められる小領域ごとの重み値により小領域ごとの類似度を重み付けして、加工処理の影響を排除したうえで画像全体の類似度を算出しているので、一致判定閾値は局所領域重み値を考慮して算出する。

最適な閾値の算出方法として、加工処理が施された画像と元の画像間で、画像類似度算出手段１６２２において局所領域重み値を作用させて加工処理の影響を排除して求められる画像全体の類似度の推定値を、局所領域重み値にもとづいて算出し、推定された画像全体の類似度にもとづいて、加工画像と元画像を不一致と判定する可能性が十分に低いと判断できる閾値に設定する方法がある。またこの際に、画像の再エンコードに起因するノイズ発生による特徴量の変動の影響も考慮してもよい。

画像類似度算出部１５２０は、小領域類似度算出手段１５２１と、画像類似度算出手段１５２２とを含む。

小領域類似度算出手段１５２１は、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量と、入力として与えられる参照画像の小領域特徴量を比較し、小領域ごとの特徴量の類似度を小領域類似度として算出し、算出された小領域類似度を画像類似度算出手段１５２２に出力する。

画像類似度算出手段１５２２は、小領域類似度算出手段１５２１から入力される小領域類似度に対して、局所領域重み値算出手段７４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１５５から入力される一致判定閾値を用いて修正し、修正された類似度を画像類似度として出力する。

画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段７４から入力される局所領域重み値の局所領域が、小領域類似度算出手段１５２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。

実施の形態１６．
次に、本発明の第１６の実施の形態について図面を参照して説明する。図２２のブロック図に示すように、本発明の第１６の実施の形態は、図２１に示された第１５の実施の形態における画像類似度算出部１５２０が、画像類似度算出部１５２０に置き換わり、それに加えて参照画像群小領域特徴量記憶部２４と検索結果出力手段２５を有する点が第１５の実施の形態とは異なる。参照画像群小領域特徴量記憶部２４および検索結果出力手段２５は、第２の実施の形態において備えられていたものと同じものである。従って、参照画像群小領域特徴量記憶部２４は、第２の実施の形態におけるそれと同様の役割を果たす。

画像類似度算出部１６２０は、小領域類似度算出手段１６２１と、画像類似度算出手段１６２２とを含む。

小領域類似度算出手段１６２１は、参照画像群小領域特徴量記憶部２４から複数の参照画像の小領域特徴量を１画像分ずつ読み込み、読み込んだ各参照画像の小領域特徴量と、小領域特徴量抽出手段３１２から入力される問合せ画像の小領域特徴量を比較し、小領域ごとに特徴量の類似度を小領域類似度として算出する。算出された参照画像群の各参照画像に対する小領域類似度を画像類似度算出手段１６２２に出力する。

画像類似度算出手段１６２２は、小領域類似度算出手段１６２１から入力される参照画像群の各参照画像に対する小領域類似度に対して、局所領域重み値算出手段７４から入力される局所領域重み値から求められる小領域ごとの重み値を用いて重み付けをし、求められた重み付けされた小領域類似度から画像全体の類似度を算出し、算出された画像全体の類似度を一致判定閾値算出手段１５５から入力される一致判定閾値を用いて修正する。修正された参照画像群の各参照画像に対する類似度を画像類似度として検索結果出力手段２５に出力する。

画像全体の類似度の算出方法として、重み付けされた小領域類似度の全小領域の総和として求める方法や、平均値として求める方法などがある。局所領域重み値算出手段７４から入力される局所領域重み値の局所領域が、小領域類似度算出手段１６２１から入力される小領域類似度の小領域と対応する場合は、局所領域重み値を直接小領域ごとの重み値として用いることができる。

本発明の第１の実施の形態の構成を示すブロック図である。本発明の第１の実施の形態の動作を示すフローチャートある。局所領域加工確率の算出の仕方を説明する説明図である。第１の実施の形態の変形例を示すブロック図である。加工確率モデル記憶手段に記憶される局所領域加工確率の一例を示す説明図である。第１の実施の形態の他の変形例を示すブロック図である。本発明の第２の実施の形態の構成を示すブロック図である。本発明の第２の実施の形態の動作を示すフローチャートある。本発明の第３の実施の形態の構成を示すブロック図である。本発明の第４の実施の形態の構成を示すブロック図である。本発明の第５の実施の形態の構成を示すブロック図である。本発明の第６の実施の形態の構成を示すブロック図である。本発明の第７の実施の形態の動作を示すフローチャートある。本発明の第８の実施の形態の構成を示すブロック図である。本発明の第９の実施の形態の構成を示すブロック図である。本発明の第１０の実施の形態の構成を示すブロック図である。本発明の第１１の実施の形態の構成を示すブロック図である。本発明の第１２の実施の形態の構成を示すブロック図である。本発明の第１３の実施の形態の構成を示すブロック図である。本発明の第１４の実施の形態の構成を示すブロック図である。本発明の第１５の実施の形態の構成を示すブロック図である。本発明の第１６の実施の形態の構成を示すブロック図である。

符号の説明

１１特徴量抽出部
１１１画像分割手段
１１２小領域特徴量抽出手段
１２画像類似度算出部
１２１小領域類似度算出手段
１２２画像類似度算出手段
１３加工確率モデル推定手段
２２画像類似度算出部
２２１小領域類似度算出手段
２２２画像類似度算出手段
２４参照画像群小領域特徴量記憶部
２５検索結果出力手段
３１特徴量抽出部
３１１画像分割手段
３１２小領域特徴量抽出手段
３３加工領域検出手段
５２画像類似度算出部
５２１小領域類似度算出手段
５２２画像類似度算出手段
６２画像類似度算出部
６２１小領域類似度算出手段
６２２画像類似度算出手段
７２画像類似度算出部
７２１小領域類似度算出手段
７２２画像類似度算出手段
７４局所領域重み値算出手段
８２画像類似度算出部
８２１小領域類似度算出手段
８２２画像類似度算出手段
９２画像類似度算出部
９２１小領域類似度算出手段
９２２画像類似度算出手段
９４一致判定閾値算出手段
１０２０画像類似度算出部
１０２１小領域類似度算出手段
１０２２画像類似度算出手段
１１２０画像類似度算出部
１１２１小領域類似度算出手段
１１２２画像類似度算出手段
１１４一致判定閾値算出手段
１２２０画像類似度算出部
１２２１小領域類似度算出手段
１２２２画像類似度算出手段
１３２０画像類似度算出部
１３２１小領域類似度算出手段
１３２２画像類似度算出手段
１３５一致判定閾値算出手段
１４２０画像類似度算出部
１４２１小領域類似度算出手段
１４２２画像類似度算出手段
１５２０画像類似度算出部
１５２１小領域類似度算出手段
１５２２画像類似度算出手段
１５５一致判定閾値算出手段
１６２０画像類似度算出部
１６２１小領域類似度算出手段
１６２２画像類似度算出手段

Claims

画像の局所領域ごとに加工処理が施される確率にもとづいて問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出する特徴量抽出部と、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部とを備え、
前記画像類似度算出部は、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する
ことを特徴とする画像類似度算出システム。
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率算出手段と、
前記局所領域加工確率にもとづいて問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出する特徴量抽出部と、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部とを備え、
前記画像類似度算出部は、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する
ことを特徴とする画像類似度算出システム。
加工処理が施された問合せ画像から局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出する加工確率算出手段と、
前記局所領域加工確率にもとづいて前記問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出する特徴量抽出部と、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する画像類似度算出部とを備え、
前記画像類似度算出部は、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する
ことを特徴とする画像類似度算出システム。
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
前記局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段とを備え、
前記小領域類似度算出手段は、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する
ことを特徴とする画像類似度算出システム。
入力として与えられる加工処理が施された問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
前記局所領域加工確率にもとづいて前記問合せ画像を小領域に分割する画像分割手段と、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段とを備え、
前記小領域類似度算出手段は、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する
ことを特徴とする画像類似度算出システム。
加工確率算出手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項２または３記載の画像類似度算出システム。
加工確率モデル推定手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項４記載の画像類似度算出システム。
加工領域検出手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項５記載の画像類似度算出システム。
問合せ画像における小領域が、局所領域加工確率にもとづいて、加工確率が高い画像領域を大きく分割し、加工確率が低い画像領域を細かく分割して得られた領域である請求項２〜８のうちのいずれか１項に記載の画像類似度算出システム。
問合せ画像における小領域が、局所領域加工確率にもとづいて、加工確率が等しくなるように分割して得られた領域である請求項２〜９のうちのいずれか１項に記載の画像類似度算出システム。
問合せ画像における小領域が、局所領域加工確率にもとづいて、加工確率が低い画像領域のみを分割して得られた領域である請求項２〜１０のうちのいずれか１項に記載の画像類似度算出システム。
問合せ画像または参照画像における小領域が、領域の一部が重複するように分割した領域である請求項１〜１１のいずれか１項に記載の画像類似度算出システム。
特徴量が、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報のうちの少なくとも１つの情報による特徴量である請求項１〜１２のうちのいずれか１項に記載の画像類似度算出システム。
特徴量が、ＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間のいずれかの表色空間系により規定される色座標の平均値、最頻値、メディアン値、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔＣｏｌｏｒ、ＣｏｌｏｒＬａｙｏｕｔ、ＳｃａｌａｂｌｅＣｏｌｏｒ、ＣｏｌｏｒＳｔｒｕｃｔｕｒｅ、ＥｄｇｅＨｉｓｔｏｇｒａｍ、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅ、ＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇ、ＣｏｎｔｏｕｒＳｈａｐｅ、Ｓｈａｐｅ３Ｄのうちの少なくとも１つの特徴量である請求項１〜１２のうちのいずれか１項に記載の画像類似度算出システム。
加工処理が、画像に対するテロップの重畳処理、画像に対する字幕の重畳処理、画像に対するキャラクターの重畳処理、画像に対するオブジェクトの重畳処理、画像の一部の切り抜き処理、画像の一部の切り出し処理、画像の一部に対するモザイク処理、画像の一部に対するぼかし処理のうちの少なくとも１つの処理である請求項１〜１４のうちのいずれか１項に記載の画像類似度算出システム。
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する加工確率モデル推定手段と、
前記局所領域加工確率にもとづいて入力として与えられる加工処理が施された問合せ画像を小領域に分割する画像分割手段と、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
事前に登録された複数の参照画像である参照画像群の小領域特徴量を記憶する参照画像群小領域特徴量記憶部と、
前記参照画像群小領域特徴量記憶部に記憶された参照画像群の各参照画像の小領域特徴量と、参照画像の小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記算出された前記参照画像群の各参照画像に対する小領域類似度から、前記問合せ画像の画像全体と前記参照画像群の各参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と、
前記算出された各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段とを備え、
前記小領域類似度算出手段は、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する
ことを特徴とする画像検索システム。
入力として与えられる加工処理が施された問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する加工領域検出手段と、
前記局所領域加工確率にもとづいて前記問合せ画像を小領域に分割する画像分割手段と、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する小領域特徴量抽出手段と、
事前に登録された複数の参照画像である参照画像群の小領域特徴量を記憶する参照画像群小領域特徴量記憶部と、
前記参照画像群小領域特徴量記憶部に記憶された参照画像群の各参照画像の小領域特徴量と、参照画像の小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する小領域類似度算出手段と、
前記算出された前記参照画像群の各参照画像に対する小領域類似度から前記問合せ画像の画像全体と前記参照画像群の各参照画像の画像全体との類似度を画像類似度として算出する画像類似度算出手段と、
前記算出された各参照画像に対する画像類似度にもとづいて、前記参照画像群の中から前記問合せ画像に対する検索結果を出力する検索結果出力手段とを備え、
前記小領域類似度算出手段は、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する
ことを特徴とする画像検索システム。
加工確率モデル推定手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項１６記載の画像検索システム。
加工領域検出手段は、局所領域加工確率を、加工処理が施された領域を自動的に検出する方法によって加工処理が施された領域を特定したうえで算出する請求項１７記載の画像検索システム。
問合せ画像における小領域が、局所領域加工確率にもとづいて、加工確率が高い画像領域を大きく分割し、加工確率が低い画像領域を細かく分割して得られた領域である請求項１６〜１９のうちのいずれか１項に記載の画像検索システム。
問合せ画像における小領域が、局所領域加工確率にもとづいて、加工確率が等しくなるように分割して得られた領域である請求項１６〜２０のうちのいずれか１項に記載の画像検索システム。
問合せ画像における小領域が、局所領域加工確率にもとづいて、加工確率が低い画像領域のみを分割して得られた領域である請求項１６〜２１のうちのいずれか１項に記載の画像検索システム。
問合せ画像または参照画像における小領域が、領域の一部が重複するように分割した領域である請求項１６〜２２のうちのいずれか１項に記載の画像検索システム。
特徴量が、色情報、エッジ情報、テクスチャ情報、形状情報、動き情報のうちの少なくとも１つの情報による特徴量である請求項１６〜２３のうちのいずれか１項に記載の画像検索システム。
特徴量が、ＲＧＢ表色空間、ＨＳＶ表色空間、ＹＵＶ表色空間、ＹＩＱ表色空間、ＹＣｂＣｒ表色空間、Ｌ＊ａ＊ｂ＊表色空間、ＸＹＺ表色空間のいずれかの表色空間系により規定される色座標の平均値、最頻値、メディアン値、国際標準規格ＩＳＯ／ＩＥＣ１５９３８−３に規定されているＤｏｍｉｎａｎｔＣｏｌｏｒ、ＣｏｌｏｒＬａｙｏｕｔ、ＳｃａｌａｂｌｅＣｏｌｏｒ、ＣｏｌｏｒＳｔｒｕｃｔｕｒｅ、ＥｄｇｅＨｉｓｔｏｇｒａｍ、ＨｏｍｏｇｅｎｅｏｕｓＴｅｘｔｕｒｅ、ＴｅｘｔｕｒｅＢｒｏｗｓｉｎｇ、ＣｏｎｔｏｕｒＳｈａｐｅ、Ｓｈａｐｅ３Ｄのうちの少なくとも１つの特徴量である請求項１６〜２３のうちのいずれか１項に記載の画像検索システム。
加工処理が、画像に対するテロップの重畳処理、画像に対する字幕の重畳処理、画像に対するキャラクターの重畳処理、画像に対するオブジェクトの重畳処理、画像の一部の切り抜き処理、画像の一部の切り出し処理、画像の一部に対するモザイク処理、画像の一部に対するぼかし処理のうちの少なくとも１つの処理である請求項１６〜２５のうちのいずれか１項に記載の画像検索システム。
複数の参照画像の中から問合せ画像と類似する画像を出力する画像検索システムにおいて、請求項１〜１５のうちのいずれか１項に記載の画像類似度算出システムを用い、算出される画像類似度にもとづいて、複数の参照画像の中から問合せ画像と類似する参照画像を出力する画像検索システム。
画像の局所領域ごとに加工処理が施される確率にもとづいて問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出し、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出し、
前記画像類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する
ことを特徴とする画像類似度算出方法。
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出し、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出し、
前記画像類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する
ことを特徴とする画像類似度算出方法。
加工処理が施された問合せ画像から局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて前記問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出し、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出し、
前記画像類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する
ことを特徴とする画像類似度算出方法。
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を小領域に分割し、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出し、
入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出し、
前記小領域類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する
ことを特徴とする画像類似度算出方法。
入力として与えられる加工処理が施された問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出し、
前記局所領域加工確率にもとづいて前記問合せ画像を小領域に分割し、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出し、
入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出し、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出し、
前記小領域類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する
ことを特徴とする画像類似度算出方法。
コンピュータに、
画像の局所領域ごとに加工処理が施される確率にもとづいて問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出する処理と、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理とを実行させ、
前記画像類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する処理を実行させる
ための画像類似度算出プログラム。
コンピュータに、
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出する処理と、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理とを実行させ、
前記画像類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する処理を実行させる
ための画像類似度算出プログラム。
コンピュータに、
加工処理が施された問合せ画像から局所領域ごとに画像に加工処理が施された確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて前記問合せ画像を小領域に分割し、前記問合せ画像の分割された小領域ごとに特徴量を抽出する処理と、
前記問合せ画像の分割された各小領域の特徴量と、あらかじめ分割された参照画像の対応する小領域の特徴量とを比較して、前記問合せ画像と前記参照画像との画像類似度を算出する処理とを実行させ、
前記画像類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する特徴量を、一方の画像の小領域の特徴量から算出する処理を実行させる
ための画像類似度算出プログラム。
コンピュータに、
学習画像または機器特性から、画像の局所領域ごとに加工処理が施される確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて、入力として与えられる加工処理が施された問合せ画像を小領域に分割する処理と、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する処理と、
入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する処理と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する処理とを実行させ、
前記小領域類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する処理を実行させる
ための画像類似度算出プログラム。
コンピュータに、
入力として与えられる加工処理が施された問合せ画像から、画像の局所領域ごとに加工処理が施された確率を局所領域加工確率として算出する処理と、
前記局所領域加工確率にもとづいて前記問合せ画像を小領域に分割する処理と、
前記分割された小領域から各小領域特徴量を問合せ画像小領域特徴量として抽出する処理と、
入力として与えられる参照画像の事前に用意された小領域特徴量である参照画像小領域特徴量と、参照画像小領域特徴量を有する小領域に対応する問合せ画像の小領域の前記問合せ画像小領域特徴量とを比較して、小領域ごとの特徴量の類似度を小領域類似度として算出する処理と、
前記小領域類似度から、前記問合せ画像の画像全体と前記参照画像の画像全体との類似度を画像類似度として算出する処理とを実行させ、
前記小領域類似度を算出するときに、前記問合せ画像の小領域と前記参照画像の小領域とが対応しない場合には、前記問合せ画像と前記参照画像とのうちの一方の画像における他方の画像の小領域に対応する小領域特徴量を、一方の画像の小領域特徴量から算出する処理を実行させる
ための画像類似度算出プログラム。