JP4136404B2 - 画像間類似度算出装置、画像間類似度算出方法、及び、プログラム - Google Patents
画像間類似度算出装置、画像間類似度算出方法、及び、プログラム Download PDFInfo
- Publication number
- JP4136404B2 JP4136404B2 JP2002069236A JP2002069236A JP4136404B2 JP 4136404 B2 JP4136404 B2 JP 4136404B2 JP 2002069236 A JP2002069236 A JP 2002069236A JP 2002069236 A JP2002069236 A JP 2002069236A JP 4136404 B2 JP4136404 B2 JP 4136404B2
- Authority
- JP
- Japan
- Prior art keywords
- vector group
- distance
- representative
- vector
- representative vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、二つの画像間の類似度、特に、二つの画像間の色分布に関する類似度を算出する画像間類似度算出装置及び方法、並びに、コンピュータにそのような画像間類似度の算出の機能を実現させるためのプログラムに関する。
【０００２】
【従来の技術】
二つの画像間の色情報、濃淡情報、背景、主要被写体、などの特徴を比較し、それら二つの画像間の類似度を算出する画像間類似度算出装置は、類似度を算出して類似画像を検索するシステム中によく用いられ、特開平１１−０９６３６８号公報、特開２０００−０２９８８５号公報、「Proc. of Int.Symposium on Multimedia Information Proccssing, Dec 1997.」等で知られている。
【０００３】
これらに開示されている画像間類似度算出手法では、図１２の（Ａ）及び（Ｂ）に示すように、一般的に、二つの比較対象画像１０１，１０２を入力し（ステップＳ１０１）、各比較対象画像１０１，１０２を特徴解析してから（ステップＳ１０２）、カラーヒストグラムやテクスチャ特徴量、形状特徴量等を一つの画像当たり一つの特徴量ベクトルとして表現する（ステップＳ１０３）。そして、画像間の類似度を算出する際は、これら特徴量ベクトル間のユークリッド距離やマンハッタン距離などの距離を計算し（ステップＳ１０４）、その距離（Distance）が小さいほど類似度が大きく（相対的に画像は類似している）、その距離が大きいほど類似度が小さく（相対的に画像は類似していない）なるように類似度を算出する（ステップＳ１０５）。
【０００４】
こうして算出された類似度の用途としては、一枚の画像に対し複数の画像との類似度を計算して類似度順に出力したり、類似度がある閾値以上（距離が閾値以下）のものをあるクラスとして出力したりするアプリケーションに用いられる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のような従来技術では、各画像に対しもともと多くの画素データ群からなる多くの特徴を一つのベクトルとしてしまうので、特徴量の抽出方法がかなり適切でないと情報の損失が大きくなり、画像の特徴を忠実に表現できない。
【０００６】
これを画像のカラーヒストグラム解析を例にとって説明する。ＲＧＢ空間で図１３のように分布している画素データを、ヒストグラム解析でＲＧＢ各軸に対してヒストグラム化する。このとき、各軸のヒストグラムデータを順に並べて一つの特徴量ベクトルとする。しかし、この場合、各データのＲＢＧ空間での３次元的な位置情報は欠落してしまう。従って、画像の特徴を忠実に表現できなくなってしまう。
【０００７】
また、画像の特徴（例えば、画素データの分布）は、画像によって大きく異なり、どんな分布形状でも特徴を忠実に表現しなければならないが、従来例では、画像の分布の仕方により特徴表現の忠実度が大きく異なってしまう。
【０００８】
以上のように画像の特徴が忠実に表現できないと、画像間の類似度も正確に表現することができない。
【０００９】
例えば、図１４の（Ａ）に示すように、第１比較対象画像１０１の分布（領域Ａ）と第２比較対象画像１０２の分布（領域Ｂ）が、類似した形状で位置も近い場合には、特徴量の抽出方法がそれほど適切でなくても、領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４との間の距離は小となり、二つの画像の間の距離は小、つまり、望ましい結果である類似度が高いという出力が得られる。また、図１４の（Ｂ）に示すように、分布形状にかかわらず位置が遠い場合には、特徴量の抽出方法がそれほど適切でなくても、領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４との間の距離は大となり、二つの画像の間の距離は大、つまり、望ましい結果である類似度が低いという出力が得られる。
【００１０】
これに対して、位置が近くても分布の形状が異なる場合には、特徴量の抽出方法がかなり適切でないと、即ち、図１４の（Ｃ）に示すように領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４とを抽出してしまうと、それら特徴ベクトル間の距離が小となり、二つの画像の間の距離は小、つまり、誤った結果である類似度が高いという出力が得られてしまうことになる。同様に、図１４の（Ｄ）に示すように、位置が近くても、一方（領域Ａ）が他方（領域Ｂ）を大きく包含するほど分布の大きさが大きく異なる場合にも、特徴量の抽出方法がかなり適切でないと、領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４との間の距離が小となり、二つの画像の間の距離は小、つまり、誤った結果である類似度が高いという出力が得られてしまうことになる。
【００１１】
本発明は、上記の点に鑑みてなされたもので、二つの画像間の色分布に関する類似度を算出するとき、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像間の色分布に関する類似度を正確に表現できる画像間類似度算出装置、画像間類似度算出方法、及び、プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明による画像間類似度算出装置は、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出装置であって、上記第１比較対象画像と前記第２比較対象画像とを入力する画像入力部と、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出する特徴量ベクトル群算出部と、上記第１特徴量ベクトル群からみた上記第２特徴量ベクトル群の相対距離を示す第１から第２へのベクトル群間距離を、上記第１特徴量ベクトル群の各ベクトルと上記第２特徴量ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２特徴量ベクトル群からみた上記第１特徴量ベクトル群の相対距離を示す第２から第１へのベクトル群間距離を、上記第２特徴量ベクトル群の各ベクトルと上記第１特徴量ベクトル群中の最隣接ベクトルとの距離を用いて算出するベクトル群間距離算出部と、上記第１から第２へのベクトル群間距離と上記第２から第１へのベクトル群間距離とのうち、大きい方を画像間距離として選択する距離選択部と、上記画像間距離を用いて上記色分布間の類似度を定義し出力する類似度出力部とを備えることを特徴とする。
【００１３】
即ち、本発明の画像間類似度算出装置によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できる画像間類似度算出装置を提供できる。
なお、上記特徴量ベクトル群算出部で算出する上記第１特徴量ベクトル群のベクトル数と上記第２特徴量ベクトル群のベクトル数とが同数であり、上記ベクトル群間距離算出部で算出する上記第１から第２へのベクトル群間距離は、上記第１特徴量ベクトル群の各ベクトルと上記第２特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第１特徴量ベクトル群の各ベクトルに関する総和とし、上記ベクトル群間距離算出部で算出する上記第２から第１へのベクトル群間距離は、上記第２特徴量ベクトル群の各ベクトルと上記第１特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第２特徴量ベクトル群の各ベクトルに関する総和としても良い。
あるいは、上記ベクトル群間距離算出部で算出する上記第１から第２へのベクトル群間距離は、上記第１特徴量ベクトル群の各ベクトルと上記第２特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第１特徴量ベクトル群の各ベクトルに関する平均とし、上記ベクトル群間距離算出部で算出する上記第２から第１へのベクトル群間距離は、上記第２特徴量ベクトル群の各ベクトルと上記第１特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第２特徴量ベクトル群の各ベクトルに関する平均としても良い。
【００１４】
また、本発明による画像間類似度算出装置は、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出装置であって、上記第１比較対象画像と上記第２比較対象画像とを入力する画像入力部と、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出する特徴量ベクトル群算出部と、上記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出する代表ベクトル群算出部と、上記第１代表ベクトル群からみた上記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２代表ベクトル群からみた上記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出する代表ベクトル群間距離算出部と、上記第１から第２への代表ベクトル群間距離と上記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択する距離選択部と、上記画像間距離を用いて上記色分布間の類似度を定義し出力する類似度出力部とを備えることを特徴とする。
【００１５】
即ち、本発明の画像間類似度算出装置によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できる画像間類似度算出装置を提供できる。しかも、抽出した特徴量ベクトル群すべてを使用するのではなく、各々の特徴量ベクトル群を代表する代表ベクトル群を単位とした群間の類似度を算出するようにしているので、全体としての演算量が少なくて済み、高速化が図れる。
【００１６】
なお、上記代表ベクトル群算出部で算出する上記第１代表ベクトル群のベクトル数と上記第２代表ベクトル群のベクトル数とが同数であり、上記代表ベクトル群間距離算出部で算出する上記第１から第２への代表ベクトル群間距離は、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離の、上記第１代表ベクトル群の各ベクトルに関する総和とし、上記代表ベクトル群間距離算出部で算出する上記第２から第１への代表ベクトル群間距離は、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離の、上記第２代表ベクトル群の各ベクトルに関する総和としても良い。
【００１７】
またこのとき、上記代表ベクトル群算出部で上記第１から第２への代表ベクトル群間距離を算出する際に、上記第２代表ベクトル群の総数に対する、上記第１代表ベクトル群の各ベクトルと最隣接する第２代表ベクトル数の割合を算出し、その割合が大きいほど上記第１から第２への代表ベクトル群間距離を小さくなるように補正し、上記代表ベクトル群算出部で上記第２から第１への代表ベクトル群間距離を算出する際に、上記第１代表ベクトル群の総数に対する、上記第２代表ベクトル群の各ベクトルと最隣接する第１代表ベクトル数の割合を算出し、その割合が大きいほど上記第２から第１への代表ベクトル群間距離を小さくなるように補正することが好ましい。
【００１８】
更には、上記代表ベクトル群間距離算出部で上記第１から第２への代表ベクトル群間距離を算出する際に、上記第１特徴量ベクトル群あるいは上記第１代表ベクトル群が属する上記色分布の大きさに応じて、その色分布の大きさが大きいほど、上記第１から第２への代表ベクトル群間距離を小さくなるように補正し、上記代表ベクトル群間距離算出部で上記第２から第１への代表ベクトル群間距離を算出する際に、上記第２特徴量ベクトル群あるいは上記第２代表ベクトル群が属する上記色分布の大きさに応じて、その色分布の大きさが大きいほど、上記第２から第１への代表ベクトル群間距離を小さくなるように補正するようにしても良い。
また、上記代表ベクトル群間距離算出部で算出する上記第１から第２への代表ベクトル群間距離は、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離の、上記第１代表ベクトル群の各ベクトルに関する平均とし、上記代表ベクトル群間距離算出部で算出する上記第２から第１への代表ベクトル群間距離は、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離の、上記第２代表ベクトル群の各ベクトルに関する平均としても良い。
【００１９】
また、本発明による画像間類似度算出方法は、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出方法であって、上記第１比較対象画像と上記第２比較対象画像とを入力し、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出し、上記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出し、上記第１代表ベクトル群からみた上記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２代表ベクトル群からみた上記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出し、上記第１から第２への代表ベクトル群間距離と上記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択し、上記画像間距離を用いて上記色分布間の類似度を定義し出力することを特徴とする。
【００２０】
即ち、本発明の画像間類似度算出方法によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できるようになる。しかも、抽出した特徴量ベクトル群すべてを使用するのではなく、各々の特徴量ベクトル群を代表する代表ベクトル群を単位とした群間の類似度を算出するようにしているので、全体としての演算量が少なくて済み、高速化が図れる。
【００２１】
また、本発明によるプログラムは、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する際に、コンピュータに、上記第１比較対象画像と上記第２比較対象画像とを入力する機能と、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出する機能と、上記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出する機能と、上記第１代表ベクトル群からみた上記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２代表ベクトル群からみた上記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出する機能と、上記第１から第２への代表ベクトル群間距離と上記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択する機能と、上記画像間距離を用いて上記色分布間の類似度を定義し出力する機能とを実現させるためのものである。
【００２２】
即ち、本発明のプログラムによれば、コンピュータに画像の特徴を比較すべき第１比較対象画像と第２比較対象画像に対し、画像の色分布間の類似度を算出させる場合に、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できるようになる。しかも、抽出した特徴量ベクトル群すべてを使用するのではなく、各々の特徴量ベクトル群を代表する代表ベクトル群を単位とした群間の類似度を算出するようにしているので、全体としての演算量が少なくて済み、高速化が図れる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
なお、以下に説明する各実施形態において、類似度とは、画像の色分布に関する類似度である。
【００２４】
［第１の実施の形態］
図２の（Ａ）は、本発明の第１の実施の形態に係る画像間類似度算出装置の構成を示す図で、該画像間類似度算出装置は、入力装置１０と、演算装置２０、及び出力装置３０から構成されている。
【００２５】
ここで、上記入力装置１０は、画像の特徴を比較すべき画像を入力するためのものであり、例えば、ＦＤやＣＤ−ＲＯＭ等の記録媒体から画像を読み出すものや、画像読み取りを行うスキャナ、或いは、インターネットやＬＡＮ等のネットワークを介して入力するものであっても良い。更には、デジタルカメラ等から直接入力できるものとしても良い。
【００２６】
また、上記演算装置２０は、画像間類似度を算出するための各種演算を行うものであり、専用の装置としても良いし、パーソナルコンピュータ等で構成しても良い。この演算装置２０は、ＣＰＵ２０Ａと、該ＣＰＵ２０Ａで実行するプログラムを記憶したプログラムメモリ２０Ｂとを含む。該装置を専用のものとしたときには、このプログラムメモリ２０Ｂには、専用のプログラムが固定記憶されている。また、該装置をパーソナルコンピュータで構成する場合には、このプログラムメモリ２０Ｂに展開されるプログラムは、ＦＤやＣＤ−ＲＯＭ等の記録媒体から又はインターネットやＬＡＮ等のネットワークから該演算装置２０の不図示記録装置に予めインストールしてあるものを読み出すことで得ても良いし、上記記録媒体又はネットワークから必要に応じて読み込んで得るものとしても良い。
【００２７】
更に、このプログラムメモリ２０Ｂには、算出された画像類似度を使用するアプリケーションプログラムも記憶されることができる。そのアプリケーションとしては、例えば、画像データベースからの類似画像の検索や、一枚の画像に対し複数の画像との類似度を計算して類似度順に出力すること（カテゴライズ）、類似度がある閾値以上（距離が閾値以下）のものをあるクラスとして出力すること（グルーピング）、などである。
【００２８】
そして、上記出力装置３０は、上記アプリケーションの結果出力を行うためのディスプレイやプリンタである。或いは、結果をネットワークを介して外部に出力するものであっても良い。また勿論、アプリケーションの結果だけでなく、上記画像類度の算出結果を出力しても良い。
【００２９】
図１及び図２の（Ｂ）は、このような画像間類似度算出装置の機能ブロック図及び動作フローチャートを示す図である。
【００３０】
即ち、まず、上記入力装置１０の一機能部としての画像入力部１１で、特徴を比較すべき第１比較対象画像ａ１と第２比較対象画像ｂ１とを入力する（ステップＳ１）。
【００３１】
続いて、上記演算装置２０の一機能部としての特徴量ベクトル群算出部２１で、上記第１比較対象画像ａ１と上記第２比較対象画像ｂ１とから、各々の画像の特徴を示す、例えば画素のＲＧＢ値をベクトル化した、第１特徴量ベクトル群ａ２（第１比較対象画像ａ１から抽出）と第２特徴量ベクトル群ｂ２（第２比較対象画像ｂ１から抽出）とを算出する（ステップＳ２）。ここで、特徴量ベクトル群は、一般に、ベクトル数が非常に多いので、続いて、代表ベクトル群算出部２２で、上記第１特徴量ベクトル群ａ２と上記第２特徴量ベクトル群ｂ２とから、各々の特徴量ベクトル群を代表する第１代表ベクトル群ａ３と第２代表ベクトル群ｂ３とを算出する（ステップＳ３）。このとき、代表ベクトル群のベクトル数は、特徴量ベクトル群のベクトル数よりも少ない数とすれば良い。なお、特徴量ベクトル群の数が少ない場合や、計算能力の高いコンピュータを用いて実現する場合などは、代表ベクトル群は、特徴量ベクトル群そのものをそのまま用いても良い。
【００３２】
続いて、上記演算装置２０の一機能部としての代表ベクトル群間距離算出部２３では、上記第１代表ベクトル群ａ３からみた上記第２代表ベクトル群ｂ３の相対距離を示す第１から第２への代表ベクトル群間距離ａｂと、その逆の上記第２代表ベクトル群ｂ３からみた上記第１代表ベクトル群ａ３の相対距離を示す第２から第１へのベクトル群間距離ｂａとを算出する（ステップＳ４）。
【００３３】
ベクトル群間の相対距離は、一般化して記述すると、次のように設定すれば良い。図３に概念図を示すように、第１代表ベクトル群ａ３が構成する領域を領域Ａ、第２代表ベクトル群ｂ３が構成する領域を領域Ｂと設定すれば、上記第１から第２へのベクトル群間距離ａｂは、領域Ａ中の各点から領域Ｂに最短で到達するまでの距離の総和又は平均と考え、また、上記第２から第１へのベクトル群間距離ｂａは、領域Ｂ中の各点から領域Ａに最短で到達するまでの距離の総和又は平均と考える。このとき、ベクトル数が同じであれば、各距離の総和をベクトル群間距離とすれば良いし、ベクトル数が異なる場合は、各距離の平均をベクトル群間距離とすれば良い。なお、総和、平均の概念は、領域Ａ乃至領域Ｂでの面積積分、及び、面積積分での規格化と置き換えても良い。ベクトル群間距離ａｂとベクトル群間距離ｂａは、領域の形状、相対的な位置関係により、一般には異なるので、相対距離と呼ぶこととする。この距離は、例えて言えば、領域を町、代表ベクトル群をその町に住んでいる人として、Ａ町の人がとにかくＢ町に行くのにどれくらい歩かないといけないかがＡ町からＢ町までの相対距離（Ａ町の人がＢ町をどれくらい近いと感じているか）、Ｂ町の人がとにかくＡ町に行くのにどれくらい歩かないといけないかがＢ町からＡ町までの相対距離（Ｂ町の人がＡ町をどれくらい近いと感じているか）となる（但し、町同士が重なることも有り得るとする）。
【００３４】
この相対距離は、図４の（Ａ）乃至（Ｄ）に示すように、以下のような性質を持つ。
【００３５】
ケース１． 二つのベクトル群が類似した分布形状で、且つ、位置も近ければ、両者（Ａ→Ｂ，Ｂ→Ａ）の相対距離とも非常に小さくなる（図４の（Ａ）参照）。
【００３６】
ケース２． 二つのベクトル群の分布形状にかかわらず、位置が遠いと、両者（Ａ→Ｂ，Ｂ→Ａ）の相対距離とも大きくなる（図４の（Ｂ）参照）。
【００３７】
ケース３． 二つのベクトル群の位置が近くても、分布の形状が異なると、次のケース４．の場合を除き、両者（Ａ→Ｂ，Ｂ→Ａ）の相対距離とも大きくなる（図４の（Ｃ）参照）。
【００３８】
ケース４． 二つのベクトル群の位置が近くても、一方（例えばＡ：分布大）が他方（例えばＢ：分布小）を大きく包含するほど分布の大きさが大きく異なると、両者（Ａ→Ｂ，Ｂ→Ａ）のうち、片方（Ｂ→Ａ）が小さく、片方（Ａ→Ｂ）が大きくなる（図４の（Ｄ）参照）。
【００３９】
上記代表ベクトル群間距離算出部２３で上述の相対距離を算出した後、上記演算装置２０の一機能部としての距離選択部２４で、上記第１から第２への代表ベクトル群間距離ａｂと上記第２から第１への代表ベクトル群間距離ｂａとのうち、大きい方を画像間距離ｃとして選択する（ステップＳ５）。即ち、画像間類似度の出力において重要なポイントは、類似している画像を類似度が高くなるように出力し、類似していない画像は類似度が低くなるように出力することである。二つの相対距離は、上記ケース１〜４の性質があるが、二つの相対距離のうち大きい方を画像間距離として選択することで、上記ケース１以外は全て類似度が低くなる（即ち、距離が大きくなる）ようにすることが可能になり、上述のポイントを実現できる。
【００４０】
従って、図１４の（Ｃ）及び（Ｄ）を参照して説明した従来技術のように、領域Ａの特徴量ベクトルと領域Ｂの特徴量ベクトルとを不適切に抽出してしまったときに画像間距離が小と判別されてしまうことはなく、本実施の形態では、画像間距離が大であると正しく判別されることができる。
【００４１】
そして、上記演算装置２０の一機能部としての類似度出力部２５で、上記選択された画像間距離ｃを用いて画像間類似度を定義し出力する（ステップＳ６）。一般に、画像間距離が大きい方が類似度が低く、画像間距離が小さい方が類似度が高い。画像間類似度の出力定義は、本画像間類似度算出装置をどのように利用するかによって設定すれば良い。二つの画像間の類似度が高いほど類似度出力を大きく定義したい場合は、距離が小さいほど算出類似度が高くなるように画像間距離の逆数を類似度として設定すれば良いし、二つの画像間の類似度が高いほど類似度出力を小さく定義したい場合は、画像間距離をそのまま類似度として設定すれば良い。
【００４２】
こうして画像間類似度が定義されたならば、後は、所望のアプリケーションを該画像間類似度を使用して実行し、結果を上記出力装置３０により出力することになる（ステップＳ７）。例えば、類似度出力部２５によって数値として出力された画像間類似度を閾値処理し、その閾値以上の画像間類似度を持つ画像をディスプレイに表示出力するような類似画像検索アプリケーションなどが考えられる。
【００４３】
以下、類似度算出手法について、図５の（Ａ）乃至図５の（Ｄ）を参照して、より具体的に説明する。なおここでは、図５の（Ａ）に示すような画像ペアの画像間類似度を算出することを考える。
【００４４】
まず、上記画像入力部１１で、特徴を比較し類似度を算出すべき第１比較対象画像ａ１と第２比較対象画像ｂ１（図５の（Ａ）参照）を入力する。これらの画像は、例えば、市販の電子画像集（ＣＤ−ＲＯＭ）から入力することなどが考えられる。
【００４５】
続いて、上記特徴量ベクトル群算出部２１では、上記第１比較対象画像ａ１と上記第２比較対象画像ｂ１から、各々の画像の特徴を示す特徴量として、画素のＲＧＢ値をベクトル化した第１特徴量ベクトル群ａ２（第１比較対象画像ａ１から抽出）と第２特徴量ベクトル群ｂ２（第２比較対象画像ｂ１から抽出）とを算出する（図５の（Ｂ）参照）。
【００４６】
続いて、上記代表ベクトル群算出部２２では、上記第１特徴量ベクトル群ａ２と上記第２特徴量ベクトル群ｂ２から、各々の特徴量ベクトル群を代表する第１代表ベクトル群ａ３と第２代表ベクトル群ｂ３とを算出する（図５の（Ｃ）参照）。この代表ベクトル群の算出は、例えば、自己組織化特徴マッピング、Ｋ−ｍｅａｎｓ法などのクラスタリング法やベクトル量子化法を用いて行えば良い。なお、代表ベクトル群のベクトル数は、特徴量ベクトル群のベクトル数よりも少ない数と設定するが、各画像毎に必ずしも同数にそろえないこととする（勿論、同数にそろえても良い）。また、特徴量ベクトル群の数が少ない場合や計算能力の高いコンピュータを用いて実現する場合などは、特徴量ベクトル群を代表ベクトル群としてそのまま用いても良い。
【００４７】
続いて、上記代表ベクトル群間距離算出部２３では、上記第１代表ベクトル群ａ３からみた上記第２代表ベクトル群ｂ３の相対距離を示す第１から第２への代表ベクトル群間距離ａｂと、上記第２代表ベクトル群ｂ３からみた上記第１代表ベクトル群ａ３の相対距離を示す第２から第１へのベクトル群間距離ｂａとを算出する（図５の（Ｄ）参照）。ベクトル群間距離としては、前述したように様々な数式定義が可能であるが、ここでは、第１から第２へのベクトル群間距離ａｂは、第１代表ベクトル群ａ３の各点から第２代表ベクトル群ｂ３中の最隣接の代表ベクトルとの距離の平均、同様に第２から第１へのベクトル群間距離ｂａは、第２代表ベクトル群ｂ３の各点から第１代表ベクトル群ａ３中の最隣接の代表ベクトルとの距離の平均とする。なお、前述したように総和の概念は、第１代表ベクトル群ａ３が占める領域Ａ乃至は第２代表ベクトル群ｂ３が占める領域Ｂでの面積積分と、また、平均の概念は面積積分値での規格化と、それぞれ数式的に置き換えても構わない。
【００４８】
上記代表ベクトル群間距離算出部２３で上述の相対距離を算出した後、上記距離選択部２４で、第１から第２への代表ベクトル群間距離ａｂ（図５の（Ｄ）では「５．０」）と第２から第１への代表ベクトル群間距離ｂａ（図５の（Ｄ）では「５．５」）のうち、大きい方（図５の（Ｄ）では「５．５」）を画像間距離ｃとして選択する。なお、図中の距離値はあくまでも説明のために仮に設定した値である。
【００４９】
最後に、上記類似度出力部２５で、上記画像間距離ｃを用いて画像間類似度を定義し出力する。画像間類似度の定義設定としては、画像間距離ｃをそのまま類似度とするようにする。これは、二つの画像間の類似度が高いほど類似度出力を小さく定義したことに相当する。図５の（Ａ）の例では、二つの画像間の類似度出力は小さく（距離が小さい：「５．５」）、画像間の類似度は高いということなる。
【００５０】
同様に、図６の（Ａ）乃至図６の（Ｄ）に、あまり似ていない画像ペアの例を示す。この例の場合は、距離ａ→ｂ（「５０．０」）と距離ｂ→ａ（「７．０」）で大きい方を選択した結果、類似度出力は大きくなり（距離が大きい：「５０．０」）、画像間の類似度は低いという結果となる。このとき、距離ｂ→ａでは「７．０」という小さい値で類似度は高く見えてしまうが、大きい方を選択することにより、結果としての距離が大きくなり、類似度を低いとして出力できる効果があることに注目されたい。
【００５１】
以上、第１の実施形態を説明したが、本実施形態によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出している。ベクトル群間の類似度は上述してきたように、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力する作用を実現できる性質がある。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像間の類似度を正確に表現できる画像間類似度算出装置を提供できる。
【００５２】
［第２の実施の形態］
次に、図７を参照して、本発明の第２の実施の形態を説明する。
【００５３】
本実施の形態の構成は、上記第１の実施の形態と同様であり、また、動作も、上記代表ベクトル群間距離算出部２３の機能を除いては同様である。よって、この代表ベクトル群間距離算出部２３についてのみ説明を行うものとし、その他の説明は省略する。
【００５４】
即ち、本実施の形態においては、上記代表ベクトル群算出部２２で算出する第１代表ベクトル群ａ３のベクトル数と上記第２代表ベクトル群ｂ３のベクトル数とを同数とする。そして、上記代表ベクトル群間距離算出部２３で算出する上記第１から第２への代表ベクトル群間距離ａｂは、上記第１代表ベクトル群ａ３の各ベクトルと上記第２代表ベクトル群ｂ３中の最隣接ベクトルとの距離を、上記第１代表ベクトル群ａ３の各ベクトルに関して総和をとった値とする。
【００５５】
同様に、上記第２から第１への代表ベクトル群間距離ｂａは、上記第２代表ベクトル群ｂ３の各ベクトルと上記第１代表ベクトル群ａ３中の最隣接ベクトルとの距離を、上記第２代表ベクトル群ｂ３の各ベクトルに関して総和をとった値とする。
【００５６】
即ち、前述したようにベクトル群間距離を求めるにはいろいろな算出方法が考えられるが、このように各ベクトル群毎の代表ベクトル群のベクトル数をそろえておくと、各画像毎の特徴量ベクトル群のベクトルの個数によらず、距離算出の計算量を一定に保つことができるという利点がある。特徴量ベクトル群のベクトルの個数は、画像のサイズなどによって画像毎に変動することが多いが、本実施形態のようにしておくと、画像のサイズによらず、距離算出の計算量が一定に保たれ、代表ベクトル数を一定の個数以下に設定しておけば、計算量の削減につなげることが可能である。
【００５７】
［第３の実施の形態］
次に、図８、図９の（Ａ）及び（Ｂ）を参照して、本発明の第３の実施の形態を説明する。
【００５８】
本実施の形態の構成は、上記第１の実施の形態と同様であり、また、動作も、上記代表ベクトル群間距離算出部２３の機能を除いては同様である。よって、この代表ベクトル群間距離算出部２３についてのみ説明を行うものとし、その他の説明は省略する。
【００５９】
即ち、本実施の形態においては、上記代表ベクトル群間距離算出部２３で、上記第１から第２への代表ベクトル群間距離ａｂを算出する際に、まず、上記第２代表ベクトル群ｂ３のうち、上記第１代表ベクトル群ａ３の各ベクトルと最隣接していたベクトルの個数を求め、上記第２代表ベクトル群ｂ３の総数に対する割合を算出する。続いて、その割合が大きい（小さい）ほど、上記第１から第２への代表ベクトル群間距離ａｂを小さく（大きく）なるように補正する。
【００６０】
同様に、上記代表ベクトル群間距離算出部２３で、上記第２から第１への代表ベクトル群間距離ｂａを算出する際に、まず、上記第１代表ベクトル群ａ３のうち、上記第２代表ベクトル群ｂ３の各ベクトルと最隣接していたベクトルの個数を求め、上記第１代表ベクトル群ａ３の総数に対する割合を算出する。続いて、その割合が大きい（小さい）ほど、上記第２から第１への代表ベクトル群間距離ｂａを小さく（大きく）なるように補正する。
【００６１】
ここで、補正の仕方としては、例えば、次式のように行うこととする。
【００６２】
補正距離ａｂ’（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／割合（第２中）
補正距離ｂａ’（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／割合（第１中）
以上で補正された第１から第２への代表ベクトル群間距離ａｂ’と第２から第１への代表ベクトル群間距離ｂａ’に対し、上記距離選択部２４で大きい方を画像間距離として選択することとなる。
【００６３】
図９の（Ａ）及び（Ｂ）を参照して、本実施の形態の効果を説明する。
【００６４】
ベクトル群間の距離については上記第１の実施の形態にて説明したが、一般に、類似している領域間では、図９の（Ａ）に示す例１のように、代表ベクトル総数（この例ではＢ領域の７個）に対し、対応領域（この例ではＡ領域）の代表ベクトルの隣接とされる数（例では７個）の割合（７／７＝１００％）は大きい傾向がある。従ってこのとき、距離をこの割合に応じて小さくなるように補正すれば、領域Ａと領域Ｂはより類似していると判定することができる。
【００６５】
同様に、類似していない領域間では、図９の（Ｂ）に示す例２のように、代表ベクトル総数（この例ではＢ領域の７個）に対し、対応領域（この例ではＡ領域）の代表ベクトルの隣接とされる数（この例では２個）の割合（２／７＝２９％）は小さい傾向がある。従ってこのとき、距離をこの割合に応じて大きくなる補正すれば、領域Ａと領域Ｂはより類似していないと判定することができる。
【００６６】
従って、本実施形態によれば、互いに類似している画像はより類似度を高くし、互いに類似していない画像はより類似度を低くできるので、画像間の類似度をより正確に表現できる画像間類似度算出装置を提供できる。
【００６７】
［第４の実施の形態］
次に、図１０、図１１の（Ａ）及び（Ｂ）を参照して、本発明の第４の実施の形態を説明する。
【００６８】
本実施の形態の構成は、上記第１の実施の形態と同様であり、また、動作も、上記代表ベクトル群間距離算出部２３の機能を除いては同様である。よって、この代表ベクトル群間距離算出部２３についてのみ説明を行うものとし、その他の説明は省略する。
【００６９】
即ち、本実施の形態においては、上記代表ベクトル群間距離算出部２３で、上記第１から第２への代表ベクトル群間距離ａｂを算出する際に、まず、上記第１特徴量ベクトル群ａ２あるいは上記第１代表ベクトル群ａ３の分布の大きさを求め、その大きさに応じて、その分布の大きさが大きい（小さい）ほど、上記第１から第２への代表ベクトル群間距離ａｂを小さく（大きく）なるように補正する。
【００７０】
同様に、上記第２特徴量ベクトル群ｂ２あるいは上記第２代表ベクトル群ｂ３の分布の大きさを求め、その大きさに応じて、その分布の大きさが大きい（小さい）ほど、上記第２から第１への代表ベクトル群間距離ｂａを小さく（大きく）なるように補正する。
【００７１】
ここで、補正の仕方としては、例えば次式のように行うこととする。
【００７２】
補正距離ａｂ”（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／分布の大きさ（第１の領域）
補正距離ｂａ”（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／分布の大きさ（第２の領域）
また、上記第３の実施の形態と組み合わせて、
補正距離ａｂ”（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／｛分布の大きさ（第１の領域）×割合（第２中）｝
補正距離ｂａ”（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／｛分布の大きさ（第２の領域）×割合（第１中）｝
としてももちろん構わない。
【００７３】
以上で補正された第１から第２への代表ベクトル群間距離ａｂ”と第２から第１への代表ベクトル群間距離ｂａ”に対し、距離選択部２４にて、大きい方を画像間距離として選択する。
【００７４】
なお、図１０では、上記第３の実施の形態の補正の仕方と組み合わせた場合を示してあるが、勿論、本実施の形態の補正の仕方を単独で行っても構わない。
【００７５】
図１１の（Ａ）及び（Ｂ）を参照して、本実施の形態の効果を説明する。
【００７６】
一般に、分布が小さい領域は他の画像に対応する領域との距離が小さく、分布が大きい領域はその距離が大きい傾向がある。従ってこのとき、距離をこの分布（例：距離ＡＢを求めるときはＡの領域）の大きさに応じて、その分布の大きさが大きい（小さい）ほど、代表ベクトル群間距離ａｂを小さく（大きく）なるように補正することによって、図１１の（Ａ）に示すような例１の場合も、図１１の（Ｂ）に示すような例２の場合も、ほぼ同程度の類似度に補正することができる。
【００７７】
なお、分布の大きさは、特徴量ベクトル群から求めても、代表ベクトル群から求めてもどちらでも良い。分布は直接、標準偏差等を求めても良いが、分布の大きさを求めたいある領域に対し、様々な領域との距離を計算しておき、その最大値を分布の反映する量（分布が大きい／小さい領域は任意の領域との最大距離も大きく／小さくなる傾向がある）として間接的に求めても良い。即ち、次式のようにしても良い。
【００７８】
補正距離ａｂ”（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／第１の領域と他の画像の構成領域との距離のうちの最大値
補正距離ｂａ”（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／第２の領域と他の画像の構成領域との距離の最大値
以上、本実施形態によれば、分布の大きさの大小によって類似度を補正することにより、特徴量の分布の大きさによって画像間の類似性が異なって判定されるようなシステムの不安定さがなく、画像間の類似度をより正確に表現できる画像間類似度算出装置を提供できる。
【００７９】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００８１】
例えば、代表ベクトル群算出部２２では、自己組織化特徴マッピング、Ｋ−ｍｅａｎｓ法などのクラスタリング法やベクトル量子化法を用いて特徴量ベクトル群のべクトル数より少ない数に設定したが、特徴量ベクトル群の数が少ない場合や計算能力の高いコンピュータを用いて実現する場合などは、特徴量ベクトル群を代表ベクトル群としてそのまま用いても良い。その場合は、代表ベクトル群算出部２２は特別な設定処理をすることなく、直接、特徴量ベクトルを全て代表ベクトルとして設定すれば良い。
【００８２】
また、画像間の類似度を算出した後の類似度は、類似画像検索のために利用しても良いし、画像群をいくつかの類似シーン毎にまとめるために、任意の類似シーンに属するかどうかの閾値処理の対象として利用しても良い。
【００８３】
【発明の効果】
以上詳述したように、本発明によれば、二つの画像間の色分布に関する類似度を算出するとき、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像間の色分布に関する類似度を正確に表現できる画像間類似度算出装置、画像間類似度算出方法、及び、プログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図２】（Ａ）は第１の実施の形態に係る画像間類似度算出装置のブロック構成図であり、（Ｂ）はその動作フローチャートを示す図である。
【図３】ベクトル群間の相対距離を説明するための概念図である。
【図４】相対距離の性質を説明するための図である。
【図５】第１の実施の形態における類似度算出手法を説明するための図である。
【図６】第１の実施の形態における類似度算出手法を説明するための図である。
【図７】本発明の第２の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図８】本発明の第３の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図９】第３の実施の形態の効果を説明するための図である。
【図１０】本発明の第４の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図１１】第４の実施の形態の効果を説明するための図である。
【図１２】従来の画像間類似度算出手法を説明するための図である。
【図１３】従来の画像間類似度算出手法における特徴ベクトルの算出方法を説明するための図である。
【図１４】従来の画像間類似度算出手法の問題点を説明するための図である。
【符号の説明】
１０ 入力装置
１１ 画像入力部
２０ 演算装置
２０Ａ ＣＰＵ
２０Ｂ プログラムメモリ
２１ 特徴量ベクトル群算出部
２２ 代表ベクトル群算出部
２３ 代表ベクトル群間距離算出部
２４ 距離選択部
２５ 類似度出力部
３０ 出力装置
【発明の属する技術分野】
本発明は、二つの画像間の類似度、特に、二つの画像間の色分布に関する類似度を算出する画像間類似度算出装置及び方法、並びに、コンピュータにそのような画像間類似度の算出の機能を実現させるためのプログラムに関する。
【０００２】
【従来の技術】
二つの画像間の色情報、濃淡情報、背景、主要被写体、などの特徴を比較し、それら二つの画像間の類似度を算出する画像間類似度算出装置は、類似度を算出して類似画像を検索するシステム中によく用いられ、特開平１１−０９６３６８号公報、特開２０００−０２９８８５号公報、「Proc. of Int.Symposium on Multimedia Information Proccssing, Dec 1997.」等で知られている。
【０００３】
これらに開示されている画像間類似度算出手法では、図１２の（Ａ）及び（Ｂ）に示すように、一般的に、二つの比較対象画像１０１，１０２を入力し（ステップＳ１０１）、各比較対象画像１０１，１０２を特徴解析してから（ステップＳ１０２）、カラーヒストグラムやテクスチャ特徴量、形状特徴量等を一つの画像当たり一つの特徴量ベクトルとして表現する（ステップＳ１０３）。そして、画像間の類似度を算出する際は、これら特徴量ベクトル間のユークリッド距離やマンハッタン距離などの距離を計算し（ステップＳ１０４）、その距離（Distance）が小さいほど類似度が大きく（相対的に画像は類似している）、その距離が大きいほど類似度が小さく（相対的に画像は類似していない）なるように類似度を算出する（ステップＳ１０５）。
【０００４】
こうして算出された類似度の用途としては、一枚の画像に対し複数の画像との類似度を計算して類似度順に出力したり、類似度がある閾値以上（距離が閾値以下）のものをあるクラスとして出力したりするアプリケーションに用いられる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のような従来技術では、各画像に対しもともと多くの画素データ群からなる多くの特徴を一つのベクトルとしてしまうので、特徴量の抽出方法がかなり適切でないと情報の損失が大きくなり、画像の特徴を忠実に表現できない。
【０００６】
これを画像のカラーヒストグラム解析を例にとって説明する。ＲＧＢ空間で図１３のように分布している画素データを、ヒストグラム解析でＲＧＢ各軸に対してヒストグラム化する。このとき、各軸のヒストグラムデータを順に並べて一つの特徴量ベクトルとする。しかし、この場合、各データのＲＢＧ空間での３次元的な位置情報は欠落してしまう。従って、画像の特徴を忠実に表現できなくなってしまう。
【０００７】
また、画像の特徴（例えば、画素データの分布）は、画像によって大きく異なり、どんな分布形状でも特徴を忠実に表現しなければならないが、従来例では、画像の分布の仕方により特徴表現の忠実度が大きく異なってしまう。
【０００８】
以上のように画像の特徴が忠実に表現できないと、画像間の類似度も正確に表現することができない。
【０００９】
例えば、図１４の（Ａ）に示すように、第１比較対象画像１０１の分布（領域Ａ）と第２比較対象画像１０２の分布（領域Ｂ）が、類似した形状で位置も近い場合には、特徴量の抽出方法がそれほど適切でなくても、領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４との間の距離は小となり、二つの画像の間の距離は小、つまり、望ましい結果である類似度が高いという出力が得られる。また、図１４の（Ｂ）に示すように、分布形状にかかわらず位置が遠い場合には、特徴量の抽出方法がそれほど適切でなくても、領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４との間の距離は大となり、二つの画像の間の距離は大、つまり、望ましい結果である類似度が低いという出力が得られる。
【００１０】
これに対して、位置が近くても分布の形状が異なる場合には、特徴量の抽出方法がかなり適切でないと、即ち、図１４の（Ｃ）に示すように領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４とを抽出してしまうと、それら特徴ベクトル間の距離が小となり、二つの画像の間の距離は小、つまり、誤った結果である類似度が高いという出力が得られてしまうことになる。同様に、図１４の（Ｄ）に示すように、位置が近くても、一方（領域Ａ）が他方（領域Ｂ）を大きく包含するほど分布の大きさが大きく異なる場合にも、特徴量の抽出方法がかなり適切でないと、領域Ａの特徴量ベクトル１０３と領域Ｂの特徴量ベクトル１０４との間の距離が小となり、二つの画像の間の距離は小、つまり、誤った結果である類似度が高いという出力が得られてしまうことになる。
【００１１】
本発明は、上記の点に鑑みてなされたもので、二つの画像間の色分布に関する類似度を算出するとき、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像間の色分布に関する類似度を正確に表現できる画像間類似度算出装置、画像間類似度算出方法、及び、プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明による画像間類似度算出装置は、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出装置であって、上記第１比較対象画像と前記第２比較対象画像とを入力する画像入力部と、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出する特徴量ベクトル群算出部と、上記第１特徴量ベクトル群からみた上記第２特徴量ベクトル群の相対距離を示す第１から第２へのベクトル群間距離を、上記第１特徴量ベクトル群の各ベクトルと上記第２特徴量ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２特徴量ベクトル群からみた上記第１特徴量ベクトル群の相対距離を示す第２から第１へのベクトル群間距離を、上記第２特徴量ベクトル群の各ベクトルと上記第１特徴量ベクトル群中の最隣接ベクトルとの距離を用いて算出するベクトル群間距離算出部と、上記第１から第２へのベクトル群間距離と上記第２から第１へのベクトル群間距離とのうち、大きい方を画像間距離として選択する距離選択部と、上記画像間距離を用いて上記色分布間の類似度を定義し出力する類似度出力部とを備えることを特徴とする。
【００１３】
即ち、本発明の画像間類似度算出装置によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できる画像間類似度算出装置を提供できる。
なお、上記特徴量ベクトル群算出部で算出する上記第１特徴量ベクトル群のベクトル数と上記第２特徴量ベクトル群のベクトル数とが同数であり、上記ベクトル群間距離算出部で算出する上記第１から第２へのベクトル群間距離は、上記第１特徴量ベクトル群の各ベクトルと上記第２特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第１特徴量ベクトル群の各ベクトルに関する総和とし、上記ベクトル群間距離算出部で算出する上記第２から第１へのベクトル群間距離は、上記第２特徴量ベクトル群の各ベクトルと上記第１特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第２特徴量ベクトル群の各ベクトルに関する総和としても良い。
あるいは、上記ベクトル群間距離算出部で算出する上記第１から第２へのベクトル群間距離は、上記第１特徴量ベクトル群の各ベクトルと上記第２特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第１特徴量ベクトル群の各ベクトルに関する平均とし、上記ベクトル群間距離算出部で算出する上記第２から第１へのベクトル群間距離は、上記第２特徴量ベクトル群の各ベクトルと上記第１特徴量ベクトル群中の最隣接ベクトルとの距離の、上記第２特徴量ベクトル群の各ベクトルに関する平均としても良い。
【００１４】
また、本発明による画像間類似度算出装置は、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出装置であって、上記第１比較対象画像と上記第２比較対象画像とを入力する画像入力部と、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出する特徴量ベクトル群算出部と、上記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出する代表ベクトル群算出部と、上記第１代表ベクトル群からみた上記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２代表ベクトル群からみた上記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出する代表ベクトル群間距離算出部と、上記第１から第２への代表ベクトル群間距離と上記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択する距離選択部と、上記画像間距離を用いて上記色分布間の類似度を定義し出力する類似度出力部とを備えることを特徴とする。
【００１５】
即ち、本発明の画像間類似度算出装置によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できる画像間類似度算出装置を提供できる。しかも、抽出した特徴量ベクトル群すべてを使用するのではなく、各々の特徴量ベクトル群を代表する代表ベクトル群を単位とした群間の類似度を算出するようにしているので、全体としての演算量が少なくて済み、高速化が図れる。
【００１６】
なお、上記代表ベクトル群算出部で算出する上記第１代表ベクトル群のベクトル数と上記第２代表ベクトル群のベクトル数とが同数であり、上記代表ベクトル群間距離算出部で算出する上記第１から第２への代表ベクトル群間距離は、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離の、上記第１代表ベクトル群の各ベクトルに関する総和とし、上記代表ベクトル群間距離算出部で算出する上記第２から第１への代表ベクトル群間距離は、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離の、上記第２代表ベクトル群の各ベクトルに関する総和としても良い。
【００１７】
またこのとき、上記代表ベクトル群算出部で上記第１から第２への代表ベクトル群間距離を算出する際に、上記第２代表ベクトル群の総数に対する、上記第１代表ベクトル群の各ベクトルと最隣接する第２代表ベクトル数の割合を算出し、その割合が大きいほど上記第１から第２への代表ベクトル群間距離を小さくなるように補正し、上記代表ベクトル群算出部で上記第２から第１への代表ベクトル群間距離を算出する際に、上記第１代表ベクトル群の総数に対する、上記第２代表ベクトル群の各ベクトルと最隣接する第１代表ベクトル数の割合を算出し、その割合が大きいほど上記第２から第１への代表ベクトル群間距離を小さくなるように補正することが好ましい。
【００１８】
更には、上記代表ベクトル群間距離算出部で上記第１から第２への代表ベクトル群間距離を算出する際に、上記第１特徴量ベクトル群あるいは上記第１代表ベクトル群が属する上記色分布の大きさに応じて、その色分布の大きさが大きいほど、上記第１から第２への代表ベクトル群間距離を小さくなるように補正し、上記代表ベクトル群間距離算出部で上記第２から第１への代表ベクトル群間距離を算出する際に、上記第２特徴量ベクトル群あるいは上記第２代表ベクトル群が属する上記色分布の大きさに応じて、その色分布の大きさが大きいほど、上記第２から第１への代表ベクトル群間距離を小さくなるように補正するようにしても良い。
また、上記代表ベクトル群間距離算出部で算出する上記第１から第２への代表ベクトル群間距離は、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離の、上記第１代表ベクトル群の各ベクトルに関する平均とし、上記代表ベクトル群間距離算出部で算出する上記第２から第１への代表ベクトル群間距離は、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離の、上記第２代表ベクトル群の各ベクトルに関する平均としても良い。
【００１９】
また、本発明による画像間類似度算出方法は、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出方法であって、上記第１比較対象画像と上記第２比較対象画像とを入力し、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出し、上記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出し、上記第１代表ベクトル群からみた上記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２代表ベクトル群からみた上記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出し、上記第１から第２への代表ベクトル群間距離と上記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択し、上記画像間距離を用いて上記色分布間の類似度を定義し出力することを特徴とする。
【００２０】
即ち、本発明の画像間類似度算出方法によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できるようになる。しかも、抽出した特徴量ベクトル群すべてを使用するのではなく、各々の特徴量ベクトル群を代表する代表ベクトル群を単位とした群間の類似度を算出するようにしているので、全体としての演算量が少なくて済み、高速化が図れる。
【００２１】
また、本発明によるプログラムは、画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する際に、コンピュータに、上記第１比較対象画像と上記第２比較対象画像とを入力する機能と、上記第１比較対象画像と上記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを上記色空間上において算出する機能と、上記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出する機能と、上記第１代表ベクトル群からみた上記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、上記第１代表ベクトル群の各ベクトルと上記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、上記第２代表ベクトル群からみた上記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、上記第２代表ベクトル群の各ベクトルと上記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出する機能と、上記第１から第２への代表ベクトル群間距離と上記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択する機能と、上記画像間距離を用いて上記色分布間の類似度を定義し出力する機能とを実現させるためのものである。
【００２２】
即ち、本発明のプログラムによれば、コンピュータに画像の特徴を比較すべき第１比較対象画像と第２比較対象画像に対し、画像の色分布間の類似度を算出させる場合に、各画像に対し単一のベクトルを特徴量として抽出するのではなく、色空間上において多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出しているので、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力できる。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像の色分布間の類似度を正確に表現できるようになる。しかも、抽出した特徴量ベクトル群すべてを使用するのではなく、各々の特徴量ベクトル群を代表する代表ベクトル群を単位とした群間の類似度を算出するようにしているので、全体としての演算量が少なくて済み、高速化が図れる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
なお、以下に説明する各実施形態において、類似度とは、画像の色分布に関する類似度である。
【００２４】
［第１の実施の形態］
図２の（Ａ）は、本発明の第１の実施の形態に係る画像間類似度算出装置の構成を示す図で、該画像間類似度算出装置は、入力装置１０と、演算装置２０、及び出力装置３０から構成されている。
【００２５】
ここで、上記入力装置１０は、画像の特徴を比較すべき画像を入力するためのものであり、例えば、ＦＤやＣＤ−ＲＯＭ等の記録媒体から画像を読み出すものや、画像読み取りを行うスキャナ、或いは、インターネットやＬＡＮ等のネットワークを介して入力するものであっても良い。更には、デジタルカメラ等から直接入力できるものとしても良い。
【００２６】
また、上記演算装置２０は、画像間類似度を算出するための各種演算を行うものであり、専用の装置としても良いし、パーソナルコンピュータ等で構成しても良い。この演算装置２０は、ＣＰＵ２０Ａと、該ＣＰＵ２０Ａで実行するプログラムを記憶したプログラムメモリ２０Ｂとを含む。該装置を専用のものとしたときには、このプログラムメモリ２０Ｂには、専用のプログラムが固定記憶されている。また、該装置をパーソナルコンピュータで構成する場合には、このプログラムメモリ２０Ｂに展開されるプログラムは、ＦＤやＣＤ−ＲＯＭ等の記録媒体から又はインターネットやＬＡＮ等のネットワークから該演算装置２０の不図示記録装置に予めインストールしてあるものを読み出すことで得ても良いし、上記記録媒体又はネットワークから必要に応じて読み込んで得るものとしても良い。
【００２７】
更に、このプログラムメモリ２０Ｂには、算出された画像類似度を使用するアプリケーションプログラムも記憶されることができる。そのアプリケーションとしては、例えば、画像データベースからの類似画像の検索や、一枚の画像に対し複数の画像との類似度を計算して類似度順に出力すること（カテゴライズ）、類似度がある閾値以上（距離が閾値以下）のものをあるクラスとして出力すること（グルーピング）、などである。
【００２８】
そして、上記出力装置３０は、上記アプリケーションの結果出力を行うためのディスプレイやプリンタである。或いは、結果をネットワークを介して外部に出力するものであっても良い。また勿論、アプリケーションの結果だけでなく、上記画像類度の算出結果を出力しても良い。
【００２９】
図１及び図２の（Ｂ）は、このような画像間類似度算出装置の機能ブロック図及び動作フローチャートを示す図である。
【００３０】
即ち、まず、上記入力装置１０の一機能部としての画像入力部１１で、特徴を比較すべき第１比較対象画像ａ１と第２比較対象画像ｂ１とを入力する（ステップＳ１）。
【００３１】
続いて、上記演算装置２０の一機能部としての特徴量ベクトル群算出部２１で、上記第１比較対象画像ａ１と上記第２比較対象画像ｂ１とから、各々の画像の特徴を示す、例えば画素のＲＧＢ値をベクトル化した、第１特徴量ベクトル群ａ２（第１比較対象画像ａ１から抽出）と第２特徴量ベクトル群ｂ２（第２比較対象画像ｂ１から抽出）とを算出する（ステップＳ２）。ここで、特徴量ベクトル群は、一般に、ベクトル数が非常に多いので、続いて、代表ベクトル群算出部２２で、上記第１特徴量ベクトル群ａ２と上記第２特徴量ベクトル群ｂ２とから、各々の特徴量ベクトル群を代表する第１代表ベクトル群ａ３と第２代表ベクトル群ｂ３とを算出する（ステップＳ３）。このとき、代表ベクトル群のベクトル数は、特徴量ベクトル群のベクトル数よりも少ない数とすれば良い。なお、特徴量ベクトル群の数が少ない場合や、計算能力の高いコンピュータを用いて実現する場合などは、代表ベクトル群は、特徴量ベクトル群そのものをそのまま用いても良い。
【００３２】
続いて、上記演算装置２０の一機能部としての代表ベクトル群間距離算出部２３では、上記第１代表ベクトル群ａ３からみた上記第２代表ベクトル群ｂ３の相対距離を示す第１から第２への代表ベクトル群間距離ａｂと、その逆の上記第２代表ベクトル群ｂ３からみた上記第１代表ベクトル群ａ３の相対距離を示す第２から第１へのベクトル群間距離ｂａとを算出する（ステップＳ４）。
【００３３】
ベクトル群間の相対距離は、一般化して記述すると、次のように設定すれば良い。図３に概念図を示すように、第１代表ベクトル群ａ３が構成する領域を領域Ａ、第２代表ベクトル群ｂ３が構成する領域を領域Ｂと設定すれば、上記第１から第２へのベクトル群間距離ａｂは、領域Ａ中の各点から領域Ｂに最短で到達するまでの距離の総和又は平均と考え、また、上記第２から第１へのベクトル群間距離ｂａは、領域Ｂ中の各点から領域Ａに最短で到達するまでの距離の総和又は平均と考える。このとき、ベクトル数が同じであれば、各距離の総和をベクトル群間距離とすれば良いし、ベクトル数が異なる場合は、各距離の平均をベクトル群間距離とすれば良い。なお、総和、平均の概念は、領域Ａ乃至領域Ｂでの面積積分、及び、面積積分での規格化と置き換えても良い。ベクトル群間距離ａｂとベクトル群間距離ｂａは、領域の形状、相対的な位置関係により、一般には異なるので、相対距離と呼ぶこととする。この距離は、例えて言えば、領域を町、代表ベクトル群をその町に住んでいる人として、Ａ町の人がとにかくＢ町に行くのにどれくらい歩かないといけないかがＡ町からＢ町までの相対距離（Ａ町の人がＢ町をどれくらい近いと感じているか）、Ｂ町の人がとにかくＡ町に行くのにどれくらい歩かないといけないかがＢ町からＡ町までの相対距離（Ｂ町の人がＡ町をどれくらい近いと感じているか）となる（但し、町同士が重なることも有り得るとする）。
【００３４】
この相対距離は、図４の（Ａ）乃至（Ｄ）に示すように、以下のような性質を持つ。
【００３５】
ケース１． 二つのベクトル群が類似した分布形状で、且つ、位置も近ければ、両者（Ａ→Ｂ，Ｂ→Ａ）の相対距離とも非常に小さくなる（図４の（Ａ）参照）。
【００３６】
ケース２． 二つのベクトル群の分布形状にかかわらず、位置が遠いと、両者（Ａ→Ｂ，Ｂ→Ａ）の相対距離とも大きくなる（図４の（Ｂ）参照）。
【００３７】
ケース３． 二つのベクトル群の位置が近くても、分布の形状が異なると、次のケース４．の場合を除き、両者（Ａ→Ｂ，Ｂ→Ａ）の相対距離とも大きくなる（図４の（Ｃ）参照）。
【００３８】
ケース４． 二つのベクトル群の位置が近くても、一方（例えばＡ：分布大）が他方（例えばＢ：分布小）を大きく包含するほど分布の大きさが大きく異なると、両者（Ａ→Ｂ，Ｂ→Ａ）のうち、片方（Ｂ→Ａ）が小さく、片方（Ａ→Ｂ）が大きくなる（図４の（Ｄ）参照）。
【００３９】
上記代表ベクトル群間距離算出部２３で上述の相対距離を算出した後、上記演算装置２０の一機能部としての距離選択部２４で、上記第１から第２への代表ベクトル群間距離ａｂと上記第２から第１への代表ベクトル群間距離ｂａとのうち、大きい方を画像間距離ｃとして選択する（ステップＳ５）。即ち、画像間類似度の出力において重要なポイントは、類似している画像を類似度が高くなるように出力し、類似していない画像は類似度が低くなるように出力することである。二つの相対距離は、上記ケース１〜４の性質があるが、二つの相対距離のうち大きい方を画像間距離として選択することで、上記ケース１以外は全て類似度が低くなる（即ち、距離が大きくなる）ようにすることが可能になり、上述のポイントを実現できる。
【００４０】
従って、図１４の（Ｃ）及び（Ｄ）を参照して説明した従来技術のように、領域Ａの特徴量ベクトルと領域Ｂの特徴量ベクトルとを不適切に抽出してしまったときに画像間距離が小と判別されてしまうことはなく、本実施の形態では、画像間距離が大であると正しく判別されることができる。
【００４１】
そして、上記演算装置２０の一機能部としての類似度出力部２５で、上記選択された画像間距離ｃを用いて画像間類似度を定義し出力する（ステップＳ６）。一般に、画像間距離が大きい方が類似度が低く、画像間距離が小さい方が類似度が高い。画像間類似度の出力定義は、本画像間類似度算出装置をどのように利用するかによって設定すれば良い。二つの画像間の類似度が高いほど類似度出力を大きく定義したい場合は、距離が小さいほど算出類似度が高くなるように画像間距離の逆数を類似度として設定すれば良いし、二つの画像間の類似度が高いほど類似度出力を小さく定義したい場合は、画像間距離をそのまま類似度として設定すれば良い。
【００４２】
こうして画像間類似度が定義されたならば、後は、所望のアプリケーションを該画像間類似度を使用して実行し、結果を上記出力装置３０により出力することになる（ステップＳ７）。例えば、類似度出力部２５によって数値として出力された画像間類似度を閾値処理し、その閾値以上の画像間類似度を持つ画像をディスプレイに表示出力するような類似画像検索アプリケーションなどが考えられる。
【００４３】
以下、類似度算出手法について、図５の（Ａ）乃至図５の（Ｄ）を参照して、より具体的に説明する。なおここでは、図５の（Ａ）に示すような画像ペアの画像間類似度を算出することを考える。
【００４４】
まず、上記画像入力部１１で、特徴を比較し類似度を算出すべき第１比較対象画像ａ１と第２比較対象画像ｂ１（図５の（Ａ）参照）を入力する。これらの画像は、例えば、市販の電子画像集（ＣＤ−ＲＯＭ）から入力することなどが考えられる。
【００４５】
続いて、上記特徴量ベクトル群算出部２１では、上記第１比較対象画像ａ１と上記第２比較対象画像ｂ１から、各々の画像の特徴を示す特徴量として、画素のＲＧＢ値をベクトル化した第１特徴量ベクトル群ａ２（第１比較対象画像ａ１から抽出）と第２特徴量ベクトル群ｂ２（第２比較対象画像ｂ１から抽出）とを算出する（図５の（Ｂ）参照）。
【００４６】
続いて、上記代表ベクトル群算出部２２では、上記第１特徴量ベクトル群ａ２と上記第２特徴量ベクトル群ｂ２から、各々の特徴量ベクトル群を代表する第１代表ベクトル群ａ３と第２代表ベクトル群ｂ３とを算出する（図５の（Ｃ）参照）。この代表ベクトル群の算出は、例えば、自己組織化特徴マッピング、Ｋ−ｍｅａｎｓ法などのクラスタリング法やベクトル量子化法を用いて行えば良い。なお、代表ベクトル群のベクトル数は、特徴量ベクトル群のベクトル数よりも少ない数と設定するが、各画像毎に必ずしも同数にそろえないこととする（勿論、同数にそろえても良い）。また、特徴量ベクトル群の数が少ない場合や計算能力の高いコンピュータを用いて実現する場合などは、特徴量ベクトル群を代表ベクトル群としてそのまま用いても良い。
【００４７】
続いて、上記代表ベクトル群間距離算出部２３では、上記第１代表ベクトル群ａ３からみた上記第２代表ベクトル群ｂ３の相対距離を示す第１から第２への代表ベクトル群間距離ａｂと、上記第２代表ベクトル群ｂ３からみた上記第１代表ベクトル群ａ３の相対距離を示す第２から第１へのベクトル群間距離ｂａとを算出する（図５の（Ｄ）参照）。ベクトル群間距離としては、前述したように様々な数式定義が可能であるが、ここでは、第１から第２へのベクトル群間距離ａｂは、第１代表ベクトル群ａ３の各点から第２代表ベクトル群ｂ３中の最隣接の代表ベクトルとの距離の平均、同様に第２から第１へのベクトル群間距離ｂａは、第２代表ベクトル群ｂ３の各点から第１代表ベクトル群ａ３中の最隣接の代表ベクトルとの距離の平均とする。なお、前述したように総和の概念は、第１代表ベクトル群ａ３が占める領域Ａ乃至は第２代表ベクトル群ｂ３が占める領域Ｂでの面積積分と、また、平均の概念は面積積分値での規格化と、それぞれ数式的に置き換えても構わない。
【００４８】
上記代表ベクトル群間距離算出部２３で上述の相対距離を算出した後、上記距離選択部２４で、第１から第２への代表ベクトル群間距離ａｂ（図５の（Ｄ）では「５．０」）と第２から第１への代表ベクトル群間距離ｂａ（図５の（Ｄ）では「５．５」）のうち、大きい方（図５の（Ｄ）では「５．５」）を画像間距離ｃとして選択する。なお、図中の距離値はあくまでも説明のために仮に設定した値である。
【００４９】
最後に、上記類似度出力部２５で、上記画像間距離ｃを用いて画像間類似度を定義し出力する。画像間類似度の定義設定としては、画像間距離ｃをそのまま類似度とするようにする。これは、二つの画像間の類似度が高いほど類似度出力を小さく定義したことに相当する。図５の（Ａ）の例では、二つの画像間の類似度出力は小さく（距離が小さい：「５．５」）、画像間の類似度は高いということなる。
【００５０】
同様に、図６の（Ａ）乃至図６の（Ｄ）に、あまり似ていない画像ペアの例を示す。この例の場合は、距離ａ→ｂ（「５０．０」）と距離ｂ→ａ（「７．０」）で大きい方を選択した結果、類似度出力は大きくなり（距離が大きい：「５０．０」）、画像間の類似度は低いという結果となる。このとき、距離ｂ→ａでは「７．０」という小さい値で類似度は高く見えてしまうが、大きい方を選択することにより、結果としての距離が大きくなり、類似度を低いとして出力できる効果があることに注目されたい。
【００５１】
以上、第１の実施形態を説明したが、本実施形態によれば、各画像に対し単一のベクトルを特徴量として抽出するのではなく、多数の特徴量ベクトル群を抽出した上で、ベクトル群を単位とした群間の類似度を算出している。ベクトル群間の類似度は上述してきたように、類似しているベクトル群同士は類似度が高いとして出力し、類似していないベクトル群同士は類似度が低いとして出力する作用を実現できる性質がある。従って、特徴量がベクトル群のままで良く、単一のベクトルにする必要がないので、情報の損失が無いように特徴量の抽出方法を工夫する必要がない。即ち、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像間の類似度を正確に表現できる画像間類似度算出装置を提供できる。
【００５２】
［第２の実施の形態］
次に、図７を参照して、本発明の第２の実施の形態を説明する。
【００５３】
本実施の形態の構成は、上記第１の実施の形態と同様であり、また、動作も、上記代表ベクトル群間距離算出部２３の機能を除いては同様である。よって、この代表ベクトル群間距離算出部２３についてのみ説明を行うものとし、その他の説明は省略する。
【００５４】
即ち、本実施の形態においては、上記代表ベクトル群算出部２２で算出する第１代表ベクトル群ａ３のベクトル数と上記第２代表ベクトル群ｂ３のベクトル数とを同数とする。そして、上記代表ベクトル群間距離算出部２３で算出する上記第１から第２への代表ベクトル群間距離ａｂは、上記第１代表ベクトル群ａ３の各ベクトルと上記第２代表ベクトル群ｂ３中の最隣接ベクトルとの距離を、上記第１代表ベクトル群ａ３の各ベクトルに関して総和をとった値とする。
【００５５】
同様に、上記第２から第１への代表ベクトル群間距離ｂａは、上記第２代表ベクトル群ｂ３の各ベクトルと上記第１代表ベクトル群ａ３中の最隣接ベクトルとの距離を、上記第２代表ベクトル群ｂ３の各ベクトルに関して総和をとった値とする。
【００５６】
即ち、前述したようにベクトル群間距離を求めるにはいろいろな算出方法が考えられるが、このように各ベクトル群毎の代表ベクトル群のベクトル数をそろえておくと、各画像毎の特徴量ベクトル群のベクトルの個数によらず、距離算出の計算量を一定に保つことができるという利点がある。特徴量ベクトル群のベクトルの個数は、画像のサイズなどによって画像毎に変動することが多いが、本実施形態のようにしておくと、画像のサイズによらず、距離算出の計算量が一定に保たれ、代表ベクトル数を一定の個数以下に設定しておけば、計算量の削減につなげることが可能である。
【００５７】
［第３の実施の形態］
次に、図８、図９の（Ａ）及び（Ｂ）を参照して、本発明の第３の実施の形態を説明する。
【００５８】
本実施の形態の構成は、上記第１の実施の形態と同様であり、また、動作も、上記代表ベクトル群間距離算出部２３の機能を除いては同様である。よって、この代表ベクトル群間距離算出部２３についてのみ説明を行うものとし、その他の説明は省略する。
【００５９】
即ち、本実施の形態においては、上記代表ベクトル群間距離算出部２３で、上記第１から第２への代表ベクトル群間距離ａｂを算出する際に、まず、上記第２代表ベクトル群ｂ３のうち、上記第１代表ベクトル群ａ３の各ベクトルと最隣接していたベクトルの個数を求め、上記第２代表ベクトル群ｂ３の総数に対する割合を算出する。続いて、その割合が大きい（小さい）ほど、上記第１から第２への代表ベクトル群間距離ａｂを小さく（大きく）なるように補正する。
【００６０】
同様に、上記代表ベクトル群間距離算出部２３で、上記第２から第１への代表ベクトル群間距離ｂａを算出する際に、まず、上記第１代表ベクトル群ａ３のうち、上記第２代表ベクトル群ｂ３の各ベクトルと最隣接していたベクトルの個数を求め、上記第１代表ベクトル群ａ３の総数に対する割合を算出する。続いて、その割合が大きい（小さい）ほど、上記第２から第１への代表ベクトル群間距離ｂａを小さく（大きく）なるように補正する。
【００６１】
ここで、補正の仕方としては、例えば、次式のように行うこととする。
【００６２】
補正距離ａｂ’（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／割合（第２中）
補正距離ｂａ’（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／割合（第１中）
以上で補正された第１から第２への代表ベクトル群間距離ａｂ’と第２から第１への代表ベクトル群間距離ｂａ’に対し、上記距離選択部２４で大きい方を画像間距離として選択することとなる。
【００６３】
図９の（Ａ）及び（Ｂ）を参照して、本実施の形態の効果を説明する。
【００６４】
ベクトル群間の距離については上記第１の実施の形態にて説明したが、一般に、類似している領域間では、図９の（Ａ）に示す例１のように、代表ベクトル総数（この例ではＢ領域の７個）に対し、対応領域（この例ではＡ領域）の代表ベクトルの隣接とされる数（例では７個）の割合（７／７＝１００％）は大きい傾向がある。従ってこのとき、距離をこの割合に応じて小さくなるように補正すれば、領域Ａと領域Ｂはより類似していると判定することができる。
【００６５】
同様に、類似していない領域間では、図９の（Ｂ）に示す例２のように、代表ベクトル総数（この例ではＢ領域の７個）に対し、対応領域（この例ではＡ領域）の代表ベクトルの隣接とされる数（この例では２個）の割合（２／７＝２９％）は小さい傾向がある。従ってこのとき、距離をこの割合に応じて大きくなる補正すれば、領域Ａと領域Ｂはより類似していないと判定することができる。
【００６６】
従って、本実施形態によれば、互いに類似している画像はより類似度を高くし、互いに類似していない画像はより類似度を低くできるので、画像間の類似度をより正確に表現できる画像間類似度算出装置を提供できる。
【００６７】
［第４の実施の形態］
次に、図１０、図１１の（Ａ）及び（Ｂ）を参照して、本発明の第４の実施の形態を説明する。
【００６８】
本実施の形態の構成は、上記第１の実施の形態と同様であり、また、動作も、上記代表ベクトル群間距離算出部２３の機能を除いては同様である。よって、この代表ベクトル群間距離算出部２３についてのみ説明を行うものとし、その他の説明は省略する。
【００６９】
即ち、本実施の形態においては、上記代表ベクトル群間距離算出部２３で、上記第１から第２への代表ベクトル群間距離ａｂを算出する際に、まず、上記第１特徴量ベクトル群ａ２あるいは上記第１代表ベクトル群ａ３の分布の大きさを求め、その大きさに応じて、その分布の大きさが大きい（小さい）ほど、上記第１から第２への代表ベクトル群間距離ａｂを小さく（大きく）なるように補正する。
【００７０】
同様に、上記第２特徴量ベクトル群ｂ２あるいは上記第２代表ベクトル群ｂ３の分布の大きさを求め、その大きさに応じて、その分布の大きさが大きい（小さい）ほど、上記第２から第１への代表ベクトル群間距離ｂａを小さく（大きく）なるように補正する。
【００７１】
ここで、補正の仕方としては、例えば次式のように行うこととする。
【００７２】
補正距離ａｂ”（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／分布の大きさ（第１の領域）
補正距離ｂａ”（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／分布の大きさ（第２の領域）
また、上記第３の実施の形態と組み合わせて、
補正距離ａｂ”（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／｛分布の大きさ（第１の領域）×割合（第２中）｝
補正距離ｂａ”（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／｛分布の大きさ（第２の領域）×割合（第１中）｝
としてももちろん構わない。
【００７３】
以上で補正された第１から第２への代表ベクトル群間距離ａｂ”と第２から第１への代表ベクトル群間距離ｂａ”に対し、距離選択部２４にて、大きい方を画像間距離として選択する。
【００７４】
なお、図１０では、上記第３の実施の形態の補正の仕方と組み合わせた場合を示してあるが、勿論、本実施の形態の補正の仕方を単独で行っても構わない。
【００７５】
図１１の（Ａ）及び（Ｂ）を参照して、本実施の形態の効果を説明する。
【００７６】
一般に、分布が小さい領域は他の画像に対応する領域との距離が小さく、分布が大きい領域はその距離が大きい傾向がある。従ってこのとき、距離をこの分布（例：距離ＡＢを求めるときはＡの領域）の大きさに応じて、その分布の大きさが大きい（小さい）ほど、代表ベクトル群間距離ａｂを小さく（大きく）なるように補正することによって、図１１の（Ａ）に示すような例１の場合も、図１１の（Ｂ）に示すような例２の場合も、ほぼ同程度の類似度に補正することができる。
【００７７】
なお、分布の大きさは、特徴量ベクトル群から求めても、代表ベクトル群から求めてもどちらでも良い。分布は直接、標準偏差等を求めても良いが、分布の大きさを求めたいある領域に対し、様々な領域との距離を計算しておき、その最大値を分布の反映する量（分布が大きい／小さい領域は任意の領域との最大距離も大きく／小さくなる傾向がある）として間接的に求めても良い。即ち、次式のようにしても良い。
【００７８】
補正距離ａｂ”（第１→第２）＝第１から第２への代表ベクトル群間距離ａｂ／第１の領域と他の画像の構成領域との距離のうちの最大値
補正距離ｂａ”（第２→第１）＝第２から第１への代表ベクトル群間距離ｂａ／第２の領域と他の画像の構成領域との距離の最大値
以上、本実施形態によれば、分布の大きさの大小によって類似度を補正することにより、特徴量の分布の大きさによって画像間の類似性が異なって判定されるようなシステムの不安定さがなく、画像間の類似度をより正確に表現できる画像間類似度算出装置を提供できる。
【００７９】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００８１】
例えば、代表ベクトル群算出部２２では、自己組織化特徴マッピング、Ｋ−ｍｅａｎｓ法などのクラスタリング法やベクトル量子化法を用いて特徴量ベクトル群のべクトル数より少ない数に設定したが、特徴量ベクトル群の数が少ない場合や計算能力の高いコンピュータを用いて実現する場合などは、特徴量ベクトル群を代表ベクトル群としてそのまま用いても良い。その場合は、代表ベクトル群算出部２２は特別な設定処理をすることなく、直接、特徴量ベクトルを全て代表ベクトルとして設定すれば良い。
【００８２】
また、画像間の類似度を算出した後の類似度は、類似画像検索のために利用しても良いし、画像群をいくつかの類似シーン毎にまとめるために、任意の類似シーンに属するかどうかの閾値処理の対象として利用しても良い。
【００８３】
【発明の効果】
以上詳述したように、本発明によれば、二つの画像間の色分布に関する類似度を算出するとき、特徴量の抽出方法に情報の損失が無いように工夫しなくても様々な画像に対しその画像特徴を忠実に再現した特徴量を抽出でき、画像間の色分布に関する類似度を正確に表現できる画像間類似度算出装置、画像間類似度算出方法、及び、プログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図２】（Ａ）は第１の実施の形態に係る画像間類似度算出装置のブロック構成図であり、（Ｂ）はその動作フローチャートを示す図である。
【図３】ベクトル群間の相対距離を説明するための概念図である。
【図４】相対距離の性質を説明するための図である。
【図５】第１の実施の形態における類似度算出手法を説明するための図である。
【図６】第１の実施の形態における類似度算出手法を説明するための図である。
【図７】本発明の第２の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図８】本発明の第３の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図９】第３の実施の形態の効果を説明するための図である。
【図１０】本発明の第４の実施の形態に係る画像間類似度算出装置の機能ブロック図である。
【図１１】第４の実施の形態の効果を説明するための図である。
【図１２】従来の画像間類似度算出手法を説明するための図である。
【図１３】従来の画像間類似度算出手法における特徴ベクトルの算出方法を説明するための図である。
【図１４】従来の画像間類似度算出手法の問題点を説明するための図である。
【符号の説明】
１０ 入力装置
１１ 画像入力部
２０ 演算装置
２０Ａ ＣＰＵ
２０Ｂ プログラムメモリ
２１ 特徴量ベクトル群算出部
２２ 代表ベクトル群算出部
２３ 代表ベクトル群間距離算出部
２４ 距離選択部
２５ 類似度出力部
３０ 出力装置
Claims (10)
- 画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出装置であって、
前記第１比較対象画像と前記第２比較対象画像とを入力する画像入力部と、
前記第１比較対象画像と前記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを前記色空間上において算出する特徴量ベクトル群算出部と、
前記第１特徴量ベクトル群からみた前記第２特徴量ベクトル群の相対距離を示す第１から第２へのベクトル群間距離を、前記第１特徴量ベクトル群の各ベクトルと前記第２特徴量ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、前記第２特徴量ベクトル群からみた前記第１特徴量ベクトル群の相対距離を示す第２から第１へのベクトル群間距離を、前記第２特徴量ベクトル群の各ベクトルと前記第１特徴量ベクトル群中の最隣接ベクトルとの距離を用いて算出するベクトル群間距離算出部と、
前記第１から第２へのベクトル群間距離と前記第２から第１へのベクトル群間距離とのうち、大きい方を画像間距離として選択する距離選択部と、
前記画像間距離を用いて前記色分布間の類似度を定義し出力する類似度出力部と、
を具備することを特徴とする画像間類似度算出装置。 - 前記特徴量ベクトル群算出部で算出する前記第１特徴量ベクトル群のベクトル数と前記第２特徴量ベクトル群のベクトル数とが同数であり、
前記ベクトル群間距離算出部で算出する前記第１から第２へのベクトル群間距離は、前記第１特徴量ベクトル群の各ベクトルと前記第２特徴量ベクトル群中の最隣接ベクトルとの距離の、前記第１特徴量ベクトル群の各ベクトルに関する総和とし、
前記ベクトル群間距離算出部で算出する前記第２から第１へのベクトル群間距離は、前記第２特徴量ベクトル群の各ベクトルと前記第１特徴量ベクトル群中の最隣接ベクトルとの距離の、前記第２特徴量ベクトル群の各ベクトルに関する総和とする、
ことを特徴とする請求項１に記載の画像間類似度算出装置。 - 前記ベクトル群間距離算出部で算出する前記第１から第２へのベクトル群間距離は、前記第１特徴量ベクトル群の各ベクトルと前記第２特徴量ベクトル群中の最隣接ベクトルとの距離の、前記第１特徴量ベクトル群の各ベクトルに関する平均とし、
前記ベクトル群間距離算出部で算出する前記第２から第１へのベクトル群間距離は、前記第２特徴量ベクトル群の各ベクトルと前記第１特徴量ベクトル群中の最隣接ベクトルとの距離の、前記第２特徴量ベクトル群の各ベクトルに関する平均とする、
ことを特徴とする請求項１に記載の画像間類似度算出装置。 - 画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出装置であって、
前記第１比較対象画像と前記第２比較対象画像とを入力する画像入力部と、
前記第１比較対象画像と前記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを前記色空間上において算出する特徴量ベクトル群算出部と、
前記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出する代表ベクトル群算出部と、
前記第１代表ベクトル群からみた前記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、前記第１代表ベクトル群の各ベクトルと前記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、前記第２代表ベクトル群からみた前記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、前記第２代表ベクトル群の各ベクトルと前記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出する代表ベクトル群間距離算出部と、
前記第１から第２への代表ベクトル群間距離と前記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択する距離選択部と、
前記画像間距離を用いて前記色分布間の類似度を定義し出力する類似度出力部と、
を具備することを特徴とする画像間類似度算出装置。 - 前記代表ベクトル群算出部で算出する前記第１代表ベクトル群のベクトル数と前記第２代表ベクトル群のベクトル数とが同数であり、
前記代表ベクトル群間距離算出部で算出する前記第１から第２への代表ベクトル群間距離は、前記第１代表ベクトル群の各ベクトルと前記第２代表ベクトル群中の最隣接ベクトルとの距離の、前記第１代表ベクトル群の各ベクトルに関する総和とし、
前記代表ベクトル群間距離算出部で算出する前記第２から第１への代表ベクトル群間距離は、前記第２代表ベクトル群の各ベクトルと前記第１代表ベクトル群中の最隣接ベクトルとの距離の、前記第２代表ベクトル群の各ベクトルに関する総和とする、
ことを特徴とする請求項４に記載の画像間類似度算出装置。 - 前記代表ベクトル群算出部で前記第１から第２への代表ベクトル群間距離を算出する際に、前記第２代表ベクトル群の総数に対する、前記第１代表ベクトル群の各ベクトルと最隣接する第２代表ベクトル数の割合を算出し、その割合が大きいほど前記第１から第２への代表ベクトル群間距離を小さくなるように補正し、
前記代表ベクトル群算出部で前記第２から第１への代表ベクトル群間距離を算出する際に、前記第１代表ベクトル群の総数に対する、前記第２代表ベクトル群の各ベクトルと最隣接する第１代表ベクトル数の割合を算出し、その割合が大きいほど前記第２から第１への代表ベクトル群間距離を小さくなるように補正する、
ことを特徴とする請求項５に記載の画像間類似度算出装置。 - 前記代表ベクトル群間距離算出部で前記第１から第２への代表ベクトル群間距離を算出する際に、前記第１特徴量ベクトル群あるいは前記第１代表ベクトル群が属する前記色分布の大きさに応じて、その色分布の大きさが大きいほど、前記第１から第２への代表ベクトル群間距離を小さくなるように補正し、
前記代表ベクトル群間距離算出部で前記第２から第１への代表ベクトル群間距離を算出する際に、前記第２特徴量ベクトル群あるいは前記第２代表ベクトル群が属する前記色分布の大きさに応じて、その色分布の大きさが大きいほど、前記第２から第１への代表ベクトル群間距離を小さくなるように補正する、
ことを特徴とする請求項５又は６に記載の画像間類似度算出装置。 - 前記代表ベクトル群間距離算出部で算出する前記第１から第２への代表ベクトル群間距離は、前記第１代表ベクトル群の各ベクトルと前記第２代表ベクトル群中の最隣接ベクトルとの距離の、前記第１代表ベクトル群の各ベクトルに関する平均とし、
前記代表ベクトル群間距離算出部で算出する前記第２から第１への代表ベクトル群間距離は、前記第２代表ベクトル群の各ベクトルと前記第１代表ベクトル群中の最隣接ベクトルとの距離の、前記第２代表ベクトル群の各ベクトルに関する平均とする、
ことを特徴とする請求項４に記載の画像間類似度算出装置。 - 画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する画像間類似度算出方法であって、
前記第１比較対象画像と前記第２比較対象画像とを入力し、
前記第１比較対象画像と前記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを前記色空間上において算出し、
前記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出し、
前記第１代表ベクトル群からみた前記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、前記第１代表ベクトル群の各ベクトルと前記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、前記第２代表ベクトル群からみた前記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、前記第２代表ベクトル群の各ベクトルと前記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出し、
前記第１から第２への代表ベクトル群間距離と前記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択し、
前記画像間距離を用いて前記色分布間の類似度を定義し出力する、
ことを特徴とする画像間類似度算出方法。 - 画像の特徴を比較すべき第１比較対象画像と第２比較対象画像のそれぞれに含まれる画素データによりそれぞれ形成される色分布間の類似度を算出する際に、コンピュータに、
前記第１比較対象画像と前記第２比較対象画像とを入力する機能と、
前記第１比較対象画像と前記第２比較対象画像のそれぞれに含まれる画素データを色空間上に配置することで形成されるそれぞれの色分布から、各々の画像の特徴を示す、第１特徴量ベクトル群と第２特徴量ベクトル群とを前記色空間上において算出する機能と、
前記第１特徴量ベクトル群と第２特徴量ベクトル群とから、各々の特徴量ベクトル群を代表する、第１代表ベクトル群と第２代表ベクトル群とを算出する機能と、
前記第１代表ベクトル群からみた前記第２代表ベクトル群の相対距離を示す第１から第２への代表ベクトル群間距離を、前記第１代表ベクトル群の各ベクトルと前記第２代表ベクトル群中の最隣接ベクトルとの距離を用いて算出するとともに、前記第２代表ベクトル群からみた前記第１代表ベクトル群の相対距離を示す第２から第１への代表ベクトル群間距離を、前記第２代表ベクトル群の各ベクトルと前記第１代表ベクトル群中の最隣接ベクトルとの距離を用いて算出する機能と、
前記第１から第２への代表ベクトル群間距離と前記第２から第１への代表ベクトル群間距離とのうち、大きい方を画像間距離として選択する機能と、
前記画像間距離を用いて前記色分布間の類似度を定義し出力する機能と、
を実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002069236A JP4136404B2 (ja) | 2002-03-13 | 2002-03-13 | 画像間類似度算出装置、画像間類似度算出方法、及び、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002069236A JP4136404B2 (ja) | 2002-03-13 | 2002-03-13 | 画像間類似度算出装置、画像間類似度算出方法、及び、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003271957A JP2003271957A (ja) | 2003-09-26 |
| JP4136404B2 true JP4136404B2 (ja) | 2008-08-20 |
Family
ID=29200148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002069236A Expired - Fee Related JP4136404B2 (ja) | 2002-03-13 | 2002-03-13 | 画像間類似度算出装置、画像間類似度算出方法、及び、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4136404B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4606402B2 (ja) * | 2006-11-27 | 2011-01-05 | 日本電信電話株式会社 | 画像照合方法及び装置及びプログラム |
| FI20065777L (fi) * | 2006-12-07 | 2008-06-08 | Base Vision Oy | Menetelmä ja mittauslaite liikesuoritusta varten |
| US20090232388A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data by creation of filtered density images |
| JP5581574B2 (ja) * | 2008-07-09 | 2014-09-03 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP4982538B2 (ja) * | 2009-08-19 | 2012-07-25 | ヤフー株式会社 | カラーヒストグラム生成装置、カラーヒストグラム生成方法及びプログラム |
-
2002
- 2002-03-13 JP JP2002069236A patent/JP4136404B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003271957A (ja) | 2003-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10846524B2 (en) | Table layout determination using a machine learning system | |
| Venna et al. | Local multidimensional scaling | |
| US11341770B2 (en) | Facial image identification system, identifier generation device, identification device, image identification system, and identification system | |
| JP2007128195A (ja) | 画像処理システム | |
| CN108334805B (zh) | 检测文档阅读顺序的方法和装置 | |
| US10249029B2 (en) | Reconstruction of missing regions of images | |
| CN107545049B (zh) | 图片处理方法及相关产品 | |
| JP2017004350A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JPWO2016009569A1 (ja) | 属性要因分析方法、装置、およびプログラム | |
| US20210248729A1 (en) | Superpixel merging | |
| CN111373418A (zh) | 学习设备和学习方法、识别设备和识别方法、程序和记录介质 | |
| Suykens | Data visualization and dimensionality reduction using kernel maps with a reference point | |
| JP4136404B2 (ja) | 画像間類似度算出装置、画像間類似度算出方法、及び、プログラム | |
| CN114743009A (zh) | 一种高光谱影像波段选择方法、系统及电子设备 | |
| Islam et al. | Geometry and statistics-preserving manifold embedding for nonlinear dimensionality reduction | |
| JP4867620B2 (ja) | 画像処理装置及び画像処理プログラム | |
| CN115578399A (zh) | 一种图像处理方法及装置、存储介质 | |
| CN112668635B (zh) | 图像归档方法、装置、设备及计算机存储介质 | |
| JP4421527B2 (ja) | 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体 | |
| Tahiri et al. | Building alternative consensus trees and supertrees using k-means and Robinson and Foulds distance | |
| Milone et al. | Clustering biological data with SOMs: On topology preservation in non-linear dimensional reduction | |
| Qu et al. | An algorithm of image mosaic based on binary tree and eliminating distortion error | |
| JP5703898B2 (ja) | 帳票管理システム、帳票画像管理方法、及びプログラム | |
| JP6151908B2 (ja) | 学習装置、識別装置、およびそのプログラム | |
| CN112651492B (zh) | 一种自连接宽度图卷积神经网络模型系统及训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080603 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |