JP6876914B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置に関する。

画像上の各点の特徴量を比較して類似度を算出し、類似度の高い似た画像を検索する技術がある。特許文献１には、画像から複数の局所特徴点を検出し、画像の複数の領域において局所特徴点の密度を算出し、その密度が閾値を超える領域に属する局所特徴点に対応する局所特徴量を算出する技術が開示されている。

特開２０１１−２５７９６３号公報

類似する画像を検索する際、画像上の全ての点について特徴量を照合していては時間がかかるので、特許文献１の技術のように特徴的な箇所（例えば特徴点）について特徴量を照合することが行われている。しかし、照合する箇所を絞り込むため、画像によっては検索の精度が低くなる（類似度が高くても似てないと感じたり類似度が低くても似ていると感じたりする）場合がある。
そこで、本発明は、照合対象を特徴的な箇所に絞り込んで画像の類似度を判定する際に、特徴的な箇所を一律に照合する場合に比べて、類似度の精度を向上させることを目的とする。

本発明の請求項１に係る情報処理装置は、画像の特徴的な箇所を検出する検出部と、画像内の領域を属性が異なる複数の領域に分類する分類部と、前記領域の属性と当該領域の優先度とを関係付ける規則を記憶する記憶部と、２つの画像について検出された前記箇所を照合し、当該照合の結果に当該箇所を含む前記領域の属性と前記規則により関係付けられる当該領域の優先度を反映して当該２つの画像の類似度を判定する判定部と、類似度の判定対象の画像を指定する際に用いられたアプリケーションプログラムの種類を特定する特定部とを備え、前記規則は、前記アプリケーションプログラムの種類毎に、前記領域の属性と当該領域の優先度とを関係付け、前記判定部は、照合する前記箇所を含む前記領域の属性及び特定された前記アプリケーションプログラムの種類に前記規則で関係付けられる優先度を反映して前記類似度を判定することを特徴とする。

本発明の請求項２に係る情報処理装置は、請求項１に記載の構成において、前記領域には、文字が表された第１領域と、写真又は絵が表された第２領域とが含まれ、前記規則は、文字列の編集に用いるアプリケーションプログラムの場合は前記第２領域より前記第１領域の優先度を高くし、画像の編集に用いるアプリケーションプログラムの場合は前記第１領域より前記第２領域の優先度を高くするよう、前記属性及び前記優先度を関係付けることを特徴とする。

本発明の請求項３に係る情報処理装置は、画像の特徴的な箇所を検出する検出部と、画像内の領域を属性が異なる複数の領域に分類する分類部と、前記領域の属性と当該領域の優先度とを関係付ける規則を記憶する記憶部と、画像の内容を判定する内容判定部と、２つの画像について検出された前記箇所を照合し、当該照合の結果に当該箇所を含む前記領域の属性と前記規則により関係付けられる当該領域の優先度を反映して当該２つの画像の類似度を判定する判定部とを備え、前記領域には、文字が表された第１領域と、写真又は絵が表された第２領域と、図形が表された第３領域が含まれ、前記画像の内容には、会議での説明用資料と、帳票又は図面とが含まれ、前記規則は、前記画像の内容毎に、前記内容が前記説明用資料の場合は前記第１領域より前記第２及び前記第３領域の優先度を高くし、前記内容が前記帳票又は図面の場合は前記第１及び前記第２領域より前記第３領域の優先度を高くするよう、前記領域の属性と当該領域の優先度とを関係付けており、前記判定部は、照合する前記箇所を含む前記領域の属性及び判定された前記画像の内容に前記規則で関係付けられる優先度を反映して前記類似度を判定することを特徴とする。

請求項１に係る発明によれば、照合対象を特徴的な箇所に絞り込んで画像の類似度を判定する際に、特徴的な箇所を一律に照合する場合に比べて、類似度の精度を向上させることができる。さらに、画像を指定する際に用いられたアプリケーションプログラムで使用する際に役立ちやすい画像ほど、類似度が高いと判定することができる。
請求項２に係る発明によれば、文字列の編集及び画像の編集のどちらに用いるアプリケーションプログラムであっても、役立ちやすい画像ほど類似度が高いと判定することができる。
請求項３に係る発明によれば、指定された画像の内容と優先度の関連付けがない場合に比べて、類似度の精度を向上させることができる。さらに、指定された画像の内容が説明用資料、帳票又は図面のいずれであっても、類似度の精度を向上させることができる。

実施例に係る画像検索システムの全体構成を表す図 ユーザ装置のハードウェア構成を表す図 画像検索サーバ装置のハードウェア構成を表す図 画像検索システムが実現する機能構成を表す図 検出された特徴的な箇所の一例を表す図 分類された領域の一例を表す図 優先度テーブルの一例を表す図 画像検索処理における各装置の動作手順の一例を表す図 第２優先度テーブルの一例を表す図 第２優先度テーブルの別の一例を表す図 第３優先度テーブルの一例を表す図 第４優先度テーブルの一例を表す図 変形例の第１優先度テーブルの一例を表す図 変形例の第１優先度テーブルの一例を表す図 第５優先度テーブルの一例を表す図 変形例の画像検索サーバ装置が実現する機能構成を表す図 変形例の画像検索サーバ装置が実現する機能構成を表す図 変形例のユーザ装置が実現する機能構成を表す図

［１］実施例
図１は実施例に係る画像検索システム１の全体構成を表す。画像検索システム１は、ユーザが指定した画像に類似する画像を検索するシステムである。画像検索システム１は、通信回線２と、ユーザ装置１０と、画像検索サーバ装置２０とを備える。

通信回線２は、移動体通信網及びインターネット等を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。通信回線２には、画像検索サーバ装置２０が有線通信で接続されており、ユーザ装置１０が無線通信で接続されている。なお、通信回線２との接続は有線通信及び無線通信のどちらでもよい。

ユーザ装置１０は、ユーザが利用する情報処理装置であり、画像の表示及びユーザ操作の受け付け等を行う。ユーザ装置１０は、ユーザが類似画像を検索したい画像を指定する操作を行うと、指定された画像を画像検索サーバ装置２０に送信する。画像検索サーバ装置２０は、指定された画像に類似する画像を検索する情報処理装置である。画像検索サーバ装置２０は、例えば検索対象の画像を外部からＵＲＬ（Uniform Resource Locator）等を用いてアクセス可能な記憶領域に記憶しておく。

画像検索サーバ装置２０は、ユーザ装置１０から送信されてきた画像と記憶している画像との類似度を算出し、算出した類似度が大きい方から定められた数の画像のサムネイル画像及びアクセス情報（画像にアクセスするための情報。例えばＵＲＬ）を検索結果としてユーザ装置１０に送信する。ユーザ装置１０は、送信されてきたサムネイル画像及びアクセス情報の一覧を表示し、ユーザがいずれかのサムネイル画像を選択すると、画像検索サーバ装置２０にアクセスしてその画像を読み込んで表示する。

図２はユーザ装置１０のハードウェア構成を表す。ユーザ装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信装置１４と、入力装置１５と、出力装置１６とを備えるコンピュータである。プロセッサ１１は、ＣＰＵ（Central Processing Unit）等を備え、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１１は、プログラム及びデータ等をストレージ１３及び通信装置１４からメモリ１２に読み出し、これらに従って各種の処理を実行する。

メモリ１２は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のコンピュータが読み取り可能な記録媒体である。ストレージ１３は、ハードディスクドライブ及びフラッシュメモリ等のコンピュータが読み取り可能な記録媒体である。通信装置１４は、無線通信回線を介してコンピュータ間の通信を行う。通信装置１４は、例えば移動体通信又は無線ＬＡＮの規格に準拠した無線通信を行う。

入力装置１５は、外部からの入力を受け付ける入力デバイスであり、ユーザ装置１０においては例えばタッチセンサ、ボタン及びマイクロフォン等である。出力装置１６は、外部への出力を実施する出力デバイスであり、例えば、ディスプレイ及びスピーカー等である。なお、ユーザ装置１０は、入力装置１５のタッチセンサ及び出力装置１６のディスプレイが一体となったタッチスクリーンを備える。

図３は画像検索サーバ装置２０のハードウェア構成を表す。画像検索サーバ装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信装置２４とを備えるコンピュータである。これらはいずれも、図２に表す同名の各装置と共通するハードウェアである。

画像検索システム１が備える各装置のプロセッサがプログラムを実行して各部を制御することで、以下に述べる機能が実現される。
図４は画像検索システム１が実現する機能構成を表す。ユーザ装置１０は、画像指定操作受付部１０１と、指定画像送信部１０２と、検索結果表示部１０３とを備える。画像検索サーバ装置２０は、検索対象画像蓄積部２０１と、画像取得部２０２と、特徴箇所検出部２０３と、属性別領域分類部２０４と、優先度規則記憶部２０５と、優先度設定部２０６と、特徴量算出部２０７と、画像情報蓄積部２０８と、類似度判定部２０９と、検索結果送信部２１０とを備える。

画像検索サーバ装置２０の検索対象画像蓄積部２０１は、画像検索システム１において検索対象となる画像を蓄積する。検索対象画像蓄積部２０１は、例えば、業務文書の画像、プレゼン資料の画像及び図面の画像等を示すデータを、各画像を識別する情報（例えばファイル名及びパスを示す情報、画像ＩＤ（Identification）等。本実施例では画像ＩＤとする）に対応付けて記憶する。

検索対象画像蓄積部２０１は、各画像を別々のフォルダに記憶し、１つ１つの画像に対して対応するＵＲＬでアクセス可能な状態で蓄積する。検索対象画像蓄積部２０１は、そのＵＲＬと、そのＵＲＬでアクセス可能な画像の画像ＩＤと、その画像のサムネイル画像とを対応付けて記憶する。

画像取得部２０２は、特徴量を算出する対象となる画像を取得する。画像取得部２０２は、例えば、検索対象画像蓄積部２０１が検索対象となる画像を新たに蓄積すると、その画像及び画像ＩＤを画像取得部２０２に供給し、画像取得部２０２がその検索対象の画像及び画像ＩＤを取得する。画像取得部２０２は、取得した検索対象の画像及び画像ＩＤを特徴箇所検出部２０３及び属性別領域分類部２０４に供給する。

特徴箇所検出部２０３は、画像の特徴的な箇所を検出する機能であり、本発明の「検出部」の一例である。画像の特徴的な箇所とは、例えば画像内のオブジェクト（文字、図形、写真及び絵等）の輪郭及び頂点（コーナー）等である。特徴箇所検出部２０３は、画像取得部２０２から供給された画像の特徴的な箇所を、各種の周知の画像処理の技術を用いて検出する。

画像処理の技術には、例えばＳＩＦＴ（Scale-invariant feature transform）、ＳＵＲＦ（Speed-Upped Robust Feature）、ＯＲＢ、ＡＫＡＺＥ（Accelerated KAZE）及びＨＯＧ（Histograms of Oriented Gradients）等がある（特徴的な箇所は、ＳＩＦＴ等では特徴点、ＨＯＧでは特徴領域と呼ばれる）。

図５は検出された特徴的な箇所の一例を表す。図５（ａ）では、特徴的な箇所を検出する対象の画像の一例として、文字、図形及び地図が含まれた文書画像Ａ１が表されている。図５（ｂ）では、文書画像Ａ１から特徴箇所検出部２０３が検出した複数の特徴的な箇所（丸で囲まれた箇所）Ｂ１が表されている。特徴箇所検出部２０３は、検出した特徴的な箇所を示す特徴箇所情報を、検出対象の画像の画像ＩＤと共に優先度設定部２０６及び特徴量算出部２０７に供給する。

特徴的箇所情報は、例えば、文書画像Ａ１のいずれかの角を原点としたＸＹ座標系における各特徴的な箇所Ｂ１の座標を示す情報である。なお、特徴的箇所情報は、それ以外にも、例えば、特徴的な箇所が円形の領域である場合にはその直径で表されてもよいし、特徴的な箇所の検出の際に角度、強度、検出レイヤー又はクラスＩＤが得られる場合には、それらの情報を含んで表されてもよい。

特徴量算出部２０７は、画像の特徴的な箇所における特徴量を算出する。特徴量算出部２０７は、特徴箇所検出部２０３が用いた画像処理の技術を用いて、各特徴的な箇所についての特徴量を算出する。特徴量算出部２０７は、算出した特徴量を、算出対象の箇所の特徴箇所情報と、算出対象の画像の画像ＩＤと共に画像情報蓄積部２０８及び類似度判定部２０９に供給する。

属性別領域分類部２０４は、画像内の領域を属性が異なる複数の領域に分類する機能であり、本発明の「分類部」の一例である。領域の属性は、本実施例では、その領域に画像として表されている対象の性質によって定められる。この対象には、例えば、文字（言葉を表すという性質。アルファベット、漢字、ひらがな、数字等）、図形（幾何学的な形を表現するという性質。線、円、多角形等）、画（「え」と読む。実在するもの又は想像上のものの姿及び形等を表現するという性質。写真、絵、図面、地図等）がある。

属性別領域分類部２０４は、本実施例では、文字が表された文字領域、図形が表された図形領域及び画が表された画領域に画像内の領域を分類する。属性別領域分類部２０４は、例えば、特開２００４−２７２５５７号公報に記載の技術等を用いて文字の領域を分類し、特開２００５−３０９８６２号公報に記載の技術等を用いて図形の領域を分類し、残った領域から空白の領域を除いた領域を画領域として分類する。なお、属性別領域分類部２０４は、これら以外の周知の技術を用いて各領域を分類してもよい。

図６は分類された領域の一例を表す。図６（ａ）では、図５（ａ）に表す文書画像Ａ１が表されている。文書画像Ａ１には、文字（タイトルＣ１１、見出しＣ１２、報告内容Ｃ１３）、図形（棒グラフＤ１１、折れ線グラフＤ１２）及び画（日本地図Ｅ１１）が含まれている。図６（ｂ）では、文書画像Ａ１について属性別領域分類部２０４が分類した文字領域Ｆ１、図形領域Ｇ１、画領域Ｈ１を表した分類領域画像Ａ２が表されている。

属性別領域分類部２０４は、タイトルＣ１１を文字領域Ｆ１１及び図形領域Ｇ１１に分類し、見出しＣ１２を文字領域Ｆ１２及び図形領域Ｇ１２に分類している。また、属性別領域分類部２０４は、報告内容Ｃ１３を、文字領域Ｆ１３、Ｆ１４及び画領域Ｈ１１に分類し、見出しＣ１２を文字領域Ｆ１５、Ｆ１４及び図形領域Ｇ１３、Ｇ１４に分類している。また、属性別領域分類部２０４は、棒グラフＤ１１を図形領域Ｇ１５及び文字領域Ｆ１７に分類し、折れ線グラフＤ１２を図形領域Ｇ１６及び文字領域Ｆ１８に分類している。

属性別領域分類部２０４は、画像内の領域を分類すると、分類した領域の範囲を表す領域範囲情報と、分類した領域（文字領域、図形領域、画領域）の属性を示す領域属性ＩＤとを、分類対象の画像の画像ＩＤと共に優先度設定部２０６及び画像情報蓄積部２０８に供給する。領域範囲情報は、例えば、前述したＸＹ座標系において各領域の境界線を示す式の集合である。なお、領域範囲情報は、各領域に含まれる全画素のＸＹ座標系における座標の集合であってもよい。

画像情報蓄積部２０８は、検索対象の画像に関する情報（画像情報）として、その画像について特徴量算出部２０７により算出された特徴量と、その画像について属性別領域分類部２０４により分類された領域の領域範囲情報とを蓄積する。画像情報蓄積部２０８は、特徴量算出部２０７から供給された特徴量、特徴箇所情報、画像ＩＤと、属性別領域分類部２０４から供給された領域範囲情報、領域属性ＩＤ及び画像ＩＤとを、画像ＩＤが共通するものについて互いに対応付けて記憶する。

ユーザ装置１０の画像指定操作受付部１０１は、類似画像を検索したい画像を指定する操作（指定操作）を受け付ける。指定操作は、ユーザ装置１０が実行しているアプリケーションプログラムの画面上で行われる。本実施例では、画像検索サーバ装置２０が画像検索用のウェブページを提供しており、ユーザ装置１０がそのウェブページを表示したブラウザの画面上で指定操作（例えば類似画像を検索したい画像をアップロードする操作）が行われる。画像指定操作受付部１０１は、受け付けた操作により指定された画像（指定画像）を指定画像送信部１０２及び検索結果表示部１０３に供給する。指定画像送信部１０２は、供給された指定画像を画像検索サーバ装置２０に送信する。

画像検索サーバ装置２０の画像取得部２０２は、ユーザ装置１０から送信されてきた指定画像を、特徴量を算出する対象となる画像として取得すると、取得した指定画像を特徴箇所検出部２０３及び属性別領域分類部２０４に供給する。特徴箇所検出部２０３は、指定画像について上記と同じ方法で特徴的な箇所を検出すると、検出した指定画像の特徴箇所情報及び画像ＩＤを優先度設定部２０６及び特徴量算出部２０７に供給する。

特徴量算出部２０７は、指定画像について上記と同じ方法で特徴量を算出すると、算出した指定画像の特徴量、特徴箇所情報及び画像ＩＤを類似度判定部２０９に供給する。属性別領域分類部２０４は、指定画像内の領域を上記と同じ方法で属性が異なる複数の領域に分類すると、分類した指定画像の領域範囲情報、領域属性ＩＤ及び画像ＩＤを優先度設定部２０６及び画像情報蓄積部２０８に供給する。画像情報蓄積部２０８は、供給されたこれらの情報を蓄積する。

優先度規則記憶部２０５は、上述した画像内の領域の属性とその領域の優先度とを関係付ける規則（優先度規則）を記憶する。優先度規則記憶部２０５は本発明の「記憶部」の一例である。本実施例では、優先度は、後述する類似度判定部２０９が２つの画像の類似度を判定する際に行う特徴的な箇所の照合において、照合結果に付与する重みを定めるための指標として用いられる。

具体的には、優先度が高い領域に含まれる箇所の照合結果ほど大きな重みを付与する。これにより、優先度が高い領域が似ているほど類似度が高く判定されることになる。優先度規則記憶部２０５は、本実施例では、各領域（文字領域、図形領域、画領域）の属性と優先度とを対応付けた第１優先度テーブルを、優先度規則を表す情報として記憶する。

図７は第１優先度テーブルの一例を表す。図７の例では、優先度規則記憶部２０５は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「３」、「２」及び「１」という優先度（「１」が最も高く「３」が最も低い）とを対応付けた第１優先度テーブルを記憶している。本実施例では、この第１優先度テーブルによって、画像内の領域の属性とその領域の優先度とが関係付けられている。優先度規則記憶部２０５は、後述する優先度設定部２０６から要求されると、記憶している第１優先度テーブルを優先度設定部２０６に供給する。

優先度設定部２０６は、画像取得部２０２により取得された画像について検出された特徴的な箇所及び分類された領域と、優先度規則記憶部２０５に記憶されている優先度規則とに基づいて、それらの特徴的な箇所を含む領域の優先度を設定する。例えば図５に表す文書画像Ａ１が取得された場合、分類された領域である文字領域Ｆ１１〜Ｆ１８、図形領域Ｇ１１〜Ｇ１６及び画領域Ｈ１１にはいずれも特徴的な箇所が含まれている。

優先度設定部２０６は、文書画像Ａ１についての特徴箇所情報、画像ＩＤが特徴箇所検出部２０３から供給され、領域範囲情報、領域属性ＩＤ、画像ＩＤが属性別領域分類部２０４から供給されると、特徴的な箇所をそれぞれ含む文字領域、図形領域及び画領域の優先度を設定する。具体的には、優先度設定部２０６は、優先度規則記憶部２０５から第１優先度テーブルを読み出し、読み出した第１優先度テーブルで各領域の属性に対応付けられている優先度を、それらの領域の優先度として設定する。

図７の例では、優先度設定部２０６は、「画領域」の優先度を「１」、「図形領域」の優先度を「２」、「文字領域」の優先度を「３」と設定する。このように、優先度設定部２０６は、画像内の領域の属性に優先度規則により関係付けられる優先度をその領域の優先度として設定する。優先度設定部２０６は、設定した優先度を示す優先度情報を類似度判定部２０９に供給する。

類似度判定部２０９は、２つの画像について検出された特徴的な箇所を照合し、それら２つの画像の類似度を判定する。類似度判定部２０９は本発明の「判定部」の一例である。類似度判定部２０９は、詳細には、前述した特徴的な箇所の照合の結果に対し、特徴的な箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度を反映して、類似度を判定する。

類似度判定部２０９は、本実施例では、前述したように、優先度が高い箇所の照合結果ほど大きな重みを付与して類似度を判定する。類似度判定部２０９は、特徴量算出部２０７から指定画像の特徴量、特徴箇所情報及び画像ＩＤが供給されると、その画像ＩＤに対応付けて画像情報蓄積部２０８に蓄積されている指定画像の領域範囲情報及び領域属性ＩＤを読み出す。なお、指定画像の領域範囲情報及び領域属性ＩＤは属性別領域分類部２０４から類似度判定部２０９に直接供給されてもよい。

また、類似度判定部２０９は、画像情報蓄積部２０８に蓄積されている検索対象の画像を１つ選び、その画像の特徴量、特徴箇所情報、領域範囲情報、領域属性ＩＤ及び画像ＩＤを読み出す。類似度判定部２０９は、読み出した指定画像と検索対象の画像について、読み出した特徴箇所情報及び特徴量に基づいて特徴的な箇所を照合する。その際に、類似度判定部２０９は、読み出した領域範囲情報及び領域属性ＩＤに基づいて、各特徴的な箇所を含む領域の属性について設定された優先度に応じた重みをその箇所の特徴量に対して付与した上で、類似度を判定する。

これにより、優先度が高い属性の領域にある特徴的な箇所の特徴量と優先度が低い属性の領域にある特徴的な箇所の特徴量とが同じ大きさであっても、前者の特徴量の方が大きな特徴量として扱われる。そのため、優先度が高い属性の領域が似ている方が、優先度が低い属性の領域が似ている場合よりも類似度が高くなる。類似度判定部２０９は、類似度を判定すると、次の検索対象の画像を１つ選び、その画像についても類似度を判定する。

類似度判定部２０９は、判定した類似度を、例えば０に近いほど類似度が高い（同一画像だと０になる）ことを示す数値や、１に近いほど類似度が高い（同一画像だと１になる）ことを示す数値などで表す。類似度判定部２０９は、そうして蓄積されている検索対象の画像の全てについて類似度を判定すると、判定した類似度と、判定対象の画像の画像ＩＤとを検索結果送信部２１０に供給する。

検索結果送信部２１０は、類似度判定部２０９により判定された類似度を示す情報を検索結果として指定画像の送信元の装置（ユーザ装置１０）に送信する。検索結果送信部２１０は、詳細には、類似度判定部２０９から類似度及び画像ＩＤが供給されると、その画像ＩＤに対応付けられたＵＲＬ及びサムネイル画像を検索対象画像蓄積部２０１から読み出す。検索結果送信部２１０は、読み出したＵＲＬ及びサムネイル画像と供給された類似度とを対応付けた検索結果情報を生成し、指定画像に類似する画像の検索結果としてユーザ装置１０に送信する。

ユーザ装置１０の検索結果表示部１０３は、画像検索サーバ装置２０による指定画像の検索結果を表示する。検索結果表示部１０３は、画像指定操作受付部１０１から供給された指定画像を表示し、画像検索サーバ装置２０から検索結果情報が送信されてくると、その検索結果情報が示すサムネイル画像及びＵＲＬを、対応付けられている類似度が高いものから順番に並べて表示する。検索結果表示部１０３は、表示したサムネイル画像又はＵＲＬをユーザが選択すると、そのＵＲＬにアクセスし、選択された検索対象の画像を取得して表示する。

画像検索システム１が備える各装置は、上記の構成に基づいて、指定画像に類似する画像を検索する画像検索処理を行う。
図８は画像検索処理における各装置の動作手順の一例を表す。この例では、検索対象の画像の特徴量及び特徴箇所情報等が既に蓄積されているものとする。図８の動作手順は、例えば、ユーザがユーザ装置１０を操作して類似する画像を検索したい画像を指定する画像指定操作を行うことを契機に開始される。まず、ユーザ装置１０（画像指定操作受付部１０１）は、その画像指定操作を受け付ける（ステップＳ１１）。

次に、ユーザ装置１０（指定画像送信部１０２）は、指定された画像（指定画像）を画像検索サーバ装置２０に送信する（ステップＳ１２）。続いて、画像検索サーバ装置２０（画像取得部２０２）は、送信されてきた指定画像を取得する（ステップＳ１３）。次に、画像検索サーバ装置２０（特徴箇所検出部２０３）は、指定画像の特徴的な箇所を検出する（ステップＳ１４）。続いて、画像検索サーバ装置２０（特徴量算出部２０７）は、指定画像の特徴的な箇所における特徴量を算出する（ステップＳ１５）。

次に、画像検索サーバ装置２０（属性別領域分類部２０４）は、指定画像内の領域を属性が異なる複数の領域に分類する（ステップＳ１６）。なお、ステップＳ１６の動作はステップＳ１４、Ｓ１５より前に行われてもよいし、それらと並行して行われてもよい。続いて、画像検索サーバ装置２０（優先度設定部２０６）は、取得された指定画像について検出された特徴的な箇所と分類された領域とに基づいて、それらの特徴的な箇所を含む領域の属性の優先度を優先度規則に基づいて設定する（ステップＳ１７）。

次に、画像検索サーバ装置２０（類似度判定部２０９）は、指定画像及び検索対象の画像について検出された特徴的な箇所を照合し、それら２つの画像の類似度を判定する（ステップＳ１８）。そして、画像検索サーバ装置２０（検索結果送信部２１０）は、判定された類似度を示す検索結果情報を生成し（ステップＳ１９）、生成した検索結果情報を指定画像の送信元のユーザ装置１０に送信する（ステップＳ２０）。ユーザ装置１０（検索結果表示部１０３）は、送信されてきた検索結果を表示する（ステップＳ２１）。

本実施例では、２つの画像の類似度を判定する際に、それら２つの画像における照合対象を特徴的な箇所に絞り込むことで、全ての箇所を照合する場合に比べて画像同士の類似度判定を高速化している。また、本実施例では、優先度を設定することで、例えば図７等の例では、「画領域」の似ている画像が「文字領域」の似ている画像よりも高い類似度と判定されるようになっている。

２つの画像の「文字領域」が似ていても１文字１文字を照合することは人の目では困難なので、それよりは人の目でも照合しやすい「画領域」が似ている画像同士の方が類似度が高いと感じやすい。本実施例においては、上記のとおり優先度を用いることで、このようにより似ていると感じやすい画像同士の類似度が高く判定されるので、特徴的な箇所を一律に照合する場合に比べて、判定される類似度の精度が向上して、類似度が高いほど似ている画像だと感じやすくなっている。

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。

［２−１］領域の位置
類似判定に用いられる優先度は、実施例では、画像内の領域の属性に関係付けられていたが、属性以外の情報とも関係付けられていてもよい。本変形例では、優先度規則記憶部２０５が、画像内の領域の属性とその領域の優先度とを関係付ける他、その領域の画像内の位置とその領域の優先度とをさらに関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部２０５は、例えば、図７に表す第１優先度テーブルに加え、各領域の位置と優先度とを対応付けた第２優先度テーブルを、優先度規則を表す情報として記憶する。

図９は第２優先度テーブルの一例を表す。図９の例では、優先度規則記憶部２０５は、「左上」、「右上、左下」及び「右下」という領域の位置の優先度がそれぞれ「１」、「２」及び「３」と定められた第２優先度テーブルを記憶している。優先度設定部２０６は、属性別領域分類部２０４から供給された領域範囲情報に基づいて、分類された領域の位置を判断する。優先度設定部２０６は、例えば、画像を「左上」、「右上」、「左下」、「右下」の４つの分割領域に分け、分類された領域の重心が含まれる分割領域を分類された領域の位置と判断する。

優先度設定部２０６は、例えば、共に供給された領域属性ＩＤが示す属性に第１優先度テーブルで対応付けられている優先度と、判断した領域の位置に第２優先度テーブルで対応付けられている優先度との平均値を、その領域の優先度として設定する。例えば「図形領域」を属性とする領域が「左上」の分割領域に位置する場合は、優先度設定部２０６は、第１優先度テーブルで「図形領域」に対応付けられた「２」という優先度と第２優先度テーブルで「左上」に対応付けられた「１」という優先度との平均値である「１．５」をその領域の優先度として設定する。

このように、優先度規則記憶部２０５が記憶する優先度規則を表す第１優先度テーブル及び第２テーブルは、領域の属性及びその領域の画像内の位置と、その領域の優先度とを関係付けている。類似度判定部２０９は、優先度設定部２０６により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部２０９は、照合する箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度と、その領域の位置に優先度規則により関係付けられるその領域の優先度とを反映して類似度を判定する。

なお、本変形例の優先度規則は上記のものに限らない。
図１０は第２優先度テーブルの別の一例を表す。図１０に表す第２優先度テーブルでは、「左上」、「右上、左下」及び「右下」という領域の位置と「−１」、「０」及び「＋１」という優先度補正値とが対応付けられている。「−１」は、領域の属性に基づき設定される優先度から「１」減じる補正をすること、すなわち優先度を１つ高くすることを意味し、「＋１」は、領域の属性に基づき設定される優先度に「１」加える補正をすること、すなわち優先度を１つ低くすることを意味し、「０」は優先度を補正しないことを意味する。

この場合、優先度設定部２０６は、領域属性ＩＤが示す属性に第１優先度テーブルで対応付けられている優先度を、上記のとおり判断した領域の位置に第２優先度テーブルで対応付けられている優先度補正値で補正し、その領域の優先度として設定する。例えば「図形領域」を属性とする領域が「左上」の分割領域に位置する場合は、優先度設定部２０６は、第１優先度テーブルで「図形領域」に対応付けられた「２」という優先度を第２優先度テーブルで「左上」に対応付けられた「−１」という優先度補正値で補正した「１」をその領域の優先度として設定する。

なお、「１」という優先度を「−１」という優先度補正値で補正する場合は、それ以上優先度を高くしないで「１」のままとしてもよいし、「０」として「１」よりも優先度が高いものとして扱ってもよい。図１０に表す第２優先度テーブルも、図９に表す第２優先度テーブルと同じく、画像内の領域の画像内の位置とその領域の優先度とを関係付けている（領域の位置によって優先度を高めたり低くしたりするという関係）。

コンピュータで扱われる画像では、画像内のオブジェクト（文字、図形、写真及び絵等）が左上から右下に向かって並べられ、重要なオブジェクトほど左上の近くに配置されることがある。また、重要なオブジェクトはその画像を特徴づける場合が多いので、重要なオブジェクトが似ている画像は、それ以外のオブジェクトが似ている画像に比べてより似ていると感じやすい。

本変形例では、上記のとおり領域の位置に関係付けられた優先度を用いることで、このようにより似ていると感じやすい画像同士の類似度が高く判定されるので、領域の画像内の位置と優先度の関係付けがない場合に比べて、判定される類似度の精度が向上する。なお、優先度が高い位置を画像の左上ではなく画像の中央にしてもよいし、画像の上端の中央にしてもよい。要するに、ユーザが画像を見るときに注目しやすい位置ほど優先度を高くするとよい。

［２−２］共通属性の領域の位置のずれ
類似判定に用いられる優先度は上記以外の情報と関係付けられてもよい。本変形例では、優先度規則記憶部２０５が、画像内の領域の属性とその領域の優先度とを関係付ける他、２つの画像における共通属性の領域の位置のずれの大きさとその領域の優先度とをさらに関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部２０５は、例えば、図７に表す第１優先度テーブルに加え、共通属性の領域の位置のずれの大きさと優先度とを対応付けた第３優先度テーブルを、優先度規則を表す情報として記憶する。

図１１は第３優先度テーブルの一例を表す。図１１の例では、優先度規則記憶部２０５は、「閾値Ｔｈ１未満」、「閾値Ｔｈ１以上閾値Ｔｈ２未満」及び「閾値Ｔｈ２以上」という共通属性の領域のずれの大きさの優先度がそれぞれ「１」、「２」及び「３」と定められた第３優先度テーブルを記憶している。本変形例では、類似度判定部２０９が類似度を判定する際に、指定画像及び検索対象の画像の領域範囲情報及びそれに対応付けられた領域属性ＩＤを優先度設定部２０６に供給する。

優先度設定部２０６は、供給された２つの画像の領域範囲情報のうち、対応付けられた領域属性ＩＤが同じ領域範囲情報が示す領域の重心同士の距離を算出する。優先度設定部２０６は、例えば上述したＸＹ座標系における重心の座標間の距離を算出する。優先度設定部２０６は、２つの画像のサイズ及び形状が同じ場合は重心間の距離をそのまま算出し、２つの画像のサイズ又は形状が異なる場合は、例えば同じサイズ及び形状に画像を加工した場合の座標に変換してから重心間の距離を算出する（画像を加工せずに重心間の距離を算出してもよい）。

優先度設定部２０６は、例えば、その領域属性ＩＤが示す属性に第１優先度テーブルで対応付けられている優先度と、算出した距離に第３優先度テーブルで対応付けられている優先度との平均値を、その領域の優先度として設定する。例えば指定画像及び検索対象の画像の両方に「図形領域」を属性とする領域があり、それらの領域の距離が閾値Ｔｈ２以上である場合は、優先度設定部２０６は、第１優先度テーブルで「図形領域」に対応付けられた「２」という優先度と第３優先度テーブルで「閾値Ｔｈ２以上」に対応付けられた「３」という優先度との平均値である「２．５」をその領域の優先度として設定する。なお、本変形例でも、図１０の例のように、優先度補正値が用いられてもよい。

類似度判定部２０９は、優先度設定部２０６により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部２０９は、照合する箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度と、その領域についての前述したずれの大きさ（２つの画像における共通属性の領域の位置のずれの大きさ）に優先度規則で関係付けられる優先度を反映して類似度を判定する。

例えばいずれも写真が配置された２つの画像があった場合に、その写真の位置がどちらも左上である場合と、一方は左上で他方は右下である場合とでは、前者の方が似た画像だと感じやすい。このように、共通属性の領域の位置が近いほど２つの画像が似ていると感じやすいので、本変形例では、上記のとおり共通属性の領域の位置のずれに関係付けられた優先度を用いることで、このずれが小さくてより似ていると感じやすい画像同士の類似度が高く判定されるので、このずれと優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。

［２−３］領域内の特徴量の大きさ
類似判定に用いられる優先度は上記以外の情報と関係付けられてもよい。本変形例では、優先度規則記憶部２０５が、画像内の領域の属性とその領域の優先度とを関係付ける他、その領域に含まれる特徴的な箇所の特徴量の大きさとその領域の優先度とをさらに関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部２０５は、例えば、図７に表す第１優先度テーブルに加え、特徴量の大きさと優先度とを対応付けた第４優先度テーブルを、優先度規則を表す情報として記憶する。

図１２は第４優先度テーブルの一例を表す。図１２の例では、優先度規則記憶部２０５は、「閾値Ｔｈ１１未満」、「閾値Ｔｈ１１以上閾値Ｔｈ１２未満」及び「閾値Ｔｈ１２以上」という特徴量の大きさの優先度がそれぞれ「３」、「２」及び「１」と定められた第４優先度テーブルを記憶している。本変形例では、類似度判定部２０９が類似度を判定する際に、例えば、指定画像の特徴量、特徴箇所情報及び領域範囲情報を優先度設定部２０６に供給する。

優先度設定部２０６は、供給された情報が示す分類された領域のうち、その領域に含まれる特徴的な箇所の特徴量の合計を算出する。優先度設定部２０６は、例えば、その領域属性ＩＤが示す属性に第１優先度テーブルで対応付けられている優先度と、算出した特徴量の合計に第４優先度テーブルで対応付けられている優先度との平均値（中央値、最大値又は最小値等であってもよい）を、その領域の優先度として設定する。

例えば指定画像に「図形領域」を属性とする領域があり、その領域に含まれる特徴的な箇所の特徴量の合計が閾値Ｔｈ１２以上である場合は、優先度設定部２０６は、第１優先度テーブルで「図形領域」に対応付けられた「２」という優先度と第４優先度テーブルで「閾値Ｔｈ１２以上」に対応付けられた「１」という優先度との平均値である「１．５」をその領域の優先度として設定する。

なお、本変形例でも、図１０の例のように、優先度補正値が用いられてもよい。また、上記の例では指定画像の領域についてだけ優先度を設定したが、検索対象の画像についてだけ優先度を設定してもよいし、両方の画像の領域について優先度を設定してもよい。また、特徴量の合計ではなく、特徴量の平均値を算出してもよいし、単位面積当たりの特徴量の合計を算出してもよい。要するに、領域に含まれる特徴的な箇所の特徴量が大きいほどその領域の優先度を大きくすればよい。

類似度判定部２０９は、優先度設定部２０６により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部２０９は、照合する箇所を含む領域の属性に優先度規則により関係付けられるその領域の優先度と、その領域に含まれる特徴的な箇所の特徴量の大きさに優先度規則で関係付けられる優先度を反映して類似度を判定する。

特徴量が大きい領域はその画像の特徴的な領域といえ、その特徴量が大きいほど、他の領域に比べて目立ちやすくなる。そのため、特徴量が大きい領域が似ている画像は、他の領域が似ている画像に比べて似ていると感じやすい。本変形例では、上記のとおり領域に含まれる特徴的な箇所の特徴量の大きさに関係付けられた優先度を用いることで、このようにより似ていると感じやすい画像同士の類似度が高く判定されるので、この特徴量と優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。

［２−４］画像指定に用いるアプリケーションプログラム
類似する画像を検索したい画像を指定する際に用いられたアプリケーションプログラム（以下「アプリ」という）の種類によって異なる優先度が決定されてもよい。本変形例では、指定画像送信部１０２が、指定画像と共に、その指定画像の指定に用いられたアプリのアプリＩＤを送信する。

指定に用いられるアプリとしては、例えば、ブラウザ、画像編集ソフト、ワープロソフトなどのプログラムである。アプリＩＤは、画像取得部２０２を介して優先度設定部２０６に供給される。優先度設定部２０６は、供給されたアプリＩＤが示すアプリの種類を、類似度の判定対象の画像を指定する際に用いられたアプリの種類として特定する。優先度設定部２０６は本発明の「特定部」の一例である。

本変形例では、優先度規則記憶部２０５が、指定に用いられるアプリの種類毎に、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。
図１３は本変形例の第１優先度テーブルの一例を表す。図１３の第１優先度テーブルは、アプリの種類が「ブラウザ」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「２」、「３」及び「１」という優先度とを対応付けている。

また、第１優先度テーブルは、アプリの種類が「画像編集ソフト」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「３」、「２」及び「１」という優先度とを対応付け、アプリの種類が「文章編集ソフト」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「１」、「２」及び「３」という優先度とを対応付けている。

このように、図１３の例では、文字列の編集に用いるアプリの場合は画領域より文字領域の優先度を高くし、画像の編集に用いるアプリの場合は文字領域より画領域の優先度を高くするよう、領域の属性及び優先度が第１優先度テーブルによって関係付けられている。文字領域は本発明の「第１領域」の一例であり、画領域は本発明の「第２領域」の一例である。

優先度設定部２０６は、供給されたアプリＩＤが示すアプリの種類及び領域属性ＩＤが示す領域の属性に第１優先度テーブルで対応付けられている優先度を、その領域の優先度として設定する。優先度設定部２０６は、例えば画像編集ソフトを用いて指定された指定画像に文字領域を属性とする領域がある場合は、第１優先度テーブルで「画像編集ソフト」及び「文字領域」に対応付けられた「３」という優先度を設定する。

一方、優先度設定部２０６は、文章編集ソフトを用いて指定された指定画像に文字領域を属性とする領域がある場合は、第１優先度テーブルで「文字編集ソフト」及び「文字領域」に対応付けられた「１」という優先度を設定する。類似度判定部２０９は、優先度設定部２０６により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部２０９は、照合する箇所を含む領域の属性及び特定されたアプリの種類に優先度規則により関係付けられるその領域の優先度を反映して類似度を判定する。

例えばワープロソフトを利用しているときに画像の検索を行うのは、文章の編集に役立てようとするからであり、その場合は、文字が似ている画像の方が、画や図形が似ている画像よりも役立てやすい。一方、画像編集ソフトを利用しているときに画像の検索を行うのは、画像の編集に役立てようとするからであり、その場合は、画（写真、絵、図面、地図など）が似ている画像の方が、文字が似ている画像よりも役立てやすい。

本変形例では、上記のとおり指定画像の指定に用いられたアプリの種類に関係付けられた優先度を用いることで、そのアプリで使用する際に役立ちやすい画像ほど、類似度が高いと判定されるようになっている。特に、図１３に表す第１優先度テーブルを用いることで、文字列の編集及び画像の編集のどちらに用いるアプリであっても、そのアプリで役立ちやすい画領ほど類似度が高いと判定される。

［２−５］画像の内容
類似する画像の検索では、会議での説明用資料（いわゆるプレゼン資料）、文書（報告書、帳票及び図面等）、写真などの様々な内容の画像が指定されるが、指定された画像の内容によって異なる優先度が決定されてもよい。本変形例では、指定画像送信部１０２が送信した指定画像を示すファイルのファイル名が画像取得部２０２を介して優先度設定部２０６に供給される。

本変形例では、優先度設定部２０６は、指定画像の内容を判定する。優先度設定部２０６は本発明の「内容判定部」の一例である。優先度設定部２０６は、例えば、供給されたファイル名に基づいて指定画像の内容を判定する。優先度設定部２０６は、指定画像のファイル名がプレゼン用のアプリで生成されるファイルの拡張子（「ｐｐｔ」など）を含んでいれば、その指定画像の内容をプレゼン資料と判定する。

優先度設定部２０６は、指定画像のファイル名が、帳票作成によく用いられるアプリ（表計算ソフトなど）で用いられる拡張子（「ｘｌｓ」など）を含んでいれば帳票と判定し、図面作成用のアプリで用いられる拡張子（「ｄｗｇ」など）を含んでいれば図面と判定する。また、優先度設定部２０６は、指定画像のファイル名が、文書作成用のアプリで用いられる拡張子（「ｄｏｃ」など）を含んでいれば文書（帳票及び図面を除く）と判定し、写真で用いられる拡張子（「ｊｐｇ」など）を含んでいれば画像と判定する。なお、優先度設定部２０６は、拡張子を用いる方法以外にも、周知の画像認識の技術（文字や罫線、人物を抽出する技術など）を用いて画像の内容を判定してもよい。

本変形例では、優先度規則記憶部２０５が、指定画像の内容毎に、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。
図１４は本変形例の第１優先度テーブルの一例を表す。図１４の第１優先度テーブルは、画像の内容が「説明用資料」の場合は、「文字領域」、「図形領域」及び「画領域」という画像内の領域の属性と、「２」、「３」及び「１」という優先度とを対応付けている。

また、第１優先度テーブルは、画像の内容が「文書（帳票、図面を除く）」の場合は、「文字領域」、「図形領域」及び「画領域」に、「１」、「２」及び「３」という優先度を対応付け、画像の内容が「帳票、図面」の場合は、「文字領域」、「図形領域」及び「画領域」に、「２」、「１」及び「３」という優先度を対応付け、画像の内容が「写真」の場合は、「文字領域」、「図形領域」及び「画領域」に、「２」、「３」及び「１」という優先度を対応付けている。

このように、図１４の例では、指定画像の内容がプレゼン資料の場合は文字領域より図形領域及び画領域の優先度を高くし、帳票、図面を除く文書の場合は図形領域及び画領域より文字領域の優先度を高くするよう、領域の属性及び優先度が関係付けられている。また、指定画像の内容が帳票及び図面の場合は文字領域及び画領域より図形領域の優先度を高くし、写真の場合は文字領域及び図形領域より画領域の優先度を高くするよう、領域の属性及び優先度が関係付けられている。図形領域は本発明の「第３領域」の一例である。

優先度設定部２０６は、上記のとおり判定した画像の内容及び供給された領域属性ＩＤが示す領域の属性に第１優先度テーブルで対応付けられている優先度を、その領域の優先度として設定する。優先度設定部２０６は、例えばプレゼン資料と判定した指定画像に画領域を属性とする領域がある場合は、第１優先度テーブルで「プレゼン資料」及び「画領域」に対応付けられた「１」という優先度を設定する。

また、優先度設定部２０６は、帳票と判定した指定画像に文字領域を属性とする領域がある場合は、第１優先度テーブルで「帳票、図面」及び「文字領域」に対応付けられた「２」という優先度を設定する。類似度判定部２０９は、優先度設定部２０６により上記のとおり設定された優先度を用いて、実施例と同じように類似度を判定する。これにより、類似度判定部２０９は、照合する箇所を含む領域の属性及び判定された指定画像の内容に優先度規則により関係付けられるその領域の優先度を反映して類似度を判定する。

類似する画像を検索する際には、指定画像と内容が同じ画像の方が、内容が異なる画像よりも似ていると感じやすい。本変形例では、上記のとおり指定画像の内容に関係付けられた優先度を用いることで、このように類似度が高いと感じやすい画像同士の類似度が高く判定されるので、指定画像の内容と優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。特に、図１４に表す第１優先度テーブルを用いることで、指定画像の内容がプレゼン資料、帳票、図面、写真のどれであっても、判定される類似度の精度が向上する。

［２−６］ユーザの属性選択
ユーザが優先したい領域の属性を選択してもよい。本変形例では、画像指定操作受付部１０１が、画像を指定する操作と共に、優先したい領域の属性を選択する操作を受け付ける。属性の選択操作は、例えば、指定画像のうち優先したい属性の領域を指し示す操作である（属性の一覧を表示して選択させる操作でもよい）。画像指定操作受付部１０１がこの選択操作を受け付けると、指し示された位置の座標情報及び指定画像が指定画像送信部１０２を介して画像検索サーバ装置２０に送信され、画像取得部２０２を介して優先度設定部２０６に供給される。

本変形例では、優先度規則記憶部２０５が、領域の属性のいずれかをユーザが選択した場合は、選択された属性の領域の優先度を他の領域の優先度よりも高くするよう、属性及び優先度を関係付ける優先度規則を記憶する。この優先度規則は、例えば、領域の属性をユーザが選択するという条件が満たされた場合に、その属性の優先度を最も高くすることを記述した設定データである。優先度設定部２０６は、供給された指定画像の領域範囲情報が示す領域の範囲にユーザが指し示した位置が含まれている場合に、その領域の属性の優先度を「１」と決定し、それ以外の属性の優先度を「２」以降と決定する。

優先度設定部２０６は、例えば図７に表す第１優先度テーブルが用いられて且つ「図形領域」をユーザが指し示した場合、「文字領域」、「図形領域」、「画領域」の優先度が「３」、「２」、「１」であったところを、「図形領域」の優先度を「１」と設定し、「画領域」の優先度を繰り下げて「２」と設定する。類似度判定部２０９は、こうしてユーザによって選択された属性の優先度を反映して類似度を判定する。本変形例によれば、指定画像の特徴を最もよく表しているとユーザが考える領域の属性の優先度を最も高くして類似度が判定されることになる。

［２−７］領域内のグループ化
分類された領域内に特徴的な箇所が複数ある場合に、それらの箇所を複数のグループに区分してもよい。本変形例では、優先度設定部２０６が、供給された領域範囲情報が示す範囲に含まれる全ての特徴的な箇所の特徴量を比較し、例えば特徴量の大きさが異なる複数のグループ（「大」、「中」、「小」グループなど）に各箇所を区分けする。優先度設定部２０６は本発明の「区分け部」の一例である。

優先度規則記憶部２０５は、区分けされたグループ毎に、画像内の領域の属性とその領域の優先度とを関係付ける優先度規則を記憶する。具体的には、優先度規則記憶部２０５は、例えば、図７に表す第１優先度テーブルに加え、各グループと優先度とを対応付けた第５優先度テーブルを、優先度規則を表す情報として記憶する。

図１５は第５優先度テーブルの一例を表す。図１５に表す第５優先度テーブルでは、「大」、「中」及び「小」というグループと「−０．３」、「０」及び「＋０．３」という優先度補正値とが対応付けられている。優先度設定部２０６は、領域属性ＩＤが示す属性に例えば図７に表す第１優先度テーブルで対応付けられている優先度を、上記のとおり区分けされたグループに第５優先度テーブルで対応付けられている優先度補正値で補正し、その領域の優先度として設定する。

例えば「図形領域」を属性とする領域内で「大」のグループに区分けされた箇所については、優先度設定部２０６は、第１優先度テーブルで「図形領域」に対応付けられた「２」という優先度を第５優先度テーブルで「大」に対応付けられた「−０．３」という優先度補正値で補正した「１．７」をその箇所の優先度として設定する。類似度判定部２０９は、こうして設定された優先度、すなわち照合する箇所を含む領域の属性及びその箇所が属するグループに優先度規則で関係付けられる優先度を反映して類似度を判定する。

分類された領域内でも、画像の特徴をよく表している箇所（特徴量が大きい箇所）と、そうでない箇所（特徴量が小さい箇所）とが混在する場合がある。一方、特徴量が大きい箇所が似ている画像は、特徴量が小さい箇所が似ている画像に比べてより似ていると感じやすい。本変形例では、上記のとおり特徴量の大きさが異なるグループに関連付けられた優先度を用いることで、より似ていると感じやすい画像同士の類似度が高く判定されるので、このグループと優先度の関連付けがない場合に比べて、判定される類似度の精度が向上する。

なお、グループ分けの基準は特徴量の大きさに限らない。例えば、優先度設定部２０６は、特徴量の種類（角、端、交点など）でグループ分けしてもよいし、特徴的な箇所の色情報に基づいてグループ分けしてもよい。さらに、優先度設定部２０６は、領域の属性によってグループ分けの基準を変えてもよい。優先度設定部２０６は、例えば、文字領域では特徴量の種類でグループ分けし、画領域では特徴的な箇所の色情報に基づいてグループ分けしてもよい。

［２−８］印刷物を読み取った画像
印刷部である原稿を読み取った（スキャンした）画像が指定画像として用いられる場合がある。その印刷物上の画像が網点スクリーン（小さな点のパターン）で表されている場合、原稿の読み取り精度が高いと、網点スクリーンを構成する点のうち比較的大きなものが特徴的な箇所として検出されることがある。

また、印刷に伴う欠陥（版キズや地汚れなど）が印刷物上に現われている場合も、その欠陥が読み取った後の画像に現われ、特徴的な箇所として検出されることがある。本変形例では、画像に現われた印刷物に特有の箇所を除外して類似度が判定される。
図１６は本変形例の画像検索サーバ装置２０ａが実現する機能構成を表す。画像検索サーバ装置２０ａは、図４に表す各部に加えて印刷特有箇所特定部２１１を備える。画像取得部２０２は、取得した指定画像及び検索対象の画像を印刷特有箇所特定部２１１に供給する。

印刷特有箇所特定部２１１は、画像上に現われた印刷物に特有の箇所（特有箇所）を特定する。印刷特有箇所特定部２１１は、例えば、上述した網点スクリーンの比較的大きな点や印刷の欠陥の典型的な形、大きさ、色のパターンを予め記憶しておき、そのパターンが画像上で認識された場合に、そのパターンが配置されている部分を特有箇所として特定する。なお、印刷特有箇所特定部２１１は、これ以外の周知の技術を用いて特有箇所を特定してもよい。

印刷特有箇所特定部２１１は、特定した特有箇所が表されている範囲を示す特有範囲情報を特徴箇所検出部２０３及び属性別領域分類部２０４に供給する。特有範囲情報は、例えば上述した領域範囲情報と同じように、ＸＹ座標系において特有箇所の境界線を示す式の集合で特有箇所の範囲を示す。特徴箇所検出部２０３は、特定された特有箇所を除いた部分において特徴的な箇所を検出する。属性別領域分類部２０４は、特定された特有箇所を除いた部分において画像内の領域を属性が異なる複数の領域に分類する。

優先度設定部２０６は、こうして検出された特徴的な箇所及び分類された領域と優先度規則とに基づいて領域の優先度を設定する。その結果、類似度判定部２０９は、印刷物を読み取った画像（２つの画像のうちの少なくともいずれか）に印刷物に特有の箇所が現われている場合、その特有の箇所を除外してそれら２つの画像の類似度を判定する。これにより、上記の特有箇所（印刷物に特有の箇所）を除外しない場合に比べて、特有箇所が特徴的な箇所として検出されたため本来似ていない画像の類似度が高く判定されることが抑制される。

［２−９］画像のレイアウト
画像のレイアウトが似ていなければ、画像全体としても似ていないと感じやすい。本変形例では、レイアウトが似ていない画像については検索対象から除いて類似度が判定される。
図１７は本変形例の画像検索サーバ装置２０ｂが実現する機能構成を表す。画像検索サーバ装置２０ｂは、図４に表す各部に加えてレイアウト判断部２１２を備える。

画像取得部２０２は、取得した指定画像及び検索対象の画像をレイアウト判断部２１２に供給する。レイアウト判断部２１２は、画像のレイアウトを判断する機能であり、本発明の「判断部」の一例である。レイアウト判断部２１２は、例えば属性別領域分類部２０４が用いた技術により文字領域、図形領域、画領域を特定し、それらの領域の形、大きさ、位置の組合せによりレイアウトを判断する。なお、レイアウト判断部２１２は、レイアウトを判断する他の周知の技術を用いてもよい。

レイアウト判断部２１２は、判断したレイアウトを示すレイアウト情報を、判断対象の画像の画像ＩＤと共に画像情報蓄積部２０８及び類似度判定部２０９に供給する。レイアウト情報は、例えば、ＸＹ座標系において各領域の境界線を示す式の集合である。画像情報蓄積部２０８は、供給された画像ＩＤ及びレイアウト情報を対応付けて蓄積する。

類似度判定部２０９は、レイアウト判断部２１２により判断されたレイアウトが類似する２つの画像について類似度を判定する。つまり、類似度判定部２０９は、レイアウトが類似しない２つの画像については類似度を判定しない。類似度判定部２０９は、例えば、類似度を判定する２つの画像のレイアウト情報が示す各領域を比較し、その重複率が閾値を超えた場合にレイアウトが類似すると判断する。

なお、類似度判定部２０９は、例えば一方の画像の１つの領域が他方の画像の２つの領域と重複している場合には、重複率を減じる補正をしてもよい。また、類似度判定部２０９は、一方の画像の領域が他方の画像の領域間の隙間と重複している面積の大きさに応じて重複率を減じる補正をしてもよい。また、類似度判定部２０９は、両画像の領域間の隙間同士の重複率が閾値を超えた場合にレイアウトが類似すると判断してもよい。類似度判定部２０９は、こうして指定画像とレイアウトが類似すると判断した検索対象の画像についてだけ、類似度を判定する。これにより、指定画像と全ての検索対象の画像との類似度を判定する場合に比べて、類似度の判定に要する時間が短くなる。

［２−１０］各部を実現する装置
図４に表す各機能を実現する装置は、図４に表された装置に限らない。例えばユーザ装置１０及び画像検索サーバ装置２０が備える各機能を１台の装置が実現してもよいし、それらの各機能を３以上の装置がそれぞれ分担して実現してもよい。また、画像検索サーバ装置２０が備える機能をユーザ装置も備えていてもよい。

図１８は本変形例のユーザ装置１０ｃが実現する機能構成を表す。ユーザ装置１０ｃは、図４に表す各部に加えてを特徴箇所検出部２０３、属性別領域分類部２０４及び特徴量算出部２０７を備える。ユーザ装置１０ｃは、これらの各部により、指定画像について特徴的な箇所の検出、領域の分類及び特徴量の算出を行い、その結果を指定画像と共に画像検索サーバ装置２０に送信する。このように、画像検索システム全体として図４に表す各機能が実現されていれば、画像検索システムが何台の装置を備えていてもよいし、どの装置でどの機能が実現されてもよい。

［２−１１］優先度規則
実施例では、優先度規則記憶部２０５が予め優先度規則を記憶していたが、これに限らない。例えば、画像検索サーバ装置２０とは異なる外部装置が優先度規則を記憶しておき、画像検索サーバ装置２０の優先度設定部２０６が優先度を設定する際に、その外部装置にアクセスして優先度規則を読み出し、自装置のＲＡＭ等の記憶手段に一時的に記憶してから用いてもよい。その場合は、優先度規則を記憶するＲＡＭ等の記憶手段が本発明の「記憶部」の一例である。

また、優先度規則は、上記の各例ではテーブル形式の情報であったが、これに限らず、例えば何らかの言語（一般的な言語やプログラム言語、機械語など）を用いて記述された論理式等の情報であってもよい。要するに、画像検索サーバ装置２０のように情報を処理する装置がその規則に従って優先度を設定できるのであれば、どのような情報が優先度規則として用いられてもよい。

［２−１２］優先度の用い方
実施例では、優先度が高いほど照合結果に付与する重みを重くして類似度が判定されたが、これに限らない。類似度判定部２０９は、例えば、優先度が低い箇所の照合結果は除外してもよく、言い換えると、優先度が或る基準よりも高い照合結果だけに絞り込んで類似度を判定してもよい。また、類似度判定部２０９は、優先度に基づいて照合結果を絞り込み、絞り込んだ照合結果にされに優先度に基づく重み付けをして類似度を判定してもよい。いずれの場合も、類似度が高い画像ほど、ユーザから見てもより似ている画像だと感じやすくなるように優先度が用いられればよい。

［２−１３］優先度
実施例では、優先度が「１」、「２」、「３」という数値で表されていたが、これに限らず、例えば「Ａ」、「Ｂ」、「Ｃ」や「高」、「中」、「低」のように文字で表されてもよい。また、３段階ではなく２段階や４段階以上の優先度が表されてもよい。要するに、特徴的な箇所を照合する際の重み付け又は絞り込み等の指標として用いられれば、どのように優先度が表されてもよい。

［２−１４］発明のカテゴリ
本発明は、ユーザ装置及び画像検索サーバ装置という情報処理装置の他、それらの装置を備える情報処理システム（画像検索システム）としても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられる。その場合、各処理を実現する主体となる情報処理装置は複数に分かれていてもよい。また、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等の通信回線を介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

１…画像検索システム、１０…ユーザ装置、１０１…画像指定操作受付部、１０２…指定画像送信部、１０３…検索結果表示部、２０…画像検索サーバ装置、２０１…検索対象画像蓄積部、２０２…画像取得部、２０３…特徴箇所検出部、２０４…属性別領域分類部、２０５…優先度規則記憶部、２０６…優先度設定部、２０７…特徴量算出部、２０８…画像情報蓄積部、２０９…類似度判定部、２１０…検索結果送信部、２１１…印刷特有箇所特定部、２１２…レイアウト判断部。

Claims (3)

1. 画像の特徴的な箇所を検出する検出部と、
   画像内の領域を属性が異なる複数の領域に分類する分類部と、
   前記領域の属性と当該領域の優先度とを関係付ける規則を記憶する記憶部と、
   ２つの画像について検出された前記箇所を照合し、当該照合の結果に当該箇所を含む前記領域の属性と前記規則により関係付けられる当該領域の優先度を反映して当該２つの画像の類似度を判定する判定部と、
   類似度の判定対象の画像を指定する際に用いられたアプリケーションプログラムの種類を特定する特定部とを備え、
   前記規則は、前記アプリケーションプログラムの種類毎に、前記領域の属性と当該領域の優先度とを関係付け、
   前記判定部は、照合する前記箇所を含む前記領域の属性及び特定された前記アプリケーションプログラムの種類に前記規則で関係付けられる優先度を反映して前記類似度を判定する情報処理装置。
2. 前記領域には、文字が表された第１領域と、写真又は絵が表された第２領域とが含まれ、
   前記規則は、文字列の編集に用いるアプリケーションプログラムの場合は前記第２領域より前記第１領域の優先度を高くし、画像の編集に用いるアプリケーションプログラムの場合は前記第１領域より前記第２領域の優先度を高くするよう、前記属性及び前記優先度を関係付ける
   請求項１に記載の情報処理装置。
3. 画像の特徴的な箇所を検出する検出部と、
   画像内の領域を属性が異なる複数の領域に分類する分類部と、
   前記領域の属性と当該領域の優先度とを関係付ける規則を記憶する記憶部と、
   画像の内容を判定する内容判定部と、
   ２つの画像について検出された前記箇所を照合し、当該照合の結果に当該箇所を含む前記領域の属性と前記規則により関係付けられる当該領域の優先度を反映して当該２つの画像の類似度を判定する判定部とを備え、
   前記領域には、文字が表された第１領域と、写真又は絵が表された第２領域と、図形が表された第３領域が含まれ、
   前記画像の内容には、会議での説明用資料と、帳票又は図面とが含まれ、
   前記規則は、前記画像の内容毎に、前記内容が前記説明用資料の場合は前記第１領域より前記第２及び前記第３領域の優先度を高くし、前記内容が前記帳票又は図面の場合は前記第１及び前記第２領域より前記第３領域の優先度を高くするよう、前記領域の属性と当該領域の優先度とを関係付けており、
   前記判定部は、照合する前記箇所を含む前記領域の属性及び判定された前記画像の内容に前記規則で関係付けられる優先度を反映して前記類似度を判定する情報処理装置。

Images