JP5061137B2 - 画像検索装置 - Google Patents

Description

本発明は、クエリに関連する画像データを検索する技術に関するものである。特に、本発明は、タグが付された画像を自動的に検索する技術に関するものである。

従来の画像検索技術として、タグを用いるものが知られている。この技術では、まず、データベース中に格納する画像に、タグと呼ばれる情報を付与しておく。タグは、一般にテキスト情報であり、画像の特徴を表す言葉が用いられる。ユーザは、クエリとしてタグを指定することによって、意味的に関連する画像を検索することができる。

例えば、「自動車」というタグを画像に付することにより、色や形状にかかわらず、自動車という意味に関連する画像を検索することができる。さらに、画像に対するタグの付与は、一般に、人手によって行われるので、タグを用いることで、検索ノイズの低減が期待できる。

ところで、タグを人手により付与する場合は、タグの内容自体にばらつきを生じやすいという傾向がある。例えば、自動車の画像に対して、タグとして、「自動車」、「四輪駆動車」、「特定の車種名」などのように、様々な言葉が使用される可能性がある。クエリとしてのタグと異なるタグを用いた画像については、通常のタグ検索では検索ができない。

このように、タグを用いた画像検索では、検索できない画像が多くなるという傾向がある。

一方、画像検索の技術として、画像の特徴を用いたものが存在する。この技術では、クエリ画像の特徴と蓄積画像の特徴とをそれぞれ多次元ベクトルとして表現する。そして、クエリ画像と蓄積画像との類似度を計算し、高い類似度を持つ蓄積画像を検索結果として取得する。

この技術では、画像の特徴をコンピュータによって自動的に計算できるので、タグを付する作業に比べて、人的な負担が少ない。

しかしながら、この技術では、クエリ画像の特徴によって画像を検索するので、意味的に似ていない画像を検索してしまう可能性が高い。例えば、黄色い自動車をクエリ画像として指定した場合、同じような形状をした黄色い箱の画像を検索してしまう可能性がある。

また、下記特許文献１では、以下の技術が記載されている。
・まず、画像の特徴によって画像を検索する。
・ついで、検索された画像に付された付帯情報を取得する。
・ついで、付帯情報を用いて、画像を検索する。

この技術では、各画像に付された付帯情報を用いて、意味的な関連のある画像の検索が可能になる。

しかしながら、この技術では、付帯情報を用いて自動的に画像を検索するので、検索精度が付帯情報の内容に依存する。また、付帯情報として多様な記載がある場合には、検索のばらつきや、検索ノイズの発生が予想される。

特開２００７−１７２１９５号公報

本発明は、前記の状況に鑑みてなされたものである。本発明の目的の一つはユーザにおける操作の負担を低く抑えつつ、高精度の検索が可能になる画像検索装置ないし手法を提供することである。

本発明は、以下のいずれかの項目に記載の構成とされている。

（項目１）
クエリ情報受付部と、検索部とを備えており、
前記クエリ情報受付部は、画像検索のためのクエリから生成された、検索用の第１タグを受け付ける構成となっており、
前記検索部は、
検索用の前記第１タグに基づいて画像を検索することにより、第１画像を取得する処理と、
前記第１タグによる検索の結果得られた前記第１画像に基づいて類似画像を検索することにより、前記第１画像に類似する第２画像を取得する処理と、
前記第２画像に付されたタグを第２タグとして収集する処理と、
前記収集した第２タグの中から、前記クエリ又は前記第１タグと意味的に関連しているタグを第３タグとして特定する処理と、
前記特定した第３タグに基づいて画像を検索することによって、第３画像を取得する処理と
を行う構成となっている
ことを特徴とする画像検索装置。

この装置によれば、第３画像を検索結果としてユーザに返すことができる。ただし、第３画像からさらに絞り込んだ画像を検索結果とすることは可能である。

（項目２）
前記検索部は、さらに、
前記第３画像の中から、前記第１画像に類似した画像を検索することによって、前記第３画像を更新する処理
を行う構成となっている
項目１に記載の画像検索装置。

更新された第３画像（第４画像ということもできる）を検索結果とすることにより、ユーザのクエリに対して高い関連性を持つと推測される画像をユーザに返すことが可能になる。

（項目３）
前記検索部は、さらに、
前記第１画像との類似度の大きさに応じて、前記第３画像に対するランク付けを行う構成となっている
項目２に記載の画像検索装置。

（項目４）
前記クエリに基づいた第１タグを複数個有する前記第１画像については、前記第１タグの数に応じて、前記ランク付けの際に、前記類似度に対する重み付けが行われている
項目３に記載の画像検索装置。

（項目５）
前記検索部は、
前記第１画像と前記第３画像とを、検索結果として、ユーザ側に返す構成となっている
項目１〜４のいずれか１項に記載の画像検索装置。

（項目６）
さらに、前記検索部は、前記第１画像が前記第３画像よりも上位に表示されるように、前記検索結果を前記ユーザ側に返す構成となっている
項目５に記載の画像検索装置。

（項目７）
画像検索のためのクエリから生成された、検索用の第１タグを受け付けるステップと、
前記第１タグに基づいて画像を検索することにより、第１画像を取得するステップと、
前記第１画像に基づいて類似画像を検索することにより、前記第１画像に類似する第２画像を取得するステップと、
前記第２画像に付されたタグを第２タグとして収集するステップと、
前記第２タグの中から、前記クエリ又は前記第１タグと意味的に関連しているタグを第３タグとして特定するステップと、
前記第３タグに基づいて画像を検索することによって、第３画像を取得するステップと
を備えたことを特徴とする画像検索方法。

（項目８）
項目７に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、ユーザにおける操作の負担を低く抑えつつ、高精度の検索が可能になる画像検索装置ないし手法を提供することである。

本発明の一実施形態に係る画像検索装置の基本的な構成を示すブロック図である。 図１の検索装置における画像ＤＢの構成例を示すブロック図である。 図１の検索装置における基本的な動作を説明するためのフローチャートである。 図１の検索装置における動作を説明するための説明図である。 図１の検索装置における動作を説明するための説明図である。

（本実施形態の装置構成）
本発明の一実施形態に係る画像検索装置を、添付の図面に基づいて説明する。

本実施形態の画像検索装置は、検索サーバ１０として実装されている。この検索サーバ１０は、インターネット２０に接続されている（図１参照）。また、インターネット２０には、ユーザ端末３０も接続されている。検索サーバ１０とユーザ端末３０とは、インターネット２０を介して相互に通信可能となっている。なお、インターネット２０に代えて、他のネットワークを用いることは可能である。

検索サーバ１０は、クエリ情報受付部１１と、検索部１２と、出力部１３と、タグ付与支援部１４と、画像ＤＢ１５とを備えている。

クエリ情報受付部１１は、画像検索のための第１タグを受け付ける構成となっている。ここで、第１タグは、ユーザ端末３０で指定されたクエリに基づいて生成されたものである。第１タグの生成方法の例を以下に挙げる。

・ユーザが指定したクエリを第１タグとする方法。
・ユーザが指定したクエリから、関連するタグを検索し、取得したタグを第１タグとする方法。
・クエリに関連するタグのうち、例えばタグクラウド（tag cloud）によって、ユーザの付与率の高いタグを選別し、これを第１タグとする方法(tag cloudについてはhttp://en.wikipedia.org/wiki/Tag_cloud参照)。

なお、クエリ情報受付部１１において、クエリに基づいて第１タグを生成することも可能である。この場合も、「第１タグを受け付ける」という概念に含まれる。

また、クエリの指定は、ユーザ端末３０において行うことができる。クエリの指定方法としては、
・ユーザがテキストを入力する方法、
・ユーザに提示された選択肢の中から、ユーザが選択する方法、
などが考えられる。

検索部１２は、
検索用の前記第１タグに基づいて画像を検索することにより、第１画像を取得する処理と、
前記第１タグによる検索の結果得られた前記第１画像に基づいて類似画像を検索することにより、前記第１画像に類似する第２画像を取得する処理と、
前記第２画像に付されたタグを第２タグとして収集する処理と、
前記収集した第２タグの中から、前記クエリ又は前記第１タグと意味的に関連しているタグを第３タグとして特定する処理と、
前記特定した第３タグに基づいて画像を検索することによって、第３画像を取得する処理と
を行う構成となっている。検索部１２の詳細については、後述する本実施形態の動作において説明する。

出力部１３は、検索部１２で得た検索結果をユーザ端末３０に出力するためのものである。具体的には、出力部１３は、ユーザ端末３０で表示される文書（テキスト、画像、音声などのマルチメディアデータを含むことができる）を生成して、ユーザ端末３０のブラウザに送るようになっている。

タグ付与支援部１４は、検索部１２で得られた、検索画像とタグとの関係を、画像ＤＢの内容に反映させるものである。タグ付与支援部１４は、タグによる検索精度を高めるためにユーザに画像へのタグの付与をさせるための機能部である。すなわち、タグ支援部１４は、検索部１２により取得された関連タグを、検索結果の画像と共にユーザに提示する。その関連タグをユーザが検索結果の画像に付与すると指定した場合には、タグ支援部１４は、それらを関連付けて画像ＤＢ１５に記憶する。

画像ＤＢ１５は、内容による画像インデックス部１５１と、内容による画像インデックスＤＢ１５２と、タグによる画像インデックス部１５３と、タグによる画像インデックスＤＢ１５４とを備えている（図２参照）。

内容による画像インデックス部１５１は、画像の特徴に基づいて検索を行うためのインデックスを生成するものである。画像の特徴の抽出や、インデックスの生成は、コンピュータによって自動的に行うことが可能である。ここで、画像の視覚的な特徴の例としては、色、形状、テクスチャーなどがあり、全ての特徴は多次元の特徴ベクトルにより表すことができる。画像の類似度（または距離）を算出する際に、特徴ベクトル間の類似度を算出する。

画像インデックスＤＢ１５２は、画像に基づくインデックスと、これに対応する画像とを格納するためのＤＢである。

タグによる画像インデックス部１５３は、タグに基づいて検索を行うためのインデックスを生成するものである。タグの付与は、従来と同様に、基本的には、人手によって行われる。このため、タグと画像との関係には、かなり高い信頼性があると考えられる。

画像インデックスＤＢ１５４は、タグに基づくインデックスと、これに対応する画像とを格納するためのＤＢである。

ユーザ端末３０は、前記したとおり、ユーザがクエリを特定するためのものである。また、ユーザ端末３０は、検索サーバ１０から返された検索結果を表示するための表示装置、例えばディスプレイやプリンタを備えている。さらに、ユーザ端末３０は、ユーザがクエリを入力するための入力装置、例えばキーボードやマウスを備えている。このようなユーザ端末３０の構成は、従来から用いられているものと同様でよいので、これ以上詳しい説明は省略する。

（本実施形態における画像検索方法）
次に、前記した画像検索装置の動作の一例を、図３〜図５を主に参照しながら説明する。

（図３のステップＳＡ−１）
まず、ユーザは、ユーザ端末３０を用いて、クエリを入力する。入力されたクエリは、インターネット２０を介して、検索サーバ１０のクエリ情報受付部１１に送られる。クエリ情報受付部１１では、クエリに基づいて、第１タグを生成して取得する。例えば、クエリとしてテキスト（あるいはキーワード）が入力された場合は、予めテキストに関連付けられているタグを取得する。同様に、クエリとして画像が入力あるいは選択された場合には、画像に関連付けられているタグを取得する。もちろん、タグ自体をユーザが直接に指定することも可能である。タグを特定する方法の一例を以下に示す。

（１）データベース中に、画像と一緒に登録されているタグの中から、類似文字列マッチングを使って、文字列としてクエリに近いタグを特定する方法。
（２）データベース中に、画像と一緒に登録されているタグの中から、シソーラスを使って、意味的にクエリに近いタグを特定する方法。

図５には、クエリ情報受付部１１で取得されたタグの例が示されている（図５のＳＢ−１参照）。図５の例では、「タグ１」と「タグ２」という二つのタグが指定されている。ここで、タグとは、何らかの意味を持つ文字列ないし記号列である。もちろん、単一の文字あるいは記号によってタグを構成することも可能である。例えば、漢字の場合は、一文字でも意味を持つので、タグとして機能できる。なお、第１タグは、クエリに直接に関連するタグなので、クエリタグないしユーザタグと呼ぶことがある。クエリ情報受付部１１は、第１タグを検索部１２に送る。

（図３のステップＳＡ−２）
検索部１２では、第１タグに基づいて、画像１５を検索することにより、第１タグに対応するタグを持つ画像を取得する。ここで取得された画像を、この明細書では第１画像と称する。また、第１画像は、それ自体に関連付けられたタグ情報を持つので、タグ付き画像と言うこともできる。

図５では、四つの第１画像（関連画像）を取得した例が示されている（図５のＳＢ−２参照）。

（図３のステップＳＡ−３）
ついで、第１画像に類似する第２画像を、画像ＤＢ１５のインデックスＤＢ１５２を用いて検索する。つまり、ここでは、画像の特徴を用いて、画像を検索する。この明細書では、第２画像を関連画像と称することがある。

図５では、１４個の第２画像が取得された例が示されている（図５のＳＢ−３参照）。

（図３のステップＳＡ−４）
ついで、第２画像に付されたタグを収集する。このようにして収集されたタグを第２タグ又は関連タグと称する。図５では、五つの第２タグが取得された例が示されている（図５のＳＢ−４参照）。この実施形態では、ユーザが指定したクエリに直接に関連するタグだけでなく、より幅広い範囲でタグを取得することができる。

（図３のステップＳＡ−５）
ついで、第２タグの中から、第１タグに意味的に関連しているタグを特定する。このように特定されたタグを、ここでは第３タグあるいは意味的関連タグと称する。図５では、三つの第３タグが取得された例が示されている。

意味的に関連するタグを特定するためには、辞書あるいはシソーラスを用いることができる。つまり、タグどうしの関連性を記録した辞書ＤＢを（図示せず）用いることができる。このような辞書ＤＢは、検索部１２の内部に備えられていてもよいし、ネットワークを介して利用できるものであってもよい。

第２タグは、第１タグと意味的に関連しない可能性がある。この実施形態では、第１タグに対して意味的に関連するものを第３タグとして取得することができる。ただし、この実施形態では、第１タグ以外のタグを第３タグとして取得できており、その範囲では、タグが拡張されているといえる。

なお、前記の説明においては、第２タグの中から、第１タグに意味的に関連しているタグを特定した。しかしながら、第２タグの中から、クエリと意味的に関連しているタグを特定し、これを第３タグとしてもよい。

（図３のステップＳＡ−６）
ついで、第３タグに基づいて、画像を再び検索する。具体的には、画像ＤＢ１５のインデックスＤＢ１５４を検索する。このようにして取得した画像を、ここでは第３画像又は意味的関連タグ画像と称する。図５の例では、タグ３に関連して７枚の画像、タグ４に関連して５枚の画像、タグ５に関連して４枚の画像が取得されている（図５のＳＢ−６参照）。なお、図５のＳＢ−６において、大文字のアルファベットが付されている画像は、図５のＳＢ−３において既に取得されていた画像を示している。また、図５のＳＢ−６において、小文字のアルファベットが付されている画像は、図５のＳＢ−５において新たに取得された画像を示している。

このようにして得た第３画像は、第１タグと意味的に関連する第３タグを用いた検索により得られたものなので、ユーザにより指定されたクエリと関連する可能性が高い。よって、この第３画像を検索結果として返すことも可能である。

ただし、第３画像は、一般的には、数が多くなりがちであると考えられる。そこで、この実施形態では、次のステップをさらに行う。

（図３のステップＳＡ−７）
ついで、第３画像の中から、第１画像に類似した画像を検索する。この検索の具体例を、以下に説明する。

・まず、第１画像に付されたタグ毎に、第１画像を分類する。図５のＳＢ−７においては、タグ１に関連して３枚の第１画像が特定され、タグ２に関連して２枚の第１画像が特定されている。なお、「画像４」については、タグ１とタグ２の両方が付されているため、両方の分類に属している。

・ついで、タグ毎に、第１画像と第３画像との類似度を計算する。例えば、タグ１に関しては、「画像１」，「画像２」及び「画像４」との類似度を計算する。具体的には、例えば、「画像１，２及び４」と第３画像との類似度の平均値を、第１画像と第３画像との類似度として用いることができる。あるいは、「画像１，２及び４」と第３画像との類似度の最大値を用いることも可能である。タグ２に関しても、同様にして、類似度を計算する。

なお、前記の方法においては、「クエリと意味的に関連する第３タグ」が数十や数百といったように大量となり、該タグに対応している画像（第３画像）も多くなる可能性がある。そのため、上述の処理により、第３画像と第１画像との類似度を考慮することで、検索結果として出力する画像を絞り込むことができ、クエリに対して高い関連性を持つと推測される画像をユーザに返すことが可能になる。

・ついで、タグ別に、第３画像を、類似度順でランク付けする。ついで、上位ｋ件の第３画像を、タグ別で特定する。ここで、ｋの値は、予め定めておいても良いし、第３画像の数に応じて適宜な関数により動的に算出しても良い。

図５のＳＢ−７では、タグ１に関連して、５枚の第３画像が特定され、タグ２に関連して、３枚の第３画像が特定されている。このように特定された画像を、ここでは更新された第３画像（第４画像又は意味的関連タグ画像とも言える）と称している。

この実施形態では、第３画像のうち、第１画像に対して類似度が相対的に高いものを更新された第３画像として特定しているので、クエリに対して高い関連性を持つ画像を検索結果としてユーザに返すことができる。

本実施形態では、第３画像を大量に取得した場合であっても、ユーザに提示する画像の数を適切に絞り込むことができる。

なお、前記では、類似度順のランク付けを用いて第３画像を更新したが、それに代えて、予め定めたしきい値と、算出した類似度とを比較することで、第３画像を更新することもできる。また、しきい値は、例えば、ステップＳＡ−６で得た第３画像の数に応じて、適宜な関数を用いて、動的に生成することも可能である。

また、前記した類似度の計算において、複数の第１タグに関連する第１画像との類似度については、重みを大きくする処理を行っても良い。例えば、第１画像のうち、「画像４」（図５のＳＢ−２参照）については、「タグ１」と「タグ２」とが付されているので、画像４との類似度については、重み付けを大きくする（例えば２倍にする）。このようにすれば、クエリとの関連が強い第３画像を選別することができると考えられる。

（図３のステップＳＡ−８）
ついで、検索部１２は、出力部１３を介して、第１画像及び第４画像を、検索結果として、ユーザ端末３０に返す。具体的には、検索部１３が、第１画像及び更新された第３画像を含むＨＴＭＬ文書を作成して、ユーザ端末３０におけるブラウザに送る。

ここで、第３画像については、第１画像との類似度順でユーザに提示することが好ましい。類似度が高いということは、クエリに対する関連性が高いと考えられるからである。

さらに、この実施形態における検索部１２は、第１画像が第３画像よりも上位に表示されるように、出力部１３を介して検索結果をユーザ端末３０に側に返す構成となっている。第１画像は、ユーザのクエリに直接に関連すると考えられるので、第１画像を第３画像よりも上位に表示することで、ユーザが望む画像を上位に表示できる可能性が高くなる。

（図３のステップＳＡ−９）
一方、タグ付与支援部１４は、前記のようにして得られた第４画像と第１タグとの関係を、画像ＤＢ１４のインデックスＤＢ１５４に格納する。すなわち、タグ１に関連する第４画像については、タグ１との関連付けを格納する。これにより、画像に対するタグ付け作業を自動的に行うことが可能になる。

前記した各実施形態の動作は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、前記した実施形態では、第１画像との類似度を用いて更新された第３画像をユーザに返すこととしているが、更新する作業を省略することも可能である。この場合は、更新される前の第３画像をユーザに返す。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

本発明は、例えばＷｅｂ上に蓄積された画像を検索する技術を提供することができる。

１ 検索サーバ（画像検索装置）
１１ クエリ情報受付部
１２ 検索部
１３ 出力部
１４ タグ付与支援部
１５ 画像ＤＢ
２０ インターネット
３０ ユーザ端末

Claims (8)

1. クエリ情報受付部と、検索部とを備えており、
   前記クエリ情報受付部は、画像検索のためのクエリから生成された、検索用の第１タグを受け付ける構成となっており、
   前記検索部は、
   検索用の前記第１タグに基づいて画像を検索することにより、第１画像を取得する処理と、
   前記第１タグによる検索の結果得られた前記第１画像に基づいて類似画像を検索することにより、前記第１画像に類似する第２画像を取得する処理と、
   前記第２画像に付されたタグを第２タグとして収集する処理と、
   前記収集した第２タグの中から、前記クエリ又は前記第１タグと意味的に関連しているタグを第３タグとして特定する処理と、
   前記特定した第３タグに基づいて画像を検索することによって、第３画像を取得する処理と
   を行う構成となっている
   ことを特徴とする画像検索装置。
2. 前記検索部は、さらに、
   前記第３画像の中から、前記第１画像に類似した画像を検索することによって、前記第３画像を更新する処理
   を行う構成となっている
   請求項１に記載の画像検索装置。
3. 前記検索部は、さらに、
   前記第１画像との類似度の大きさに応じて、前記第３画像に対するランク付けを行う構成となっている
   請求項２に記載の画像検索装置。
4. 前記クエリに基づいた第１タグを複数個有する前記第１画像については、前記第１タグの数に応じて、前記ランク付けの際に、前記類似度に対する重み付けが行われている
   請求項３に記載の画像検索装置。
5. 前記検索部は、
   前記第１画像と前記第３画像とを、検索結果として、ユーザ側に返す構成となっている
   請求項１〜４のいずれか１項に記載の画像検索装置。
6. さらに、前記検索部は、前記第１画像が前記第３画像よりも上位に表示されるように、前記検索結果を前記ユーザ側に返す構成となっている
   請求項５に記載の画像検索装置。
7. クエリ情報受付部と検索部とを備えた画像検索装置を用いて実行される画像検索方法であって、
   画像検索のためのクエリから生成された、検索用の第１タグを、前記クエリ情報受付部が受け付けるステップと、
   前記検索部が、
   前記第１タグに基づいて画像を検索することにより、第１画像を取得し、
   前記第１画像に基づいて類似画像を検索することにより、前記第１画像に類似する第２画像を取得し、
   前記第２画像に付されたタグを第２タグとして収集し、
   前記第２タグの中から、前記クエリ又は前記第１タグと意味的に関連しているタグを第３タグとして特定し、さらに
   前記第３タグに基づいて画像を検索することによって、第３画像を取得するステップと
   を備えたことを特徴とする画像検索方法。
8. 請求項７に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。
   

Images