JP5917719B2 - 画像データベースにおける画像管理のための方法、装置、および、コンピュータで読取り可能な記録媒体 - Google Patents

Description

本発明は、画像データベースにおける画像管理のための方法、装置、および、コンピュータで読取り可能な記録媒体に関する。より特定的には、本発明開示は、計算された類似性に基づいて画像データベースに保管されている画像を関連付けることによって少なくとも一つの画像グループが形成される、画像データベースにおいて画像を管理するための方法、装置、および、コンピュータで読取り可能な記録媒体に関する。
本発明開示は、画像が画像データベースの中に存在する入力照会画像と類似しているか否かを、以前に画像データベースに保管された画像をその入力照会画像と比較することによって判断するために、適合を実行することを含んでいる。適合における照会画像に類似する画像が、認識された画像である場合には、検索結果として、その認識された画像が属する画像グループにおける少なくとも一つの画像とその画像に関する情報を提供する。そして、適合における照会画像に類似する画像が、認識されていない画像である場合は、検索結果として、その認識されていない画像が属する画像グループにおける少なくとも一つの画像を提供する。ここで、照会画像に類似しているものと判断された画像を含んでいる画像グループのうち少なくとも一つの画像が、認識された画像である場合には、検索結果として、対応する認識された画像に関する情報が画像グループの中に含まれる画像に対して割り当てられ、提供される。

近年、通信技術が進歩し、かつ、インターネットの使用が拡大するにつれて、種々のやり方で検索が実行されている。例えば、コンピュータユーザは、直接的に辞書を調べたり、関連情報に詳しい人に訊いたりすることに加えて、インターネット検索（より特定的にはウェブサービス）を通じて所望の情報を取得することができる。コンピュータユーザが知ることを望む情報の場所を見つけるためである。つまり、ウェブブラウザを使用して検索サービスを提供するウェブサーバーに接続した後で、コンピュータユーザは所望の情報に関するキーワードを入力して、そのウェブサーバーに関する検索サービスを受けることができる。

検索サービスは、種々のタイプのものが開発されている。特に韓国では、情報の取得のための検索の利用が増加する傾向にあり、知識検索（ｋｎｏｗｌｅｄｇｅ ｓｅａｒｃｈ）の重要性が増している。検索サービスは、多くの人数のユーザによって使用される機能である。加えて、ウェブサイトに対するユーザの訪問（ｖｉｓｉｔ）が、直接的に広告収入に関連することが一般的である。このように、数多くのポータルサイトが、実際に検索機能を提供している。

しかしながら、検索機能を提供するサイトの数が増加しても、ほとんどの検索機能は、キーワード検索などといった、テキスト検索に基づくものである。従って、それらは、所望の情報を多様なやり方で容易に取得することを望むユーザを満足させていない。

特に、所望の情報が、テキストの代わりに、画像で形成されている場合に、従来の方法においては、対応する画像に関連すると思われるキーワードが最初に推測され、そして、適切なキーワードを入力することによって検索が実行される。検索範囲を設定することにより対応する画像だけを示すことが可能であるが、画像検索それ自身は、単にある種のテキストベース（キーワードベース）の検索に過ぎない。

この方法は、対応する画像が何に関連するかをユーザが知らない場合に、適切なキーワードを推測することができない、という問題を有している。従って、検索のために入力するキーワードの数が増え、所望の情報を容易に検索することができないというものである。

従って、問題を解決するために、画像検索システムが開発されてきた。画像検索システムでは、ユーザが所定の画像に関する情報を取得することを望む場合に、テキストベースの検索の代わりに、画像それ自身を使用した検索が実行され得る。

しかしながら、画像検索システムも、以下に説明するように問題を有している。最初に、そうした画像検索システムを提供するためには、十分な量のデータを含んでいる画像データベースが必要とされる。画像データベースに十分な量のデータが含まれていない場合は、たとえ照会画像が入力されても、その照会画像に対する検索結果情報を提供することができない可能性がある。加えて、照会画像と画像データベースに保管された画像との適合において失敗結果をもたらした全ての画像、つまり認識されていない画像は、再利用される代わりに、消去される。この場合、認識されていない画像を手動で画像データベースの中に反映させるまでは、検索を繰り返したとしても、認識されていない画像に対する検索結果を提供することは不可能である。

問題を解決するための一つの技術として、本特許出願の出願人によって、韓国特許第１０−１０２９１６０号が開示される。この技術においては、入力された照会画像と画像データベースに保管されている画像との適合が失敗に終わった場合に、照会画像は、非認識画像データベースに保管される。非認識データベースにおいては、画像間の類似性に基づいて、関連性を有する画像が画像グループの中に収集される。そして、所定の画像とそれに関するタグ（ｔａｇ）情報が外部から入力された場合には、非認識画像データベースの中の所定の画像グループのうち少なくとも数個の画像が所定の入力画像と比較されて、画像間の類似性が、既定の閾値に等しいか高いかが判断される。画像間の類似性が、既定の閾値に等しいか高いと判断された場合には、非認識データベースにおける少なくとも数個の画像が、入力タグ情報と一緒に、認識された画像データベースに対して自動的に加えられる。

しかしながら、この技術は、画像データベースに加えて非認識画像データベースが別に必要であるために構成が複雑であることにおいて不利である。加えて、非認識画像データベースの中に保管されている画像グループに係る非認識画像は画像認識では使用できないこと、および、既定の閾値と等しいか高い類似性を有している照会画像（タグ情報を含んでいる照会画像）が入力されるまでは、検索結果として提供され得ないこと、において問題が存在している。

本発明開示の目的は、少なくとも上記の問題の全てを解決することである。

加えて、本発明開示の別の目的は、認識されていない画像が、画像検索のために有効に使用されるようにするための一つまたはそれ以上の実施例を提供することである。

さらに、本発明開示の別の目的は、入力された照会画像が画像データベースにおける非認識状態の画像と比較されるようにする一つまたはそれ以上の実施例を提供すること、および、入力された照会画像が既定の閾値と等しいか高い類似性を有していると判断された場合でさえ、検索画像に対する適切な情報を提供することである。

前述の目的を達成するための本発明開示に係る種々の実施例の代表的な構成が、以下に説明される。

本発明の一つの態様に従って、画像データベースにおける画像を管理する方法が提供される。本方法は、（ａ）照会画像が入力された場合に、前記画像データベースに以前に保管された画像を前記照会画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行するステップと、（ｂ）前記適合において前記照会画像に類似していると判断された画像が、認識された画像である場合は、検索結果として、前記認識された画像が属する画像グループにおける少なくとも一つの画像とその画像に関する情報を提供し、かつ、前記適合において前記照会画像に類似していると判断された画像が、認識されていない画像である場合は、検索結果として、前記認識されていない画像が属する画像グループにおける少なくとも一つの画像を提供するステップと、を含み、前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が、認識された画像である場合には、検索結果として、対応する認識された画像に関する情報が前記画像グループにおける前記画像に対して割り当てられ、かつ、提供される、ものである。

本発明の別の態様に従って、画像データベースにおける画像を管理する方法が適用される。本方法は、（ａ）照会画像が入力された場合に、前記照会画像を前記画像データベースに以前に保管された画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行するステップと、（ｂ）前記参照画像と前記画像データベースに保管された前記画像との間の類似性に基づいて、前記照会画像に類似していると判断された画像が認識された画像である場合は、前記照会画像を前記認識された画像が属している画像グループの中に含め、かつ、前記照会画像に類似していると判断された画像が認識されていない画像である場合は、前記照会画像を前記認識されていない画像が属している画像グループの中に含めるステップと、（ｃ）前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が認識された画像である場合には、対応する認識された画像に関する情報を前記画像グループの中に新たに含まれた画像に対して割り当て、かつ、前記画像データベースに保管するステップと、を含むものである。

本発明のさらなる態様に従って、画像データベースにおける画像を管理する装置が提供される。本装置は、少なくとも一つの画像グループを保管するための画像データベースであり、保管された画像間の類似性に基づいて関連関係を有する画像がグループ化されている画像データベースと、検索ユニットと、を含み、前記検索ユニットは、照会画像が入力された場合に、前記画像データベースに以前に保管された画像を前記照会画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行し、前記適合において前記照会画像に類似していると判断された画像が、認識された画像である場合は、検索結果として、前記認識された画像が属する画像グループにおける少なくとも一つの画像とその画像に関する情報を提供し、かつ、前記適合において前記照会画像に類似していると判断された画像が、認識されていない画像である場合は、検索結果として、前記認識されていない画像が属する画像グループにおける少なくとも一つの画像を提供し、前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が、認識された画像である場合には、検索結果として、対応する認識された画像に関する情報が前記画像グループにおける前記画像に対して割り当てられ、かつ、提供される、ものである。

本発明のまた更なる態様に従って、画像データベースにおける画像を管理する装置が提供される。本装置は、検索ユニットであり、照会画像が入力された場合に、前記照会画像を前記画像データベースに以前に保管された画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行する、検索ユニットと、画像グループ形成ユニットと、を含み、前記画像グループ形成ユニットは、前記参照画像と前記画像データベースに保管された前記画像との間の類似性に基づいて、前記照会画像に類似していると判断された画像が認識された画像である場合は、前記照会画像を前記認識された画像が属している画像グループの中に含め、かつ、前記照会画像に類似していると判断された画像が認識されていない画像である場合は、前記照会画像を前記認識されていない画像が属している画像グループの中に含め、前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が認識された画像である場合には、対応する認識された画像に関する情報を前記画像グループの中に新たに含まれた画像に対して割り当て、かつ、前記画像データベースに保管する、ものである。

加えて、本発明開示を実施するための上述の方法を実行するための、他の方法、装置、および、コンピュータプログラムを記録するためのコンピュータで読取り可能な媒体が、さらに提供される。

本発明開示の種々の実施例に従えば、装置の構成を簡素化することができる。認識された画像を保管するための画像データベースと認識されていない画像を保管するための非認識画像データベースを別々に構成する必要が無いからである。

加えて、本発明開示のいくつかの実施例に従えば、入力照会画像が、画像データベースの中の非認識状態の画像と比較される場合でさえも、画像間の類似性が既定の閾値に等しいか高いと判断される場合には、照会画像に対する適切な情報を提供することができ、ユーザには、さらに十分に所望の検索結果が提供され得る。

図１は、いくつかの実施例に従って、画像データベースを管理するための全体的なシステムの構成を模式的に示している。 図２は、いくつかの実施例に従って、画像処理装置２００の内部構成を示している。 図３ａは、いくつかの実施例に従って、照会画像を、その照会画像との高い類似性を有する、以前に画像データベースの中に保管された画像と組み合わせることによって形成された画像グループを示している。 図３ｂは、いくつかの実施例に従って、照会画像を、その照会画像との高い類似性を有する、以前に画像データベースの中に保管された画像と組み合わせることによって形成された画像グループを示している。 図３ｃは、いくつかの実施例に従って、照会画像を、その照会画像との高い類似性を有する、以前に画像データベースの中に保管された画像と組み合わせることによって形成された画像グループを示している。 図４は、いくつかの実施例に従って、画像グループを形成するために、お互いに類似する画像を画像データベースの中に保管されている画像から収集する、画像グループ形成ユニットを示している。 図５ａは、いくつかの実施例に従って、特徴領域の正規化に係る構成を示している。 図５ｂは、いくつかの実施例に従って、特徴領域の正規化に係る構成を示している。 図５ｃは、いくつかの実施例に従って、特徴領域の正規化に係る構成を示している。 図５ｄは、いくつかの実施例に従って、特徴領域の正規化に係る構成を示している。 図６ａは、いくつかの実施例に従って、ウェブクローラ（ｗｅｂ ｃｒａｗｌｅｒ）によって収集された画像および画像グループに属する画像の中に含まれている特徴領域の分布を示している。 図６ｂは、いくつかの実施例に従って、ウェブクローラ（ｗｅｂ ｃｒａｗｌｅｒ）によって収集された画像および画像グループに属する画像の中に含まれている特徴領域の分布を示している。

以降に続く本発明開示の種々の実施例に係る詳細な説明においては、添付の図面が参照される。図面は、説明の方法として、本発明開示が実行され得る種々の実施例を示している。これらの実施例は、当業者が本発明開示を実施することができるように十分な詳細を説明している。本発明開示に係る種々の実施例は、相違するとしても、必ずしも相互に排他的であることを要しないことが理解されるべきである。例えば、一つの実施例に関して説明された所定の機能、構成、および、性質は、本発明開示の主旨と範囲から逸脱することなく他の実施例において実施され得る。加えて、開示されたそれぞれ実施例の中の個々のエレメントに係る場所または配置は、本発明開示の主旨と範囲から逸脱することなく変更され得ることが理解されるべきである。以降の詳細な説明は、従って、限定する意味において理解されるべきではない。本発明開示の範囲は、添付の特許請求の範囲によってのみ定められるものであり、適切に解釈されるべきものである。特許請求の範囲が請求するものに対する均等物の全ての範囲も一緒である。図面において、類似の参照番号は、多くのやり方を通じて同一または類似の機能を参照するものである。

これ以降では、当業者によって本発明開示が容易に実施できるように、添付の図面に関して本発明開示に係る種々の実施例が詳細に説明される。

図１は、実施例に従って、画像データベースを管理するための全体的なシステムの構成を模式的に示している。

図１に示されるように、いくつかの実施例に従った全体的なシステムは、通信ネットワーク１００、画像処理装置２００、および、ユーザ端末装置３００を含んでいる。

最初に、通信ネットワーク１００は、有線か無線通信であるかといった、通信スキームを問わずに構成され、かつ、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）等といった、種々の通信ネットワークを含み得る。通信ネットワーク１００は、本発明開示において、よく知られたワールドワイドウェブ（ＷＷＷ）であってよい。

いくつかの実施例に従えば、計算された画像間の類似性に基づいて画像データベースに保管された画像を関連付けることにより画像データベースの中に少なくとも一つの画像グループが形成される状態において、画像処理装置２００は適合を実施する。画像データベースに以前に保管された画像を入力された照会画像と比較することによって、照会画像に類似する画像が画像データベースの中に存在するか否かを判断するためである。適合において照会画像に類似していると判断された画像が、認識された画像である場合は、検索結果として、その認識された画像が属する画像グループにおける少なくとも一つの画像とその画像に関する情報を提供する。適合において照会画像に類似していると判断された画像が、認識されていない画像である場合は、検索結果として、その認識されていない画像が属する画像グループにおける少なくとも一つの画像を提供する。照会画像に類似していると判断された画像を含んでいる画像グループのうち少なくとも一つの画像が、認識された画像である場合には、検索結果として、対応する認識された画像に関する情報が画像グループに属する画像に対して割り当てられて提供される。

加えて、いくつかの実施例に従えば、上述のように照会画像が入力された場合に加えて、画像処理装置２００は、定期的または不定期に画像データベースに保管されている画像間の類似性を計算し、既定の閾値と等しいか高い画像間の類似性を有する画像を用いてグループを作成してよい。認識された画像が画像グループの中に存在する場合、画像処理装置２００は、認識された画像に関する情報を同一の画像グループの中の画像に対して割り当てることによって画像データベースを更新してよい。

加えて、いくつかの実施例に従えば、照会画像が入力された場合、画像処理装置２００は、照会画像を画像データベースに以前に保管された画像と比較することによって、照会画像に類似する画像が画像データベースの中に存在するか否かを判断するために適合を実行する。そして、照会画像と画像データベースに保管された画像との間の類似性に基づいて、照会画像に類似している画像が認識された画像である場合は、照会画像をその認識された画像が属する画像グループの中に含める。照会画像に類似している画像が、認識されていない画像である場合は、照会画像をその認識されていない画像が属する画像グループの中に含める。照会画像に類似しているものと判断された画像を含んでいる画像グループのうち少なくとも一つの画像が、認識された画像である場合には、対応する認識された画像に関する情報が、画像グループの中に新たに含まれた照会画像に対して割り当てられ、画像データベースの中に保管される。

一方、いくつかの実施例に従ったユーザ端末装置３００は、ユーザを画像処理装置２００に接続して通信できるようにする機能を有するデジタルデバイスである。パーソナルコンピュータ（例えば、デスクトップコンピュータ、ノートブックコンピュータ、等）、ワークステーション、ＰＤＡ、ウェブパッド、携帯電話、等といった、メモリ手段とマイクロプログラムを備えてオペレーション機能を有するあらゆるデジタルデバイスが、ユーザ端末装置３００として採用され得る。

これ以降では、本発明開示に係る種々の実施例を実行するために重要な機能を実行する画像処理装置２００の内部構成および構成上のそれぞれのコンポーネントの機能について説明される。

図２は、いくつかの実施例に従って、画像処理装置２００の内部構成を示している。

図２を参照すると、いくつかの実施例に従った画像処理装置２００は、通信ユニット２１０、コントロールユニット２２０、検索ユニット２３０、画像グループ形成ユニット２４０、追加データ取得及び比較ユニット２５０、および、画像データベース２６０、を含んでいる。

いくつかの実施例に従えば、通信ユニット２１０、コントロールユニット２２０、検索ユニット２３０、画像グループ形成ユニット２４０、追加データ取得及び比較ユニット２５０、および、画像データベース２６０、のうち少なくともいくつかは、ユーザ端末装置３００と通信するプログラムモジュールであってよい。そうしたプログラムモジュールは、オペレーティングシステム、アプリケーションプログラムモジュール、および、他のプログラムモジュールの形式で画像処理装置２００の中に含まれ、そして、物理的に、それらは種々のよく知られたメモリデバイスの中に保管されてよい。加えて、これらのプログラムモジュールは、画像処理装置２００と通信することができるリモートのメモリデバイスの中に保管されてもよい。一方、そうしたプログラムモジュールは、ルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含み、以降に説明する所定の機能を実行または所定の抽象データ型を実行するが、これらに限定されるものではない。

最初に、いくつかの実施例に従えば、画像データベース２６０は、画像間の類似性に基づいて関連付けされグループ化された画像に係る少なくとも一つの画像グループを含んでよい。

いくつかの実施例に従えば、照会画像が入力された場合、検索ユニット２３０は、照会画像を画像データベース２６０に保管された画像に適合することによって照会画像に類似する画像（つまり、既定の閾値と等しいか高い照会画像との類似性を有する画像）が画像データベース２６０の中に存在するか否かを判断する機能を実行する。

特定的には、いくつかの実施例に従って、検索ユニット２３０は、画像データベース２６０に保管された画像の正規化された特徴領域を照会画像の正規化された特徴領域に適合することによって、照会画像に類似する画像が画像データベース２６０の中に存在するか否かを判断する機能を実行する。

加えて、照会画像に適合している画像が画像データベース２６０に保管された認識された画像である場合（例えば、対応する画像に関する情報がタグの形式で割り当てられている画像）、検索ユニット２３０は、検索結果として、その認識された画像が属する画像グループにおける少なくとも一つの画像とその画像に関する情報を提供する。照会画像に適合している画像が画像データベース２６０に保管された認識されていない画像である場合（例えば、対応する画像に関する情報がタグの形式で割り当てられていない画像）、検索ユニット２３０は、検索結果として、その認識されていない画像が属する画像グループにおける少なくとも一つの画像とその画像に関する情報を提供する。照会画像に類似しているものと判断された画像を含んでいる画像グループのうち少なくとも一つの画像が、認識された画像である場合、検索ユニット２３０は、検索結果として、対応する認識された画像に関する情報を画像グループの中に含まれる画像に対して割り当て、提供する。

ここで、画像間の適合のために、画像から前もって特徴点および特徴領域が抽出されていてよい。ここで、特徴点とは、対応する画像の中に含まれているオブジェクトの特徴エレメントを含んでいるポイントを意味している。そして、特徴領域とは、オブジェクトの特徴を含んでいる特徴点の周りの領域を意味しており、照明および画像の視点の変化に対して堅牢であるように設定される。

上述のように、画像から特徴点および特徴領域を抽出するためには、所定の特徴抽出技術が必要とされる。いくつかの実施例に従えば、特徴抽出技術として、以下が参照される。C.Harris et al, "A combined corner and edge detector", Alvey Vision Conference, 1988,など（ここにおいては、その全体が参照として包含されているものとして考慮されるべきものである）。この論文では、２次モーメントマトリクスを使用して楕円形状の特徴領域を見積る方法が説明されている。特徴点の周りのスロープ分布を表わすものである。もちろん、本発明開示に適用することができるオブジェクト認識技術は、前出の論文に記載された方法だけに限定されるものではない。本発明開示は、種々の変更された例を適用することによって実施され得るものである。

加えて、画像データベース２６０に保管されている画像間の類似性に基づいて、いくつかの実施例に従った画像グループ形成ユニット２４０は、大いに関連している画像（例えば、既定の閾値と等しいか高い画像間の類似性を有するもの）を組み合わせることによって画像グループを形成する機能を実行する。さらに特定的には、画像グループ形成ユニット２４０は、画像データベース２６０に保管されている画像の特徴点または特徴領域を比較して、次に、お互いに類似しているものと判断された画像を組み合わせることによって、画像グループ形成する機能を実行してよい。

画像グループ形成ユニット２４０は、画像グループを形成する機能を、照会画像が入力された場合に加えて、定期的または不定期に実行してよい。それぞれの画像グループの少なくとも一つの画像が認識された画像である場合、画像グループ形成ユニット２４０は、タグといった、認識された画像に関する情報を、同じ画像グループの画像に対して割り当てること（タグプロパゲーション（ｐｒｏｐａｇａｔｉｏｎ）とよばれるもの）が可能である。加えて、タグプロパゲーションが実行されていないクラスタ（つまり、認識された画像と認識されていない画像が同一の画像グループの中に混ざっているもの）を形成し保持すること、および、将来において必要であればタグプロパゲーションを実行することも可能である。

加えて、画像グループ形成ユニット２４０は、画像を、一つまたはそれ以上の画像グループの中に含まれるように画像データベース２６０に保管されるようにする。例えば、画像データベース２６０に保管されている画像が２つのオブジェクト、例えばバラと松の木、を含んでいる場合、その画像は、バラを含む画像を含んでいる画像グループ、および、松の木を含む画像を含んでいる画像グループの中に共通して含まれてよい。

一方、画像データベース２６０の中に照会画像に適合する画像が存在すると検索ユニット２３０によって判断された場合に、画像グループ形成ユニット２４０は、適合する画像が属する画像データベース２６０における画像グループの中に照会画像を組み込むことによって、変更された画像グループを生成する機能を実行してよい。この点において、変更された画像グループにおいてタグプロパゲーションが好適な時点で実行されてよいことが明らかである。

加えて、追加データ取得及び比較ユニット２５０、以下に詳しく説明されるもの、が所定の画像および対応する情報を取得し、かつ、所定の画像に適合する画像が画像データベース２６０の中に存在していると判断する場合でさえ、画像グループ形成ユニット２４０は、適合する画像が属する画像データベース２６０における画像グループの中に照会画像を組み込むことによって、変更された画像グループを生成する機能を実行してもよい。この点においてさえも、変更された画像グループにおいてタグプロパゲーションが好適な時点で実行されてよいことが明らかである。

図３ａと図３ｂは、画像データベース２６０に以前に保管された所定の画像グループが、閾値である０．７に等しいか高い画像間の類似性を有する３つの画像を含んでいる場合における、クラスタの生成を示している。

図３ａと図３ｂにおいて、内側にそれぞれ書かれたＫ１、Ｋ２、および、Ｋ３を伴う円は認識された画像を表しており、内側にそれぞれ書かれたＵ１、Ｕ２、および、Ｕ３を伴う円は認識されていない画像を表しており、かつ、内側に書かれたＱを伴う円は照会画像を表している。加えて、内側に書かれたＴ１を伴うそれぞれの円は、画像に関する情報、例えばタグ、を表している。画像間の直線は、それぞれ接続関係を表しており、直線の上に書かれた数字は、類似性を表している。ＯＩＭ１、ＯＩＭ２、および、ＯＩＭ３は、以前の画像グループを表しており、ＮＩＭ１、ＮＩＭ２、および、ＮＩＭ３は、新たな画像グループを表している。加えて、内側に書かれたＴ１を伴う破線の円は、タグプロパゲーションを通じて割り当てられたタグを表している。

図３ａを参照すると、照会画像Ｑが入力された場合、検索ユニット２３０は、照会画像Ｑと画像データベース２６０に保管されている認識された画像Ｋ２との間の類似性を計算することによって、０．９の類似性を取得する。次に、画像グループ形成ユニット２４０は、照会画像と画像データベース２６０に保管されている認識された画像Ｋ２との間の関連関係を生成し、照会画像を新たな画像グループＮＩＭ１の中に含み、そして、新たな画像グループを画像データベース２６０の中に保管する。加えて、画像グループ形成ユニット２４０は、画像データベース２６０の画像Ｋ１、Ｋ２、および、Ｋ３に関するタグＴ１を照会画像Ｑに対して割り当てる。次に、検索ユニット２３０が、検索結果として新たな画像グループＮＩＭ１に係る認識された画像Ｋ１、Ｋ２、および、Ｋ３とそれらに関する情報Ｔ１を提供する。図３ａは、以前に認識された画像グループＯＩＭ１の認識された画像Ｋ２と認識されていない画像Ｑとの間の類似性が０．７より大きくて、それにより関連関係を生成すること、および、認識されていない照会画像を認識された照会画像へと転換するために、認識されていない照会画像ＱにタグＴ１を割り当て、新たな認識された画像グループＮＩＭ１が生成されること、を示している。

図３ｂを参照すると、照会画像Ｑが入力された場合、検索ユニット２３０は、照会画像Ｑと画像データベース２６０に保管されている認識されていない画像Ｕ２との間の類似性を計算することによって、０．７の類似性を取得する。次に、画像グループ形成ユニット２４０は、照会画像と画像データベース２６０に保管されている認識されていない画像Ｕ２との間の関連関係を生成し、新たな画像グループＮＩＭ１２を生成し、そして、新たな画像グループを画像データベース２６０の中に保管する。次に、検索ユニット２３０が、検索結果として新たな画像グループＮＩＭ２に係る画像Ｕ１、Ｕ２、および、Ｕ３を提供する。図３ｂは、以前の認識されていない画像グループＯＩＭ１の認識されていない画像Ｕ１、Ｕ２、および、Ｕ３と照会画像Ｑとの間の類似性が０．７より大きくて、それにより関連関係を生成して、新たな認識されていない画像グループＮＩＭ２が生成されること、を示している。

図３ｃを参照すると、照会画像Ｑが入力された場合、検索ユニット２３０は、照会画像Ｑと画像データベース２６０に保管された認識されていない画像Ｑとの間の類似性を計算することによって０．７の類似性を取得する。次に、画像グループ形成ユニット２４０は、新たな画像グループＮＩＭ３を作成するために、照会画像Ｑと画像データベース２６０に保管された認識されていない画像Ｑとの間の関連関係を形成し、画像データベース２６０に新たな画像グループを保管する。次に、検索ユニット２３０は、検索結果として新たな画像グループＮＩＭ３の画像Ｋ１、Ｕ２，及び、Ｕ３を提供するだけではなく、新たな画像グループＮＩＭ３に含まれる認識されていないＫ１に関するタグＴ１を画像Ｑと認識されていない画像Ｕ２およびＵ３に対して割り当て、追加的に提供する。図３ｃは、認識されていない画像Ｑと以前の認識されていない画像グループＯＩＭ３の認識されていない画像Ｕ２およびＵ３、と照会画像Ｑとの間の類似性が、それによって関連関係を作成するための０．７以上であることを示しており、新たな認識された画像グループＮＩＭ３が作成される。

加えて、図４は、いくつかの実施例に従った画像グループ形成ユニット２４０により、画像データベース２６０の中に保管されている画像からお互いに高い類似性を有する画像を結び付けることによって画像グループを形成する、画像グループ形成ユニットの実施例を示している。図４を参照すると、いくつかの実施例に従った画像グループ形成ユニット２４０は、図４に示されるように、画像適合技術を使用して、画像データベース２６０から、お互いに類似しているものと判断された画像を収集する。次に、いくつかの実施例に従った画像グループ形成ユニット２４０は、図４に示されるように収集された画像を組成するために、時間と多様な視点によって配置および構造化された画像を、構造化画像グループの中に保管する。図４は、画像グループ形成ユニット２４０による時間と多様な視点により配置および構造化された画像によって配置および構造化された画像の実施例を示しているが、本発明開示は、これらに限定されるものではない。画像グループ形成ユニット２４０は、種々の方法において画像グループを形成してよい。

加えて、追加データ取得及び比較ユニット２５０は、所定の画像とそのタグ情報を外部（例えば、ウェブクローラ（ｃｒａｗｌｅｒ）またはユーザ端末装置）から取得し、少なくともいくつかの画像と所定の入力画像を比較することによって、画像データベース２６０の画像グループにおける少なくともいくつかの画像と所定の入力画像との間の類似性が、既定の閾値と等しいか高い、か否かを判断する。追加データ取得及び比較ユニット２５０が、画像グループにおける所定の画像が既定の閾値と等しいか高い類似性を有すると判断する場合、画像グループ形成ユニット２４０は、その所定の画像が属する、所定の画像グループを更新して、外部から入力された所定の画像とそのタグ情報が、画像データベース２６０に含まれる所定の画像グループの中に含まれるようにする。

参考として、追加データ取得及び比較ユニット２５０は、追加データとして照会画像（タグ情報を含んでいないと想定されるものであるが、それに限定される必要はない）を除いて、ウェブクローラまたは類似のものによって収集された画像またはタグ情報と供にユーザ端末装置から入力された画像を取得し、画像データベース２６０の中の画像と比較する。

図５ａから図５ｄは、いくつかの実施例に従って、特徴領域の正規化に係る構成を示している。図５ａは、ウェブクローラまたは類似のものによって収集された画像の一部の画像であり、ウェブクローラまたは類似のものによって収集された画像から抽出された特徴領域Ａ５１０を示している。図５ｂの画像は、画像グループに属している画像から抽出された特徴領域Ｂ５２０を示している。図５ａと図５ｄの画像を観察することによって、両画像は同一オブジェクトの実際の画像であるにもかかわらず、異なる視点と照明のために、同一のオブジェクトの同一の特徴領域が、それぞれの画像においてサイズと形状が異なるように表示されていることが確認できる。従って、異なるサイズと形状を有する特徴領域５１０と５２０は、ウェブクローラまたは類似のものによって収集された画像の同一の特徴領域から抽出されたものであり、画像は画像グループ属していることが確認できる。追加データ取得及び比較ユニット２５０は、所定の正規化技術を使用して、異なるサイズと形状を有する特徴領域のペアを、同一のサイズと形状を有する特徴領域のペアへと正規化し得る。従って、図５ａと図５ｂの画像といった、特徴領域のペア５１０と５２０は、図５ｃと図５ｄの画像といった、特徴領域のペア５３０と５４０へと正規化することができる。

一方、上述のように、画像から抽出された特徴領域を正規化するために、所定の特徴領域正規化技術が必要とされる。いくつかの実施例に従えば、特徴領域の正規化技術として、以下が参照される。K.Mikolajczyk et al., "A Comparison of Affine Region Detectors", International Journal of Computer Vision, September, 2005,など（ここにおいては、その全体が参照として包含されているものとして考慮されるべきものである）。この論文では、対応する画像の視点と照明条件を見積る２次モーメントマトリクスのＭ_Ｌ ^１／２とＭ_Ｒ ^１／２を使用して、種々のサイズと形状を有する楕円の中に形成された特徴領域を所定のサイズと形状を有する円に正規化する方法、および、正規化された特徴領域のペアが同一のオブジェクトであるか否かを判断するために、回転マトリクスＲを使用して、正規化された特徴領域を回転する方法が説明されている。もちろん、本発明開示に適用することができる正規化技術は、前出の論文に記載された方法だけに限定されるものではない。本発明開示は、種々の変更された例を適用することによって実施され得るものである。

加えて、追加データ取得及び比較ユニット２５０は、画像グループに属している画像に係る正規化された特徴領域の少なくとも一つを収集された画像に係る正規化された特徴領域の少なくとも一つと比較して、それぞれの画像から同一のオブジェクトを示しているものとして判断される特徴領域の少なくとも一つのペアを検索する。さらに、少なくとも２つの特徴領域が検索された場合、追加データ取得及び比較ユニット２５０は、少なくとも２つの特徴領域に対応する画像グループに属している画像の少なくとも２つの特徴領域間の相対的な位置関係と、少なくとも２つの特徴領域に対応する収集された画像の少なくとも２つの特徴領域間の相対的な位置関係とを、トポロジ（ｔｏｐｏｌｏｇｙ）を使用して比較し、比較の結果を参照して、画像グループに属している画像が収集された画像に適合しているか否かを判断する。

図６ａと図６ｂは、いくつかの実施例に従って、ウェブクローラまたは類似のものによって収集された画像に含まれている特徴領域の分布および画像グループに属する画像を示している。図６ａと図６ｂを参照すると、追加データ取得及び比較ユニット２５０は、ウェブクローラまたは類似のものによって収集された画像（つまり、図６ａの画像）の複数の特徴領域の相対的な位置関係を、画像グループに属している画像（つまり、図６ｂの画像）の複数の特徴領域の相対的な位置関係と比較することによって、２つの画像がお互いに類似しているか否かを判断する。

一方、上述のように、特徴領域の相対的な位置関係を利用して、２つの異なる画像がお互いに類似しているか否かを判断するために、所定のトポロジ技術が必要とされる。いくつかの実施例に従えば、トポロジ技術として、以下が参照される。Deardar Salah et al., "Image matching using algebratic topology", Proceedings of SPIE, Vol.6066, January, 2006,
など（ここにおいては、その全体が参照として包含されているものとして考慮されるべきものである）。この論文では、代数トポロジを使用して、画像に含まれる境界エレメント間の類似性を測定することによって、画像適合を実行する方法が説明されている。もちろん、本発明開示に適用することができるトポロジ技術は、前出の論文に記載された方法だけに限定されるものではない。本発明開示は、種々の変更された例を適用することによって実施され得るものである。

上述のように、本発明開示の画像適合技術に従えば、ウェブクローラまたは類似のものによって収集された画像と画像グループに属している画像との間の画像適合の精度において効果がある。

一方、ｎ個の画像とその情報が画像データベース２６０に追加された場合、追加データ取得及び比較ユニット２５０は、追加された画像を表す代表画像と代表画像に割り当てられた代表タグの両方を追加できるようにする。加えて、代表画像が追加された場合、追加データ取得及び比較ユニット２５０は、また、代表画像と一緒に、代表画像とは視点と時間が異なるｍ個のサブ画像を追加してもよい。さらに、この場合に追加されたサブ画像に対するサブタグも、また、選択的に含まれ、追加される。ここで、代表画像とサブ画像は、一つまたはそれ以上の視点または特徴領域を共有している関係において画像を参照する。

一方、画像データベース２６０は、コンピュータファイルシステムに基づいてデータ記録または類似のものを含む広い意味のデータベースを含んでいる概念であり、狭い意味でのデータベースも同様である。本発明開示において言及されたデータベースは、ログを検索することで所定のデータが抽出され得る場合、動作処理のログの収集をも含んでよいことが、理解されるべきである。図２においては、画像データベース２６０は画像処理装置２００の中に含まれているものと示されているが、画像データベース２６０は、本発明開示を実施する当業者の必要性に従って、画像処理装置２００から分離して構成されてもよい。

一方、通信ユニット２１０は、画像処理装置２００が、ユーザ端末装置３００といった、外部デバイスと通信できるようにする機能を実行する。

加えて、コントロールユニット２２０は、通信ユニット２１０、検索ユニット２３０、画像グループ形成ユニット２４０、追加データ取得及び比較ユニット２５０、および、画像データベース２６０間でのデータフローをコントロールする機能を実行する。つまり、コントロールユニット２２０は、外部からの、または、画像処理装置２００の構成上のコンポーネント間でのデータフローをコントロールする。通信ユニット２１０、検索ユニット２３０、画像グループ形成ユニット２４０、追加データ取得及び比較ユニット２５０、および、画像データベース２６０が、それぞれの特有の機能を実行できるようにである。

一方、全体の画像処理装置２００、または、通信ユニット２１０、検索ユニット２３０、画像グループ形成ユニット２４０、追加データ取得及び比較ユニット２５０、および、画像データベース２６０といった少なくともいくつかのコンポーネントは、コンピューティング資源またはサーバ資源を共有する複数のサーバ装置を仮想化するクラウドコンピューティングサーバによって実施され得る。

上記に説明された本発明開示に従った実施例は、コンピュータで読取り可能な記録媒体におけるコンピュータで読取り可能なコードとして実施され得る。コンピュータで読取り可能な記録媒体は、プログラム命令、ローカルデータファイル、ローカルデータ構造、および、それらの組み合わせを含んでいる。コンピュータで読取り可能な記録媒体は、本発明開示の種々の実施例に対する独自のもの、または、コンピュータソフトウェア分野における当業者によく知られているものであってよい。コンピュータで読取り可能な記録媒体は、コンピュータで読取り可能なデータが保管される全てのタイプの記録可能媒体を含んでいる。コンピューターで読取り可能な記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスクと磁気テープといった磁気媒体、ＣＤ−ＲＯＭとＤＶＤといった光記録媒体、フロプティカルディスクといった光磁気媒体、および、ＲＯＭ、ＲＡＭ、フラッシュメモリー等といったプログラム命令を保管し実行するように特別に構成されたハードウェア装置、を含んでいる。プログラム命令は、例えば、マシンコードを含んでおり、インタープリター等を使用するコンピューターによって実行され得る。上述のハードウェア装置は、本発明開示のオペレーションを実行するための一つまたはそれ以上のソフトウェアモジュールとして動作するように構成されている。

所定の実施が説明されてきたが、これらの実施例は単なる例示であり、本発明開示の範囲を限定することを意図するものではない。実際に、ここにおいて説明された新規な方法および装置は、種々の他の形式において実施され得る。さらに、ここにおいて説明された実施例に関して、種々の変形、変更、修正、および、代替が、本発明開示の主旨から逸脱することなく行われ得る。

従って、添付の請求項および前出の変形を含むそれらの均等物は、本発明開示の範囲および主旨をカバーするように意図されたものであり、本発明開示によって限定されるものではない

Claims (34)

1. 画像データベースにおける画像を管理する方法であって：
   （ａ）照会画像が入力された場合に、前記画像データベースに以前に保管された画像を前記照会画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行するステップと、
   （ｂ）前記適合において前記照会画像に類似していると判断された画像が、認識された画像である場合は、検索結果として、前記認識された画像が属する画像グループにおける少なくとも一つの画像と前記認識された画像に関する情報を提供し、かつ、前記適合において前記照会画像に類似していると判断された画像が、認識されていない画像である場合は、検索結果として、前記認識されていない画像が属する画像グループにおける少なくとも一つの画像を提供するステップと、を含み、
   前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が、認識された画像である場合には、検索結果として、対応する認識された画像に関する情報が前記画像グループにおける画像に対して割り当てられ、かつ、提供される、
   ことを特徴とする方法。
2. 前記方法は、さらに、
   特定の画像とそれに関するタグ情報が外部から入力された場合に、所定の画像グループのうち少なくとも数個の画像を前記特定の画像と比較するステップであり、前記所定の画像グループのうち前記少なくとも数個の画像と前記特定の画像との間の類似性が、既定の閾値に等しいか又は高いかを判断する、ステップと、
   前記所定の画像グループにおける所定の画像が、前記特定の画像との間で前記既定の閾値に等しいか又は高い類似性を有すると判断された場合には、前記外部から入力された前記特定の画像とそれに関する前記タグ情報を前記所定の画像グループに追加することによって前記画像データベースを更新するステップと、
   を含む、請求項１に記載の方法。
3. 前記特定の画像とそれに関する前記タグ情報は、ウェブクローラまたはユーザ端末装置から受け取ったものである、
   請求項２に記載の方法。
4. 前記方法は、さらに、
   前記画像データベースに保管された前記画像間の類似性に基づいて、既定の閾値に等しいか又は高い類似性をお互いに有する画像をグループ化するステップであり、それにより画像グループを形成する、ステップと、
   を含む、請求項１に記載の方法。
5. 前記グループ化は、定期的または不定期に実行される、
   請求項４に記載の方法。
6. 前記グループ化は、前記画像データベースに保管された前記画像の特徴点または特徴領域を比較することによって前記類似性を判断し、かつ、前記判断に従って前記画像グループを形成する、
   請求項４に記載の方法。
7. 前記ステップ（ａ）は、前記照会画像が入力された場合、前記画像データベースに以前に保管された前記画像の正規化された特徴領域を前記照会画像の正規化された特徴領域に適合する段階であり、前記照会画像に類似する画像が存在するか否かを判断する、段階、
   を含む、請求項１に記載の方法。
8. 前記画像データベースを更新する前記ステップは、
   前記所定の画像グループの前記画像に係る正規化された特徴領域の少なくとも一つを特定の入力画像に係る正規化された特徴領域の少なくとも一つと比較して、それぞれの画像から同一のオブジェクトを示しているものとして判断される特徴領域の少なくとも一つのペアを検索することによって、前記特定の入力画像と前記所定の画像グループとの間の類似性を判断する、
   請求項２に記載の方法。
9. 少なくとも２つの特徴領域が検索された場合、前記画像データベースの前記更新は、
   前記少なくとも２つの特徴領域に対応する前記所定の画像グループに属している画像の少なくとも２つの特徴領域間の相対的な位置関係と、前記少なくとも２つの特徴領域に対応する前記特定の入力画像の少なくとも２つの特徴領域間の相対的な位置関係とを、トポロジを使用して比較し、かつ、
   前記所定の画像グループに属している前記画像が前記特定の入力画像に適合しているか否かを判断する、
   請求項８に記載の方法。
10. 前記画像データベースの前記更新は、前記所定の画像グループにおける少なくとも数個の画像を表しているｎ個の代表画像および前記代表画像に対応する代表タグを、前記画像データベースに追加する、
    請求項９に記載の方法。
11. 前記代表画像とは視点と時間が異なるｍ個のサブ画像が、前記代表画像と一緒に追加される、
    請求項１０に記載の方法。
12. 前記サブ画像が追加される場合、さらに、前記サブ画像に対するサブタグが追加される、
    請求項１１に記載の方法。
13. 前記代表画像と前記サブ画像は、一つまたはそれ以上の視点または特徴領域を共有している、
    請求項１１に記載の方法。
14. 前記ステップ（ａ）、前記ステップ（ｂ）、および、前記画像データベースを更新するステップ、のうち少なくとも一つ以上のステップは、クラウドコンピューティングサーバによって実行され、
    前記クラウドコンピューティングサーバは、コンピューティング資源またはサーバ資源を共有している複数のサーバ装置を仮想化している、
    請求項２に記載の方法。
15. ｎ個のオブジェクトが前記画像データベースに保管された画像の中に含まれており、前記画像はｎ個の画像グループの中に共通して含まれている、
    請求項４に記載の方法。
16. 画像データベースにおける画像を管理する方法であって：
    （ａ）照会画像が入力された場合に、前記照会画像を前記画像データベースに以前に保管された画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行するステップと、
    （ｂ）前記照会画像と前記画像データベースに保管された前記画像との間の類似性に基づいて、前記照会画像に類似していると判断された画像が認識された画像である場合は、前記照会画像を前記認識された画像が属している画像グループの中に含め、かつ、前記照会画像に類似していると判断された画像が認識されていない画像である場合は、前記照会画像を前記認識されていない画像が属している画像グループの中に含めるステップと、
    （ｃ）前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が認識された画像である場合には、対応する認識された画像に関する情報を前記画像グループの中に新たに含まれた画像に対して割り当て、かつ、前記画像データベースに保管するステップと、
    を含む、方法。
17. 画像データベースにおける画像を管理する装置であって：
    少なくとも一つの画像グループを保管するための画像データベースであり、保管された画像間の類似性に基づいて関連関係を有する画像がグループ化されている画像データベースと、
    検索ユニットと、を含み、前記検索ユニットは、
    照会画像が入力された場合に、前記画像データベースに以前に保管された画像を前記照会画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行し、
    前記適合において前記照会画像に類似していると判断された画像が、認識された画像である場合は、検索結果として、前記認識された画像が属する画像グループにおける少なくとも一つの画像と前記認識された画像に関する情報を提供し、かつ、前記適合において前記照会画像に類似していると判断された画像が、認識されていない画像である場合は、検索結果として、前記認識されていない画像が属する画像グループにおける少なくとも一つの画像を提供し、
    前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が、認識された画像である場合には、検索結果として、対応する認識された画像に関する情報が前記画像グループにおける画像に対して割り当てられ、かつ、提供される、
    ことを特徴とする装置。
18. 前記装置は、さらに、
    画像グループ形成ユニットと、を含み、
    前記画像グループ形成ユニットは、
    特定の画像とそれに関するタグ情報が外部から入力された場合に、所定の画像グループのうち少なくとも数個の画像を前記特定の画像と比較して、前記所定の画像グループのうち前記少なくとも数個の画像と前記特定の画像との間の類似性が、既定の閾値に等しいか又は高いかを判断し、かつ、
    前記所定の画像グループにおける所定の画像が、前記特定の画像との間で前記既定の閾値に等しいか又は高い類似性を有すると判断された場合には、前記外部から入力された前記特定の画像とそれに関する前記タグ情報を前記所定の画像グループに追加することによって前記画像データベースを更新する、
    請求項１７に記載の装置。
19. 前記装置は、さらに、
    追加データ取得及び比較ユニットと、を含み、
    前記追加データ取得及び比較ユニットは、ウェブクローラまたはユーザ端末装置から前記特定の画像とそれに関する前記タグ情報を受け取る、
    請求項１８に記載の装置。
20. 前記装置は、さらに、
    画像グループ形成ユニットと、を含み、
    前記画像グループ形成ユニットは、前記画像データベースに保管された前記画像間の類似性に基づいて、既定の閾値に等しいか又は高い類似性をお互いに有する画像をグループ化し、それにより画像グループを形成する、
    請求項１７に記載の装置。
21. 前記画像グループ形成ユニットは、定期的または不定期に動作する、
    請求項２０に記載の装置。
22. 前記検索ユニットは、前記画像データベースに保管された前記画像の特徴点または特徴領域を比較することによって前記類似性を判断し、かつ、前記画像グループ形成ユニットは、前記類似性に基づいて前記画像グループを形成する、
    請求項２０に記載の装置。
23. 前記検索ユニットは、前記照会画像が入力された場合、前記画像データベースに以前に保管された前記画像の正規化された特徴領域を前記照会画像の正規化された特徴領域に適合して、前記照会画像に類似する画像が存在するか否かを判断する、
    請求項１７に記載の装置。
24. 前記追加データ取得及び比較ユニットは、
    前記所定の画像グループの前記画像に係る正規化された特徴領域の少なくとも一つを特定の入力画像に係る正規化された特徴領域の少なくとも一つと比較して、それぞれの画像から同一のオブジェクトを示しているものとして判断される特徴領域の少なくとも一つのペアを検索することによって、前記特定の入力画像と前記所定の画像グループとの間の類似性を判断する、
    請求項１９に記載の装置。
25. 少なくとも２つの特徴領域が検索された場合、前記追加データ取得及び比較ユニットは、
    前記少なくとも２つの特徴領域に対応する前記所定の画像グループに属している画像の少なくとも２つの特徴領域間の相対的な位置関係と、前記少なくとも２つの特徴領域に対応する前記特定の入力画像の少なくとも２つの特徴領域間の相対的な位置関係とを、トポロジを使用して比較し、かつ、
    前記所定の画像グループに属している前記画像が前記特定の入力画像に適合しているか否かを判断する、
    請求項２４に記載の装置。
26. 前記追加データ取得及び比較ユニットは、前記所定の画像グループにおける少なくとも数個の画像を表しているｎ個の代表画像および前記代表画像に対応する代表タグを、前記画像データベースに追加する、
    請求項２５に記載の装置。
27. 前記代表画像とは視点と時間が異なるｍ個のサブ画像が、前記代表画像と一緒に追加される、
    請求項２６に記載の装置。
28. 前記サブ画像が追加される場合、さらに、前記サブ画像に対するサブタグが追加される、
    請求項２７に記載の装置。
29. 前記代表画像と前記サブ画像は、一つまたはそれ以上の視点または特徴領域を共有している、
    請求項２７に記載の装置。
30. 前記装置は、クラウドコンピューティングサーバによって実行され、
    前記クラウドコンピューティングサーバは、コンピューティング資源またはサーバ資源を共有している複数のサーバ装置を仮想化している、
    請求項１７に記載の装置。
31. ｎ個のオブジェクトが前記画像データベースに保管された画像の中に含まれており、前記画像はｎ個の画像グループの中に共通して含まれている、
    請求項２０に記載の装置。
32. 画像データベースにおける画像を管理する装置であって：
    検索ユニットであり、照会画像が入力された場合に、前記照会画像を前記画像データベースに以前に保管された画像と比較することによって、前記画像データベースの中に前記照会画像と類似する画像が存在するか否かを判断するように適合を実行する、検索ユニットと、
    画像グループ形成ユニットと、を含み、前記画像グループ形成ユニットは、
    前記照会画像と前記画像データベースに保管された前記画像との間の類似性に基づいて、前記照会画像に類似していると判断された画像が認識された画像である場合は、前記照会画像を前記認識された画像が属している画像グループの中に含め、かつ、前記照会画像に類似していると判断された画像が認識されていない画像である場合は、前記照会画像を前記認識されていない画像が属している画像グループの中に含め、
    前記照会画像に類似していると判断された画像を含んでいる前記画像グループのうち少なくとも一つの画像が認識された画像である場合には、対応する認識された画像に関する情報を前記画像グループの中に新たに含まれた画像に対して割り当て、かつ、前記画像データベースに保管する、
    ことを特徴とする、装置。
33. 請求項１乃至１６いずれか一項に記載の方法をプロセッサに実行させるように較正された複数の命令を有するコンピュータプログラム。
34. 請求項１乃至１６いずれか一項に記載の方法を実行するためにコンピュータプログラムを記録するためのコンピュータで読取り可能な記録媒体。

Images