JP5830784B2 - 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム - Google Patents

Description

本発明は、ネットワーク経由でサーバ側に構築されている画像認識エンジンを備えた関連性検索システムを利用する事で、上記画像認識エンジンによって認識可能となった画像構成要素群、及び上記関連性検索システムによって上記各画像構成要素に関連付けられたその他の要素間の繋がりと、繋がりの深さを視覚化してユーザのネットワーク端末上に提示する事で、ユーザによる視覚的な対象物の検索や探索を可能にするシステムを提供すると共に、その過程を通じてユーザの関心の在り所やその関心の推移をサーバ側で分析し、それらをユーザ毎の、あるいは特定のユーザ群毎の、或いはユーザ全体に亘るインタレスト・グラフとしてサーバ側で収集するシステムに関する。

旧来、ユーザ毎の関心を把握する代表的な手段として、書面或いはそれに代わる方法でユーザにアンケートを送付し、いくつかの選択可能な候補群の中からユーザにとって特に関心のあるジャンル、さらには特定の商品・サービスに関する認知度等を段階的な評価尺度と共に求め、それらの回答を集計してマーケティング活動に利用する方法が多用されていた。また近年ではインターネットを活用した各種サービスの登場により、契約開始時のユーザ登録の一環として、ユーザにとって特に関心のあるジャンル等の記入を求める事等により、ユーザ毎の嗜好を反映した関連商品やサービスの提供が可能となっている。

また、インターネットを活用した物品販売を行ういくつかのサイトでは、ユーザの購入履歴やサイトの閲覧履歴から、お勧めの商品や関連するサービス群を追加的に提示したり、同一商品を購入した他のユーザが他に何を購入したかの履歴情報を基に、それら同様の商品のリコメンデーションをまだ未購入のユーザの端末上に提示したりするなど、より多様に分化するユーザ群に向けて、より適合精度の高い商品やサービスの提供が可能となっている（特許文献１）。

さらに、近年のソーシャルネットワーク・サービスの拡大に伴い、それぞれのユーザ・プロファイルに対しユーザ自身で自らの関心領域や好み等を記載したり、他のユーザが投稿した文章や写真或いは動画等に対して「いいね！（ＬＩＫＥ）」釦をクリックする事により、当該ユーザからの好意的な反応をサイトに反映させると共に、これらＬＩＫＥ情報に基づいた新たな試みも既に始まっている（特許文献２）。また、１４０文字以内というような短いつぶやきをインターネット上で発信するサービスでは、特定の発信者や特定の話題に対し、関心のある多数のユーザがフォローするという特性を活用して、その主たる話題の内容やテーマを分類・解析して、ユーザの関心の在り所を効果的に求めようというアイデアも提案されている。

ユーザの関心の在り所を求めようとする例として、ユーザの閲覧したファイル間を伝播している語から、ユーザの変わりゆく興味をリアルタイムに推定するアルゴリズムを実装した装置がある（特許文献３）。

すなわち、特許文献３に開示された装置は、ユーザが閲覧した履歴から複数のファイルに含まれる語をファイル毎にテキストとして入力する手段と、そのテキストから単語単位に分割する手段と、ユーザが閲覧した複数のファイル間でユーザが参照した「伝播する語」を抽出する手段と、一または複数の前記「伝播する語」を記憶する手段と、前記「伝播する語」の全てのファイルに対する出現頻度から所定の「影響度」と、「伝播する語」の特定のファイル内に出現する程度を表す所定のｉＤＦ値を求める手段と、「影響度」と前記ｉＤＦ値との関数である「影響度ｉＤＦ値」に応じてユーザの興味ある語の集合をユーザ・プロファイル情報として抽出する手段とを備える。

また、コンテンツ体系をユーザとアイテムの関係からなるグラフ体系で表現し、ユーザが意味情報に依拠して興味の向くコンテンツを容易且つ的確に探索することを可能にする装置等も開示されている（特許文献４）。

すなわち、特許文献４に開示された装置等は、各個人毎の興味がクラス階層化された興味オントロジを表す興味オントロジデータの供給を受けて供給された興味オントロジ間の近似度を計測することによりユーザ間の興味の近似度を計測する近似度計測手段と、上記近似度計測手段による計測結果に基づいて興味オントロジ間の近似度が所定の範囲内にあるユーザコミュニティを識別可能なユーザグラフのデータを形成するユーザグラフ形成手段と、上記ユーザグラフ形成手段によって形成されたユーザグラフのデータを管理すると共に当該ユーザグラフのデータに基づくグラフの各ノードを成す複数のユーザ間を結ぶエッジにタクソノミによる意味情報を付与してユーザ間の関係をグラフベースで再構築するユーザグラフ再構築手段とを備えたことを特徴とする。

特開２００１−２２２５８６号公報 米国特許第７７８８２６０号明細書 特開２００７−２６４７１８号公報 特開２００９−２０５２８９号公報

しかしながらユーザの興味がある領域の取得という点では、旧来のアンケートやユーザ登録時のプロファイル記入による手法では、個々のユーザにとっては大雑把な領域に対する好みや関心の表明に止まり、また、近年のソーシャルネットワーク・サービス中で多用される「ＬＩＫＥ！」釦にしても、自分の関心領域であるというより友人の関心領域を間接的にフォローしているに過ぎないとも言える。そもそも友人リスト自体が必ずしも自分の友人全体を包括的に指し示すものでもなかった。また１４０文字以内のネットワーク上の様々なつぶやきに対してフォローが可能なサービスにおいては、そのつぶやきの頻度、リアルタイム性、話題の新規性という点からも、従来のネットワーク・サービスに比べてより新鮮なユーザの関心領域の取得が可能になると期待されているものの、自分の何気ないつぶやきや他の人のつぶやきをフォローする事で、ユーザ自身の持つ関心領域が網羅的かつ的確に取得可能かというと、その対象となる領域自体が極めて限定的なものとなっていた。

また、特許文献３や特許文献４に開示された技術においても、文書や単語を前提とした処理が行われている。そもそも文字による表意的な表現には、その背景となる文化や慣習の相違が色濃く反映しており、世界中の人々にとって直観的かつ共通のコミュニケーション手段であるとは、およそ言えない。古来、「百聞は一見にしかず」の諺にあるように、数多の言葉よりたった一枚の映像の方が的確に状況を表わしているケースが多い。映像はその中に主題や状況の描写と共に様々なオブジェクトを内包しており、どのような国の人々であってもおよそ認識可能である。人間以外の動物も、かなりの部分の情報を視覚から獲得していて、瞬時に周囲の状況を把握し次の行動判断を行っている。しかるに、従来の文字主体の方法では多言語であるが故の表現上の曖昧さが残ると同時に、刻々と遷り変るユーザの関心の在り所や好奇心の行き先等を効果的かつリアルタイムに獲得する、もしくはインタラクティブに獲得しようとする事は困難であった。

さらには、膨大な数の人々を対象とし、それら個々の人々の関心のある領域、或いはありそうな領域を効果的かつ網羅的に獲得する事は時間的にも方法論的にも従来は極めて困難で、一定の範囲内における関心の捕捉に止まり、ユーザの関心の在り所をより広範な領域に拡げ効果的に探索し獲得する方法が待ち望まれていた。

そこで本発明では、文字を介さず主題や周囲状況と共に様々なオブジェクトを内包する画像情報を活用し、ユーザの刻々と遷り変る関心の在り所を、ユーザによる興味のある画像の検索および探索という過程で効果的に捕捉する為に、それらの画像に含まれる個々の画像構成要素を画像認識エンジンの助けを借りてリアルタイムに検出し、それら認識された個々の画像構成要素とさらに関連性の高い他の関連要素群を、関連性検索システムの助けを借りて、併せて可視化する事で、ユーザが視覚的かつインタラクティブに興味のある対象を検索したり探索可能とさせる事で、従来に比べ効果的にユーザ固有の関心の対象や領域を、サーバ側でユーザ毎の、或いは特定のユーザ群の、或いはユーザ全体に共通のインタレスト・グラフとして、網羅的、かつ効果的に獲得する事を目的としている。

本発明に係るインタレスト・グラフ収集システムは、一形態として、キーワードやメタデータ、或いは文章といったような表意的な文字による入力手段によらず、様々な物体(object)や主題(subject)を内包する画像情報を入力手段として用いる検索システムであって、インターネット上或いは専用ネットワーク上に存在する多数の画像群、或いはネットワーク端末経由でユーザがインターネット上にアップロードした画像の中から、ユーザが関心を持った画像全体、或いは画像の特定の領域をユーザがネットワーク端末上で選択し、それら選択した画像をネットワークを経由してサーバ側の画像認識エンジンに問い合わせる事により、インターネットを介してサーバ側の画像認識エンジンが、選択された画像全体、或いは指定された画像領域に含まれる様々な一般物体・特定物体・人・顔・シーン・文字・記号・イラストレーション、ロゴ、ファビコン(等）をリアルタイムに抽出・認識し、それら認識された入力画像に含まれる画像構成要素群を、画像認識エンジン経由でサーバ側の関連性検索エンジンに通知する事で、関連性検索エンジンが個々の画像構成要素群それぞれに対し直接的及び間接的に一定以上の関連があると判断したその他の関連要素群を、関連性検索エンジン内の関連性知識データベース上に学習可能な状態で収納されている要素間の直接関連性を記述した多次元特徴ベクトルを基に抽出し、上記画像認識エンジンにより認識された画像構成要素群及び関連性検索エンジンにより抽出された関連要素群それぞれをノードとする関連性グラフとして、各ノード間の関連性の深さと共に、ユーザのネットワーク端末上に二次元画像、或いは奥行きを持った三次元画像、或いは上記関連性グラフの観察時間としての時間軸変数を加えた四次元時空間画像として視覚的に表現する事を可能にしたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、ネットワーク端末上に表示されている関連性グラフ上の任意のノードを、ユーザがタッチスクリーン上でタップ或いはタッチして選択するか、ポインタのカーソルを任意のノード上に移動し選択する、或いは関連性グラフ上の任意の領域に向けてユーザがタッチスクリーン上でフリックするか、ポインタのカーソルを関連性グラフ上の任意の領域に移動し画面全体をドラグしスクロールする、或いは方向キー等による同様の操作、或いはユーザによるジェスチャーや視線、音声、或いは脳波を用いた同様の効果を及ぼす入力操作を用いる事により、当該選択されたノード、或いは移動後の領域を中心とする新たな関連性グラフを、そこに至る途中経過も含めて関連性検索エンジンがネットワーク端末に向け追加的に送出する事で、ユーザにとって関心のあるノード或いは領域をユーザが関連性グラフ上でシームレスに辿りながら、複数のノード間にまたがる広範な関連性として視覚的に認識する事が可能に構成されたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、上記画像認識エンジンが提示した複数の画像構成要素群の中から、ユーザが選択した特定の画像構成要素、或いはネットワーク端末上に表示されている関連性グラフ上の特定のノードをユーザがタッチスクリーン上でダブルタップするかピンチアウトする操作、或いはポインタ等の操作による当該ノードの選択と当該ノードを中心とする領域の拡大、或いはユーザによるジェスチャーや視線、音声、或いは脳波を用いた同様の効果を及ぼす入力操作を用いる事により、当該ノードを中心とするより詳細な関連性グラフをユーザのネットワーク端末上に視覚的に表現する事を可能にした上で、それらの一連の操作を当該ノードに対するユーザの一定の関心の存在であるとし、当該ユーザを中心ノードとする各要素間の直接関連性を記述した多次元特徴ベクトル上で、当該ノードに係るユーザの関心の深さを表わす特徴ベクトル値を適応的に強める事で、当該ユーザを中心ノードとする個々のユーザに対応したインタレスト・グラフとして獲得可能にすると共に、当該インタレスト・グラフを広範なユーザに拡大して獲得する事により、特定のユーザクラスタ、或いはユーザ全体にまたがる統計的な広義のインタレスト・グラフとして収集可能に構成されたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、ユーザが着目し選択したノードを関連性グラフ上で辿る事なく、それらノード画像をネットワークを経由してサーバ側の画像認識エンジンに再び問い合わせる事により、画像認識エンジンの助けを借りて当該ノードに関する新たな画像構成要素群を獲得し、それら画像構成要素群を起点とする新たな関連要素群を関連性検索エンジンからネットワーク端末に向け送出する事で、ユーザが当該ノードに対する新たな関連性をそれら相互の関連性の深さと共に関連性グラフ上で視覚的に認識する事を可能にした上で、直前の同様の操作において当該ノードへの起点となっている画像構成要素から当該ノードに至る一連のノード間の関連性の存在をユーザが認識し利用していると関連性検索エンジンが推測し、各要素間の直接関連性を記述した多次元特徴ベクトル上で、それら一連の関連性を構成するそれぞれのノード間の直接的な関係性の深さを表わす特徴ベクトル値を適応的に強める事で、関連性検索エンジン内の関連性知識データベースの追加学習が更に可能になるよう構成されたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、画像認識エンジンにより認識可能となった画像構成要素群、及びそれら画像構成要素群それぞれに対応する各関連要素群に対し、それらを代表する写真、イラストレーション、文字、記号、ロゴ、ファビコン等から生成した縮小画像サムネイルを関連性検索エンジンが元画像に代えてネットワーク端末に向け送出する事により、関連性グラフ上のノードとして画像サムネイル単位での表示・選択が更に可能になるよう構成されたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、複数のノードをサーバ側の画像認識エンジンに問い合わせる事を可能にした上で、画像認識プロセスに備わる入力条件選択機能として、論理的な演算子（ＡＮＤ、ＯＲ）を導入し、ＡＮＤを選択した場合はそれぞれのノード間で共通かつ直接的に関連するノードを、ＯＲを選択した場合はそれぞれのノードのいずれか一つ以上に直接的に関連するノードを、相互の関連度の深さと共にネットワーク端末上に視覚的に表現する事が更に可能になるよう構成されたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、複数のノードをサーバ側の画像認識エンジンに問い合わせる事を可能にした上で、画像認識プロセスに備わる入力条件選択機能として、関連性探索演算子（Ｃｏｎｎｅｃｔｉｏｎ Ｓｅａｒｃｈ）を導入し、一見全く関連性がないと思われるような複数のノード間の関係を、それぞれの入力ノード群に対し直接的及び間接的に関連するその他のノードを経由する一連の関連性として探索する事で、異なるレイヤ（階層）に及ぶノード間の間接的な関係を発見し、それらノード間の最短パスを含む関連性グラフとしてネットワーク端末上に表示する事を可能にすると同時に、上記関連性探索プロセスにおいて、発見された複数のノード間にまたがる上記間接的関係を、関連性検索エンジン内の関連性知識データベース内に学習の上獲得する事で、以降の同様或いは類似の関連性探索要求に備える事が更に可能になるよう構成されたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、ユーザと間接的な関係にあるノード、或いはユーザとの関連性が凡そないとされているその他のノードに対し、それらノードを当該ユーザとの直接的な関係として結び付ける接続演算子（ＬＩＫＥ）、及び既に結びつけられている当該ノードとユーザ間の直接的な関係を切断する切断演算子（ＤＩＳＬＩＫＥ）を導入する事で、当該ユーザを中心ノードとする各要素間の直接関連性を記述した多次元特徴ベクトル上で、当該ノードに係るユーザの関心の深さを表わす値を増加、或いは減少、或いは滅消させる事で、当該ユーザを中心ノードとする、個々のユーザに対応したインタレスト・グラフの更新が更に可能になるよう構成されたことを特徴とする。

また、他の形態として、本発明に係るインタレスト・グラフ収集システムは、上記関連性検索操作において、ユーザ以外のノードを対象にした新たな直接的関係の存在及び非存在の可能性を、それらの複数のノードが直接的に結び付けられるべきだとして提起する参照演算子（ＲＥＦＥＲＥＮＣＥ）、及び既に直接的に結び付いているもののその直接的な関連の存在が疑わしいとして直接的関係の非存在を提起する非参照演算子（ＵＮＲＥＦＥＲＥＮＣＥ）を導入する事で、それらの新たなノード間の直接関連性の存在、或いは非存在の可能性を関連性検索エンジンがユーザに対し喚起する事を可能にした上で、特定の権限を有するスーパーバイザ或いは一定数以上のユーザから関連がある或いはないと判断されたノード間の関連性に係る特徴ベクトルの値を関連性検索エンジンが更新可能にした上で、当該ノード群に係る更新された関連性グラフとしてネットワーク端末上に反映可能にすると共に、それらの新たな直接関連性の存在或いは非存在に係る更新情報を、全てのユーザに通知する事が更に可能になるよう構成されたことを特徴とする。

本発明に係るシステムによって、文字による検索という多言語対応が必要となる情報検索手段から、文字によらず画像そのものを入力手段とする情報検索処理が可能となる事で、より広範な国と地域のユーザを対象とする言語フリーの検索システムが提供可能となる。また、検索入力と検索結果の双方を従来の文字から画像情報に置き換える事で、人間にとってより直観的な情報の検索・発見が可能となる。併せて、表示画面サイズの比較的小さなネットワーク端末群であっても、入出力操作を文字から画像サムネイルやアイコン等の画像ベースのユーザ・インターフェース（ＵＩ）に移行させる事で、指先一つ或いはユーザによる簡単なポインティング操作で高度な検索操作を可能にするなど、従来に比べより軽快な検索環境を提供出来る事から、従来より頻度の高い検索や探索を喚起する事が可能となり、それらをサーバ側で統計的に処理する事で、より鮮度の高いダイナミックなインタレスト・グラフの取得が可能になるという効果を奏する。

本発明に係るシステムの一実施形態におけるシステム構成を説明する説明図である。 本発明に係るシステムの一実施形態におけるサーバ及びＭＤＢの機能ブロックを説明する説明図である。 本発明に係るシステムの一実施形態におけるネットワーク端末装置の機能ブロックを説明する説明図である。 本発明に係るシステムの一実施形態における画像認識フローを説明する説明図である。 本発明に係るシステムの一実施形態における他の画像認識フローを説明する説明図である。 本発明に係るシステムの他の実施形態における画像認識システムの機能ブロックを説明する説明図である。 本発明に係るシステムの他の実施形態における一般物体認識部の機能ブロックを説明する説明図である。 本発明に係るシステムの他の実施形態における局所特徴量抽出部の機能を説明する説明図である。 本発明に係るシステムの他の実施形態におけるカテゴリ認識部の機能ブロックを説明する説明図である。 本発明に係るシステムの他の実施形態におけるシーン認識部の機能ブロックを説明する説明図である。 本発明に係るシステムの他の実施形態におけるシーン分類の一例を説明する説明図である。 本発明に係るシステムの他の実施形態における特定物体認識部の機能ブロックを説明する説明図である。 本発明に係るシステムの一実施形態におけるユーザインタフェースを説明する説明図である。 本発明に係るシステムの他の実施形態におけるユーザインタフェースを説明する説明図である。 本発明に係るシステムの他の実施形態におけるユーザインタフェースを説明する説明図である。 本発明に係るシステムの他の実施形態におけるユーザインタフェースを説明する説明図である。 本発明に係るシステムの他の実施形態におけるユーザインタフェースを説明する説明図である。 本発明に係るシステムのグラフ演算部の機能ブロックを説明する説明図である。 本発明に係るシステムの一実施形態におけるグラフを表現するための基本的データ構造を説明する説明図である。 本発明に係るシステムの一実施形態におけるノードデータとリンクデータとを操作する為のオペレーションを説明する説明図である。 本発明に係るシステムの一実施形態におけるグラフ構造及びリンク表現を説明する説明図である。 本発明に係るシステムの一実施形態における関連画像とのリンク構造例及び動作例を説明する説明図である。 本発明に係るシステムの一実施形態におけるシナリオと対応するグラフ構造等を説明する説明図である。 本発明に係るシステムの一実施形態におけるシナリオと対応するグラフ構造等を説明する説明図である。 本発明に係るシステムの一実施形態における関連性導出演算の例を説明する説明図である。 本発明に係るシステムの一実施形態におけるインタレスト・グラフ獲得例を説明する説明図である。 本発明に係るシステムの一実施形態におけるグラフ構造の表示例を説明する説明図である。 本発明に係るシステムの他の実施形態におけるグラフ構造の表示例を説明する説明図である。 本発明に係るシステムの他の実施形態におけるグラフ構造の表示例を説明する説明図である。 本発明に係るシステムの他の実施形態における動作例を説明する説明図である。 本発明に係るシステムの他の実施形態における動作例を説明する説明図である。 本発明に係るシステムの他の実施形態における具体的な連想関係を説明する説明図である。 本発明に係るシステムの他の実施形態における動作例を説明する説明図である。 本発明に係るシステムの他の実施形態における動作例を説明する説明図である。 本発明に係るシステムの他の実施形態における動作例を説明する説明図である。 本発明に係るシステムの他の実施形態における動作例を説明する説明図である。 本発明に係るシステムの一実施形態における統計情報処理部の機能ブロックを説明する説明図である。 本発明に係るシステムの一実施形態における特定ユーザフィルター処理部の機能ブロックを説明する説明図である。 本発明に係るシステムの一実施形態における表現例を説明する説明図である。 本発明に係るシステムの他の実施形態における動作例を説明する説明図である。 本発明に係るシステムの一実施形態におけるインタレスト・グラフの構成例を説明する説明図である。 本発明に係るシステムの他の実施形態におけるインタレスト・グラフの表示例を説明する説明図である。 本発明に係るシステムの一実施形態におけるソーシャル・グラフ獲得処理を説明する説明図である。 本発明に係るシステムの一実施形態におけるインタレスト・グラフ収集プロセスを説明する説明図である。 本発明に係るシステムの他の実施形態におけるユーザ毎のインタレスト・グラフに対応する多次元特徴ベクトルを説明する説明図である。

以下、本発明に係るシステムを実施するための形態について、図を参照しながら詳述する。

図１に、本発明に係るシステムの一実施形態を示す。システム１００は、サーバ１０１と、グラフデータベース（以下、「ＧＤＢ」ともいう）１０２Ａと、マザーデータベース（以下、「ＭＤＢ」ともいう）１０２Ｂと、ユーザが使用する複数台のネットワーク端末装置１０５ａ〜１０５ｄとからなり、サーバ１０１とＧＤＢ１０２Ａ及びＭＤＢ１０２Ｂとは接続１０３で接続され、サーバ１０１及びネットワーク装置１０５はネットワーク或いはインターネット１０４に接続されている。

ここで、サーバとは、クライアントからの要求に応じてデータを処理し、その結果をサービスとして提供する１又は複数のコンピュータプログラムであり、１台のコンピュータシステム上に実装することも、複数のコンピュータからなるシステム群に分散して実装することもできる。また、他のサーバ機能と並列して１又は複数のコンピュータシステム上に実装することもできる。さらに、独立した複数の処理機能を有するように構成することもできる。以下、本明細書では、サーバの意義を上記のとおり位置付ける。

また、ハードウェアとしてのコンピュータシステムは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報（ビットデータ）に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明の実施形態において使用される各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、ミドルウェア、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。

図２に、本発明に係るシステムの一実施形態におけるサーバ１０１、ならびに、ＧＤＢ１０２Ａ及びＭＤＢ１０２Ｂの機能ブロックを示す。サーバ１０１は、ソフトウェア機能ブロックとして、領域処理部２０１と、一般物体認識部２０２と、特定物体認識部２０３と、ＭＤＢ検索部２０６と、ＭＤＢ学習部２０７と、ＭＤＢマネージメント部２０８と、ネットワーク通信制御部２０４と、データ検索処理部２０５と、グラフ演算部２２１と、グラフ記憶部２２２と、グラフ管理部２２３と、関連性演算部２２４と、統計情報処理部２０９と、特定ユーザフィルター処理部２１０とからなる。
なお、領域処理部２０１、一般物体認識部２０２、特定物体認識部２０３、ＭＤＢ検索部２０６、ＭＤＢ学習部２０７、及びＭＤＢマネージメント２０８は、画像認識エンジン２００を構成している。画像認識エンジン２００は後述の図６Ａ記載の画像認識システムに置き換えても良い。また、グラフ演算部２２１、グラフ記憶部２２２、グラフ管理部２２３、及び関連性演算部２２４は、関連性検索エンジン２２０を構成している。
サーバ１０１の機能ブロックは必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。

領域処理部２０１は、画像内の領域分割や部分画像の切出しなどを行う。一般物体認識部２０２は、画像中に含まれる物体を一般的な名称（カテゴリ）で認識する。また、物体認識部２０３は、ＭＤＢに登録された情報と照合し、物体を同定する。
ネットワーク通信制御部２０４は、画像の入力出力処理や、ネットワーク端末との情報通信制御などを行う。データ検索処理部２０５は、リンク先から情報を収集したり、集合知の問合せや、収集、ならびに検索などを行う。
ＭＤＢ検索部２０６は、物体の名称等のタグデータ等を検索する。ＭＤＢ学習部２０７は、新規設計データの追加や詳細情報の追加、時間情報の登録、付帯情報の登録、更新、追加などを行う。ＭＤＢマネージメント部２０８は、設計データから特徴点や特徴量の抽出、付帯情報からカテゴリ情報を抽出しカテゴリデータへの登録や、カテゴリデータ内のカテゴリ分類の拡張、分割、更新、統合、修正、新規カテゴリの登録などを行う。

関連性検索エンジン２２０は、上述したとおり、少なくともグラフ演算部２２１と、グラフ記憶部２２２と、グラフ管理部２２３と、関連性演算部２２４とを含む。グラフ演算部２２１は、サーバ上で実行される各種グラフ演算を処理し、グラフ記憶部２２２は、グラフデータベースに格納されたノードデータやリンクデータを用いたグラフ構造をメモリ上に展開し、後段の処理が行いやすいようにデータ形式を整え、グラフ管理部２２３は、グラフ演算部２２１で実行される多数のグラフ演算の管理・調停を行う。さらに、関連性演算部２２４では、ノード間の関連性をグラフマイニング手法を用いて計算する。

統計情報処理部２０９は、ＧＤＢ１０２Ａに蓄積されたグラフデータを用いた統計情報処理を行う。特定ユーザフィルター処理部２１０は、ユーザの主観に基づいた検索結果のフィルタリングを行う。例えば、各ノードに付与されたタイプ情報から部分グラフを抽出してグラフマイニング処理をすることで共起確率に基づくユーザの興味を処理することができる。

また、ＧＤＢ１０２Ａは、ノードデータ２３１と、リンクデータ２３２とからなる。ＧＤＢ１０２Ａは必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。

ノードデータ２３１は、ノードに関するデータを格納する。データ構造の一例については、図１４Ａ（Ｄ）に基づいて後述する。
リンクデータ２３２は、リンクに関するデータを格納する。リンク構造の一例については、図１４Ａ（Ｅ）に基づいて後述する。

また、ＭＤＢ１０２Ｂは、設計データ２５１と、付帯情報データ２５２と、特徴量データ２５３と、カテゴリデータ２５４と、不特定物体データ２５５とからなる。ＭＤＢ１０２Ｂは必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。

設計データ２５１は、物体を製造するためのデータベースから生成された、物体の構造や形状、寸法、部品の接続情報、配置図、可動部、可動範囲、重量、剛性など、物体を構成し、製造するのに必要な基本情報を保持している。
付加情報データ２５２は、物体の名称、製造者、部品番号、日時、素材、組成、加工情報など物体に関するあらゆる情報を保持している。
特徴量データ２５３は、設計情報に基づいて生成される個々の物体の特徴点や特徴量情報を保持している。
カテゴリデータ２５４は、一般物体認識部において物体のカテゴリ分類を行う際に使用する情報を保持している。
不特定物体データ２５５は、現時点で特定物体認識不能の物体に関しての情報を保持しており、その後に類似の特徴を有する物体が頻繁に検出されれば、新たな特定物体として新規登録処理される。

図３に、本発明に係るシステムの一実施形態におけるネットワーク端末装置を示す。ネットワーク端末装置１０５ａ〜１０５ｄは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末（ＰＤＡやパッド）、携帯電話機等が含まれる。つまり、ネットワーク端末装置１０５ａ〜１０５ｄは、多様な種類の電子情報機器が多数インターネットなどのネットワークに接続されている様子をあらわしている。以下、ネットワーク端末装置１０５と記載した場合にはネットワークに接続されたネットワーク端末装置１０５ａ〜１０５ｄのいずれか１台をさす。ネットワーク端末装置１０５ａ〜１０５ｄはすべて同一機種である必要はない。同等の機能（あるいは実施可能な最低限の機能）を備えた端末装置であればよい。ここではネットワーク端末装置１０５の代表的な機能ブロックについて説明する。

図３のネットワーク端末１０５の事例として、動画像入力機能と表示機能が一体で存在する場合と、それぞれが別体で存在する場合とがある。前者では携帯電話や最新のスマートフォンのように、ネットワーク端末１０５には、操作部１０５−０１と、表示部１０５−０２と、音声入出力部１０５−０３と、画像送受信部１０５−０４と、カメラ部１０５−０５と、ネットワーク通信部１０５−０６と、ＣＰＵ１０５−０７と、記憶部１０５−０８と、電源部１０５−０９と、位置情報取得部１０５−１０と、各種センサ群１０５−１１とが一体として備わっており、後者では動画撮影カメラとＴＶのように、入出力機能がそれぞれ別体のものとして存在している。

本発明においては、これら入出力部が一体となったネットワーク端末を事例にとり説明を行う。操作部１０５−０１は、例えばタッチパッド（ディスプレイに内蔵されるものを含む）、キー入力部、ポインティングデバイス、ジョグダイアル等の入力デバイスで構成される。表示部１０５−０２は、各出力機器に応じた解像度及びビデオメモリを備えたディスプレイ部である。音声入出力部１０５−０３は、音声認識用のマイク、スピーカ等の入出力デバイスで構成される。画像送受信部１０５−０４は、ネットワーク端末１０５で撮影した動画像データをサーバに送信し、あるいはサーバから配信されて来る動画像データを受信するために必要なコーデック部、メモリユニット等が含まれる。なお、動画像データには、静止画像も含まれる。カメラ部１０５−０５はＣＣＤやＭＯＳセンサ等の撮像デバイスを含む動画像撮影手段である。ネットワーク通信部１０５−０６はインターネット等のネットワークに接続するためのインタフェースであって、有線／無線のいずれかである事を問わない。ＣＰＵ１０５−０７は中央処理装置であり、記憶部１０５−０８はフラッシュメモリ等の一時記憶装置であり、電源部１０５−０９はネットワーク端末全体に電力を供給する為の電池等を指す。位置データ検出部１０５−１０はＧＰＳ等の位置情報検出デバイスであり、各種センサ群１０５−１１には加速度センサ、傾きセンサ、磁気センサなどが含まれる。

Ａ．画像認識処理
次に、図４に従って、本発明に係るシステムの一実施形態における画像認識システムの全体的なフローを説明する。

画像認識処理の開始（Ｓ４０１）は、一例として、ネットワーク端末装置１０５からアップロードされたり、サーバからクローリングして収集されることによる元画像の入力からはじまる（Ｓ４０２）。元画像は、もともとサーバ上に存在するものを使用してもよい。元画像は、２次元画像であるか３次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス（不図示）を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合がある。次に、Ｓ４０４において一般物体認識処理が行われる。一般物体認識処理には、例えば、ＢｏＦ（Bag-of-Features）の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ（物体の一般名称）の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はＳ４０５で行われる。カテゴリ認識ができなかった場合には、Ｓ４０６へ進み、既存のカテゴリの取り扱いについて判断がなされる（Ｓ４０７或いはＳ４０８）が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくＳ４０９へ進む。

Ｓ４０５の判断において特定物体認識処理へ進む場合は、まず、Ｓ４０９において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる（Ｓ４１０）。特定物体認識処理では、ＭＤＢ１０２Ｂに登録された設計データ２５１から抽出された特徴量データ２５３に基づく一致度を算出する評価関数によって物体の同定が試みられる。

一方で、Ｓ４０５の判断において一般物体認識ができなかった場合には、Ｓ４０６へ進み、着目物体の持つ特徴量と、ＭＤＢ１０２Ｂが把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか（Ｓ４０７）、その着目物体に近接する既存カテゴリの拡張を検討するか（Ｓ４０８）の判断が行われる。新たなカテゴリを登録する（Ｓ４０７）場合にはＳ４０４に復帰し、既存のカテゴリを拡張する（Ｓ４０８）場合にはＳ４０９へ進む。

Ｓ４１１においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、Ｓ４１３に進み、Ｓ４０９において切り出された個別物体画像にＭＤＢ１０２Ｂに登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、Ｓ４１３においてＹｅｓと判断された場合には、Ｓ４１４に進み、ＭＤＢ１０２Ｂにおけるその物体の詳細データはＭＤＢ学習部２０７により更新され、より精細な情報を有するようになる。一方で、Ｓ４１３においてＮｏと判断された場合には、Ｓ４１５に進み、次の判断がなされる。

Ｓ４１５は、Ｓ４０５において一般物体認識ができなかったと判断された場合であって、Ｓ４０６の判断でＳ４０８、Ｓ４０９、Ｓ４１０へ進み、特定物体の認識ができた（Ｓ４１１でＹｅｓ）場合に判断される。Ｓ４１５において、特定された物体が既存のカテゴリであった場合には、ＭＤＢ１０２Ｂに登録されているその既存カテゴリの定義を拡張、あるいは拡張によりカテゴリ内の物体の情報距離が分散する場合には分割、あるいは近接カテゴリとの情報距離が前記カテゴリ内の物体間の情報距離と同程度以下になった場合には統合、あるいは特定された物体の登録により既存の物体の情報の齟齬を発見した場合には修正を施し、カテゴリデータ２５４をアップデートする（Ｓ４１６）。一方で、Ｓ４１５において、特定された物体が既存のカテゴリでなかった場合には、Ｓ４０７へジャンプし、新規カテゴリとして登録する。

Ｓ４１１において、特定物体の認識ができなかった場合は、ＭＤＢ１０２Ｂにおいてその物体はいったん「未確認物体」として登録され、将来の処理に備えて認識処理を終了する（Ｓ４１７）。Ｓ４１６において既存カテゴリを拡張してアップデートされた場合も認識処理を終了する（Ｓ４１７）。

図５は、図４における特定物体認識処理及び学習処理の一部について、他の実施形態を示すフロー図である。以下、詳細に説明する。

まず、Ｓ５０１より特定物体認識処理が開始される。ここで入力されるデータは、単一物体の画像のほか、同レイヤの設計データを使用することができる。さらに、画像にリンクされた設計データや、設計データそれ自体（製品全体のみならず、部品であってもよい）を使用することもできる。
次に、Ｓ５０２においてＭＤＢで生成された特徴量データ２５３を元に、元画像内の特徴点及び特徴量が抽出され、ＭＤＢより生成される特徴量データと比較される。ここで、ＭＤＢより特徴量データを生成・比較する方法には、以下の２種類がある。

１つ目は、物体を構成する最小単位（設計データなどで表されている）ごとの３次元情報を元に、あらゆる角度から２次元平面に写像し、その写像画像から物体の特定に用いる特徴量などを生成する。比較する際には、その特徴量を元に入力画像から特徴量を抽出し、出現部位や頻度などを比較する方法である（Ｓ５０４）。なお、ここでの特徴量は、一例として輪郭抽出法やＳＵＲＦ法やなどに基づいて生成される。

２つ目は、物体を構成する最小単位（設計データなど）の集合からなる３次元形状情報を投影角度や拡大率などを変えながら２次元平面に写像するプロセスを評価関数として、物体の特徴点および特徴量との差異を一致度として判定する方法（チューン方式）である（Ｓ５０５）。

なお、従来は、サンプルとなる画像そのものをとにかくたくさん集めて特徴量あるいは評価関数による同定処理（Ｓ５０２）を行なっていたことに鑑みれば、Ｓ５０４やＳ５０５で説明したＭＤＢより生成する方法（Ｓ５０３）は、同定の確度を上げるという点で従来技術より有利な効果を奏する。

次に、Ｓ５０６において、物体の同定ができたかが判断される。もし、同定されたと判断された場合には、Ｓ５１０に進み、同定に使用したデータがＭＤＢのデータよりも詳細であるか、最新であるかが判断され、これらの判断に基づいて、物体固有の情報（設計データなど）や時間情報（物体の型式、バージョン情報）がＭＤＢに更新登録され、特定物体認識処理を抜ける。つまり、情報の登録及びＭＤＢ更新が、データベース学習処理となる。

一方で、Ｓ５０６において、物体の同定ができなかったと判断されると、画像情報以外の情報（画像中の文字やロゴ）を抽出して物体同定処理を行う。例えば、画像中の物体に非常に有名なメーカのロゴが映し出されてさえいれば、物体の大半がフレームから外れていたとしても同定が容易に行える場合がある。そうして、Ｓ５０９に進み、再び物体の同定ができたかどうかが判断される。物体の同定ができていれば（Ｓ５０９においてＹｅｓ）、Ｓ５１０に進み、同定に使用したデータがＭＤＢのデータよりも詳細であるか、最新であるかが判断され、これらの判断に基づいて、物体固有の情報（設計データなど）や時間情報（物体の型式、バージョン情報）がＭＤＢに更新登録され、特定物体認識処理を抜ける。

一方で、物体の同定ができなかったならば（Ｓ５０９においてＮｏ）、不特定物体としてＭＤＢに登録され、将来の更新や新カテゴリの生成に備え（Ｓ５１１）、特定物体認識処理を終了する（Ｓ５１２）。

なお、Ｓ５０７で示した、画像情報以外の情報による同定処理とともに、あるいはこれに替えて、集合知を利用して物体の同定に役立てることもできる（Ｓ５０８）。このＳ５０８の処理は、例えば、ネット上の百科事典を検索したり、Ｑ＆Ａ掲示板に自動投稿したりすることで実施される。ネット上の百科事典をシステムが自ら検索するには、一般物体認識で得られたカテゴリとともにＭＤＢより生成された特徴量を用いて検索クエリを作成し検索を実行する。そして返送されてきた内容から新たな特徴量を抽出して物体の同定が可能か再度試みる。また、Ｑ＆Ａ掲示板に自動投稿する場合は、一般物体認識で得られたカテゴリとともに元画像を掲示板にアップロードする。このとき、あらかじめ用意された定型文を自動編集して、「この○○について、型式を教えてください」とか、「この△△△について、設計情報を公開されているウェブサイトを教えてください」といったクエリを投稿する。そうして、他のユーザ（人間を含む）から「それは、ｘｘ−ｘｘｘｘです」とか、「その△△△の設計データは、http://www.aaabbb.com/cad/data.dxfから入手可能です」といったアドバイスが寄せられる。システムは、これらのアドバイスを分析及び評価し、指定されたＵＲＬへアクセスし物体の設計データ等のダウンロードを試みる。新たに得られた設計データに基づいて物体の同定に成功すれば、得られた新たなデータがＭＤＢに追加され、データベースが更新される。

[画像認識システム]
ここで、図６Ａに、本発明に係るシステムの他の実施形態における画像認識システムの機能ブロックを示す。図６Ａに示す画像認識システム２０２は、サーバ１０１の一部として運用することも可能であるし、あるいは、サーバ１０１とは独立したサーバシステムとしても運用可能である。画像認識システム２０２は、サーバ１０１における一般物体認識部や特定物体認識部に対応する一般物体認識システム及び特定物体認識システムに加え、シーンを認識するためのシーン認識システムをも備えている。サーバ１０１における画像認識機能部の別形態あるいは応用例として、以下に詳述する。

画像認識システム２０２は、ネットワーク通信制御部２０４と、領域処理部２０１と、データ検索処理部２０５と、一般物体認識システム１０６と、シーン認識システム１０８と、特定物体認識システム１１０と、画像カテゴリデータベース１０７と、シーン構成要素データベース１０９と、ＭＤＢ１１１で構成される。一般物体認識システム１０６は、一般物体認識部１０６−０１と、カテゴリ認識部１０６−０２と、カテゴリ学習部１０６−０３と、新規カテゴリ登録部１０６−０４とで構成され、シーン認識システム１０８は、領域抽出部１０８−０１と、特徴抽出部１０８−０２と、重み学習部１０８−０３と、シーン認識部１０８−０４とで構成され、特定物体認識システム１１０は、特定物体認識部１１０−０１と、ＭＤＢ検索部１１０−０２と、ＭＤＢ学習部１１０−０３と、新規ＭＤＢ登録部１１０−０４とで構成され、画像カテゴリデータベース１０７は、カテゴリ分類データベース１０７−０１と、不特定カテゴリデータ１０７−０２で構成され、シーン構成要素データベース１０９は、シーン要素データベース１０９−０１と、メタデータ辞書１０９−０２とで構成され、ＭＤＢ１１１は、詳細設計データ１１１−０１と、付帯情報データ１１１−０２と、特徴量データ１１１−０３と、不特定物体データ１１１−０４とで構成される。画像認識システム２０２の機能ブロックは必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。

一般物体認識システム１０６は、画像中に含まれる物体を一般的な名称、あるいはカテゴリで認識する。ここでいうカテゴリは階層的であり、同じ一般物体として認識されているものでも、さらに細分化されたカテゴリ（同じ椅子でも４本足の「椅子」もあれば、全く足の無い「座椅子」のようなものまで含まれる）や、さらに大枠的なカテゴリ（椅子も机もタンスも含めて「家具」のカテゴリとして大分類される）としても分類及び認識が可能である。カテゴリ認識は、この分類を意味するClassification、即ち既知のクラスに物体を分類するという命題であり、カテゴリはまたクラスとも呼ばれる。

一般物体認識プロセスにおいて、入力画像中の物体と参照物体画像との比較照合を行った結果、それらが同一形状であるか類似形状である場合、あるいは極めて類似した特徴を併せ持ち他のカテゴリとも主要な特徴において明らかに類似度が低いと認められる場合に、認識された物体に対し対応する既知のカテゴリ（クラス）を意味する一般名称を付与する。それらの各カテゴリを特徴付ける必須要素を詳細に記述したデータベースがカテゴリ分類データベース１０７−０１であり、それらのいずれにも分類する事ができない物体は、不特定カテゴリデータ１０７−０２として一旦分類し、将来の新たなカテゴリ登録、あるいは既存カテゴリの定義範囲の拡大に備える。

一般物体認識部１０６−０１では、入力された画像中の物体の特徴点から局所特徴量を抽出し、それらの局所特徴量が予め学習によって得られた所定の特徴量の記述と似ているか似ていないかを比較して、当該物体が既知の一般物体であるかどうかを判別するプロセスを実行する。

カテゴリ認識部１０６−０２では、一般物体認識可能となった物体がどのカテゴリ（クラス）に属するかを、カテゴリ分類データベース１０７−０１との照合において特定あるいは推定し、その結果、特定カテゴリにおいてデータベースに追加あるいは修正を加えるような追加の特徴量が見出された場合には、カテゴリ学習部１０６−０３において再学習した上で、カテゴリ分類データベース１０７−０１の当該一般物体に関する記述をアップデートする。また一旦、不特定カテゴリデータとされた物体とその特徴量が別に検出された他の不特定物体の特徴量と極めて類似であると判定された場合には、それらは新たに発見された同一の未知のカテゴリ物体である可能性が高いとして、新規カテゴリ登録部１０６−０４において、カテゴリ分類データベース１０７−０１にそれらの特徴量が新規登録され新たな一般名称が付与される。

シーン認識システム１０８では、入力画像全体あるいは一部を支配している特徴的な構成要素を、性質の異なる複数の特徴抽出システムを用いて検出し、それらをシーン構成要素データベース１０９に記載されているシーン要素データベース１０９−０１と多次元空間上で参照する事で、それぞれの入力要素群が特定シーン内に検出されるパターンを統計処理により求め、画像全体あるいは一部を支配している領域が特定のシーンであるかどうかを認識する。併せて、入力画像に付帯しているメタデータ群と、シーン構成要素データベース１０９に予め登録済みの、メタデータ辞書１０９−０２に記載されている構成要素とを照合し、シーン検出の精度を一段と向上させる事も可能となる。領域抽出部１０８−０１では、画像全体を必要に応じて複数の領域に分割して、領域毎にシーン判別を可能にする。例えば、都市空間内のビルの屋上に設置した高解像度の監視カメラからは、交差点や数多くの店舗のエントランス等の複数のシーンを見渡す事ができる。特徴抽出部１０８−０２は、指定した画像領域内における検出された複数の特徴点の局所特徴量、色情報や物体の形状等、利用可能な様々な特徴量から得られる認識結果を後段の重み学習部１０８−０３に入力し、それぞれの要素が特定シーンにおいて共起する確率を求め、シーン認識部１０８−０４に入力して最終的な入力画像に対するシーン判別を行う。

特定物体認識システム１１０は、入力された画像から検出された物体の特徴を、予めＭＤＢ内に収納されている特定物体群の特徴と逐次照合し、最終的に物体を同定（Identification）処理する。地球上に存在する特定物体の総数は膨大で、それら全ての特定物体との照合を行う事はおよそ現実的ではない。従って、後述するように特定物体認識システムの前段において、予め一定の範囲内に物体のカテゴリや探索範囲を絞り込んでおく必要がある。特定物体認識部１１０−０１では、検出された特徴点における局所特徴量と、学習によって得られたＭＤＢ内の特徴パラメータ群とを比較し、当該物体がどの特定物体に当て嵌まるかの判別を統計処理により判別する。ＭＤＢには、その時点で入手可能な特定物体に関する詳細なデータが記載されている。一例としてそれらが工業製品であるのならば、設計データ１１１−０１として設計図やＣＡＤデータ等から抽出された、物体の構造、形状、寸法、配置図、可動部、可動範囲、重量、剛性、仕上げなど、物体を構成し製造するのに必要な基本情報がＭＤＢ内に保持される。付帯情報データ１１１−０２には、物体の名称、製造者、部品番号、日時、素材、組成、加工情報など物体に関するあらゆる情報が保持される。特徴量データ１１１−０３には、設計情報に基づいて生成される個々の物体の特徴点や特徴量情報が保持される。不特定物体データ１１１−０４は、その時点ではどの特定物体にも属していない物体等のデータとして、将来の解析に備えＭＤＢ内に暫定的に収納される。ＭＤＭ検索部１１０−０２は特定物体に対応する詳細データを検索する機能を提供し、ＭＤＢ学習部１１０−０３は適応的かつ動的な学習プロセスを通して、ＭＤＢの記載内容に対し追加・修正を行う。また一旦、不特定物体として不特定物体データ１１１−０４とされた物体も、その後に類似の特徴を有する物体が頻繁に検出されれば、新規ＭＤＢ登録部１１０−０４により新たな特定物体として新規登録処理される。

図６Ｂに、一般物体認識部１０６−０１のシステム構成例及び機能ブロックの実施例を示す。一般物体認識部１０６−０１の機能ブロックは必ずしもこれらに限定されるものではないが、代表的な特徴抽出手法としてBag-of-Features（以下、ＢｏＦと呼称する）を適用した場合の一般物体認識手法について、以下に簡単に説明する。一般物体認識部１０６−０１は、学習部１０６−０１ａと、Visual Word辞書（ＣｏｄｅＢｏｏｋ）１０６−０１ｅと、ベクトル量子化部１０６−０１ｆと、ベクトル量子化ヒストグラム部１０６−０１ｇと、ベクトル量子化ヒストグラム識別部１０６−０１ｈで構成され、学習部１０６−０１ａは、局所特徴量抽出部１０６−０１ｂと、クラスタリング部１０６−０１ｃと、Visual Word作成部１０６−０１ｄで構成され、ベクトル量子化ヒストグラム識別部１０６−０１ｈは、Support Vector Machine（以下、ＳＶＭと呼称する）部１０６−０１ｉで構成される。

ＢｏＦは、画像中に現れる特徴点を様々な方法で抽出し、その相対位置関係を用いずに多数の局所特徴量（Visual Word）の集合体として表現し、それらを学習によって得られた、様々な物体から抽出されたVisual Word辞書（ＣｏｄｅＢｏｏｋ）１０６−０１ｅと比較照合して、それら局所特徴量の出現頻度がどの物体に最も近いかを判別する代表的な物体認識手法として広く知られている。

図７（Ａ）に、局所特徴量抽出の代表的な事例として、Scale Invariant Feature Transform（以下、ＳＩＦＴと呼称する）を用いた事例を示す。ＳＩＦＴは、画像の大きさ・回転・照明の変化に頑健な特徴点検出及び特徴量抽出アルゴリズムの一つであり、一枚の画像の中から複数の特徴的な輝度勾配の分布を原画像に対する異なる平滑化画像の差分（一例としてDifference-of-Gaussian、以下ＤｏＧと呼称する）を用いて検出し、その代表点である極値（重心位置）を求め特徴点（キーポイント）として抽出する手法である。ＤｏＧを求める過程において、得られるガウス窓（Gaussian Window）の開口量からそれぞれの各特徴点におけるスケールを求め、その支配範囲における局所特徴量を計算する。キーポイント検出プロセスにおいて、画像中に頻出するエッジ上では開口が極端に小さく、有用な特徴量とはなりにくい事からキーポイントから除外される。同様にＤｏＧ出力の小さい点（コントラスト比の小さい領域）も、原画像に含まれるノイズの影響を受ける可能性が高い事からキーポイントから除外される。図７（Ａ）では、それらのプロセスを用いて検出された複数のキーポイントと、そのスケールを白い円で示す。

次に、検出されたそれぞれの特徴点に対して、代表するオリエンテーション（主成分の方向）を求める。オリエンテーションは１０度刻みに全３６方向について輝度勾配強度を求め、それが最大値となるオリエンテーションを、そのキーポイントを代表するオリエンテーションとして採用する。次に、各キーポイント周りの検出されたスケール領域において、主要な輝度勾配の代表点を求め、それを各キーポイントの主たるオリエンテーションとする。その上で、各キーポイントのスケールに基づく周辺領域全体を、上記で求めたオリエンテーションに従い回転させながら４×４の計１６領域に分割し、各ブロック内で４５度ずつ８方向の勾配方向ヒストグラムを生成して、それらの結果から１６ブロック×８方向＝計１２８次元の特徴ベクトルを求める。これらの操作により、画像の回転及びスケールに頑健なＳＩＦＴ特徴量を得る事が可能になる。最終的に、それら１２８次元の特徴ベクトルの大きさを正規化して、照明変化にも頑健な局所特徴量を得る。

図６Ｂにおいて、学習部１０６−０１ａを構成する局所特徴量抽出部１０６−０１ｂによって得られた１２８次元の特徴ベクトルは、後段のクラスタリング部１０６−０１ｃによって多次元の特徴ベクトル群にクラスタ分割され、Visual Word作成部１０６−０１ｄで、それぞれの重心ベクトルを元に特徴ベクトル毎にVisual Wordが生成される。クラスタリングの手法として、k-means法やmean-shift法が知られている。生成されたVisual Wordは、Visual Word辞書（ＣｏｄｅＢｏｏｋ）１０６−０１ｅに収納され、それを元に入力画像から抽出されたVisual Wordを照合し、ベクトル量子化部１０６−０１ｆで特徴毎にベクトル量子化を行う。その後、ベクトル量子化ヒストグラム部１０６−０１ｇにおいて、各次元に対するヒストグラムを生成する。

図７（Ｂ）に、生成されたVisual Word（ＣｏｄｅＢｏｏｋ）、図７（Ｃ）に抽出されたベクトル量子化ヒストグラム例を示す。ヒストグラムの各ビンの総数（次元数）は数千〜数万と多く、入力画像によっては特徴の一致が全くないヒストグラムのビンも数多く存在する一方、特徴の一致が顕著なビンもあり、それらを一括してヒストグラムの全ビンの値の総和が１になるように正規化処理が行われる。得られたベクトル量子化ヒストグラムは、後段のベクトル量子化ヒストグラム識別部１０６−０１ｈへと入力され、代表的な識別器であるSupport Vector Machine（以下ＳＶＭと呼称する）１０６−０１ｉにおいて、物体の属するクラス（一般物体）を認識処理する。ここでの認識結果は、Visual Word辞書に対する学習プロセスとしても利用可能である。また、他の手法（メタデータや集合知）も含めた認識判断も、同様にVisual Word辞書に対する学習フィードバックとして利用可能で、同一クラスの特徴を最も適切に記述し他のクラスとの分離度を良好に保つように、アダプティブな修正・校正を継続する事が可能となる。

図８に、前記の一般物体認識部１０６−０１を含む、一般物体認識システム１０６全体の概略ブロック図を示す。一般物体（クラス）は様々なカテゴリに属していて、それらは多重的な階層構造を成している。一例を挙げると、人間は「哺乳類」という上位カテゴリに属し、哺乳類は「動物」というさらに上位のカテゴリに属しているといった具合である。人間はまた、髪の色や目の色、大人か子供か？といった別のカテゴリでも認識が可能である。これらの認識判断を行うには、カテゴリ分類データベース１０７−０１の存在が欠かせない。これは現在までの人類の「知」の集積庫であり、今後の学習や発見によって、さらに新たな「知」が補充され継続的に進化して行くものでもある。一般物体認識部１０６−０１で同定されたクラス（究極的には、人類がこれまでに識別している、全ての名詞の総数）は、様々な多次元的かつ階層的な構造を以ってこのカテゴリ分類データベース１０７−０１内に記述されている。学習過程において、認識された一般物体はカテゴリ分類データベース１０７−０１と照合され、カテゴリ検出部１０６−０２で所属カテゴリが認識される。その後、カテゴリ学習部１０６−０３に認識結果が引き渡され、カテゴリ分類データベース１０７−０１内の記述との整合性が詳細にチェックされる。通常一般物体認識された物体は、複数の認識結果を内包する場合が多い。例えば「昆虫」であると認識した場合に、目の構造や手足の数、触角の有無、全体の骨格構造や羽の大きさ、胴体の色彩や表面のテクスチャ等でも認識・分類可能で、カテゴリ分類データベース１０７−０１内の当該一般物体詳細記述と共に照合される。カテゴリ学習部１０６−０３では、これらの照合結果を基に、カテゴリ分類データベース１０７−０１への追加・修正が必要に応じて適応的に行われる。その結果、既存カテゴリのいずれにも分類できず、「新種の昆虫」ではないか？と推測される場合には、新規カテゴリ登録部１０６−０４が、これらの情報をカテゴリ分類データベース１０７−０１内に登録する。一方、その時点では不明な物体は、不特定カテゴリデータ１０７−０２として、将来の解析や照合に備え一時的にカテゴリ分類データベース１０７−０１内に収納される。

図９に、入力画像に含まれるシーンを認識判別するシーン認識システム１０８の本発明における代表的な実施例をブロック図で示す。学習画像及び入力画像からは、一般に複数の物体が認識可能となるケースが多い。例えば、「空」「太陽」「地面」などの領域と同時に「木」や「草」そして「動物」等の物体が認識可能となる場合、それらが「動物園」なのか「アフリカ」なのかは全体の景色や、それ以外に発見される物体との共起関係等から類推する事になる。例えば、柵や掲示板等が同時に発見され多くの見物客で賑わっていれば「動物園」である可能性が高まるが、全体のスケールが大きく、遠くに「キリマンジャロ」のような大きな山を臨み、様々な動物が混在して草原上にいるような場合には、そこが「アフリカ」である可能性が一気に高まる。このような場合、さらに認識可能な物体や状況、共起関係等を知識データベースであるシーン構成要素データベース１０９に照合し、より総合的に判断を下す必要も出てくる。例えば、全画面の９割が「アフリカ」を指し示していると推定されても、それらが四角枠内に切り取られ壁に張り付いていれば、実際はポスターや写真である確率が極めて高くなる。

シーン認識システム１０８は、領域抽出部１０８−０１と、特徴抽出部１０８−０２と、強識別部１０８−０３と、シーン認識部１０８−０４と、シーン構成要素データベース１０９から構成され、特徴抽出部１０８−０２は、一般物体認識部１０８−０５と、色情報抽出部１０８−０６と、物体形状抽出部と、コンテキスト抽出部と、弱識別器１０８−０９〜１２とで構成され、シーン認識部１０８−０４は、シーン分類部１０８−１３と、シーン学習部１０８−１４と、新規シーン登録部１０８−１５で構成され、シーン構成要素データベース１０９は、シーン要素データベース１０９−０１と、メタデータ１０９−０２で構成される。

領域抽出部１０８−０１は、背景や他の物体の影響を受けずに目的とする物体の特徴を効果的に抽出するために、対象画像の領域抽出を行う。領域抽出手法の例として、グラフベースの領域分割法（Graph-Based Image Segmentation）等が知られている。抽出された物体画像は、局所特徴量抽出部１０８−０５、色情報抽出部１０８−０６、物体形状抽出部１０８−０７、コンテキスト抽出部１０８−０８にそれぞれ入力され、それらの各抽出部から得られた特徴量が弱識別器１０８−０９〜１２において識別処理され、多次元の特徴量群として統合モデリングされる。それらモデリング化された特徴量群を、重み付け学習機能を有する強識別器１０８−０３に入力し、最終的な物体画像に対する認識判定結果を得る。前記の弱識別器の例としてＳＶＭ、強識別器の例としてAdaBoost等が上げられる。

一般に入力画像には複数の物体や、それらの上位概念である複数のカテゴリが含まれている場合が多く、人間はそこから一目で特定のシーンや状況（コンテキスト）を思い浮かべる事ができる。一方、単独の物体や単一のカテゴリのみを提示された場合、それだけで入力画像がどういうシーンを表わしているのかを、直接的に判断するのは困難である。通常は、それらの物体が存在している状況や相互の位置関係、またそれぞれの物体やカテゴリが同時に出現する確率（共起関係）が、その後のシーン判別に対して重要な意味を持ってくる。前項で画像認識可能となった物体群やカテゴリ群は、シーン要素データベース１０９−０１内に記述されている、シーン毎の各要素群の頻出確率を基に照合処理され、後段のシーン認識部１０８−０４において、入力画像がいかなるシーンを表現しているのかが統計的手法を用いて決定される。これとは別の判断材料として、画像に付帯しているメタデータ１０９−０２も有用な情報となり得る。しかし、時には人間が付したメタデータ自体が、思い込みや明らかな誤り、あるいは比喩として画像を間接的に捉えている場合等もあり、必ずしも入力画像中の物体やカテゴリを正しく表わしているとは限らない場合がある。このような場合にも、画像認識システムで得られる結果や、知識情報システムで共起関係等を基に得られる結果を勘案して、最終的に物体やカテゴリの認識処理が行われる事が望ましい。また、一つの画像からは複数のシーンが得られる場合も多い（「海」であると同時に「海水浴場」であったりもする）。その場合は、複数のシーン名が共に付される。さらに画像に付すべきシーン名として、例えば「海」あるいは「海水浴場」のいずれがより相応しいかは、当該画像のみからでは判断が難しく、前後の文脈（コンテキスト）や全体との相関関係やそれぞれの出現共起関係を基に、知識データベースの助けを借りて最終的に判断する必要も出てくる。

図１０（Ａ）にシーン要素データベース１０９−０１の記述例を示す。シーン（Ａ）は複数のカテゴリ、カテゴリｍとカテゴリｎを含み、カテゴリｍの構成要素として一般物体αと一般物体βが、カテゴリｎの構成要素として一般物体γと特定物体δと特定物体εが、それぞれの出現確率と共に記述されている。

図１０（Ｂ）にシーン『交差点』の構成要素例を示す。『交差点』を構成するカテゴリとして『道路』を考えた場合、そこには複数車線からなる「幹線道路」や片側一車線の「一般道路」、あるいは「歩道」といったような様々な道路が存在する。『道路』上に「車線分離表示」や「横断歩道表示」「進行方向指示」のような『路面表示』が同時に見つかれば、かなりの確率でそこは『交差点』か『交差点』に近い場所であろうと推測できる。その上で複数の道路が交差し、『信号機』がそれぞれにあり、そこに「進行表示」や「歩行者専用表示」等も見つかれば、間違いなくそこは『交差点』であると断定できるだろう。その上で、信号機に「交差点名表示」があり文字が認識可能な場合には、『交差点』はその場所の特定までされた事になる。道路上には他にも「速度規制表示」や「駐停車規制表示」あるいは「一時停止表示」のような『道路標識』カテゴリがあるだろうし、歩道や横断歩道上に『人』がいれば、それぞれの「体型」や「服装」のみならず、「顔」も特定できる可能性もある。車道には「乗用車」や「大型車」のような様々な形態の『車』があり、それぞれの「ナンバープレート」も認識可能かも知れない。また歩道や車道には「自転車」や「オートバイ」等の『二輪車』が走っている場合が多く、「ナンバープレート」が付されていれば「自動二輪」や「オートバイ」であると認識する事も可能となるだろう。歩道には「犬」や「猫」などの『動物』が発見される場合もある。紐で「人」と繋がっている場合は「犬」の確率が高まる。単独でうろうろしている小型動物の場合は「猫」かもしれないし、空を飛んでいれば「鳥」であろうと推察できる。視界内には「店の看板」や「電柱の看板」あるいは車体やガラス窓に張ってある「車の看板」のようなカテゴリ『看板』が見つかる可能性が高い。『交差点』の周囲には「建物」があり、時には「歩道橋」や「橋」等の『建造物』を見る事ができるだろうし、道路上には「電柱」や「街路灯」「街路樹」のような一般物体だけではなく、「道路工事」中の臨時のガードレールや看板のような『路上構築物』も見つかるかも知れない。そういった中で、例えば物体が「不明瞭」であるとかオクルージョン（隠蔽）等により「不完全」であるような場合には、『不明』カテゴリとして将来の認識処理に委ねられる事になる。

図１１に、特定物体認識システム１１０のシステム全体の構成例、及び機能ブロックを示す。特定物体認識システム１１０は、一般物体認識システム１０６と、シーン認識システム１０８と、ＭＤＢ１１１と、特定物体認識部１１０−０１と、ＭＤＢ検索部１１０−０２と、ＭＤＢ学習部１１０−０３と、新規ＭＤＢ登録部１１０−０４とで構成され、特定物体認識部１１０−０１は、二次元写像部１１０−０５と、個別画像切り出し部１１０−０６と、局所特徴量抽出部１１０−０７と、クラスタリング部１１０−０８と、Visual Word作成部１１０−０９と、Visual Word辞書（Ｃｏｄｅ Ｂｏｏｋ）１１０−１０と、ベクトル量子化１１０−１１と、ベクトル量子化ヒストグラム部１１０−１２と、ベクトル量子化ヒストグラム識別部１１０−１３と、ＳＶＭ部１１０−１４と、形状特徴量抽出部１１０−１５と、形状比較部１１０−１６と、色情報抽出部１１０−１７と、色彩比較部１１０−１８とで構成される。

一般物体認識システム１０６により、対象物体の属するクラス（カテゴリ）が認識可能になった時点で、物体がさらに特定の物体としても認識可能か？という絞り込みのプロセスに移る事が出来る。クラスがある程度特定されないと、無数の特定物体群からの検索を余儀なくされ、時間的にもコスト的にもとても実用的とは言えない。これらの絞り込みプロセスには、一般物体認識システム１０６によるクラスの絞り込み以外にも、シーン認識システム１０８の認識結果から対象の絞り込みを進める事も可能となる。また特定物体認識システムから得られる有用な特徴量を用いて、さらなる絞り込みが可能になるだけではなく、物体の一部にユニークな識別情報（商品名とか、特定の商標やロゴ）等が認識可能な場合、あるいは有用なメタデータ等が付されているケースでは、さらなるピンポイントの絞り込みも可能となる。

それら絞り込まれたいくつかの可能性の中から、複数の物体候補の詳細データや設計データをＭＤＢ検索部１１０−０２がＭＤＢ１１１内から順次引き出し、それらを基に入力画像とのマッチングプロセスに移る。物体が人工物体でない場合や、詳細な設計データ自体が存在していない場合においても、写真等があればそれぞれの特徴を詳細に突き合わせる事で、或る程度の特定物体認識も可能となる。しかし、入力画像と比較画像の見え方がほとんど同じというケースは稀で、それぞれを違う物体として認識してしまうケースある。反面、物体が人工物体でありＣＡＤ等の詳細なデータベースも存在している場合には、二次元写像部１１０―０５が入力画像の見え方に応じＭＤＢ内の三次元データを可視化（レンダリング）する事により、極めて高精度の特徴量のマッチングを行う事が可能になる。この場合、二次元写像部１１０―０５における全方向の詳細レンダリングを行う事は計算時間とコストの不要な増大を招く事から、入力画像の見え方に応じた絞り込みが必要となる。一方、ＭＤＢを用いた高精度のレンダリング画像から得られる物体の様々な特徴量群は、予め学習プロセスにおいて十分時間をかけて求めておく事も可能となり、実用システムを構築する上でより効果的となる。

特定物体認識部１１０−０１では、物体の局所特徴量を局所特徴量抽出部１１０−０７で検出し、クラスタリング部１１０−０８でそれぞれの特徴量を複数の類似特徴群に分離した後、Visual Word作成部１１０−０９で多次元の特徴量セットに変換して、それらをVisual Word辞書１１０−１０に登録する。これらは、多数の学習画像に対し十分な認識精度が得られるまで継続して行われる。学習画像が写真である場合は、画像の解像度不足やノイズの影響、オクルージョンの影響、対象物体画像以外の物体から受ける影響等が避けられないが、ＭＤＢを基にしている場合は、対象画像の抜き出しも理想的に行う事が可能で、従来の手法に比べて大幅に分解能を高めた特定物体認識システムを構成する事が可能となる。入力画像は、個別画像切り出し部１１０−０６で目的とする特定物体の凡その領域が切り出された後に、局所特徴量抽出部１１０−０７で特徴点及び特徴量を求め、予め学習により用意されたVisual Word辞書１１０−１０を用い、個々の特徴量毎にベクトル量子化された後にベクトル量子化ヒストグラム部１１０−１２にて多次元の特徴量に展開され、ベクトル量子化ヒストグラム識別部１１０−１３にて物体が参照物体と同一か判断される。識別器の例として、ＳＶＭ（Support Vector Machine）１１０−１４が知られているが、他にも判断の重みを学習の上で可能にするAdaBoost等も有効な識別器として利用するケースが多い。これらの識別結果は、ＭＤＢ学習部１１０−０３を通じて、ＭＤＢ自体への修正と項目追加というフィードバックループにも利用可能で、依然として未確認物体である場合には新規ＭＤＢ登録部１１０−０４に保留され、将来の類似物体の出現や、新たなＭＤＢの登録に備える。

また、局所特徴量のみならず、検出精度をさらに向上させる目的で物体の形状特徴を利用する事も可能となる。入力画像から切り出された物体は、形状特徴量抽出部１１０−１５を経由して形状比較部１１０−１６に入力され、物体の形状的な特徴を用いた識別が行われる。その結果はＭＤＢ検索部１１０−０２にフィードバックされ、可能性のある特定物体に対応したＭＤＢへの絞り込みが行われる。形状特徴量抽出手段の例として、ＨｏＧ（Histograms of Oriented Gradients）が知られている。形状特徴量は、またＭＤＢを用いた二次元写像を得るための不要なレンダリング処理を減らす目的でも有用となる。

また、物体の色彩的な特徴や表面処理（テクスチャ）も、画像認識精度を上げる目的で有用である。切り出された入力画像は、色情報抽出部１１０−１７に入力され、色彩比較部１１０−１８で物体の色情報、あるいはテクスチャ等の抽出が行われ、その結果をＭＤＢ検索部１１０−０２にフィードバックする事で、比較対象となるＭＤＢのさらなる絞り込みを行う事が可能となる。これら、一連のプロセスを通じて、特定物体認識が効果的に行われる。

Ｂ．インタレスト・グラフ収集処理
次に、図１２〜図３６に基づいて、本発明に係るシステムの一実施形態におけるインタレスト・グラフ収集処理について説明する。

図１２Ａ乃至図１２Ｅは、本発明に係るシステムの一実施形態におけるユーザインタフェースを説明している。図１２Ａ（Ａ）において、ネットワーク端末装置１０５上のディスプレイには、画像１２０１、１２０２のほか、何枚かの画像と、関連性検索窓１２０３と、出力窓（OUTPUT）１２０５とが表示されている。

画像１２０１、１２０２は、上記画像認識エンジン２００により認識可能となった画像構成要素群、及びそれら画像構成要素群それぞれに対応する関連要素群に対し、それらを代表する写真、イラストレーション、文字、記号、ロゴ、ファビコン等から生成した縮小画像サムネイルを関連性検索エンジンが元画像に代えてネットワーク端末に向け送出した画像タイルであり、ユーザの指（１２０６）などの操作により、画面上の任意の位置にドラグ可能となっている。

また、関連性検索窓１２０３は、ネットワーク端末装置１０５に係るホーム画面、或いはその上で動作する特定のアプリケーションが管理する画面など、任意の画面上に配置させることができる。典型的な実施形態としては、ネットワーク端末装置１０５の起動後のホーム画面上に常駐させて、いつでもユーザが関連性検索窓１２０３に対して検索対象となる画像全体、或いは画像の特定領域を選択した後にドラグ＆ドロップして画像認識及びそれに引き続く関連性検索プロセスを開始する事が出来るように構成する事が可能となる。一例として、図１２Ａ（Ａ）においては、ユーザは画像１２０１を関連性検索窓１２０３にドラグ＆ドロップする操作を示している。

なお、関連性検索窓１２０３を特に用意せず、ユーザが関心を持った画像全体、或いは画像の特定の領域をユーザがネットワーク端末１０５上で選択し、それら選択した画像をネットワーク経由でサーバ側の画像認識エンジン２００に問い合わせることができるように構成されたインタフェースであれば、どのようなインタフェースを採用してもよい。
例えば、関連性検索窓への検索対象画像の投入という操作に代えて、検索の対象となる画像全体、或いは特定の画像領域を明示的にネットワーク端末１０５の表示スクリーン上でダブルタップする等の操作により、サーバ側の画像認識エンジン２００に当該選択画像の認識処理を問い合わせる事も可能である。

またＰＣ等では、図１２Ａ（Ｂ）のように、タッチパネルでの入力操作に代わりマウス等のポインティングデバイス１２０４を用い、カーソル１２０７を画像１２０１上に移動させ、対象画像１２０１を関連性検索窓１２０３ａ（あるいは、関連性検索に結び付けられたアイコン１２０３ｂ）に直接ドラグ＆ドロップしたり、マウスのカーソルを画像１２０１上に合わせダブルクリックしたりする事により、サーバ側の画像認識エンジン２００に当該選択画像の認識処理を問い合わせる事も可能である。

図１２Ｂ（Ａ）は、上記選択画像１２０１に対する関連性検索結果としてサーバ１０１からネットワーク端末１０５に向けて送出される画像構成要素群、及びそれらとさらに関連性の高いその他の関連要素群とをノードとした関連性グラフをネットワーク端末１０５のスクリーン全体に表示し、それらの各ノードをユーザがタッチスクリーン上でフリック（１２１０）することで、関連性グラフ上の各ノードを左から右にシームレスに辿っている様子を示す。また、ノードとなっている画像を選択的にユーザがタップ或いはタッチする事により、当該ノードを中心とした関連性グラフの表示となるようにネットワーク端末１０５側で全体の表示を自動的にスクロールさせる事も可能である。図１２Ｂ（Ａ）の領域１２０９は、関連性グラフの一例を示し、その一部が切り取られてネットワーク端末１０５上に描かれている様子を図示している。実際の関連性グラフの大きさは当例示よりも遥かに大きくなるケースが多く、ネットワーク端末１０５上に表示しきれない領域１２０９に属するノード、及びそれら相互の関連性であるリンク情報を関連性検索エンジン２２０がネットワーク端末１０５に向けユーザのスクロール操作に伴い追加的に送出することで、ユーザにとって関心のあるノード或いは領域を関連性グラフ上でシームレスに辿りながら、複数のノード間にまたがる広範な関連性としてユーザに視覚的に提示する事が可能となる。
図１２Ｂ（Ａ）では、フリックした結果、グレープジュース１２２０の関連要素としてのオレンジジュース１２２１及びグレープ１２２２が表示され、さらに、グレープ１２２の関連要素としてのフルーツ群１２２３〜１２２６が表示されている。

また、図１２Ｂ（Ｂ）においては、図１２Ｂ（Ａ）において、グレープジュース１２２０を明示的に選択（２回以上のタップやタッチ等）し、これをネットワーク経由してサーバ側の画像認識エンジン２００に問い合わせる事により、画像認識エンジン２００において認識された画像構成要素群であるボトルキャップ１２３１、ボトル１２３２、及び製造元会社のロゴ１２３３が表示されている。

なお、上記スクロール操作はユーザによるジェスチャーや視線、音声、或いは脳波等を用いた同様の効果を及ぼす入力操作を用いても良い（図には描かれていないが、ピンチイン／ピンチアウトを含むジェスチャーの検知や、視線或いは脳波の検知等は、既に用いられている多くのセンシング技術を導入することができる）。また、二次元的なスクロール操作に限らず、関連性グラフを三次元空間やさらに多次元の空間内に配置する事も可能となる。

図１２Ｃに事例として示すように、関連性グラフの表現を、複数のノード群とそれら相互の関連性と関連性の強さを視覚的に表わした幾何学的なグラフとしてだけではなく、限られた画像表示サイズとならざるを得ない携帯端末等に向けて、タイル状に並べた等しいサイズの画像タイルの集合として表現する方法も有用となる。この場合は、（1）最初の入力画像（１５０１）、（2）画像認識エンジンにより検出・認識された複数の画像構成要素候補群（１２５１）、(3)それら個々の画像構成群それぞれと関連する他の関連要素群（１２５２或いは１２５３）を、それぞれ異なる要素群としてネットワーク端末１０５の表示画面上の割り当てられたエリアに並べて表示する方法が有用となる。(3)（１２５２或いは１２５３）の関連要素群は、それぞれ一次繋がり、二次繋がり、三次繋がり…という関連性の度合いに応じたレイヤ毎の表示とする事で、ユーザによるタッチパネル上のフリック操作で、高速に画面をスクロール（１２５４）可能にして全体の関連性を効果的に閲覧可能させる事が出来る。この様なタイル状のノードをマトリックス状に配列した場合、それぞれのノード間の関連性の強さは、各ノード近傍に数値や記号等のデータとして附記する事が可能である。

これらタイル状に表現された関連性グラフの任意のノード画像を、再びネットワークを経由してサーバ側の画像認識エンジン２００に問い合わせ、入力された画像から新たな画像構成要素群を得る操作により、それらを起点とする新たな関連性グラフを関連性検索エンジン２２０経由で取得する事が可能となる。このユーザインタフェースの一実装例として、任意のノード画像をユーザが明示的にダブルタップする事により、当該画像に対する新たな画像構成要素の検出及び画像認識要請をネットワーク端末１０５からサーバ１０１に対して行ない、画像認識エンジン２００が新たな画像構成要素群をサーバ側で検出・認識し、結果をネットワーク端末１０５に返す事で、ネットワーク端末１０５側の表示画面に当該画像認識要素群として再提示する事が可能となる（図１２Ｂ（Ｂ））。これら新たな画像構成要素群は、従来の関連性グラフに代えて表示しても良いし、半透明表示機能等を用いて従来の関連性グラフ上に重畳して表示しても良い。これら画像構成要素候補群にユーザが関心を示さない場合は、元の関連性グラフに復帰させる。或いは、ユーザが新たに検出された画像構成要素に関心を示した場合は、当該画像構成要素を表わすノードをユーザがダブルタップする事により、当該画像構成要素を中心とする新たな関連性グラフに係る新たな関連ノード群がサーバ側からネットワーク端末１０５に向けて送出され、ユーザは新たな関連性グラフを獲得する事が可能になる。

インタレスト・グラフの収集には、画像認識エンジン２００、関連性検索エンジン２２０、統計情報処理部２０９、及び特定ユーザフィルター処理部２１０が関係する。これらは、すべてサーバ１０１の一部として運用することも可能であるし、あるいは、それぞれサーバ１０１とは独立したサーバシステムとしても運用可能である。

図１３に、関連性検索エンジン２２０におけるグラフ演算部２２１の詳細機能ブロックの一構成例を示す。グラフ演算部２２１は、部分グラフ生成部１３０１と、多次元特徴ベクトル生成部１３０２と、関連要素ノード抽出部１３０３とからなり、必要に応じて、グラフデータベース１０２Ａ及び関連性知識データベース１３１０からデータの授受を行う。

部分グラフ構成部１３０１は、画像認識エンジン２００により抽出された画像構成要素に対応するノードを入力とし、ＧＤＢ１０２Ａにアクセスしながら当該ノードの部分グラフを生成する。

多次元特徴ベクトル生成部１３０２は、部分グラフから関連性演算部２２４での計算（後述の図１８）によって多次元特徴ベクトルを生成する。

関連要素ノード抽出部１３０３は、得られた複数の多次元特徴ベクトルの距離を、例えば、ユークリッド距離を計ったり、マハラノビス距離を計ったりして求め、関連要素ノードを抽出する。

図１４Ａに、本発明に係るシステムの一実施形態におけるグラフを表現するための基本的データ構造を示す。

[基本的なグラフ演算]
図１４Ａ（Ａ）に示す通り、生成時刻及びｖａｌｕｅ（１４０２）にｈａｓｈ演算１４０４を施すことでｋｅｙ（１４０１）を得る。例えば、ｈａｓｈ演算１４０４がハッシュアルゴリズムＳＨＡ−１を用いた場合には、ｋｅｙは１６０ビット長になる。Key（１４０１）はｌｏｃａｔｅ演算１４０３によってｖａｌｕｅ（１４０２）を得る。例えばｌｏｃａｔｅ演算１４０３には分散ハッシュテーブル（Distributed Hash Table）方が利用できる。本実施例では、このｋｅｙとｖａｌｕｅの関係を”(key, {value})”で表現し（図１４Ａ（Ｂ）））、ノードデータ及びリンクデータとしてＧＤＢ１０２Ａに格納する単位とする。
例えば、図１４Ａ（Ｃ）の２つのノードがリンクされている場合、ノードn1（１４１０）は、”(n1, {ノードn1})”で、ノードn2（１４１１）は、”(n2, {ノードn2})”で表現する。n1やn2はそれぞれノードn1（１４１０）、ノードn2（１４１１）のｋｅｙであり、ノード実体ノードn1（１４１０）、ノードn2（１４１１）をそれぞれｈａｓｈ演算しそれぞれのｋｅｙを得る。また、リンクl1（１４１２）は、ノードと同様に“(l1, {n1, n2})”で表現し、{n1, n2}をｈａｓｈ演算することでそのｋｅｙ（l1）１４１２を得る。

図１４Ａ（Ｄ）にノードが保持するデータの構造を示す。タイプ欄には、ノードの保持するデータのタイプが格納される。タイプには、”ＵＳＥＲ”、”ＯＢＪＥＣＴ”、”ＭＥＴＡ”、”ＵＲＩ”、”ＥＸＴ”の４種類を定義している。”ＵＳＥＲ”はノードがユーザを表現していることを、”ＯＢＪＥＣＴ”はノードがオブジェクトを表現していることを示している。”ＭＥＴＡ”はノードがユーザ或いはオブジェクトのメタデータを、”ＳＵＢＪＥＣＴ”(Subjectivity)はノードがユーザの主観を、”ＵＲＩ”はノードがユーザ或いはオブジェクトへのＵＲＩを示している。”ＥＸＴ”はタイプの拡張の為に用意されており、拡張されたデータはデータ欄に格納される。

図１４Ａ（Ｅ）に、リンクが保持するデータの構造を示す。タイプ欄には、リンクのタイプが格納される。タイプには、”ＵＮＤＩＲＥＣＴＥＤ”、”ＤＩＲＥＣＴＥＤ”、の２種類が定義されている。”ＵＮＤＩＲＥＣＴＥＤ”は当該リンクが無向リンクであることを、””ＤＩＲＥＣＴＥＤ”は当該リンクが有向リンクであることを示している。また、データ欄には、左ノードのｋｅｙ、右ノードのｋｅｙ、重み（ｗ）及び関数（ｆ）が格納される。重みにはリンクの太さを表現する値を使っても良いし、後述する多次元特徴ベクトルを圧縮した値を使っても良い。

これらノードやリンクの”(key, {value})”で表現されるデータはimmutable（データ不変）という性質を有しており、すなわちwrite-once-read-manyのセマンティクス（書き込みは一回のみだが読み出しは複数回可能）を有するが、そのセマンティクスには限定されない。例えば、write-many-read-many（書き込み読み出し共に複数回可能）のセマンティクスでも良い。その場合には、ノード及びリンク共に修正時刻の欄が追加される。

図１４Ａに示したノードデータとリンクデータはＧＤＢ１０２Ａに格納される。図１４Ｂにそれらのデータを操作する為のＧＤＢ１０２Ａのオペレーションを示す。図中、典型的なオペレーションセットとして、”ＣＲＥＡＴＥ”、”ＣＯＮＮＥＣＴ”、”ＮＯＤＥ”、”ＬＩＮＫ”、”ＳＵＢＧＲＡＰＨ”の５つのオペレーションを定義するが、拡張しても良い。例えば、データのセマンティクスがwrite-many-read-manyの場合には、”ＤＥＳＴＲＯＹ”や”ＵＰＤＡＴＥ”のオペレーションがあっても良い。

“ＣＲＥＡＴＥ”は指定したタイプのノードを生成する。”ＣＯＮＮＥＣＴ”は、指定した２個のノードを指定したタイプでつなげるリンクを生成する。”ＮＯＤＥ”はｋｅｙに対応するノードデータを取得する。”ＬＩＮＫ”はｋｅｙに対応するリンクデータを取得する。”ＳＵＢＧＲＡＰＨ”は指定したノードの部分グラフを取得する。

図１４Ｃに、本発明に係るシステムの一実施形態におけるグラフ構造及びリンク表現を示す。

まず、図１４Ｃ（Ａ）に簡単なグラフ構造を示す。４つのノード１４０１、１４０２、１４０３、１４０４とそれらのリンクｌ１（１４０５）、ｌ２（１４０６）、ｌ４（１４０７）、ｌ３（１４０８）がある。それらの表現を図１４Ｃ（Ｂ）に示す。リンクは特に示さない限り無向リンクである。”(l1, {n1, n2})”は、ノードn1（１５０１）とノードn2（１５０２）との間のリンクである。ノードn1（１５０１）からノードn2（１５０２）への有向リンクを表す場合には、”(l1, {n1, n2}’)”と表現する。

また、図１４Ｃ（Ｃ）には、リンクが静的ではなく、動的な関数で表現される場合が示されている。”(n1, {f(n1, n2)})”は、ノードn1（１４０１）とノードn2（１４０２）との間のリンクが、関数”f(n1, n2)”で計算される。例えば、ノードn1（１４０１）がある画像の多次元特徴量ベクトルであり、ノードn2（１４０２）が別の画像の多次元特徴量ベクトルである時には、”f(n1, n2)”はその情報距離を比較する演算になる。また、ノード間リンクの確率であってもよい。

図１５に、本発明に係るシステムの一実施形態における検索関連画像と画像構成要素、及び関連要素画像群の視覚的リンク構造例、および動作例を図示する。

[視覚的グラフ表現]
図１５は、画像１５０１を関連性検索窓１２０３にドラグ＆ドロップした後の関連性グラフを示している。画像１５０１は画像認識エンジン２００、または、画像認識システム２０２で処理され、３個の画像構成要素が抽出されている。すわなち、画像構成要素Wine(１５０２)、Wine Glass(１５０３)、Wine Bottle(１５０４)の３個である。図中では、それらにWine, Wine Glass, Wine Bottleというラベルが付されているが、これらは画面に出力されることはなく、あくまで本発明における説明を容易にするためのものである。これらの画像構成要素は関連検索エンジン２２０で処理され、それぞれ１５０５から１５１８の関連要素群が抽出されている。例えば、画像１５０２は５個の関連要素群の画像と関連がある。それらは、Olive(１５０５)、Cheese(１５０６)、Bread(１５０７)、Fine Dish(１５０８)、Wine Glass(１５０８)の５個である。Wine Glass(１５０３)はDecanter(１５０９)を関連要素とし関連がある。Wine Bottle(１５０４)は８個の関連要素群の画像と関連がある。それらは、Wine(１５０２)、Wine Glass(１５０３)、Decanter(１５０９)、Cork(１５１１)、Grape(１５１３)、DRC(１５１５)、Wine Cellar(１５１６)、Oak Barrel(１５１７)の８個である。

また、画像間のリンク線の太さにも意味を持たせている。太いリンク線は細いリンク線よりも強い関連度を表す。例えば、Wine(１５０２)は、Olive(１５０５)とCheese(１５０６)とにリンクがあるが、Cheese(１５０６)とのリンクの方がOlive(１５０５)のリンクよりも本事例では太い。つまり、Wine(１５０２)とCheese(１５０６)との関係の方が強いという関係を表している。

このような関連性は、図１５に描かれた範囲を超えて大きく広がっているが、図１５では例示的にその一部を表示している。これら広範な関連性グラフは、ノード間の関連度を基準にして、一定以上の関連性を有するもの同士を選択的に表示することもできる。

次に、例えば、Decanter(１５０９)を関連性検索窓に再投入する。この場合には、画像認識エンジン２００が画像Decanter(１５０９)を処理して、新たな画像構成要素群を抽出し、それに関連した新たな関連要素群を関連性検索エンジン２２０から抽出して表示する事で、図１５とは異なる関連性グラフが展開される。

図１６（Ａ）に、図１５のシナリオに対応するグラフ構造との関係を示す。ここでは、画像１５０１とその画像構成要素１５０２から１５０４の画像に対応するグラフ構造を示している。４個のノード１６０１、１６０２、１６０３、１６０４は、それぞれの画像構成要素に対応している。
これらの関係を表現するために、ＧＤＢ１０２Ａにはデータセット１６０５が格納されている。

画像構成要素には様々のノードがリンクされているが、一例として、図１６（Ｂ）にそれぞれの画像構成要素に対するメタデータの一部を示す。ノード１６０２にはノード１６１０(red)とノード１６１１(white)の２個のメタデータが、ノード１６０３にはノード１６１２(crystal)、ノード１６１３(company name)、ノード１６１４(creator name)の３個のメタデータが、ノード１６０４にはノード１６１５(name)、ノード１６１６(vintage)、ノード１６１７(winery)の３個のメタデータがある。さらにこれらのメタデータはさらなる関連ノードとリンクしている（不図示）。

図１７（Ａ）に、図１５のシナリオに対応する関連要素に関するグラフ構造を示す。ここでは、画像１５０２とその関連要素１５０１、１５０３、１５０４及び１５０５から１５０８の画像に対するグラフ構造を示す。７個のノード１６０１〜１６０４、及び１７０１〜１７０４がそれぞれ関連要素に対応している。
これらの関係を表現するために、ＧＤＢ１０２Ａにはデータセット１７０５が格納されている。

図１７（Ｂ）に関連要素それぞれに対するグラフ構造を示す。図ではスペースの関係上一部のグラフ構造を示している。例えば、ノード１６０４にはメタデータに対応したノード群１７１０とさらなる関連リンク群１７１１とのリンクがある。同様なリンクは他の関連要素のノード１６０１から１６０３にも存在している。

[関連性導出演算]
図１８は本発明に係わる関連性導出演算の一例で、関連性検索エンジン２２０における関連性演算部２２４での処理を示したものである。図１７で見たように、画像構成要素の画像と関連要素を構成しているノードとの間には複雑なグラフ構造が存在している。例えば、図１８（Ａ）のグラフが与えられているとする。これは、２つのノード間のグラフ構造から抽出された部分グラフである。ここで、それぞれのノード間のリンクのｆを計算する（図１４（Ｅ）の関数ｆを計算する）。関数ｆは確率であったりベクトルであったりとノードとリンクのタイプによって変わる。例えば，リンク１８０１のｆを計算し得られた値を行の一要素とし、これをすべてのリンクに繰り返すと、図１８（Ｂ）の行列（v1）を得る。図１８（Ｃ）は行列（v1）の各行をビンに対応させたヒストグラム図として描いた。この行列（v1）を多次元特徴ベクトルとしてノード間の関連性の計算に用いる。つまり、この多次元特徴ベクトルはノード間の直接的な関係性の強さを表している。図１８ではノード１８０１（n1）とノード１８０９（n2）の間の関連性を当該多次元特徴ベクトルで表し、関連性知識データベース１３１０に記録する。また、ＧＤＢ１０２Ａにはノードn1とノードn2との間にリンクが生成されたことになるので、すなわち、”(l_n1-n2, {f(v1)})”（ここでf(v1)は関連性知識データベースへのアクセス関数／メソッドである）なるリンクデータをＧＤＢ１０２Ａに格納する。この様にして、ノード間の関連性を学習していく。

なお、f(v1)による多次元特徴ベクトルを次元圧縮した値をリンク線の太さに割り当ててもよい。この場合、多次元特徴ベクトルの次元圧縮値が大きくなるほど、リンク線は太いものとしてグラフ上に表現することができる。次元圧縮には、公知の演算方法を用いることができる。

[基本的なインタレスト・グラフの獲得]
図１９に、本発明に係わるインタレスト・グラフ獲得の一例を示す。図１９（Ａ）は関連性グラフをユーザに対応するノード１９０３（当該ノードのタイプが”ＵＳＥＲ”である）を中心に簡略化して描いた。ノード１９０３は３つのオブジェクトに対応したノード１９０４、１９０５、１９０６（それらのノードはタイプが”ＯＢＪＥＣＴ”である）と繋がっている。図１８に記載の手順でノード１９０３とノード１９０４、ノード１９０５、及びノード１９０６の間のそれぞれの多次元特徴ベクトルを計算し合計したものが図１９（Ａ）中の多次元特徴ベクトル１９０１である。
ここで、２つのオブジェクトがノード１９０３に追加されたとする（図１９（Ｂ））。ノード１９１３とノード１９１４である。同様にノード１９０３とノード１９１３、ノード１９１４の間のそれぞれの多次元特徴ベクトルを計算し合計した結果、図１９（Ｂ）中の多次元特徴ベクトル１９１１が得られる。点線円１９０２と点線円１９１２における特徴ベクトルの違いに注意されたい。この様に多次元特徴ベクトルを適応的に強めることで当該ユーザ１９０３を中心ノードとするインタレスト・グラフを獲得する。

前記操作をＧＤＢ１０２Ａに格納されたタイプが”ＵＳＥＲ”のノードそれぞれに適応する事で、個々のユーザに対応したインタレスト・グラフを獲得することができる。
また、関連性差分部２２４による計算を特定のユーザの集まりに対して適応すれば、当該グループのユーザ（いわゆるユーザクラスタ）に関する特徴を表したものになるし、ユーザ全体の当該計算を適応すれば、ユーザ全体に関する特徴を表したものになる。そして、詳細は後述するが統計情報処理部２０９により当該ユーザを中心とした多次元特徴ベクトル群は統計的なインタレスト・グラフを表現する。

[グラフ構造の表示例]
図２０Ａ乃至図２０Ｃに、本発明に係るシステムの一実施形態におけるグラフ構造の表示例を示す。

図２０Ａにおいて、グラフ構造におけるノードに対応する画像には、画像２００１（例えば、イラストレーション）を使用することもできるし、ロゴ２００２や画像サムネイル２００３を使用することもできる。さらには、ＭＤＢ１０２Ｂから公式の画像（２００４）を使用することもできる。
ここで、会社のロゴの場合には、一例として複数の意味が含まれることに留意されたい。具体的には、会社そのものを指し示し、かつ、その会社の商品も指し示すことがあり得る。

図２０Ｂに、関連性グラフを観察時間としての時間軸変数と併せて視覚的に表示する例を示す。

図２０Ｂ（Ａ）は、関連性グラフを横軸として時間軸を、左が過去で右が未来になるように表示した例である。ユーザは表示面をフリップしてもよい（１２１０）。その場合、時間軸の表示は一昨日、３日前、等々の過去、或いは明後日、３日後、等々の未来の時間軸になり対応するグラフ表示も変化する。図２０Ｂ（Ｂ）は、時間軸を変化させるスクロールバー２０１１を用意し、ある時刻での関連性グラフを表示し（２０１２）、スクロールバーを移動させることで別の時間軸での関連性グラフを表示した（２０１３）例である。

なお、図２０Ｂの時間軸に加えて、位置情報を元に地図上、或いは地球儀上に紐付けられた関連性グラフを表示しても良い。

図２０Ｃは、あるノードを中心とする、より詳細な関連性グラフを表示する例である。表示２０２１において、ノード２０２２をダブルタップする（２０２３）か、ピンチアウトする（図では非表示）事により（図２０Ｃ（Ａ））、当該ノード２０２２を中心とした関連性グラフがより詳細化（２０３１）されて表示される。
例えば、図２０Ｃ（Ｂ）では、ノード２０２４のさらなるつながりのあるノード２０３２や、新しいノード２０３３が追加表示されている。

[インタレスト・グラフ成長のための演算子]
図２１に、本発明に係るシステムの他の実施形態における動作例を示す。図２１（Ａ）において、関連性検索窓１２０３には、入力検索条件として論理演算子（ＡＮＤ２１０１及びＯＲ２１０２）が導入される。ここで、ＡＮＤ（２１０１）を指定した場合、画像２１０４と画像２１０５とから始まるノード間で共通かつ直接的に関連するノード群が選択される。すなわち、ノード２１０４とノード２１０５からの直接リンクのあるノード群が選ばれる。一方、ＯＲ（２１０２）の場合、それぞれのノードのいずれか１つ以上に直接的に関連するノード群が選択される。すなわち、ノード２１０４から直接リンクのあるノードとノード２１０５から直接リンクのあるノードの両方が選ばれる。

図２１（Ｂ）は、ＡＮＤ演算子２１０１の動作例を示している。グラフデータベース１０２Ａ上の関連性グラフを探索することで、画像２１０４に対応するノード２１０６と画像２１０５に対応するノード２１０７から共通かつ直接的に関連するノード２１０８とノード２１０９とが選択される。図２１（Ｂ）では、ノード２１０８はイタリアのトスカーナ地方に関するノードを表しており、ノード２１０９は、ワイナリーに関するノードが表示されている。

図２２に、本発明に係るシステムの他の実施形態における動作例を示す。

図２２（Ａ）は、関連性検索窓の検索条件としてCONNECTION SEARCH（２１０３）を選んだときの動作を示している。図では２個の画像（２２０１と２２０３）を関連性検索窓にドラグ＆ドロップしている状態を表している。図２２（Ｂ）において、画像２２０１に対応するノード２２０２からノード２２０６（something 1）は到達可能な状態を表し、画像２２０３に対応するノード２２０４からのど２２０９（something 2）も到達可能な状態を表している。ここで、ＧＤＢ１０２Ａを検索することで、ノード２２０６とノード２２０９のグラフ構造中のリンクを検索し、両ノード間に直接的、或いは間接的リンクが存在する場合には、当該ノードが表示されることになる。

直接的なリンクが存在する場合には、ＧＤＢ１０２Ａから該当する複数のリンクを取り出し、画像へのＵＲＩを保持するノードに到達するたびに当該画像を表示していく。
また間接的リンクが存在する場合には、後述の統計情報処理部２０９を利用して、ノード２２０２をルートとする部分グラフをＧＤＢ１０２Ａから抽出し多次元特徴ベクトル生成部１３０２で生成された多次元特徴ベクトルを対象として、例えば、当該多次元ベクトルの共起確率よりも大きな確率を持つ多次元特徴ベクトルをもつノード群を選び出し、ノード２２０１とノード２２０３を間接的につないでいく。この方法の場合、当該ノード間をつなぐパスは複数存在する場合があるが、その時には、当該パス上のノードの数が最小になるパス、あるいは、当該パス上のノード間の重みが最小になるパスを最短パスとして、それを含む関連性グラフを表示しても良い。

CONNECTION SEARCH（２１０３）の変形としては、１つの画像、例えば画像２２０１のみを関連性検索窓にドラグ＆ドロップして前記手法により選び出されたリンクをつないでいっても良い。
なお、この後には、ノード２２０２とノード２２０４との間に直接のリンク（２２１０）を生成しても良い。

前記間接的リンクが存在する場合には、CONNECTION SEACH演算子２１０３により図２３に示した具体的な連想関係を導く事が可能になる。すなわち、画像２３０１のワインボトルは、ワインという材料を介して画像２３０２のワイングラスとの関連が抽出され、さらにグラスという種類の物品を介して高級ワイングラス社製のワイングラスの画像２３０３との関連が抽出され、さらに同じ材質の椅子の画像２３０４との関連が抽出され、さらに同じ椅子という種類の物品を介して画像２３０５との関連が抽出され、さらに同じ作者であるという事実を介して画像２３０６との関連が抽出され、さらに同じ材質であることを介して画像２３０７との関連が抽出され、さらに同じ形状であるということを介して画像２３０８との関連が抽出され、さらに、同じ色であることを介して画像２３０９との関連が抽出され、さらに同じアパレル業者であるという事実を介して画像２３１０との関連が抽出されている。
このような非直接的なパスが複数発見される場合、前記したように、最も中継ノード数の少ない、或いは、当該パス上のノード間の重みが最小となるような間接関連性を抽出する事が可能である。
さらには、これら複数の非直接的なパスを辿る事により、思いもよらないノード間の関連を発見することができる。

図２４Ａに、本発明に係るシステムの他の実施形態における動作例を示す。

図２４Ａにおいて、ユーザ２４０１に対応したノード２４０２には、２つのオブジェクト２４０３と２４０４とが関連付けられているとする。例えば、図２２に示した操作によって新しいオブジェクト２４１０が見つかった場合、それに対して接続演算子ＬＩＫＥ（２４２０）を適用すると（図２４Ａ（Ａ））、ユーザのノード２４０２とオブジェクトのノード２４１０との間にリンク２４１１が生成され、直接的な関連付けが行われる（図２４Ａ（Ｂ））。結果、”(2411, {user A, object C})”なるリンクデータが、新たにＧＤＢ１０２Ａに登録される。

また、上記更新が行われると、この更新による新たな直接関連性の存在（リンク２４１１の存在）をユーザ２４０２とユーザ２４０２に直接的に関連するユーザ２４０５とに通知するよう構成することもできる。すわなち、図２４Ａ（Ｃ）に示すように、ユーザ２４０２のネットワーク端末（不図示）及びユーザ２４０５のネットワーク端末１０５上に新たな直接関連性の存在（リンク２４１１の存在）が通知されている。

また、図２４Ｂ（Ａ）においてオブジェクト２４１０に対して切断演算子ＤＩＳＬＩＫＥ（２４２１）を適用すると、リンク２４１１が切断され、リンクデータ”(2412, {object C, user A}’)”という有向リンクを生成しＧＤＢ１０２Ａに登録する（図２４Ｂ（Ｂ））。

これらの接続演算子ＬＩＫＥや切断演算子ＤＩＳＬＩＫＥによって、ユーザに対応したノードと他のノードとの間の直接的な関連性が変化することで、相当するグラフ構造も変化する。ここで、あるノードを中心にリンクのあるユーザのノードとの間のリンクを関連性演算部２２４で図１８及び図１９と同様の手段で計算することにより得られた多次元特徴ベクトルは、当該ノードに対するユーザの関心の深さを表すことになる。

図２５に、本発明に係るシステムの他の実施形態における動作例を示す。

図２５において、ユーザ２５０１に対応したノード２５０２には、２つのオブジェクト２５０３と２５０４とが関連付けられているとする（図２５（Ａ））。一方で、ユーザ２５１１に対応したノード２５１２には、３つのオブジェクト２５１３、２５１４、２５１５が関連付けられているとする（図２５（Ｂ））。
ここでまずオブジェクト２５０４とオブジェクト２５１５との間には直接的リンク２５１０は存在しないとする。しかし本発明における関連性検索エンジン２２０は図２３にみてきたような間接的な関連性を見つけ出す可能性がある。そこで、ユーザ２５０１のネットワーク端末上にオブジェクト２５１５の存在の可能性がユーザ２５０１に対して喚起された場合（図２５（Ｃ））、当該ユーザは、それらを直接に結びつける演算子Ｒｅｆｅｒｅｎｃｅ（２５０６）を実行することができる。これにより、オブジェクト２５０４とオブジェクト２５１５の間のリンクが提起され、関連性差分部２２４の処理により新たな多次元特徴ベクトルが生成される。このリンク生成の要請が複数発生し所定の閾値を超えた場合、或いは特定の権限を有するスーパーバイザにより、オブジェクト２５０４とオブジェクト２５１５を直接関連付けるリンクを図１４Ｂの”ＣＯＮＮＥＣＴ”オペレーションによって生成する。

また、ユーザには特定の権限を付与しても良い。その場合、演算子Ｒｅｆｅｒｅｎｃｅによるリンク生成の要請は即実行され、オブジェクト２５０４とオブジェクト２５１５を直接関連付けるリンクを図１４Ｂの”ＣＯＮＮＥＣＴ”オペレーションによって生成する。

上記と同様に、Olive Tree(１５１９)とGrape(１５１３)との間に点線の暫定的なリンク(１５２０)が描かれている（図１５）。当初の関連性グラフの観点からは両者の距離は離れているが、演算子Ｒｅｆｅｒｅｎｃｅによって、ユーザが直接関連付けることを提案することができる。その際に、当該関連性の有無についての提案をきっかけにしたユーザ間のコミュニケーションを誘発してもよい。その結果、当該提案が正当である場合には、リンク１５２０は実線（直接的関係として確立された）のリンクとして更新することができる。

図２６に、本発明に係るシステムの他の実施形態における動作例を示す。

図２６では、図２４と同様に、ユーザ２３０１に対応したノード２３０２には、２つオブジェクト２３０３と２３０４とが関連付けられている（図２６（Ａ））。一方で、ユーザ２４０１に対応したノード２４０２には、３つのオブジェクト２４０３、２４０４、２４０５が関連付けられ（図２６（Ｂ））、オブジェクト２３０４とオブジェクト２４０５との間には直接の関連付けリンク２５０１が存在している状態を表している。ユーザ２３０１は、それらの関連付けが疑わしいとして演算子Ｕｎｒｅｆｅｒｅｎｃｅ（２４０６）を実行する。この直接的関係の非存在を提起する要請が複数発生し所定の閾値を超えた場合、例えば、一定数を超えたユーザがＵｎｒｅｆｅｒｅｎｃｅ演算を実行した場合には、オブジェクト２３０４とオブジェクト２４０５との間の直接的関連は誤認として切断処理される。或いはスーパーバイザの権限によって、この要請が確定した場合には、オブジェクト２３０４とオブジェクト２４０５との間の直接的関連は同様に切断され得る。

[統計情報処理部]
図２７を用いて、統計情報処理部２０９の一実施形態における機能ブロック構成を説明する。
統計情報処理部２０９は３つの要素から構成される。グラフ・ベクトル構成部２７０１、推論エンジン部２７０２、およびグラフマイニング処理部２７０３の３つであり、推論エンジン部２７０３はさらに決定木処理部２７１０、ベイジアンネットワーク処理部２７１１から、グラフマイニング処理部２７０３はパターンマイニング処理部２７１２、ＲＷＲ(Random Walk with Restarts)処理部２７１３から構成されている。なお、グラフマイニングの処理手順はこれらに限らない。

図２７のグラフ・ベクトル構成部２７０１で、ＧＤＢ１０２Ａからのデータ、及び／乃至統計情報データベース２７０４からのデータを用いて、入力ノードに関係した部分グラフを抽出し、関連性演算部２２４での処理から多次元特徴ベクトルを得て、推論エンジン部２７０２の入力とする。推論エンジン部２７０２では、知識データベース２７０５の情報を参考に、確率的推論モデルの１つである決定木法による処理を実行する決定木処理部２７１０で処理されたり、あるいは、ベイジアンネットワーク構成部２７１１で処理されたりして、頻出主要部分抽出のためのグラフマイニング処理部２７０３に送られる。グラフマイニング処理部２７０３では、パターンマイニング手法やＲＷＲ手法をもちいたグラフマイニング処理を行った結果の部分グラフを（図２８（Ｃ））を生成する。

[ユーザの主観によるフィルター処理]
図２８に本発明に係るシステムの一実施形態における特定ユーザフィルター処理部２１０の構成を示す。当該処理部は３個の要素から構成される。多次元ベクトル構成部２８０１、主観フィルター構成部２８０２、及び多次元ベクトル処理部２８０３である。ＧＤＢ１０２Ａから取り出され、例えば統計情報処理部２０９で処理された結果の部分グラフは、多次元ベクトル構成部２８０１にて多次元ベクトルとして再構成される。ユーザ情報は主観フィルター処理部２８０２において、ユーザデータベース２８０４の情報を用いてユーザの主観的評価フィルターを多次元特徴ベクトル（図２８（Ｂ））として生成する。これら２個の構成部（２８０１と２８０２）からの出力の多次元特徴ベクトルが、多次元特徴ベクトル処理部２８０３で処理され、図２８（Ｃ）のユーザの主観的評価を反映したノード間のつながりの深さを表した多次元特徴ベクトルとして再構成される。

ユーザデータベース２８０４からはユーザとリンクのあるノードの評価が数値化されている。当該数値化は、学習によるプロセス、或いはユーザにより直接的に階指定しても良いし、ユーザと当該ノードとの間のリンク数を用いて求めても良い。当該多次元特徴ベクトルの該当ビンの値と当該評価を演算することで、それぞれのユーザの好みに即した重み付け処理が可能である。

また、前記プロセスをより広範なユーザに対応するプレファレンスとして一般化する一手法として、広範なユーザの共通する主観として、次のような要素として表現することも可能である。
これらはユーザデータベース２８０４に登録可能であると同時に、これら主観が”SUBJECT”として汎用的に適用可能となる。前記主観フィルター構成部２８０２は上記主観要素を構成する部分グラフから多次元特徴ベクトル（図２８（Ｂ））を生成する。当該多次元特徴ベクトルの各ビンの値は、上記主観要素を反映した数値として利用可能である。

図２９に、前記ユーザ毎に異なる主観性を視覚的に関連性グラフとして表現する事例を示す。図２９（Ａ）ではユーザ２９０１はオブジェクト２９０２はじめとする６個のオブジェクトが直接的・間接的に繋がっている状態を示している。それぞれの関連性の深さは２次まで表示されている。それぞれのリンク線の太さは関連性の強さを表している。前記に関わる処理を経由することでユーザ２９０１がオブジェクト２９０６に特別な関心を持っていることが判れば、当該オブジェクトを強調表示（２９０８）しても良い。

一方で、図２９（Ｂ）ではユーザ２９１１はユーザ２９０１と類似の関連性グラフを共有しているが、その興味の対象がオブジェクト２９０２である場合、当該オブジェクトをハイライトや特別な装飾効果を含む視覚効果（２９１２）を施して表示しても良い。

図２８（Ａ）における主観フィルター構成部２８０２の入力に、代わりにユーザが検索しようとしている時間帯や、日時、季節、時代、場所といった時間軸や位置情報を反映した環境フィルターを構成する多次元ベクトルを用いても良い。

図３０に、本発明に係るシステムの他の実施形態における動作例を示す。

図３０（Ａ）に示す画像３００１に対応したノード３００２とグラフ構造３００３のメタデータが既に存在していた場合、図３０（Ｂ）に示すように画像認識エンジン２００が上記メタデータの正当性を優先的に比較処理することで図３０（Ａ）に示すメタデータのグラフ構造と、図３０（Ｂ）に示すメタデータのグラフ構造との一致を確認する事が可能となる。これにより、大幅な処理時間の短縮が実現できる。

図３１（Ａ）にインタレスト・グラフの一例を示す。図では簡略化の為にノードとしてユーザとオブジェクト（モノ）のみを描いているが、実際には画像からは画像認識システム２０２によってコンテキストやシーンのようなモノ以外の情報も抽出されているのでインタレスト・グラフの要素になる。
図には、３人のユーザ３１０１から３１０３と６個のオブジェクト３１１０から３１１５の関係が描かれている。ユーザ３１０１はオブジェクト３１１０、３１１１、３１１２に興味があり、ユーザ３１０２はオブジェクト３１１１、３１１３、３１１４に興味があり、ユーザ３１０３はオブジェクト３１１０、３１１１、３１１３、３１１５に興味があることが描かれている。
このインタレスト・グラフはＧＤＢ１０２Ａのデータからユーザと関連のあるノードであり、グラフ演算部２２１が抽出したものであり、関連性検索エンジン２２０におけるグラフ記憶部２２２に存在している。
上記接続演算子ＬＩＫＥ、切断演算子ＤＩＳＬＩＫＥ、参照演算子Ｒｅｆｅｒｅｎｃｅ、非参照演算子ＵｎｒｅｆｅｒｅｎｃｅによってＧＤＢ１０２Ａの情報は時々刻々と変化しているので、この図３１（Ａ）のインタレスト・グラフも動的なインタレスト・グラフとして獲得できる。

図３１（Ｂ）では、ユーザ３１０２が例えば接続演算子ＬＩＫＥによってオブジェクト３１１２と新しい関係（リンク３２０１）を結んでいる。この様な操作が多くのユーザによって行われ、サーバにおけるオブジェクト３１１２へのリンク数が変化（図３１（Ｂ）では１から２に変化した）する。その際に、リンク数に所定の閾値を設定し、それを超えることを、当該ノードに対する着目点の大幅な変化としてとらえ、当該ノード（３１１２）に関係するノード（３１０４）にその変化を通知する。例えば、図ではノード３１０４は広告主を例示しており、広告主に対してオブジェクト３１１２へのリンク数が閾値を超えて変化したとして通知する事が可能となる。

また、上記通知はオブジェクト３１１２と直接関係のあるユーザ３１０１や３１０２に対して行っても良い。また、上記通知は、広告主による、対象オブジェクト関する購買意欲を喚起する広告やリコメンデーションの提示を可能にするものであっても良い。例えば、図３１（Ｂ）では、ノード３１０４が広告主の場合を例示しており、オブジェクト３１１２（対応画像は３１２０）に関しての広告をユーザ３１０１やユーザ３１０２に通知する事が可能となる。

図３２では、ユーザ自身を中心ノードとするインタレスト・グラフを表示する際に、プライバシー保護の観点から当該ユーザのみに限定してインタレスト・グラフを表示する例を示している。図３２では、ユーザ３２０１を中心にインタレスト・グラフが表示されているが、ユーザ３２０２を中心にしたインタレスト・グラフ（灰色の囲み３２１０）はユーザ３２０２のプライバシーに係わることであり、ユーザ３２０１の観点からは表示されないことが要件となる。これらは、ノードのタイプ”ＵＳＥＲ”をサーバ側で区別することで表示・非表示を制御できる。

図３３に、ソーシャル・グラフ獲得の一実施例を示す。本発明における画像認識エンジン２００或いは画像認識システム２０２を組み込んだ一連の関連性検索エンジン２２０を利用した視覚的な関連性検索の過程を通じて獲得した包括的なインタレスト・グラフから、特定のユーザにノードのタイプが”ＵＳＥＲ”である人を表すノードを抜き出して平面３３０１に写像する事で、人と人との関連性を含むソーシャル・グラフを獲得することができる。

図３４にインタレスト・グラフ収集に関するプロセス図の概略を示す。プロセス全体の系は、リアルタイム系とバックグラウンド系とに分かれ、グラフ記憶部２２２が両者を繋いでいる。バックグラウンド系にはＧＤＢ１０２Ａ、関連性演算部２２４、統計情報処理部２０９を配する。リアルタイム系には、画像認識システム２０２（或いは画像認識エンジン２００（不図示））、グラフ演算部２２１、ネットワーク通信制御部２０４を配する。ネットワーク通信英魚部２０４はインターネットを含むネットワークを介してネットワーク端末１０５に繋がっている。

インタレスト・グラフは、ユーザと一次繋がりのノード群の中から、ユーザとの関連度の大きい順に所定数の要素群を多次元ベクトルを選択抽出し、ユーザ固有の有限長の多次元特徴ベクトルとして求める。

図３５はユーザ毎のインタレスト・グラフに対応する多次元特徴ベクトルのイメージである。全てのノードに対応するインタレスト・グラフの総候補次元数は、ＧＤＢ１０２Ａに登録されている網羅的なノード数のオーダーに達する事から、当該ユーザとの関連性の大きい順に一定数を候補から抽出し、図３５で示すように、有限長の多次元特徴ベクトルとしてユーザデータベース２８０４に収納される。図３５（Ａ）では、Ａさんの、図３５（Ｂ）ではＢさんの多次元特徴ベクトルを例示している。この２つの多次元特徴ベクトルを相互に比較することで、ＡさんとＢさんが共通に関心を示す対象を検出することができる。例えば、点線円３６０１と点線円３６０２には同じ対象物に対する関心のベクトル値が表現されており、これらが共通に大きいことが判明すれば、双方の当該対象物に対するインタレストが似通っていることを知ることができる。

１００ インタレスト・グラフ収集システム
１０１ サーバ
１０２Ａ グラフデータベース（ＧＤＢ）
１０２Ｂ マザーデータベース（ＭＤＢ）
１０３ 接続
１０４ ネットワーク（あるいはインターネット）
１０５ａ〜１０５ｄ ネットワーク端末装置
１０６ 一般物体認識システム
１０７ 画像カテゴリデータベース
１０８ シーン認識システム
１０９ シーン構成要素データベース
１１０ 特定物体認識システム
２００ 画像認識エンジン
２０９ 統計情報処理部
２１０ 特定ユーザフィルター処理部
２２０ 関連性検索エンジン
２２１ グラフ演算部
２２２ グラフ記憶部
２２３ グラフ管理部
２２４ 関連性演算部

Claims (16)

1. １以上の物体(object)及び主題(subject)の少なくとも一方を含む画像情報を入力手段として用いる検索システムを含む、又は当該検索システムに接続されているインタレスト・グラフ収集システムであって、
   ネットワーク上に存在する多数の画像群、及び端末経由でユーザがネットワーク上にアップロードした画像群の少なくとも一方から、前記ユーザが関心を持った画像全体、或いは画像の特定領域を前記ユーザにより端末上で選択され、
   前記選択した画像を、ネットワークを介してサーバ側の画像認識エンジンに問い合わせることにより、前記画像認識エンジンが、前記選択された画像全体、或いは前記特定領域に含まれる様々な一般物体・特定物体・人・顔・シーン・文字・記号・イラストレーション、ロゴ、ファビコンを含む画像構成要素群を抽出及び認識し、
   前記認識された入力画像に含まれる前記画像構成要素群を、前記画像認識エンジンを介してサーバ側の関連性検索エンジンに通知することにより、
   前記関連性検索エンジンが前記画像構成要素群における画像構成要素それぞれに対し、直接的及び間接的に一定以上の関連があると判断したその他の要素群を、関連性検索エンジン内の関連性知識データベースに学習可能な状態で記憶されている要素間の直接関連性を記述した情報を基に抽出し、
   前記画像認識エンジンにより認識された前記画像構成要素群における要素及び前記関連性検索エンジンにより抽出された前記要素群における要素それぞれをノードとする関連性グラフを、前記ノードのそれぞれの間の関連性の深さと共に、前記ユーザの端末に二次元画像、或いは三次元画像、或いは前記関連性グラフの観察時間としての時間軸変数を加えた四次元時空間画像として視覚的に表現し、
   前記画像認識エンジンが提示した複数の画像構成要素群の中から、前記ユーザが選択した特定の画像構成要素、或いは端末に表現されている関連性グラフ上の特定のノードの選択と当該ノードを中心とする領域の拡大操作、或いは前記ユーザによるジェスチャー、視線、音声、及び脳波の少なくとも１つを用いた拡大操作を用いることにより得られた入力を、前記端末を介して前記インタレスト・グラフ収集システムが受け取り、
   前記ノードを中心とするより詳細な関連性グラフを前記ユーザの前記端末に視覚的に表現し、
   それらの一連の操作を前記ノードに対する前記ユーザの一定の関心の存在であるとし、前記ユーザを中心ノードとする各要素間の直接関連性を記述した情報で、前記ノードに係るユーザの関心の深さを表わす値を変更することで、
   前記ユーザを中心ノードとするインタレスト・グラフとして獲得すること、及び、当該インタレスト・グラフを広範なユーザに拡大して獲得することの少なくとも一方により、特定のユーザ、特定のユーザクラスタ、或いはユーザ全体にまたがる統計的なインタレスト・グラフとして収集すること
   を特徴とするインタレスト・グラフ収集システム。
2. 前記端末に表現されている前記関連性グラフの任意のノードを、前記ユーザがタッチスクリーン上でタップ或いはタッチして選択するか、ポインタのカーソルを任意のノードに移動し選択する操作、
   或いは前記関連性グラフの任意の領域に向けて前記ユーザがタッチスクリーン上でフリックするか、ポインタのカーソルを前記関連性グラフの任意の領域に移動し画面全体をドラグしスクロールする操作、
   或いは方向キーを含む入力キーによる前記選択又は前記スクロールの操作、
   或いは前記ユーザによるジェスチャーや視線、音声、或いは脳波を用いた前記選択又は前記スクロールの操作を用いることにより得られた入力を、前記端末を介して前記インタレスト・グラフ収集システムが受け取り、
   前記選択されたノード、或いは移動後の領域を中心とする新たな関連性グラフを、前記関連性検索エンジンが前記端末に追加的に送ることで、前記ユーザにとって関心のあるノード或いは領域を、前記ユーザが前記関連性グラフをシームレスに辿りながら、複数のノード間にまたがる広範な関連性として視覚的に認識する、
   請求項１に記載のインタレスト・グラフ収集システム。
3. 前記ユーザが着目し選択したノードを表す画像を、ネットワークを介して前記画像認識エンジンに再び問い合わせることにより、
   前記画像認識エンジンを用いて前記ノードに関する新たな画像構成要素群を獲得し、当該画像構成要素群を起点とする新たな関連要素群を前記関連性検索エンジンから前記端末に送信することで、
   前記ユーザが前記ノードに対する新たな関連性をそれら相互の関連性の深さと共に関連性グラフにおいて視覚的に認識することを可能にした上で、
   直前の同様の操作において前記ノードへの起点となっている画像構成要素から当該ノードに至る一連のノード間の関連性の存在を前記ユーザが認識し利用していることを関連性検索エンジンが推測し、
   各要素間の直接関連性を記述した情報を用いて、前記一連のノード間の関連性を変更することよって、前記関連性検索エンジン内の関連性知識データベースの追加学習をする、請求項１に記載のインタレスト・グラフ収集システム。
4. 前記画像認識エンジンにより認識可能となった画像構成要素群、及び当該画像構成要素群における画像構成要素それぞれに対応する関連要素群に対し、当該関連要素群のそれぞれを代表する写真、イラストレーション、文字、記号、ロゴ、ファビコンを含む情報から生成した縮小画像サムネイルを前記関連性検索エンジンが元画像に代えて端末に送信することにより、
   前記関連性グラフのノードとして前記サムネイル単位での表示・選択を可能にする、請求項１に記載のインタレスト・グラフ収集システム。
5. 画像認識プロセスに備わる入力条件選択機能として、関連性探索演算子（Ｃｏｎｎｅｃｔｉｏｎ Ｓｅａｒｃｈ）を導入して、複数のノードを前記画像認識エンジンに問い合わせ、
   関連性探索プロセスにおいて、複数のノード間の関係を、それぞれの入力ノード群に対し直接的及び間接的に関連するその他のノードを経由する一連の関連性として探索することで、異なるレイヤ（階層）に及ぶノード間の間接的な関係を発見し、
   前記ノード間の最短パスを含む関連性グラフとして端末に表現し、
   前記関連性探索プロセスにおいて、発見された前記間接的な関係を、関連性検索エンジン内の関連性知識データベースに学習可能な状態で追加記憶することで、
   以降の同様或いは類似の関連性探索要求に備える、
   請求項１に記載のインタレスト・グラフ収集システム。
6. ユーザと間接的な関係にあるノード、或いはユーザとの関連性が低い若しくはないとされているその他のノードに対し、前記ノードを前記ユーザとの直接的な関係として結び付ける接続演算子（ＬＩＫＥ）、及び既に結びつけられているノードとユーザ間の直接的な関係を切断する切断演算子（ＤＩＳＬＩＫＥ）を導入することで、
   前記ユーザを中心ノードとする各要素間の直接関連性を記述した情報において、ノードに係るユーザの関心の深さを表わす値を増加、或いは減少、或いは滅消させ、
   前記ユーザを中心ノードとする、個々のユーザに対応したインタレスト・グラフの更新を行う、請求項１に記載のインタレスト・グラフ収集システム。
7. 複数のノードを対象にした新たな直接的関連性の存在及び非存在の可能性を、前記複数のノードが直接的に結び付けられるべきだとして提起する参照演算子（ＲＥＦＥＲＥＮＣＥ）、及び既に直接的に結び付いているもののその直接的な関連の存在が疑わしいとして直接的関係の非存在を提起する非参照演算子（ＵＮＲＥＦＥＲＥＮＣＥ）を導入することで、
   前記新たな直接関連性の存在或いは非存在の可能性を、前記関連性検索エンジンが広範なユーザ若しくは特定のユーザ群に対し喚起し、
   特定の権限を有するスーパーバイザ或いは一定数以上の他のユーザから関連がある或いはないと判断されたノード群におけるノード間の関連性を表す値を、前記関連性検索エンジンが更新し、
   前記ノード群に係る更新された関連性グラフとして端末に反映すると共に、
   前記新たな直接関連性の存在或いは非存在に係る更新情報を、前記広範なユーザ若しくは前記特定のユーザ群に通知する、
   請求項１に記載のインタレスト・グラフ収集システム。
8. 前記関連性検索エンジン内に関連性知識データベースとして記憶されている要素間の直接関連性を記述した情報に対し、前記ユーザの主観的な評価が反映される重み付け操作をし、
   前記重み付け操作された情報を基に、各ノード間相互の関連性及び関連性の深さを、前記ユーザの端末上に、前記ユーザが持つ、広範なユーザ若しくは特定のユーザ群との感じ方の違いという要因を反映した関連性グラフとして視覚的に表現する、
   請求項１に記載のインタレスト・グラフ収集システム。
9. 前記関連性検索エンジン内に関連性知識データベースとして記憶されている要素間の直接関連性を記述した情報に対し、前記ユーザが検索しようとする時間帯や日時、季節、時代、場所を含む環境フィルターを適用し、
   前記環境フィルターが適用された情報を基に、各ノード間相互の関連性及び関連性の深さを、前記ユーザの端末上に、観察時間や地域（Location）特性といった時空間要因を反映した関連性グラフとして視覚的に表現する、
   請求項１に記載のインタレスト・グラフ収集システム。
10. 複数のユーザによる関連性検索の過程を通じて、複数のノードに対する特定のユーザクラスタ或いはユーザ全体集団に及ぶ視覚的な関心の在り所や関心の遷移が一定以上変化した時点で、前記複数のノードそれぞれに対する着目度の大幅な変化を統計情報化し、
    前記関連性グラフ上で前記複数のノードに直接的に関わるユーザ、或いはユーザクラスタ、或いはユーザ全体、或いは特定の第三者に速やかに通知する、
    請求項１に記載のインタレスト・グラフ収集システム。
11. 前記インタレスト・グラフを活用して、特定のノードが表わす商品或いはサービスに対し一定以上の関心を示した特定のユーザ或いはユーザ群に対し、前記商品或いは前記サービスへの購買意欲を喚起する広告、リコメンデーションを含む情報の提示、又は当該情報を提供する第三者への繋ぎ込みを行い、
    前記特定のユーザ或いはユーザ群の属性、及び前記特定のユーザ或いはユーザ群の属する時空間要因の少なくとも一方を加味した前記関連性グラフを活用して、前記商品或いは前記サービスと直接的或いは間接的に関連する他の商品或いはサービスに対する広告及びリコメンデーションの少なくとも１つを含む情報の提示、又は当該情報を提供する第三者への繋ぎ込みを行う、
    請求項１に記載のインタレスト・グラフ収集システム。
12. 前記インタレスト・グラフを活用することにより提示可能になる広告、サービス、或いはリコメンデーションを表わす視覚情報及びリンク情報の少なくとも一方を、対象となるユーザの端末に表現されている関連性グラフ上に、表示／非表示を選択可能な状態で提示する、
    請求項１に記載のインタレスト・グラフ収集システム。
13. 前記画像認識エンジンを組み込んだ関連性検索の過程を通じて獲得したインタレスト・グラフを活用して、同様の関心を持つ広範なユーザ間のコミュニケーションを、前記関連性検索を通じて喚起し、
    前記インタレスト・グラフに加えて人と人、人と人以外の関係性を包含する、広義の動的なソーシャル・グラフを、ネットワークを介して獲得する、
    請求項１に記載のインタレスト・グラフ収集システム。
14. １以上の物体(object)及び主題(subject)の少なくとも一方を含む画像情報を入力手段として用いる検索システムを含む、又は当該検索システムに接続されているサーバであって、
    ネットワーク上に存在する多数の画像群、及び端末経由でユーザがネットワーク上にアップロードした画像群の少なくとも一方から、前記ユーザが関心を持った画像全体、或いは画像の特定領域を前記ユーザにより端末上で選択され、
    前記選択した画像を、ネットワークを介してサーバ側の画像認識エンジンに問い合わせることにより、前記画像認識エンジンが、前記選択された画像全体、或いは前記特定領域に含まれる様々な一般物体・特定物体・人・顔・シーン・文字・記号・イラストレーション、ロゴ、ファビコンを含む画像構成要素群を抽出及び認識し、
    前記認識された入力画像に含まれる前記画像構成要素群を、前記画像認識エンジンを介してサーバ側の関連性検索エンジンに通知することにより、
    前記関連性検索エンジンが前記画像構成要素群における画像構成要素それぞれに対し、直接的及び間接的に一定以上の関連があると判断したその他の要素群を、関連性検索エンジン内の関連性知識データベースに学習可能な状態で記憶されている要素間の直接関連性を記述した情報を基に抽出し、
    前記画像認識エンジンにより認識された前記画像構成要素群における要素及び前記関連性検索エンジンにより抽出された前記要素群における要素それぞれをノードとする関連性グラフを、前記ノードのそれぞれの間の関連性の深さと共に、前記ユーザの端末に二次元画像、或いは三次元画像、或いは前記関連性グラフの観察時間としての時間軸変数を加えた四次元時空間画像として視覚的に表現し、
    前記画像認識エンジンが提示した複数の画像構成要素群の中から、前記ユーザが選択した特定の画像構成要素、或いは端末に表現されている関連性グラフ上の特定のノードの選択と当該ノードを中心とする領域の拡大操作、或いは前記ユーザによるジェスチャー、視線、音声、及び脳波の少なくとも１つを用いた拡大操作を用いることにより得られた入力を、前記端末を介して前記サーバが受け取り、
    前記ノードを中心とするより詳細な関連性グラフを前記ユーザの前記端末に視覚的に表現し、
    それらの一連の操作を前記ノードに対する前記ユーザの一定の関心の存在であるとし、前記ユーザを中心ノードとする各要素間の直接関連性を記述した情報で、前記ノードに係るユーザの関心の深さを表わす値を変更することで、
    前記ユーザを中心ノードとするインタレスト・グラフとして獲得すること、及び、当該インタレスト・グラフを広範なユーザに拡大して獲得することの少なくとも一方により、特定のユーザ、特定のユーザクラスタ、或いはユーザ全体にまたがる統計的なインタレスト・グラフとして収集するよう構成されているサーバ。
15. １以上の物体(object)及び主題(subject)の少なくとも一方を含む画像情報を入力手段として用いる検索システムを含む、又は当該検索システムに接続されているサーバに、
    ネットワーク上に存在する多数の画像群、及び端末経由でユーザがネットワーク上にアップロードした画像群の少なくとも一方から、前記ユーザが関心を持った画像全体、或いは画像の特定領域を前記ユーザにより端末上で選択され、
    前記選択した画像を、ネットワークを介してサーバ側の画像認識エンジンに問い合わせることにより、前記画像認識エンジンが、前記選択された画像全体、或いは前記特定領域に含まれる様々な一般物体・特定物体・人・顔・シーン・文字・記号・イラストレーション、ロゴ、ファビコンを含む画像構成要素群を抽出及び認識し、
    前記認識された入力画像に含まれる前記画像構成要素群を、前記画像認識エンジンを介してサーバ側の関連性検索エンジンに通知することにより、
    前記関連性検索エンジンが前記画像構成要素群における画像構成要素それぞれに対し、直接的及び間接的に一定以上の関連があると判断したその他の要素群を、関連性検索エンジン内の関連性知識データベースに学習可能な状態で記憶されている要素間の直接関連性を記述した情報を基に抽出し、
    前記画像認識エンジンにより認識された前記画像構成要素群における要素及び前記関連性検索エンジンにより抽出された前記要素群における要素それぞれをノードとする関連性グラフを、前記ノードのそれぞれの間の関連性の深さと共に、前記ユーザの端末に二次元画像、或いは三次元画像、或いは前記関連性グラフの観察時間としての時間軸変数を加えた四次元時空間画像として視覚的に表現し、
    前記画像認識エンジンが提示した複数の画像構成要素群の中から、前記ユーザが選択した特定の画像構成要素、或いは端末に表現されている関連性グラフ上の特定のノードの選択と当該ノードを中心とする領域の拡大操作、或いは前記ユーザによるジェスチャー、視線、音声、及び脳波の少なくとも１つを用いた拡大操作を用いることにより得られた入力を、前記端末を介して前記サーバが受け取り、
    前記ノードを中心とするより詳細な関連性グラフを前記ユーザの前記端末に視覚的に表現し、
    それらの一連の操作を前記ノードに対する前記ユーザの一定の関心の存在であるとし、前記ユーザを中心ノードとする各要素間の直接関連性を記述した情報で、前記ノードに係るユーザの関心の深さを表わす値を変更することで、
    前記ユーザを中心ノードとするインタレスト・グラフとして獲得すること、及び、当該インタレスト・グラフを広範なユーザに拡大して獲得することの少なくとも一方により、特定のユーザ、特定のユーザクラスタ、或いはユーザ全体にまたがる統計的なインタレスト・グラフとして収集すること
    を実行させるためのコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。