JP5014399B2

JP5014399B2 - 検索データ管理装置

Info

Publication number: JP5014399B2
Application number: JP2009240992A
Authority: JP
Inventors: 雅二郎岩崎
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2009-10-20
Filing date: 2009-10-20
Publication date: 2012-08-29
Anticipated expiration: 2029-10-20
Also published as: JP2011090352A

Description

本発明は、類似するデータをデータベースから検索すると共に、そのデータベースに新たなデータを登録するための装置に関するものである。

画像や音声等から抽出される特徴量は、多次元のベクトルデータで表され、各ベクトルデータ間の距離等を用いて類似データの検索が行われる。多次元ベクトルデータの検索において、検索対象のデータ数が多い場合、検索キーとなるデータ（検索データ）と検索対象のデータとの距離を逐一計算しなければならないため、検索に要する時間が非常に長くなってしまう。

特許文献１には、次のような技術が記載されている。即ち、データベース内の全ての特徴量について、他の特徴量との間の類似度を予め計算し、類似度の高いデータをそれぞれ関連付けて格納しておく。そして、与えられた検索キーの最近傍を求めてその最近傍のデータに対応する類似データを検索結果として返す。

特開２００１−５２０２４号公報

ところで、検索対象のデータ群（データベース）に新たなデータを登録しようとするときは、データ間の類似度を考慮したインデックスを予め付与しておくことで、検索の高速性を担保できる。このため、その登録データに対する類似データをデータベース中から検索する必要がある。

しかし、特許文献１の技術では、検索の高速化のために、各データに対して全データを類似度順に記憶しておく必要があるが、データベースの全データとの類似度を事前計算する必要があり、検索対象のデータが膨大になると、データ数に応じて検索にかかる時間が長くなってしまった。また、データ登録を行う都度、データ間の類似度を算出して、インデックスの見直しを行う必要があるため、データ数が増えるほど、そのインデックスの構築は煩雑になってしまう。

本発明は、上述の課題に鑑みて為されたものであり、その目的とするところは、類似データの検索対象であるデータ群に、検索インデックスを煩雑にすることなく高速にデータを登録することである。

上記目的を達成するため、第１の発明の検索データ管理装置は、
一方のデータから他方のデータに辿るためのリンクがデータ間に設定されて該データが複数記憶されたデータベースと、
入力された検索対象のデータに対して、前記データベースに記憶されたデータのうちの何れかを検索開始点として選択し、該検索開始点から前記リンクを順次辿ることによって、該リンクを辿る経路上にあるデータのうち、検索対象のデータと既定の距離内にあるデータを類似データとして検索し出力するグラフ検索手段と、
前記データベースへの登録対象となるデータを前記検索対象として前記グラフ検索手段に入力することにより、該登録対象のデータに対する類似データを取得し、該登録対象のデータと類似データとの間にリンクを生成する類似データ取得手段と、
複数の登録対象データに対して前記類似データ取得手段がそれぞれ生成したリンクをマージするマージ手段と、
前記マージ手段がマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとに削減処理を行うリンク最適化手段と、
前記削減処理の結果に基づいて前記データベースのリンク情報を更新すると共に、前記登録対象のデータを前記データベースに記憶するデータ更新手段と、
を備えることを特徴としている。

また、第２の発明において、前記リンク最適化手段は、
前記マージ手段がマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとの総数に基づいて、前記削減処理を行うことを特徴としている。

また、第３の発明において、前記リンク最適化手段は、
前記マージ手段がマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとの長さに基づいて、前記削減処理を行うことを特徴としている。

また、第４の発明において、前記リンク生成手段は、
前記複数の登録対象のデータのそれぞれの間にリンクを更に生成することを特徴としている。

また、第５の発明は、一方のデータから他方のデータに辿るためのリンクがデータ間に設定されて該データが複数記憶されたデータベースをコンピュータが検索対象のデータ群としてデータ管理する検索データ管理方法において、
入力された検索対象のデータに対して、前記データベースに記憶されたデータのうちの何れかを検索開始点として選択し、該検索開始点から前記リンクを順次辿ることによって、該リンクを辿る経路上にあるデータのうち、検索対象のデータと既定の距離内にあるデータを類似データとして検索し出力するグラフ検索工程と、
前記データベースへの登録対象となるデータを前記検索対象として前記グラフ検索手段に入力することにより、該登録対象のデータに対する類似データを取得し、該登録対象のデータと類似データとの間にリンクを生成する類似データ取得工程と、
複数の登録対象データに対して前記類似データ取得工程がそれぞれ生成したリンクをマージするマージ工程と、
前記マージ工程においてマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとに削減処理を行うリンク最適化工程と、
前記削減処理の結果に基づいて前記データベースのリンク情報を更新すると共に、前記登録対象のデータを前記データベースに記憶するデータ更新工程と、
を含むことを特徴としている。

また、第６の発明のプログラムは、上記第５の発明に記載の検索データ管理方法の処理をコンピュータに実行させることを特徴としている。

本発明によれば、データベースに複数のデータを登録する際には、類似データとの間に生成したリンクを用いてリンクの削減をしながら登録するため、類似データの検索対象であるデータ群に、検索インデックスを煩雑にすることなく高速にデータを登録することができる。また、データ登録によってデータ間のリンク構造が煩雑になる逐次防止できるため、データ登録による検索速度の低下を防止することが可能になる。

〔第１実施形態の装置構成〕
本発明を適用した第１実施形態に係る検索装置を、添付の図面に基づいて説明する。尚、本発明の内容は、本実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

また、本実施形態では、ベクトルデータとして、画像の特徴量を表す多次元ベクトルデータを扱う例を説明する。但し、ベクトルデータとしては、音声やその他のマルチメディアデータ情報の特徴量を表すものであってもよいし、他の種類の多次元データであってもよい。

図１は、本発明の一例である検索装置１の機能構成を示すブロック図である。検索装置１は、一つのハードウエアあるいはソフトウエアにより構成される必要はない。必要に応じて、複数のハードウエアあるいはソフトウエアの組み合わせにより検索装置１に相当する機能を提供することができる。ネットワーク上に点在する複数のサーバにより、本実施形態の検索装置１を構成することもできる。

検索装置１は、クライアント端末から送信される各種要求に応じてデータ処理を行って、その処理結果をクライアント端末に返送する。具体的に、検索装置１は、検索要求である検索クエリを受信すると、検索クエリに応じた検索を行って検索結果をクライアント端末に返送する。また、検索対象のデータを格納したデータベース（以下「ＤＢ」と略す）に新たなデータを登録する要求を受信した場合にはＤＢに登録する。

［クライアント端末の構成］
クライアント端末の図示は省略するが、キーボードやマウスやタッチパッドといった入力手段と、ディスプレイやプリンタといった出力手段と、ＣＰＵ等を備えたパーソナルコンピュータにより構成される。クライアント端末は、ネットワークを介して検索装置１と接続されている。また、クライアント端末は、ユーザに指定された検索データや登録データを検索装置１に送る。

ここで、検索データとは、検索装置１のデータベースに記憶されたデータの中から類似するデータを検索するためのキーとなるデータである。また、登録データとは、検索装置１のデータベースに新たに登録するデータである。尚、検索データ及び登録データから抽出したベクトルデータも以下「検索データ」、「登録データ」という。

［検索装置の構成］
図１によれば、検索装置１は、登録データ入力部１０と、検索データ入力部２０と、検索結果出力部３０と、グラフ検索部４０と、データ登録部５０と、画像ＤＢ６０と、グラフインデックスＤＢ７０と、一時メモリ８０とを備えて構成される。

登録データ入力部１０は、クライアント端末から送信される登録データを受け付ける機能部であり、データの登録要求と共に登録データを受信すると、該登録データをデータ登録部５０に入力する。

検索データ入力部２０は、クライアント端末から送信される検索データを受け付けるための機能部であり、検索要求と共に検索データを受信すると、その検索データをグラフ検索部４０に入力する。

検索結果出力部３０は、検索データ入力部２０の入力に応じてグラフ検索部４０による検索結果をクライアント端末に送信するための機能部である。検索結果出力部３０は、検索結果を表示するための表示データを生成してクライアント端末に送信する。

画像ＤＢ６０は、検索対象となる画像データを蓄積記憶するデータベースであり、図１に示すように画像ＩＤと、画像データと、ベクトルデータとを対応付けて記憶する。グラフ検索部４０は、この画像ＤＢ６０に記憶された画像データから複数の特徴量である多次元のベクトルデータを抽出して記憶する。ベクトルデータの次元数は特に制約されないが、検索精度を高めるためには、高い次元数（例えば１０次元以上）とすることが好ましい。

グラフインデックスＤＢ７０は、グラフ構造のインデックスを記憶するデータベースであり、検索対象となるデータの特徴量を表すベクトルデータを格納している。データ登録部５０は、画像データから抽出したベクトルデータに基づいてグラフ構造のインデックスを生成する。

また、グラフインデックスＤＢ７０は、一方のベクトルデータから他方のベクトルデータに辿るために設定されたリンクの情報が格納されている。具体的には、図１に示すように、グラフインデックスＤＢ７０は、画像ＤＢ６０に対応したリンク元である画像ＩＤと、このベクトルデータにリンクされた一つ以上の他方のリンク先の画像ＩＤとを対応付けて記憶する。ベクトルデータ間にリンクを張ることにより、図４（ａ）に示すようにベクトル空間上のベクトルデータａ〜ｆの間にグラフ構造が形成される。

このグラフインデックスＤＢ７０のリンク情報により形成されるグラフ構造、即ち、該リンク情報を適宜「グラフインデックス」という。リンクとは、一つのデータから他のデータを辿ることができる情報である。リンクは一方向であってもよいが、図１に示すように、一方のリンク先を示すデータとその逆方向のリンク先を示すデータとを対に記憶して双方向に辿れる構成とすることで、データの検索速度を向上できる。

図４（ａ）においては、ベクトルデータを点（ａ〜ｆ）により表しており、多次元の特徴量空間にベクトルデータが分布している様子を示している。また、各ベクトルデータの間にリンクが設定され、実線により該リンクが表されている。以下の説明において、ベクトルデータを適宜「点」と称して説明する。

グラフ検索部４０は、グラフインデックスＤＢ７０に設定されているリンクを巡回することにより検索データに類似するデータを検索する。グラフ検索部４０は、図１に示すようにベクトルデータ生成部４１と、検索開始点決定部４３と、グラフ巡回部４５と、類似データ特定部４７とを備えて構成される。

ベクトルデータ生成部４１は、検索データ入力部２０又はデータ登録部５０から入力されたデータから多次元のベクトルデータとなる特徴量を抽出する。

検索開始点決定部４３は、検索データから抽出したベクトルデータに近接するグラフインデックス上の既存のベクトルデータを、検索開始点として決定する。グラフ検索部４０は、複数のベクトルデータのうちのいずれかを検索開始点として決定し、この検索開始点を起点としてリンクの巡回を始める。

グラフ巡回部４５は、既定の検索終了条件を満たすまで、検索開始点からグラフインデックスＤＢ７０に設定されているリンクを順次辿る処理を行う。

類似データ特定部４７は、グラフ巡回部４５が辿ったリンクの経路上にあるベクトルデータのうち、検索データに対して既定の距離内にあるベクトルデータを類似データとして特定する。この特定した類似データ、或いはそれに関連する情報が検索結果としてクライアント端末に送られる。

データ登録部５０は、登録データ入力部１０から入力された登録データを画像ＤＢ６０及びグラフインデックスＤＢ７０に登録する処理を行う。データ登録部５０は、登録データとして入力された画像データに新たな画像ＩＤを割り当てて、画像ＤＢ６０に記憶する。また、画像データから抽出したベクトルデータに画像ＩＤを対応付けて画像ＤＢ６０に記憶する。

図１によれば、データ登録部５０は、類似データ取得部５１と、マージ部５３と、リンク最適化部５５と、ＤＢ更新部５７とを備えて構成される。

類似データ取得部５１は、登録データ入力部１０から入力された登録データについての類似データを検索する要求をグラフ検索部４０に出力することで、登録データに類似するデータを取得する。この類似データは、適宜、登録データと対応付けてメモリ上に一時的に保持される。

また、類似データ取得部５１は、登録データに対して検索された類似データとの間にリンクを生成する。このリンクは、グラフインデックスＤＢ７０にデータを本登録する前に一時的に生成され、一時メモリ８０にグラフインデックスＤＢ７０と同一のデータ構造を有するデータテーブルを生成して記憶される。

マージ部５３は、複数の登録データの入力により、各登録データに対してそれぞれに検索された類似データとの間に生成されたリンク情報を一時メモリ８０上でマージする。また、マージ部５３は、一時メモリ８０においてリンク先として記憶された類似データについて、グラフインデックスＤＢ７０上において既にリンクが設定されているものは、その類似データに対するリンク先の情報を該グラフインデックスＤＢ７０から読み出して一時メモリ８０に記憶する。また、複数の登録データとの間にもリンクを生成して一時メモリ８０に記憶する。これにより、一時メモリ８０には、登録データと類似データとの間に生成したリンクと、類似データに対して既に設定されたリンクとが記憶される。

リンク最適化部５５は、グラフインデックスのグラフ構造が煩雑にならないようリンクの最適化を行う機能部である。類似データに対してリンク先を追加することにより、類似データからのリンク数が増加していき、これにより、グラフ検索部４０が巡回するリンクが増加してしまい、検索速度の低下を招く可能性がある。そのため、類似データからのリンク先を追加する際には、そのリンク数を適正に保つよう、リンク数の見直しを行う。

ＤＢ更新部５７は、リンク最適化部５５の処理結果に基づいて、登録データの画像ＤＢ６０及びグラフインデックスＤＢ７０へのデータ記憶と、グラフインデックスＤＢ７０のリンク情報の更新を行う。具体的には、登録データについての画像ＩＤとベクトルデータとをグラフインデックスＤＢ７０に登録する際に、類似データの画像ＩＤをリンク先として対応付けて記憶する。また、類似データの画像ＩＤに対したリンク先に、登録データの画像ＩＤを追加することで、登録データと類似データとの間に相互のリンクが形成される。

検索装置１は、グラフ構造を有する検索インデックスであるグラフインデックスＤＢ７０を生成し、グラフ構造上のリンクを辿ることにより検索データに類似するデータを検索する。また、登録データが入力された場合には、検索時に巡回する検索インデックスに登録データを新たに追加して、該登録データも巡回経路とすることによりその登録データの検索も可能になるように、自己生成的にグラフインデックスを形成していく。

〔検索装置の動作〕
次に、本実施形態における検索装置１がデータの登録時に行うグラフ自己生成処理の動作を、図２〜８を参照して詳細に説明する。このグラフ自己生成処理は、予め検索装置１のメモリ上に記憶されたプログラムに基づくことにより実行される。図２、３及び６は、検索装置１の動作の一例を示すフローチャートであり、図４、５、７及び８は、グラフインデックス上でのデータ検索並びにリンク最適化の処理の様子を示す図である。

〔グラフ自己生成処理〕
まず、検索装置１は、初期設定処理を行う（ステップＳ１）。ここでの初期設定は、データ登録を行った場合に新たに登録したデータに設定するリンク数や、リンク削減を行う際の閾値（リンク削減閾値）を予め設定する。

次に、登録データ入力部１０から登録データがデータ登録部５０に入力されると（ステップＳ２）、ベクトルデータ生成部４１は、登録データから特徴量を抽出することで、ベクトルデータを生成する（ステップＳ３）。このとき、複数の登録データが入力された場合には、その複数のデータのうち、所定数（例えば３つ）の登録データについてベクトルデータを生成する。

そして、類似データ取得部５１が登録データをグラフ検索部４０に出力してグラフ検索処理を行わせる（ステップＳ４）。このとき、複数の登録データが入力された場合には、グラフ検索処理を複数のＣＰＵを用いて並列処理により行うこととしてもよい。尚、図２においては、登録データが３つ入力された場合に、３プロセスによりグラフ検索処理Ａ〜Ｃを並列処理する例を示しているが、並列処理のプロセス数は適宜設計変更可能である。

〔グラフ検索処理〕
〔検索開始点決定処理〕
グラフ検索部４０がグラフ検索処理を開始すると、先ず、検索開始点決定部４３が、登録データに近接するベクトルデータを、検索開始点として決定する（ステップＳ４１）。図３は、検索開始点を決定するための処理の一例を示すフローチャートである。

検索開始点決定部４３は、先ず、グラフインデックスの中から任意の点（例えば、図４（ｂ）の点ａ）を選択し（ステップＳ４３０）、その選択した点（選択点）にリンクされた点（例えば、図４（ｃ）の点ｃ及びｄ）をグラフインデックスＤＢ７０に基づいて取得する（ステップＳ４３２）。

次に、そのリンクされた点に対する登録データとの特徴量空間における距離を算出する（ステップＳ４３４）。検索開始点決定部４３は、算出した距離の中で登録データと距離が最短の点を抽出し（ステップＳ４３６）、その点と登録データとの距離Ｄ２が、登録データと選択点との距離Ｄ１よりも小さいかを判定する（ステップＳ４３８、４４０）。図４（ｄ）において、選択点ａと登録データｇとの間の距離Ｄ１と、選択点ａとリンク先ｃとの間の距離Ｄ２とを比較すると、距離Ｄ２のほうが小さいと判定される。

検索開始点決定部４３は、距離Ｄ２が距離Ｄ１より小さいと判定した場合には（ステップＳ４４０；Ｙｅｓ）、ステップＳ４３６において抽出した点を選択して（ステップＳ４４２）、ステップＳ４３２に処理を移行する。

即ち、ステップＳ４３２〜Ｓ４４２のループ処理を行うことにより、最初に任意に選択した点からグラフインデックス上で登録データに近い点を選んでいくようにリンクを辿っていくこととなる。

検索開始点決定部４３は、ステップＳ４４０において、距離Ｄ２が距離Ｄ１よりも大きいと判定した場合には（ステップＳ４４０；Ｎｏ）、選択している点を検索開始点として決定する（ステップＳ４４４）。

図４（ｅ）においては、最初に選択された点ａから登録データｇに近い点が順次選択され、点ｃ→点ｂ→点ｄとリンクが巡回されて、登録データに最も近い点ｄが検索開始点として決定される。

尚、上述した検索開始点決定処理において、距離Ｄ２が距離Ｄ１よりも大きいとして検索開始点を決定した場合にも、その検索開始点が登録データを中心とした検索範囲よりも外にある場合がある。この場合、検索開始点が検索範囲外にあるので検索を開始することができない。そのため、ステップＳ４４４で決定した検索開始点が検索範囲外である場合には、新たにグラフインデックス内から任意点を選択して、検索開始点決定処理を所定回数行うことで検索範囲内の検索開始点を決定する。

また、ステップＳ４３０で任意選択する点をランダムに選択すると、検索開始点決定処理を繰り返し行った場合に、近接した点を再度選択してしまう可能性がある。その場合、その近接した点からリンクを辿ったとしても同経路のリンクを辿る可能性が高くなり、検索範囲内の検索開始点を決定することができない。

そのため、検索開始点決定処理を繰り返し行う場合には、過去に選択した点から所定距離離れた点を新たに選択することが好ましい。予めベクトル空間上で分散した点を複数特定しておきその中から任意点を選択することとしてもよい。これにより、検索範囲内の検索開始点を効率よく決定することができる。

［グラフの巡回］
上述のようにして検索開始点を決定すると、グラフ巡回部４５が、検索開始点を起点としてリンクを順次辿っていく（ステップＳ４３）。このとき、一つのベクトルデータからリンクが分岐している（つまり複数の進路がある）場合もあり、その場合には、辿った経路上にあったベクトルデータ、或いはそれを特定するための情報を、適宜の方法で検索装置１のメモリに記憶しておく。

［類似データの検索］
グラフ巡回部４５は、経路上のリンクを辿りながら、規定の検索終了条件を満たすかどうかを判断する（ステップＳ４５）。検索終了条件としては、種々のものが考えられる。例えば、以下の何れかの検索終了条件がありうる。

（検索終了条件１）
検索開始点を始点としてリンクを辿った結果が、登録データを中心とした所定の検索範囲（例えば、図５（ａ）の検索範囲）をα倍（α＞１）した範囲（すなわち検索限界範囲）を越えること。ここで、αは、例えば１．５など、適宜の値を採用することができる。αを大きくする程、検索もれを少なくできる。一方、αを小さくする程、検索時間を短縮できる。

リンクを辿って検索したデータの数が増えた場合に、αの値を減少させることで、検索を早期に終了させることができる。これにより、データの数が過大である場合でも、検索結果を早期に取得することができる。なお、αの値は、１以下にならないように設定することが、検索精度を高めるためには好ましい。但し、早期に検索を終了させたい場合は、α＜１とすることも可能である。

（検索終了条件２）
検索開始点を始点とするリンクを辿った結果が、登録データを中心とした検索範囲の外側において、リンクを、既定の回数だけ何れも辿ったこと。

ここで、既定の回数とは、例えば５回であるが、適宜の値を採用することができる。例えば、図５（ａ）において、点ｂから点ａを辿ると、検索範囲を超えてしまうが、検索範囲を超えてから更に１回リンクを辿ると点ｃに辿り着く。このように、検索範囲の外側での巡回数を設定することで、検索漏れを少なくできる。

一つの経路について検索終了条件を満たしたとき、他の経路におけるリンクを辿る。いずれの経路についても検索終了条件を満たしたとき、次のステップに移る。

類似データ特定部４７は、検索終了条件を満たすまでグラフの巡回を行い（ステップＳ４５→Ｓ４３）、検索終了条件を満たした場合は（ステップＳ４５；Ｙｅｓ）、巡回した点（ベクトルデータ）と、登録データとの距離を算出し、その距離に基づいてランキングした類似データを出力する（ステップＳ４７）。

例えば、図５（ａ）において検索開始点を点ｄとした場合は、リンク先である点ｂ、ｅ、ｆのリンクを辿り、図５（ｂ）のように次に点ｅにリンクされている点ｃに辿る。そして、図５（ｃ）のように点ｃから点ａに辿ると検索範囲を超える。この検索範囲を超えたことが検索終了条件である場合に、リンクの巡回を終了する。

そして、検索開始点の点ｄから辿った、点ｂ〜ｆそれぞれと登録データｇとの距離に基づいて類似データのランキングを得る。図５（ｃ）においては、点ｄ、ｂ、ｃ、ｅ、ｆといった順でランキングが得られる。

〔リンク生成処理〕
グラフ検索部４０による類似データの検索が終了すると、データ登録部５０の類似データ取得部５１が登録データと類似データとの間へのリンクの生成（図６（ａ）のフローチャート）を行う（ステップＳ５）。

類似データ取得部５１は、先ず、登録データ毎に得られた検索結果である類似データを取得し（ステップＳ５１）、その類似データと登録データとの間にリンクを生成する（ステップＳ５２）。登録データが複数である場合には、各登録データの入力に対応した類似データとの間にリンクを生成する。

類似データ取得部５１は、それぞれの登録データの間にもリンクを更に生成する（ステップＳ５３）。そして、検索結果の類似データについてのリンク情報をインデックスＤＢ７０から読み出す（ステップＳ５４）。類似データ取得部５１は、ステップＳ５２〜Ｓ５４により生成・読み出したリンクを一時メモリ８０に記憶して、それらをマージ（合併）する（ステップＳ５５）。

例えば、図７(ａ)のようにグラフ構造を有するデータ群に登録データＸ〜Ｚを登録する場合、登録データ毎にグラフ検索処理を行う。登録データＸについては、図７（ｂ）のように、点ａ〜ｃが検索結果として得られ、画像ＩＤとリンク先とを対応付けたリンクが生成される。登録データＹについては、図７（ｃ）のように点ａ、ｂ、ｄが得られる。また、登録データＺについては、図７（ｄ）のように点ｂ、ｄ、ｆが検索結果として得られる。

これらの検索結果の類似データについてのリンク情報がグラフインデックスＤＢ７０から読み出される。図７（ａ）〜（ｅ）において、破線は登録データに対して新たに生成されたリンクを示し、実線はグラフインデックスＤＢ７０上で既に設定記憶されているリンクを示している。例えば、登録データＸの検索結果として得られた点ａについては、点ｂ、ｃ及びｄがリンク先となるリンク情報が読み出される。また、登録データＸ〜Ｚのそれぞれの間にリンクが生成される。

図７（ｅ）には一時メモリ８０のデータ例を示している。図のように、一時メモリ８０には、登録データと類似データとの間のリンク、登録データ間のリンク、類似データに既に設定されているリンクが記憶されマージされる。

［リンク最適化処理］
次に、リンク最適化部５５が、図６（ｂ）に示すリンク最適化処理を行う（ステップＳ６）。本実施形態においてリンク最適化処理は、リンクが生成された類似データ（検索結果）をリンク削減対象として行われる。即ち、リンク削減対象のデータを取得し（ステップＳ６１）、そのデータについて一時メモリ８０上でのリンク数と、そのリンクの長さをグラフインデックスＤＢ７０と画像ＤＢ６０のベクトルデータとに基づいて取得する（ステップＳ６２）。そして、そのリンク数がリンク削減閾値以上であった場合には、リンクの長さに基づいてリンクの削減を行う（ステップＳ６３）。

このとき、リンクが生成された類似データにリンクされたデータのうち、距離の遠い順に削減する。例えば、リンク削減閾値が‘５’である場合、図８（ａ）においては、リンクが生成された点ａ〜ｄ、ｆのうち、点ｃとｄに設定されたリンク数が６以上となり、リンク削減閾値以上となる。従って、点ｃについては、リンクの中で最も距離の遠い点ｂとの間に設定されたリンクが削減される。また、点ｄについては、点ａと点ｃとのそれぞれ間に設定されたリンクが削減される。

〔データベース登録〕
ＤＢ更新部５７は、リンク最適化部５５によるリンク削減処理の結果に基づいて、グラフインデックスＤＢ７０のリンク情報を更新すると共に、登録データについてのリンク先もグラフインデックスＤＢ７０に追加記憶する。また、登録データ入力部１０より入力された登録データとそのベクトルデータとを画像ＤＢ６０に記憶する（ステップＳ７）。そして、登録データ入力部１０から入力されたデータに未処理のデータがある場合には（ステップＳ８；Ｙｅｓ）、ステップＳ３に処理を移行して、グラフ検索処理、リンクの生成、リンクの最適化を行う。また、新たなデータがない場合には（ステップＳ８；Ｎｏ）、グラフ自己生成処理を終了する。

また、詳細な説明は省略するが、検索データに対して類似するデータを検索して検索結果をクライアント端末に返す検索処理のみの場合は、検索データ入力部２０から入力される検索データに対して、上述したグラフ検索部４０によるグラフ検索処理を行う。そして、類似データ特定部４７により得られた類似データを距離に基づいてランキングした検索結果を表示データとして検索結果出力部３０が生成して、クライアント端末に返送する。

以上、第１実施形態によれば、グラフインデックスのデータ間のリンクを巡回して類似データを検索するという検索アルゴリズムを用いて、登録データに対する類似データを検索し、その類似データと登録データとの間に新たにリンクを生成することで、検索装置１がリンクを辿って検索しているグラフインデックスにデータ登録して、登録後に巡回するデータとしてリンクを形成していく。このように、検索装置１は、検索の際に巡回していくグラフインデックス上にデータの登録を行って、グラフインデックスを自己生成する。

また、複数の登録データが入力された場合には、各登録データについての類似データを高速に検索すると共に、各登録データの追加登録により生成されるリンク数の最適化を行ってからデータベース登録を行うことで、検索装置１は、データの登録の際に、グラフインデックスのリンク構造の最適化を行って、自己修復していく。

従って、グラフインデックスを用いた検索アルゴリズムにより、データベースの全てのデータとの距離を算出することなく、類似データを検索できるため、多次元のベクトルデータを記憶したデータベースに高速にデータ登録していくことができる。また、グラフインデックスのリンク数を最適に保っていくため、データの増加によってリンク構造が煩雑になって検索速度が低下してしまうことを防止できる。

〔第２実施形態〕
次に、検索装置１の第２実施形態について説明する。尚、上述した第１実施形態と同一の機能構成、同一の処理ステップには、説明を省略する。第２実施形態における検索装置１は、図２におけるリンク最適化処理を図９に示すフローチャートによるリンク最適化処理に置き換えることにより実現される。以下、図１０のリンク最適化処理の様子を示す図を参照しつつ、リンク最適化処理について説明する。尚、図９のリンク構造の図示において、説明の簡略化のため、図１０（ｂ）以降のデータ間のリンクの図示を破線により適宜省略している。

上述したように、グラフインデックスを用いた検索アルゴリズムでは、ベクトルデータ間のリンクを巡回していくことにより、類似データを探索するが、リンク切れが生じてしまうと、ベクトルデータの孤立により巡回できなくなってしまう。第２実施形態の検索装置１は、そのリンク削減を行う際に、そのリンクの修復を行うものである。

先ず、リンク最適化部５５は、削減対象のリンクが設定された点について、その点にリンクされた全て点の中から該リンクを保持する点（リンク保持点）を特定する（ステップＳ６１）。このリンク保持点の特定は、例えば、削減対象の点との距離が近いものから所定数の点としてもよいし、所定距離内にある点としてもよい。また、削減対象の点をリンク保持点に含めても良い。

図１０（ａ）においては、削減対象の点ａに対して、距離の近い５つの点ｂ、ｃ、ｄ、ｅ、ｆをリンク保持点として特定している。そして、削減対象点にリンクされた点のうち、リンク保持点以外の点をリンクの修復対象として、その修復対象点の中から一つずつ選択していく（ステップＳ６２）。図１０（ａ）では、点ｇを修復対象点として選択している。

次に、リンク最適化部５５は、修復対象点と各リンク保持点との距離を算出し（ステップＳ６３）、その算出した距離の中から最短距離を有するリンク保持点と、修復対象点との間に新たなリンクを設定する（ステップＳ６４）。

例えば、図１０（ｂ）のように、修復対象点ｇと、リンク保持点ｂ〜ｆのそれぞれとの距離を算出し、図１０（ｃ）のように、最短の距離となったリンク保持点ｅと修復対象点ｇとの間に新たなリンクを設定する。尚、修復対象点と、リンク保持点との間に既にリンクが設定されている場合には、リンクの設定を行わなくとも良い。

リンク最適化部５５は、リンクの設定を行った修復対象点と、削減対象点との間に設定されているリンクを解除する（ステップＳ６５）。図１０（ｄ）において、点ａと点ｇとの間のリンクが解除される。

次に、リンク保持点以外の削減対象点にリンクされた点、即ち、修復対象点の中でステップＳ６２〜Ｓ６５の修復処理を全ての点に対して行った場合には（ステップＳ６６；Ｎｏ）、リンク最適化処理を終了し、修復しいない点がある場合には（ステップＳ６６；Ｙｅｓ）、ステップＳ６２に処理を移行する。

図１０（ａ）においてリンク保持点として特定された点ｂ〜ｆ以外の点について削減対象点に対するリンクが解除されても、図１０（ｅ）のようにそれぞれリンク保持点に対してリンクが設定されるため、リンク切れが生ずることを防止できる。

以上のように、第２実施形態によれば、リンクの削減対象点と修復対象点とのリンクが解除されても、修復対象点からリンク保持点に対してのリンクが確保されるため、リンク切れが発生することを防止できる。従って、グラフインデックスのリンク削除を行う場合にも、検索性能の低下を防止できる。

〔第３実施形態〕
次に、検索装置１の第３実施形態について説明する。尚、上述した第１実施形態と同一の機能構成、同一の処理ステップには、説明を省略する。第３実施形態における検索装置１の機能構成を示すブロック図を図１１に示す。

第３実施形態における検索装置１は、グラフインデックスＤＢ７０として、主インデックス７２と、暫定インデックス７４とを備える。主インデックス７２と、暫定インデックス７４とは、図１に示したデータ構成と同様であり、画像ＩＤと、リンク先とを対応付けてリンク情報として記憶する。

暫定インデックス７４は、主インデックス７２に本登録する前に暫定的にリンク情報を記憶しておくデータベースであり、データ数が主インデックス７２に対して十分に少ない数で設定されている。

インデックスＤＢ７０の登録データ数が膨大になると、インデックスＤＢ７０のグラフ構造が複雑になると共に巡回するリンクも増し、類似データの検索の処理時間が次第に増していく。そのため、類似データの検索を行って、データ登録を行うという２段階の処理を有する検索装置１において、複数のデータが入力されると、データ検索の待ち時間が発生しするということがありえる。

そのため、第３実施形態における検索装置１は、暫定インデックス７４という主インデックス７２よりもデータ数の制限されたインデックスを設け、複数の登録データが入力される場合には、一旦、暫定インデックス７４に対して登録を行う。そして、適宜な時間帯に暫定インデックス７４に登録した複数の登録データを上述した手法を用いて、主インデックス７２に登録する。

第３実施形態において、データ登録部５０は、インデックス切替部５２と、追加登録判定部５４とを更に有して構成される。インデックス切替部５２は、主インデックス７２と暫定インデックス７４との何れかを選択して、ＤＢ更新部５７がリンク情報を更新・登録するデータベースの対象を切り替える制御を行う。具体的には、登録データ入力部１０から新たに入力された登録データである場合には、暫定インデックス７４への登録を行う。また、暫定インデックス７４から入力された複数の登録データである場合には、主インデックス７２への登録を行う。

追加登録判定部５４は、暫定インデックス７４に登録されているデータを主インデックス７２に登録するか否かの判定を行う。判定の基準としては、例えば、暫定インデックス７４に登録されたデータ数が規定数（例えば１００件）に達することとしてもよい。また、所定の時間（例えば深夜０時）に達することを基準としてもよい。

第３実施形態の検索装置１は、登録データが入力されると、先ず、上述したグラフ自己生成処理を行って暫定インデックス７４にリンク情報を記憶する。このとき、主インデックスよりもデータ数が少ないので、高速なデータ登録が行える。

また、登録データの入力時に、例えば、暫定インデックス７４のデータ数が予め指定された規定数を超えた場合には、暫定インデックス７４に記憶されたベクトルデータを登録データとして入力して、主インデックス７２に移し変える。

即ち、暫定インデックス７４内の個々のベクトルデータ（登録データ）に対する類似データを主インデックス７２から検索し、その類似データにリンクすべきベクトルデータを特定する。そして、暫定インデックス７４の複数のベクトルデータに対して検索した類似データとの間にリンクを生成して、上述したようにリンクのマージ・削減処理を行って主インデックス７２にベクトルデータをリンク先とを記憶し、暫定インデックス７４内のデータを削除する。

また、グラフ検索部４０は、暫定インデックス７４にデータが記憶されている場合、主インデックス７２と暫定インデックス７４の両方を検索し、それぞれの検索結果をマージする。検索時には二つのインデックスを検索することになるが、暫定インデックスのサイズは小さいので、検索速度の低下は少ない。

このように、主インデックス７２への登録前に暫定インデックス７４に事前登録することで、データ登録を即座にグラフインデックスＤＢ７０に反映させて、データ検索が可能となる。また、暫定インデックス７４から主インデックス７２への登録をバッチ処理として行うことで、全データにリンクの張られたグラフインデックスＤＢ７０を定期的に作成することができる。尚、グラフ登録時の各登録データに対するグラフ検索処理を並列で行うことで、データ登録を高速に行なえる。

次ぎに、上述した実施形態における変形例を説明する。
［変形例１］
登録データのベクトルデータと同一のベクトルデータが既にグラフインデックスＤＢ７０に記憶されている場合には、グラフインデックスＤＢ７０には記憶せずに、画像ＤＢ６０にのみ記憶し、既に記憶されている同一のベクトルデータに関連付けることができる。この場合、グラフインデックスＤＢ７０には、画像ＩＤの他に、同一ベクトルデータを有する画像データの画像ＩＤを関連ＩＤとして記憶するデータ項目を新たに設ける。

データ検索の際に、類似データとして検索したデータに関連ＩＤが対応付けられている場合には、その関連ＩＤで示される画像データも検索結果として出力することができる。このため、同一のベクトルデータの登録によりグラフインデックスの構造が煩雑化して検索速度が低下してしまうことを防止できる。

［変形例２］
グラフ検索処理の検索範囲を、登録データを中心とした規定の距離により定めたが、検索開始点から巡回する検索数により定めることとしてもよい。即ち、上述した方法により検索開始点を決定し、その検索開始点からリンクを辿る。このとき、リンクの巡回により所定の検索数（例えば、１０個）のデータを収集する。そして、収集した各データと登録データの距離の順に各データをソートして巡回したデータのリストを得る。このリストにおいて検索数分のベクトルデータを保持し、登録データに対して最遠のベクトルデータに対応する距離を、検索範囲として更新していく。

即ち、検索終了条件を満たさない限りリンクを辿り、上記のリスト内のデータよりも登録データに近いデータが見つかった場合には、その距離順に上記リストに追加する。そして、このデータ追加によりリスト内において更新された最遠のデータに応じて検索範囲が更新される。これにより、検索数分のデータの収集に応じて、登録データとの距離が近いデータでリストが更新されていくことで、検索範囲を狭めていくことができる。このため、検索数の指定に応じて、検索範囲を動的に定めることができる。また、近いデータが検索されるたびに、検索範囲を狭めることができるので、検索精度を維持しつつ、検索速度を向上させることができる。

［変形例３］
上述の変形例２の手法を用いて、検索開始点の決定のためのリンク巡回する範囲を定めることとしてもよい。即ち、グラフインデックスから任意の点を選択して最近傍の点を特定する処理を、検索数を１個としたグラフ検索処理と見なして、リンク巡回することで検索される登録データにより近いデータを１つ収集して保持・更新することで、そのデータと登録データとの距離を検索範囲の半径として動的に定めていく。

リンクを巡回する際には、動的に定めた検索範囲を超えないようにデータを選択していく。このため、検索開始点を特定するためにリンクを辿りながら、検索範囲を狭めていくことができ、検索開始点特定までの時間を短くできる。

また、検索範囲をα倍（α＞１）した範囲（検索限界範囲）を越えない範囲でリンクを巡回することにより、登録データに近いデータがリンクされていない場合があっても、巡回する範囲が広がるため、最適な検索開始点の特定することができるようになる。

［変形例４］
検索開始点を決定する際に巡回したデータが最終的な検索結果となり得る可能性があるため、図３のステップＳ４３４において算出した距離を巡回履歴としてメモリに保持しておき、グラフ検索においてその巡回履歴を参照することで、距離の算出処理を省略することができる。

尚、上述した各実施形態の動作は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

第１実施形態における検索装置の機能構成の一例を示すブロック図。第１実施形態におけるグラフ自己生成処理の処理内容を説明するためのフローチャート。第１実施形態における検索開始点決定の処理フローを説明するためのフローチャート。第１実施形態における検索開始点の決定の処理の具体例を示す模式図。第１実施形態における類似データを検索の処理の具体例を示す模式図。第１実施形態における仮リンク生成処理及びリンク最適化処理の処理内容の具体例を示す模式図。第１実施形態におけるリンク生成処理の具体例を示す模式図。第１実施形態におけるリンク最適化処理の具体例を示す模式図。第２実施形態におけるリンク最適化処理の処理内容の具体例を示す模式図。第２実施形態におけるリンク最適化処理の具体例を示す模式図。第３実施形態における検索装置の機能構成を示すブロック図。

１検索装置
１０登録データ入力部
２０検索データ入力部
３０検索結果出力部
４０グラフ検索部
４１ベクトルデータ生成部
４３検索開始点決定部
４５グラフ巡回部
４７類似データ特定部
５０データ登録部
５１類似データ取得部
５３マージ部
５５リンク最適化部
５７ＤＢ更新部
６０画像ＤＢ
７０グラフインデックスＤＢ
７２主インデックス
７４暫定インデックス

Claims

一方のデータから他方のデータに辿るためのリンクがデータ間に設定されて該データが複数記憶されたデータベースと、
入力された検索対象のデータに対して、前記データベースに記憶されたデータのうちの何れかを検索開始点として選択し、該検索開始点から前記リンクを順次辿ることによって、該リンクを辿る経路上にあるデータのうち、検索対象のデータと既定の距離内にあるデータを類似データとして検索し出力するグラフ検索手段と、
前記データベースへの登録対象となるデータを前記検索対象として前記グラフ検索手段に入力することにより、該登録対象のデータに対する類似データを取得し、該登録対象のデータと類似データとの間にリンクを生成する類似データ取得手段と、
複数の登録対象データに対して前記類似データ取得手段がそれぞれ生成したリンクをマージするマージ手段と、
前記マージ手段がマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとに削減処理を行うリンク最適化手段と、
前記削減処理の結果に基づいて前記データベースのリンク情報を更新すると共に、前記登録対象のデータを前記データベースに記憶するデータ更新手段と、
を備えることを特徴とする検索データ管理装置。
前記リンク最適化手段は、
前記マージ手段がマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとの総数に基づいて、前記削減処理を行うことを特徴とする請求項１に記載の検索データ管理装置。
前記リンク最適化手段は、
前記マージ手段がマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとの長さに基づいて、前記削減処理を行うことを特徴とする請求項１又は２に記載の検索データ管理装置。
前記リンク生成手段は、
前記複数の登録対象のデータのそれぞれの間にリンクを更に生成することを特徴とする請求項１〜３の何れかに記載の検索データ管理装置。
一方のデータから他方のデータに辿るためのリンクがデータ間に設定されて該データが複数記憶されたデータベースをコンピュータが検索対象のデータ群としてデータ管理する検索データ管理方法において、
入力された検索対象のデータに対して、前記データベースに記憶されたデータのうちの何れかを検索開始点として選択し、該検索開始点から前記リンクを順次辿ることによって、該リンクを辿る経路上にあるデータのうち、検索対象のデータと既定の距離内にあるデータを類似データとして検索し出力するグラフ検索工程と、
前記データベースへの登録対象となるデータを前記検索対象として前記グラフ検索手段に入力することにより、該登録対象のデータに対する類似データを取得し、該登録対象のデータと類似データとの間にリンクを生成する類似データ取得工程と、
複数の登録対象データに対して前記類似データ取得工程がそれぞれ生成したリンクをマージするマージ工程と、
前記マージ工程においてマージしたリンクと、前記リンクが生成されたデータに前記データベース上で既に設定されたリンクとに削減処理を行うリンク最適化工程と、
前記削減処理の結果に基づいて前記データベースのリンク情報を更新すると共に、前記登録対象のデータを前記データベースに記憶するデータ更新工程と、
を含むことを特徴とする検索データ管理方法。
請求項５に記載の検索データ管理方法の処理をコンピュータに実行させるためのプログラム。