JP5514220B2 - 検索装置、及びシステム - Google Patents

検索装置、及びシステム Download PDF

Info

Publication number
JP5514220B2
JP5514220B2 JP2011533981A JP2011533981A JP5514220B2 JP 5514220 B2 JP5514220 B2 JP 5514220B2 JP 2011533981 A JP2011533981 A JP 2011533981A JP 2011533981 A JP2011533981 A JP 2011533981A JP 5514220 B2 JP5514220 B2 JP 5514220B2
Authority
JP
Japan
Prior art keywords
search
result
unit
storage unit
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011533981A
Other languages
English (en)
Other versions
JPWO2011039841A1 (ja
Inventor
博 新名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Publication of JPWO2011039841A1 publication Critical patent/JPWO2011039841A1/ja
Application granted granted Critical
Publication of JP5514220B2 publication Critical patent/JP5514220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、検索に関する。
従来から、検索対象データを分散して管理する複数の管理装置と、各管理装置に検索を要求するとともに各管理装置の検索結果を集約する検索装置と、を備えるシェアードナッシング構成の分散検索システムが知られている(例えば、非特許文献1参照)。
クライアント装置からの検索要求に対して大量の検索対象データが検索される場合に、各管理装置の検索結果を検索装置で全て保持するとなると、メモリに多くの記憶容量が必要になる。このため、従来の分散検索システムでは、検索装置は、クライアント装置から集約結果の取得が要求される毎に各管理装置に検索結果を要求し、要求した検索結果を集約して、クライアント装置に返却していた。
M. TAMER OZSU et al., 「Principle of DISTRIBUTED DATABASE SYSTEMS」, PRENTICE HALL; Second Edition, 1999. 13.2.3 Parallel System Architectures, pp.424−430
しかしながら、従来の検索システムでは、集約結果の取得に時間を要してしまう。
本発明は、上記に鑑みてなされたものであり、記憶容量を増加せずに集約結果の取得時間を短縮することができる検索装置、及びシステムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる検索装置は、クライアント装置から検索命令を受信する命令受信部と、前記検索命令を解析し、検索対象データを分散して管理する複数の管理装置それぞれに対する検索要求を作成する解析部と、前記検索要求に対する検索結果を一時的に記憶する結果記憶部に記憶されている前記検索結果のデータ量に応じて、前記検索結果の要求が許可される第1許可状態と前記検索結果の要求が禁止される第1禁止状態とを切り替える第1切替部と、前記管理装置それぞれに前記検索要求を送信するとともに、前記第1許可状態である場合に所定サイズ分の前記検索結果を要求する結果要求を前記管理装置それぞれに逐次送信する要求送信部と、前記管理装置それぞれから前記所定サイズ分の前記検索結果を逐次受信して、前記結果記憶部に記憶する結果受信部と、前記結果記憶部に記憶されている前記検索結果を集約して集約結果を生成し、集約済みの前記検索結果を前記結果記憶部から削除する集約部と、前記集約結果を前記クライアント装置に送信する集約結果送信部と、を備えることを特徴とする。
また、本発明の別の態様にかかる検索システムは、上記検索装置と、前記検索装置とネットワークを介して接続される複数の前記管理装置と、を備える検索システムであって、前記管理装置のそれぞれは、前記検索装置から前記検索要求を受信するとともに、前記結果要求を逐次受信する要求受信部と、前記検索対象データを記憶するデータ記憶部から、前記検索要求を満たす前記検索対象データの記憶位置を示すアドレスを逐次検索する検索部と、前記データ記憶部から取得される前記検索対象データを一時的に記憶する一時記憶部に記憶されている前記検索対象データのデータ量に応じて、前記検索対象データの取得が許可される第2許可状態と前記検索対象データの取得が禁止される第2禁止状態とを切り替える第2切替部と、前記第2許可状態である場合に、検索された前記アドレスが示す前記検索対象データを前記データ記憶部から取得して、前記一時記憶部に記憶する取得部と、前記結果要求が受信される毎に、前記一時記憶部から前記所定サイズ分の前記検索対象データを取得し、取得した前記検索対象データを前記検索結果として前記検索装置に送信し、送信済みの前記検索対象データを前記一時記憶部から削除する検索結果送信部と、を備えることを特徴とする。
本発明によれば、記憶容量を増加せずに集約結果の取得時間を短縮することができるという効果を奏する。
本実施形態の検索システムの概略を示すブロック図。 本実施形態の検索システムの詳細を示すブロック図。 本実施形態の検索装置の状態遷移図。 本実施形態の管理装置の状態遷移図。 本実施形態の検索装置の処理手順を示すフローチャート。 本実施形態の管理装置の処理手順を示すフローチャート。
以下、添付図面を参照しながら、本発明の検索システムの実施形態を詳細に説明する。
図1は、本実施形態の検索システム1の概略構成の一例を示すブロック図である。図1に示すように、検索対象データを分散して管理する複数の管理装置3と、各管理装置3に検索を要求するとともに各管理装置3の検索結果を集約する検索装置2とを備える。検索装置2及び複数の管理装置3は、ネットワーク4を介して接続されている。
本実施形態の検索システム1は、いわゆるシェアードナッシング構成の分散検索システムであり、複数の管理装置3は、それぞれ独立して計算機リソースを備えている。つまり、各管理装置3は、他の管理装置と計算機リソースを共有せず、それぞれ独立に検索対象データを管理している。各管理装置3で管理する検索対象データは、検索システム1で管理する検索対象データの全体集合を部分集合に分割したものである。なお本実施形態では、検索装置2の台数が1台、管理装置3の台数が100台である場合を例にとり説明するが、検索装置2及び管理装置3の台数はこれに限定されるものではない。
また、ネットワーク4には、検索装置2に対して検索を命令するとともに検索装置2の集約結果を受信するクライアント装置5が接続されている。なお、ネットワーク4は、有線若しくは無線、またLAN(Local Area Network)や公衆通信回線を問わず、どのようなネットワークであってもよい。
図2は、本実施形態の検索システム1の詳細構成の一例を示すブロック図である。図2に示すように、検索装置2は、通信部10と、記憶部20と、解析部30と、第1切替部32と、集約部34とを備える。
通信部10は、ネットワーク4を介してクライアント装置5や複数の管理装置3との間で通信を行うものであり、例えば、通信インターフェースなどの既存の通信装置やCPU(Central Processing Unit)などの既存の制御装置により実現できる。そして、通信部10は、命令受信部12と、要求送信部14と、結果受信部16と、集約結果送信部18とを含む。なお、これらの各部の詳細については後述する。
記憶部20は、検索装置2で実行される各種プログラムや検索装置2で行われる各種処理に使用される情報などを記憶する。記憶部20は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、光ディスク、ROM(Read Only Memory)、RAM(Random Access Memory)などの磁気的、光学的、又は電気的に記憶可能な既存の記憶装置により実現できる。そして、記憶部20は、結果記憶部22を含む。なお、結果記憶部22の詳細については後述する。
命令受信部12は、クライアント装置5から検索命令を受信する。検索命令は、検索システム1で管理されている全ての検索対象データ(全体集合)を検索対象とする命令である。また、命令受信部12は、クライアント装置5から、後述の集約部34により集約される集約結果の送信を指示する送信命令を受信する。
解析部30は、命令受信部12により受信された検索命令を解析し、各管理装置3に対する検索要求を作成する。つまり、解析部30は、命令受信部12により受信された検索命令を各管理装置3で管理される検索対象データ(部分集合)に対する検索要求に分割する。例えば、解析部30は、検索命令を解析した結果、“patent”という名称のデータベースに記憶されている検索対象データが全て必要であると判断したとする。この場合、解析部30は、“patent”というデータベースを管理する管理装置3に対して、db(“patent”)/patentという検索式を検索要求として作成する。なお、この例では、“patent”というデータベースのルートフォルダ(ルートディレクトリ)は、patentとなっている。
また、解析部30は、作成した各検索要求に対する検索結果を集約するための集約ルールを作成する。
結果記憶部22は、解析部30により作成された検索要求に対する検索結果を一時的に記憶するものであり、本実施形態では、RAMにより実現される。
第1切替部32は、結果記憶部22に記憶されている検索結果のデータ量に応じて、検索結果の要求が許可される第1許可状態と検索結果の要求が禁止される第1禁止状態とを切り替える。
具体的には、第1切替部32は、第1許可状態時に結果記憶部22に記憶されている検索結果のデータ量が第1閾値以上となった場合に、第1許可状態から第1禁止状態に切り替える。また、第1切替部32は、第1禁止状態時に結果記憶部22に記憶されている検索結果のデータ量が第1閾値より小さい第2閾値以下となった場合に、第1禁止状態から第1許可状態に切り替える。
また、第1切替部32は、第1許可状態である場合、結果記憶部22に記憶されている検索結果のデータ量を参照して、後述の要求送信部14により要求される検索結果の要求サイズを決定する。具体的には、第1切替部32は、第1閾値から結果記憶部22に記憶されている検索結果のデータ量を差し引いた空き容量を参照して、検索結果の要求サイズを決定する。例えば、第1切替部32は、第1閾値が1GBであり、結果記憶部22に記憶されている検索結果のデータ量が0Bの場合、100台の管理装置3それぞれに対する検索結果の要求サイズを10MBに決定する。
なお本実施形態では、第1許可状態であるか第1禁止状態であるかは、記憶部20に記憶されているフラグなどにより管理されている。そして、第1切替部32は、このフラグを切り替えることにより、第1許可状態及び第1禁止状態を切り替える。また本実施形態では、第1閾値及び第2閾値は、予め記憶部20などに記憶されているものとする。
要求送信部14は、各管理装置3に解析部30により作成された検索要求を送信する。また、要求送信部14は、第1許可状態である場合に所定サイズ分の検索結果を要求する結果要求を各管理装置3に逐次送信する。なお、所定サイズ(要求サイズ)は、前述したように、第1切替部32により決定される。
結果受信部16は、各管理装置3から所定サイズ分の検索結果を逐次受信して、結果記憶部22に記憶する。また、結果受信部16は、管理装置3が検索結果を全て送信した場合、当該管理装置3から、検索結果を全て送信したことを示す送信終了情報を受信する。結果受信部16により送信終了情報が受信されると、第1切替部32は、送信終了情報を送信した管理装置3を検索結果の要求対象から除外する。
集約部34は、結果記憶部22に記憶されている検索結果を集約して集約結果を生成し、集約済みの検索結果を結果記憶部22から削除する。具体的には、集約部34は、命令受信部12により送信命令が受信される毎に、解析部30により作成された集約ルールに従って検索結果を集約する。
集約結果送信部18は、集約部34により生成された集約結果をクライアント装置5に送信する。
なお、解析部30、第1切替部32、及び集約部34については、例えば、既存の制御装置により実現できる。また本実施形態では、結果受信部16、及び集約部34は、並列動作するよう構成されている。
図3は、本実施形態の検索装置2の状態遷移の一例を示す状態遷移図である。なお、図3に示す例では、第1閾値が1GBであり、第2閾値が700MBである場合の状態遷移を示している。
まず、検索装置2が処理を開始する時点では、結果記憶部22には検索結果が記憶されていない。このため、第1切替部32は、結果記憶部22に記憶されている検索結果のデータ量は1GB未満と判定し、第1許可状態に設定する(矢印40参照)。
第1許可状態では、検索結果の要求が許可されるため、要求送信部14は、各管理装置3に結果要求を逐次送信する。これに伴い、結果受信部16は、各管理装置3から検索結果を逐次受信して、結果記憶部22に記憶する。一方、集約部34は、クライアント装置5からの送信命令に従って、結果記憶部22に記憶されている検索結果を集約して集約結果を生成し、集約済みの検索結果を結果記憶部22から削除する。但し、クライアント装置5からの送信命令は、逐次行われるとは限らない。このため、第1許可状態では、結果記憶部22から削除される検索結果よりも結果記憶部22に新たに記憶される検索結果の方が多くなる傾向にあり、結果記憶部22に記憶される検索結果のデータ量も増加する傾向にある。
第1許可状態は、第1切替部32により結果記憶部22に記憶されている検索結果のデータ量が1GB未満と判定されている間、継続する(矢印41参照)。そして、第1切替部32は、結果記憶部22に記憶されている検索結果のデータ量が1GB以上であると判定すると、第1許可状態から第1禁止状態に切り替える(矢印42参照)。
第1禁止状態では、検索結果の要求が禁止されるため、要求送信部14は、管理装置3への結果要求の送信を停止する。これに伴い、管理装置3からの検索結果の送信も停止され、結果受信部16による結果記憶部22への検索結果の記憶も停止される。一方、集約部34は、第1禁止状態においても、クライアント装置5からの送信命令に従って、結果記憶部22に記憶されている検索結果を集約して集約結果を生成し、集約済みの検索結果を結果記憶部22から削除する。このため、第1禁止状態では、結果記憶部22に記憶されている検索結果のデータ量は減少する傾向にある。
第1禁止状態は、第1切替部32により結果記憶部22に記憶されている検索結果のデータ量が700MBを超えていると判定されている間、継続する(矢印43参照)。そして、第1切替部32は、結果記憶部22に記憶されている検索結果のデータ量が700MB以下であると判定すると、第1禁止状態から第1許可状態に切り替える(矢印44参照)。
図2に戻り、管理装置3は、通信部50と、記憶部60と、検索部70と、第2切替部72と、取得部74とを備える。
通信部50は、ネットワーク4を介して検索装置2との間で通信を行うものであり、例えば、既存の通信装置や既存の制御装置により実現できる。そして、通信部50は、要求受信部52と、検索結果送信部54とを含む。なお、これらの各部の詳細については後述する。
記憶部60は、管理装置3で実行される各種プログラムや管理装置3で行われる各種処理に使用される情報などを記憶するものであり、検索装置2同様、既存の記憶装置により実現できる。そして、記憶部60は、データ記憶部62と、一時記憶部64とを含む。なお、これらの各部の詳細については後述する。
要求受信部52は、検索装置2から検索要求を受信する。また、要求受信部52は、検索装置2から結果要求を逐次受信する。
データ記憶部62は、検索対象データを記憶するものであり、例えば、HDDなどにより実現できる。データ記憶部62は、XML(Extensible Markup Language)文書のような構造化文書を管理するデータベースや、RDB(relational database)などとして機能する。
検索部70は、データ記憶部62から検索要求を満たす検索対象データの記憶位置を示すアドレスを逐次検索する。例えば、検索部70は、要求受信部52によりdb(“patent”)/patentという検索要求が受信された場合には、データ記憶部62からこの検索要求を満たす検索対象データのアドレスを逐次検索する。
一時記憶部64は、後述の取得部74によりデータ記憶部62から取得される検索対象データを一時的に記憶するものであり、本実施形態では、RAMにより実現される。
第2切替部72は、一時記憶部64に記憶されている検索対象データのデータ量に応じて、検索対象データの取得が許可される第2許可状態と検索対象データの取得が禁止される第2禁止状態とを切り替える。
具体的には、第2切替部72は、第2許可状態時に一時記憶部64に記憶されている検索対象データのデータ量が第3閾値以上となった場合に、第2許可状態から第2禁止状態に切り替える。また、第2切替部72は、第2禁止状態時に一時記憶部64に記憶されている検索対象データのデータ量が第3閾値より小さい第4閾値以下となった場合に、第2禁止状態から第2許可状態に切り替える。なお本実施形態では、第3閾値及び第4閾値は、予め設定されているものとする。
なお本実施形態では、第2許可状態であるか第2禁止状態であるかは、記憶部60に記憶されているフラグなどにより管理されている。そして、第2切替部72は、このフラグを切り替えることにより、第2許可状態及び第2禁止状態を切り替える。また本実施形態では、第3閾値及び第4閾値は、予め記憶部60に記憶されているものとする。
取得部74は、第2許可状態である場合に、検索部70により検索されたアドレスが示す検索対象データをデータ記憶部62から取得して、一時記憶部64に記憶する。取得部74による検索対象データの取得は、第2許可状態時のみ行われるが、検索部70による検索対象データのアドレスの検索は、第2許可状態及び第2禁止状態に関わらず、検索が終了するまで継続して行われる。なお、検索対象データのデータサイズは、アドレスのデータサイズよりも数百から数百万倍程度大きなサイズとなる。特に、データ記憶部62が構造化文書を管理するデータベースである場合、検索対象データのデータサイズは、アドレスのデータサイズよりも著しく大きくなる傾向にある。
検索結果送信部54は、要求受信部52により結果要求が受信される毎に、一時記憶部64から結果要求で指定された所定サイズ分の検索対象データを取得し、取得した検索対象データを検索結果として検索装置2に送信し、送信済みの検索対象データを一時記憶部64から削除する。例えば、検索結果送信部54は、要求受信部52により10MB分の検索結果を要求する結果要求が受信された場合には、一時記憶部64から10MB分の検索対象データを取得して検索装置2に送信し、送信済みの検索対象データを一時記憶部64から削除する。また、検索結果送信部54は、取得部74により取得される検索対象データを全て送信した場合、検索結果を全て送信したことを示す送信終了情報を検索装置2に送信する。
なお、検索部70、第2切替部72、及び取得部74については、例えば、既存の制御装置により実現できる。また本実施形態では、検索部70、取得部74、及び検索結果送信部54は、並列動作するよう構成されている。
図4は、本実施形態の管理装置3の状態遷移の一例を示す状態遷移図である。なお、図4に示す例では、第3閾値が100MBであり、第4閾値が50MBである場合の状態遷移を示している。
まず、管理装置3が処理を開始する時点では、一時記憶部64には検索対象データが記憶されていない。このため、第2切替部72は、一時記憶部64に記憶されている検索対象データのデータ量は100MB未満と判定し、第2許可状態に設定する(矢印80参照)。
第2許可状態では、検索対象データの取得が許可されるため、取得部74は、検索部70により検索されたアドレスが示す検索対象データをデータ記憶部62から逐次取得して、一時記憶部64に記憶する。一方、検索結果送信部54は、要求受信部52により結果要求が受信される毎に、一時記憶部64から所定サイズ分の検索対象データを取得し、取得した検索対象データを検索結果として検索装置2に送信し、送信済みの検索対象データを一時記憶部64から削除する。但し、検索装置2が第1許可状態である場合には、検索装置2から結果要求は送信されず、要求受信部52は、結果要求を受信しない。このため、第2許可状態では、一時記憶部64から削除される検索対象データよりも一時記憶部64に新たに記憶される検索対象データの方が多くなる傾向にあり、一時記憶部64に記憶される検索対象データのデータ量も増加する傾向にある。
第2許可状態は、第2切替部72により一時記憶部64に記憶されている検索対象データのデータ量が100MB未満と判定されている間、継続する(矢印81参照)。そして、第2切替部72は、一時記憶部64に記憶されている検索対象データのデータ量が100MB以上であると判定すると、第2許可状態から第2禁止状態に切り替える(矢印82参照)。
第2禁止状態では、検索対象データの取得が禁止されるため、取得部74は、データ記憶部62からの検索対象データの取得及び一時記憶部64への検索対象データの記憶を停止する。一方、検索結果送信部54は、第2禁止状態においても、要求受信部52により結果要求が受信されると、一時記憶部64から所定サイズ分の検索対象データを取得し、取得した検索対象データを検索結果として検索装置2に送信し、送信済みの検索対象データを一時記憶部64から削除する。このため、第2禁止状態では、一時記憶部64に記憶されている検索対象データのデータ量は減少する傾向にある。
第2禁止状態は、第2切替部72により一時記憶部64に記憶されている検索対象データのデータ量が50MBを超えていると判定されている間、継続する(矢印83参照)。そして、第2切替部72は、一時記憶部64に記憶されている検索対象データのデータ量が50MB以下であると判定すると、第2禁止状態から第2許可状態に切り替える(矢印84参照)。
図5は、本実施形態の検索装置2で行われる処理の手順の流れの一例を示すフローチャートである。
ステップS10では、命令受信部12は、クライアント装置5から検索命令を受信する。
ステップS12では、解析部30は、命令受信部12により受信された検索命令を解析し、各管理装置3に対する検索要求を作成する。
ステップS14では、要求送信部14は、各管理装置3に解析部30により作成された検索要求を送信する。
ステップS16では、第1切替部32は、第1許可状態であるか第1禁止状態であるかを確認し、第1許可状態である場合には(ステップS16でYes)ステップS18に進み、第1禁止状態である場合には(ステップS16でNo)ステップS24に進む。
ステップS18では、第1切替部32は、結果受信部16により受信される送信終了情報(ステップS24参照)を参照して検索結果の要求対象の管理装置3があるか否かを確認し、要求対象の管理装置3がある場合には(ステップS18でYes)ステップS20に進み、要求対象の管理装置3がない場合には(ステップS18でNo)ステップS24に進む。
ステップS20では、第1切替部32は、結果記憶部22に記憶されている検索結果のデータ量を参照して、要求対象の管理装置3に対して要求する検索結果の要求サイズを決定する。詳細には、第1切替部32は、検索結果の送信が完了していない管理装置3の台数と結果記憶部22に記憶されている検索結果のデータ量とを参照して、要求対象の管理装置3に対して要求する検索結果の要求サイズを決定する。
ステップS22では、要求送信部14は、結果要求を各管理装置3に送信する。
ステップS24では、結果受信部16は、管理装置3から検索結果を受信したか否かを確認し、検索結果を受信した場合には(ステップS24でYes)ステップS26に進み、検索結果を受信しなかった場合には(ステップS24でNo)ステップS33に進む。なお、結果受信部16は、管理装置3が検索結果を全て送信した場合、当該管理装置3から、検索結果を全て送信したことを示す送信終了情報を受信する。
ステップS26では、結果受信部16は、管理装置3から受信した所定サイズ分の検索結果を結果記憶部22に記憶する。
ステップS28では、第1切替部32は、第1許可状態であるか第1禁止状態であるかを確認し、第1許可状態である場合には(ステップS28でYes)ステップS30に進み、第1禁止状態である場合には(ステップS28でNo)ステップS34に進む。
ステップS30では、第1切替部32は、結果記憶部22に記憶されている検索結果のデータ量が第1閾値以上であるか否かを確認し、第1閾値以上である場合には(ステップS30でYes)ステップS32に進み、第1閾値以上でない場合には(ステップS30でNo)ステップS34に進む。
ステップS32では、第1切替部32は、第1許可状態から第1禁止状態に切り替える。
ステップS33では、命令受信部12は、クライアント装置5から集約結果の送信を指示する送信命令を受信したか否かを確認し、受信した場合には(ステップS33でYes)ステップS34に進み、受信していない場合には(ステップS33でNo)ステップS16に進む。
ステップS34では、集約部34は、解析部30により作成された集約ルールに従って、結果記憶部22に記憶されている検索結果を集約して集約結果を生成する。
ステップS35では、集約結果送信部18は、集約部34により生成された集約結果をクライアント装置5に送信する。
ステップS36では、集約部34は、集約済みの検索結果を結果記憶部22から削除する。
ステップS38では、第1切替部32は、第1禁止状態であるか第1許可状態であるかを確認し、第1禁止状態である場合には(ステップS38でYes)ステップS40に進み、第1許可状態である場合には(ステップS38でNo)ステップS44に進む。
ステップS40では、第1切替部32は、結果記憶部22に記憶されている検索結果のデータ量が第2閾値以下であるか否かを確認し、第2閾値以下である場合には(ステップS40でYes)ステップS42に進み、第2閾値以下でない場合には(ステップS40でNo)ステップS44に進む。
ステップS42では、第1切替部32は、第1禁止状態から第1許可状態に切り替える。
ステップS46では、検索装置2は、集約結果の送信が全て終了したか否かを確認し、全て完了した場合には(ステップS46でYes)処理を終了し、完了していない場合には(ステップS46でNo)ステップS16に進む。
図6は、本実施形態の管理装置3で行われる処理の手順の流れの一例を示すフローチャートである。
ステップS60では、要求受信部52は、検索装置2から検索要求を受信する。
ステップS62では、検索部70は、データ記憶部62から検索要求を満たす検索対象データのアドレスを逐次検索する。
ステップS64では、取得部74は、第2許可状態であるか第2禁止状態であるかを確認し、第2許可状態である場合には(ステップS64でYes)ステップS66に進み、第2禁止状態である場合には(ステップS64でNo)ステップS72に進む。
ステップS66では、取得部74は、検索部70により検索されたアドレスが示す検索対象データをデータ記憶部62から取得して、一時記憶部64に記憶する。
ステップS68では、第2切替部72は、一時記憶部64に記憶されている検索対象データのデータ量が第3閾値以上であるか否かを確認し、第3閾値以上である場合には(ステップS68でYes)ステップS70に進み、第3閾値以上でない場合には(ステップS68でNo)ステップS72に進む。
ステップS70では、第2切替部72は、第2許可状態から第2禁止状態に切り替える。
ステップS72では、要求受信部52は、検索装置2から結果要求を受信したか否かを確認し、結果要求を受信した場合には(ステップS72でYes)ステップS74に進み、結果要求を受信しなかった場合には(ステップS72でNo)ステップS84に進む。
ステップS74では、検索結果送信部54は、要求受信部52により結果要求が受信されると、一時記憶部64から結果要求で指定されたサイズを上限として検索対象データを取得し、取得した検索対象データを検索結果として検索装置2に送信する。なお、検索結果送信部54は、取得部74により取得される検索対象データを全て送信した場合、検索結果を全て送信したことを示す送信終了情報を検索装置2に送信する。
ステップS76では、検索結果送信部54は、送信済みの検索対象データを一時記憶部64から削除する。
ステップS78では、第2切替部72は、第2禁止状態であるか第2許可状態であるかを確認し、第2禁止状態である場合には(ステップS78でYes)ステップS80に進み、第2許可状態である場合には(ステップS78でNo)ステップS84に進む。
ステップS80では、第2切替部72は、一時記憶部64に記憶されている検索対象データのデータ量が第4閾値以下であるか否かを確認し、第4閾値以下である場合には(ステップS80でYes)ステップS82に進み、第4閾値以下でない場合には(ステップS80でNo)ステップS84に進む。
ステップS82では、第2切替部72は、第2禁止状態から第2許可状態に切り替える。
ステップS84では、管理装置2は、検索結果(検索対象データ)の送信が全て完了したか否かを確認し、全て完了した場合には(ステップS84でYes)処理を終了し、完了していない場合には(ステップS84でNo)ステップS62に進む。
なお、本実施形態の検索装置及び各管理装置は、CPUなどの制御装置と、ROMやRAMなどの記憶装置と、HDDやリムーバブルドライブ装置などの外部記憶装置と、ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
以上のように、本実施形態の検索装置は、結果記憶部に記憶されている検索結果のデータ量が結果記憶部の記憶容量に応じたデータ量になるように、各管理装置に検索結果を要求する。そして本実施形態の検索装置は、クライアント装置から集約結果の取得が命令された場合に、各管理装置に検索結果を要求することなく、結果記憶部に記憶されている検索結果を集約してクライアント装置に返却する。
従って、本実施形態の検索装置によれば、検索結果が大量に検索された場合であっても、バッファオーバーフローなどを生じさせることなく検索結果を順次処理することができるとともに、記憶容量を増加せずにクライアント装置による集約結果の取得時間を短縮することができる。
例えば、本実施形態の検索装置は、100台分の管理装置の検索結果を集約するが、各管理装置から100GBの検索結果が送信される場合、合計10TB分の検索結果を受信することになる。このような場合であっても、本実施形態の検索装置は、結果記憶部に記憶されている検索結果のデータ量が700MB〜1GB程度に収まるように各管理装置に検索結果を要求し、結果記憶部に記憶されている検索結果を順次集約してクライアント装置に返却する。このため本実施形態の検索装置は、10TB分の検索結果が検索された場合であっても、検索結果を順次処理することができ、上述したような効果を奏する。
また、本実施形態の各管理装置は、一時記憶部に記憶されている検索対象データのデータ量が一時記憶部の記憶容量に応じたデータ量になるように、検索対象データを取得する。そして本実施形態の各管理装置は、検索装置から検索結果の取得が要求された場合に、一時記憶部に記憶されている検索対象データを検索装置に送信する。
従って、本実施形態の各管理装置によれば、検索結果が大量に検索され、検索結果として大量の検索対象データが取得される場合であっても、バッファオーバーフローなどを生じさせることなく取得された検索対象データを順次処理することができる。また、本実施形態の各管理装置によれば、記憶容量を増加せずに検索装置による検索対象データの取得時間を短縮することができる。
例えば、本実施形態の管理装置が、100万件分の検索対象データを管理しており、その平均データサイズが100KBであるものとする。そして、管理装置で管理している全ての検索対象データを検索する検索要求が検索装置から行われた場合、100GB分の検索対象データが一時記憶部に記憶されることになる。このような場合であっても、本実施形態の管理装置は、一時記憶部に記憶されている検索対象データのデータ量が50MB〜100MB程度に収まるように検索対象データを取得し、一時記憶部に記憶されている検索対象データを検索装置からの要求に従って順次検索装置に送信する。このため本実施形態の管理装置は、100GB分の検索対象データが取得される場合であっても、取得した検索対象データを順次処理することができ、上述したような効果を奏する。
また、本実施形態の管理装置では、検索部、取得部、及び検索結果送信部が、並列動作するよう構成されているため、検索対象データの取得処理速度を向上できる。特に本実施形態の管理装置では、検索部、取得部、及び検索結果送信部による並列動作全体を制御するのではなく、一時記憶部に記憶されている検索対象データのデータ量に応じて取得部による検索対象データの取得を制御するだけなので、複雑な制御を行うことなく、検索対象データの取得処理速度を向上できる。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。
例えば、上記実施形態の検索装置及び管理装置の機能を、それぞれプログラムを実行することにより実現させるようにしてもよい。
この場合、上記実施形態の検索装置及び管理装置それぞれで実行されるプログラムは、インストール可能な形式又は実行可能なファイル形式でコンピュータが読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供される。また、上記実施形態の検索装置及び管理装置それぞれで実行されるプログラムは、ROM等に予め組み込んで提供するようにしてもよい。
上記実施形態の検索装置及び管理装置それぞれで実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、CPUがHDD等からプログラムをRAM上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
以上のように、本発明にかかる検索装置、及びシステムは、大量の検索対象データが検索される分散検索システムに適している。
2 検索装置
3 管理装置
5 クライアント装置
12 命令受信部
14 要求送信部
16 結果受信部
18 集約結果送信部
22 結果記憶部
30 解析部
32 第1切替部
34 集約部

Claims (5)

  1. クライアント装置から検索命令を受信する命令受信部と、
    前記検索命令を解析し、検索対象データを分散して管理する複数の管理装置それぞれに対する検索要求を作成する解析部と、
    前記検索要求に対する検索結果を一時的に記憶する結果記憶部に記憶されている前記検索結果のデータ量に応じて、前記検索結果の要求が許可される第1許可状態と前記検索結果の要求が禁止される第1禁止状態とを切り替える第1切替部と、
    前記管理装置それぞれに前記検索要求を送信するとともに、前記第1許可状態である場合に所定サイズ分の前記検索結果を要求する結果要求を前記管理装置それぞれに逐次送信する要求送信部と、
    前記管理装置それぞれから前記所定サイズ分の前記検索結果を逐次受信して、前記結果記憶部に記憶する結果受信部と、
    前記結果記憶部に記憶されている前記検索結果を集約して集約結果を生成し、集約済みの前記検索結果を前記結果記憶部から削除する集約部と、
    前記集約結果を前記クライアント装置に送信する集約結果送信部と、
    を備えることを特徴とする検索装置。
  2. 前記第1切替部は、前記第1許可状態時に前記結果記憶部に記憶されている前記検索結果のデータ量が第1閾値以上となった場合に、前記第1許可状態から前記第1禁止状態に切り替え、前記第1禁止状態時に前記結果記憶部に記憶されている前記検索結果のデータ量が前記第1閾値より小さい第2閾値以下となった場合に、前記第1禁止状態から前記第1許可状態に切り替えることを特徴とする請求項1に記載の検索装置。
  3. 前記第1切替部は、前記第1許可状態である場合、前記結果記憶部に記憶されている前記検索結果のデータ量を参照して前記所定サイズを決定することを特徴とする請求項1に記載の検索装置。
  4. 請求項1に記載の検索装置と、前記検索装置とネットワークを介して接続される複数の前記管理装置と、を備える検索システムであって、
    前記管理装置のそれぞれは、
    前記検索装置から前記検索要求を受信するとともに、前記結果要求を逐次受信する要求受信部と、
    前記検索対象データを記憶するデータ記憶部から、前記検索要求を満たす前記検索対象データの記憶位置を示すアドレスを逐次検索する検索部と、
    前記データ記憶部から取得される前記検索対象データを一時的に記憶する一時記憶部に記憶されている前記検索対象データのデータ量に応じて、前記検索対象データの取得が許可される第2許可状態と前記検索対象データの取得が禁止される第2禁止状態とを切り替える第2切替部と、
    前記第2許可状態である場合に、検索された前記アドレスが示す前記検索対象データを前記データ記憶部から取得して、前記一時記憶部に記憶する取得部と、
    前記結果要求が受信される毎に、前記一時記憶部から前記所定サイズ分の前記検索対象データを取得し、取得した前記検索対象データを前記検索結果として前記検索装置に送信し、送信済みの前記検索対象データを前記一時記憶部から削除する検索結果送信部と、
    を備えることを特徴とする検索システム。
  5. 前記第2切替部は、前記第2許可状態時に前記一時記憶部に記憶されている前記検索対象データのデータ量が第3閾値以上となった場合に、前記第2許可状態から前記第2禁止状態に切り替え、前記第2禁止状態時に前記一時記憶部に記憶されている前記検索対象データのデータ量が前記第3閾値より小さい第4閾値以下となった場合に、前記第2禁止状態から前記第2許可状態に切り替えることを特徴とする請求項4に記載の検索システム。
JP2011533981A 2009-09-29 2009-09-29 検索装置、及びシステム Active JP5514220B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/066959 WO2011039841A1 (ja) 2009-09-29 2009-09-29 検索装置、及びシステム

Publications (2)

Publication Number Publication Date
JPWO2011039841A1 JPWO2011039841A1 (ja) 2013-02-21
JP5514220B2 true JP5514220B2 (ja) 2014-06-04

Family

ID=43825698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011533981A Active JP5514220B2 (ja) 2009-09-29 2009-09-29 検索装置、及びシステム

Country Status (3)

Country Link
JP (1) JP5514220B2 (ja)
CN (1) CN102576360B (ja)
WO (1) WO2011039841A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607331B (zh) * 2015-09-23 2017-12-01 財團法人工業技術研究院 資料分析方法與裝置
JP6720792B2 (ja) * 2016-09-15 2020-07-08 セイコーエプソン株式会社 デバイス管理装置およびデバイス管理プログラム
JP6468268B2 (ja) * 2016-09-23 2019-02-13 カシオ計算機株式会社 情報検索装置、情報検索システム、情報検索方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101109A (ja) * 1991-10-04 1993-04-23 Toshiba Corp データベース演算処理装置
JP2004102631A (ja) * 2002-09-09 2004-04-02 Hitachi Software Eng Co Ltd データベース検索プログラム、データベース検索方法及びデータベース検索装置
WO2005106713A1 (ja) * 2004-04-28 2005-11-10 Shinji Furusho 情報処理方法及び情報処理システム
US20080027920A1 (en) * 2006-07-26 2008-01-31 Microsoft Corporation Data processing over very large databases

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101109A (ja) * 1991-10-04 1993-04-23 Toshiba Corp データベース演算処理装置
JP2004102631A (ja) * 2002-09-09 2004-04-02 Hitachi Software Eng Co Ltd データベース検索プログラム、データベース検索方法及びデータベース検索装置
WO2005106713A1 (ja) * 2004-04-28 2005-11-10 Shinji Furusho 情報処理方法及び情報処理システム
US20080027920A1 (en) * 2006-07-26 2008-01-31 Microsoft Corporation Data processing over very large databases

Also Published As

Publication number Publication date
CN102576360B (zh) 2015-04-01
WO2011039841A1 (ja) 2011-04-07
CN102576360A (zh) 2012-07-11
JPWO2011039841A1 (ja) 2013-02-21

Similar Documents

Publication Publication Date Title
US8719237B2 (en) Method and apparatus for deleting duplicate data
US9396290B2 (en) Hybrid data management system and method for managing large, varying datasets
US10154039B1 (en) Hierarchical policy-based shared resource access control
US10210191B2 (en) Accelerated access to objects in an object store implemented utilizing a file storage system
CN107491523B (zh) 存储数据对象的方法及装置
KR20200053512A (ko) Kvs 트리 데이터베이스
US10747951B2 (en) Webpage template generating method and server
US11580162B2 (en) Key value append
JP6281225B2 (ja) 情報処理装置
EP2863310A1 (en) Data processing method and apparatus, and shared storage device
US20100161780A1 (en) Hot data management method based on hit counter
KR20160003682A (ko) 플레이스홀더에 의한 하이드레이션 및 디하이드레이션 기법
KR102452250B1 (ko) 오프체인 데이터 저장 방법 및 장치
CN106599091B (zh) 基于键值存储的rdf图结构存储和索引方法
US20170054803A1 (en) Information processing device, method, and system
US9692847B2 (en) Content distribution method and content distribution server
JP5514220B2 (ja) 検索装置、及びシステム
CN108763443A (zh) 区块链账户处理方法与装置
JP2015079473A (ja) データ運用方法及びこれを支援するシステム
CN106354793B (zh) 监控热点对象的方法及装置
US10394820B2 (en) Constructing and querying a bloom filter to detect the absence of data from one or more endpoints
US20160196211A1 (en) Cache Device, Cache System, and Cache Method
US10614055B2 (en) Method and system for tree management of trees under multi-version concurrency control
JP2015201050A (ja) キャッシュ保存プログラム、情報処理装置およびキャッシュ保存方法
CN110109866B (zh) 一种文件系统目录的管理方法及设备

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140328

R150 Certificate of patent or registration of utility model

Ref document number: 5514220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350