JP6167015B2 - 情報処理システム、管理プログラム、及びインデックス管理方法 - Google Patents
情報処理システム、管理プログラム、及びインデックス管理方法 Download PDFInfo
- Publication number
- JP6167015B2 JP6167015B2 JP2013225881A JP2013225881A JP6167015B2 JP 6167015 B2 JP6167015 B2 JP 6167015B2 JP 2013225881 A JP2013225881 A JP 2013225881A JP 2013225881 A JP2013225881 A JP 2013225881A JP 6167015 B2 JP6167015 B2 JP 6167015B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- information processing
- index
- specified
- types
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
Description
(a)特定の専用サーバ(例えば1台のサーバ)が全てのインデックスを集中管理する(以降「集中管理方式」と表記)
(b)インデックス毎に、異なるサーバが管理する(以降「個別管理方式」と表記)
(c)自身が保存するオブジェクトのインデックスも併せて管理する(以降「並行管理方式」と表記)
集中管理方式では、検索、更にはインデックスの更新が専用サーバに集中する。インデックスを管理する専用サーバの台数は、通常、オブジェクトを管理するサーバの台数と比較して、非常に小さい。そのため、専用サーバの負荷が重くなり易い。重い負荷は検索性能を低下させる。
図1は、本実施形態による管理装置を用いて構築された情報処理システムの構成例を説明する図である。
r = cAB/(cA+cB−cAB) ・・・ (1)
r = cAB/C ・・・ (2)
ここで、Cは検索が行われた総回数である。
処理ループS40の終了により、処理ループS50が実行される。処理ループS40の実行により、同じストレージ・インデックス管理サーバ3に管理させるべき2種類のメタデータ名のインデックスは、管理させるべきストレージ・インデックス管理サーバ3に管理される。そのため、処理ループS50でインデックスを移動させる可能性のあるメタデータ名は、インデックス管理情報に登録されていないメタデータ名のみとなる。
上記以外にも、様々な変形を行うことができる。
(付記1)
ネットワークを介して第1の情報処理装置と接続された複数台の第2の情報処理装置、及び管理装置を備え、
前記複数台の第2の情報処理装置は、
データ、及び前記データのメタデータを用いて検索用に構築されたインデックスを分散して管理し、
前記管理装置は、
前記第1の情報処理装置から送信された検索リクエストを監視する監視部と、
前記監視部による監視結果を基に、同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせ、及び前記同一の第2の情報処理装置を特定し、該特定した前記同一の第2の情報処理装置に、該特定した前記組み合わせのメタデータの種類のインデックスを管理させるインデックス管理部と、を有する、
ことを特徴とする情報処理システム。
(付記2)
前記監視部が監視した前記検索リクエストで指定されているメタデータの種類の組み合わせ毎に、前記組み合わせでメタデータが同時に指定された結果を表す統計情報を生成する情報生成部、を有し、
前記インデックス管理部は、前記統計情報を基に、前記同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせを特定する、
ことを特徴とする付記1記載の情報処理システム。
(付記3)
前記情報生成部は、2種類のメタデータの組み合わせ毎に、前記2種類のメタデータが同時に指定された回数を計数して、前記統計情報を生成・更新し、
前記インデックス管理部は、前記2種類のメタデータのインデックスを管理単位として、前記同一の第2の情報処理装置に前記インデックスを管理させるべきか否かの判定を行う、
ことを特徴とする付記2記載の情報処理システム。
(付記4)
ネットワークを介して第1の情報処理装置と接続され、データ、及び前記データのメタデータを用いて検索用に構築されたインデックスを分散して管理する複数台の第2の情報処理装置に対し、前記第1の情報処理装置から送信された検索リクエストを監視する監視部と、
前記監視部による監視結果を基に、同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせ、及び前記同一の第2の情報処理装置を特定し、該特定した前記同一の第2の情報処理装置に、該特定した前記組み合わせのメタデータの種類のインデックスを管理させるインデックス管理部と、
を有することを特徴とする管理装置。
(付記5)
ネットワークと接続されたコンピュータに、
データ、及び前記データのメタデータを用いて検索用に構築されたインデックスを分散して管理する複数台の第2の情報処理装置に対し、前記ネットワークを介して第1の情報処理装置から送信された検索リクエストの監視を行い、
前記監視の結果を基に、同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせ、及び前記同一の第2の情報処理装置を特定し、該特定した前記同一の第2の情報処理装置に、該特定した前記組み合わせのメタデータの種類のインデックスを管理させる、
処理を実行させる管理プログラム。
(付記6)
ネットワークと接続されたコンピュータを用いて、
データ、及び前記データのメタデータを用いて検索用に構築されたインデックスを分散して管理する複数台の第2の情報処理装置に対し、前記ネットワークを介して第1の情報処理装置から送信された検索リクエストの監視を行い、
前記監視の結果を基に、同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせ、及び前記同一の第2の情報処理装置を特定し、該特定した前記同一の第2の情報処理装置に、該特定した前記組み合わせのメタデータの種類のインデックスを管理させる、
ことを特徴とするインデックス管理方法。
2 アプリケーションサーバ(アプリサーバ)
3 ストレージサーバ兼インデックス管理サーバ(ストレージ・インデックス管理サーバ)
4 ディスク装置
31 ネットワーク入出力部
32 データ読み書き部
33 メタデータ読み書き部
34 ディスク入出力部
35 検索部
36 統計情報取得部
37 記憶部
37a 統計情報
38 インデックス管理サーバ決定部
Claims (5)
- ネットワークを介して第1の情報処理装置と接続された複数台の第2の情報処理装置、及び管理装置を備え、
前記複数台の第2の情報処理装置は、
データ、及び前記データのメタデータを用いて検索用に構築されたインデックスを分散して管理し、
前記管理装置は、
前記第1の情報処理装置から送信された検索リクエストを監視する監視部と、
同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせを、前記検索リクエストに含まれる検索条件における前記メタデータの種類の組み合わせについての共起率に基づいて特定すると共に、該特定した前記組み合わせのメタデータの種類に基づいて前記同一の第2の情報処理装置を特定し、該特定した前記同一の第2の情報処理装置に、該特定した前記組み合わせのメタデータの種類のインデックスを管理させるインデックス管理部と、を有する、
ことを特徴とする情報処理システム。 - 前記監視部が監視した前記検索リクエストで指定されているメタデータの種類の組み合わせ毎に、前記組み合わせでメタデータが同時に指定された結果を表す統計情報を生成する情報生成部、を有し、
前記インデックス管理部は、前記統計情報を基に、前記同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせを特定する、
ことを特徴とする請求項1記載の情報処理システム。 - 前記情報生成部は、2種類のメタデータの組み合わせ毎に、前記2種類のメタデータが同時に指定された回数を計数して、前記統計情報を生成・更新し、
前記インデックス管理部は、前記2種類のメタデータのインデックスを管理単位として、前記同一の第2の情報処理装置に前記インデックスを管理させるべきか否かの判定を行う、
ことを特徴とする請求項2記載の情報処理システム。 - ネットワークと接続されたコンピュータに、
データ、及び前記データのメタデータを用いて検索用に構築されたインデックスを分散して管理する複数台の第2の情報処理装置に対し、前記ネットワークを介して第1の情報処理装置から送信された検索リクエストの監視を行い、
同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせを、前記検索リクエストに含まれる検索条件における前記メタデータの種類の組み合わせについての共起率に基づいて特定すると共に、該特定した前記組み合わせのメタデータの種類に基づいて前記同一の第2の情報処理装置を特定し、該特定した前記同一の第2の情報処理装置に、該特定した前記組み合わせのメタデータの種類のインデックスを管理させる、
処理を実行させる管理プログラム。 - ネットワークと接続されたコンピュータが、
データ、及び前記データのメタデータを用いて検索用に構築されたインデックスを分散して管理する複数台の第2の情報処理装置に対し、前記ネットワークを介して第1の情報処理装置から送信された検索リクエストの監視を行い、
同一の第2の情報処理装置に前記インデックスを管理させるべき前記メタデータの種類の組み合わせを、前記検索リクエストに含まれる検索条件における前記メタデータの種類の組み合わせについての共起率に基づいて特定すると共に、該特定した前記組み合わせのメタデータの種類に基づいて前記同一の第2の情報処理装置を特定し、該特定した前記同一の第2の情報処理装置に、該特定した前記組み合わせのメタデータの種類のインデックスを管理させる、
ことを特徴とするインデックス管理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013225881A JP6167015B2 (ja) | 2013-10-30 | 2013-10-30 | 情報処理システム、管理プログラム、及びインデックス管理方法 |
| US14/519,322 US9858281B2 (en) | 2013-10-30 | 2014-10-21 | Information processing system, recording medium, and index management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013225881A JP6167015B2 (ja) | 2013-10-30 | 2013-10-30 | 情報処理システム、管理プログラム、及びインデックス管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015087953A JP2015087953A (ja) | 2015-05-07 |
| JP6167015B2 true JP6167015B2 (ja) | 2017-07-19 |
Family
ID=52996659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013225881A Expired - Fee Related JP6167015B2 (ja) | 2013-10-30 | 2013-10-30 | 情報処理システム、管理プログラム、及びインデックス管理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9858281B2 (ja) |
| JP (1) | JP6167015B2 (ja) |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62121576A (ja) | 1985-11-22 | 1987-06-02 | Toshiba Corp | デ−タベ−スシステム |
| US4817050A (en) | 1985-11-22 | 1989-03-28 | Kabushiki Kaisha Toshiba | Database system |
| US5724571A (en) * | 1995-07-07 | 1998-03-03 | Sun Microsystems, Inc. | Method and apparatus for generating query responses in a computer-based document retrieval system |
| JP2002007641A (ja) | 2000-06-21 | 2002-01-11 | Hitachi Ltd | 資料の電子配布システム |
| JP2006004024A (ja) * | 2004-06-16 | 2006-01-05 | Fujitsu Ltd | ディレクトリサーバに実行させるためのプログラム |
| JP2006185019A (ja) * | 2004-12-27 | 2006-07-13 | Fuji Xerox Co Ltd | 検索システム、および情報配置構成決定方法、並びにコンピュータ・プログラム |
| US20080097821A1 (en) * | 2006-10-24 | 2008-04-24 | Microsoft Corporation | Recommendations utilizing meta-data based pair-wise lift predictions |
| US9135340B2 (en) * | 2007-09-12 | 2015-09-15 | Datalaw, Inc. | Research system and method with record builder |
| US7991756B2 (en) * | 2008-08-12 | 2011-08-02 | International Business Machines Corporation | Adding low-latency updateable metadata to a text index |
| EP2353113A4 (en) * | 2008-10-24 | 2016-01-06 | Optuminsight Inc | DEVICE, SYSTEM AND METHOD FOR FAST KOHORTENTESTUNG |
| US8594784B2 (en) * | 2009-02-20 | 2013-11-26 | Babric Life Science Innovations, Llc. | Kits and methods for retrofitting and adapting common notebooks, laptop computers, and tablets, to enable each to be used as an automated external defibrillator (AED), and as a manual defibrillator |
| JP5257172B2 (ja) * | 2009-03-16 | 2013-08-07 | 富士通株式会社 | 検索方法、検索プログラム及び検索装置 |
| US8566555B2 (en) * | 2009-03-30 | 2013-10-22 | Nec Corporation | Data insertion system, data control device, storage device, data insertion method, data control method, data storing method |
| WO2010147114A1 (ja) * | 2009-06-15 | 2010-12-23 | 日本電気株式会社 | 検索式生成システム |
| JP5310399B2 (ja) * | 2009-09-01 | 2013-10-09 | 富士通株式会社 | 索引管理装置の処理方法および索引管理装置 |
| US10831837B2 (en) * | 2009-10-30 | 2020-11-10 | Ebay Inc. | Population of sets using advanced queries |
| US20120254215A1 (en) * | 2009-12-10 | 2012-10-04 | Michitaro Miyata | Distributed file system, data selection method thereof, and program |
| JP5485831B2 (ja) | 2010-08-30 | 2014-05-07 | 株式会社日立ソリューションズ | 検索用索引自動生成装置を有するファイル検索システム |
| JP2012168781A (ja) | 2011-02-15 | 2012-09-06 | Nippon Telegr & Teleph Corp <Ntt> | 分散型データストアシステム及び分散型データストアシステムにおけるレコード管理方法 |
| US8671111B2 (en) * | 2011-05-31 | 2014-03-11 | International Business Machines Corporation | Determination of rules by providing data records in columnar data structures |
| US9348890B2 (en) * | 2011-08-30 | 2016-05-24 | Open Text S.A. | System and method of search indexes using key-value attributes to searchable metadata |
| US9715560B2 (en) * | 2012-04-24 | 2017-07-25 | International Business Machines Corporation | Optimizing sparse schema-less data in data stores |
| JP5843965B2 (ja) * | 2012-07-13 | 2016-01-13 | 株式会社日立ソリューションズ | 検索装置、検索装置の制御方法及び記録媒体 |
| JP5769138B2 (ja) * | 2013-04-22 | 2015-08-26 | 横河電機株式会社 | イベント解析装置およびコンピュータプログラム |
-
2013
- 2013-10-30 JP JP2013225881A patent/JP6167015B2/ja not_active Expired - Fee Related
-
2014
- 2014-10-21 US US14/519,322 patent/US9858281B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20150120752A1 (en) | 2015-04-30 |
| JP2015087953A (ja) | 2015-05-07 |
| US9858281B2 (en) | 2018-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9304815B1 (en) | Dynamic replica failure detection and healing | |
| JP5719323B2 (ja) | 分散処理システム、ディスパッチャおよび分散処理管理装置 | |
| US8832113B2 (en) | Data management apparatus and system | |
| JP5585140B2 (ja) | 仮想計算機システムの管理プログラム,管理装置及び管理方法 | |
| US10394782B2 (en) | Chord distributed hash table-based map-reduce system and method | |
| CN106104526A (zh) | 半结构化数据模式的透明发现 | |
| JP6269140B2 (ja) | アクセス制御プログラム、アクセス制御方法、およびアクセス制御装置 | |
| TW200915111A (en) | Query optimization in a parallel computer system with multiple networks | |
| JPWO2015118865A1 (ja) | 情報処理装置、情報処理システム及びデータアクセス方法 | |
| JP5844895B2 (ja) | データの分散検索システム、データの分散検索方法及び管理計算機 | |
| JP2016051446A (ja) | 計算機システム、計算機、負荷分散方法及びそのプログラム | |
| JP6279816B2 (ja) | ストレージ監視システムおよびその監視方法 | |
| JP6084700B2 (ja) | 検索システム及び検索方法 | |
| JP5907251B2 (ja) | データベース管理方法、プログラム、および情報処理装置 | |
| JP2011070257A (ja) | ファイル検索システム | |
| JP6167015B2 (ja) | 情報処理システム、管理プログラム、及びインデックス管理方法 | |
| KR101648401B1 (ko) | 데이터 관리 및 분석을 위한 데이터베이스 장치, 스토리지 유닛 및 그 방법 | |
| US20170161508A1 (en) | Management device, method executed by the management device, and non-transitory computer-readable storage medium | |
| JP6046523B2 (ja) | インメモリ型分散データベース、データ分散方法及びプログラム | |
| JP5732082B2 (ja) | データ管理装置およびデータ管理プログラム | |
| US20140365681A1 (en) | Data management method, data management system, and data management apparatus | |
| JP2013206233A (ja) | メッセージ通信方法,メッセージ通信プログラムおよびコンピュータノード | |
| JP5472885B2 (ja) | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 | |
| KR20160050735A (ko) | 대용량 공간 데이터 환경에서 공간분석을 위한 공간질의 장치 및 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 | |
| JP6193491B2 (ja) | 計算機システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170207 |
|
| RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20170214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170626 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6167015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |