JP6329778B2 - ストレージシステム、インデクシング方法、インデクシングプログラム - Google Patents
ストレージシステム、インデクシング方法、インデクシングプログラム Download PDFInfo
- Publication number
- JP6329778B2 JP6329778B2 JP2014024837A JP2014024837A JP6329778B2 JP 6329778 B2 JP6329778 B2 JP 6329778B2 JP 2014024837 A JP2014024837 A JP 2014024837A JP 2014024837 A JP2014024837 A JP 2014024837A JP 6329778 B2 JP6329778 B2 JP 6329778B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- index
- server
- information
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims description 197
- 238000000034 method Methods 0.000 title claims description 22
- 238000009826 distribution Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
ところで、大容量のテキストデータから、任意の文字列である検索条件に対応するデータを素早く検索するためのインデックス情報を作成しておき、インデックス情報に基づいてデータ検索を行う方法が存在する(例えば、特許文献1参照)。
図1は、本実施形態によるストレージシステム1の構成を示すブロック図である。ストレージシステム1は、ユーザ端末10と、アプリケーションサーバ20と、複数のストレージサーバ30(ストレージサーバ30−1、ストレージサーバ30−2、ストレージサーバ30−3、・・・)と、複数のインデックスサーバ40(インデックスサーバ40−1、インデックスサーバ40−2、インデックスサーバ40−3、・・・)と、プロキシサーバ50とのコンピュータ装置を備えており、これらのコンピュータ装置はネットワークを介して接続されている。
図2は、アプリケーションサーバ20がユーザ端末10に送信する初期画面の例を示す図である。アプリケーションサーバ20は、ユーザのログイン認証処理によりログイン成功と判定すると、このような初期画面をユーザ端末10に送信する。初期画面には、アップロードボタンc1と、検索条件入力テキストボックスc2と、検索実行ボタンc3とを表示する。アップロードボタンc1は、ストレージサーバ30に対するデータの書込みを行うための操作子である。検索条件入力テキストボックスc2は、ストレージシステム1に記憶されたデータから、所望のデータを読出すための検索条件を入力するための操作子である。検索実行ボタンc3は、検索条件入力テキストボックスc2に入力された検索条件に基づいてプロキシサーバ50にデータの検索要求を送信するための操作子である。
インデックスサーバ40は、複数のストレージサーバ30に記憶されたデータを検索するためのインデックス情報を記憶するコンピュータ装置である。インデックスサーバ40は、インデックス情報記憶部41と、インデックス格納部42と、インデックス検索部43とを備えている。
インデックス検索部43は、プロキシサーバ50から送信される検索要求に含まれる検索条件と、インデックス情報記憶部41に記憶されているインデックス情報に含まれる検索情報とを比較して、検索要求に対応するデータ名を検索結果としてプロキシサーバ50に送信する。
データ分散配置部52は、書込要求受信部51が受信したデータに、そのデータに対応する分類情報を対応付け、分類情報を対応付けたそのデータを、複数のストレージサーバ30のうちいずれかのストレージサーバ30に記憶させる。ここで、データ分散配置部52は、分類情報に基づいて算出するハッシュ値に基づいて、複数のストレージサーバ30のうち、そのデータを記憶させるストレージサーバ30を判定することができる。
検索処理部55は、検索要求受信部54が検索要求を受信すると、検索要求の送信元であるユーザ端末10のユーザ名(分類情報)に基づいて、複数のインデックスサーバ40のうち、検索要求を送信するインデックスサーバ40を判定し、判定したインデックスサーバ40に検索要求を送信し、そのインデックスサーバ40から送信される検索結果を受信する。
ユーザ端末10は、アプリケーションサーバ20にアクセスしてストレージシステム1が提供するストレージサービスにログインすると、アプリケーションサーバ20から送信される初期画面を表示する。初期画面においてアップロードボタンc1が押下されると、アプリケーションサーバ20は、アップロードファイル選択画面をユーザ端末10に送信する。ユーザ端末10が、アプリケーションサーバ20から送信されたアップロードファイル選択画面を表示し、ユーザからの操作によって参照ボタンc5が押下されて選択されたデータのデータ名がアップロードファイル名入力ボックスc4に入力され、アップロードボタンc6が押下されると、アプリケーションサーバ20は、メタデータ入力画面をユーザ端末10に送信する。
インデックス分散配置部53は、書込要求の送信元であるユーザ端末10のユーザ名(分類情報)に基づいて、複数のインデックスサーバ40のうちから、インデックス情報を記憶させるインデックスサーバ40を判定する(ステップS7)。
ユーザ端末10は、アプリケーションサーバ20にアクセスしてストレージシステム1が提供するストレージサービスにログインすると、アプリケーションサーバ20から送信される初期画面を表示する。初期画面において検索条件入力テキストボックスc2に検索条件が入力され、検索実行ボタンc3が押下されると、ユーザ端末10は、検索条件入力テキストボックスc2に入力された検索条件によってデータの検索を行う検索要求を、アプリケーションサーバ20に送信する(ステップS21)。
また、上述の例では、初期画面には、アップロードボタンc1と、検索条件入力テキストボックスc2と、検索実行ボタンc3とを表示する例を示したが、この他の情報を表示することもできる。例えば、ログインしたユーザがストレージサーバ30に記憶させているデータの一覧を、初期画面に表示することができる。
また、検索結果画面において表示する検索結果リストc11には、データごとに、データ名やメタデータを表示するようにしてもよい。図11は、メタデータ等を表示する検索結果画面の例を示す図である。ここでは、ユーザ名(Account)や、データが記憶されている領域の情報(Container)、データ種別(Content−Type)、データサイズ(Size)、最終更新日(Last−modified)、タイトル(Title)、概要(Abstract)、ジャンル(Genre)等のメタデータを表示している。また、検索結果を複数ページに亘って表示する場合には、ページ遷移のための操作子を表示してページ遷移するようにしてもよい。
また、上述の例では、インデックス情報は単語とデータ名との組み合わせである例を説明したが、単語はメタデータに含まれるどのような項目のデータに含まれるものでもよく、またデータ自体に含まれる単語でもよい。あるいは、単語ではない情報を、データ名と組み合わせたインデックス情報を生成することもできる。例えば、ジャンルや日付等の情報にデータ名を組み合わせたインデックス情報を生成することもできる。
10 ユーザ端末
20 アプリケーションサーバ
30 ストレージサーバ
40 インデックスサーバ
41 インデックス情報記憶部
42 インデックス格納部
43 インデックス検索部
50 プロキシサーバ
51 書込要求受信部
52 データ分散配置部
53 インデックス分散配置部
54 検索要求受信部
55 検索処理部
56 データ読出部
Claims (7)
- データが記憶される複数のストレージサーバに接続されたプロキシサーバと、当該プロキシサーバに接続された複数のインデックスサーバとを備えるストレージシステムであって、
前記インデックスサーバは、
前記ストレージサーバに記憶されるデータの分類を示す分類情報に対応付けて、当該データを検索するための検索情報と、当該データを前記ストレージサーバから読出すためのデータ名とを対応付けたインデックス情報が記憶されるインデックス情報記憶部と、
前記プロキシサーバから送信されるインデックス生成要求に応じて前記インデックス情報を生成し、生成したインデックス情報を前記インデックス情報記憶部に記憶させるインデックス格納部と、を備え、
前記プロキシサーバは、
データの書込要求を受信する書込要求受信部と、
前記書込要求受信部が受信した前記データに、当該データに対応する前記分類情報を対応付け、分類情報を対応付けた前記データを、前記複数のストレージサーバのうちいずれかのストレージサーバに記憶させるデータ分散配置部と、
前記書込要求受信部が受信した前記データに対応付ける前記分類情報に基づいて、複数の前記インデックスサーバのうち、当該データを検索するためのインデックス情報を記憶させるインデックスサーバを判定し、判定した当該インデックスサーバに、前記書込要求受信部が受信した前記データのインデックス生成要求を送信するインデックス分散配置部と、を有し、
前記分類情報は、前記データの書込要求の送信元であるユーザ端末のユーザ名である
を備えることを特徴とするストレージシステム。 - 前記プロキシサーバは、
前記ストレージサーバに記憶されたデータを検索する検索条件が含まれる検索要求を受信する検索要求受信部と、
前記検索要求受信部が前記検索要求を受信すると、前記分類情報に基づいて、前記複数のインデックスサーバのうち、検索要求を送信するインデックスサーバを判定し、判定したインデックスサーバに検索要求を送信し、当該インデックスサーバから送信される検索結果を受信する検索処理部と、
を備え、
前記インデックスサーバは、
前記プロキシサーバから送信される前記検索要求に含まれる検索条件と、前記インデックス情報記憶部に記憶されている前記インデックス情報に含まれる検索情報とを比較して、前記検索要求に対応する前記データ名を検索結果として前記プロキシサーバに送信するインデックス検索部と、
を備えることを特徴とする請求項1に記載のストレージシステム。 - 前記プロキシサーバは、
前記検索処理部が受信した前記検索結果に基づいて、前記複数のストレージサーバのうち、いずれかのストレージサーバから、前記検索結果に応じた前記データを読出すデータ読出部
を備えることを特徴とする請求項2に記載のストレージシステム。 - 前記検索情報は、前記データの属性情報に含まれる文字列である
ことを特徴とする請求項1から請求項3までのいずれか1項に記載のストレージシステム。 - 前記インデックス分散配置部は、前記分類情報に基づいて算出するハッシュ値に基づいて、前記複数のインデックスサーバのうち、当該分類情報に対応するインデックス情報を記憶させるインデックスサーバを判定する
ことを特徴とする請求項1から請求項4までのいずれか1項に記載のストレージシステム。 - データが記憶される複数のストレージサーバに接続されたプロキシサーバと、当該プロキシサーバに接続され、前記ストレージサーバに記憶されるデータの分類を示す分類情報に対応付けて、当該データを検索するための検索情報と、当該データを前記ストレージサーバから読出すためのデータ名とを対応付けたインデックス情報が記憶されるインデックス情報記憶部を備えた複数のインデックスサーバとを備えるストレージシステムのインデクシング方法であって、
前記プロキシサーバが、
データの書込要求を受信するステップと、
受信した前記データに、当該データに対応する前記分類情報を対応付け、分類情報を対応付けた前記データを、前記複数のストレージサーバのうちいずれかのストレージサーバに記憶させるステップと、
受信した前記データに対応付ける前記分類情報に基づいて、複数の前記インデックスサーバのうち、当該データを検索するためのインデックス情報を記憶させるインデックスサーバを判定し、判定した当該インデックスサーバに、受信した前記データのインデックス生成要求を送信するステップと、
前記インデックスサーバが、
前記プロキシサーバから送信されるインデックス生成要求に応じて前記インデックス情報を生成し、生成したインデックス情報を前記インデックス情報記憶部に記憶させるステップと、
を備えており、
前記分類情報は、前記データの書込要求の送信元であるユーザ端末のユーザ名である
ことを特徴とするインデクシング方法。 - データが記憶される複数のストレージサーバに接続されたプロキシサーバと、当該プロキシサーバに接続され、前記ストレージサーバに記憶されるデータの分類を示す分類情報に対応付けて、当該データを検索するための検索情報と、当該データを前記ストレージサーバから読出すためのデータ名とを対応付けたインデックス情報が記憶されるインデックス情報記憶部を備えた複数のインデックスサーバとを備えるストレージシステムのコンピュータに、
前記プロキシサーバが、
データの書込要求を受信するステップと、
受信した前記データに、当該データに対応する前記分類情報であり前記データの書込要求の送信元であるユーザ端末のユーザ名である分類情報を対応付け、分類情報を対応付けた前記データを、前記複数のストレージサーバのうちいずれかのストレージサーバに記憶させるステップと、
受信した前記データに対応付ける前記分類情報に基づいて、複数の前記インデックスサーバのうち、当該データを検索するためのインデックス情報を記憶させるインデックスサーバを判定し、判定した当該インデックスサーバに、受信した前記データのインデックス生成要求を送信するステップと、
前記インデックスサーバが、
前記プロキシサーバから送信されるインデックス生成要求に応じて前記インデックス情報を生成し、生成したインデックス情報を前記インデックス情報記憶部に記憶させるステップと、
を実行させるインデクシングプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014024837A JP6329778B2 (ja) | 2014-02-12 | 2014-02-12 | ストレージシステム、インデクシング方法、インデクシングプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014024837A JP6329778B2 (ja) | 2014-02-12 | 2014-02-12 | ストレージシステム、インデクシング方法、インデクシングプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015153034A JP2015153034A (ja) | 2015-08-24 |
JP6329778B2 true JP6329778B2 (ja) | 2018-05-23 |
Family
ID=53895244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014024837A Active JP6329778B2 (ja) | 2014-02-12 | 2014-02-12 | ストレージシステム、インデクシング方法、インデクシングプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6329778B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
UA108344C2 (uk) * | 2005-12-26 | 2015-04-27 | Контейнер з матеріалом для друкування і плата, яка встановлюється на контейнері з матеріалом для друкування | |
JP6383338B2 (ja) * | 2015-09-07 | 2018-08-29 | 日本電信電話株式会社 | サーバ、データ一覧作成方法、および、データ一覧作成プログラム |
JP6639743B1 (ja) * | 2018-06-20 | 2020-02-05 | 楽天株式会社 | 検索システム、検索方法、及びプログラム |
JP7302178B2 (ja) * | 2019-01-22 | 2023-07-04 | 富士通株式会社 | ストレージ制御装置、ストレージ制御プログラム、及び、ストレージシステム |
JP6764992B2 (ja) * | 2019-12-24 | 2020-10-07 | 楽天株式会社 | 検索システム、検索方法、及びプログラム |
CN118193581B (zh) * | 2024-05-16 | 2024-07-23 | 深圳市乐易网络股份有限公司 | 一种海量数据检索任务处理方法、系统及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4581962B2 (ja) * | 2005-10-27 | 2010-11-17 | 株式会社日立製作所 | 情報検索システムとインデクス管理方法およびプログラム |
CN101572606B (zh) * | 2009-06-12 | 2012-05-23 | 阿里巴巴集团控股有限公司 | 一种社会化网络中认证请求消息发送方法及装置 |
JP5657498B2 (ja) * | 2011-09-30 | 2015-01-21 | 株式会社日立ソリューションズ | ファイル検索システム |
-
2014
- 2014-02-12 JP JP2014024837A patent/JP6329778B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015153034A (ja) | 2015-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6329778B2 (ja) | ストレージシステム、インデクシング方法、インデクシングプログラム | |
JP6448555B2 (ja) | オブジェクトストレージインデキシングシステムのためのコンテンツクラス | |
US10248356B2 (en) | Using scratch extents to facilitate copying operations in an append-only storage system | |
US10671635B2 (en) | Decoupled content and metadata in a distributed object storage ecosystem | |
US8700573B2 (en) | File storage service system, file management device, file management method, ID denotative NAS server and file reading method | |
US8301994B1 (en) | Synchronizing multiple hierarchal data structures | |
US8548957B2 (en) | Method and system for recovering missing information at a computing device using a distributed virtual file system | |
KR102378367B1 (ko) | 분산 파일 시스템 | |
US20150302111A1 (en) | Method and Apparatus for Constructing File System in Key-Value Storage System, and Electronic Device | |
US10572466B2 (en) | Multiple collections of user-defined metadata for self-describing objects | |
US9547706B2 (en) | Using colocation hints to facilitate accessing a distributed data storage system | |
JP5638608B2 (ja) | メタデータに従ってファイルシステムのファイルにアクセスする方法、およびその方法を実装する装置 | |
US11687595B2 (en) | System and method for searching backups | |
JP2011065546A (ja) | ファイル検索システム及びプログラム | |
JP5375972B2 (ja) | 分散ファイルシステム、そのデータ選択方法およびプログラム | |
US20140250075A1 (en) | Using a file system interface to access a remote storage system | |
US12056016B2 (en) | Slice searching for efficient granular level recovery in data protection | |
US11853165B2 (en) | Using file system extended attributes to update databases in hierarchical file systems | |
US20090006619A1 (en) | Directory Snapshot Browser | |
JP2010211633A (ja) | ストレージシステム及びデータマイグレーション対応検索システム | |
US8516023B1 (en) | Context based file system | |
JP2005174063A (ja) | ファイル管理装置,動的名前空間生成方法および動的名前空間生成プログラム | |
US11226990B2 (en) | System and method for operating a digital storage system | |
JP2024089754A (ja) | オブジェクト管理方法、計算機システム、及びオブジェクト管理プログラム | |
Junping | Analysis of key technologies of distributed file system based on big data [J] |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6329778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |