JP5441791B2 - 検索機能付きファイルストレージ装置及びプログラム - Google Patents
検索機能付きファイルストレージ装置及びプログラム Download PDFInfo
- Publication number
- JP5441791B2 JP5441791B2 JP2010078583A JP2010078583A JP5441791B2 JP 5441791 B2 JP5441791 B2 JP 5441791B2 JP 2010078583 A JP2010078583 A JP 2010078583A JP 2010078583 A JP2010078583 A JP 2010078583A JP 5441791 B2 JP5441791 B2 JP 5441791B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- file system
- configuration
- control unit
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1に、実施例に係るストレージシステムの構成を示す。ストレージシステムは、検索機能付きファイルストレージ装置10と、このファイルストレージ装置に直接接続されたクライアントコンピュータ1と、このファイルストレージ装置にネットワーク3及びネットワークファイルシステムゲートウェイ4を通じて接続されるクライアントコンピュータ2とで構成される。
図2に、N-gramインデクス8のデータ構造例を示す。Nの大きさは自然数であれば任意である。図2の場合には、説明を容易にするために、便宜的にN=2の場合を示す。
N-gramインデクス8の各行は「N文字列」21により識別される。
図3は構成ファイルのデータ構造とN-gramインデックスとの関係を示す。前述したように、構成ファイルを構成するN-gramインデクスの符号の配列は、対応する文字列を符号の配列順に表記すると、原始ファイルの構成文字列が抜け及び重複なしに再現されるように作成されている。因み、図3に示す例の場合、構成ファイルの配列(すなわち、符号1→符号2)により文字列「edac」を再構成することができる。
図4に、ファイルシステム制御部6の機能ブロック構成を示す。ファイルシステム制御部6は、ファイル復号部42、ファイル属性情報制御部43、ファイル符号化部44、ファイル格納部45、ファイル索引づけ部46で構成される。これらの機能ブロックが構成情報ファイルシステム7とN-gramインデクス8と協調し、データの保管、索引づけ、通常ファイルとしてのアクセス機能を提供する。勿論、ファイルシステム制御部6は、前述した構成ファイルの作成も実行する。
(新規ファイルの追加)
図5に、検索機能付きファイルシステム10に新規ファイルを追加する場合に、ファイルシステム制御部6が実行する処理動作を示す。このフローチャートでは、新規に追加されたファイルを走査し、符号化と索引づけを行う手順を示す。
図6に、検索機能付きファイルシステム10から特定のファイルを削除する場合に、ファイルシステム制御部6が実行する処理動作を示す。なお、ファイル内容の更新(変更)は、ファイルの削除と新規ファイルの追加の連続実行を通じて実現できる。
S604の処理を実行するために、ファイルシステム制御部6は、内部読み取りバッファを有している。この内部読み取りバッファは、構成ファイルから読み出される連続する2個の符号を復号する際に復号される最大でN個×N文字列のデータを保持することができる記憶容量を有しているものとする。
以上説明したように、本実施例の場合、N-gramインデクスの作成に使用した原始ファイルの保存に代えて、原始ファイルの構成文字列をその配列順に重複なくかつ抜けなく再構成できるようにN-gramインデクスの符号を選択的に配列した構成ファイルを保存する。これにより、原始ファイルそのものを保存する場合に比して、ストレージシステムの消費容量を小さくできる。結果的に、従来に比べ、大幅に小さな空間に文書(原始ファイルを復元できる情報)とその索引とを収容することができる。
テキストファイルに限らず、一般のファイルを収容するストレージとして利用した場合には、前述した効果に加え、コンピュータウイルスの検索を画期的に高速に行えるストレージを実現できる。この効果について、若干の説明を補う。
2 クライアントコンピュータ2
3 ネットワーク
4 ネットワークファイルシステムゲートウェイ
5 ローカルファイルシステムゲートウェイ
6 ファイルシステム制御部
7 構成情報ファイルシステム
8 N-gramインデクス
9 全文検索部
10 検索機能付きファイルストレージ装置
21 N文字列
22 符号
23 出現位置1
24 出現位置2
42 ファイルシステム復号部
43 ファイル属性情報制御部
44 ファイル符号化部
45 ファイル格納部
46 ファイル索引づけ部
Claims (5)
- ファイルシステム制御部と、構成情報ファイルシステムとを有する検索機能付きファイルストレージ装置において、
前記ファイルシステム制御部が、N-gramインデックスの生成に使用された原始ファイルの構成文字列の配列上の先頭アドレスを0とし、前記構成文字列のうちN(自然数)で割り切れるアドレスに位置する文字で始まるN個の文字列に対応する前記N-gramインデックスの符号だけを追記した構成ファイルを生成する
ことを特徴とする検索機能付きファイルストレージ装置。 - 請求項1に記載の検索機能付きファイルストレージ装置において、
前記ファイルシステム制御部は、
仮想的に管理されている原始ファイルの削除時、又は、仮想的に管理する原始ファイルの新規保存時、又は、仮想的に管理されている原始ファイルの内容変更時、前記N-gramインデクスを更新する
ことを特徴とする検索機能付きファイルストレージ装置。 - 請求項1に記載の検索機能付きファイルストレージ装置において、
前記ファイルシステム制御部は、実管理する原始ファイルのN-gramインデクスの作成と並行して、前記構成ファイルを作成する
ことを特徴とする検索機能付きファイルストレージ装置。 - 請求項3に記載の検索機能付きファイルストレージ装置において、
前記ファイルシステム制御部は、前記構成ファイルの作成後に、ストレージ領域上から前記原始ファイルを削除する
ことを特徴とする検索機能付きファイルストレージ装置。 - 検索機能付きファイルストレージ装置に搭載されたコンピュータに、
N-gramインデクスの作成に使用された原始ファイルの構成文字列の配列上の先頭アドレスを0とし、前記構成文字列のうちN(自然数)で割り切れるアドレスに位置する文字で始まるN個の文字列に対応する前記N-gramインデックスの符号だけを追記した構成ファイルを生成するステップと、
生成された前記構成ファイルを記憶領域に格納するステップと
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078583A JP5441791B2 (ja) | 2010-03-30 | 2010-03-30 | 検索機能付きファイルストレージ装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078583A JP5441791B2 (ja) | 2010-03-30 | 2010-03-30 | 検索機能付きファイルストレージ装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011210094A JP2011210094A (ja) | 2011-10-20 |
JP5441791B2 true JP5441791B2 (ja) | 2014-03-12 |
Family
ID=44941062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010078583A Expired - Fee Related JP5441791B2 (ja) | 2010-03-30 | 2010-03-30 | 検索機能付きファイルストレージ装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5441791B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016058016A (ja) * | 2014-09-12 | 2016-04-21 | カシオ計算機株式会社 | 検索インデックス作成装置、検索インデックス作成方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4342753B2 (ja) * | 2001-08-10 | 2009-10-14 | 株式会社リコー | 文書検索装置、文書検索方法、プログラム及びコンピュータに読み取り可能な記憶媒体 |
JP4319827B2 (ja) * | 2002-11-12 | 2009-08-26 | 富士通株式会社 | 文書検索プログラム |
WO2006123429A1 (ja) * | 2005-05-20 | 2006-11-23 | Fujitsu Limited | 情報検索方法、装置、プログラム、該プログラムを記録した記録媒体 |
-
2010
- 2010-03-30 JP JP2010078583A patent/JP5441791B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011210094A (ja) | 2011-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6596102B2 (ja) | コンテンツ連想シーブに存在している基本データエレメントからデータを導出することによるデータの無損失削減 | |
US8738572B2 (en) | System and method for storing data streams in a distributed environment | |
JP5339432B2 (ja) | ストレージシステム | |
US8706710B2 (en) | Methods for storing data streams in a distributed environment | |
US8554561B2 (en) | Efficient indexing of documents with similar content | |
JP4522170B2 (ja) | リレーショナルデータベースのインデックス追加プログラム,インデックス追加装置及びインデックス追加方法 | |
KR101631004B1 (ko) | 위치 독립적 파일 | |
JP5650982B2 (ja) | ファイルの重複を排除する装置及び方法 | |
US8527480B1 (en) | Method and system for managing versioned structured documents in a database | |
JP6726690B2 (ja) | 基本データシーブを用いて無損失削減されたデータに対する多次元検索、コンテンツ連想的な取出し、ならびにキーワードベースの検索および取出しの実行 | |
WO2018133762A1 (zh) | 文件合并方法和装置 | |
CN108475508B (zh) | 音频数据和保存在块处理存储系统中的数据的简化 | |
JP4755244B2 (ja) | 情報生成方法、情報生成プログラム及び情報生成装置 | |
JP5441791B2 (ja) | 検索機能付きファイルストレージ装置及びプログラム | |
US9128823B1 (en) | Synthetic data generation for backups of block-based storage | |
JP5488587B2 (ja) | 情報処理システムと方法 | |
JPH10261969A (ja) | データ圧縮方法および装置 | |
JP5867208B2 (ja) | データモデル変換プログラム、データモデル変換方法およびデータモデル変換装置 | |
US8898122B1 (en) | Method and system for managing versioned structured documents in a database | |
US9002810B1 (en) | Method and system for managing versioned structured documents in a database | |
JP4825504B2 (ja) | データ登録・検索システムおよびデータ登録・検索方法 | |
JP5483166B2 (ja) | 文書検索装置、文書検索方法、及びプログラム | |
JP7377915B2 (ja) | 個別データ検索サービスを提供する方法、コンピュータ装置、およびコンピュータプログラム | |
US8918379B1 (en) | Method and system for managing versioned structured documents in a database | |
JP2016139288A (ja) | 検索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131217 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |