JP7006462B2 - データ生成プログラム、データ生成方法および情報処理装置 - Google Patents
データ生成プログラム、データ生成方法および情報処理装置 Download PDFInfo
- Publication number
- JP7006462B2 JP7006462B2 JP2018071191A JP2018071191A JP7006462B2 JP 7006462 B2 JP7006462 B2 JP 7006462B2 JP 2018071191 A JP2018071191 A JP 2018071191A JP 2018071191 A JP2018071191 A JP 2018071191A JP 7006462 B2 JP7006462 B2 JP 7006462B2
- Authority
- JP
- Japan
- Prior art keywords
- bitmap
- morpheme
- index
- word
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/123—Storage facilities
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6011—Encoder aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
まず、実施例1にかかる情報処理装置10(図2を参照)が実行する処理について説明する。図1は、実施例1にかかる復元処理を説明する図である。ここでは、「医療・・・・<副作用>発熱</副作用>・・・である」のように、タグで囲まれた単語を含む文章を対象とする。なお、タグに限らず、カラムなどであっても同様に処理することができる。
図2は、実施例1にかかる情報処理装置10の機能構成を示す機能ブロック図である。図2に示すように、情報処理装置10は、通信部11、記憶部12、制御部20を有する。
図14は、処理の流れを示すフローチャートである。ここでは、静的辞書と動的辞書は、すでに記憶されているものとする。
上述したように、情報処理装置10は、オフセット付きのビットマップ型転置インデックス、共起ビットマップをもとに、圧縮符号の転置と置換、およびテキストを復元する。具体的には、情報処理装置10は、オフセット付きのビットマップ型転置インデックスのビット列の1ビットと圧縮符号のバイト列の固定3バイトを対応付け、復号対象の部分(タグ関連部分)についてのみ、該当単語の圧縮符号の転置を実行する。続いて、情報処理装置10は、各圧縮符号のNULLバイトをサプレスする。その後、情報処理装置10は、固定3バイトの圧縮符号のバイト列をもとに、静的辞書と動的辞書を用いて、復元対象のタグ関連部分のみを復元する。したがって、情報処理装置10は、共起ビットマップをもとに、復号対象の部分(タグ関連部分)のみを絞り込んで復元することで高速化を図ることができる。
実施例1にかかる情報処理装置10は、検索クエリとして単語またはタグなどを受け付けて上記検索処理を実行することができる。また、検索クエリに指定するタグは、開始タグと終了タグの両方であっても、いずれか一方であっても、実施例と同様の手法を用いて、処理することができる。また、情報処理装置10は、タグなどに限らずカラムなどについても同様に処理することができ、共起する形態素であれば、どのような形態素を採用することもできる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図15は、実施例1の情報処理装置10のハードウェア構成を示す図である。図15の例に示すように、コンピュータ400は、各種演算処理を実行するCPU401と、ユーザからのデータ入力を受け付ける入力装置402と、モニタ403とを有する。また、コンピュータ400は、記憶媒体からプログラム等を読み取る媒体読取装置404と、他の装置と接続するためのインターフェース装置405と、他の装置と無線により接続するための無線通信装置406とを有する。また、コンピュータ400は、各種情報を一時記憶するRAM(Random Access Memory)407と、ハードディスク装置408とを有する。また、各装置401~408は、バス409に接続される。
11 通信部
12 記憶部
13 転置インデックスDB
14 静的辞書
15 動的辞書
16 共起情報DB
20 制御部
21 取得部
22 復元部
23 検索部
24 転置処理部
25 復元処理部
Claims (5)
- テキストデータにより生成された、前記テキストデータに含まれる複数の形態素の位置を前記複数の形態素それぞれと対応付けたインデックスを参照して、第1の形態素の前記テキストデータにおける位置の順で前記第1の形態素を配置し、
形態素間の関係性を示す関係性情報を参照し、前記第1の形態素が第2の形態素と関係性を有する特定の種別である場合、前記インデックスを参照し、前記テキストデータにおける位置の順で前記第2の形態素を配置する、
処理をコンピュータに実行させることを特徴とするデータ生成プログラム。 - 前記テキストデータに含まれる形態素それぞれを符号化した符号と、前記テキストデータにおける当該形態素を対応づけた前記インデックスを参照して、前記テキストデータを符号化した符号化データにおける前記第1の形態素の位置および前記第2の形態素の位置を特定し、
前記符号化データの中から、前記第1の形態素および前記第2の形態素を前記テキストデータにおける位置の順で配置して復号することを特徴とする請求項1に記載のデータ生成プログラム。 - 前記符号化データの検索対象として、単語とタグ、または、単語とカラムを受け付けた場合に、前記インデックスを参照して前記単語に該当する第1の符号と前記タグまたは前記カラムに対応する第2の符号とを特定し、
前記符号化データにおける前記第1の符号の位置および前記第2の符号の位置を特定し、
前記符号化データの中から、前記第1の符号および前記第2の符号を前記テキストデータにおける位置の順で配置して復号することを特徴とする請求項2に記載のデータ生成プログラム。 - テキストデータにより生成された、前記テキストデータに含まれる複数の形態素の位置を前記複数の形態素それぞれと対応付けたインデックスを参照して、第1の形態素の前記テキストデータにおける位置の順で前記第1の形態素を配置し、
形態素間の関係性を示す関係性情報を参照し、前記第1の形態素が第2の形態素と関係性を有する特定の種別である場合、前記インデックスを参照し、前記テキストデータにおける位置の順で前記第2の形態素を配置する、
処理をコンピュータが実行することを特徴とするデータ生成方法。 - テキストデータにより生成された、前記テキストデータに含まれる複数の形態素の位置を前記複数の形態素それぞれと対応付けたインデックスを参照して、第1の形態素の前記テキストデータにおける位置の順で前記第1の形態素を配置する第1配置部と、
形態素間の関係性を示す関係性情報を参照し、前記第1の形態素が第2の形態素と関係性を有する特定の種別である場合、前記インデックスを参照し、前記テキストデータにおける位置の順で前記第2の形態素を配置する第2配置部と
を有することを特徴とする情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071191A JP7006462B2 (ja) | 2018-04-02 | 2018-04-02 | データ生成プログラム、データ生成方法および情報処理装置 |
US16/351,925 US10803243B2 (en) | 2018-04-02 | 2019-03-13 | Method, device, and medium for restoring text using index which associates coded text and positions thereof in text data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071191A JP7006462B2 (ja) | 2018-04-02 | 2018-04-02 | データ生成プログラム、データ生成方法および情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185145A JP2019185145A (ja) | 2019-10-24 |
JP7006462B2 true JP7006462B2 (ja) | 2022-01-24 |
Family
ID=68057201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071191A Active JP7006462B2 (ja) | 2018-04-02 | 2018-04-02 | データ生成プログラム、データ生成方法および情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10803243B2 (ja) |
JP (1) | JP7006462B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11086950B2 (en) * | 2018-05-04 | 2021-08-10 | Servicenow, Inc. | System and method for task generation to address article feedback |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008140357A (ja) | 2006-11-08 | 2008-06-19 | Hitachi Ltd | 転置インデックス作成装置、作成方法、及び検索方法 |
WO2009063925A1 (ja) | 2007-11-15 | 2009-05-22 | Nec Corporation | 文書管理・検索システムおよび文書の管理・検索方法 |
JP2012038124A (ja) | 2010-08-09 | 2012-02-23 | Nec Corp | 文書処理装置、文書処理方法、及び、プログラム |
JP2017194762A (ja) | 2016-04-18 | 2017-10-26 | 富士通株式会社 | インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6112208A (en) * | 1997-08-25 | 2000-08-29 | Fujitsu Limited | Data compressing method and apparatus to generate bit maps in accordance with extracted data symbols |
JPH11136135A (ja) * | 1997-08-25 | 1999-05-21 | Fujitsu Ltd | データ圧縮方法、その装置、データ復元方法、及びその装置、記録媒体 |
JP2004102430A (ja) | 2002-09-05 | 2004-04-02 | Ntt Docomo Inc | 構造化文書ファイル処理装置、構造化文書ファイル処理方法、プログラム及び記憶媒体 |
US7457940B2 (en) * | 2004-11-16 | 2008-11-25 | International Business Machines Corporation | System and method for managing data |
US8175875B1 (en) * | 2006-05-19 | 2012-05-08 | Google Inc. | Efficient indexing of documents with similar content |
US7853598B2 (en) * | 2007-10-01 | 2010-12-14 | Sap Ag | Compressed storage of documents using inverted indexes |
NO327653B1 (no) * | 2007-12-20 | 2009-09-07 | Fast Search & Transfer As | Fremgangsmate for dynamisk oppdatering av en indeks og en sokemotor som implementerer samme |
JP5193669B2 (ja) | 2008-05-08 | 2013-05-08 | 株式会社野村総合研究所 | 検索システム |
JP4734400B2 (ja) | 2008-12-18 | 2011-07-27 | 株式会社東芝 | 文書検索装置およびプログラム |
US9582486B2 (en) * | 2014-05-13 | 2017-02-28 | Lc Cns Co., Ltd. | Apparatus and method for classifying and analyzing documents including text |
JP6476647B2 (ja) | 2014-08-20 | 2019-03-06 | 富士通株式会社 | 圧縮プログラム、圧縮装置、圧縮方法、伸長プログラム、伸長装置および伸長方法 |
JP6543922B2 (ja) * | 2014-12-10 | 2019-07-17 | 富士通株式会社 | インデックス生成プログラム |
JP6550765B2 (ja) * | 2015-01-28 | 2019-07-31 | 富士通株式会社 | 文字データ変換プログラム、文字データ変換装置および文字データ変換方法 |
-
2018
- 2018-04-02 JP JP2018071191A patent/JP7006462B2/ja active Active
-
2019
- 2019-03-13 US US16/351,925 patent/US10803243B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008140357A (ja) | 2006-11-08 | 2008-06-19 | Hitachi Ltd | 転置インデックス作成装置、作成方法、及び検索方法 |
WO2009063925A1 (ja) | 2007-11-15 | 2009-05-22 | Nec Corporation | 文書管理・検索システムおよび文書の管理・検索方法 |
JP2012038124A (ja) | 2010-08-09 | 2012-02-23 | Nec Corp | 文書処理装置、文書処理方法、及び、プログラム |
JP2017194762A (ja) | 2016-04-18 | 2017-10-26 | 富士通株式会社 | インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法 |
Also Published As
Publication number | Publication date |
---|---|
US10803243B2 (en) | 2020-10-13 |
JP2019185145A (ja) | 2019-10-24 |
US20190303436A1 (en) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW312771B (ja) | ||
US8988257B2 (en) | Data compression utilizing variable and limited length codes | |
US9425821B2 (en) | Converting device and converting method | |
JP5831298B2 (ja) | プログラム、情報処理装置およびインデックス生成方法 | |
JP3778087B2 (ja) | データ符号化装置及びデータ復号装置 | |
US9973206B2 (en) | Computer-readable recording medium, encoding device, encoding method, decoding device, and decoding method | |
US20130262486A1 (en) | Encoding and Decoding of Small Amounts of Text | |
JP6550765B2 (ja) | 文字データ変換プログラム、文字データ変換装置および文字データ変換方法 | |
US20220277139A1 (en) | Computer-readable recording medium, encoding device, index generating device, search device, encoding method, index generating method, and search method | |
US9965448B2 (en) | Encoding method and information processing device | |
JP7006462B2 (ja) | データ生成プログラム、データ生成方法および情報処理装置 | |
JP3342788B2 (ja) | 圧縮データの伸張方法 | |
JP6984321B2 (ja) | データ生成プログラム、データ生成方法および情報処理装置 | |
JP6907948B2 (ja) | ファイル生成プログラム、ファイル生成方法及びファイル生成装置 | |
JPH10261969A (ja) | データ圧縮方法および装置 | |
JP2016134808A (ja) | データ圧縮プログラム、データ復元プログラム、データ圧縮装置、及びデータ復元装置 | |
JP6512294B2 (ja) | 圧縮プログラム、圧縮方法および圧縮装置 | |
US20160210304A1 (en) | Computer-readable recording medium, information processing apparatus, and conversion process method | |
Rincy et al. | Preprocessed text compression method for Malayalam text files | |
JP2004013680A (ja) | 文字コード圧縮・復元装置および同方法 | |
JP6658908B2 (ja) | 出力プログラム、出力方法および出力システム | |
JP2016019113A (ja) | 伸長方法、伸長プログラムおよび伸長装置 | |
JP3236747B2 (ja) | データ伸長方式 | |
Ong et al. | Compressing Chinese text files using an adaptive Huffman coding scheme and a static dictionary of character pairs | |
JP4061283B2 (ja) | 字句をデータに変換する装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7006462 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |