JP7404734B2 - データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム - Google Patents
データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム Download PDFInfo
- Publication number
- JP7404734B2 JP7404734B2 JP2019172810A JP2019172810A JP7404734B2 JP 7404734 B2 JP7404734 B2 JP 7404734B2 JP 2019172810 A JP2019172810 A JP 2019172810A JP 2019172810 A JP2019172810 A JP 2019172810A JP 7404734 B2 JP7404734 B2 JP 7404734B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- time
- compression
- compressed
- statistical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013144 data compression Methods 0.000 title claims description 105
- 238000000034 method Methods 0.000 title claims description 71
- 238000007726 management method Methods 0.000 title claims description 45
- 238000007906 compression Methods 0.000 claims description 59
- 230000006835 compression Effects 0.000 claims description 59
- 230000006837 decompression Effects 0.000 claims description 27
- 238000013500 data storage Methods 0.000 claims description 26
- 238000007667 floating Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明の第1の実施形態について図を参照して詳細に説明する。図1は、本実施形態のデータ圧縮装置の構成の概要を示したものである。本実施形態のデータ圧縮装置は、時刻データ圧縮部1と、統計データ圧縮部2と、データ格納部3とを備えている。時刻データ圧縮部1は、時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力する。統計データ圧縮部2は、時刻データと関連づけられて取得されたデータである統計データを、第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力する。データ格納部3は、第1の圧縮データと、第2の圧縮データを関連づけてデータベースに出力する。
本発明の第2の実施形態について図を参照して詳細に説明する。図2は、本実施形態の履歴情報管理システムの構成の概要を示した図である。本実施形態の履歴情報管理システムは、構成管理部10と、データ取得部20と、データ圧縮解凍部30と、レポート作成部40と、構成情報保存部50と、履歴情報保存部60を備えている。本実施形態の履歴情報管理システムは、例えば、一定時間ごとにサーバ70から稼動状態等の情報を取得し、取得した情報をリレーショナルデータベースに時系列の履歴データとして保存するシステムである。
D=(tn-tn-1)-(tn-1-tn-2)
上記の式のtnは、n番目の時刻データを示し、tn-1およびtn-2は、n-1番目およびn-2番目の時刻データをそれぞれ示している。圧縮可否および時刻データの格納方法は、間隔Dの値を基に決定される。間隔Dが所定の区間内のとき(ステップS104でYes)、時刻データ圧縮部35は、時刻データの圧縮を行う(ステップS105)。以下では、圧縮可能と判断する間隔Dの範囲を示す所定の間隔が-2047から2048として設定されている場合を例に説明する。
時刻1 9.0(2進数表現は、01000001000100000000000000000000)、
時刻2 13.0(2進数表現は、01000001010100000000000000000000)、
時刻3 7.0(2進数表現は、01000000111000000000000000000000)
であったとする。
2 統計データ圧縮部
3 データ格納部
10 構成管理部
11 構成情報管理部
12 データテーブル更新部
20 データ取得部
21 システム情報収集監視部
22 履歴データ更新部
30 データ圧縮解凍部
31 データ圧縮部
32 データ解凍部
33 データキャッシュ部
34 データ格納部
35 時刻データ圧縮部
36 統計データ圧縮部
40 レポート作成部
50 構成情報保存部
60 履歴情報保存部
70 サーバ
80 コンピュータ
81 CPU
82 メモリ
83 記憶装置
84 I/F部
91 データ取得部
92 データ圧縮装置
Claims (10)
- 時系列上において順に並んだ時刻データである第1の時刻、第2の時刻および第3の時刻を用いて算出される時刻の間隔であり、前記第1の時刻および前記第2の時刻の差である第1の間隔と、前記第2の時刻および第3の時刻の差である第2の間隔との差として算出される前記時刻の間隔が所定の間隔以内の場合に、前記時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力し、前記時刻の間隔が前記所定の間隔外の場合に、前記時刻データを圧縮せずに出力する時刻データ圧縮手段と、
前記時刻データと関連づけられて取得されたデータである統計データを、前記第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力する統計データ圧縮手段と、
前記第1の圧縮データと、前記第2の圧縮データを関連づけてデータベースに出力するデータ格納手段と
を備えることを特徴とするデータ圧縮装置。 - 前記時刻データ圧縮手段は、前記時刻データをDouble-delta圧縮方式で圧縮し、前記統計データ圧縮手段は、前記統計データを浮動小数点形式の2個の前記統計データのXOR演算を行って圧縮することを特徴とする請求項1に記載のデータ圧縮装置。
- 前記データ格納手段は、前記第2の圧縮データを保存する領域に圧縮の有無を示す情報を格納したデータを出力することを特徴とする請求項2に記載のデータ圧縮装置。
- 前記データベースから前記第1の圧縮データおよび前記第2の圧縮データを読み出し、前記第2の圧縮データを保存する領域に圧縮を示す情報が格納されているとき、前記第1の圧縮データおよび前記第2の圧縮データを解凍するデータ解凍手段をさらに備えることを特徴とする請求項3に記載のデータ圧縮装置。
- 前記データ格納手段は、前記時刻データと前記統計データの圧縮が不可であったとき、前記時刻データと前記統計データを圧縮せずに前記データベースに出力することを特徴とする請求項1から4いずれかに記載のデータ圧縮装置。
- 少なくとも1台のサーバと、
前記サーバから前記サーバの状態を示す情報を統計データとして、前記統計データが取得された時刻に対応する時刻データと関連づけて取得するデータ取得手段と、
請求項1から5いずれかに記載のデータ圧縮装置と
を備え、
前記データ圧縮装置は、前記データ取得手段が取得した前記時刻データおよび前記統計データを圧縮して、前記第1の圧縮データおよび前記第2の圧縮データを前記データベースに出力することを特徴とする履歴情報管理システム。 - 時刻データと、前記時刻データと関連づけられたデータとを統計データとして取得し、
時系列上において順に並んだ時刻データである第1の時刻、第2の時刻および第3の時刻を用いて算出される時刻の間隔であり、前記第1の時刻および前記第2の時刻の差である第1の間隔と、前記第2の時刻および第3の時刻の差である第2の間隔との差として算出される前記時刻の間隔が所定の間隔以内の場合に、前記時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力し、前記時刻の間隔が前記所定の間隔外の場合に、前記時刻データを圧縮せずに出力し、
前記統計データを、前記第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力し、
前記第1の圧縮データと、前記第2の圧縮データを関連づけてデータベースに出力することを特徴とするデータ圧縮方法。 - 前記時刻データをDouble-delta圧縮方式で圧縮し、
前記統計データを浮動小数点形式の2個の前記統計データのXOR演算を行って圧縮することを特徴とする請求項7に記載のデータ圧縮方法。 - 前記第2の圧縮データを保存する領域に圧縮の有無を示す情報を格納したデータを出力することを特徴とする請求項7または8に記載のデータ圧縮方法。
- 時系列上において順に並んだ時刻データである第1の時刻、第2の時刻および第3の時刻を用いて算出される時刻の間隔であり、前記第1の時刻および前記第2の時刻の差である第1の間隔と、前記第2の時刻および第3の時刻の差である第2の間隔との差として算出される前記時刻の間隔が所定の間隔以内の場合に、前記時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力し、前記時刻の間隔が前記所定の間隔外の場合に、前記時刻データを圧縮せずに出力する処理と、
前記時刻データと関連づけられて取得されたデータである統計データを、前記第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力する処理と、
前記第1の圧縮データと、前記第2の圧縮データを関連づけてデータベースに出力する処理と
をコンピュータに実行させることを特徴とするデータ圧縮プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019172810A JP7404734B2 (ja) | 2019-09-24 | 2019-09-24 | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019172810A JP7404734B2 (ja) | 2019-09-24 | 2019-09-24 | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021052263A JP2021052263A (ja) | 2021-04-01 |
JP7404734B2 true JP7404734B2 (ja) | 2023-12-26 |
Family
ID=75158305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019172810A Active JP7404734B2 (ja) | 2019-09-24 | 2019-09-24 | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7404734B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11777519B2 (en) | 2022-02-10 | 2023-10-03 | International Business Machines Corporation | Partitional data compression |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003188734A (ja) | 2001-12-17 | 2003-07-04 | Kawasaki Microelectronics Kk | アナログ信号変換器 |
US20180089328A1 (en) | 2016-09-26 | 2018-03-29 | Splunk Inc. | Techniques for ingesting metrics data |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4646241A (en) * | 1984-06-21 | 1987-02-24 | United Technologies Corporation | Solid-state flight data recording system |
JP3013383B2 (ja) * | 1990-04-04 | 2000-02-28 | ソニー株式会社 | データ圧縮符号化装置 |
-
2019
- 2019-09-24 JP JP2019172810A patent/JP7404734B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003188734A (ja) | 2001-12-17 | 2003-07-04 | Kawasaki Microelectronics Kk | アナログ信号変換器 |
US20180089328A1 (en) | 2016-09-26 | 2018-03-29 | Splunk Inc. | Techniques for ingesting metrics data |
Also Published As
Publication number | Publication date |
---|---|
JP2021052263A (ja) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5377318B2 (ja) | 個別にアクセス可能なデータユニットの格納管理 | |
US7246139B2 (en) | File system for enabling the restoration of a deffective file | |
CN107305586B (zh) | 索引生成方法、索引生成装置及搜索方法 | |
EP2965189B1 (en) | Managing operations on stored data units | |
EP3154202B1 (en) | Encoding program, encoding method, encoding device, decoding program, decoding method, and decoding device | |
CN102073712B (zh) | 基于动态变化帧的过程数据全息归档和反演方法 | |
US11030172B2 (en) | Database archiving method and device for creating index information and method and device of retrieving archived database including index information | |
WO2012040391A1 (en) | Compressed distributed storage systems and methods for providing same | |
US20190026189A1 (en) | Method and device of archiving database and method and device of retrieving archived database | |
US9317205B2 (en) | Information processing system and control method thereof | |
US11411576B2 (en) | Data management system, data management method, and storage medium with data management program stored thereon | |
CN111611250A (zh) | 数据存储设备、数据查询方法、装置、服务器及存储介质 | |
JP7404734B2 (ja) | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム | |
CN110851409A (zh) | 一种日志压缩、解压缩方法、设备及存储介质 | |
JP2007088962A (ja) | 順序データ圧縮方法、順序データ解凍方法、順序データ処理プログラム、順序データ圧縮装置、順序データ解凍装置、および、順序データ処理システム | |
CN110188160B (zh) | 数据存储方法和数据读取方法 | |
JP2013101470A (ja) | データベース圧縮装置 | |
JP2006259937A (ja) | データ収集装置およびデータ復元装置 | |
CN115408390A (zh) | 一种数据处理方法、装置及电子设备 | |
CN114297196A (zh) | 元数据存储方法、装置、电子设备及存储介质 | |
US10037148B2 (en) | Facilitating reverse reading of sequentially stored, variable-length data | |
KR101896002B1 (ko) | 실시간 공정 데이터를 효율적으로 압축 처리하기 위한 서버 | |
KR101575015B1 (ko) | 시계열적 공정 데이터의 압축 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
KR102139578B1 (ko) | 디스크 블록 패턴 분석을 통한 데이터베이스 파일 복구 방법 | |
JP2011003038A (ja) | プロセス監視制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7404734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |