JP5458056B2 - 時系列データの圧縮方法および圧縮装置 - Google Patents
時系列データの圧縮方法および圧縮装置 Download PDFInfo
- Publication number
- JP5458056B2 JP5458056B2 JP2011095122A JP2011095122A JP5458056B2 JP 5458056 B2 JP5458056 B2 JP 5458056B2 JP 2011095122 A JP2011095122 A JP 2011095122A JP 2011095122 A JP2011095122 A JP 2011095122A JP 5458056 B2 JP5458056 B2 JP 5458056B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- compression
- value
- threshold value
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
図1は、本発明の第一実施形態に係るデータ圧縮装置の構成例を示すブロック図である。図1に示すように、データ圧縮装置10は、サンプリング手段11、バッファリング手段12、スイッチ16、データ圧縮手段13、履歴データ管理手段14、閾値設定手段15、履歴データ表示手段17を有して成る。
図1のスイッチ16を太実線矢印の向きに設定して、ステップS28にて、バッファリング手段12に溜まったサンプルデータをデータ圧縮手段13に供給し、ステップS29に処理を進める。
図8は、本発明の第二実施形態に係るデータ圧縮装置の構成例を示すブロック図である。図8に示すように、データ圧縮装置10Aは、サンプリング手段11、バッファリング手段12、データ圧縮手段13、履歴データ管理手段14、閾値設定手段15、履歴データ表示手段17を有して成る。
本発明の第三実施形態として、非特許文献1に記載のBox Carアルゴリズムを用いてデータを圧縮する場合を説明する。Box Carアルゴリズムとは、図10に示すように、太いプラス記号で示す最新の抽出点からのデータの変化量が閾値Δを超える点の直前の点(黒丸印)を次の抽出点とするアルゴリズムである。
本発明の第四実施形態として、非特許文献1に記載のBackward Slopeアルゴリズムを用いてデータを圧縮する場合を説明する。Backward Slopeアルゴリズムとは、図14に示すように、太いプラス記号で示した最新の抽出点と、太い×印で示した更にその一つ前の抽出点とを結んでできる直線を、閾値Δ分、上下に平行移動した二直線に挟まれる範囲からデータが外れる直前の点を次の抽出点(黒丸印)とするアルゴリズムである。前記のBox Carアルゴリズムは、言い換えると、最新の抽出点を挟んで時間軸に平行な二直線に挟まれる範囲からデータが外れる直前の点を抽出するものである。これに対して、Backward Slopeアルゴリズムは、一様な傾きで変化するデータを極力廃棄することで、圧縮効率を高めようとするものである。これは、一階差分xiの平均値がゼロに見えるようにBox Carアルゴリズムを改良したものと考えることができる。
本発明の第五実施形態として、非特許文献1に記載のSwinging Doorアルゴリズムを用いてデータを圧縮する場合を説明する。Swinging Doorアルゴリズムの計算モデルは数13の式によって表される。
図17は、本発明の第六実施形態に係るデータ圧縮装置の構成例を示すブロック図である。図17に示すように、データ圧縮装置10Bは、サンプリング手段11、差分値分布計算手段1401、擬似時系列生成手段1402、擬似データ圧縮手段13B、閾値−圧縮率相関生成手段1403、閾値設定手段15B、データ圧縮手段13、履歴データ管理手段14、履歴データ表示手段17を有して成る。前記の第一実施形態から第五実施形態では、タグデータの一階差分値や二階差分値の分布を予め想定し、数式モデルやモンテカルロシミュレーションなどを行って圧縮率の期待値と閾値との関係を求めたが、この第六実施形態では、閾値と圧縮率の期待値との関係を実データからモデル化して相関データを生成し、当該相関データによって閾値設定手段15Bに閾値を設定させる。
11 サンプリング手段
12 バッファリング手段
13 データ圧縮手段
13B 擬似データ圧縮手段
14 履歴データ管理手段
1401 差分値分布計算手段
1402 擬似時系列生成手段
1403 閾値−圧縮率相関生成手段(相関データ生成手段)
15,15B 閾値設定手段
16 スイッチ
17 履歴データ表示手段
Claims (16)
- 数値データシーケンスの中から、データを間引くか否かの判定に使用される閾値に基づいてデータを間引くことによって、非可逆にデータを圧縮するデータ圧縮装置が実行するデータ圧縮方法であって、
所定数の数値データと、データの圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を設定する第1の工程と、
設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮する第2の工程と
を含むことを特徴とするデータ圧縮方法。 - 数値データシーケンスの中から、データを間引くか否かの判定に使用される閾値に基づいてデータを間引くことによって、非可逆にデータを圧縮するデータ圧縮装置が実行するデータ圧縮方法であって、
所定数の数値データと、データの圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を初期設定する第1の工程と、
設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮するとともに、前記所定数ごとの数値データの実際の圧縮率を算出する第2の工程と、
算出した前記実際の圧縮率と前記目標圧縮率とに基づいて前記閾値の再設定が必要か不要かを判定する第3の工程と、
直近の所定数の数値データと前記圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を再設定する第4の工程と
を含むことを特徴とするデータ圧縮方法。 - 請求項2に記載のデータ圧縮方法において、
前記第3の工程における前記閾値の再設定が必要か不要かの判定は、前記実際の圧縮率と前記目標圧縮率との乖離が所定の範囲を超える回数と超えない回数との比率が第1の所定値以上になったときに再設定が必要と判定され、前記比率が第2の所定値以下になったときに再設定が不要と判定される
ことを特徴とするデータ圧縮方法。 - 請求項1から請求項3のいずれか一項に記載のデータ圧縮方法において、
前記特定の圧縮アルゴリズムは、
最後にデータが抽出された抽出点のデータ値とその次のデータ値との偏差が継続するものとして推定される値と、前記抽出点の2つ先のデータ以降の実際のデータ値との偏差の絶対値の累積値が、前記閾値以上となったときに、前記閾値以上となったデータの1つ前のデータを次の抽出点として抽出し、前記次の抽出点までの間のデータを間引いて廃棄するものである
ことを特徴とするデータ圧縮方法。 - 請求項4に記載のデータ圧縮方法において、
前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の二階差分値の絶対値の平均値と前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
ことを特徴とするデータ圧縮方法。 - 請求項1から請求項3のいずれか一項に記載のデータ圧縮方法において、
前記特定の圧縮アルゴリズムは、
Box Carアルゴリズム、Backward Slopeアルゴリズム、またはSwinging Doorアルゴリズムである
ことを特徴とするデータ圧縮方法。 - 請求項6に記載のデータ圧縮方法において、
前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の一階差分値の平均値をその標準偏差で正規化した値と、前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
ことを特徴とするデータ圧縮方法。 - 請求項1から請求項3のいずれか一項に記載のデータ圧縮方法において、
前記データ圧縮装置は、前記数値データシーケンスから隣接データ間の一階差分値または二階差分値の分布を求め、求めた分布にしたがって生成した複数の擬似時系列データを前記閾値を適宜設定して前記圧縮アルゴリズムで圧縮することによって当該閾値に対する圧縮率を測定し、それら測定した圧縮率の平均値を前記目標圧縮率として前記相関データを生成する
ことを特徴とするデータ圧縮方法。 - 数値データシーケンスの中から、データを間引くか否かの判定に使用される閾値に基づいてデータを間引くことによって、非可逆にデータを圧縮するデータ圧縮装置であって、
所定数の数値データと、データの圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を算出する閾値設定手段と、
設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮するデータ圧縮手段と
を備えることを特徴とするデータ圧縮装置。 - 請求項9に記載のデータ圧縮装置において、
前記データ圧縮手段は、さらに、
前記所定数ごとの数値データの実際の圧縮率を算出し、算出した前記実際の圧縮率と前記目標圧縮率とに基づいて前記閾値の再設定が必要か不要かを判定して前記閾値設定手段に前記閾値を再算出させる
ことを特徴とするデータ圧縮装置。 - 請求項10に記載のデータ圧縮装置において、
前記データ圧縮手段による前記閾値の再設定が必要か不要かの判定は、前記実際の圧縮率と前記目標圧縮率との乖離が所定の範囲を超える回数と超えない回数との比率が第1の所定値以上になったときに再設定が必要と判定され、前記比率が第2の所定値以下になったときに再設定が不要と判定される
ことを特徴とするデータ圧縮装置。 - 請求項9から請求項11のいずれか一項に記載のデータ圧縮装置において、
前記特定の圧縮アルゴリズムは、
最後にデータが抽出された抽出点のデータ値とその次のデータ値との偏差が継続するものとして推定される値と、前記抽出点の2つ先のデータ以降の実際のデータ値との偏差の絶対値の累積値が、前記閾値以上となったときに、前記閾値以上となったデータの1つ前のデータを次の抽出点として抽出し、前記次の抽出点までの間のデータを間引いて廃棄するものである
ことを特徴とするデータ圧縮装置。 - 請求項12に記載のデータ圧縮装置において、
前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の二階差分値の絶対値の平均値と前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
ことを特徴とするデータ圧縮装置。 - 請求項9から請求項11のいずれか一項に記載のデータ圧縮装置において、
前記特定の圧縮アルゴリズムは、
Box Carアルゴリズム、Backward Slopeアルゴリズム、またはSwinging Doorアルゴリズムである
ことを特徴とするデータ圧縮装置。 - 請求項14に記載のデータ圧縮装置において、
前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の一階差分値の平均値をその標準偏差で正規化した値と、前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
ことを特徴とするデータ圧縮装置。 - 請求項9から請求項11のいずれか一項に記載のデータ圧縮装置において、
前記数値データシーケンスから隣接データ間の一階差分値または二階差分値の分布を求め、求めた分布にしたがって生成した複数の擬似時系列データを前記閾値を適宜設定して前記圧縮アルゴリズムで圧縮することによって当該閾値に対する圧縮率を測定し、それら測定した圧縮率の平均値を前記目標圧縮率として前記相関データを生成する相関データ生成手段
を備えることを特徴とするデータ圧縮装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011095122A JP5458056B2 (ja) | 2010-05-28 | 2011-04-21 | 時系列データの圧縮方法および圧縮装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010122287 | 2010-05-28 | ||
JP2010122287 | 2010-05-28 | ||
JP2011095122A JP5458056B2 (ja) | 2010-05-28 | 2011-04-21 | 時系列データの圧縮方法および圧縮装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012010319A JP2012010319A (ja) | 2012-01-12 |
JP5458056B2 true JP5458056B2 (ja) | 2014-04-02 |
Family
ID=45540298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011095122A Active JP5458056B2 (ja) | 2010-05-28 | 2011-04-21 | 時系列データの圧縮方法および圧縮装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5458056B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2953266B1 (en) * | 2013-01-31 | 2019-09-25 | Kabushiki Kaisha Toshiba | Data compression device, data compression method, and program |
JP6227186B2 (ja) | 2015-02-16 | 2017-11-08 | 三菱電機株式会社 | データ圧縮装置、データ伸張装置、データ圧縮方法、データ伸張方法及びプログラム |
KR101896002B1 (ko) * | 2015-10-15 | 2018-09-06 | (주) 솔텍시스템 | 실시간 공정 데이터를 효율적으로 압축 처리하기 위한 서버 |
CN110915139B (zh) * | 2017-07-17 | 2023-10-27 | 西门子股份公司 | 用于数据获取的方法、现场设备和云基础设施 |
JP6593519B1 (ja) * | 2018-10-25 | 2019-10-23 | 沖電気工業株式会社 | センサデータ圧縮システム、センサ端末、モデル構築装置、およびプログラム |
CN110995275B (zh) * | 2019-11-20 | 2023-04-14 | 安徽省安泰科技股份有限公司 | 一种对于旋转门压缩算法的改进算法 |
CN112667582A (zh) * | 2020-12-22 | 2021-04-16 | 上海上实龙创智能科技股份有限公司 | 一种用于工业实时数据库的数据压缩方法 |
CN115098507B (zh) * | 2022-06-30 | 2023-08-18 | 东方合智数据科技(广东)有限责任公司 | 一种基于工业互联网数据的存储方法及相关设备 |
CN115268831B (zh) * | 2022-09-22 | 2022-12-20 | 北京中科心研科技有限公司 | 浮点数据压缩方法、装置、可穿戴智能设备及存储介质 |
CN116979972B (zh) * | 2023-09-21 | 2023-12-12 | 成都博宇利华科技有限公司 | 一种针对模数转换器采集数据的压缩及解压缩方法 |
CN117650791B (zh) * | 2024-01-30 | 2024-04-05 | 苏芯物联技术(南京)有限公司 | 一种融合焊接工艺机理的焊接历史气流数据压缩方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3250841B2 (ja) * | 1992-06-12 | 2002-01-28 | 新日鉄ソリューションズ株式会社 | 図形データの処理方法及び装置 |
JP2005286437A (ja) * | 2004-03-29 | 2005-10-13 | Seiko Epson Corp | 画像群のダイジェストの作成 |
JP2009080076A (ja) * | 2007-09-27 | 2009-04-16 | Nippon Steel Corp | 成形品の形状評価方法及び装置 |
JP2009110419A (ja) * | 2007-10-31 | 2009-05-21 | Toshiba Corp | 遠隔監視システム及びトラフィック制御方法 |
-
2011
- 2011-04-21 JP JP2011095122A patent/JP5458056B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012010319A (ja) | 2012-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5458056B2 (ja) | 時系列データの圧縮方法および圧縮装置 | |
CN110880984B (zh) | 基于模型的流量异常监测方法、装置、设备及存储介质 | |
CN110149237B (zh) | 一种Hadoop平台计算节点负载预测方法 | |
JP2010505184A (ja) | 動的な状態推定 | |
CN106530198B (zh) | 基于参数拟合安全容量的自适应批量隐写方法 | |
CN113902118A (zh) | 量子测量设备校准方法及装置、电子设备和介质 | |
CN116776155B (zh) | 一种基于联邦学习的模型训练方法、装置、设备和介质 | |
CN113408808A (zh) | 训练方法、数据生成方法、装置、电子设备以及存储介质 | |
CN112532615A (zh) | 一种智能电网蠕虫检测方法 | |
JP2016126596A (ja) | 差分学習管理プログラム、差分学習管理装置及び差分学習管理方法 | |
JP6186303B2 (ja) | トラヒック量上限値予測装置及び方法及びプログラム | |
CN115618714A (zh) | 一种太阳辐射概率预报方法及相关设备 | |
KR101549349B1 (ko) | 데이터 기반 모델의 건물 에너지 모델링 방법과 이를 이용한 에너지 최적관리와 제어 방법 | |
JP2009536412A5 (ja) | ||
WO2016017171A1 (ja) | 流量予測装置、混合比推定装置、方法およびコンピュータ読み取り可能記録媒体 | |
Tiotsop et al. | A Scoring Model Considering the Variability of Subjects' Characteristics in Subjective Experiments | |
CN113179224A (zh) | 用于内容分发网络的流量调度方法及装置 | |
CN113364699A (zh) | 基于多尺度自相似特性的云数据流量管控方法和系统 | |
JP5622967B1 (ja) | データ圧縮装置、データ圧縮方法およびプログラム | |
Awad et al. | Zero-variance importance sampling estimators for markov process expectations | |
KR20220042629A (ko) | 예측 범위 최적화 방법 및 장치 | |
JP5600694B2 (ja) | クラスタリング装置及び方法及びプログラム | |
Meidani et al. | Uncertainty quantification for Markov chain models | |
Chow | On observable chaotic maps for queuing analysis | |
CN112434725B (zh) | 一种部署到html5的模型压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5458056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |