JP4808721B2 - データ圧縮方法 - Google Patents

データ圧縮方法 Download PDF

Info

Publication number
JP4808721B2
JP4808721B2 JP2007533745A JP2007533745A JP4808721B2 JP 4808721 B2 JP4808721 B2 JP 4808721B2 JP 2007533745 A JP2007533745 A JP 2007533745A JP 2007533745 A JP2007533745 A JP 2007533745A JP 4808721 B2 JP4808721 B2 JP 4808721B2
Authority
JP
Japan
Prior art keywords
data
point
data point
critical aperture
data points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007533745A
Other languages
English (en)
Other versions
JP2008515295A5 (ja
JP2008515295A (ja
Inventor
ウィリアムズ,ジョージ・エドワード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2008515295A publication Critical patent/JP2008515295A/ja
Publication of JP2008515295A5 publication Critical patent/JP2008515295A5/ja
Application granted granted Critical
Publication of JP4808721B2 publication Critical patent/JP4808721B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Description

本発明は、一般的にはデータ管理システムに関し、より詳細には、データ管理システムにおける効率的なデータ圧縮およびデータ記憶のためのシステムおよび方法に関する。
様々な業界において、特定の設備、プロセスなどに関連するデータを効率的に監視し、サンプリングし、記憶し、授受し、処理し、さらに分析する場合に、データ管理システムが重要である。例えば、いくつかのデータ管理システムは、動作に関するデータまたはパラメータを収集することによって、様々なプロセスを様々な時間と場所で監視するのに有効である。これは、監視したプロセスを後で分析する場合に便利である。特定のプロセスにおいて、動作に関するデータまたはパラメータには、圧力、温度、音声、速度、流量、あるいは他の任意の測定可能な物理的、化学的、または生物学的パラメータが含まれる。後の分析には、性能評価、誤差解析、コスト分析、障害予測、もしくは平均寿命分析、または様々なプロセスに関する他の所望の評価を含めてもよい。
こうした分析の多くでは、データサンプリングレート、データストレージ容量、データ圧縮率、およびそれ以外のボトルネックに基づいてデータ管理システムが制限される。このような分析の精度は、データサンプリング度数に基づくことが多い。すなわち、データサンプリングレベルが高いほど分析の精度も向上する。残念ながら、多くの場合にデータストレージ容量、データ圧縮率の制限によって、望ましいデータサンプリングレートに十分に対応できず、そのことによって特定の分析の精度が低下する。例えば、プロセス制御アプリケーションでは、1つまたは複数の並行プロセスから非常に頻回な時間間隔(例えば、1秒間に1回または1分間に1回)でデータが収集されると、膨大な量のデータが収集されることになる。結果として、こうして収集されたデータによるストレージの消費を抑えるとともに、所望の分析で使用する収集されたデータの重要な部分を保持するために、データの圧縮が重要になる。
既存のデータ圧縮技術も収集されたデータによるストレージ消費を抑えてはいるものの、このような技術ではストレージの簡便さを実現するためにデータの精度が犠牲になる。例えば、1つの既存のデータ圧縮技術には、連続的なデータのグループを組み合わせて平均し、1つの平均データポイントを作成するステップが含まれる。しかし、平均することによって、データ管理システムは平均データポイントの上下の変動を失い、結果として平均されたデータに基づく正確さを欠いた予測が得られる可能性がある。同様に、他の既存のデータ圧縮技術は有効で重要なデータを廃棄して、後から入ってくるデータ用にストレージ容量を節約または解放する可能性がある。
米国特許第4,669,097号
したがって、正確なデータ分析および予測を可能にする効率的なデータ圧縮技術が求められている。
本技術のいくつかの実施形態により、データポイントのセットを圧縮するシステムが提供される。本システムには、データポイントのセットから1つまたは複数のデータポイントを廃棄するように構成されたクリティカルアパーチャ(critical aperture)圧縮モジュールが含まれる。廃棄された1つまたは複数のデータポイントは、廃棄された1つまたは複数のデータポイントの傾向を表す直線の周辺の許容帯域(tolerance band)内にある。データポイントのセットの残りは、圧縮されたデータポイントのセットを表す。
本技術の別のいくつかの実施形態により、データの圧縮を実現する方法が提供される。本方法には、アーカイブされたデータポイントから始まり、保持されたデータポイントまで延びる上側勾配および下側勾配を有するクリティカルアパーチャを提供するステップが含まれる。上側勾配および下側勾配は、保持されたデータポイントの許容帯域と、アーカイブされたデータポイントと保持されたデータポイントとの間にある中間ポイントに基づいて求められる。本方法には、アーカイブされたデータポイントから始まり、後続の新しいデータポイントまで延びる線の勾配がクリティカルアパーチャ内にある場合は保持されたデータポイントを廃棄するステップがさらに含まれる。
本技術のさらに別の態様により、工業用ユニットからサンプリングされたデータポイントのセットを圧縮するシステムが提供される。工業用ユニットは、工業用ユニットの任意の測定可能なアクティビティを表すデータポイントのセットを提供する1つまたは複数のセンサによって監視される。本システムには、1つまたは複数のセンサからデータポイントのセットを受け取り、データポイントのセットから1つまたは複数のデータポイントを廃棄するように構成されたデータ管理システムも含まれる。
上記およびそれ以外の本発明の機能、態様、および利点については、添付の図面を参照しながら以下の詳細な説明を読むことでより深く理解されるであろう。こうしたすべての図面では、類似の要素を類似の文字で表現している。
例示的なデータ管理システムによって収集された情報用のストレージの削減を可能にするシステムおよび方法の様々な実施形態を以下に開示する。このような実施形態は、例示的な工業用プラントから記録された1つまたは複数の測定可能な動作パラメータを表すデータポイントのセットを効果的に削減する。例えば、以下でさらに詳しく説明するように、本技術のいくつかの実施形態は、以前にアーカイブされたデータポイントに関連するクリティカルアパーチャ(例えば上側勾配および下側勾配)を定義する。後続の新しいデータポイントがこのクリティカルアパーチャの内部にある場合は廃棄され、後続の新しいデータポイントがこのクリティカルアパーチャの外部にある場合は保持される。このようにして、以下に示す実施形態により、ストレージ使用容量を削減する効率的で費用対効果の高いデータ圧縮技術が提供される。
ここで図について説明する。まず図1を参照すると、データポイントのセット内の1つまたは複数のデータポイントを圧縮する例示的なデータ管理システム10が示されている。データ管理システム10を使用して、工業用ユニット12から複数のセンサ14を経由してデータ16を収集する。データ管理システム10には、センサ14からデータ16を取得するデータ収集モジュール18、データ16をフィルタリングまたは圧縮するクリティカルアパーチャ圧縮モジュール20、フィルタリングまたは圧縮されたデータを保持するデータストレージモジュール22、システム10にインターフェース接続してシステム10にユーザ入力26を提供するユーザインターフェースモジュール24が含まれる。以下で説明するいくつかの実施形態では、クリティカルアパーチャ圧縮モジュール20によって前にアーカイブされたデータポイントに関連するクリティカルアパーチャ(例えば上側勾配および下側勾配)内にあるデータポイントを廃棄することにより、データ16によるストレージ消費の削減が促進される。換言すれば、クリティカルアパーチャ圧縮モジュール20は、後続のデータポイントがクリティカルアパーチャの外部に出るまでクリティカルアパーチャ内にある一連のデータポイントを廃棄する。この外部に出たデータポイントで、クリティカルアパーチャ圧縮モジュール20はこの外部のデータポイントを次のアーカイブされたデータポイントとして記憶、記憶、または一般的に保存する。さらにこのプロセスが繰り返される。前述の各モジュール(クリティカルアパーチャ圧縮モジュール20を含む)については、以下の各節でより詳細に説明する。
工業用ユニット12には、工業上のタスクを実行または支援する様々なデバイスが含まれる。工業用ユニット12の例には、流体圧縮ユニット、発電設備(ガスタービン、蒸気タービン、発電機(generators)、ガスタービン航空エンジンなど)、熱交換設備(ボイラー、空気予熱器(air pre−heaters)、過熱器(super heaters)、もしくはその他の熱交換デバイス)、および熱生成設備(炉など)、プラント運転監視(製紙工場など)、および/または生産施設(自動車組立工場など)が含まれる。センサ14は、工業用ユニット12の動作パラメータの変化を監視するように構成されている。
動作パラメータには、温度、圧力、体積、重さ、質量、数量、速度(例えば線形または回転)、加速度、流量(例えば燃料流または気流など)、位置、張力、電流、電圧、電力、生産高、時間、色、硬度、粘度、湿気/湿度などを含めてもよい。これに応じて、センサ14には様々な感知回路および感知メカニズム、例えば、アクチュエータ、スイッチ、ゲージ、メータ、光学装置、温度測定装置(例えば、温度計、熱電対、サーミスタ、パイロメータなど)、圧力測定装置(例えば、気圧計、マノメータなど)、スケール、カウンタ、タイマ、変位測定装置、スピードメータ、周波数測定装置、流量計、動力計、電圧計、電流計、抵抗計、ポテンショメータ、タコメータ、比色計、分光光度計、ひずみゲージ、粘度計、反射率計、濁度計、湿度計、熱量計などが含まれる。この例示的な実施形態では、センサ14は、工業用ユニット12の監視、データ収集、サンプリング、分析、および応答制御の機能を促進する。例えば、センサ14が速度、温度、またはその他の動作パラメータの望ましくない状態または変化を識別すると、システム10は適切な動作パラメータに調整することによって応答できる。他の例示的な実施形態では、センサは送信されたデータを直接提供しなくてもよい。感知されたデータは、代わりに、感知されたデータを信号ゲインの調整やノイズの軽減によって変更したり、感知されたデータを特定の測定基準に基づいて変換したりするように構成されたアーカイブシステムまたはデータ収集システムから取得されてもよい。変更済みの感知されたデータは、クリティカルアパーチャ圧縮モジュールによって実際に感知されたデータから同時に処理しても別に処理してもよい。
データ管理システム10により、複数のセンサ14からデータ16の動作中の監視、データ収集、圧縮、記憶、分析が促進される。例えば、データ収集モジュール18はセンサ14と対話し、様々な動作パラメータに対応するデータ16を指定された時間間隔で監視および取得(またはサンプリング)する。データ収集モジュール18の実施形態は、サンプリングレート、データタイプ、工学測定ユニットなどの制御を可能にする。いくつかの実施形態では、システム10からデータストレージモジュール22にデータ16をデータポイントのセットまたはストリーム28として送信する。
いくつかの例示的な実施形態では、システム10はデータ16をアパーチャ圧縮モジュール20に送信し、ここで以下により詳細に説明するデータフィルタリングアルゴリズムに基づいてデータを分析し、圧縮する。クリティカルアパーチャ圧縮モジュール20は、動作中に、このデータフィルタリングアルゴリズムを使用してデータポイントのセット28を縮小し、それによってデータポイント28のストレージ消費を削減する。データフィルタリングアルゴリズムの動作メカニズムについては、以下でより詳細に説明する。いくつかの実施形態では、データ収集モジュール18はクリティカルアパーチャ圧縮モジュール20にデータポイントのセット28を実質的にリアルタイムで提供するように構成してもよい。クリティカルアパーチャ圧縮モジュール20は、データ収集モジュール18からデータを受け取ると、データのフィルタリングまたは圧縮を実行する。この方法では、データポイントのセット28がデータストレージモジュール22に記憶されるときにフィルタリングまたは圧縮が行われる。他の実施形態では、クリティカルアパーチャ圧縮モジュール20がデータポイントのセット28を以前に記録したデータとして受け取ってもよい。このようなシナリオでは、データ収集モジュール18はデータポイントのセット28をデータストレージモジュール22に提供でき、クリティカルアパーチャ圧縮モジュール20がデータポイントのセット28にアクセスして後続の分析および圧縮を行うことができる。
データストレージモジュール22は、サンプリングされたデータポイントのセット28および/またはクリティカルアパーチャ圧縮モジュール20のデータフィルタリングアルゴリズムのアプリケーションに従って圧縮されたデータポイントのセットのための信頼できるストレージスペースを提供する。いくつかの実施形態では、データストレージモジュール22はローカルストレージデバイス、リモートストレージデバイス、コンピュータまたはデータストレージデバイスのネットワーク、または他の適切なストレージ構成を備えている。さらに、データストレージモジュール22には、1つまたは複数の磁気媒体ドライブ、ハードディスクドライブ、光学式ドライブ、またはそれらの組合せを含めてもよい。いくつかの実施形態では、データストレージモジュール22に冗長ハードディスクドライブなどのRAID(Redundant Array of Independent(またはInexpensive)Disks)を含めてもよい。
ユーザインターフェースモジュール24は、システムオペレータが入力26と対話しクリティカルアパーチャ圧縮モジュール20に入力26を提供するために使用する。入力26には、クリティカルアパーチャ圧縮モジュール20が行うフィルタリングまたは圧縮の量を左右する様々な基準が含まれる。例えば、入力26には、クリティカルアパーチャ圧縮モジュール20がデータポイントを保持するかまたはデータポイントのセット28から廃棄するかを判断するために使用する許容帯域または偏差の限界を含めてもよい。いくつかの実施形態では、許容帯域または偏差の限界には、上限および下限、例えば、データポイントのセット28内で最後にアーカイブされたポイントに関連する勾配の上限と勾配の下限が含まれる。以下で詳述するように、こうした上側勾配および下側勾配は最後にアーカイブされたポイントに関連するクリティカルアパーチャを定義する。クリティカルアパーチャ圧縮モジュール20のフィルタリングアルゴリズムは、以下で説明するように、このクリティカルアパーチャを使用してデータポイントのセット28に含まれる後続のポイントを保持する場合と廃棄する場合を判断する。ユーザインターフェースは、データの圧縮の有効化または無効化、タイムアウトが発生する前の最小の時間間隔の設定と最大の時間間隔の設定にも使用できる。
図2は、本技術のいくつかの実施形態による、図1に示すクリティカルアパーチャ圧縮モジュール20を備えるシステム30を示す図である。図示されたシステム30では、クリティカルアパーチャ圧縮モジュール20には、プロセッサアセンブリ32、クリティカルアパーチャ計算モジュール34、およびクリティカルアパーチャ比較モジュール36が含まれている。プロセッサモジュール32は、動作中にデータおよび制御信号38、40、および42を、それぞれデータストレージモジュール22、クリティカルアパーチャ計算モジュール34、およびクリティカルアパーチャ比較モジュール36との間で受信、処理、交換、および送信する。さらに、プロセッサアセンブリ32は、データ収集モジュール18が図1に示す工業用ユニット12の複数のセンサ14から取得するデータポイントのセット28を圧縮するためのデータフィルタリングアルゴリズムを実行する。プロセッサアセンブリ32は、システムオペレータ(図示せず)からユーザインターフェースモジュール24を介してユーザ入力26を受け取るように、さらに構成されている。この場合も、ユーザ入力26には、クリティカルアパーチャ圧縮モジュール20のクリティカルアパーチャを定義する様々な圧縮基準(例えば、許容帯域の上限および下限または偏差の上限および下限)を含めてもよい。
クリティカルアパーチャ圧縮モジュール20の動作中に、データポイントのセットまたは列28がクリティカルアパーチャ(例えば、前にアーカイブされたデータポイントに関連する上側勾配および下側勾配)の観点から次々に評価される。前にアーカイブされたポイントの次のポイントは、保持されたポイントとして一時的に記憶される。保持されたポイントの次のポイントがクリティカルアパーチャの外部にある場合は、クリティカルアパーチャ圧縮モジュール20は、この保持されたポイントを次のアーカイブされたポイントとして永久に記憶する。一方、保持されたポイントの次のポイントがクリティカルアパーチャの内部にある場合は、クリティカルアパーチャ圧縮モジュール20は、既存の保持されたポイントを廃棄し、この次のポイントを新しい保持されたポイントとして一時的に記憶する。モジュール20は、次のポイントがクリティカルアパーチャの外部になるまで、一時的に保持されたポイントを次のポイントで置き換える操作を継続する。次のポイントがクリティカルアパーチャの外部になった場合に、モジュール20は保持されたポイントを次のアーカイブされたポイントとして永久に記憶し、さらにこの次のポイントを新しい保持されたポイントとして一時的に記憶する。以下でさらに詳細に説明するように、このプロセスを繰り返してデータポイントのセット28内のポイントをフィルタリングし、その結果としてデータポイント28によるストレージ消費を削減する。
前述のプロセスの各ステージで、クリティカルアパーチャ計算モジュール34は、前のアーカイブされたデータポイント、現在の保持されたデータポイント、および次のデータポイントに関する許容可能な偏差の分析に基づいて次のデータポイントのクリティカルアパーチャを計算する。いくつかの実施形態では、クリティカルアパーチャ圧縮モジュール20は、各データポイントの許容可能な偏差の上限および下限を提供し、クリティカルアパーチャ計算モジュール34は、事前にアーカイブされたデータポイントから始まり各データポイントの偏差の上限および下限まで延びる上側勾配および下側勾配として各データポイントのアパーチャを定義する。換言すると、アーカイブされたデータポイントと次のデータポイントとの間にある各データポイントは、アパーチャに含まれている。さらに、クリティカルアパーチャ計算モジュール34は、アーカイブされたデータポイントと次のデータポイントとの間にあるすべてのアパーチャの交差すなわち共通部分として次のデータポイントのクリティカルアパーチャを定義する。結果として、クリティカルアパーチャ計算モジュール34が後続の新しいポイントを分析するにつれて、一般的にクリティカルアパーチャは縮小される。クリティカルアパーチャという用語は、ここで使用する限り、事前に計算されたすべてのアパーチャに共通の勾配のセットとして定義してもよい。クリティカルアパーチャの計算については、図4を参照しながら以下でさらに詳しく説明する。
次に、クリティカルアパーチャ比較モジュール36について説明する。このモジュールは、クリティカルアパーチャを次のデータポイントと比較するように構成されている。より具体的には、クリティカルアパーチャ圧縮モジュール36の実施形態は、アーカイブされたデータポイントと次のデータポイントの間の勾配を計算し、この勾配をクリティカルアパーチャの上側勾配および下側勾配と比較する。この勾配がクリティカルアパーチャの上側勾配および下側勾配の外部にあるとクリティカルアパーチャ比較モジュール36が判断した場合は、これがトリガイベントとなって事前に保持されたポイントがアーカイブされ、次のデータポイントが保持されたポイントになる。アーカイブされたデータポイントのそれぞれは、この例示的なデータフィルタリングプロセスに従って圧縮されたデータを記憶する44データストレージモジュール22に送信される。
例として、データポイントの列を示すグラフ(図3を参照)について考察する。データポイントの列は、一般的に参照番号48〜62で示されている。クリティカルアパーチャ圧縮モジュール20は、データポイント48(通常はアーカイブされたデータポイント)から開始して順次各データポイントの圧縮可能性について考察する。許容帯域63がポイント48と後続のデータポイント(例えばポイント62)を結ぶ直線と交差する任意のポイントは、指定された限界内の線形補間によって再構成できる。これは、データポイント60には当てはまらない。ポイント60の再構成された値と実際の値との差は許容誤差を超えている。したがって、ポイント62はアーカイブされた線のエンドポイントになることができない。データポイント60は、ポイント48に接続し、それまで延びる直線が間にあるすべての許容帯域と交差する最後のポイントなので、データポイント60はこの線の終点を定義し、アーカイブされる。先行する許容帯域のそれぞれがアーカイブされたデータポイント(データポイント48)と新しく導入されたデータポイントを結ぶ後続のすべての線と交差することを確認するために、このデータの列は通常は最後のデータポイントが特定されるまで保存する必要があるが、後述するクリティカルアパーチャの技術を使用すると、複数の保持されたデータポイントを保存しなくても最後のデータポイントを検出できる。本技術は、各データポイントを単独で評価し、結果が得られるまでデータポイントのグループをバッファして比較する必要がないので、データを圧縮する上できわめて効果的である。
このコンテキストにおいて、図4は本技術の実施形態による、アーカイブされたデータポイントA、後続の新しいデータポイントC、許容可能な偏差に基づいてデータポイントBを保持する場合を識別するためのアパーチャを示すグラフである。図示された実施形態では、ポイントB、A、およびCは、座標(x,y)をとる保持されたデータポイント64、座標(x,y)をとるアーカイブされたデータポイント66、座標(x,y)をとる後続の次のデータポイント68によって表されている。許容可能な偏差eは、許容可能な偏差70として表されている。これには、前節で説明した許容帯域の上限および下限または偏差の上限および下限を含んでいる。図示されるように、保持されたポイント64のアパーチャ72には、アーカイブされたデータポイント66、許容可能な偏差70の上限のエンドポイント74、許容可能な偏差70の下限のエンドポイント76で形成された三角形で囲まれる斜線の領域が含まれる。数学的には、保持されたポイント64のアパーチャ72は、その境界を線78と80で表されており、この勾配は次の式で計算される。
線78の勾配=(y1+e−y0)/(x1−x0)
線80の勾配=(y1−e−y0)/(x1−x0)
座標(x,y)をとるデータポイント68では、データポイント68とアーカイブされたデータポイント66を結ぶ線82の勾配を次のようにして求めることができる。
線82の勾配=(y2−y0)/(x2−x0)
いくつかの例示的な実施形態では、保持されたデータポイント64について計算されたアパーチャ72は、唯一存在する計算されたアパーチャであり、アパーチャ72がクリティカルアパーチャになる。また、現在の実施形態では、線82の勾配がクリティカルアパーチャ72の上側勾配および下側勾配の内部にある、すなわち線78と80との間にある場合は、保持されたデータポイント64を廃棄してデータポイント68が新しい保持されたデータポイントになることができる。ここで、新しい保持されたデータポイント68について新しいアパーチャを計算できる。線78の勾配が線82の勾配以上であり、線82の勾配が線80の勾配以上である場合は、線82がクリティカルアパーチャ内にある。線82がクリティカルアパーチャ72内にない場合は、保持されたデータポイント64がアーカイブされ、新しいアーカイブされたデータポイントになる。また、保持されたデータポイント64は、ユーザが指定したタイムアウトの最大値を経過してもそのタイムアウトの最大値との間にアーカイブされるポイントがない場合にアーカイブしてもよい。
図5は、本技術の実施形態による、図4に示すようにクリティカルアパーチャを定義するプロセス84を示す流れ図である。プロセス84には、入力として、最後のアーカイブされたデータポイント(A)の座標、保持されたデータポイント(B)の座標、および許可される偏差(e)を提供するステップ(ステップ86)が含まれる。ステップ88で、提供された入力に基づいて、上限のエンドポイント(U)と下限のエンドポイント(L)は、許可される偏差(e)を保持されたデータポイント(B)の座標に補外することによって計算される。ステップ90で、上限の線AUと下限の線AL(図4の線78と80で表される)の勾配が計算され、こうした勾配によってアパーチャを定義する。ステップ92で、プロセス84はこのアパーチャ(例えば上側勾配および下側勾配)と事前に保持されたデータポイントについて事前に計算されたすべてのアパーチャの共通部分を決定する。換言すると、プロセス84のステップ92は、最新のアーカイブされたデータポイント(A)から現在の保持されたデータポイントを特定(B)までのすべてのアパーチャの共通部分を特定する。結果として、ステップ92はすべてのアパーチャに共通する上側勾配および下側勾配を特定する。これらは、事前のクリティカルアパーチャと現在のアパーチャの2つに関する勾配の上限の小さい方と、直前のクリティカルアパーチャと現在のクリティカルアパーチャの2つに関する勾配の下限の大きい方になる。ステップ92で決定された勾配の共通の上限および下限は、ブロック94に示すクリティカルアパーチャを定義する。
図6は、本技術の実施形態による、図1に示すクリティカルアパーチャ圧縮モジュール20のデータフィルタリングプロセス96を示す流れ図である。データフィルタリングプロセス96は、1つまたは複数のクリティカルアパーチャのセットを計算し、クリティカルアパーチャのそれぞれに基づいてデータポイントのセット28から1つまたは複数のデータポイントを廃棄することによって、データ圧縮を実行するように構成されている。データフィルタリングアルゴリズムは、1つまたは複数のデータポイントを廃棄するにもかかわらず、アーカイブされたデータポイントについて記憶された情報に基づく線形補間によって、廃棄されたデータポイントを再構成できる再構成メカニズムも促進することに留意されたい。
図6に示すように、プロセス96には、入力として、最後のアーカイブされたデータポイント、保持されたデータポイント、許容帯域の情報を受け取るステップ(ステップ98)が含まれる。プロセス96には、図4と5に示し、上記の節で説明した例示的な技術によってクリティカルアパーチャを計算するステップ(ステップ100)が含まれる。クリティカルアパーチャが決定されると、ステップ102で新しいデータポイントに関する情報が提供される。ステップ104で、最後のアーカイブされたデータポイントから新しいデータポイントへの勾配が計算される。ステップ106で、ステップ100で計算されたクリティカルアパーチャがステップ104で決定された新しいデータポイントの勾配と比較される。
判断のステップ106で、プロセス96は新しいデータポイントの勾配(ステップ104)をクリティカルアパーチャ(ステップ100)と比較する。比較によって、互いに排反する2つの結果、つまり、(1)新しいデータポイントの勾配がクリティカルアパーチャの上側勾配および下側勾配内にあるか、または(2)新しいデータポイントの勾配がクリティカルアパーチャの上側勾配および下側勾配の外部に出るかのいずれかが得られる。新しいデータポイントに関して計算された勾配がクリティカルアパーチャの勾配の範囲内に入る場合は、ステップ108に進む。この時点で、保持されたデータポイントが廃棄される。ステップ110で、新しいデータポイントは新しい保持されたポイントになる。ステップ112で、プロセス96は上で詳述したように新しいアパーチャを計算する。さらに、プロセス96は上で詳述したようにステップ114で新しいクリティカルアパーチャを計算する。すべてのデータポイントについて考察されるまで、一連のステップ108から114を繰り返すことができる。
判断のステップ106で、新しいデータポイントの勾配がクリティカルアパーチャ内にない場合に、プロセス96はステップ116に進む。このイベントを共通部分のない(disjoint)アパーチャと定義してもよい。このステップ116で、保持されたデータポイントがアーカイブされ、新しいアーカイブされたデータポイントになる。新しいデータポイントは、ステップ118で新しい保持されたデータポイントになり、ステップ120で新しいクリティカルアパーチャが計算される。同様に、データポイントのセット28からのすべてのデータポイントについて考察が完了するまで、さらに後続の新しいデータポイントについて前述の一連のステップ116から120を繰り返すことができる。このように、本方法を一定の時間にわたって繰り返し、図1に示す工業用ユニット12からサンプリングされたデータポイントのセット28に含まれる1つのデータポイントから別のデータポイントに進むことによって、データストレージモジュール22(図1を参照)から多くのデータポイントを廃棄できる。したがって、データポイントのセット28で消費するストレージスペースが削減される。
図7は、図6に示すデータフィルタリングプロセスの例示的な実施形態を示すグラフである。この例示的な実施形態では、データポイント122〜136はデータフィルタリングプロセス96で圧縮するかどうかが考察される。データポイント122はアーカイブされたデータポイントであり、データポイント124〜132は中間のデータポイントである。こうしたデータポイントは、その勾配がクリティカルアパーチャ138の勾配内にあるため、データフィルタリングプロセス96によって廃棄される。前述のように、中間のデータポイント126とアーカイブされたデータポイント122を結ぶ線が事前のデータポイント124までについて計算されたクリティカルアパーチャ138を通過するため、データポイント126は破棄される。同様に、中間のデータポイント128〜132のそれぞれとアーカイブされたデータポイント122を結ぶ線がそれぞれの中間のデータポイントまでについて計算されたクリティカルアパーチャを通過するため、中間のデータポイントが破棄される。特定のデータポイントのクリティカルアパーチャ138は、その特定のデータポイントまでについて計算された各々のアパーチャに完全に包含されることにも留意されたい。ただし、データポイント136とアーカイブされたデータポイント122を結ぶ線がクリティカルアパーチャの外部に出た場合は、データポイント134が新しいアーカイブされたデータポイントになり、ポイント136が新しい保持されたポイントになる。データポイント134とアーカイブされたデータポイント122を結ぶ線がデータポイント132までについて計算されたクリティカルアパーチャ138を通過することに留意されたい。さらに、図示されたグラフで、中間のデータポイント122〜132はデータポイント134とアーカイブされたデータポイント122を結ぶ直線内またはその周辺にあり、廃棄された各データポイントの許容帯域はこの直線と交差するような位置にある。したがって、アーカイブされたデータポイント122と保持されたデータポイント134を結ぶ直線は、廃棄されたデータポイント124〜132の傾向を適切に表しており、廃棄されたデータポイントは必要に応じて直線の座標の線形補間によって指定された誤差限界(e)の範囲内で再構成できる。
図8は、本技術の実施形態による別の例示的なデータフィルタリングプロセスを示すグラフである。データポイント140〜158のセットには、アーカイブされたデータポイント140と中間のデータポイント142〜150が含まれている。この例示的な実施形態では、一般的に番号160、162、および164で表される1つまたは複数の仮想データポイントが、この例示的なケースでは番号156で表される実際のデータポイントの許容帯域内にあるように選択される。ここで、保持されたデータポイント152は、実際のデータポイントでなく仮想データポイントに基づいて選択される。クリティカルアパーチャ166は、まずアーカイブされたデータポイント140について計算され、データポイント142〜156について繰り返し計算される。しかし、データポイント158の上限のエンドポイントと下限のエンドポイントを結ぶ線がクリティカルアパーチャ166と交差しないので、データポイント158はクリティカルアパーチャの外部に位置する。したがって、1つまたは複数の仮想データポイントが、この例示的なケースでは番号156で表される実際のデータポイントの許容帯域内にあり、クリティカルアパーチャ166と交差するように選択される。この例示的な実施形態により提供される利点は、互いに近接するいくつかのデータポイントを廃棄することによって、離れた位置にあるデータポイントを適切に考慮できることである。この結果、シミュレーションで示されるように、より大きなデータポイントのセットの高レベルの圧縮がさらに可能になる。
前述の節で説明した様々な実施形態と態様には、様々な論理関数を実装する実行可能な命令(例えば、順次コードまたはオブジェクト指向のコード)を含めてもよい。実行可能な命令は、任意のコンピュータ可読媒体として具体化し、命令を取得して実行できるコンピュータベースのシステムによって、あるいはこうしたシステムに接続して使用できる。このアプリケーションのコンテキストでは、コンピュータ可読媒体は、命令を保存、記憶、伝達、伝搬、送信、または搬送できる任意の手段でよい。コンピュータ可読媒体は、電子、磁気、光学、電磁気、または赤外線によるシステム、装置、もしくはデバイスのいずれでもよい。説明のための有体媒体例には、1つまたは複数の配線を伴う電気接続(電子)、ポータブルコンピュータディスケット(磁気)、ランダムアクセスメモリ(RAM:random access memory)(磁気)、読み出し専用メモリ(ROM:read−only memory)(磁気)、消去可能なプログラマブル読み出し専用メモリ(EPROM:erasable programmable read−only memoryまたはフラッシュメモリ)(磁気)、光ファイバ(光学)、およびポータブルコンパクトディスク読み出し専用メモリ(CDROM:compact disc read−only memory)(光学)などが含まれるが、これに限定はされない。有形媒体には、紙または別の適切な媒体に機械的および電気的手段で命令を印刷したものまたは手書きしたものをさらに含めてもよい。例えば、紙または他の媒体の光学的なスキャンによって電子装置で命令を取り込んでからコンパイルし、解読するかまたは必要に応じて適切な方法で処理し、さらにコンピュータ可読のメモリに記憶してもよい。
当業者には言うまでもないが、前述のデータ管理システムおよび技術では、データポイントのセットから1つまたは複数のデータポイントを廃棄するにもかかわらず、記憶されたデータポイントからの情報を使用した線形補間によって廃棄されたデータポイントを容易に再構築できるので、効率的なデータ圧縮が可能になる。廃棄されたデータポイントの再構築は、後で行う任意の種類のデータ分析または計算に利用できるので、本データ管理システムはデータポイントのセットで表される工業用ユニットの動作パラメータに関して高い精度を維持できる。また、本データ管理システムは、平均などの方法においても、データポイントのセットに含まれる個々のデータポイントを考慮し、特定のデータポイントを廃棄すべきかどうかを評価することによって、データフィルタリングアルゴリズムを使用してデータポイントのセットを評価する上で、高い精度を維持している。本データ管理システムでは、このようにしてデータセットを記憶するためのストレージ容量を削減できる。さらに、本データ管理システムでは、所定のストレージ容量に対してより長時間にわたってデータポイントを記憶できるので、コスト節約が促進される。さらに、この種のデータ圧縮では多くのデータのビット数は減少されない。再構成可能なデータを廃棄し、線形補間を使用したポイント再構成の方法で使用することができる線のエンドポイントのみを残しているにすぎない。また、本データ圧縮技術ではデータの圧縮を常に実行できるとは限らない。データの圧縮を実行できない例示的なシナリオには、いかなる傾向またはパターンによってデータポイントを定義できないシナリオが含まれる。
本発明のいくつかの機能についてのみ本明細書で図示し、説明してきたが、当業者によって様々な変更および変形が実施されるであろう。したがって、添付の特許請求の範囲には、こうした本発明の真の精神を逸脱しない変更および変形のすべてが含まれるものとすることを理解されたい。
複数のセンサと本技術の実施形態によるクリティカルアパーチャ圧縮モジュールとを備える例示的なシステムを示す図である。 図1に示すクリティカルアパーチャ圧縮モジュールの例示的な実施形態を示す図である。 データポイントのセットを評価するときのクリティカルアパーチャ圧縮モジュールの例示的な動作を示すグラフである。 本技術の実施形態による、アーカイブされたデータポイント、後続の新しいデータポイント、許容可能な偏差に基づいてデータポイントを保持する場合を識別するためのアパーチャを示すグラフである。 本技術の実施形態による、図4に示すクリティカルアパーチャを定義するプロセスを示す流れ図である。 本技術の実施形態による、図1に示すクリティカルアパーチャ圧縮モジュール20のデータフィルタリングプロセスを示す流れ図である。 図6に示すデータフィルタリングプロセスの例示的な実施形態を示すグラフである。 図6に示すデータフィルタリングプロセスの別の例示的な実施形態を示すグラフである。

Claims (3)

  1. データ圧縮の方法であって、
    保持されたデータポイント(64)の許容帯域(63、70,70)およびアーカイブされたデータポイント(66)と前記保持されたデータポイント(64)との間にある中間ポイントの許容帯域(63、70,70)に基づいて、前記アーカイブされたデータポイント(66)から始まり、前記保持されたデータポイント(64)についての偏差の上限(74)および下限(76)まで延びる上側勾配(78)および下側勾配(80)を有するクリティカルアパーチャ(72)を提供するステップ(84、100)であって、前記アーカイブされたデータポイント(66)と後続の新しいデータポイント(68)との間にあるデータポイントのすべてのアパーチャの共通部分(72)を特定(92,94)するクリティカルアパーチャ提供ステップ(84、100)と、
    前記アーカイブされたデータポイント(66)から始まり、後続の新しいデータポイント(68)まで延びる線の勾配(82)が前記クリティカルアパーチャ(72)内にある場合、前記保持されたデータポイント(64)を廃棄するステップ(108)と
    を備えることを特徴とするデータ圧縮方法。
  2. 前記中間にある全てのデータポイントのアパーチャのそれぞれは、前記アーカイブされたデータポイント(66)から始まり、それぞれのポイントの前記許容帯域の上限(74)および下限(76)まで延びる上側勾配(78)および下側勾配(80)を備えることを特徴とする請求項記載のデータ圧縮方法。
  3. 仮想データポイント(160,162,164)を新しい保持されたデータポイントとして設定するステップと、前記新しい保持されたデータポイント(160,162,164)に基づいて新しいクリティカルアパーチャを計算するステップとをさらに備えており、前記仮想データポイントは実際のデータポイントとは異なっており、前記仮想データポイントは前記事前に計算されたクリティカルアパーチャの内部と前記実際のデータポイントの許容帯域内にある請求項またはに記載のデータ圧縮方法。
JP2007533745A 2004-09-28 2005-09-27 データ圧縮方法 Expired - Fee Related JP4808721B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/951,566 2004-09-28
US10/951,566 US7076402B2 (en) 2004-09-28 2004-09-28 Critical aperture convergence filtering and systems and methods thereof
PCT/US2005/034694 WO2006036988A1 (en) 2004-09-28 2005-09-27 Industrial data compression systems and methods

Publications (3)

Publication Number Publication Date
JP2008515295A JP2008515295A (ja) 2008-05-08
JP2008515295A5 JP2008515295A5 (ja) 2008-11-13
JP4808721B2 true JP4808721B2 (ja) 2011-11-02

Family

ID=35537222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007533745A Expired - Fee Related JP4808721B2 (ja) 2004-09-28 2005-09-27 データ圧縮方法

Country Status (5)

Country Link
US (1) US7076402B2 (ja)
EP (1) EP1797643A1 (ja)
JP (1) JP4808721B2 (ja)
CN (1) CN101069353B (ja)
WO (1) WO2006036988A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838032B2 (en) 2013-01-31 2017-12-05 Kabushiki Kaisha Toshiba Data compression device, data compression method, and computer program product

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070255851A1 (en) * 2006-04-27 2007-11-01 Vrba Joseph A Adaptive data reduction for performance enhancement of large data set displays
JP5002336B2 (ja) * 2007-05-31 2012-08-15 株式会社東芝 データ記録装置、データ記録方法およびデータ記録のためのプログラム
JP4686505B2 (ja) * 2007-06-19 2011-05-25 株式会社東芝 時系列データ分類装置、時系列データ分類方法および時系列データ処理装置
US7765346B2 (en) * 2007-12-14 2010-07-27 Bmc Software, Inc. Dynamic compression of systems management data
CN101902226B (zh) * 2009-05-25 2014-03-12 北京庚顿数据科技有限公司 数据压缩方法
CN102622367B (zh) * 2011-01-30 2014-08-20 上海振华重工(集团)股份有限公司 流程数据的过滤和压缩方法
DE102012224060A1 (de) * 2012-12-20 2014-06-26 Robert Bosch Gmbh Verfahren zur Datenübertragung für ein Batteriemanagementsystem
USRE48454E1 (en) * 2013-03-14 2021-03-02 Shoei Electronic Materials, Inc. Continuous flow reactor for the synthesis of nanoparticles
WO2014153266A2 (en) * 2013-03-14 2014-09-25 Shoei Electronic Materials, Inc. Continuous flow reactor for the synthesis of nanoparticles
IN2014MU00068A (ja) * 2014-01-08 2015-08-21 Tata Consultancy Services Ltd
CN103795419B (zh) * 2014-01-27 2017-08-04 宁波良和路桥科技有限公司 一种波形数据实时压缩的分段线性压缩方法
US20170051682A1 (en) * 2015-08-20 2017-02-23 General Electric Company System and method for abatement of dynamic property changes with proactive diagnostics and conditioning
CN111294054B (zh) * 2020-02-13 2023-05-23 北京天拓智领科技有限公司 一种服务于工业互联数据采集存储的压缩方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234868A (ja) * 1997-02-19 1998-09-08 Medtronic Inc 植込形デバイス及びバッテリ駆動式デバイス等に用いるデータ圧縮及び非線形サンプリングのためのシステム及び方法
JPH113485A (ja) * 1997-06-12 1999-01-06 Japan Storage Battery Co Ltd テレコン、テレメ−タ用デ−タ伝送方式
JPH11195991A (ja) * 1998-01-05 1999-07-21 Japan Storage Battery Co Ltd アナログ信号のデータ圧縮・復元方法及びその装置
WO2001095496A1 (fr) * 2000-06-06 2001-12-13 Sakai, Yasue Procede et appareil de compression, procede et appareil d'expansion, systeme de compression expansion
WO2004111942A2 (en) * 2003-06-10 2004-12-23 Siemens Power Transmission & Distribution, Inc. His data compression

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4646241A (en) * 1984-06-21 1987-02-24 United Technologies Corporation Solid-state flight data recording system
US4669097A (en) 1985-10-21 1987-05-26 The Foxboro Company Data compression for display and storage
CA2276526A1 (en) * 1997-01-03 1998-07-09 Telecommunications Research Laboratories Method for real-time traffic analysis on packet networks
US6912575B1 (en) * 1999-06-23 2005-06-28 Paradyne Corporation System and method for automatically determining recommended committed information rate in a frame relay network
CN1223951C (zh) * 2002-05-24 2005-10-19 中国科学院软件研究所 自适应的历史数据压缩方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234868A (ja) * 1997-02-19 1998-09-08 Medtronic Inc 植込形デバイス及びバッテリ駆動式デバイス等に用いるデータ圧縮及び非線形サンプリングのためのシステム及び方法
JPH113485A (ja) * 1997-06-12 1999-01-06 Japan Storage Battery Co Ltd テレコン、テレメ−タ用デ−タ伝送方式
JPH11195991A (ja) * 1998-01-05 1999-07-21 Japan Storage Battery Co Ltd アナログ信号のデータ圧縮・復元方法及びその装置
WO2001095496A1 (fr) * 2000-06-06 2001-12-13 Sakai, Yasue Procede et appareil de compression, procede et appareil d'expansion, systeme de compression expansion
WO2004111942A2 (en) * 2003-06-10 2004-12-23 Siemens Power Transmission & Distribution, Inc. His data compression

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838032B2 (en) 2013-01-31 2017-12-05 Kabushiki Kaisha Toshiba Data compression device, data compression method, and computer program product

Also Published As

Publication number Publication date
EP1797643A1 (en) 2007-06-20
US20060074605A1 (en) 2006-04-06
WO2006036988A1 (en) 2006-04-06
CN101069353A (zh) 2007-11-07
US7076402B2 (en) 2006-07-11
CN101069353B (zh) 2011-05-04
JP2008515295A (ja) 2008-05-08

Similar Documents

Publication Publication Date Title
JP4808721B2 (ja) データ圧縮方法
KR101903283B1 (ko) 발전 설비의 자동 진단 시스템 및 자동 진단 방법
KR970001342B1 (ko) 온라인 감시방법 및 그 장치
KR101955305B1 (ko) 희소 코딩 방법론을 활용한 가스 터빈 센서 고장 검출
JP6524336B2 (ja) 余寿命評価装置及び方法、風力発電システム
CN108803502B (zh) 数据收集装置及系统、数据服务器、数据收集方法及计算机可读取的非易失性的记录介质
KR101096793B1 (ko) 산업설비의 공정 여유도 감시 시스템용 데이터 수집 방법 및 그 저장매체
US8671315B2 (en) Prognostic analysis system and methods of operation
JP6835251B2 (ja) 損傷診断装置、損傷診断方法、及び、損傷診断プログラム
KR20230058029A (ko) 시계열 데이터 압축 및 복원 방법
CN114645844B (zh) 确定空压站的流量状态的方法、计算设备和计算机介质
EP0691631A1 (en) Steady state sensor
JP7028133B2 (ja) 制御システムおよび制御方法
JP7017881B2 (ja) データ収集システム、データサーバ及びデータ収集方法
JP6803788B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6369895B2 (ja) モータ異常検知システム、モータ異常検知方法、及びモータ異常検知プログラム
JP2022010913A (ja) データ管理システム、データ管理方法、および、データ管理プログラム
CN112130468A (zh) 一种核电汽轮机高压转子外表面温度模拟装置及方法
JPH05159185A (ja) 発電プラント監視データ圧縮保存方法
CN113029242B (zh) 结构健康监测系统中光纤光栅传感器异常诊断方法
EP3751419B1 (en) Digital input edge detection with smart filtering algorithm
CN116738859A (zh) 一种铜管在线无损寿命评估方法及系统
JP7294361B2 (ja) フィールド機器、測定方法、及びプログラム
US20100250195A1 (en) Systems and Methods for Providing Dynamic Segmental Signal Analysis
Srinivasagupta et al. New in situ sensor modeling approach to measurement validation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101130

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101130

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110630

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110817

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees