JP6318211B2 - データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法 - Google Patents

Description

本発明は、いわゆるIoTデバイスで発生する高次元のセンサデータのように容量の大きいデータを効率よく圧縮保存し、必要に応じてデータを再現する手法に関する。

近年、Internet-of-Things（IoT）と呼ばれる、センサと通信機能を利用して様々なデバイスとデータセンターが相互に情報交換することにより様々な機能を実現するシステムが増えてきている。このようなIoTデバイスで取得したデータは、センサ数が増えたり、センサの計測間隔が短くなったりすることによってそのデータ容量が増えていく。IoTデバイスで取得したデータを保存して利用したいというニーズは大きいが、IoTデバイスで発生する大量のセンサデータをすべてそのままデータセンターに送るのは、通信と保存のコストが大きいために現実的ではない。

従来のデータ容量の縮小手法について説明する。ここでは各時刻ごとにベクトルやテンソル、カテゴリ値などで表されるデータが取得されるものとする。従来は、データサイズを小さくするために、従来は（１）各次元ごとに独立にヒストグラムをとる、（２）一定時間ごとにサンプリングをする、（３）平均や分散などの要約された統計量などの方法を使ってデータを小さくし保存または交換する、といった手法が使われていた。

ここで、データ転送量を減少させる圧縮方法について開示したものとして、例えば、特許文献１が挙げられる。この特許文献１に記載の中継装置は、複数の端末からのデータをホスト計算機に送信する際の中継役を担う装置であり、単に中継を行うのではなく、複数の端末からのデータをデータ間の相関性を利用するなどしてデータの圧縮を行ってホスト計算機に送信することで、ネットワーク全体のデータ転送量を減少させることを可能としている。

特開平１１−２１５１７６号公報

前記（１）〜（３）で挙げた従来のデータ容量の縮小の方法は、以下の問題を有していた。（１）の各次元ごとに独立にヒストグラムをとる場合は、異なる次元ごとの相関情報が失われてしまうという問題があった。また（２）の一定時間ごとにサンプリングする場合は、全てのデータを網羅できている保障がないために、サンプルとサンプルの間に興味深い事象が起きていたとしても見落としてしまうという問題があった。さらに、（３）平均や分散などの予め決められた統計量の場合はそれ以外の統計的情報が失われてしまうという問題があった。

また、例えば、１０００個のセンサでそれぞれ１ミリ秒毎に計測し続けた場合の数時間分のデータ量というレベルになると、数テラバイトというレベルの容量となってしまう可能性もあり、このような膨大な量のデータを圧縮したとしても圧縮後のデータ量も相当な容量となってしまう。よって、特許文献１に記載の中継装置のような既知の圧縮方法によってデータ転送量を圧縮したとしても、通信ネットワークを介した転送のために現実的な容量までは圧縮できないという問題がある。

さらに、例えば、飛行機における各種センサの計測結果のように、本来であれば全てのセンサの計測データを保存しておきたいところであるが、フライトの度に発生する数テラバイトの容量のデータを全て保存し続けるのは現実的に不可能であるという問題があった。また、飛行機のような移動体においては、途中で大量のデータを転送できないという事情があり、データの転送は着陸後にしかできないため、フライトの合間のわずかな時間で大容量のデータをその都度転送するのは難しいという問題もあった。

本発明は、上記問題点に鑑みなされたものであり、多次元のデータの異なる次元ごとの相関情報を保存したまま、データ量を大幅に減少可能なデータ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法を提供することを目的とする。

本発明に係るデータ圧縮装置は、それぞれが所定間隔でデータ取得対象からのデータを取得する複数のデータ取得部と、複数のデータ取得部によって取得した複数のデータについて多次元同時確率分布の形で圧縮データの生成を行うデータ圧縮部とを具備してなることを特徴とする。

また、本発明に係るデータ圧縮装置は、前記データ圧縮部は、前記複数のデータ取得部からの複数のデータを入力として、深層ニューラルネットワークによる深層生成モデルを用いて多次元同時確率分布からなる圧縮データを生成するようにしたことを特徴とする。

また、本発明に係るデータ圧縮装置は、前記深層生成モデルは、VAE（Variational Auto Encoder）、GAN（Generative Adversarial Nets）、GMM（Generative Moment Matching）、EP（Energy Based Probabilistic Model）のうちの何れかを利用したことを特徴とする。

また、本発明に係るデータ圧縮装置は、前記データ圧縮部は、過去に生成された圧縮データを結合して結合圧縮データを生成する結合圧縮機能を有していることを特徴とする。

また、本発明に係るデータ圧縮装置は、前記データ圧縮部は、圧縮データとして生成する多次元同時確率分布のパラメータに対してノイズを入れて圧縮データを生成するプライバシー機能を有していることを特徴とする。

本発明に係るデータ再現装置は、前記データ圧縮装置による圧縮データを受信し、当該圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで、元データの統計的性質を引き継いだデータを再現するデータ再現部を具備してなることを特徴とする。

また、本発明に係るデータ再現装置は、前記データ再現部は、圧縮データである多次元同時確率分布のパラメータに対してノイズを入れてランダムサンプリングを行うプライバシー機能を有していることを特徴とする。

本発明に係るデータ圧縮方法は、それぞれが所定間隔でデータ取得対象からのデータを取得する複数のデータ取得手段からデータを取得するデータ取得手順と、取得した複数のデータについて多次元同時確率分布の形で圧縮データの生成を行うデータ圧縮手順とを含むことを特徴とする。

本発明に係るデータ再現方法は、多次元同時確率分布の形で構成された圧縮データを受信する手順と、受信した圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで元データの統計的性質を引き継いだデータを再現する手順とを含むことを特徴とする。

本発明に係るデータ転送方法は、それぞれが所定間隔でデータ取得対象からのデータを取得する複数のデータ取得手段からデータを取得するデータ取得手順と、取得した複数のデータについて多次元同時確率分布の形で圧縮データの生成を行うデータ圧縮手順と、生成した圧縮データを送信する手順と、圧縮データを受信する手順と、受信した圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで元データの統計的性質を引き継いだデータを再現する手順とを含むことを特徴とする。

本発明によれば、取得した多次元データに基づいて多次元同時確率分布の形からなる圧縮データを生成するので、元データの統計的性質を維持しつつ大幅にデータ容量を減少させた圧縮データを生成することが可能となる。多次元データから多次元同時確率分布のパラメータを推定するにあたっては、深層ニューラルネットワークによる深層生成モデルを用いることによって、非常に精度良く元データの統計的性質を反映させることが可能となる。また、多次元同時確率分布の形からなる圧縮データを用いてランダムサンプリングを行うことで、元データの統計的性質を維持したデータを再現することができる。さらに、大容量のデータについて多次元同時確率分布の圧縮データを生成してデータ容量を減少させて送信し、受信先においてデータを再現するという手法を行うことにより、大容量のデータの転送時に通信負荷を大幅に減少させつつ元データの統計的性質を維持したデータ再現が可能なデータ転送を実現できる。さらに、圧縮データのパラメータにノイズを入れてランダムサンプリングを行ってデータ再現を行うことで、特定の個別データが元々のセンサデータに現れたかどうかを統計的に推定できる確率を一定以下に抑えることができるプライバシー機能を持たせることが可能となる。

本発明に係るデータ圧縮装置１０及びデータ再現装置２０の構成を表したブロック図である。 深層生成モデルにおける処理の概念を表した説明図である。 データ圧縮装置１０における圧縮データの生成処理の流れを表したフローチャート図である。 データ再現装置２０のデータ再現部２１におけるデータ再現処理の流れを表したフローチャート図である。 航空機の飛行データについてデータ圧縮装置及びデータ再現装置を適用した例を表した説明図である。 航空機のフライトデータを取得する場合のデータ構造の一例を表した説明図である。 人間の健康データについてデータ圧縮装置及びデータ再現装置を適用した例を表した説明図である。 自動車のＥＣＵのセンサデータを記憶する記憶装置に対してデータ圧縮装置を適用してデータ圧縮を行う例を表した説明図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係るデータ圧縮装置及びデータ再現装置の例について説明する。図１は、本発明に係るデータ圧縮装置１０及びデータ再現装置２０の構成を表したブロック図である。なお、データ圧縮装置１０及びデータ再現装置２０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、データ圧縮装置１０及びデータ再現装置２０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。

データ圧縮装置１０は、複数のデータ取得部１１−１、１１−２、・・・、１１−ｍと、データ圧縮部１２とを少なくとも具備している。

データ取得部１１−１、１１−２、・・・、１１−ｍは、それぞれがデータを取得する機能を有しており、例えば、IoTデバイスのｍ個あるセンサのそれぞれにデータ取得部１１−１、１１−２、・・・、１１−ｍに対応させることで各センサからのデータを取得する。また、データ取得部１１−１、１１−２、・・・、１１−ｍは、複数のデータが含まれたデバイスからの信号についてデータごとの切り分けを行ってそれぞれがデータを取得するような構成であってもよい。これらのデータ取得部１１−１、１１−２、・・・、１１−ｍによって取得されたデータは、データ圧縮部１２に送信される。

データ圧縮部１２は、データ取得部１１−１、１１−２、・・・、１１−ｍからの各種データを記憶し、これらのデータの圧縮データを生成する機能を有する。このデータ圧縮部１２における圧縮データの生成は、データ取得部１１−１、１１−２、・・・、１１−ｍにおいて取得した多次元のデータをノンパラメトリックな多次元同時確率分布の形で表現することによって実現する。多次元同時確率分布の推定には、例えば、深層ニューラルネットワークによる深層生成モデルを用いる。深層生成モデルは、入力の各次元のデータ型（連続値、カテゴリ値など）に関わらず、任意の多次元同時確率分布を表現することができ、これによって次元間の相関情報を含む、入力データに現れる特徴的な統計情報を効率よく表現することができる。生成した圧縮データはデータ圧縮部１２において記憶し、必要に応じてデータ再現装置２０に送信する。

なお、本例において、入力データから多次元同時確率分布を生成する処理を「圧縮」と表現している。一般的な圧縮の概念とはやや異なり、入力データの「統計的性質の記録」という表現が正確である。しかし、データ容量を減少させて保存、転送をし、別途元データとほぼ同じデータを再現可能であることから、「圧縮」と表現しても差し支えないと判断し、以下においても「圧縮」という表現で説明を行う。また、圧縮形式は統計的性質の記録を主眼に前記多次元同時確率分布の形を基本とするが、確率分布の形で表現できない特定の情報、例えば実際に現れた入力データの正確な個数、特定の個別データなどが必要と想定される場合には、圧縮形式にそれらの情報をつけ加えても良い。

データ再現装置２０は、データ再現部２１を少なくとも具備し、さらに高次統計処理部２２を具備してもよい。

データ再現部２１は、データ圧縮装置１０によって生成された圧縮データを受信し、当該圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで、元データの統計的性質を引き継いだデータを再現する機能を有する。ランダムサンプリングの方法については適宜指定可能なものとし、元データよりも少ないサンプル数のデータを再現することも可能であるし、元データよりも多いサンプル数のデータを再現することも可能である。なお、このランダムサンプリングの際、前記深層生成モデルのノードの一部の値を固定することで、ある特定の条件に基づくデータのみを再現することもできる。ただし、極端に少ないサンプル数であると元データの統計的性質を再現できない可能性はある。このようにして生成された再現データは、元データそのものを完全に再現することはできないが、元データの統計的性質をよく保存している。このような高次元のデータをサンプリングする方法としてマルコフ連鎖モンテカルロ法を使う方法も知られているが、深層生成モデルは非常に効率よくサンプルを生成できるというメリットがある。

高次統計処理部２２は、データ再現部２１において生成した再現データを他のデバイス等から得られた他の情報と組み合わせるなどして、さらに高次の統計処理（統計分析、機械学習など）を行う機能を有する。この高次統計処理部２２における処理の一例としては、複数の圧縮データを結合して、それらの全体を含んださらに圧縮した表現を作る処理が考えられる。

図２は、深層生成モデルにおける処理の概念を表した説明図である。データ圧縮部１２における圧縮データの生成処理は、深層ニューラルネットワークからなる深層生成モデルによって行われる。具体的には、VAE（Variational Auto Encoder）、GAN（Generative Adversarial Nets）、GMM（Generative Moment Matching）、EP（Energy Based Probabilistic Model）などの深層生成モデルが考えられる。これらの何れかの深層生成モデルに基づいて、入力データについて多次元同時確率分布の形の圧縮データを生成する。

深層生成モデルによる処理は、例えば、入力データの統計的性質を反映させた多次元同時確率分布ｐ（ｘ；θ）のパラメータθを推定するための学習を行う処理である。多次元同時確率分布ｐ（ｘ；θ）は深層生成モデルにおけるθの次元が極めて大きいので、ノンパラメトリック、すなわち特定の確率分布の形を仮定しないで任意の確率分布を表現できる、ユニバーサルなものと考えることができる。

具体的には、VAEに基づく生成モデルの推定について説明する。入力データの多次元同時確率分布ｐ（ｘ；θ）を推定するために、図２の左側の深層ニューラルネットワークにおいて、潜在変数の多次元ガウス分布性を仮定して、深層ニューラルネットワークの隠れ層に平均μ分散σである多次元ガウス分布が現れるように、深層ニューラルネットワークにおいて学習を行う。この際、図２の右側の深層ニューラルネットワークによって、潜在変数から入力に近しいデータが出力されるように学習させる。結果、入力に近しい再現データが得られる。この再現データと元の入力データとの間に差ができるだけ生じない状態が最適な状態である。そこで、誤差逆伝播法などを用いて、このニューラルネットワークのパラメータθが最適な状態となるように、深層ニューラルネットワークの各層を最適化する処理を繰り返し行う。最終的に、再現データと元の入力データとの間の差が所定範囲内となった時のパラメータθ^＊を採用して、多次元同時確率分布ｐ（ｘ；θ^＊）を決定する。最適状態となった学習モデルの深層ニューラルネットワークの隠れ層には、入力データの特徴的な統計量が現れる。

図３は、データ圧縮装置１０のデータ圧縮部１２における圧縮データの生成処理の流れを表したフローチャート図である。この図３において、先ず、データサイズと深層生成モデルの構造を決定する（ステップＳ１１）。入力されるデータの全体サイズ（ｍ次元×ｎ個）を指定するとともに、それに使用する深層生成モデルとしての深層ニューラルネットワークの構造を決定する。このデータサイズの指定及び深層生成モデルの構造の決定は、予め決定してデータ圧縮装置１０内に記憶させておいてもよい。また、圧縮データのデータサイズを指定できるようにしてもよい。また、異なる種類、異なる頻度の入力センサデータ群に複数対応できるように、複数の深層生成モデルの構造を決定して予め記憶させておくようにしてもよい。

次に、データ圧縮部１２において、データ取得部１１−１、１１−２、・・・、１１−ｍからのデータを取得する（ステップＳ１２）。取得したデータはメモリに記憶させる。データの取得後、深層生成モデルを用いて圧縮データの生成処理を実行する（ステップＳ１３）。圧縮データの生成後、圧縮データを出力して保存する必要があるか否かを判別する（ステップＳ１４）。保存する必要がない場合には、データの取得と圧縮処理を継続する（ステップＳ１２とステップＳ１３を繰り返す）。圧縮データを出力して保存する必要が生じた段階で、学習済みモデルｐ（ｘ；θ^*）を取り出し、元データの個数ｎと共に送信可能な形式にシリアライズして、圧縮データとして出力して保存し（ステップＳ１５）、処理を終了する。なお、この図３のフローチャートでは、入力データを取得次第すぐに圧縮処理に移行するオンライン学習として説明を行ったが、いくつかのデータをまとめて学習アルゴリズムに投入して処理を行うバッチ学習であってもよい。

図４は、データ再現装置２０のデータ再現部２１におけるデータ再現処理の流れを表したフローチャート図である。この図４において、先ず、圧縮データを取得する（ステップＳ２１）。データ圧縮装置１０で生成した圧縮データの取得方法は、どのようなものであってもよく、有線で接続された状態で受信するようにしてもよいし、遠隔地から通信ネットワークを介して送られてきたものを受信するようにしてもよい。次に、取得した圧縮データである多次元同時確率分布を用いてランダムサンプリングを行って、データの再現を行う（ステップＳ２２）。このランダムサンプリングは、生成モデルの隠れ層にガウス分布から生成した乱数を与えて、図２の右側のニューラルネットワークを走らせることによって行われる。このランダムサンプリングの際、前記深層生成モデルの隠れ層の一部の値を固定することで、ある特定の条件に基づくデータのみを再現することができる。また、必須のフローではないが、データ再現後に、再現データと他のデバイス等から得られた他の情報と組み合わせるなどして、さらに高次の統計処理（機械学習など）を行うようにしてもよい（ステップＳ２３）。

このように、データ圧縮装置１０で多次元同時確率分布の形からなる圧縮データを生成し、これをデータ再現装置２０に送信し、受信したデータ再現装置２０でデータを再現するようにすることで、大容量のデータの転送時に通信負荷を大幅に減少させつつ元データの統計的性質を維持したデータ再現が可能なデータ転送を実現できる。

なお、この実施の形態ではVAEに基づく生成モデルの推定について説明したが、それ以外にも、GAN（Generative Adversarial Nets）、GMM（Generative Moment Matching）、EP（Energy Based Probabilistic Model）などの深層生成モデルを用いても良い。
また、多次元同時確率分布のパラメータの推定を行うことが可能であれば既存の深層生成モデルである必要はなく、パラメータ推定の手法として、誤差逆伝播法、最尤推定、エネルギー最小化原理、モーメントマッチングなどの推定方法を採用してパラメータの推定を行えるものであれば、どのような深層生成モデルであってもよい。

［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係るデータ圧縮装置及びデータ再現装置の例について説明する。図５は、航空機の飛行データについてデータ圧縮装置及びデータ再現装置を適用した例を表した説明図である。航空機のフライト中には様々なデータを計測しており、これらのデータは数テラバイトの容量となる可能性もあるため、本発明に係るデータ圧縮装置１０及びデータ再現装置２０を適用してデータ容量の縮小を行った上でデータの転送を行う。

図５において、航空機にはデータ圧縮装置１０が搭載されており、フライト中に計測する様々なデータを入力として、多次元同時確率分布で表現した圧縮データを生成する。生成した圧縮データは、着陸後に地上で有線又は無線によって地上で回収され、回収した圧縮データをデータセンター等へ送信する。データセンターにおいて圧縮データからフライトデータを再現して、フライトデータの分析等が行われる。

図６は、航空機のフライトデータを取得する場合のデータ構造の一例を表した説明図である。この図６は、ｍ次元のセンサデータに関してｎ回分のデータ取得を行った場合を表している。大型の旅客機では、様々なサブシステムが延べ数千のセンサを持ち、それらが１秒間に何回ものデータを生成するため、１フライトの生データの総量が数テラバイトに達することがある。このような大容量のデータについて、本発明によるデータ圧縮処理を行ってデータ容量の縮小を行う。

フライトデータ計測についての従来の方法では、各センサ、例えば油圧センサについて、そのフライトにおける最大値、最小値、平均値、分散などの予め決められた統計値を計算し、それを油圧センサデータとして利用する。より細かい統計値としては、決められた間隔でのヒストグラムを利用する。例えば、１秒毎の油圧の平均値が、０．２ＭＰａ〜０．３ＭＰａの間に入ったのが何回、のようなヒストグラムとしてその統計値を表現する。また、センサデータの間の相関に興味があるような場合には、それらの間の共分散を求めることも行われる。このように、様々な統計値を利用してセンサデータを効率よく表現しようとするが、これらの従来手法に共通する性質は、集めるべき統計値を予め決めておくことにある。このため、予め想定できるような情報を知ることはできるが、想定できないようなセンサデータの振る舞いは見落としてしまうことがある。

例えば、０．１ＭＰａ間隔でのヒストグラムを取ったとすると、０．２ＭＰａ〜０．３ＭＰａの中に２つのピークを持つような現象は把握できない。また、右翼の油圧と左翼の油圧のように、予め相関が想定されるセンサデータに対してそれらの間の共分散を取ることができたとしても、客室内の温度と油圧の相関や、数十のセンサの間の同時的な相互作用をすべて把握することは難しい。

このため、本発明によるデータ圧縮方法では、すべてのセンサデータに対して、予め統計モデルを仮定しないノンパラメトリックな同時確率分布を推定する。そのための一つの手法は、VAE（Variational Auto Encoder）などの深層生成モデルを利用することである。深層生成モデルは、大量のパラメータを持ち、表現力が高いため、ほぼ任意の多次元同時確率分布を近似することができる。例えば、それぞれの層が１０００次元で全結合７層の深層ニューラルネットワークを考えると、約６００万のパラメータを持つニューラルネットワークとなる。このニューラルネットワークを表現するのに必要なメモリ量は、各リンクの重みを２バイトで表現すると仮定すると、およそ１２ＭＢとなる。

この圧縮方法は、特定の統計量を仮定しないノンパラメトリックな手法であるために、もしセンサの値に特徴的な振る舞いが現れれば、それが個別のセンサの値であれ、複数のセンサの間の相互作用であれ、それらは隠れ層に自然に現れてくることになる。

学習済み深層ニューラルネットワーク（フライト中の同時確率分布の推定値を表現している）は、目的地の空港で回収され、データセンターに送られる。データセンターでは、このニューラルネットワークはシードとよばれるランダムな値を最初の隠れ層に設定すると、その出力は、実際に観測されたデータと同じ確率分布にしたがって生成される。この再現されたデータは、フライト中に観測されたデータそのものではないが、そのフライトで観測されたデータの統計的性質を良く表している。このため、データセンターではこの再現されたデータを統計解析することで、故障の予兆を分析したり、他の同型機とのデータと比較することにより、より効率的な運用についての知見を得たりすることができる。

また、副次的な利用方法として、過去の正常なフライトの時の圧縮データ（学習済み真相ニューラルネットワーク）を正常なセンサデータとして保持しておけば、フライト中に新たなセンサデータが得られた時に、それが異常であるかどうか（過去の確率分布から見て、稀な事象であるかどうか）を判断することができ、フライト中の異常検出に用いることができる。

フライト中の圧縮データの出力タイミングとしては、フライト完了後にフライト単位での圧縮データとして出力する手法の他、例えば、１時間毎に圧縮データを出力する手法などが考えられる。また、１時間毎に圧縮データの出力を行い、かつ、フライト全体としての圧縮データの出力も行いたいというニーズも十分に考えられる。このようなニーズに応える方法として、過去に生成された圧縮データを結合して結合圧縮データを生成する結合圧縮処理が挙げられる。

結合圧縮処理は、複数の圧縮データを結合して、それらの全体を含んださらに圧縮した表現を作ることである。これは、複数の生成モデルｐ１（ｘ；θ１），ｐ２（ｘ；θ２），・・・，ｐｔ（ｘ；θｔ）が与えられた時、これらを合わせた新しい生成モデルｐを機械学習によって作ることによって可能である。生成モデルの組み合わせ方法として、一つ目は混合分布モデル：ｐ（ｘ；θ）＝Σｗｉｐｉ（ｘ；θｉ）（Ｗｉ＞＝０，σＷｉ＝１）を用いた方法であり、二つ目はProduct of Experts（PoE）：ｐ（ｘ；θ）＝Πｐｉ（ｘ；θｉ）＾｛ｗｉ｝／∫Πｐｉ（ｘ；θｉ）＾｛ｗｉ｝ｄｘである。前者は確率分布の論理和のような操作に対応し、後者は確率分布の論理積のような操作に対応する。これらを学習するためには、例えば、この分布からのサンプリングを得られる混合分布の場合は、その混合分布から得られたサンプルとのＫＬ距離を最小化するような新しい確率分布ｑ（ｘ）を学習したり、PoEのように直接サンプルが得られずその確率勾配のみが与えられる場合はその勾配情報を使って学習したりする。

このような結合圧縮処理を行う機能をデータ圧縮装置１０のデータ圧縮部１２又はデータ再現装置２０のデータ再現部２１に持たせることで、例えば、フライト中は１時間単位で圧縮データを生成し、フライト終了後にフライト全体の圧縮データを生成して、両方をデータセンターに送るような運用が可能である。このように、個々の圧縮データが得られればそれら全体を結合した圧縮データを得ることもできるため、フライト中に両方を同時に作成する必要がない。フライト中は、細分化した単位で圧縮データを生成し、最終的にフライト全体の結合した圧縮データを生成できるため、任意に細分化した単位に区切ってデータの傾向を取得しつつ、全体のデータの傾向も取得することができる。

また、例えば、同一の機体による複数回のフライトデータを分析したい場合に、複数フライト間のデータを結合することも可能である。例えば、１時間ごとに圧縮データを生成するようにした場合、過去のフライトにおける最初の１時間の圧縮データを全て結合する処理を行えば、当該機体の過去のフライトにおける最初の１時間のデータ傾向を反映させた圧縮データが得られる。このように、異なるフライト間のデータを結合した圧縮データを生成することもできるため、フライトデータの分析に非常に有用である。

なお、本実施例において、各センサの時系列データは、時系列への依存性を把握するために、過去の自身の値との自己相関、他センサとの相互相関を入れてもよい。また、ノンパラメトリックな同時確率分布の推定方法として、ここで述べたVAEの他に、GAN（Generative Adversarial Nets）、GMM（Generative Moment Matching）、EP（Energy Based Probabilistic Model）と呼ばれる手法を用いても良い。

［第３の実施の形態］
以下、図面を参照しながら、第３の実施の形態に係るデータ圧縮装置及びデータ再現装置の例について説明する。図７は、人間の健康データについてデータ圧縮装置及びデータ再現装置を適用した例を表した説明図である。この図７において、スマートフォン、ウェアラブル端末等の個人の端末にはデータ圧縮装置１０が搭載されており、個人の端末で計測した様々な健康データを入力として、多次元同時確率分布で表現した圧縮データを生成する。生成した圧縮データは通信ネットワークを介してデータセンター等に送られ、データセンター等において圧縮データを記憶し管理する。データセンターで管理する圧縮データは、必要に応じて病院等に送信されて、健康データの分析等が行われる。この場合のデータセンター又は病院にデータ再現装置２０が設置される。

背景として、スマートフォン、ウェアラブル端末等の個人の端末やそれに無線接続できるバイタルセンサー（例えば体温、脈拍、血圧、血糖値、心電図など）が普及するにつれて、個人の健康データを継続的にモニタし解析することにより、疾病や体の異常を早期に発見することができるようになってきた。しかしながら、これらのデータは２４時間継続的に収集されるためにデータサイズが大きくなり、それらのすべてをデータセンターに送信して分析することは現実的でない。

従来の方法では、予め決められた異常値をスマートフォン等に設定しておいて、その異常値が見られた時にアラートを上げることで、データ送信量の問題を回避している。しかしながら、この方法では、直ちには異常と言えないが、継続的な傾向として措置が必要な所見（例：長期的に血糖値が上がり続けている）や、同じ年代の平均的な人に比べての違いなど、せっかく取得された健康維持に有用な情報が、データセンターに送られず、有用に利用できない、という問題があった。また、より多くのデータを送信すると、その個人の行動履歴や、プライバシーに関する情報が、データ解析を行う事業者に開示されてしまうというプライバシー上の懸念があった。

このため、本発明によるデータ圧縮方法では、例えば１日間のすべてのバイタルセンサーのデータに対して、予め統計モデルを仮定しないノンパラメトリックな同時確率分布を、深層生成モデルを用いて推定する。この深層生成モデルとして表現された同時確率分布を、１日分のバイタルセンサーデータの圧縮形式として、データセンターに送信する。このデータは、圧縮形式である深層生成モデルからのランダムサンプリングデータとして、医療健康サービス事業者に対して開示され、健康状態のモニタや、医療の目的に使われる。この深層生成モデルは、元データの同時確率分布を表しているために、個別のデータ（例：何時何分に、各バイタルセンサーがどのような値だったか）を復元することはできない。このため、特定の時刻に何をしていたか、のようなプライバシーに関する情報を推定することは困難である。

さらに、ランダムサンプリング時に、深層生成モデルのパラメータθ^＊にランダムなノイズを入れることにより、特定の個別データが元々のセンサデータに現れたかどうかを統計的に推定できる確率を、一定以下に抑えることができるプライバシー機能を持たせるようにしてもよい（これを差分プライバシーと呼ぶ）。

プライバシー機能について説明する。本発明における圧縮データは、元のデータの統計的性質は保存するが、再現処理時にランダムサンプリングを行ってデータを再現するため、個別の元データを正確には復元することはできないという本質的な性質がある。このため、個別の元データがプライバシーに関わるようなものである場合、自動的にプライバシーが保たれるという効果がある。しかし、本発明による圧縮データを複数観測してその差分を解析することにより、個別のデータを復元しようという攻撃（差分プライバシー攻撃）がなされる場合がある。このような差分プライバシー攻撃に対する対策として、本発明のバリエーションであるプライバシー機能において、圧縮データのパラメータθ^＊にノイズを加える（たとえば事後確率からのサンプリング）という方法を採用する。ノイズの量を調整することにより、圧縮表現ｐ（ｘ；θ^＊）からは元の個々のデータが復元できないことを定量的に示すこともできる。例えば、ｐ（θ｜Ｘ）∝ｐ（Ｘ｜θ）ｐ（θ）であり、ｐ（Ｘ｜θ）のθについての勾配は求まり、ｐ（θ）のθについての勾配にしたがってθをLangevan-MCMCによって事後確率からのθのサンプリングを行って得られたパラメータθｓを使うことで差分プライバシーの要件を満たすことができる。

このように、本例のプライバシー機能によれば、ノイズが入る分だけ元データの再現精度がわずかに低下する可能性はあるが、その分、健康データのようなプライバシーの問題に関わるデータを扱う際には、定量的なプライバシーを保ったまま、個人のバイタルセンサーを利用して健康状態を分析することが可能となる。

なお、圧縮データのパラメータθにノイズを加える処理は、圧縮データを生成するデータ圧縮装置１０のデータ圧縮部１２において行うようにしてもよいし、圧縮データを受信してデータを再現するデータ再現装置２０のデータ再現部２１において行うようにしてもよい。

［第４の実施の形態］
以下、図面を参照しながら、第４の実施の形態に係るデータ圧縮装置及びデータ再現装置の例について説明する。図８は、自動車のＥＣＵ（engine control unit：エンジンコントロールユニット）のセンサデータを記憶する記憶装置に対してデータ圧縮装置を適用してデータ圧縮を行う例を表した説明図である。

本例では、自動車のセンサデータの保存について考える。現在の自動車にはエンジンやサスペンション、タイヤなどに様々なセンサが装備されていて、リアルタイムに多くの情報を生成している。これらの情報は、ＥＣＵに送られ制御に使われるが、それ以外に通常は特に利用価値はない。しかし、故障や事故の際には原因分析に役立つために、これらのセンサデータが保存されていることが望ましい。ただし、自動車のＥＣＵは記憶容量が限られているので、すべてのデータを保存するわけにはいかない。ＯＤＢ−ＩＩインターフェースなどを通して、外部のデバイス（スマートフォン等）にデータを記憶する場合でも、そのデバイスの記憶容量が限られるので、すべてのデータを長時間に渡って記録することはできない。

従来の方法では、センサデータのうち、予め決められたものを、決められたインターバルで、決められた期間だけ保存していた。この方法だと、指定しなかったセンサのデータが保存されないため故障解析に必要だと判明したセンサのデータが得られなかったり、故障診断のために必要なセンサデータの長期的な傾向が指定された期間より以前のセンサデータが無いために解析できなかったりする、などの問題があった。

このため、本発明によるデータ圧縮装置１０を採用する。まず、ＥＣＵのセンサデータ記憶装置の容量を、対象とするセンサデータの期間に応じていくつかの区画に分割する。例えば、過去１０年、過去１年、過去１ヶ月、過去１日、過去１時間、過去１分の６つの区画に分割する。各区画は固定された記憶容量を持つ。過去１分の区画は、過去１分にわたる生データを持つ。過去１時間の区画は、過去１時間にわたる、１分毎の圧縮形式のデータを６０個持つ。過去１日の区画は、１時間毎の圧縮形式データを、２４時間分持つ。

圧縮データの生成は、先ず、１分毎に過去１分間の区画から生データを取り出し、本発明の手法に従ってデータをｐ（ｘ；θ_ｍ ^＊）の形に圧縮し、それを過去１時間の区画に、最新の１分間の圧縮データとして記録する。この際、この区画内の最も古い１分間の圧縮データは上書きされる。

次に、１時間毎に、過去１時間の区画の６０個の１分間圧縮データｐ（ｘ； θ_ｍ０ ^＊）, ｐ（ｘ；θ_ｍ１ ^＊），・・・，ｐ（ｘ；θ_ｍ５９ ^＊）を結合して、過去１時間の圧縮データｐ（ｘ；θ_ｈ ^＊）とする。これはそれぞれの１分間圧縮データの混合分布として表現される。これには、それぞれの１分間圧縮データｐ（ｘ；θ_ｍｉ ^＊）からランダムサンプリングし、それらを学習データとして１時間圧縮データｐ（ｘ；θ_ｈ ^＊）を推定すればよい。こうして得られた１時間圧縮データは、過去１日の区画の中の、最新の１時間圧縮データとして、２４時間前の１時間圧縮データを上書きする。

同様に、１日毎に過去２４時間の１時間圧縮データｐ（ｘ；θ_ｈ０ ^＊），ｐ（ｘ；θ_ｈ１ ^＊），・・・，ｐ（ｘ；θ_ｈ２３ ^＊）を組み合わせて、過去１日分の圧縮データを作り、過去１ヶ月の区画の最新の１日分として置き換える。同様の操作を、１ヶ月毎、１年毎に行う。このようにして、過去１０年に渡るセンサデータが記録されることになる。最も近い過去１分間については高い解像度であり、最も古いデータは過去１０年に遡れるが、その時間解像度は１年毎の統計値となる。全体の記憶容量は、それぞれのｐ（ｘ；θ）の圧縮形式が１０ＭＢ、１分間分の生データの表現が１００ＭＢであるとすると、１．５ＧＢである。一方、すべてのデータを生データとして１０年分記憶するとすれば、５２６ＴＢの記憶容量を必要とする。

故障や事故が発生した時に、過去のセンサデータを復元するには、いつの時刻のデータを復元したいかによって必要な区画から必要な圧縮データを取り出す。例えば、過去数日間の傾向を見たければ、過去１ヶ月の区画から過去３０日分の圧縮データを取り出し、それらから本発明の手法に基づいてランダムサンプリングを行い、データを復元すればよい。また、このようにして復元した過去の圧縮データを利用して、現在の状況に関する異常検出に用いることもできる。

以上のように、自動車のＥＣＵのセンサデータを記憶する記憶装置に対してデータ圧縮装置１０を適用し、このデータ圧縮装置１０のデータ圧縮部１２に対して、過去に生成された圧縮データを混合分布モデルによって結合して結合圧縮データを生成する結合圧縮機能を持たせることにより、古いデータの解像度を徐々に落としつつも長期間のセンサデータの統計的傾向を固定容量の中で記憶させ、かつ利用することが可能となる。

本発明は、上記の実施の形態で説明した分野に限らず、様々な分野で適用可能な技術である。様々なセンサによるデータが常に取得され続ける状況において、膨大なデータ容量となる生データを保存し続けることはほぼ不可能であるが、生データそのものよりも生データに含まれる統計的性質の情報を必要とする場合には、本発明に係るデータ圧縮の手法を採用することで、膨大な生データのデータ容量を大幅に削減して保存、転送して、別途統計的性質の情報を利用する際にデータを再現すればいいことになる。記憶容量の削減やデータ転送容量の削減を行いたいが、元のデータの特徴が失われることは避けたい状況においては、本発明に係るデータ圧縮の手法を採用することで要求が満たされる可能性は高いといえる。

１０ データ圧縮装置
１１−１、１１−２、・・・、１１−ｍ データ取得部
１２ データ圧縮部
２０ データ再現装置
２１ データ再現部
２２ 高次統計処理部

Claims (9)

1. それぞれが所定間隔でデータ取得対象からのデータを取得する複数のデータ取得部と、
   前記複数のデータ取得部からの複数のデータを入力として、深層ニューラルネットワークによる深層生成モデルを用いて多次元同時確率分布からなる圧縮データの生成を行うデータ圧縮部と
   を具備してなるデータ圧縮装置。
2. 前記深層生成モデルは、VAE（Variational Auto Encoder）、GAN（Generative Adversarial Nets）、GMM（Generative Moment Matching）、EP（Energy Based Probabilistic Model）のうちの何れかを利用した
   請求項１記載のデータ圧縮装置。
3. 前記データ圧縮部は、過去に生成された圧縮データを結合して結合圧縮データを生成する結合圧縮機能を有している
   請求項１又は請求項２に記載のデータ圧縮装置。
4. 前記データ圧縮部は、圧縮データとして生成する多次元同時確率分布のパラメータに対してノイズを入れて圧縮データを生成するプライバシー機能を有している
   請求項１から請求項３の何れかに記載のデータ圧縮装置。
5. 請求項１から４の何れかのデータ圧縮装置による圧縮データを受信し、当該圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで、元データの統計的性質を引き継いだデータを再現するデータ再現部
   を具備してなるデータ再現装置。
6. 請求項１から３の何れかのデータ圧縮装置による圧縮データを受信し、当該圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで、元データの統計的性質を引き継いだデータを再現するデータ再現部を備え、
   前記データ再現部は、圧縮データである多次元同時確率分布のパラメータに対してノイズを入れてランダムサンプリングを行うプライバシー機能を有している
   データ再現装置。
7. それぞれが所定間隔でデータ取得対象からのデータを取得する複数のデータ取得手段からデータを取得するデータ取得手順と、
   取得した複数のデータを入力として、深層ニューラルネットワークによる深層生成モデルを用いて多次元同時確率分布からなる圧縮データの生成を行うデータ圧縮手順とを
   含むデータ圧縮方法。
8. 請求項７に記載のデータ圧縮方法に基づいて生成された多次元同時確率分布の形で構成された圧縮データを受信する手順と、
   受信した圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで元データの統計的性質を引き継いだデータを再現する手順とを
   含むデータ再現方法。
9. それぞれが所定間隔でデータ取得対象からのデータを取得する複数のデータ取得手段からデータを取得するデータ取得手順と、
   取得した複数のデータを入力として、深層ニューラルネットワークによる深層生成モデルを用いて多次元同時確率分布からなる圧縮データの生成を行うデータ圧縮手順と、
   生成した圧縮データを送信する手順と、
   圧縮データを受信する手順と、
   受信した圧縮データの多次元同時確率分布を用いてランダムサンプリングすることで元データの統計的性質を引き継いだデータを再現する手順とを
   含むデータ転送方法。

Images