JP6856870B2 - 分散データ管理プログラム、分散データ管理方法、及び分散データ管理装置 - Google Patents
分散データ管理プログラム、分散データ管理方法、及び分散データ管理装置 Download PDFInfo
- Publication number
- JP6856870B2 JP6856870B2 JP2017079739A JP2017079739A JP6856870B2 JP 6856870 B2 JP6856870 B2 JP 6856870B2 JP 2017079739 A JP2017079739 A JP 2017079739A JP 2017079739 A JP2017079739 A JP 2017079739A JP 6856870 B2 JP6856870 B2 JP 6856870B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- identification information
- correspondence table
- dynamic
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3057—Distributed Source coding, e.g. Wyner-Ziv, Slepian Wolf
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
図1を参照しながら、第1実施形態について説明する。第1実施形態は、管理装置に送信される情報を効果的に圧縮する方法に関する。図1は、第1実施形態に係るデータ管理システムの一例を示した図である。
分散データ管理装置10、機器21、22、…、及び管理装置30は、ネットワーク5を介して接続される。ネットワーク5は、例えば、LANやWANなどのネットワークであり、有線及び/又は無線の通信回線によって形成される。分散データ管理装置10、機器21、22、…は、例えば、PC、スマートフォン、車載デバイスなどのコンピュータである。管理装置30は、例えば、データセンタとして機能するPCやサーバ装置などのコンピュータである。
記憶部11は、RAM(Random Access Memory)などの揮発性記憶装置、或いは、HDD(Hard Disk Drive)やフラッシュメモリなどの不揮発性記憶装置である。演算部12は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などのプロセッサである。演算部12は、例えば、記憶部11又は他のメモリに記憶されたプログラムを実行する。
<2.第2実施形態>
次に、第2実施形態について説明する。第2実施形態は、GW装置にデータを蓄積し、GW装置に蓄積されるデータの検索に用いるディレクトリ情報を圧縮してデータセンタに送信するデータ管理システムに関する。
図2を参照しながら、データ管理システム50について説明する。図2は、第2実施形態に係るデータ管理システムの一例を示した図である。なお、図2のデータ管理システム50は、第2実施形態に係るデータ管理システムの一例である。
ここで、図3を参照しながら、端末装置300を用いて、GW装置101、102、103にあるデータを取得する方法について説明する。図3は、データの取得について説明するための図である。
上記のような仕組みを実現するために、DS装置200は、図4に示すような方法でディレクトリ情報DIRを集約GWから収集する。図4は、ディレクトリ情報の収集について説明するための図である。なお、説明の都合上、図4では、GW装置101がDS装置200にディレクトリ情報DIRを送信する場合を例示している。
[2−2.ハードウェア]
まず、図5を参照しながら、GW装置101のハードウェアについて説明する。図5は、GW装置の機能を実現可能なハードウェアの一例を示したブロック図である。
[2−3.機能]
次に、GW装置101及びDS装置200の機能について説明する。なお、GW装置102、103は、GW装置101と実質的に同じ機能(集約GWの機能)を有する。そのため、GW装置102、103の機能については詳細な説明を省略する。
まず、図6を参照しながら、GW装置101の機能について説明する。図6は、第2実施形態に係るGW装置が有する機能の一例を示したブロック図である。
蓄積情報リスト111aは、GW装置101が蓄積するディレクトリ情報DIRの集合である。蓄積情報リスト111aには、例えば、GW装置101が出力するデータに関するディレクトリ情報DIR(DIR#1)や、非集約GWであるGW装置104、105などから取得されるディレクトリ情報DIR(DIR#4、#5)が含まれる。
(DS装置)
次に、図11を参照しながら、DS装置200の機能について説明する。図11は、第2実施形態に係るDS装置が有する機能の一例を示したブロック図である。
対応表群201aは、集約GW(例えば、GW装置101、…、103)から取得された対応表(対応表111bに相当)の集合である。例えば、対応表群201aは、図12のような内容を有する。図12は、対応表群の一例を示した図である。
(動作例:ディレクトリ情報の登録要求から登録までの流れ)
ここで、図15を参照しながら、ディレクトリ情報の登録要求から登録までの流れについて説明する。図15は、GW装置及びDS装置の動作例(ディレクトリ情報の登録要求から登録までの流れ)について説明するための図である。
(動作例:整数列圧縮)
ここで、図16を参照しながら、整数列圧縮について説明する。図16は、圧縮処理の例として整数列圧縮について説明するための図である。なお、整数列圧縮は、ディレクトリ情報DIRの圧縮に適用可能な圧縮方法の一例であり、第2実施形態の技術に適用可能な圧縮方法は整数列圧縮に限定されない。
(Step.1)
Step.1の処理は、整数列を昇順(又は降順)にソートする工程と、隣り合う整数同士の差分計算を実施する工程とを有する。例えば、整数列{2,12,5,10}が与えられた場合、昇順にソートする工程では整数列{2,5,10,12}が得られる。差分計算の工程では、5と2の差分「3」、10と5の差分「5」、12と10の差分「2」が計算され、整数列{2,3,5,2}が得られる。
Step.2の処理は、Step.1の処理で得られる整数列の各整数を表すビット列を短いビット列に符号化する工程を有する。符号化には、区切ビットが利用される。区切ビットは、特定のビット位置に挿入され、そのビット位置より上位のビットに1を含むか否かを示す。例えば、区切ビットを9ビット目に挿入する場合、9ビット目のビット値が「1」であれば10ビット目以降に「1」が現われ、9ビット目のビット値が「0」であれば10ビット目以降に「1」が現われない。
ここで、上記の再払い出しについて、図17を参照しながら説明する。図17は、再払い出しの判断について説明するための図である。
[2−4.処理の流れ]
次に、GW装置101及びDS装置200により実行される処理の流れについて説明する。なお、GW装置102、103は、GW装置101と実質的に同じ流れで処理(集約GWが実行する処理)を実行する。そのため、GW装置102、103により実行される処理の流れについては詳細な説明を省略する。
まず、図18〜図21を参照しながら、GW装置101が実行する処理の流れについて説明する。
(S105)動的ID管理部114は、記憶部111から読み出したリスト(蓄積情報リスト111a)に含まれるディレクトリ情報DIRの機器IDと、対応表111bにある機器IDとを照合する。そして、動的ID管理部114は、リストの全機器IDが対応表111bにないか否かを判定する。リストの全機器IDが対応表111bにない場合、処理はS106へと進む。一方、リストの機器IDが1つでも対応表111bにある場合、処理はS107へと進む。
(S111)動的ID管理部114は、ディレクトリ情報DIRのリスト(蓄積情報リスト111a)から機器IDのペアを抽出する。例えば、動的ID管理部114は、蓄積情報リスト111aに含まれる機器IDの集合から2つの機器IDを抽出する全ての組み合わせを探索し、各組み合わせの機器IDペアを抽出する。
(S114)圧縮処理部113は、機器IDを動的IDに変換したID変換後のディレクトリ情報DIRを圧縮する。例えば、圧縮処理部113は、動的IDの整数列圧縮を実施してディレクトリ情報DIRを圧縮する。
(S119)動的ID管理部114は、特定されたペア毎に動的IDの差を計算する。つまり、動的ID管理部114は、対応表111bを参照して、共起確率が閾値ThC(例えば、0.6)以上の各機器IDペアに対応する動的IDのペアを抽出し、抽出した動的IDのペアについて動的IDの差分値を計算する。
(S122)動的ID管理部114は、共起確率リスト111cに含まれる機器IDの情報(機器IDのリスト)を入力とする動的ID払い出しの処理を実行する。つまり、動的ID管理部114は、機器IDのリストを含む払い出し要求を払い出し管理部115に通知し、その払い出し要求に応じた動的IDの払い出しを受ける。なお、払い出し管理部115による動的ID払い出しの処理については後述する。
(S124)動的ID管理部114から払い出し要求を受けた払い出し管理部115は、入力が機器IDのリストだけであるか否かを判定する。入力が機器IDのリストだけである場合、処理はS125へと進む。一方、入力が機器IDのリストだけでない場合、処理はS128へと進む。
(S130)払い出し管理部115は、S129で選択された動的IDをリストの各機器IDに払い出す。そして、払い出し管理部115は、払い出し要求に対する応答として、動的ID管理部114に対して各機器IDに対して払い出した動的IDを通知する。S130の処理が完了すると、図21に示した一連の処理は終了する。
(変形例:圧縮率に基づく再払い出し判定)
ここで、図22及び図23を参照しながら、第2実施形態の一変形例について説明する。これまでは動的IDの再払い出しをする際に機器IDの共起確率を利用していた。ここで説明する変形例は、機器IDの共起確率を用いず、ディレクトリ情報DIRの圧縮率を用いて動的IDの再払い出しをするかを判定する方法に関する。
…(1)
また、図20に示した処理フローが、図23のように変形される。つまり、S118〜S121の処理が省略され、S152の処理が追加される。S152の処理では、動的ID管理部114が、最新の圧縮率と所定の閾値ThXとを比較する。そして、圧縮率が閾値ThX以上である場合、処理はS122へと進む。一方、圧縮率が閾値ThX以上でない場合、処理はS101へと進む。このように、上記の変形例を適用することで共起確率に関する演算を省略することが可能になり、演算負荷の低減に寄与する。このような変形も第2実施形態の技術的範囲に属する。
次に、図24を参照しながら、DS装置200により実行される処理の流れについて説明する。図24は、第2実施形態に係るDS装置の動作について説明するためのフロー図である。
(S205)展開処理部202は、対応表取得要求に応じてGW装置101(対象GW装置)から送信された対応表111bを受信し、受信された対応表111bを用いてローカルの対応表(対応表群201a)を更新する。
(S207)展開処理部202は、更新後の対応表群201aに含まれるGW装置101の対応表(対応表#1)を用いて、展開後のディレクトリ情報DIRに含まれる動的IDを機器IDに変換する。情報登録部203は、展開処理部202によるID変換後のディレクトリ情報DIRを登録情報201cに登録する。S207の処理が完了すると、図24に示した一連の処理は終了する。
上記のように、機器IDを動的IDに変換して圧縮することで圧縮効率を高めることができる。また、同時に圧縮される機器IDの組み合わせが変更された場合でも、動的IDの再払い出しを実施することで、安定的に高い圧縮効率を実現することができる。
<3.付記>
以上説明した実施形態に関し、さらに以下の付記を開示する。
所定期間に取得した機器からの情報について、前記機器の識別に用いる第1の識別情報と前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応表、及び、前記対応表のバージョンを示すバージョン情報を参照し、該機器の識別に用いる前記第1の識別情報がある場合には該情報に対応する前記第2の識別情報を割り振り、該機器の識別に用いる前記第1の識別情報がない場合には、新たに第2の識別情報を割り振って前記対応表を更新すると共に前記バージョン情報を更新し、
前記機器の識別に用いる前記第1の識別情報に割り振った前記第2の識別情報を使用して前記機器からの情報を圧縮したデータと、前記バージョン情報とを管理装置に送信し、
同時に圧縮される前記機器からの情報に対応する前記第1の識別情報を記憶し、圧縮の度に算出される前記第1の識別情報の共起確率に基づいて前記第2の識別情報の再割り振りを実施する
処理をコンピュータに実行させる、分散データ管理プログラム。
処理をコンピュータに実行させる、付記1に記載の分散データ管理プログラム。
処理をコンピュータに実行させる、付記2に記載の分散データ管理プログラム。
処理をコンピュータに実行させる、付記1に記載の分散データ管理プログラム。
機器からの情報を取得して記憶装置に記憶し、
所定期間に取得した機器からの情報について、前記機器の識別に用いる第1の識別情報と前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応表、及び、前記対応表のバージョンを示すバージョン情報を参照し、該機器の識別に用いる前記第1の識別情報がある場合には該情報に対応する前記第2の識別情報を割り振り、該機器の識別に用いる前記第1の識別情報がない場合には、新たに第2の識別情報を割り振って前記対応表を更新すると共に前記バージョン情報を更新し、
前記機器の識別に用いる前記第1の識別情報に割り振った前記第2の識別情報を使用して前記機器からの情報を圧縮したデータと、前記バージョン情報とを管理装置に送信し、
同時に圧縮される前記機器からの情報に対応する前記第1の識別情報を記憶し、圧縮の度に算出される前記第1の識別情報の共起確率に基づいて前記第2の識別情報の再割り振りを実施する
分散データ管理方法。
所定期間に取得した機器からの情報について、前記機器の識別に用いる第1の識別情報と前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応表、及び、前記対応表のバージョンを示すバージョン情報を参照し、該機器の識別に用いる前記第1の識別情報がある場合には該情報に対応する前記第2の識別情報を割り振り、該機器の識別に用いる前記第1の識別情報がない場合には、新たに第2の識別情報を割り振って前記対応表を更新すると共に前記バージョン情報を更新し、
前記機器の識別に用いる前記第1の識別情報に割り振った前記第2の識別情報を使用して前記機器からの情報を圧縮したデータと、前記バージョン情報とを管理装置に送信し、
同時に圧縮される前記機器からの情報に対応する前記第1の識別情報を記憶し、圧縮の度に算出される前記第1の識別情報の共起確率に基づいて前記第2の識別情報の再割り振りを実施する演算部と
を有する、分散データ管理装置。
所定期間毎に前記記憶部に蓄積される前記第1の位置情報を対象として、前記対応情報に基づいて前記第1の識別情報を前記第2の識別情報に変換した第2の位置情報を生成し、前記第2の位置情報を圧縮して管理装置に送信し、
共に圧縮される前記第2の位置情報の集合に同じ前記第1の識別情報が含まれる確率を計算し、前記確率が閾値以上となる前記第1の識別情報の組を対象として、圧縮率が高くなる組み合わせとなるように前記第2の識別情報の再割り振りを実施する演算部と
を有する、分散データ管理装置。
所定期間毎に前記記憶部に蓄積される前記第1の位置情報を対象として、前記対応情報に基づいて前記第1の識別情報を前記第2の識別情報に変換した第2の位置情報を生成し、前記第2の位置情報を圧縮して管理装置に送信し、
前記第2の位置情報の圧縮率を計算し、前記圧縮率が所定値以下の場合に、圧縮率が高くなる組み合わせとなるように前記第2の識別情報の再割り振りを実施する演算部と
を有する、分散データ管理装置。
付記7又は8に記載の分散データ管理装置。
付記7〜9のいずれかに記載の分散データ管理装置。
付記7〜10のいずれかに記載の分散データ管理装置。
前記演算部は、
前記対応情報が更新される度に前記バージョン情報を更新し、
要求に応じて前記対応情報と前記バージョン情報とを前記管理装置に送信する
付記7〜11のいずれかに記載の分散データ管理装置。
記憶部から、機器からの情報と、前記機器の識別に用いる第1の識別情報とを対応付けるための第1の位置情報、及び、前記第1の識別情報と、前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応情報を読み出し、
所定期間毎に前記記憶部に蓄積される前記第1の位置情報を対象として、前記対応情報に基づいて前記第1の識別情報を前記第2の識別情報に変換した第2の位置情報を生成し、前記第2の位置情報を圧縮して管理装置に送信し、
共に圧縮される前記第2の位置情報の集合に同じ前記第1の識別情報が含まれる確率を計算し、前記確率が閾値以上となる前記第1の識別情報の組を対象として、圧縮率が高くなる組み合わせとなるように前記第2の識別情報の再割り振りを実施する
処理を実行させる、分散データ管理プログラム。
記憶部から、機器からの情報と、前記機器の識別に用いる第1の識別情報とを対応付けるための第1の位置情報、及び、前記第1の識別情報と、前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応情報を読み出し、
所定期間毎に前記記憶部に蓄積される前記第1の位置情報を対象として、前記対応情報に基づいて前記第1の識別情報を前記第2の識別情報に変換した第2の位置情報を生成し、前記第2の位置情報を圧縮して管理装置に送信し、
共に圧縮される前記第2の位置情報の集合に同じ前記第1の識別情報が含まれる確率を計算し、前記確率が閾値以上となる前記第1の識別情報の組を対象として、圧縮率が高くなる組み合わせとなるように前記第2の識別情報の再割り振りを実施する
分散データ管理方法。
5 ネットワーク
10 分散データ管理装置
11 記憶部
12 演算部
21、22 機器
30 管理装置
41 機器からの情報
42 第1の識別情報
43 第2の識別情報
44 対応表
45 バージョン情報
46 変換後の情報
47 圧縮データ
48 共起確率
Claims (6)
- 機器からの情報を取得して記憶装置に記憶し、
所定期間に取得した機器からの情報について、前記機器の識別に用いる第1の識別情報と前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応表、及び、前記対応表のバージョンを示すバージョン情報を参照し、該機器の識別に用いる前記第1の識別情報がある場合には該情報に対応する前記第2の識別情報を割り振り、該機器の識別に用いる前記第1の識別情報がない場合には、新たに第2の識別情報を割り振って前記対応表を更新すると共に前記バージョン情報を更新し、
前記機器の識別に用いる前記第1の識別情報に割り振った前記第2の識別情報を使用して前記機器からの情報を圧縮したデータと、前記バージョン情報とを管理装置に送信し、
同時に圧縮される前記機器からの情報に対応する前記第1の識別情報を記憶し、圧縮の度に算出される前記第1の識別情報の共起確率に基づいて前記第2の識別情報の再割り振りを実施する
処理をコンピュータに実行させる、分散データ管理プログラム。 - 前記共起確率が第1閾値以上となる前記第1の識別情報の組に対応する前記第2の識別情報の組を特定し、
特定された前記第2の識別情報の組の差分値を算出し、
前記特定された前記第2の識別情報の組を母集団とし、前記差分値が第2の閾値以下である前記第2の識別情報の組の前記母集団に占める割合を求め、
前記割合が所定値以下の場合、前記再割り振りを実施する
処理をコンピュータに実行させる、請求項1に記載の分散データ管理プログラム。 - 前記共起確率が大きい順に所定数の前記第1の識別情報の組を選択し、選択された前記第1の識別情報の組を対象に前記再割り振りの処理を実施する
処理をコンピュータに実行させる、請求項2に記載の分散データ管理プログラム。 - 他のコンピュータが取得した前記機器からの情報が存在する位置に関する他の機器からの情報を前記機器からの情報と共に圧縮して前記管理装置に送信する
処理をコンピュータに実行させる、請求項1に記載の分散データ管理プログラム。 - コンピュータが、
機器からの情報を取得して記憶装置に記憶し、
所定期間に取得した機器からの情報について、前記機器の識別に用いる第1の識別情報と前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応表、及び、前記対応表のバージョンを示すバージョン情報を参照し、該機器の識別に用いる前記第1の識別情報がある場合には該情報に対応する前記第2の識別情報を割り振り、該機器の識別に用いる前記第1の識別情報がない場合には、新たに第2の識別情報を割り振って前記対応表を更新すると共に前記バージョン情報を更新し、
前記機器の識別に用いる前記第1の識別情報に割り振った前記第2の識別情報を使用して前記機器からの情報を圧縮したデータと、前記バージョン情報とを管理装置に送信し、
同時に圧縮される前記機器からの情報に対応する前記第1の識別情報を記憶し、圧縮の度に算出される前記第1の識別情報の共起確率に基づいて前記第2の識別情報の再割り振りを実施する
分散データ管理方法。 - 取得された機器からの情報を記憶する記憶部と、
所定期間に取得した機器からの情報について、前記機器の識別に用いる第1の識別情報と前記第1の識別情報に割り振られる第2の識別情報とを対応付ける対応表、及び、前記対応表のバージョンを示すバージョン情報を参照し、該機器の識別に用いる前記第1の識別情報がある場合には該情報に対応する前記第2の識別情報を割り振り、該機器の識別に用いる前記第1の識別情報がない場合には、新たに第2の識別情報を割り振って前記対応表を更新すると共に前記バージョン情報を更新し、
前記機器の識別に用いる前記第1の識別情報に割り振った前記第2の識別情報を使用して前記機器からの情報を圧縮したデータと、前記バージョン情報とを管理装置に送信し、
同時に圧縮される前記機器からの情報に対応する前記第1の識別情報を記憶し、圧縮の度に算出される前記第1の識別情報の共起確率に基づいて前記第2の識別情報の再割り振りを実施する演算部と
を有する、分散データ管理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017079739A JP6856870B2 (ja) | 2017-04-13 | 2017-04-13 | 分散データ管理プログラム、分散データ管理方法、及び分散データ管理装置 |
US15/945,416 US10652349B2 (en) | 2017-04-13 | 2018-04-04 | Managing distributed data by calculating co-occurrence probabilities of combinations of first identification information items for device information items and compressing the device information items using the a second identification information assigned to the first information items based on the co-occurrence probabilities |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017079739A JP6856870B2 (ja) | 2017-04-13 | 2017-04-13 | 分散データ管理プログラム、分散データ管理方法、及び分散データ管理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018180942A JP2018180942A (ja) | 2018-11-15 |
JP6856870B2 true JP6856870B2 (ja) | 2021-04-14 |
Family
ID=63790464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017079739A Active JP6856870B2 (ja) | 2017-04-13 | 2017-04-13 | 分散データ管理プログラム、分散データ管理方法、及び分散データ管理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10652349B2 (ja) |
JP (1) | JP6856870B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11044181B1 (en) * | 2016-08-02 | 2021-06-22 | Initial State Technologies, Inc. | Data aggregation, transformation and visualization of networked broadcast reports |
WO2018216163A1 (ja) * | 2017-05-25 | 2018-11-29 | 富士通株式会社 | 基地局装置、端末装置、無線通信システム、及び無線リソース情報通知方法 |
CN111373694B (zh) * | 2020-02-21 | 2023-05-02 | 香港应用科技研究院有限公司 | 零知识证明硬件加速器及其方法 |
US11546161B2 (en) * | 2020-02-21 | 2023-01-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Zero knowledge proof hardware accelerator and the method thereof |
CN111581187B (zh) * | 2020-05-14 | 2023-06-30 | 海南电网有限责任公司信息通信分公司 | 智慧园区的数据管理方法、装置、计算机设备和存储介质 |
CN116827682B (zh) * | 2023-08-23 | 2023-11-24 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及计算机设备 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005277978A (ja) | 2004-03-26 | 2005-10-06 | Matsushita Electric Ind Co Ltd | 識別番号自動設定方法及び識別番号自動設定装置 |
US8447847B2 (en) * | 2007-06-28 | 2013-05-21 | Microsoft Corporation | Control of sensor networks |
US8356060B2 (en) * | 2009-04-30 | 2013-01-15 | Oracle International Corporation | Compression analyzer |
US9171079B2 (en) * | 2011-01-28 | 2015-10-27 | Cisco Technology, Inc. | Searching sensor data |
US9275093B2 (en) * | 2011-01-28 | 2016-03-01 | Cisco Technology, Inc. | Indexing sensor data |
US9225793B2 (en) * | 2011-01-28 | 2015-12-29 | Cisco Technology, Inc. | Aggregating sensor data |
US10257136B2 (en) * | 2013-05-28 | 2019-04-09 | Convida Wireless, Llc | Data aggregation in the internet of things |
US9372922B2 (en) * | 2013-07-11 | 2016-06-21 | Neura, Inc. | Data consolidation mechanisms for internet of things integration platform |
US20150172120A1 (en) * | 2013-12-12 | 2015-06-18 | Commvault Systems, Inc. | Managing non-conforming entities in information management systems, including enforcing conformance with a model entity |
US10163420B2 (en) * | 2014-10-10 | 2018-12-25 | DimensionalMechanics, Inc. | System, apparatus and methods for adaptive data transport and optimization of application execution |
US10057383B2 (en) * | 2015-01-21 | 2018-08-21 | Microsoft Technology Licensing, Llc | Sparsity estimation for data transmission |
US10462011B2 (en) * | 2015-08-27 | 2019-10-29 | Nicira, Inc. | Accessible application cluster topology |
WO2017042978A1 (ja) * | 2015-09-11 | 2017-03-16 | 株式会社日立製作所 | 計算機システム、ストレージ装置、及びデータの管理方法 |
US10061663B2 (en) * | 2015-12-30 | 2018-08-28 | Commvault Systems, Inc. | Rebuilding deduplication data in a distributed deduplication data storage system |
US20170235647A1 (en) * | 2016-02-12 | 2017-08-17 | Commvault Systems, Inc. | Data protection operations based on network path information |
WO2018004622A1 (en) * | 2016-06-30 | 2018-01-04 | Intel Corporation | Message schema control |
EP3479530B1 (en) * | 2016-06-30 | 2022-09-07 | INTEL Corporation | Message schema control |
US9986069B2 (en) * | 2016-09-28 | 2018-05-29 | Intel Corporation | Devices and methods to compress sensor data |
US10389810B2 (en) * | 2016-11-02 | 2019-08-20 | Commvault Systems, Inc. | Multi-threaded scanning of distributed file systems |
US10880409B2 (en) * | 2017-02-20 | 2020-12-29 | Cisco Technology, Inc. | Mixed qualitative, quantitative sensing data compression over a network transport |
US10511696B2 (en) * | 2017-05-17 | 2019-12-17 | CodeShop, B.V. | System and method for aggregation, archiving and compression of internet of things wireless sensor data |
US10819794B2 (en) * | 2017-09-26 | 2020-10-27 | Verizon Patent And Licensing Inc. | Distribution hub for internet-of-things data |
US10296258B1 (en) * | 2018-03-09 | 2019-05-21 | Pure Storage, Inc. | Offloading data storage to a decentralized storage network |
US10158483B1 (en) * | 2018-04-30 | 2018-12-18 | Xanadu Big Data, Llc | Systems and methods for efficiently and securely storing data in a distributed data storage system |
US10764058B2 (en) * | 2018-06-29 | 2020-09-01 | Intel Corporation | Secure aggregation of IoT messages |
-
2017
- 2017-04-13 JP JP2017079739A patent/JP6856870B2/ja active Active
-
2018
- 2018-04-04 US US15/945,416 patent/US10652349B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US10652349B2 (en) | 2020-05-12 |
JP2018180942A (ja) | 2018-11-15 |
US20180302488A1 (en) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6856870B2 (ja) | 分散データ管理プログラム、分散データ管理方法、及び分散データ管理装置 | |
US8881165B2 (en) | Methods, computer systems, and physical computer storage media for managing resources of a storage server | |
JP2015001828A (ja) | 割当プログラム、割当装置および割当方法 | |
US7337285B2 (en) | Buffer allocation based upon priority | |
JP2004287801A (ja) | 情報処理システム、情報処理装置、分散情報処理方法及びコンピュータプログラム | |
US8661221B2 (en) | Leasing fragmented storage between processes | |
JP6972714B2 (ja) | データ取得プログラム、装置、及び方法 | |
JP6951846B2 (ja) | 計算機システム及びタスクの割当方法 | |
CN113805816B (zh) | 一种磁盘空间管理方法、装置、设备及存储介质 | |
TW201327239A (zh) | 分散式資源管理系統及其分散式資源管理方法 | |
CN113791891A (zh) | 持续集成任务构建方法、装置、设备和计算机可读介质 | |
KR20070034580A (ko) | 복수의 ess 셀에 다운로드 가능한 콘텐츠를 저장하는방법, 시스템 및 프로그램 제품 | |
US8677050B2 (en) | System, method and computer program product for extending a cache using processor registers | |
US11838207B2 (en) | Systems for session-based routing | |
CN109067649B (zh) | 节点处理方法及装置、存储介质和电子设备 | |
JP5695571B2 (ja) | サーバー装置及びコンテンツ取得方法 | |
KR102064466B1 (ko) | 가상화 시스템에서의 가상 데스크톱을 할당하는 방법 및 그 가상화 시스템 | |
JP6191361B2 (ja) | 情報処理システム、情報処理システムの制御方法及び制御プログラム | |
CN109088913B (zh) | 请求数据的方法和负载均衡服务器 | |
CN112948106A (zh) | 任务分配方法及装置 | |
JP5056346B2 (ja) | 情報処理装置、情報処理システム、仮想サーバの移動処理の制御方法、及び、プログラム | |
US20160142472A1 (en) | System, method, and medium | |
KR102116471B1 (ko) | 가상화 시스템에서의 가상 데스크톱 스냅샷 정보를 초기화하는 방법 및 그 가상화 시스템 | |
WO2024040599A1 (zh) | 资源分配方法、装置、电子设备及计算机可读存储介质 | |
JP2021033959A (ja) | 分散制御装置、情報処理システム、及び分散制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200123 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6856870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |