JP6762442B1 - データ処理装置、方法、及びプログラム - Google Patents
データ処理装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6762442B1 JP6762442B1 JP2019569511A JP2019569511A JP6762442B1 JP 6762442 B1 JP6762442 B1 JP 6762442B1 JP 2019569511 A JP2019569511 A JP 2019569511A JP 2019569511 A JP2019569511 A JP 2019569511A JP 6762442 B1 JP6762442 B1 JP 6762442B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- identification value
- data processing
- collected
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/283—Processing of data at an internetworking point of a home automation network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Information Transfer Between Computers (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
Description
以下、本発明の実施の形態に係るデータ処理装置について、図面を参照しつつ詳細に説明する。
実施の形態においては、識別値生成部134が、データ格納部133から読み出したデータ全てをハッシュ関数に入力し、ハッシュ値を算出する例を説明したが、これに限られない。図6に、変形例に係るデータ処理装置101の構成を示す。以下、実施の形態と異なる構成を中心に説明する。データ処理装置101は、実施の形態に係る構成に加え、グルーピング部137を備える。データ処理装置101は、データ処理部2A、2B、2Cを備えるものとする。
Claims (13)
- 機器から収集された複数のデータから予め設定された手順で前記複数のデータの同一性を識別するための値である同一性識別値を少なくとも1つ生成する識別値生成手段と、
今回収集された前記複数のデータである今回データから生成した前記同一性識別値である今回識別値と、前回収集された前記複数のデータである前回データから生成した前記同一性識別値である前回識別値と、が一致するか否かに応じて、前記今回データと前記前回データとが一致するか否かを判別する判別手段と、
予め設定されたデータ処理を行うデータ処理手段と、
前記判別手段が前記今回データと前記前回データとが一致しないと判別した場合、前記データ処理手段に前記今回データと前記前回識別値とを配信し、配信完了後に前記今回データを削除する配信手段と、
を備え、
前記配信手段は、前記判別手段が前記今回データと前記前回データとが一致すると判別した場合、前記今回データを配信せずに前記今回データを削除し、
前記データ処理手段は、前記今回データと前記前回識別値とから、前記今回データのうち前記前回データから更新されたデータを特定する、
データ処理装置。 - 前記識別値生成手段は、前記今回識別値を算出するため、予め定められたハッシュ関数に前記今回データを代入してハッシュ値を算出し、前記前回識別値を算出するため、前記ハッシュ関数に前記前回データを代入してハッシュ値を算出する、
請求項1に記載のデータ処理装置。 - 前記識別値生成手段は、収集された前記複数のデータのうち予め決められている組み合わせのデータから、前記ハッシュ値を算出する、
請求項2に記載のデータ処理装置。 - 前記判別手段が、今回収集された前記複数のデータのうちの前記組み合わせのデータから算出した前記ハッシュ値と、前回収集された前記複数のデータのうちの前記組み合わせのデータから算出した前記ハッシュ値と、が一致しないと判別した場合、前記配信手段は、前記組み合わせのデータを前記データ処理手段に配信する、
請求項3に記載のデータ処理装置。 - 前記判別手段が、今回収集された前記複数のデータのうちの前記組み合わせのデータから算出した前記ハッシュ値と、前回収集された前記複数のデータのうちの前記組み合わせのデータから算出した前記ハッシュ値と、が一致すると判別した場合、前記配信手段は、前記組み合わせのデータを前記データ処理手段に配信しない、
請求項3または4に記載のデータ処理装置。 - 前記データ処理手段は、第1データ処理を行う第1データ処理手段と、第2データ処理を行う第2データ処理手段とを含み、
前記識別値生成手段は、前記今回データのうち前記第1データ処理手段に対応付けられている第1の組み合わせのデータから第1の今回識別値を生成し、前記今回データのうち前記第2データ処理手段に対応付けられている第2の組み合わせのデータから、第2の今回識別値を生成し、
前記判別手段が、前記第1の今回識別値と、前記前回データのうちの前記第1の組み合わせのデータから生成された第1の前回識別値と、が一致しないと判別した場合、前記配信手段は、前記今回データのうちの前記第1の組み合わせのデータを前記第1データ処理手段に配信し、前記判別手段が、前記第2の今回識別値と、前記前回データのうちの前記第2の組み合わせのデータから生成された第2の前回識別値と、が一致しないと判別した場合、前記配信手段は、前記今回データのうちの前記第2の組み合わせのデータを前記第2データ処理手段に配信する、
請求項3から5のいずれか1項に記載のデータ処理装置。 - 前記組み合わせは、予め定義されたデータモデルに従って決められたものである、
請求項3から6のいずれか1項に記載のデータ処理装置。 - 前記組み合わせは、ユーザにより指定される、
請求項3から7のいずれか1項に記載のデータ処理装置。 - 前記識別値生成手段が複数の前記ハッシュ値を算出する場合であって、前記判別手段が、今回の複数の前記ハッシュ値と前回の複数の前記ハッシュ値とが全て一致すると判別した場合に、前記配信手段は、前記今回データを前記データ処理手段に配信しない、
請求項2から8のいずれか1項に記載のデータ処理装置。 - 前記識別値生成手段が複数の前記ハッシュ値を算出する場合であって、前記判別手段が、今回の複数の前記ハッシュ値と前回の複数の前記ハッシュ値とが一致するものの数が閾値以下であると判別した場合に、前記配信手段は、前記今回データを前記データ処理手段に配信する、
請求項2から8のいずれか1項に記載のデータ処理装置。 - 前記機器から前記複数のデータを収集する収集手段を備える、
請求項1から10のいずれか1項に記載のデータ処理装置。 - コンピュータが実行する方法であって、
機器から収集された複数のデータから予め設定された手順で前記複数のデータの同一性を識別するための値である同一性識別値を少なくとも1つ生成するステップと、
今回収集された前記複数のデータから生成した前記同一性識別値である今回識別値と、前回収集された前記複数のデータから生成した前記同一性識別値である前回識別値と、が一致するか否かを判別するステップと、
前記今回識別値と前記前回識別値とが一致しない場合、今回収集された前記複数のデータと前記前回識別値とを配信し、配信完了後に今回収集された前記複数のデータを削除するステップと、
前記今回識別値と前記前回識別値とが一致する場合、今回収集された前記複数のデータを配信せずに今回収集された前記複数のデータを削除するステップと、
今回収集された前記複数のデータと前記前回識別値とから、今回収集された前記複数のデータのうち前回収集された前記複数のデータから更新されたデータを特定するステップと、
を含む方法。 - コンピュータに、
機器から収集された複数のデータから予め設定された手順で前記複数のデータの同一性を識別するための値である同一性識別値を少なくとも1つ生成させ、
今回収集された前記複数のデータから生成した前記同一性識別値である今回識別値と、前回収集された前記複数のデータから算出した前記同一性識別値である前回識別値と、が一致するか否かを判別させ、
前記今回識別値と前記前回識別値とが一致しない場合、今回収集された前記複数のデータと前記前回識別値とを配信させ、配信完了後に今回収集された前記複数のデータを削除させ、
前記今回識別値と前記前回識別値とが一致する場合、今回収集された前記複数のデータを配信させずに今回収集された前記複数のデータを削除させ、
今回収集された前記複数のデータと前記前回識別値とから、今回収集された前記複数のデータのうち前回収集された前記複数のデータから更新されたデータを特定させる、
プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/028767 WO2021014550A1 (ja) | 2019-07-23 | 2019-07-23 | データ処理装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6762442B1 true JP6762442B1 (ja) | 2020-09-30 |
JPWO2021014550A1 JPWO2021014550A1 (ja) | 2021-09-13 |
Family
ID=72614661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019569511A Active JP6762442B1 (ja) | 2019-07-23 | 2019-07-23 | データ処理装置、方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11474985B2 (ja) |
JP (1) | JP6762442B1 (ja) |
CN (1) | CN114175002B (ja) |
WO (1) | WO2021014550A1 (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002073893A (ja) | 2000-08-31 | 2002-03-12 | Sharp Corp | データ収集ネットワークシステム |
US20070027915A1 (en) * | 2005-07-29 | 2007-02-01 | Morris Robert P | Method and system for processing a workflow using a publish-subscribe protocol |
JP2009053992A (ja) | 2007-08-28 | 2009-03-12 | Jiec Co Ltd | ログ収集システム |
JP2009238127A (ja) * | 2008-03-28 | 2009-10-15 | Canon Inc | ジョブ管理システムのジョブ管理方法 |
JP2010182243A (ja) * | 2009-02-09 | 2010-08-19 | Ntt Docomo Inc | 端末装置、データ収集ノード、データ収集システムおよびデータ収集方法 |
JPWO2013145467A1 (ja) * | 2012-03-26 | 2015-12-10 | 日本電気株式会社 | メッセージングシステム、トピック管理装置、メッセージング方法及びプログラム |
JP2015108927A (ja) * | 2013-12-04 | 2015-06-11 | 日本電気株式会社 | 情報処理装置、データ同期方法及びプログラム |
US10742703B2 (en) * | 2015-03-20 | 2020-08-11 | Comcast Cable Communications, Llc | Data publication and distribution |
US10649414B2 (en) | 2015-03-27 | 2020-05-12 | Bühler AG | Adaptive cross plant control and steering system, and corresponding method thereof |
CN105848150B (zh) * | 2016-05-19 | 2019-07-26 | 华东师范大学 | 一种无线传感器网络分组小数据安全分发方法 |
US10963586B1 (en) * | 2016-12-15 | 2021-03-30 | Steelcase Inc. | Data collection, storage and management system and method |
-
2019
- 2019-07-23 CN CN201980098563.XA patent/CN114175002B/zh active Active
- 2019-07-23 US US17/610,703 patent/US11474985B2/en active Active
- 2019-07-23 WO PCT/JP2019/028767 patent/WO2021014550A1/ja active Application Filing
- 2019-07-23 JP JP2019569511A patent/JP6762442B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN114175002B (zh) | 2022-10-21 |
CN114175002A (zh) | 2022-03-11 |
JPWO2021014550A1 (ja) | 2021-09-13 |
US20220147501A1 (en) | 2022-05-12 |
WO2021014550A1 (ja) | 2021-01-28 |
US11474985B2 (en) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7106847B2 (ja) | 診断装置、診断方法、プログラム、および記録媒体 | |
JP5605476B2 (ja) | システム運用管理装置、システム運用管理方法、及びプログラム記憶媒体 | |
US10452666B2 (en) | Sensor data search system, sensor data search method and management computer | |
JP6753278B2 (ja) | 制御システムおよび制御装置 | |
KR102430440B1 (ko) | 시계열 에너지 예측 데이터 모델을 이용한 설비이상감지 정보처리장치 | |
JP7031743B2 (ja) | 異常検知装置 | |
WO2018073960A1 (ja) | 表示方法、表示装置、および、プログラム | |
JP6489235B2 (ja) | システム分析方法、システム分析装置、および、プログラム | |
JP6777142B2 (ja) | システム分析装置、システム分析方法、及び、プログラム | |
JP6767203B2 (ja) | 保守支援装置、保守支援方法およびコンピュータプログラム | |
US11044319B2 (en) | Equipment analysis support apparatus, equipment analysis support method, and equipment analysis system | |
JP2023106444A (ja) | 情報処理システム、情報処理方法及び情報処理装置 | |
JP6809011B2 (ja) | 制御システムの遠隔監視を行う装置およびシステム | |
JP6762442B1 (ja) | データ処理装置、方法、及びプログラム | |
JPH10124766A (ja) | 環境監視システムおよび異常検出方法および異常検出装置 | |
JP7038629B2 (ja) | 機器状態監視装置及びプログラム | |
CN111555899A (zh) | 告警规则配置方法、设备状态监测方法、装置和存储介质 | |
CN114019946B (zh) | 工控终端的监控数据处理方法及装置 | |
JP7264231B2 (ja) | 監視方法、監視装置、プログラム | |
JP7226542B2 (ja) | 時系列データ処理方法、時系列データ処理装置、プログラム | |
US10740214B2 (en) | Management computer, data processing system, and data processing program | |
US20210318665A1 (en) | Data collection apparatus, method, and program | |
JP7248101B2 (ja) | 監視方法、監視装置、プログラム | |
JP7227772B2 (ja) | データアセット分析支援システムおよびデータ分析方法 | |
JP6973445B2 (ja) | 表示方法、表示装置、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191213 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191213 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6762442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |