JP6477936B1 - データ処理装置、データ処理方法及びプログラム - Google Patents
データ処理装置、データ処理方法及びプログラム Download PDFInfo
- Publication number
- JP6477936B1 JP6477936B1 JP2018022799A JP2018022799A JP6477936B1 JP 6477936 B1 JP6477936 B1 JP 6477936B1 JP 2018022799 A JP2018022799 A JP 2018022799A JP 2018022799 A JP2018022799 A JP 2018022799A JP 6477936 B1 JP6477936 B1 JP 6477936B1
- Authority
- JP
- Japan
- Prior art keywords
- input data
- data
- preprocessing
- processing module
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/10—Program control for peripheral devices
- G06F13/12—Program control for peripheral devices using hardware independent of the central processor, e.g. channel or peripheral processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Selective Calling Equipment (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Systems (AREA)
Abstract
【解決手段】処理モジュールには、入力データの条件を示す第1メタデータが対応付けられている。入力データには、入力データの属性を示す第2メタデータが対応付けられている。データ処理装置は、取得部と、前処理部とを備える。取得部は、第1及び第2メタデータに基づいた、入力データの前処理に関する判定結果を取得するように構成されている。前処理部は、判定結果に基づいて入力データに前処理を施すように構成されている。
【選択図】図1
Description
図1は、本実施の形態に従うデータ処理装置(前処理モジュール)120の概要を説明するための図である。図1を参照して、処理モジュール130は複数の入力ポートを有し、各入力ポートにはセンシングデバイス12(デバイスの一例)によって出力されたセンシングデータ(入力データの一例)が入力される。処理モジュール130は、入力データに基づいて入力データとは異なる出力データを生成するように構成されている。すなわち、処理モジュール130と、処理モジュール130へ入力データを出力するセンシングデバイス12(入力センサ)とによって、いわゆる仮想センサが形成される。仮想センサとは、入力センサが対象を観測することによって生成されたセンシングデータに基づいて、入力センサによって観測された対象とは異なる対象の観測結果をセンシングデータとして出力するセンサモジュールである。仮想センサについては、後程詳しく説明する。
<2−1.システム全体の構成>
図2は、本実施の形態に従う前処理モジュール(データ処理装置)120を含むセンサネットワークシステム10の一例を示す図である。図2の例では、センサネットワークシステム10は、センサネットワーク部14と、仮想センサ管理サーバ100と、アプリケーションサーバ300とを含む。
図3は、仮想センサ管理サーバ100のハードウェア構成の一例を示す図である。なお、本実施の形態において、仮想センサ管理サーバ100は、たとえば、汎用コンピュータによって実現される。
図7は、センシングデバイス12のハードウェア構成の一例を示す図である。図7の例では、センシングデバイス12は、実センサ20と、データバッファ21と、通信部22と、制御部23とを含む。
図9は、制御部180によって実現される各ソフトウェアモジュールの関係の一例を示す図である。図9の例では、処理モジュール130、前処理判定モジュール110、出力管理モジュール140及び前処理モジュール120の各々が制御部180によって実現される。
図10は、前処理判定モジュール110の詳細な構成の一例を示す図である。なお、各ソフトウェアモジュールによる処理は、処理モジュール130の入力ポート毎に行なわれる。各入力ポートに対応する処理は、並列的に行なわれてもよいし、順次行なわれてもよい。以下においては、処理モジュール130の1つの入力ポートに着目した上で、各モジュールについて説明する。
図12は、出力管理モジュール140の詳細な構成の一例を示す図である。図12の例では、出力管理モジュール140は、取得部141,142と、判定部143と、通知部144とを含む。取得部141は、第2メタデータ13と、第2メタデータ13に付与されたIDとを、通信I/F195を介してセンシングデバイス12から取得(受信)する。取得部142は、入力ポートに対応付けられた第1メタデータ161を第1メタデータDB160から取得する。
図13は、前処理モジュール120の詳細な構成の一例を示す図である。図13の例では、前処理モジュール120は、取得部121と、前処理部122とを含む。取得部121は、前処理判定モジュール110による判定結果と、第2メタデータ13に付与されたIDとを取得する。
<3−1.前処理判定動作>
図14は、前処理判定動作の一例を示すフローチャートである。このフローチャートに示される処理は、たとえば、センシングデバイス12から第2メタデータ13が受信されるタイミングで、制御部180が前処理判定モジュール110として動作することによって実行される。なお、上述の通り、前処理の判定は、各処理モジュール130の入力ポート毎に行なわれるが、ここでは1つの処理モジュール130の1つの入力ポートに着目して説明する。
図15は、センシングデバイス12から処理モジュール130へのセンシングデータの出力の管理動作の一例を示すフローチャートである。このフローチャートに示される処理は、たとえば、センシングデバイス12によってセンシングデータが生成されたタイミングで実行される。なお、上述の通り、センシングデータの出力管理は各処理モジュール130の入力ポート毎に行なわれるが、ここでは1つの処理モジュール130の1つの入力ポートに着目して説明する。
図16は、前処理動作の一例を示すフローチャートである。このフローチャートに示される処理は、前処理判定モジュール110から判定結果及びID(第2メタデータ13に付与されたID)が通知されたタイミングで、制御部180が前処理モジュール120として動作することによって実行される。なお、上述の通り、センシングデータの前処理は、各処理モジュール130の入力ポート毎に行なわれるが、ここでは1つの処理モジュール130の1つの入力ポートに着目して説明する。
以上のように、本実施の形態に従うデータ処理装置(前処理モジュール)120においては、前処理判定モジュール110における判定結果に従って、センシングデータに前処理が施される。すなわち、データ処理装置(前処理モジュール)120においては、処理モジュール130における入力データの条件、及び、処理モジュール130に入力される入力データの属性が考慮された上で、入力データに前処理が施される。したがって、データ処理装置(前処理モジュール)120によれば、処理モジュール130の入力データに適切な前処理が施されるため、処理モジュール130に不適切なデータが入力される可能性を低減することができる。
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下、変形例について説明する。但し、以下の変形例は適宜組合せ可能である。
上記実施の形態において、各処理モジュール130の各入力ポートは、いずれかのセンシングデバイス12からセンシングデータの入力を受け付けることとした。しかしながら、各入力ポートにデータを出力する主体は、必ずしもセンシングデバイス12でなくてもよい。各入力ポートにデータを出力する主体は、たとえば、データセットを記憶したストレージであってもよいし、仮想センサであってもよい。なお、データセットは、予め生成された複数のデータの集合である。たとえば、予め所定期間、対象を観測することによって得られたセンシングデータの集合は、データセットの一例である。各入力ポートにデータを出力する主体が必ずしもセンシングデバイス12である必要がないため、処理モジュール130の入力データは、必ずしもセンシングデータでなくてもよい。たとえば、入力データは、ショッピングサイトにおける各ユーザの購買履歴データや、ゲームサイトにおける各ユーザのスコアデータ等であってもよい。
また、上記実施の形態において、仮想センサ管理サーバ100によって行なわれた処理は、複数のサーバ等によって実現されてもよい。
また、必ずしもセンシングデータ毎に第2メタデータ13が対応付けられている必要はない。たとえば、複数のセンシングデータに1つの第2メタデータ13が対応付けられていてもよい。この場合には、同一の第2メタデータ13が対応付けられた複数のセンシングデータの各々には、同一の前処理が施されることになる。
Claims (10)
- 処理モジュールへの入力データに処理を施すように構成されたデータ処理装置であって、
前記処理モジュールは、少なくとも1つの前記入力データに基づいて前記入力データとは異なる出力データを生成するように構成されており、
前記処理モジュールには、前記入力データの条件を示す第1メタデータが対応付けられており、
前記入力データには、前記入力データの属性を示す第2メタデータが対応付けられており、
前記データ処理装置は、
前記第1及び第2メタデータに基づいた、前記入力データの前処理に関する判定結果を取得するように構成された取得部と、
前記判定結果に基づいて前記入力データに前処理を施すように構成された前処理部とを備える、データ処理装置。 - 前記入力データと前記第2メタデータとは、ID(identification)を介して対応付けられており、
前記取得部は、前記第1及び第2メタデータ並びに前記IDに基づいた、入力データ毎の前処理に関する判定結果を取得するように構成されており、
前記前処理部は、前記判定結果に基づいて、各入力データに前処理を施すように構成されている、請求項1に記載のデータ処理装置。 - 前記前処理部によって施される前処理は、前記入力データが前記入力データの条件を満たすように前記入力データに施される処理である、請求項1又は請求項2に記載のデータ処理装置。
- 前記処理モジュールは、複数の前記入力データに基づいて前記出力データを生成するように構成されている、請求項1から請求項3のいずれか1項に記載のデータ処理装置。
- 前記入力データは、デバイスによって前記処理モジュールへ出力され、
前記処理モジュールは、前記処理モジュールへ前記入力データを出力する前記デバイスを切り替え可能に構成されている、請求項1から請求項4のいずれか1項に記載のデータ処理装置。 - 前記入力データは、デバイスによって前記処理モジュールへ出力され、
前記デバイスは、センサであり、
前記入力データは、前記センサによって生成されたセンシングデータである、請求項1から請求項5のいずれか1項に記載のデータ処理装置。 - 前記処理モジュールは、複数の前記入力データに基づいて前記出力データを生成するように構成されている、請求項1から請求項6のいずれか1項に記載のデータ処理装置。
- 前記入力データは、デバイスによって前記処理モジュールへ出力され、
前記処理モジュールと、前記処理モジュールへ前記入力データを出力する前記デバイスとによって仮想センサが形成される、請求項1から請求項7のいずれか1項に記載のデータ処理装置。 - 処理モジュールへの入力データに処理を施すデータ処理方法であって、
前記処理モジュールは、少なくとも1つの前記入力データに基づいて前記入力データとは異なる出力データを生成するように構成されており、
前記処理モジュールには、前記入力データの条件を示す第1メタデータが対応付けられており、
前記入力データには、前記入力データの属性を示す第2メタデータが対応付けられており、
前記データ処理方法は、
前記第1及び第2メタデータに基づいた、前記入力データの前処理に関する判定結果を取得するステップと、
前記判定結果に基づいて前記入力データに前処理を施すステップとを含む、データ処理方法。 - 処理モジュールへの入力データに処理を施す処理をコンピュータに実行させるためのプログラムであって、
前記処理モジュールは、少なくとも1つの前記入力データに基づいて前記入力データとは異なる出力データを生成するように構成されており、
前記処理モジュールには、前記入力データの条件を示す第1メタデータが対応付けられており、
前記入力データには、前記入力データの属性を示す第2メタデータが対応付けられており、
前記プログラムは、
前記第1及び第2メタデータに基づいた、前記入力データの前処理に関する判定結果を取得するステップと、
前記判定結果に基づいて前記入力データに前処理を施すステップとを前記コンピュータに実行させるように構成されている、プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018022799A JP6477936B1 (ja) | 2018-02-13 | 2018-02-13 | データ処理装置、データ処理方法及びプログラム |
US16/962,652 US20200356550A1 (en) | 2018-02-13 | 2018-11-29 | Data processing apparatus, data processing method, and program |
PCT/JP2018/043930 WO2019159488A1 (ja) | 2018-02-13 | 2018-11-29 | データ処理装置、データ処理方法及びプログラム |
CN201880086063.XA CN111566630B (zh) | 2018-02-13 | 2018-11-29 | 数据处理装置、数据处理方法及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018022799A JP6477936B1 (ja) | 2018-02-13 | 2018-02-13 | データ処理装置、データ処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6477936B1 true JP6477936B1 (ja) | 2019-03-06 |
JP2019139544A JP2019139544A (ja) | 2019-08-22 |
Family
ID=65655775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018022799A Active JP6477936B1 (ja) | 2018-02-13 | 2018-02-13 | データ処理装置、データ処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200356550A1 (ja) |
JP (1) | JP6477936B1 (ja) |
CN (1) | CN111566630B (ja) |
WO (1) | WO2019159488A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217612A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Telegr & Teleph Corp <Ntt> | センサデータ制御システム及びセンサデータ制御方法 |
JP2011180946A (ja) * | 2010-03-03 | 2011-09-15 | Oki Electric Industry Co Ltd | センサデータ提供システム、方法及び装置 |
JP2013162258A (ja) * | 2012-02-03 | 2013-08-19 | Omron Corp | 無線通信ノード、ゲーム実行装置、仲介装置 |
WO2017104287A1 (ja) * | 2015-12-14 | 2017-06-22 | オムロン株式会社 | データフロー制御装置およびデータフロー制御方法 |
WO2017159005A1 (ja) * | 2016-03-15 | 2017-09-21 | オムロン株式会社 | データフロー制御装置およびデータフロー制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9355160B2 (en) * | 2013-02-08 | 2016-05-31 | Wolfram Alpha Llc | Automated data analysis |
US10740304B2 (en) * | 2014-08-25 | 2020-08-11 | International Business Machines Corporation | Data virtualization across heterogeneous formats |
US10922308B2 (en) * | 2018-03-20 | 2021-02-16 | Data.World, Inc. | Predictive determination of constraint data for application with linked data in graph-based datasets associated with a data-driven collaborative dataset platform |
-
2018
- 2018-02-13 JP JP2018022799A patent/JP6477936B1/ja active Active
- 2018-11-29 US US16/962,652 patent/US20200356550A1/en not_active Abandoned
- 2018-11-29 CN CN201880086063.XA patent/CN111566630B/zh active Active
- 2018-11-29 WO PCT/JP2018/043930 patent/WO2019159488A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217612A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Telegr & Teleph Corp <Ntt> | センサデータ制御システム及びセンサデータ制御方法 |
JP2011180946A (ja) * | 2010-03-03 | 2011-09-15 | Oki Electric Industry Co Ltd | センサデータ提供システム、方法及び装置 |
JP2013162258A (ja) * | 2012-02-03 | 2013-08-19 | Omron Corp | 無線通信ノード、ゲーム実行装置、仲介装置 |
WO2017104287A1 (ja) * | 2015-12-14 | 2017-06-22 | オムロン株式会社 | データフロー制御装置およびデータフロー制御方法 |
WO2017159005A1 (ja) * | 2016-03-15 | 2017-09-21 | オムロン株式会社 | データフロー制御装置およびデータフロー制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111566630B (zh) | 2023-10-20 |
WO2019159488A1 (ja) | 2019-08-22 |
CN111566630A (zh) | 2020-08-21 |
JP2019139544A (ja) | 2019-08-22 |
US20200356550A1 (en) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020049758A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
JP6558452B1 (ja) | 品質チェック装置、品質チェック方法及びプログラム | |
JP6477936B1 (ja) | データ処理装置、データ処理方法及びプログラム | |
JP6481787B1 (ja) | デバイス選択装置、データセット選択装置、デバイス選択方法及びプログラム | |
JP6477935B1 (ja) | 前処理判定装置、前処理判定方法及びプログラム | |
JP6468377B1 (ja) | 出力管理装置、出力管理方法及びプログラム | |
WO2019159489A1 (ja) | 出力管理装置、出力管理方法及びプログラム | |
JP2019140558A (ja) | 候補抽出装置、候補抽出方法及びプログラム | |
JP2019169946A (ja) | 品質チェック装置、品質チェック方法及びプログラム | |
WO2020049757A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
JP2019139552A (ja) | セッション制御装置、セッション制御方法及びプログラム | |
JP6528869B1 (ja) | セッション制御装置、セッション制御方法及びプログラム | |
WO2020049759A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
JP6477943B1 (ja) | メタデータ生成装置、メタデータ生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181126 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181212 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6477936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |