JP6668657B2 - Data processing program, data processing method and data processing device - Google Patents
Data processing program, data processing method and data processing device Download PDFInfo
- Publication number
- JP6668657B2 JP6668657B2 JP2015191842A JP2015191842A JP6668657B2 JP 6668657 B2 JP6668657 B2 JP 6668657B2 JP 2015191842 A JP2015191842 A JP 2015191842A JP 2015191842 A JP2015191842 A JP 2015191842A JP 6668657 B2 JP6668657 B2 JP 6668657B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- data
- processing
- event processing
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 247
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000001914 filtration Methods 0.000 claims description 105
- 238000011156 evaluation Methods 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 53
- 238000004458 analytical method Methods 0.000 description 89
- 238000010219 correlation analysis Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、データ処理プログラム、データ処理方法及びデータ処理装置に関する。 The present invention relates to a data processing program, a data processing method, and a data processing device.
様々な対象から刻々と収集されるビッグデータを処理する技術としてCEP(複合イベント処理:Complex Event Processing)システムが知られている。CEPエンジンは、例えば、様々な対象から受信した複数のデータを所定のルールに従い処理(以下、「イベント処理」ともいう。)し、イベント処理した結果を順次出力先へ出力する。 2. Description of the Related Art A CEP (Complex Event Processing) system is known as a technique for processing big data collected from various objects every moment. For example, the CEP engine processes a plurality of data received from various targets according to a predetermined rule (hereinafter, also referred to as “event processing”), and sequentially outputs the results of the event processing to an output destination.
ビッグデータの中には、イベント処理した結果、出力先へ出力すべき有効なデータを抽出できないデータが含まれる。すなわち、ビッグデータの中には、CEPシステムに必要なデータと不要なデータとがある。出力先へ出力すべき有効なデータを抽出できないデータは、イベント処理への入力が不要なデータである。 Big data includes data from which valid data to be output to an output destination cannot be extracted as a result of event processing. That is, the big data includes data necessary for the CEP system and unnecessary data. Data from which valid data to be output to the output destination cannot be extracted is data that does not need to be input to event processing.
これに対して、管理者が手動で必要なデータと不要なデータとを選別すると、管理者の作業が増えて運用コストが高くなる。また、データの選別が、管理者のスキルに依存するため、必要なデータと不要なデータとを適切にフィルタリングできず、システムの負荷が高いままとなる場合がある。 On the other hand, when the administrator manually selects necessary data and unnecessary data, the number of operations of the administrator increases, and the operation cost increases. In addition, since data selection depends on the skill of the administrator, necessary data and unnecessary data cannot be appropriately filtered, and the load on the system may remain high.
そこで、受信バッファに格納された各イベントタイプのイベントに対するイベント処理を監視し、監視の結果、決定された各イベントタイプの重要度に基づき受信バッファに格納するイベント数を抑制する技術が知られている(例えば、特許文献1参照)。 Therefore, there is known a technique for monitoring event processing for events of each event type stored in the reception buffer and suppressing the number of events stored in the reception buffer based on the determined importance of each event type as a result of the monitoring. (For example, see Patent Document 1).
しかしながら、イベント処理に入力すべきデータか否かの判断は、CEPシステムの運用中に変化し、時間の経過により当初設定したルールの最適性が劣化することがある。例えば、運用当初は、「乗用車イベント」を不要データとしていたが、運用していくと、「乗用車イベント」が必要データに変化していることが一例として挙げられる。 However, the determination as to whether or not the data should be input to the event processing changes during the operation of the CEP system, and the optimality of the initially set rules may deteriorate over time. For example, at the beginning of operation, "passenger car event" was regarded as unnecessary data. However, as operation proceeds, "passenger car event" has changed to necessary data.
これに対して、引用文献1のように受信イベントを破棄するためのルールが固定されていると、必要データをイベント処理の前に破棄してしまったり、不要データをイベント処理の前に破棄できなかったりすることが生じ得る。必要データを複合イベント処理の前に破棄してしまった場合、イベント処理の負荷を下げることができるものの、イベント処理の結果の有用性及び妥当性が低下する。また、不要データをイベント処理の前に破棄できなかった場合、システムの負荷を下げることができない。
On the other hand, if the rules for discarding received events are fixed as in the cited
例えば、受信したイベントの全データをイベント処理に入力した場合、イベント処理を行うCEPエンジンの負荷が増加するため、CEPシステムの能力を増強することが必要になり、運用コストが高くなる。また、近年、急激に増加していくデータ入力量に迅速に適応する程度までCEPシステムの能力を増強することは難しい。 For example, when all the data of the received event is input to the event processing, the load of the CEP engine that performs the event processing increases, so that it is necessary to increase the capacity of the CEP system, and the operation cost increases. In addition, it is difficult to increase the capacity of the CEP system to the extent that it can quickly adapt to the rapidly increasing data input amount in recent years.
そこで、一側面では、本発明は、受信する複数のイベントを所定のルールに基づきイベント処理する前にフィルタするフィルタ条件を適切に設定することを目的とする。 Therefore, in one aspect, an object of the present invention is to appropriately set a filter condition for filtering a plurality of received events before performing event processing based on a predetermined rule.
一つの案では、受信するイベント処理対象データを所定のルールに従いイベント処理し、該イベント処理後のデータを順次出力する処理をコンピュータに実行させるデータ処理プログラムであって、複数の種類の前記イベント処理対象データのうち、第1のイベントの種類の第1の期間毎の前記イベント処理後のデータに関する評価値を取得し、複数の種類の前記イベント処理対象データにおける、異なる種類の前記第1のイベントと第2のイベントとについて、前記第1の期間よりも長い第2の期間での、前記第1のイベントの種類のイベント処理対象データと、前記第2のイベントの種類のイベント処理対象データとの相関係数値を算出し、前記評価値より特定される、前記第1のイベントの種類のイベント処理対象データに関する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベントの種類のイベント処理対象データに関する第2のフィルタ条件を設定する、データ処理プログラムが提供される。
In one aspect, a data processing program that causes a computer to perform an event process on received event processing target data in accordance with a predetermined rule and sequentially output data after the event process, the data processing program comprising : in the target data, we obtain an evaluation value on the data after the event processing for each first period type of the first event, in the plurality of types of said event processing data, different types of the first event About the second event, in the first long second period than the first event type event processing target data, and the second event type event processing target data correlation coefficient value of is calculated, it is identified from the evaluation value, first for the first event type of event processing target data Filter condition, and, based on the correlation coefficient value, sets the second filter condition regarding the event processing data type of the second event, the data processing program is provided.
一側面によれば、受信する複数のイベントを所定のルールに基づきイベント処理する前にフィルタするフィルタ条件を適切に設定することができる。 According to one aspect, it is possible to appropriately set a filter condition for filtering a plurality of received events before performing event processing based on a predetermined rule.
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the specification and the drawings, components having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted.
[ストリーミング処理の概要]
本発明の一実施形態に係るCEPシステムを説明する前に、ストリーミング処理の概要について、図1を参照しながら説明する。CEPシステムにおいてイベント処理を行うサーバ装置90は、ネットワークを介して道路の交通制御を行う交通制御サーバ20と通信可能とされている。
[Overview of Streaming Processing]
Before describing a CEP system according to an embodiment of the present invention, an overview of streaming processing will be described with reference to FIG. A
サーバ装置90には、様々な対象から収集された複数のイベントのデータが配信される。図1には、複数のイベント処理対象データの一例として、イベント種類が異なる乗用車イベント(CarEvent)、トラックイベント(TrackEvent)、天気イベント(SensorEvent)のデータが示されている。ただし、複数のイベントは、これに限られず、様々なタイプのイベントが含まれる。例えば、イベントの情報としては、温度センサ、光検出センサ、加速度センサ、圧力センサ等のセンサから取得したセンサ情報や、家電などの機器から収集した情報等であってもよい
To the
サーバ装置90では、CEPエンジン91が動作する。CEPエンジン91は、受信する複数のイベントのデータを所定のルールに基づき処理する複合イベント処理(以下では、「イベント処理」ともいう。)を実現するソフトウェアである。複合イベント処理を実現するソフトウェアとしては、例えば、Esperが挙げられる。なお、複合イベント処理は、ESP(Event Stream Processing)と呼ぶ場合もあるが、ここでは、ESPも包含してCEPと総称する。
In the
サーバ装置90は、複数のイベントに対してイベント処理を行う際の条件を定めたイベント処理ルール95を記憶する。図1では、サーバ装置90は、イベント処理ルール95の一例としてルールA、ルールBを記憶する。
The
ルールAは、乗用車イベントの平均速度が50km/時以下、かつ、天気が雨という条件を示す。ルールBは、トラックイベントの平均速度が50km/時以下、かつ、天気が雨という条件を示す。イベント処理ルール95は、例えば、CEPシステムの管理者により手動で設定される。
Rule A indicates a condition that the average speed of a passenger car event is 50 km / h or less and the weather is rainy. Rule B indicates a condition that the average speed of the track event is 50 km / h or less and the weather is rainy. The
サーバ装置90は、配信された複数のデータ22,23,24を受信する。CEPエンジン91は、イベント処理ルール95(ルールA、B)に従い各データをイベント処理する。CEPエンジン91は、乗用車イベントがルールAを満たすとき又はトラックイベントがルールBを満たすとき、「渋滞発生可能性有」のアクションを決定し、決定した「渋滞発生可能性有」をレコメンドするために交通制御サーバ20に送信する。
The
交通制御サーバ20は、サーバ装置90から送信されたレコメンドを受信すると、交通状況の監視対象となる道路で渋滞の発生が予測されるものとして、渋滞を緩和させる制御を行う。例えば、交通制御サーバ20は、監視対象の道路に設けられた信号について渋滞の発生が予測される道路側の青信号の期間を増加させる制御を行い、監視対象の道路を通行可能な乗用車の数を増加させる。また、例えば、交通制御サーバ20は、監視対象となる道路で渋滞の発生が予測される交通情報を報知して、他の道路への迂回を促し、渋滞を回避するように制御する。
When the
ビッグデータの中には、イベント処理した結果、出力先へ出力すべき有効な情報を抽出できないデータが含まれる。すなわち、ビッグデータの中には、CEPエンジン91に必要なデータと不要なデータとがある。
Big data includes data from which valid information to be output to an output destination cannot be extracted as a result of event processing. That is, the big data includes data necessary for the
これに対して、図2に示すように、管理者が手動でフィルタリングルール96(フィルタ条件)を設定した場合について考える。この場合、フィルタエンジン92は、配信された速度データ22、23、天気データ24及び新規に配信されたバイクイベントの速度データ25から、フィルタリングルール96を満たすデータを不要なデータとして取り除き、残ったデータのみをCEPエンジン91に出力する。しかしながら、管理者が手動で必要なデータと不要なデータとを選別すると、管理者の作業が増えて運用コストが高くなる。また、データの選別が、管理者のスキルに依存するため、必要なデータと不要なデータとを適切にフィルタリングできず、システムの負荷が高いままとなる場合がある。
On the other hand, as shown in FIG. 2, consider a case where the administrator manually sets the filtering rule 96 (filter condition). In this case, the
これに対して、フィルタリングを全く行わず、CEPエンジン91が、受信したイベントの全データをイベント処理した場合、CEPエンジン91の負荷が増加する。近年、急激に増加していくデータ入力量に迅速に適応してCEPシステムを増強することは難しい。
On the other hand, when no filtering is performed and the
また、図3に示すように、フィルタエンジン92のフィルタ条件となる閾値を固定値とした場合について考える。この場合、フィルタエンジン92は、トラックイベントの速度データ23の入力数が一時間に600イベントを超過し、かつ、CEPルールのマッチ率が70%を超過した速度データ23を重要度が低いイベントと判断する。その結果、かかる速度データ23はフィルタリングされ、CEPエンジン91には入力されない。
In addition, as shown in FIG. 3, consider a case where a threshold value serving as a filter condition of the
図3のイベントレートやマッチ率のように、受信イベント(トラックイベントや乗用車イベント)毎の固定的なフィルタや、適合率に対応したフィルタをCEPエンジン91の前段に設けると、CEPエンジン91の負荷を軽減することはできる。一方、上記固定的なフィルタや適合率に対応したフィルタは、時間の経過により当初設定したルール(フィルタ条件)が適正なルールでなくなった場合に対応できず、その結果、CEPエンジン91の出力結果の有用性及び妥当性が低下する。特に、CEPエンジン91のフィルタ自体が受信イベントの重要度の変化に対応していない場合、フィルタが適切でなくなる。
If a fixed filter for each reception event (truck event or passenger car event) or a filter corresponding to the matching rate is provided in front of the
例えば、トラックイベントのイベントレートは大きく変化する。時間帯や、曜日、あるいは季節によっては、常に600イベント/時以上のイベントレートとなり、本来、CEPエンジン91で処理される必要があるトラックイベント(重要イベント)の多くがフィルタリングされてしまうおそれがある。これにより、CEPエンジン91の出力結果の有用性及び妥当性が著しく低下し、渋滞の予兆が検知できずに有用なレコメンドを送信できず、渋滞が発生するという結果が生じる場合がある。
For example, the event rate of a track event varies greatly. Depending on the time zone, the day of the week, or the season, the event rate is always 600 events / hour or more, and many of the track events (important events) that need to be processed by the
そこで、CEPエンジン91の出力結果の有用性及び妥当性を維持するために、フィルタエンジン92によりCEPエンジン91に供給するデータを絞りすぎないようにすると、CEPエンジン91の負荷を軽減することができない。
Therefore, if the data supplied to the
図4では、図3と同様に、フィルタエンジン92は、トラックイベントの速度データ23の入力数が600イベント/時を超過し、かつ、CEPルールのマッチ率が70%を超過した速度データ23を重要度が低いイベントと判断する。その結果、かかる速度データ23はフィルタリングされ、CEPエンジン91には入力されない。
In FIG. 4, as in FIG. 3, the
例えば、トラックイベントが、渋滞要因と無関係の非重要イベントであった場合、あるいは、運用中に非重要イベントに変化した場合、本来、フィルタリングにより除かれるべきトラックイベントの速度データ23が除かれずにCEPエンジン91に入力される。この結果、CEPエンジン91の負荷が高くなって、CEPエンジン91が処理しきれなくなり、システム運用が停止する。
For example, if the track event is an unimportant event unrelated to the traffic congestion factor, or changes to an unimportant event during operation, the
以上の課題に鑑み、本発明の一実施形態では、受信する複数のイベントを所定のルールに基づきイベント処理する前に取り除くためのフィルタ条件を適切に設定することが可能なCEPシステムを提供する。以下では、サーバ装置10の機能構成の一例を説明した後、サーバ装置を含むCEPシステムの動作及びCEPシステムが行う各処理について説明する。
In view of the above problems, an embodiment of the present invention provides a CEP system capable of appropriately setting a filter condition for removing a plurality of received events before event processing based on a predetermined rule. Hereinafter, after an example of the functional configuration of the
[サーバ装置の機能構成]
本発明の一実施形態に係るサーバ装置の機能構成の一例について、図5を参照しながら説明する。サーバ装置10は、受信する複数のイベントを所定のルールに従いイベント処理し、該イベント処理したイベントを順次出力するデータ処理装置の一例である。
[Functional configuration of server device]
An example of a functional configuration of the server device according to an embodiment of the present invention will be described with reference to FIG. The
サーバ装置10は、複合イベント処理を行う物理サーバであり、例えば、データセンサや各企業に設けられたサーバコンピュータである。サーバ装置10には、様々な対象から収集されたデータが配信される。サーバ装置10は、様々な対象から受信した複数種類のイベントのデータを、予め設定されたフィルタ条件にてフィルタリングする。次に、サーバ装置10は、フィルタリングにより取り除かれたデータ以外のデータをイベント処理し、処理の結果に応じたレコメンドを生成し、出力先へ出力する。
The
サーバ装置10は、通信制御I/F(interface)部11、記憶部12及び制御部13を有する。通信制御I/F部11は、少なくとも1つのポートを有し、ネットワークとの間の通信を制御するインタフェースである。通信制御I/F部11は、ネットワークを介して様々な対象から配信されたイベントのデータを受信する。例えば、通信制御I/F部11は、図6に示す乗用車イベントの速度データ22、トラックイベントの速度データ23およびセンサイベントの天気データ24を受信する。また、通信制御I/F部11は、交通制御サーバ20と各種データを送受信する。例えば、通信制御I/F部11は、CEPエンジン15にてイベント処理ルールに合致すると判定された場合にレコメンドするアクションを決定し、レコメンドするデータを交通制御サーバ20に送信する。
The
記憶部12は、ハードディスク、光ディスクなどの記憶装置である。記憶部12は、各種データを記憶する。例えば、記憶部12は、制御部13で実行されるOS(Operating System)や後述するイベント処理、自動生成処理、相関分析処理など各種処理を行うプログラムを記憶する。さらに、記憶部12は、制御部13で実行されるプログラムの実行に要する各種データを記憶する。
The
記憶部12は、時系列データテーブル17、設定テーブル18、第1相関テーブル19及び第2相関テーブル219の各データを記憶する。記憶部12は、時系列データを生成し、時系列データテーブル17に記憶する。図7の(a)の時系列データテーブル17は、乗用車イベントの1時間毎の平均速度データ171、乗用車イベントの1時間毎の評価値(フィードバック値)172、トラックイベントの1時間毎の平均速度データ173及びトラックイベントの1時間毎の評価値(フィードバック値)174が保存される。たとえば、評価値172は、乗用車イベント由来のCEPエンジンからのレコメンドに対して信号や速度制限を制御した結果、実際に渋滞を回避できたかを示す指標である。
The
設定テーブル18は、図7の(b)に示すように、評価値の生成期間(第1の期間の一例)181、評価値の分析期間(第3の期間の一例)182、閾値183、有効期限184が保存される。評価値の分析期間は、評価値の生成期間よりも長い期間に設定される。評価値の分析期間を評価値の生成期間よりも長くすることで、分析対象となる評価値のデータ数を所定以上にし、これにより分析結果の精度を高めることができる。
As shown in FIG. 7B, the setting table 18 includes an evaluation value generation period (an example of a first period) 181, an evaluation value analysis period (an example of a third period) 182, a
第1相関テーブル19は、図7の(c)に示すように、フィードバックデータ(評価値)191、イベントデータ192及び相関係数値193を有する。相関係数値193は、フィードバックデータ191とイベントデータ192との相関関係を示す値である。
The first correlation table 19 has, as shown in FIG. 7C, feedback data (evaluation value) 191,
例えば、イベントが乗用車イベントの場合、図7(a)に示す時系列データテーブル17に記憶された乗用車イベントの1時間毎の評価値(フィードバック値)172の一日分のデータと、乗用車イベントの1時間毎の平均速度データ171の一日分のデータとから、フィードバックデータ191とイベントデータ192との相関関係を示す相関係数値193が算出される。
For example, when the event is a passenger car event, data for one day of the evaluation value (feedback value) 172 of the passenger car event stored in the time-series data table 17 shown in FIG. A
相関係数値193の算出方法の一例としては、例えば、以下の式(1)が挙げられる。2組の数値(x、y)からなるデータ列が与えられたとき、その相関係数値は、式(1)により求められる。相関係数値193の算出では、xに乗用車イベントの1時間毎の平均速度が代入され、yに乗用車イベントの1時間毎の評価値が代入される。また、相関係数値193の算出では、2組の数値(x、y)からなるデータ列は、乗用車イベントの1時間毎の平均速度と乗用車イベントの1時間毎の評価値との組である(x、y)の一日分のデータ列を示す。トラックイベントについても同様である。
As an example of a method for calculating the
ただし、相関関係の算出方法は、これに限らず、公知の相関関係の算出方法のいずれも用いることができる。 However, the method for calculating the correlation is not limited to this, and any known method for calculating a correlation can be used.
図5に戻り、制御部13は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部13は、受信部4、分析部5、フィルタ部6及びイベント処理部7を有する。
Returning to FIG. 5, the
受信部4は、ネットワークを介して複数のイベントを含む各種データを受信する。受信部4は、サーバ装置10から送信されるレコメンドに対し交通制御サーバ20が評価した評価値を受信する。受信部4は、後述されるイベント処理ルールに基づきイベント処理したデータの、第1の期間毎の評価値を取得する取得部の一例である。第1の期間には、1時間等の所定時間が設定される。第1の期間は、管理者によって予め設定される。
The receiving
分析部5は、複数のイベント処理対象データにおける、前記第1の期間よりも長い第3の期間での、第1のイベント種類のイベント処理対象データの評価値と、イベント種類毎のイベント処理対象データとの相関係数値193をイベント種類毎に算出する。算出された相関係数値193は、図7(c)の第1相関テーブル19に保存される。また、分析部5は、複数のイベント処理対象データにおける、前記第1の期間よりも長い第2の期間での、第1のイベント種類のイベント処理対象データと、第1のイベント種類と異なる第2のイベント種類のイベント処理対象データとの相関係数値293を算出する。算出された相関係数値は、図15(b)の第2相関テーブル219に保存される。第1のイベント種類のイベント処理対象データ及び第2のイベント種類のイベント処理対象データの一例としては、例えば乗用車イベントの速度データ及びトラックイベントの速度データが挙げられる。
The
分析部5は、相関係数値193又は相関係数値293に基づき、受信する複数のイベントの各データをフィルタするフィルタリングルール(フィルタ条件)を生成する。
The
フィルタ部6は、CEPエンジン15によりイベント処理する前の段階で、フィルタリングルールに基づき、複数のイベントの各データをフィルタリングする。フィルタ部6は、フィルタ条件の有効期限を超えたフィルタ条件を破棄する。フィルタ部6は、評価値より特定される、第1のイベント種類のイベント処理対象データに対する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベント種類のイベント処理対象データに関する第2のフィルタ条件を設定する。
The filter unit 6 filters each data of a plurality of events based on a filtering rule at a stage before the
イベント処理部7は、フィルタ部6から出力されたデータ(フィルタリングされなかったイベントデータ)にイベント処理(複合イベント処理:CEP)を実行する。イベント処理部7は、入力されたデータがイベント処理ルールに合致した場合、交通制御サーバ20に「渋滞発生可能性有」のレコメンドを行う。「渋滞発生可能性有」のレコメンドは、サーバ装置10が入力イベントをイベント処理した結果、出力先に出力されるレコメンドの一例である。
The event processing unit 7 performs event processing (complex event processing: CEP) on the data (event data that has not been filtered) output from the filter unit 6. When the input data matches the event processing rule, the event processing unit 7 makes a recommendation to the
なお、次で説明される図6のCEPシステムにおいて、分析エンジン16は、第1の期間毎の評価値と、受信する複数のイベントの各データとの第1の期間よりも長い第3の期間における相関に基づき、受信する複数のイベント毎の複数の相関係数値を算出する分析部5に対応する。また、分析エンジン16は、イベント処理したデータの、第1の期間毎の評価値を受信する受信部4に対応する。
In the CEP system of FIG. 6 described below, the
また、フィルタエンジン14は、フィルタ条件に基づき入力データをフィルタリングするフィルタ部6に対応する。
The
また、CEPエンジン30は、フィルタ部6から出力されたデータ(フィルタリングされなかったイベントデータ)をイベント処理ルールに基づき処理するイベント処理部7に対応する。 Further, the CEP engine 30 corresponds to the event processing unit 7 that processes data output from the filter unit 6 (event data that has not been filtered) based on an event processing rule.
[サーバ装置を含むCEPシステムの動作の概要]
次に、サーバ装置を含むCEPシステムの動作の概要について、図6及び図7を参照しながら説明する。以下では、ビッグデータの一例として乗用車イベント、トラックイベント及び天気予報イベントを挙げて説明する。例えば、サーバ装置10には、乗用車イベントの一例として、交通状況の監視対象となる道路の所定の位置に設けられた速度センサにより検出された乗用車の速度を示す速度データ22が配信される。また、サーバ装置10には、トラックイベントの一例として、同様に交通状況の監視対象となる道路の所定の位置に設けられた速度センサにより検出されたトラックの速度を示す速度データ23が配信される。また、サーバ装置10には、天気予報イベントの一例として、天気予報のサービスを行う業者のサーバから監視対象の道路を含む地域の予測される天気を示す天気データ24が配信される。
[Overview of operation of CEP system including server device]
Next, an outline of the operation of the CEP system including the server device will be described with reference to FIGS. Hereinafter, a car event, a truck event, and a weather forecast event will be described as examples of big data. For example,
(イベント処理)
まず、分析エンジン16は、乗用車イベントの速度データ22、トラックイベントの速度データ23、及び天気予報イベントの天気データ24を含む複数の入力イベントを受信する。分析エンジン16は、入力イベントから時系列データを生成し、時系列データテーブル17に追加する。これにより、図7の(a)に示すように、入力イベントの種類に応じて時系列データが収集され、入力イベントの種類に応じた平均速度が算出される。
(Event processing)
First, the
図6に戻り、速度データ22,23および天気データ24は、XML(Extensible Markup Language)形式のデータ構造を有する。速度データ22は、タグとして、データ名が「eventTypeId」、「speed」の各項目を有する。「eventTypeId」は、発生したイベントの種類を埋め込む際に用いるタグである。速度データ22は、「eventTypeId」のタグに、発生したイベントとして、乗用車が通過したことを示す「CarEvent」が埋め込まれる。「speed」は、検出された速度を埋め込む際に用いるタグである。速度データ22は、「speed」のタグに、検出された乗用車の速度として時速([Km/h])を示す値が埋め込まれる。速度データ22では、乗用車の速度が40[Km/h]であることを示す。
Returning to FIG. 6, the
速度データ23は、タグとして、データ名が「eventTypeId」、「speed」の各項目を有する。速度データ23は、「eventTypeId」のタグに、発生したイベントとして、トラックが通過したことを示す「TrackEvent」が埋め込まれる。「speed」は、検出された速度を埋め込む際に用いるタグである。速度データ23は、「speed」のタグに、検出されたトラックの速度として時速([Km/h])を示す値が埋め込まれる。速度データ23では、トラックの速度が40[Km/h]であることを示す。
The
また、天気データ24は、タグとして、データ名が「eventTypeId」、「Rain」の各項目を有する。「eventTypeId」は、上述のように、発生したイベントの種類を埋め込む際に用いるタグである。天気データ24は、「eventTypeId」のタグに、発生したイベントとして「SensorEvent」が埋め込まれる。「Rain」は、雨が予測される際に用いるタグである。天気データ24は、雨が予測された場合、「Rain」のタグに、「true」が埋め込まれる。ここでは、天気データ24は、雨が予測されることを示す。
Further, the
分析エンジン16は、入力イベントをフィルタエンジン14に出力する。フィルタエンジン14は、入力イベントを入力し、フィルタリングルール14aに基づき入力イベントのフィルタリングを行う。フィルタエンジン14は、フィルタリングされなかったデータをCEPエンジン15に出力する。なお、この時点では、図6のフィルタリングルール14a(フィルタ条件)は自動生成されていないものとする。フィルタリングルール14aが自動生成された後のフィルタエンジン14によるフィルタリング処理については、後述される。
The
CEPエンジン15は、乗用車イベント、トラックイベント、天気予報イベントの各データを入力し、イベント処理ルール15aに従いイベント処理する。イベント処理ルール15aは、イベント毎に設定される。例えば、CEPエンジン15は、乗用車イベント用のイベント処理ルール15aに基づき、乗用車イベントの速度データ22をイベント処理する。同様に、CEPエンジン15は、トラックイベント用のイベント処理ルール15aに基づき、トラックイベントの速度データ22をイベント処理する。同様に、CEPエンジン15は、天気予報イベント用のイベント処理ルール15aに基づき、天気予報イベントの速度データ22をイベント処理する。このようにしてCEPエンジン15は、イベントの種類毎にイベントを処理することで、イベントの種類毎に評価を行うことができる。
The
例えば、乗用車イベント用のイベント処理ルール15aが、乗用車イベントの平均速度が50km/時以下、かつ、天気が雨という条件であるとする。CEPエンジン15は、このルールを満たすとき、「渋滞発生可能性有」の情報を交通制御サーバ20に送信する(レコメンド)。
For example, assume that the
なお、CEPシステムは、評価対象のイベントと非評価対象のイベントとを予め設定することができる。CEPエンジン15は、入力されたイベントのうちの非評価対象のイベントはイベント処理の対象外とする。具体的には、乗用車イベントは評価対象とし、天気予報イベントは非評価対象とするというシステム運用が可能である。なお、本実施形態では、乗用車イベント、トラックイベント及び天気予報イベントはいずれも評価対象イベントとする。
Note that the CEP system can set an event to be evaluated and an event to be non-evaluated in advance. The
交通制御サーバ20は、サーバ装置10から「渋滞発生可能性有」のレコメンドを受けた場合、交通状況の監視対象となる道路で渋滞の発生が予測されるものとして、渋滞を緩和させる制御を行う。例えば、交通制御サーバ20は、監視対象の道路に設けられた信号について渋滞の発生が予測される道路側の青信号の期間を増加させる制御や速度制限の制御を行い、監視対象の道路を通行可能な乗用車の数を増加させる。また、例えば、交通制御サーバ20は、監視対象となる道路で渋滞の発生が予測される交通情報を報知して、他の道路への迂回を促し、渋滞を回避するように制御する。
When the
以上、CEPシステムにおいて、サーバ装置10が入力イベントを入力し、フィルタ処理及びイベント処理を実行し、処理結果に基づき交通制御サーバ20へレコメンドを送信する処理について説明した。
As described above, in the CEP system, the process in which the
次に、サーバ装置10が交通制御サーバ20から「レコメンド」に対する評価のフィードバックを受け、フィードバックされた評価値と入力イベントとの相関関係を自動分析し、分析結果からフィルタリングルール14aを自動生成する処理について説明する。フィルタリングルール14aを自動生成することで、CEPエンジン15においてイベント処理が必要なデータと不要なデータとを自動選別することができ、CEPエンジン15の処理の負荷を軽減できる。
Next, the
(フィードバック)
(1)各イベント用のイベント処理ルールの有用性をフィードバック
交通制御サーバ20は、上記の渋滞を回避するための制御により、実際に渋滞が回避できたかを評価し、その評価値をサーバ装置10にフィードバックする。例えば、図6に示す交通制御サーバ20が送信する評価値データ21は、イベント処理ルール(乗用車用、トラック用・・・)毎に生成される。本実施形態では、評価期間(第1の期間)は、図7の(b)の生成期間181に予め設定された1時間に設定されるが、評価期間はこれに限らず一定の時間が設定されればよい。例えば、本実施形態では、交通制御サーバ20は、乗用車イベントに対する1時間毎の評価値とトラックイベントに対する1時間毎の評価値とを算出する。
(feedback)
(1) Feedback of the usefulness of the event processing rules for each event The
評価値データ21は、タグとして、データ名が「eventTypeId」、「subject」、「assessment」の各項目を有する。「eventTypeId」は、発生したイベントの種類を埋め込む際に用いるタグである。評価値データ21では、「eventTypeId」のタグに、1時間毎の評価値をサーバ装置10に返す「フィードバックイベント」が埋め込まれる。評価値は、サーバ装置10からのレコメンドに対して信号や速度制限を制御した結果、実際に渋滞を回避できたかを示す。「subject」は、「フィードバックイベント」を発生させた元のイベントを示す。ここでは、「subject」には、「CarEvent」が埋め込まれる。「assessment」には、各イベントに対する評価値(フィードバック値)が埋め込まれる。ここでは、乗用車イベントに対してフィードバックされた評価値は「10」であることを示す。本実施形態では、評価値は1〜10の10段階で示される。評価値が10のとき、最も相関が高く、最もレコメンドが有用であったことを示す。評価値が1のとき、最も相関が低く、最もレコメンドが有用でなかったことを示す。
The
(2)時系列データを生成
サーバ装置10の分析エンジン16は、交通制御サーバ20からフィードバックされた評価結果である評価値を受信する。分析エンジン16は、評価値から時系列データを生成し、時系列データテーブル17に追加する。これにより、イベント毎にフィードバックされた評価値の時系列データが収集される。図7の(a)では、乗用車イベントの1時間毎の評価値172とトラックイベントの1時間毎の評価値174とが保存されている。
(2) Generate Time Series Data The
(3)相関関係を自動分析
図6に戻り、分析エンジン16は、時系列データテーブル17に基づき、収集された評価値と入力イベントとの相関関係を自動分析し、分析結果からフィルタリングルール14aを自動生成する。分析エンジン16は、時系列データテーブル17に基づき、1時間毎に保存された各種イベント毎の評価値から、例えば1日の分析期間(第3の期間)毎に各種イベントの評価値を算出する。なお、第3の期間は、前述した第1の期間よりも長い期間であれば、必ずしも1日である必要はない。
(3) Automatic Analysis of Correlation Returning to FIG. 6, the
(4)フィルタリングルール自動生成
分析エンジン16は、算出された相関係数値193と図7の(b)に示す予め設定された閾値183の「±0.05」とを比較し、相関係数値193が閾値183の範囲内であると判定した場合、フィルタリングルール14aを自動生成する。例えば、図7の(c)に示す例では、相関係数値193は「0.01」であり、閾値183は「±0.05」である。よって、分析エンジン16は、相関係数値193が閾値183の範囲内であると判定し、乗用車イベントの速度データが交通制御による渋滞の回避や緩和に不要なデータであると判断する。その結果、分析エンジン16は、乗用車イベントを取り除くフィルタ条件を規定したフィルタリングルール14aを自動生成する。これにより、CEPエンジン15におけるイベント処理が必要なデータと不要なデータとを自動選別することができる。この結果、不要なデータを取り除いた後のデータがCEPエンジン15に入力されることで、CEPエンジン15の処理の負荷を軽減できる。
(4) Automatic Generation of Filtering Rule The
具体的には、乗用車イベントの速度データが交通制御による渋滞の回避や緩和に不要なデータであると判断した場合、一例として図6に示すフィルタリングルール14aが分析エンジン16により自動生成される。図6のフィルタリングルール14aでは、乗用車イベント(CarEvent)を対象イベントとし、乗用車イベントの速度データが0より小さい値を示すとき、乗用車イベントを出力することを示す。スピードが0より小さい乗用車イベントは存在しない。よって、図6のフィルタリングルール14aでは、すべての乗用車イベントがフィルタリングされ、CEPエンジン15には入力されなくなる。
Specifically, when it is determined that the speed data of the passenger car event is unnecessary for avoiding or reducing traffic congestion by traffic control, the
フィルタリングルール14aには、有効期限を設定することができる。例えば、図7の(b)に示す設定テーブル18の有効期限184に「1年」が予め設定されている場合、フィルタリングルール14aが自動生成されたときから1年を経過したとき、分析エンジン16は、フィルタリングルール14aを自動的に破棄する。
An expiration date can be set in the
以上により、各種イベントのデータの重要性が変化した場合でも、変化に応じてフィルタリングルール14aを自動生成したり自動削除することができる。これにより、CEPエンジン15によるイベント処理の前段階にて各種イベントのデータから不要なデータをフィルタするフィルタの条件を適切に設定することができる。
As described above, even when the importance of various event data changes, the
以上、フィルタリングルール14aの自動生成について説明した。本実施形態によれば、分析エンジン16がフィルタリングルール14aを自動生成することで、CEPエンジン15によりイベント処理が必要なデータと不要なデータとを自動選別できる。この結果、CEPエンジン15に入力されるデータ量を減らし、CEPエンジン15の処理の負荷を軽減できる。
The automatic generation of the
また、本実施形態では、フィルタ条件の有効期限を超えたフィルタリングルール14aを自動的に破棄することができる。特に、交通制御サーバ20の評価の信頼度が高い場合には、フィルタリングルール14aの有効期限を長く設定し、交通制御サーバ20の評価結果が流動的で評価の信頼度が低い場合には、その有効期限を短く設定することが好ましい。これにより、時間の経過により当初設定したルールの最適性が劣化した場合においても、必要データをイベント処理の前に破棄したり、不要データをイベント処理の前に破棄しなかったことによってイベント処理の結果の有用性及び妥当性が低下することを回避できる。
Further, in the present embodiment, it is possible to automatically discard the
(イベント発生契機)
イベント発生契機は、監視対象道路に車両が入ったときでもよいし、各車両で一定量の速度変化が発生したときでもよい。イベント発生契機は、センサ機器等のイベント発生元から出力される検出値の発生タイミングに依存する。なお、本実施形態にかかる各車両の入力イベントは、100万TPS(Transactions Per Second)等の大量イベントを想定しているが、イベント数はこれに限らない。
(Event trigger)
The event may be triggered when a vehicle enters the monitored road or when a certain amount of speed change occurs in each vehicle. The event occurrence trigger depends on the generation timing of a detection value output from an event generation source such as a sensor device. The input event of each vehicle according to the present embodiment is assumed to be a large amount of events such as 1,000,000 TPS (Transactions Per Second), but the number of events is not limited to this.
(時系列分析契機)
時系列データの生成期間181及び分析期間182は、システムの運用状況に依存する。本実施形態では、生成期間181を1時間、分析期間182を1日に設定し、1時間毎に平均速度が計算され、1日毎に相関分析が行われるが、必ずしもこの単位である必要はない。例えば、各時間帯の1週間毎の平均を時系列データとして、1週間毎に相関分析を行うこともできる。生成期間181は、SE等の管理者が事前に設定テーブル18に設定することができる。ただし、生成期間は、CEPシステム全体としてフィードバックの間隔と同じにしておくことが好ましい。
(Time series analysis opportunity)
The
[イベント処理]
次に、本実施形態に係るサーバ装置10が行うイベント処理の流れを説明する。
(分析エンジンの処理)
図8のイベント処理が開始されると、まず、ステップS10において、分析エンジン16(受信部4)は、入力イベントを入力する。次に、ステップS12において、分析エンジン16(分析部5)は、入力イベントから時系列データを生成し、時系列データテーブル17に追加する。
(フィルタエンジンの処理)
次に、ステップS14において、フィルタエンジン14(フィルタ部6)は、設定テーブル18の有効期限184に基づき、フィルタリングルール14aが有効期限184を超過したかを判定する。フィルタエンジン14は、フィルタリングルール14aが有効期限184を超過したと判定した場合、ステップS16において、そのフィルタリングルール14aを破棄し、ステップS18に進む。ステップS14において、フィルタエンジン14は、フィルタリングルール14aが有効期限184を超過していないと判定した場合、ステップS18に進む。
[Event processing]
Next, a flow of event processing performed by the
(Process of analysis engine)
When the event processing in FIG. 8 is started, first, in step S10, the analysis engine 16 (the receiving unit 4) inputs an input event. Next, in step S12, the analysis engine 16 (analysis unit 5) generates time-series data from the input event and adds it to the time-series data table 17.
(Processing of filter engine)
Next, in step S14, the filter engine 14 (the filter unit 6) determines whether the
次に、ステップS18において、フィルタエンジン14は、入力イベントとフィルタリングルール14aとが一致するかを判定する。フィルタエンジン14は、入力イベントとフィルタリングルール14aとが一致すると判定した場合、ステップS20において、入力イベントを破棄し、ステップS22に進む。フィルタエンジン14は、入力イベントとフィルタリングルール14aとが一致しないと判定した場合、ステップS22に進む。図6のフィルタリングルール14aの例では、乗用車イベントがフィルタリングされる。
(CEPエンジンの処理)
次に、ステップS22において、CEPエンジン15(イベント処理部7)は、入力イベントとイベント処理ルール15aとが一致するかを判定する。CEPエンジン15は、入力イベントとイベント処理ルール15aとが一致すると判定した場合、ステップS24において、交通制御サーバ20にレコメンドを送信し、本処理を終了する。CEPエンジン15は、入力イベントとイベント処理ルール15aとが一致しないと判定した場合、交通制御サーバ20にレコメンドを送信することなく、本処理を終了する。
Next, in step S18, the
(CEP engine processing)
Next, in step S22, the CEP engine 15 (event processing unit 7) determines whether the input event matches the
[自動生成処理]
次に、本実施形態に係るサーバ装置10が行う自動生成処理の流れを、図9を参照しながら説明する。図9のサーバ装置10が行う自動生成処理は、図8のサーバ装置10が行うイベント処理とは独立して実行される。図8のイベント処理は、イベントが発生する度に実行される。これに対して、図9の自動生成処理では、交通制御サーバ20から送信された評価値が所定時間蓄積された状態で、相関分析処理(S38,S40)においてフィルタリングルールの自動生成が実行される。
(分析エンジンの処理)
自動生成処理が開始されると、ステップS30において、分析エンジン16は、レコメンド送信先である交通制御サーバ20からフィードバック(評価値の受信)があったかを判定する。分析エンジン16は、交通制御サーバ20からフィードバックがあったと判定した場合、ステップS32において、フィードバックされた評価値から時系列データを生成し、時系列データテーブル17に保存し、ステップS34に進む。ステップS30において、分析エンジン16は、交通制御サーバ20からフィードバックがなかったと判定した場合、ステップS34に進む。
[Automatic generation process]
Next, the flow of the automatic generation process performed by the
(Process of analysis engine)
When the automatic generation process is started, in step S30, the
次に、ステップS34において、分析エンジン16は、時系列データテーブル17に保存した時系列データが一定時間(第3の期間)を超過したかを判定する。分析エンジン16は、時系列データが一定時間として例えば一日を超過していないと判定した場合、処理を終了する。分析エンジン16は、時系列データが一定時間を超過したと判定した場合、ステップS36に進み、入力イベントが新規イベントであるかを判定する。分析エンジン16は、入力イベントが新規イベントでないと判定した場合、ステップS38の相関分析処理(評価値)に進む。一方、分析エンジン16は、入力イベントが新規イベントであると判定した場合、ステップS40の相関分析処理(新規イベント)に進む。ステップS40の相関分析処理(新規イベント)が最初に実行される前にステップS38の相関分析処理(評価値)が少なくとも一回は実行される。
Next, in step S34, the
図10には、ステップS38にて呼び出されるの相関分析処理(評価値)のフローチャートが示されている。図13には、ステップS40にて呼び出されるの相関分析処理(新規イベント)のフローチャートが示されている。以下では、先に図10の相関分析処理(評価値)について説明した後、図13の相関分析処理(新規イベント)について説明する。 FIG. 10 shows a flowchart of the correlation analysis processing (evaluation value) called in step S38. FIG. 13 shows a flowchart of the correlation analysis process (new event) called in step S40. Hereinafter, the correlation analysis process (evaluation value) of FIG. 10 will be described first, and then the correlation analysis process (new event) of FIG. 13 will be described.
[相関分析処理(評価値)]
図10の相関分析処理(評価値)が開始されると、ステップS48において、分析エンジン16は、上記の式(1)に基づき、交通制御サーバ20からフィードバックされた評価値と入力イベントとの相関係数値を算出する。次に、ステップS50において、分析エンジン16は、算出された相関係数値193が閾値183の範囲を超えているかを判定する。分析エンジン16は、相関係数値193が閾値183の範囲を超えていると判定した場合、評価値と入力イベントとの相関関係は高いため、CEPエンジン15によるイベント処理に必要なデータであると判断し、フィルタリングルール14aを生成せずに本処理を終了する。
[Correlation analysis processing (evaluation value)]
When the correlation analysis process (evaluation value) in FIG. 10 is started, in step S48, the
ステップS50において、分析エンジン16は、相関係数値193が閾値183の範囲内であると判定した場合、ステップS52において、評価値と入力イベントとの相関関係は低いと判断し、フィルタリングルール14aを自動生成し、本処理を終了する。これにより、CEPエンジン15に入力されるイベントから、不要なイベントのデータを取り除くことができる。この結果、CEPエンジン15は、交通渋滞の回避に有益なイベントのデータをイベント処理することにより、有益なレコメンドを交通制御サーバ20に送信できるとともに、CEPエンジン15の処理の負荷を軽減できる。
In step S50, when the
(フィルタリングルールの自動生成の例)
フィルタリングルールの自動生成の例を、図11及び図12に基づき説明する。図11は、一実施形態にかかるフィルタリングルールの自動生成方法を示す。例えば、管理者は、予め設定テーブル18にイベントの種類毎の「全フィルタ条件」を設定しておく。図11に示す例では、設定テーブル18にイベント名185aと全フィルタ条件185bとが設定されている。
(Example of automatic generation of filtering rules)
An example of automatic generation of a filtering rule will be described with reference to FIGS. FIG. 11 illustrates a method for automatically generating a filtering rule according to an embodiment. For example, the administrator sets “all filter conditions” for each event type in the setting table 18 in advance. In the example shown in FIG. 11, an
フィルタリングルールの自動生成では、分析エンジン16は、設定テーブル18からひな形を設定し、フィルタリングする対象イベントのイベント名およびフィルタ条件を埋め込む。図11では、分析エンジン16は、ひな形に乗用車イベント及びフィルタ条件を埋め込む。これにより、フィルタリングルールを自動生成することができ、管理者が手動でフィルタリングルールを生成する手間を省くことができる。
In the automatic generation of the filtering rule, the
(フィルタリングルール毎に有効期限を設定)
また、本実施形態では、前述したように自動生成したフィルタリングルール14aに「有効期限」を設定することができる。例えば、図12に示すように、フィルタリングルール14aのフィルタリングの対象は、乗用車イベントAである。フィルタリングルール14bのフィルタリングの対象は、乗用車イベントBである。
(Set expiration date for each filtering rule)
Further, in the present embodiment, the “expiration date” can be set in the
図12の(1)、(3)、(5)に示すように、フィルタリングルール14aは、交通制御サーバ20aからのフィードバックされた評価値と入力イベントの相関関係に基づき、乗用車イベントを排除するために自動生成されている。
As shown in (1), (3), and (5) of FIG. 12, the
図12の(2)、(4)、(6)に示すように、フィルタリングルール14bは、交通制御サーバ20bからのフィードバックされた評価値と入力イベントの相関関係に基づき、乗用車イベントを排除するために自動生成されている。
As shown in (2), (4), and (6) of FIG. 12, the
交通制御サーバ20aは、昔からある道路を制御しており、フィードバックの評価値の信頼度が高い。一方、交通制御サーバ20bは、最近できた道路を制御しており、フィードバックの評価値の信頼度が低い。よって、フィルタリングルール14aの有効期限は、例えば1年という長期間に設定されるのに対して、フィルタリングルール14bの有効期限は、例えば1週間という短期間に設定される。このようにして、本実施形態では、交通サーバ毎にフィルタリングルール14a、14bの有効期限が設定できる。これにより、交通サーバによる評価値が流動的で信頼性が低い場合でも、CEPシステムの運用を継続しながら適切なデータ選別が可能となる。
The traffic control server 20a controls an existing road, and the feedback evaluation value has high reliability. On the other hand, the
[相関分析処理(新規イベント)]
次に、既にイベント処理されている種類のイベント(以下、「既存イベント」ともいう。)と異なる種類のイベント(以下、「新規イベント」ともいう。)が入力された場合の新規イベントと既存イベントとの相関分析処理について、図13及び図14を参照しながら説明する。図13は、新規イベントと既存イベントとの相関分析処理のフローチャートを示す。図14は、一実施形態にかかる相関関係の自動分析の一例として、既存イベントの一例である乗用車イベントの速度データ22、トラックイベントの速度データ23およびセンサイベントの天気データ24とは異なる種類の新規イベントの一例であるバイクイベントの速度データ25が入力された場合を示す。
[Correlation analysis processing (new event)]
Next, a new event and an existing event when an event of a different type (hereinafter, also referred to as a “new event”) from an event of a type already processed (hereinafter, also referred to as an “existing event”) are input. Will be described with reference to FIGS. 13 and 14. FIG. FIG. 13 shows a flowchart of a correlation analysis process between a new event and an existing event. FIG. 14 shows, as an example of the automatic analysis of the correlation according to the embodiment, a new type of
図13の相関分析処理(新規イベント)が開始されると、ステップS58において、分析エンジン16は、上記の式(1)に基づき、既存イベントと新規イベントとの相関係数値293を算出し、第2相関テーブル219に保存する。次に、ステップS60において、分析エンジン16は、第2相関テーブル219に基づき、相関係数値293が予め設定された閾値283の範囲を超えているかを判定する。閾値283は、閾値183と同じ値に設定されてもよいし、異なる値に設定されてもよい。
When the correlation analysis process (new event) in FIG. 13 is started, in step S58, the
分析エンジン16は、既存イベントの種類毎に既存イベントと新規イベントとの相関係数値を算出し、既存イベントと新規イベントとの相関関係の判定を行う。これにより、例えば、乗用車イベントとトラックイベントとのそれぞれについて、新規イベントとの相関関係の判定が行われる。
The
分析エンジン16は、図15の(a)に示す時系列データテーブル17に基づき、図15の(b)に示す新規イベントデータ194と既存イベントデータ195との相関係数値293を算出する。
The
例えば、新規イベントがバイクイベントの場合、図15(a)に示す時系列データテーブル17に記憶された乗用車イベントの1時間毎の平均速度データ171の一日分のデータと、バイクイベントの1時間毎の平均速度175の一日分のデータから、バイクイベントデータ194と乗用車イベントデータ195との相関係数値293が算出される。
For example, when the new event is a motorcycle event, one-hour average data of hourly speed data 171 of the passenger car event stored in the time-series data table 17 shown in FIG. A
相関係数値293の算出方法の一例としては、例えば、上記の式(1)により算出できる。つまり、2組の数値(x、y)からなるデータ列が与えられたとき、その相関係数値は、式(1)により求められる。ここで、xは各種類のイベントの1時間毎の平均速度、yは1時間毎のバイクイベントの平均速度である。よって、数値(x、y)からなるデータ列は、(各種類のイベントの1時間毎の平均速度、バイクイベントの1時間毎の平均速度)の一日分のデータ列を示す。トラックイベントについても同様である。ただし、相関関係の算出方法は、これに限らず、公知の相関関係の算出方法のいずれも用いることができる。
As an example of a method of calculating the
分析エンジン16は、分析結果からフィルタリングルール14aを自動生成する。分析エンジン16は、時系列データテーブル17に基づき、1時間毎に保存された各種イベント毎の評価値から、1日の分析期間(第2の期間の一例)毎に各種類のイベント毎の評価値を算出し、各種類の既存イベントと新規イベントとの相関分析に使用する。本実施形態では、分析期間(第2の期間の一例)は、第1の期間よりも長い期間であれば、必ずしも1日である必要はない。第2の期間と第3の期間とは、同じ期間であってもよいし異なる期間であってもよい。
The
図13に戻り、ステップS60において、分析エンジン16は、相関係数値293が閾値283の範囲内であると判定した場合、新規イベントと既存イベントとの相関関係は低いと判断し、本処理を終了する。このように新規イベント(バイクイベント)がどの既存イベントとも高い相関関係が認められなかった場合、新規イベントに関するフィルタリングルール及びイベント処理ルールは、自動生成されない。
Returning to FIG. 13, in step S60, when the
一方、ステップS60において、分析エンジン16は、相関係数値293が閾値283の範囲を超えていると判定した場合、新規イベントと既存イベントとの相関関係は高いと判断し、ステップS62に進む。ステップS62において、分析エンジン16は、最も高い相関があった既存イベントのフィルタリングルールがあるかを判定する。
On the other hand, in step S60, when the
ステップS62において、分析エンジン16は、相関が最も高い既存イベントのフィルタリングルールがあると判定した場合、ステップS64において相関が最も高い既存イベントのフィルタリングルールに応じて新規イベントのフィルタリングルールを自動生成する。閾値283の範囲を超える相関係数値293が一つの場合には、閾値283の範囲を超える相関係数値293に対応する既存イベントのフィルタリングルールに応じて新規イベントのフィルタリングルールが自動生成される。
In step S62, when the
例えば、図15の(b)に示す第2相関テーブル219では、相関係数値293から、新規イベントであるバイクイベントは乗用車イベントと最も相関が高いことがわかる。このように、例えば、相関係数値293の絶対値が0.95を上回るような強い相関関係が認められる場合、乗用車の速度が上がればバイクの速度も上がり、乗用車の速度が下がればバイクの速度も下がることが予想される。この場合、交通渋滞との相関関係が低かった乗用車イベントと高い相関のあったバイクイベントは、乗用車イベントと同様に交通渋滞に関係がない又は関係が低いと予想できる。
For example, in the second correlation table 219 shown in FIG. 15B, it can be seen from the
上記予想について具体的に説明する。交通制御サーバ20は、サーバ装置10からのレコメンドに応じて渋滞を回避するための制御により実際に渋滞が回避できたかを示す評価値をイベント毎に算出し、サーバ装置10に送信する。例えば、交通制御サーバ20からサーバ装置10に送信された評価値が、乗用車イベントの評価値である場合、サーバ装置10は、式(1)に基づき乗用車イベントの評価値と乗用車イベントの速度データとから乗用車イベントの相関係数値193を算出する。乗用車イベントの相関係数値193が閾値183以下の場合、サーバ装置10は、乗用車イベントの評価値と乗用車イベントの速度データとの相関が低いと判定する。この結果、サーバ装置10は、図10のステップS52に示すように、乗用車イベントのフィルタリングルールを自動生成する。これにより、乗用車イベントのフィルタリングルールに基づき乗用車イベントの速度データは破棄される。このようにしてイベント種類毎の評価値により特定されるフィルタリングルールに基づき、不要イベントを破棄することができる。
The above prediction will be specifically described. The
相関係数値293は、新規イベントと既存イベントとの相関関係を示す。サーバ装置10は、式(1)に基づき新規イベントと既存イベントとの相関係数値293を算出する。相関係数値293に基づき新規イベント及び既存イベントに高い相関があると判定される場合、上記算出した評価値に基づき評価済みの既存イベントのフィルタリングルールを使用して、新規イベントのフィルタリングルールを自動生成する。例えば、新規イベントがバイクイベント及び既存イベントが乗用車イベントの場合であって、バイクイベントと乗用車イベントとの相関係数値293が閾値283を超える場合、サーバ装置10は、バイクイベントと乗用車イベントとの相関が高いと判定する。この場合、交通渋滞との相関が低かった乗用車イベントと高い相関のあったバイクイベントは、乗用車イベントと同様に交通渋滞に関係がない又は関係が低いと予想できる。この結果、図13のステップS64に示すように、サーバ装置10は、既存イベントである乗用車イベントのフィルタリングルールを使用して新規イベントであるバイクイベントのフィルタリングルールを自動生成する。図14に示す例では、分析エンジン16は、乗用車イベントのフィルタリングルール14aを使用してバイクイベントをフィルタリングするフィルタリングルール14cを自動生成している。このようにして既存イベントと新規イベントとの相関係数値293に基づき、既存イベントと相関が高いと判定された新規イベントに対して上記算出した評価値に基づき評価済みの既存イベントのフィルタリングルールを使用して、新規イベントのフィルタリングルールを自動生成することができる。これにより、受信する複数のイベントを所定のルールに基づきイベント処理する前にフィルタするフィルタ条件を適切に設定することができる。
The
なお、既存イベントは、第1のイベント種類のイベント処理対象データの一例であり、新規イベントは、第2のイベント種類のイベント処理対象データの一例である。既存イベントのフィルタリングルールは、第1のイベント種類に対する第1のフィルタ条件の一例である。新規イベントのフィルタリングルールは、第2のイベント種類に対する第2のフィルタ条件の一例である。生成した第1のフィルタ条件、および、第2のフィルタ条件は、サーバ装置10が受信する複数のイベント処理対象データを図8のイベント処理に入力する前にフィルタするフィルタの条件を示す。
Note that an existing event is an example of event processing target data of a first event type, and a new event is an example of event processing target data of a second event type. The existing event filtering rule is an example of a first filter condition for a first event type. The new event filtering rule is an example of a second filter condition for the second event type. The generated first filter condition and second filter condition indicate filter conditions for filtering a plurality of event processing target data received by the
上記の説明では、新規イベントと既存イベントとの相関係数値293と、既存イベントの評価値より特定される既存イベントに関する第1のフィルタ条件に基づき、新規イベントに関する第2のフィルタ条件を自動生成したが、これに限らない。例えば、第1の既存イベントと第1の既存イベントと種類が異なる第2の既存イベントとの相関係数値293と、第1の既存イベントの評価値より特定される第1の既存イベントに関する第1のフィルタ条件に基づき、第2の既存イベントに関する第2のフィルタ条件を自動生成してもよい。例えば、既存イベントの一例である乗用車イベントの第1のフィルタ条件と、既存イベントの他の例であるトラックイベント及び乗用車イベントの相関係数値293とに基づき、トラックイベントに関する第2のフィルタ条件を自動生成してもよい。これによれば、時間帯や道路の状況に応じて変化する既存イベント及び新規イベントを含む入力イベントを破棄するためのルールを適切に設定することができる。
In the above description, the second filter condition for the new event is automatically generated based on the
図14に示す例では、分析エンジン16は、乗用車用のフィルタリングルール14aのフィルタ条件と同じ条件のバイク用のフィルタリングルール14cが自動生成されている。
In the example illustrated in FIG. 14, the
これにより、CEPエンジン15に入力されるイベントから、不要なイベントのデータを取り除くことができる。この結果、CEPエンジン15は、交通渋滞の回避に有益なイベントのデータをイベント処理することにより、有益なレコメンドを交通制御サーバ20に送信できるとともに、CEPエンジン15の処理の負荷を軽減できる。特に、本実施形態によれば、新規イベントの発生により入力イベントのデータ量が急増した場合においても、CEPシステムの負荷の増大を抑止できる。
As a result, unnecessary event data can be removed from the events input to the
図13に戻り、次に、ステップS66において、分析エンジン16は、イベント処理ルール15aを自動生成し、本処理を終了する。
Returning to FIG. 13, next, in step S66, the
自動生成されたフィルタリングルールには有効期限があり、有効期限を経過したフィルタリングルールは自動削除される。よって、フィルタリングルールが自動的に破棄されたとき、フィルタリングされなくなった新規イベントがCEPエンジン15に入力される。そこで、フィルタリングされなくなった新規イベントをイベント処理するために、ステップS66においてイベント処理ルール15aが予め自動生成される。これにより、CEPエンジン15は、CEPエンジン15に入力された新規イベントをイベント処理し、交通制御サーバ20に対するレコメンドの対象イベントとすることができる。
The automatically generated filtering rule has an expiration date, and the filtering rule after the expiration date is automatically deleted. Therefore, when the filtering rule is automatically discarded, a new event that is no longer filtered is input to the
例えば、図16では、分析エンジン16は、交通渋滞に関係があったトラックイベントと高い相関のあったバイクイベントも、おそらくは交通状態に関係があるだろうと予測し、バイクイベント用のイベント処理ルール15cを自動生成する。分析エンジン16は、トラックイベントのイベント処理ルールの条件と同じ条件のバイク用のイベント処理ルールを自動生成する。これにより、バイクイベントをCEPエンジン15によりイベント処理できる。
For example, in FIG. 16, the
なお、新規イベント(ここでは、バイクイベント)がどの既存イベントとも高い相関が認められなかった場合には、バイクイベント用のイベント処理ルールは自動生成されない。この場合、管理者が必要に応じて新規イベントに関するイベント処理ルール15aを手動にて生成することが好ましい。
If a new event (here, a bike event) does not have a high correlation with any existing event, an event processing rule for the bike event is not automatically generated. In this case, it is preferable that the administrator manually generates the
ステップS62において、分析エンジン16は、最も高い相関があった既存イベントのフィルタリングルールがないと判定した場合、ステップS66に進み、新規イベント用のイベント処理ルール15cを自動生成し、本処理を終了する。
In step S62, when the
これによれば、運用中に新規イベントが分析エンジン16に入力され、かつ、フィードバックにかかる評価値が次に得られるまでに時間を要する場合であっても、自動生成された新規イベント用のイベント処理ルール15cに基づき、既存イベントと新規イベントとの相関関係を自動分析できる。その結果、分析エンジン16は、フィルタリングルール14cの自動生成が可能となり、必要データと不要データとを自動で選別することができる。
According to this, even if a new event is input to the
なお、図14の(3)に示すフィルタリングルール14cの自動生成、及び図14の(4)に示すイベント処理ルール15cの自動生成後、図14の(5)に示すように、分析エンジン16は、管理者にメールを送信し、各ルールの自動生成の通知を行ってもよい。各ルールの自動生成が行われなかったときや、各ルールの自動生成に失敗した場合にもその旨をメールにて管理者に通知してもよい。
After the automatic generation of the filtering rule 14c shown in (3) of FIG. 14 and the automatic generation of the
なお、特に新規イベントが追加され、かつ、新規イベントのイベント数が少ないなどの理由により信頼性のある評価値が得られるまでに時間を要することが考えられる。このような場合、交通制御サーバ20が、毎日評価値をサーバ装置10にフィードバックすることは、CEPシステムの負荷を必要以上に高める懸念がある。そこで、交通制御サーバ20は、システムの負荷が高くならないように、状況に応じて例えば、毎月、第一月曜を、評価値をサーバ装置10に送信する日にする等送信頻度を下げてもよい。
It is considered that it takes time until a reliable evaluation value is obtained, especially because a new event is added and the number of new events is small. In such a case, when the
(イベント処理ルールの自動生成の例)
イベント処理ルールの自動生成の例を、図18に基づき説明する。図18は、一実施形態にかかるイベント処理ルールの自動生成方法を示す。例えば、分析エンジン16は、新規イベントのイベント処理ルールの自動生成では、分析エンジン16は、既存イベントのイベント処理ルールを新規イベントのイベント処理ルール用にコピーし、対象イベントのイベント名を変名する。図18では、分析エンジン16は、トラックイベント用のイベント処理ルール15aをバイクイベントのイベント処理ルール15c用にコピーし、対象イベントのイベント名をトラックイベントからバイクイベントに変名する。イベント処理ルールの自動生成にはルールの構文解析ツールが使用される。これにより、新規イベントのイベント処理ルール15cを自動生成することができ、手動でイベント処理ルールを生成する手間を省くことができる。
(Example of automatic generation of event processing rules)
An example of automatic generation of an event processing rule will be described with reference to FIG. FIG. 18 illustrates a method for automatically generating an event processing rule according to an embodiment. For example, in the automatic generation of the event processing rule of the new event, the
[効果の例]
例えば、CEPエンジンに入力するデータを絞り込むために、必要なデータと不要なデータを抽出するフィルタ条件を管理者が手動で行う場合、システムの運用コストが高くなる。また、フィルタ条件の設定が、管理者の開発スキルに依存する。このため、CEPエンジンに入力するデータとして適切なデータが選別されないことがある。また、CEPエンジンが必要なデータと不要なデータとは運用中に変化する場合がある。その場合、フィルタ条件が固定されていると運用中の状況変化に追従できず、状況変化に対応したデータをCEPエンジンに入力できなくなる。その結果、不要となったデータであっても、CEPエンジンに入力してしまい、システム負荷が軽減されない状況が生じ得る。また、運用中に新規データが急増した場合、新規データに対する選別に時間がかかるとシステム負荷が増加し、システム全体の処理性能が低下する。
[Example of effect]
For example, if the administrator manually performs filter conditions for extracting necessary data and unnecessary data in order to narrow down data to be input to the CEP engine, the operation cost of the system increases. The setting of the filter condition depends on the development skill of the administrator. For this reason, appropriate data may not be selected as data to be input to the CEP engine. In addition, data required by the CEP engine and unnecessary data may change during operation. In this case, if the filter condition is fixed, it is not possible to follow a change in the situation during operation, and it becomes impossible to input data corresponding to the change in the situation to the CEP engine. As a result, even if the data becomes unnecessary, it may be input to the CEP engine, and a situation may occur in which the system load is not reduced. In addition, when new data increases rapidly during operation, if it takes time to select new data, the system load increases, and the processing performance of the entire system decreases.
これに対して、本実施形態に係るCEPシステムでは、以下の機能(1)〜(3)を持つことにより、上記の問題を解決し、システムの負荷軽減と、急増するビッグデータに対しての複合イベント処理を低コストで行うことを可能とする。
(1)必要なデータと不要なデータの自動分析と自動選別の機能
(2)選別した不要データのフィルタリングルールの自動生成の機能
(3)新規イベントが発生した場合の自動分析と自動選別の機能、及びイベント処理ルールの自動生成の機能
本実施形態では、レコメンドを利用する送信先(例えば、交通制御サーバ20)からフィードバックされた評価値と入力イベントの時系列データとの相関関係の分析を自動的に行うことができる。これにより、重要イベントと非重要イベントとを自動選別し、非重要イベントを適切にフィルタリングできる。また、本実施形態では、交通制御サーバ20からフィードバックされた評価値に基づき、フィルタ条件を動的に変化させることができる。このため、運用中の状況変化に追従し、状況変化に対応して不要となったデータをフィルタリングにより取り除き、必要なデータをCEPエンジンに入力することができる。この結果、CEPシステムの負荷を軽減できる。
On the other hand, the CEP system according to the present embodiment has the following functions (1) to (3) to solve the above problem, reduce the load on the system, and deal with the rapidly increasing big data. Complex event processing can be performed at low cost.
(1) Function of automatic analysis and selection of necessary and unnecessary data (2) Function of automatic generation of filtering rules for selected unnecessary data (3) Function of automatic analysis and automatic selection when a new event occurs In this embodiment, the analysis of the correlation between the evaluation value fed back from the destination (for example, the traffic control server 20) using the recommendation and the time series data of the input event is automatically performed in the present embodiment. Can be done Thereby, important events and non-important events can be automatically sorted out, and non-important events can be appropriately filtered. Further, in the present embodiment, the filter condition can be dynamically changed based on the evaluation value fed back from the
また、本実施形態では、新規イベントと既存イベントとの相関関係の分析を自動的に行うことができる。この結果、新規イベントと既存イベントとに高い相関が認められた場合、既存イベントのフィルタリングルールと同様の条件を新規イベントに適用することにより、不要な新規イベントを自動的に排除できる。また、既存イベントのイベント処理ルールと同様の条件を新規イベントに適用することにより、新規イベントに関して有用性のあるレコメンドを交通制御サーバ20に提供することができる。
Further, in the present embodiment, the analysis of the correlation between the new event and the existing event can be automatically performed. As a result, when a high correlation is found between the new event and the existing event, unnecessary new events can be automatically eliminated by applying the same conditions as the filtering rules of the existing event to the new event. In addition, by applying the same conditions as the event processing rules of the existing event to the new event, it is possible to provide the
(ハードウェア構成例)
最後に、本実施形態に係るサーバ装置10のハードウェア構成例について、図19を参照して説明する。図19は、本実施形態に係るサーバ装置10のハードウェア構成例を示す。
(Example of hardware configuration)
Finally, an example of a hardware configuration of the
図19に示すように、サーバ装置10は、入力装置101、表示装置102、外部I/F103、RAM(Random Access Memory)104、ROM(Read Only Memory)105、CPU(Central Processing Unit)106、通信I/F107、及びHDD(Hard Disk Drive)108を備える。各部はバスBで相互に接続されている。
As shown in FIG. 19, the
入力装置101は、キーボードやマウスなどを含み、サーバ装置10に各操作信号を入力するのに用いられる。表示装置102は、ディスプレイなどを含み、各種の処理結果を表示する。
The
通信I/F107は、サーバ装置10をネットワークに接続するインタフェースである。これにより、サーバ装置10は、通信I/F107を介して、交通制御サーバ20とデータ通信を行うことができる。
The communication I /
HDD108は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、装置全体を制御する基本ソフトウェア及びアプリケーションソフトウェアがある。例えば、HDD108には、各種のDB情報やプログラム等が格納されている。
The
外部I/F103は、外部装置とのインタフェースである。外部装置には、記録媒体103aなどがある。これにより、サーバ装置10は、外部I/F103を介して記録媒体103aの読み取り及び/又は書き込みを行うことができる。記録媒体103aには、CD(Compact Disk)、及びDVD(Digital Versatile Disk)、ならびに、SDメモリカード(SD Memory card)やUSBメモリ(Universal Serial Bus memory)などがある。
The external I /
ROM105は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ(記憶装置)である。ROM105には、ネットワーク設定などのプログラムやデータが格納されている。RAM104は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。CPU106は、上記記憶装置(例えば「HDD108」や「ROM105」など)から、プログラムやデータをRAM104上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。
The
上記ハードウェア構成により、本実施形態に係るCEPシステムは、イベント処理、フィルタリングルールの自動生成処理、イベント処理ルールの自動生成処理等を行うことができる。例えば、CPU106が、ROM105やHDD108内に格納されたデータ及びプログラムを用いてイベント処理、フィルタリングルールの自動生成処理、イベント処理ルールの自動生成処理等を実行する。時系列データテーブル17、設定テーブル18、第1相関テーブル19及び第2相関テーブル219は、RAM104やHDD108に保存されるか、又はネットワークを介してサーバ装置10に接続されるクラウド上のサーバー等に格納され得る。
With the above hardware configuration, the CEP system according to the present embodiment can perform event processing, automatic generation processing of filtering rules, automatic generation processing of event processing rules, and the like. For example, the
以上、データ処理プログラム、データ処理方法及びデータ処理装置を上記実施形態により説明した。しかしながら、本発明にかかるデータ処理プログラム、データ処理方法及びデータ処理装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記複数の実施形態に記載された事項は、矛盾しない範囲で組み合わせることができる。また、上記データ処理プログラム、データ処理方法及びデータ処理装置は、ハードウェアにより構成されてもよく、ソフトウェアにより構成されてもよく、ハードウェアとソフトウェアとを組み合わせて構成されてもよい。 The data processing program, the data processing method, and the data processing device have been described in the above embodiments. However, the data processing program, the data processing method, and the data processing device according to the present invention are not limited to the above embodiments, and various modifications and improvements can be made within the scope of the present invention. In addition, matters described in the above embodiments can be combined within a range that does not contradict. Further, the data processing program, the data processing method, and the data processing device may be configured by hardware, may be configured by software, or may be configured by combining hardware and software.
例えば、上記実施形態に係るCEPシステムの構成は一例であり、本発明の範囲を限定するものではなく、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば、サーバ装置10と交通制御サーバ20とがネットワークを介して互いに接続されているシステム形態は、本発明に係るCEPシステムの一態様であり、これに限定されない。例えば、本発明に係るCEPシステムに含まれサーバ装置10の台数は、1台又は2台以上であり得る。複数のサーバ装置10が設置される場合、イベント処理、フィルタリングルールの自動生成処理、イベント処理ルールの自動生成処理等は、複数台のサーバ装置10で分散処理され得る。なお、用途や目的に応じて、複数台のうち1台のサーバ装置10に選択的にそれら処理機能を集約させてもよい。また、上記実施形態に係るCEPシステムでは、サーバ装置10上でCEPエンジン15が動作する場合を例示したが、サーバ装置10で一つまたは複数のVM(Virtual Machine:仮想マシン)を動作させ、VM上でCEPエンジン15が動作してもよい。
For example, the configuration of the CEP system according to the above-described embodiment is an example, and does not limit the scope of the present invention. Needless to say, there are various system configuration examples according to applications and purposes. For example, a system configuration in which the
また、サーバ装置10が行うサービスの形態は、交通渋滞を回避するためのレコメンドに限らない。サーバ装置10が行う他のサービス形態としては、例えば家庭内に置かれた各種センサ(例えば、雨を検知するセンサ)から発生されるセンサ情報や家電製品から発せられる情報をイベントとして入力し、イベント処理することが挙げられる。その結果、サーバ装置10は、イベント処理結果に応じたレコメンドを各家庭のディスプレイに表示するサービス等を行うことができる。レコメンドの一例としては、「近くで雨が降っています。部屋干しをお勧めします」や「天気がよくないので、外出前に部屋干しをお勧めします」や「今洗濯を開始すれば外出までに干せますよ」等が挙げられる。
Further, the form of the service provided by the
以上の説明に関し、更に以下の項を開示する。
(付記1)
受信するイベント処理対象データを所定のルールに従いイベント処理し、該イベント処理後のデータを順次出力する処理をコンピュータに実行させるデータ処理プログラムであって、
複数の前記イベント処理対象データのうち、第1のイベント種類の第1の期間毎の前記イベント処理後のデータに関する評価値を取得し、
前記複数のイベント処理対象データにおける、前記第1の期間よりも長い第2の期間での、前記第1のイベント種類のイベント処理対象データと、前記第1のイベント種類と異なる第2のイベント種類のイベント処理対象データとの相関係数値を算出し、
前記評価値より特定される、前記第1のイベント種類のイベント処理対象データに関する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベント種類のイベント処理対象データに関する第2のフィルタ条件を設定する、
データ処理プログラム。
(付記2)
前記第1のフィルタ条件、および、前記第2のフィルタ条件は、前記受信する複数のイベントのデータを前記イベント処理に入力する前にフィルタするフィルタ条件である、
付記1に記載のデータ処理プログラム。
(付記3)
フィルタ条件の有効期限を超えた前記第1のフィルタ条件又は第2のフィルタ条件を破棄する、
付記1又は2に記載のデータ処理プログラム。
(付記4)
受信するイベント処理対象データを所定のルールに従いイベント処理し、該イベント処理後のデータを順次出力する処理をコンピュータに実行させるデータ処理方法であって、
複数の前記イベント処理対象データのうち、第1のイベント種類の第1の期間毎の前記イベント処理後のデータに関する評価値を取得し、
前記複数のイベント処理対象データにおける、前記第1の期間よりも長い第2の期間での、前記第1のイベント種類のイベント処理対象データと、前記第1のイベント種類と異なる第2のイベント種類のイベント処理対象データとの相関係数値を算出し、
前記評価値より特定される、前記第1のイベント種類のイベント処理対象データに関する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベント種類のイベント処理対象データに関する第2のフィルタ条件を設定する、
データ処理方法。
(付記5)
前記第1のフィルタ条件、および、前記第2のフィルタ条件は、前記受信する複数のイベントのデータを前記イベント処理に入力する前にフィルタするフィルタ条件である、
付記4に記載のデータ処理方法。
(付記6)
フィルタ条件の有効期限を超えた前記第1のフィルタ条件又は第2のフィルタ条件を破棄する、
付記4又は5に記載のデータ処理方法。
(付記7)
受信するイベント処理対象データを所定のルールに従いイベント処理し、該イベント処理後のデータを順次出力するデータ処理装置であって、
複数の前記イベント処理対象データのうち、第1のイベント種類の第1の期間毎の前記イベント処理後のデータに関する評価値を取得する取得部と、
前記複数のイベント処理対象データにおける、前記第1の期間よりも長い第2の期間での、前記第1のイベント種類のイベント処理対象データと、前記第1のイベント種類と異なる第2のイベント種類のイベント処理対象データとの相関係数値を算出する分析部と、
前記評価値より特定される、前記第1のイベント種類のイベント処理対象データに関する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベント種類のイベント処理対象データに関する第2のフィルタ条件を設定するフィルタ部と、
を有する、データ処理装置。
(付記8)
前記第1のフィルタ条件、および、前記第2のフィルタ条件は、前記受信する複数のイベントのデータを前記イベント処理に入力する前にフィルタするフィルタ条件である、
付記7に記載のデータ処理装置。
(付記9)
フィルタ条件の有効期限を超えた前記第1のフィルタ条件又は第2のフィルタ条件を破棄する、
付記7又は8に記載のデータ処理装置。
With respect to the above description, the following items are further disclosed.
(Appendix 1)
A data processing program for causing a computer to execute a process of sequentially performing an event process on received event process target data according to a predetermined rule and sequentially outputting data after the event process,
Acquiring an evaluation value of the data after the event processing for each first period of the first event type among the plurality of event processing target data;
In the plurality of event processing target data, in a second period longer than the first period, an event processing target data of the first event type and a second event type different from the first event type Calculate the correlation coefficient value with the event processing target data of
A first filter condition for the event processing target data of the first event type, which is specified from the evaluation value, and a second filter condition for the event processing target data of the second event type based on the correlation coefficient value. Set filter conditions,
Data processing program.
(Appendix 2)
The first filter condition and the second filter condition are filter conditions for filtering data of the plurality of received events before inputting the data to the event processing.
The data processing program according to
(Appendix 3)
Discarding the first filter condition or the second filter condition that has exceeded the expiration date of the filter condition;
The data processing program according to
(Appendix 4)
A data processing method for causing a computer to perform a process of sequentially receiving received event processing data according to a predetermined rule and sequentially outputting data after the event processing,
Acquiring an evaluation value of the data after the event processing for each first period of the first event type among the plurality of event processing target data;
In the plurality of event processing target data, in a second period longer than the first period, an event processing target data of the first event type and a second event type different from the first event type Calculate the correlation coefficient value with the event processing target data of
A first filter condition for the event processing target data of the first event type, which is specified from the evaluation value, and a second filter condition for the event processing target data of the second event type based on the correlation coefficient value. Set filter conditions,
Data processing method.
(Appendix 5)
The first filter condition and the second filter condition are filter conditions for filtering data of the plurality of received events before inputting the data to the event processing.
The data processing method according to
(Appendix 6)
Discarding the first filter condition or the second filter condition exceeding the expiration date of the filter condition,
6. The data processing method according to
(Appendix 7)
A data processing device that performs event processing on received event processing target data according to a predetermined rule, and sequentially outputs data after the event processing,
An acquisition unit configured to acquire an evaluation value of data after the event processing for each first period of a first event type among the plurality of event processing target data;
In the plurality of event processing target data, in a second period longer than the first period, event processing target data of the first event type and a second event type different from the first event type An analysis unit that calculates a correlation coefficient value with the event processing target data of
A first filter condition for the event processing target data of the first event type, which is specified from the evaluation value, and a second filter condition for the event processing target data of the second event type based on the correlation coefficient value. A filter section for setting filter conditions,
A data processing device comprising:
(Appendix 8)
The first filter condition and the second filter condition are filter conditions for filtering data of the plurality of received events before inputting the data to the event processing.
The data processing device according to attachment 7.
(Appendix 9)
Discarding the first filter condition or the second filter condition exceeding the expiration date of the filter condition,
The data processing device according to
1:画像形成装置
4:受信部
5:分析部
6:フィルタ部
7:イベント処理部
11:通信制御I/F部
12:記憶部
13:制御部
14:フィルタエンジン
14a、14b、14c:フィルタリングルール
15:CEPエンジン
15a、15c:イベント処理ルール
16:分析エンジン
17:時系列データテーブル
18:設定テーブル
19:第1相関テーブル
20:交通制御サーバ
22:速度データ(乗用車イベント)
23:速度データ(トラックイベント)
24:天気データ
219:第2相関テーブル
1: image forming apparatus 4: receiving section 5: analyzing section 6: filtering section 7: event processing section 11: communication control I / F section 12: storage section 13: control section 14:
23: Speed data (track event)
24: Weather data 219: Second correlation table
Claims (5)
複数の種類の前記イベント処理対象データのうち、第1のイベントの種類の第1の期間毎の前記イベント処理後のデータに関する評価値を取得し、
複数の種類の前記イベント処理対象データにおける、異なる種類の前記第1のイベントと第2のイベントとについて、前記第1の期間よりも長い第2の期間での、前記第1のイベントの種類のイベント処理対象データと、前記第2のイベントの種類のイベント処理対象データとの相関係数値を算出し、
前記評価値より特定される、前記第1のイベントの種類のイベント処理対象データに関する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベントの種類のイベント処理対象データに関する第2のフィルタ条件を設定する、
データ処理プログラム。 A data processing program for causing a computer to execute a process of sequentially performing an event process on received event process target data according to a predetermined rule and sequentially outputting data after the event process,
A plurality of types of the of the event processing data, and obtains the evaluation value related data after the event processing for each first period type of the first event,
In a plurality of types of said event processing data, different for the type of the first event and a second event, the long second period than the first period, the type of the first event calculated and event processing data, the correlation coefficient value between the second event type event processing target data,
The specified from the evaluation value, the first Event Type Event processing target data for the first filter condition, and, based on the correlation coefficient value, the related event processing target data type of the second event Set the filter condition of 2,
Data processing program.
請求項1に記載のデータ処理プログラム。 The first filter condition and the second filter condition are filter conditions for filtering data of the plurality of received events before inputting the data to the event processing.
A data processing program according to claim 1.
請求項1又は2に記載のデータ処理プログラム。 Discarding the first filter condition or the second filter condition that has exceeded the expiration date of the filter condition;
A data processing program according to claim 1.
複数の種類の前記イベント処理対象データのうち、第1のイベントの種類の第1の期間毎の前記イベント処理後のデータに関する評価値を取得し、
複数の種類の前記イベント処理対象データにおける、異なる種類の前記第1のイベントと第2のイベントとについて、前記第1の期間よりも長い第2の期間での、前記第1のイベントの種類のイベント処理対象データと、前記第2のイベントの種類のイベント処理対象データとの相関係数値を算出し、
前記評価値より特定される、前記第1のイベントの種類のイベント処理対象データに関する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベントの種類のイベント処理対象データに関する第2のフィルタ条件を設定する、
データ処理方法。 A data processing method in which a computer performs a process of performing event processing on received event processing target data according to a predetermined rule and sequentially outputting data after the event processing,
A plurality of types of the of the event processing data, and obtains the evaluation value related data after the event processing for each first period type of the first event,
In a plurality of types of said event processing data, different for the type of the first event and a second event, the long second period than the first period, the type of the first event calculated and event processing data, the correlation coefficient value between the second event type event processing target data,
The specified from the evaluation value, the first Event Type Event processing target data for the first filter condition, and, based on the correlation coefficient value, the related event processing target data type of the second event Set the filter condition of 2,
Data processing method.
複数の種類の前記イベント処理対象データのうち、第1のイベントの種類の第1の期間毎の前記イベント処理後のデータに関する評価値を取得する取得部と、
複数の種類の前記イベント処理対象データにおける、異なる種類の前記第1のイベントと第2のイベントとについて、前記第1の期間よりも長い第2の期間での、前記第1のイベントの種類のイベント処理対象データと、前記第2のイベントの種類のイベント処理対象データとの相関係数値を算出する分析部と、
前記評価値より特定される、前記第1のイベントの種類のイベント処理対象データに関する第1のフィルタ条件、および、前記相関係数値に基づき、前記第2のイベントの種類のイベント処理対象データに関する第2のフィルタ条件を設定するフィルタ部と、
を有する、データ処理装置。 A data processing device that performs event processing on received event processing target data according to a predetermined rule, and sequentially outputs data after the event processing,
A plurality of types of the of the event processing data, an acquisition unit that acquires an evaluation value on the data after the event processing for each first period type of the first event,
In a plurality of types of said event processing data, different for the type of the first event and a second event, the long second period than the first period, the type of the first event and event processing data, and analyzing unit for calculating a correlation coefficient value between the second event type event processing target data,
The specified from the evaluation value, the first Event Type Event processing target data for the first filter condition, and, based on the correlation coefficient value, the related event processing target data type of the second event A filter unit for setting a filter condition of 2,
A data processing device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/872,652 US10140577B2 (en) | 2014-10-02 | 2015-10-01 | Data processing method and apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014204273 | 2014-10-02 | ||
JP2014204273 | 2014-10-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016076211A JP2016076211A (en) | 2016-05-12 |
JP6668657B2 true JP6668657B2 (en) | 2020-03-18 |
Family
ID=55951529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015191842A Expired - Fee Related JP6668657B2 (en) | 2014-10-02 | 2015-09-29 | Data processing program, data processing method and data processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6668657B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7013178B2 (en) * | 2017-09-08 | 2022-01-31 | 株式会社日立製作所 | Data analysis system, data analysis method, and data analysis program |
WO2019182083A1 (en) * | 2018-03-23 | 2019-09-26 | パイオニア株式会社 | Data structure, information transmission device, control method, program, and storage medium |
JP2019168992A (en) * | 2018-03-23 | 2019-10-03 | パイオニア株式会社 | Data structure, information transmission apparatus, control method, program, and storage medium |
-
2015
- 2015-09-29 JP JP2015191842A patent/JP6668657B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016076211A (en) | 2016-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6330922B2 (en) | Information processing apparatus and information processing method | |
US20230156084A1 (en) | Methods and apparatus to adaptively manage data collection devices in distributed computing systems | |
JP6668657B2 (en) | Data processing program, data processing method and data processing device | |
US9146927B2 (en) | Data processing apparatus, data processing method, and program | |
JP5520203B2 (en) | Congestion degree estimation device | |
JP6521096B2 (en) | Display method, display device, and program | |
JP6489235B2 (en) | System analysis method, system analysis apparatus, and program | |
US10140577B2 (en) | Data processing method and apparatus | |
US12067866B2 (en) | Method and device for analyzing a sensor data stream and method for guiding a vehicle | |
WO2018122890A1 (en) | Log analysis method, system, and program | |
JP5506866B2 (en) | Road traffic information server and road traffic information system | |
US20170063997A1 (en) | Evaluation apparatus, evaluation system, device, and evaluation method | |
US20150145683A1 (en) | Method for detecting the attentional state of the driver of a vehicle | |
EP3722945A1 (en) | Program operation system and program operation method | |
JP2021507435A5 (en) | ||
JP2017021682A (en) | Recommended running speed provision program, recommended running speed provision method, recommended running speed provision device, vehicle control device, vehicle control method, vehicle control program, autonomous vehicle and vehicle control system | |
JP5618797B2 (en) | Data processing apparatus and program | |
CN107682409B (en) | Cluster resource pre-stretching method and device | |
JP2018022305A (en) | Boundary value determination program, boundary value determination method, and boundary value determination device | |
KR102300347B1 (en) | Apparatus of continuous profiling for multicore embedded system and the method of the same | |
CN111831959A (en) | Motion data processing method, motion data processing device, terminal and computer-readable storage medium | |
WO2019047640A1 (en) | Method and device for controlling windshield wiper in automatic driving system | |
JP7236842B2 (en) | Data collection device, data collection system and data collection method | |
US20240192095A1 (en) | State detection system, state detection method, and computer readable medium | |
US11314752B2 (en) | Computer system and data analysis method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6668657 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |