JP4880025B2 - ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置 - Google Patents
ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置 Download PDFInfo
- Publication number
- JP4880025B2 JP4880025B2 JP2009268689A JP2009268689A JP4880025B2 JP 4880025 B2 JP4880025 B2 JP 4880025B2 JP 2009268689 A JP2009268689 A JP 2009268689A JP 2009268689 A JP2009268689 A JP 2009268689A JP 4880025 B2 JP4880025 B2 JP 4880025B2
- Authority
- JP
- Japan
- Prior art keywords
- stream data
- time
- information
- data processing
- input information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、本発明の第1の実施形態のストリームデータ処理システムの構成例を示すブロック図である。
次に、本発明の第2の実施形態について説明する。
1110 CPU
1120 DISK
1130 メモリ
1131 アプリケーション実行部
1132 ストリームデータ送信部
1200 ストリームデータ処理計算機
1210 CPU
1220 DISK
1230 メモリ
1240 オペレーティングシステム
1250 入力データ解析部
1251 ストリームデータ受信部
1252 タイムスタンプ分析部
1253 タイムスタンプ調整部
1254 入力ストリームデータ送信部
1255 クエリ分析部
1260 ストリームデータ処理部
1261 入力ストリームデータ受信部
1262 クエリ処理部
1263 ストリームデータ送信部
1300 結果受信計算機
1310 CPU
1320 DISK
1330 メモリ
1331 ストリームデータ受信部
1332 アプリケーション実行部
1400 ネットワーク
1410 ストリームデータソース
1500 ネットワーク
1600 ネットワーク
11000 ストリームデータ処理計算機
11300 メモリ
11400 タイムスタンプ定義設定部
11401 タイムスタンプ定義登録部
11402 タイムスタンプ定義管理テーブル
11403 タイムスタンプ定義管理部
Claims (15)
- 時刻情報が含まれたストリームデータを受信し、予め登録されたクエリにしたがって処理を実行するストリームデータ処理装置のストリームデータ処理方法であって、
前記ストリームデータ処理装置は、
複数のストリームデータから構成される複数の入力情報を受信するストリームデータ受信部と、
前記複数の入力情報が有する時刻情報を、該複数の入力情報毎に分析する時刻情報分析部と、
前記分析の結果に基づいて、新たな入力情報をそれぞれ生成する時刻情報調整部と、
前記新たな入力情報のそれぞれについて、前記クエリに従って処理を実行するストリームデータ処理部と、を有し、
前記ストリームデータ処理方法は、
前記時刻情報分析部が、前記入力情報毎に、各入力情報を構成するストリームデータを複数抽出し、該ストリームデータの入力間隔と、前記ストリームデータの処理時刻である第1の基準時刻とを算出する第1のステップと、
前記時刻情報調整部が、前記入力情報毎に算出した前記入力間隔と、前記第1の基準時刻とに基づいて、前記複数の入力情報の新たな処理の時刻とする第2基準時刻を算出する第2のステップと、
前記時刻情報調整部が、前記第2の基準時刻に基づいて、前記複数の入力情報毎に新たな時刻情報が付与されたストリームデータを生成する第3のステップと、
を含むことを特徴とするストリームデータ処理方法。 - 請求項1に記載のストリームデータ処理方法であって、
前記ストリームデータ処理方法は、
前記ストリームデータ処理部が、前記新たな時刻情報に基づいて、前記複数の入力情報を処理する第4のステップを更に含むことを特徴とする。 - 請求項1又は2に記載のストリームデータ処理方法であって、
前記第2のステップは、前記時刻情報調整部が、前記複数の入力情報のストリームデータを用いて処理を実行するクエリで定義されると共に前記ストリームデータのうち処理を行う対象であるストリームデータの時間範囲が示された時刻精度と、前記抽出されたストリームデータに付与された前記時刻情報とに基づいて、前記第2の基準時間を算出するステップを含むことを特徴とする。 - 請求項1から3の何れか一項に記載のストリームデータ処理方法であって、
前記ストリームデータ処理装置は、前記計算機システムの時刻を管理し、
前記第3のステップは、前記時刻情報調整部が、前記第1の基準時刻のうち、前記計算機システムの時刻に最も近い前記第1の基準時刻を用いて、前記第2の時刻情報を決定するステップを含むことを特徴とする。 - 請求項1から4の何れか一項に記載のストリームデータ処理方法であって、
前記ストリームデータ処理装置は、前記第2の基準時間を決定するための情報である、調整精度情報及び調整時刻情報を受信する時刻情報定義設定部を有し、
前記第2のステップは、前記時刻情報調整部が、前記複数の入力情報毎のストリームデータの前記入力間隔及び前記第1の基準時刻の比較結果と、前記調整精度情報と、前記調整時刻情報と、に基づいて、前記第2の基準時刻を算出するステップを含むことを特徴とする。 - プロセッサと、前記プロセッサと接続されたメモリとを備え、時刻情報が含まれたストリームデータを受信し、予め登録されたクエリにしたがって処理を実行するストリームデータ処理装置を有する計算機システムのストリームデータ処理プログラムであって、
複数のストリームデータから構成される複数の入力情報を受信し、前記入力情報毎に、各入力情報を構成するストリームデータを複数抽出し、該ストリームデータの入力間隔と、前記ストリームデータの処理時刻である第1の基準時刻とを算出する第1の手順と、
前記入力情報毎に算出した前記入力間隔と、前記第1の基準時刻とに基づいて、前記複数の入力情報の新たな処理の時刻とする第2基準時刻を算出する第2の手順と、
前記第2の基準時刻に基づいて、前記複数の入力情報毎に新たな時刻情報が付与されたストリームデータを生成する第3の手順と、
を前記ストリームデータ処理装置に実行させることを特徴とするストリームデータ処理プログラム。 - 請求項6に記載のストリームデータ処理プログラムであって、
前記ストリームデータ処理プログラムは、
前記新たな時刻情報に基づいて、前記複数の入力情報を処理する第4の手順を更に前記ストリームデータ処理装置に実行させることを特徴とする。 - 請求項6又は7に記載のストリームデータ処理プログラムであって、
前記第2の手順は、前記複数の入力情報のストリームデータを用いて処理を実行するクエリで定義されると共に前記ストリームデータのうち処理を行う対象であるストリームデータの時間範囲が示された時刻精度と、前記抽出されたストリームデータに付与された前記時刻情報とに基づいて、前記第2の基準時間を算出する手順を含むことを特徴とする。 - 請求項6から8の何れか一項に記載のストリームデータ処理プログラムであって、
前記ストリームデータ処理装置は、前記計算機システムの時刻を管理し、
前記第3の手順は、前記第1の基準時刻のうち、前記計算機システムの時刻に最も近い前記第1の基準時刻を用いて、前記第2の時刻情報を決定する手順を含むことを特徴とする。 - 請求項6から9の何れか一項に記載のストリームデータ処理プログラムであって、
前記ストリームデータ処理装置は、前記第2の基準時間を決定するための情報である、調整精度情報及び調整時刻情報を受信し、
前記第2の手順は、前記複数の入力情報毎のストリームデータの前記入力間隔及び前記第1の基準時刻の比較結果と、前記調整精度情報と、前記調整時刻情報と、に基づいて、前記第2の基準時刻を算出する手順を含むことを特徴とする。 - プロセッサと、前記プロセッサと接続されるメモリとを備え、時刻情報が含まれたストリームデータを受信し、予め登録されたクエリにしたがって処理を実行するストリームデータ処理装置であって、
前記メモリは、
複数のストリームデータから構成される複数の入力情報を受信するストリームデータ受信部と、
前記複数の入力情報が有する時刻情報を、該複数の入力情報毎に分析する時刻情報分析部と、
前記分析の結果に基づいて、新たな入力情報をそれぞれ生成する時刻情報調整部と、
前記新たな入力情報のそれぞれについて、前記クエリに従って処理を実行するストリームデータ処理部と、を有し、
前記ストリームデータ処理装置は、
前記入力情報毎に、各入力情報を構成するストリームデータを複数抽出し、該ストリームデータの入力間隔と、前記ストリームデータの処理時刻である第1の基準時刻とを算出し、
前記入力情報毎に算出した前記入力間隔と、前記第1の基準時刻とに基づいて、前記複数の入力情報の新たな処理の時刻とする第2の基準時刻を算出し、
前記第2の基準時刻に基づいて、前記複数の入力情報毎に新たな時刻情報が付与されたストリームデータを生成することを特徴とするストリームデータ処理装置。 - 請求項11に記載のストリームデータ処理装置であって、
前記ストリームデータ処理装置は、更に、
前記新たな時刻情報に基づいて、前記複数の入力情報を処理することを特徴とする。 - 請求項11又は12に記載のストリームデータ処理装置であって、
前記ストリームデータ処理装置は、
前記第2の基準時刻を算出する場合に、前記複数の入力情報のストリームデータを用いて処理を実行するクエリで定義されると共に前記ストリームデータのうち処理を行う対象であるストリームデータの時刻範囲が示された時刻精度と、前記抽出されたストリームデータに付与された前記時刻情報とに基づいて、前記第2の基準時間を算出することを特徴とする。 - 請求項11から13の何れか一項に記載のストリームデータ処理装置であって、
前記ストリームデータ処理装置は、前記計算機システムの時刻を管理し、
前記第2のストリームデータを生成する場合に、前記第1の基準時刻のうち、前記計算機システムの時刻に最も近い前記第1の基準時刻を用いて、前記第2の時刻情報を決定することを特徴とする。 - 請求項11から14の何れか一項に記載のストリームデータ処理装置であって、
前記ストリームデータ処理装置は、前記第2の基準時間を決定するための情報である、調整精度情報及び調整時刻情報を受信する時刻情報定義設定部を有し、
前記第2の基準時刻を算出する場合に、前記複数の入力情報毎のストリームデータの前記入力間隔及び前記第1の基準時刻の比較結果と、前記調整精度情報と、前記調整時刻情報と、に基づいて、前記第2の基準時刻を算出することを特徴とする。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009268689A JP4880025B2 (ja) | 2009-11-26 | 2009-11-26 | ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置 |
US12/715,012 US20110125778A1 (en) | 2009-11-26 | 2010-03-01 | Stream data processing method, recording medium, and stream data processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009268689A JP4880025B2 (ja) | 2009-11-26 | 2009-11-26 | ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011113273A JP2011113273A (ja) | 2011-06-09 |
JP4880025B2 true JP4880025B2 (ja) | 2012-02-22 |
Family
ID=44062864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009268689A Expired - Fee Related JP4880025B2 (ja) | 2009-11-26 | 2009-11-26 | ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110125778A1 (ja) |
JP (1) | JP4880025B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8620945B2 (en) * | 2010-09-23 | 2013-12-31 | Hewlett-Packard Development Company, L.P. | Query rewind mechanism for processing a continuous stream of data |
WO2012059976A1 (ja) * | 2010-11-02 | 2012-05-10 | 株式会社日立製作所 | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 |
US9405795B2 (en) * | 2011-07-20 | 2016-08-02 | Hitachi, Ltd. | Stream data processing server and a non-transitory computer-readable storage medium storing a stream data processing program |
US8880493B2 (en) | 2011-09-28 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | Multi-streams analytics |
US9087052B2 (en) * | 2011-11-02 | 2015-07-21 | Hewlett-Packard Development Company, L.P. | Batch DBMS statement processing such that intermediate feedback is provided prior to completion of processing |
JP5843636B2 (ja) * | 2012-02-01 | 2016-01-13 | 三菱電機株式会社 | 時系列データ照会装置、時系列データ照会方法及び時系列データ照会プログラム |
US8762408B2 (en) * | 2012-03-07 | 2014-06-24 | Sap Ag | Optimizing software applications |
US9916374B2 (en) * | 2013-05-31 | 2018-03-13 | Sap Se | On-the-fly calculation scenario provision during query runtime |
US10331672B2 (en) * | 2013-06-21 | 2019-06-25 | Hitachi, Ltd. | Stream data processing method with time adjustment |
US10476906B1 (en) | 2016-03-25 | 2019-11-12 | Fireeye, Inc. | System and method for managing formation and modification of a cluster within a malware detection system |
US10671721B1 (en) * | 2016-03-25 | 2020-06-02 | Fireeye, Inc. | Timeout management services |
US10601863B1 (en) | 2016-03-25 | 2020-03-24 | Fireeye, Inc. | System and method for managing sensor enrollment |
US10785255B1 (en) | 2016-03-25 | 2020-09-22 | Fireeye, Inc. | Cluster configuration within a scalable malware detection system |
JP6528807B2 (ja) * | 2017-06-28 | 2019-06-12 | オムロン株式会社 | 制御システム、制御装置、結合方法およびプログラム |
US11947545B2 (en) * | 2022-03-02 | 2024-04-02 | Adobe Inc. | Systems and methods for configuring data stream filtering |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4687253B2 (ja) * | 2005-06-03 | 2011-05-25 | 株式会社日立製作所 | ストリームデータ処理システムのクエリ処理方法 |
US20090125550A1 (en) * | 2007-11-08 | 2009-05-14 | Microsoft Corporation | Temporal event stream model |
JP2009188530A (ja) * | 2008-02-04 | 2009-08-20 | Panasonic Corp | ストリームデータの多重化装置および多重化方法 |
US20090319501A1 (en) * | 2008-06-24 | 2009-12-24 | Microsoft Corporation | Translation of streaming queries into sql queries |
-
2009
- 2009-11-26 JP JP2009268689A patent/JP4880025B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-01 US US12/715,012 patent/US20110125778A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20110125778A1 (en) | 2011-05-26 |
JP2011113273A (ja) | 2011-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4880025B2 (ja) | ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置 | |
US10217256B2 (en) | Visually exploring and analyzing event streams | |
US9886486B2 (en) | Enriching events with dynamically typed big data for event processing | |
US10120907B2 (en) | Scaling event processing using distributed flows and map-reduce operations | |
CN109408347B (zh) | 一种指标实时分析系统及指标实时计算方法 | |
EP3455732B1 (en) | Memory usage determination techniques | |
US10956422B2 (en) | Integrating event processing with map-reduce | |
CN109800223A (zh) | 日志处理方法、装置、电子设备及存储介质 | |
JP2011039818A (ja) | ストリームデータ処理システム、ストリームデータ処理方法及びストリームデータ処理プログラム | |
EP2946527B1 (en) | Variable duration windows on continuous data streams | |
US9058631B2 (en) | Method and system for e-commerce transaction data accounting | |
US11010384B2 (en) | Imputing data for temporal data store joins | |
US20180004781A1 (en) | Data lineage analysis | |
CN106951557B (zh) | 日志关联方法、装置和应用其的计算机系统 | |
US7421452B2 (en) | Method and apparatus for predicting future behavior of data streams | |
US20130159280A1 (en) | Analyzing and Representing Interpersonal Relations | |
CN108733688B (zh) | 数据分析的方法、装置 | |
Zapilko et al. | Performing statistical methods on linked data | |
US7562039B2 (en) | Method and computer system for computing and displaying a phase space | |
US11487756B1 (en) | Ingesting and transforming bulk data from various data sources | |
WO2012132427A1 (ja) | レコメンド装置、レコメンドシステム、レコメンド方法およびプログラム | |
US20200364628A1 (en) | Parallel versioning and multi-variate testing | |
US20240176787A1 (en) | Tables time zone adjuster | |
CN117349388B (zh) | 数据时效性确定方法、电子设备 | |
Yumusak et al. | SpEnD portal: Linked data discovery using SPARQL endpoints |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |