JP5906161B2 - シングルストリームの複数ウィンドウでのストリームデータ処理方法 - Google Patents
シングルストリームの複数ウィンドウでのストリームデータ処理方法 Download PDFInfo
- Publication number
- JP5906161B2 JP5906161B2 JP2012212742A JP2012212742A JP5906161B2 JP 5906161 B2 JP5906161 B2 JP 5906161B2 JP 2012212742 A JP2012212742 A JP 2012212742A JP 2012212742 A JP2012212742 A JP 2012212742A JP 5906161 B2 JP5906161 B2 JP 5906161B2
- Authority
- JP
- Japan
- Prior art keywords
- function
- operator
- query
- type
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
1713は、登録済みのクエリから2つのクエリを作るために使用される。クエリトランスレータは、ターゲット関数検出モジュール1714、複数ウィンドウ生成モジュール1715、及び複数関数生成モジュール1716を呼び出す。ターゲット関数検出モジュール1714は、図3のターゲット関数検出モジュール314と同様に機能する。複数ウィンドウ生成モジュール1715は、ジャンピングウィンドウ及びスライディングウィンドウを含む新しいクエリを生成する。複数関数生成モジュール1716は、バッチ関数及びリアルタイム関数を含み得る新しいクエリを生成する。
Claims (12)
- ストリームデータ入力情報を一次情報として受信し、かつ当該受信した一次情報から所定期間内の一次情報を取得することによって二次情報を生成する、ストリームデータ処理方法を実行するための命令を格納するための非一過性コンピュータ可読媒体であって、
前記命令は、
複数のターゲット関数の各々が、複数の第1タイプの処理関数からの第1タイプの処理関数を、複数の第2タイプの処理関数からの第2タイプの処理関数に関連付ける、前記複数のターゲット関数を管理することと、
クエリに基づいて前記複数のターゲット関数からターゲット関数を選択することと、
前記選択されたターゲット関数に基づいて、前記二次情報を生成するために前記取得された一次情報に対して前記第1タイプの処理関数及び前記第2タイプの処理関数を実行することとを含み、
前記命令が、前記選択されたターゲット関数に基づいて、前記第1タイプの処理関数及び前記第2タイプの処理関数を実行するための複数の演算子から成るクエリ実行モジュールを生成することをさらに含み、
前記クエリ実行モジュールを前記生成することは、
コピーされたセットの演算子として、スライディングウィンドウ演算子から前記複数の演算子の射影演算子に演算子をコピーすることと、
前記複数の演算子のスキャン演算子を、前記コピーされたセットの演算子のコピーされたスライディングウィンドウ演算子に接続することと、
前記射影演算子の前に結合演算子を生成し、かつ前記結合演算子を、前記コピーされたセットの演算子のコピーされた射影演算子に接続することと、
前記コピーされたスライディングウィンドウ演算子をジャンピングウィンドウ演算子で置換することと、
前記コピーされた射影演算子を前記第2タイプの処理関数に関連付けることと、
前記射影演算子を前記第1タイプの処理関数に関連付けることと
を含む、非一過性コンピュータ可読媒体。 - 前記第1タイプの処理関数がリアルタイム処理関数である、請求項1に記載の非一過性コンピュータ可読媒体。
- 前記第2タイプの処理関数がバッチ処理関数である、請求項2に記載の非一過性コンピュータ可読媒体。
- 前記ターゲット関数が、スライディングウィンドウを実行するための関数と、ジャンピングウィンドウを実行するための関数と、スライディングウィンドウ及びジャンピングウィンドウを実行するための関数とから選択される、請求項3に記載の非一過性コンピュータ可読媒体。
- 前記命令が、中央処理装置(CPU)利用率に基づいてジャンピングウィンドウ間隔を調整することをさらに含む、請求項1に記載された非一過性コンピュータ可読媒体。
- ストリームデータ入力情報を一次情報として受信し、かつ当該受信した一次情報から所定期間内の一次情報を取得することによって二次情報を生成する、ストリームデータ処理方法を実行するための命令を格納するための非一過性コンピュータ可読媒体であって、
前記命令は、
複数のターゲット関数の各々が、複数の第1タイプの処理関数からの第1タイプの処理関数を、複数の第2タイプの処理関数からの第2タイプの処理関数に関連付ける、前記複数のターゲット関数を管理することと、
クエリに基づいて前記複数のターゲット関数からターゲット関数を選択することと、
前記選択されたターゲット関数に基づいて、前記二次情報を生成するために前記取得された一次情報に対して前記第1タイプの処理関数及び前記第2タイプの処理関数を実行することとを含み、
前記命令は、
ターゲット関数登録コマンドのための入力コマンドを構文解析し、かつ前記入力コマンドが前記ターゲット関数登録コマンドを含む場合に、前記入力コマンドに基づいたターゲット関数を前記複数のターゲット関数に追加することと、
ジャンピングウィンドウ間隔登録コマンドのための前記入力コマンドを構文解析し、かつ前記入力コマンドが前記ジャンピングウィンドウ間隔登録コマンドを含む場合に、前記入力コマンドに基づいてジャンピングウィンドウ間隔を調整することと、
クエリ登録コマンドのための前記入力コマンドを構文解析し、かつ前記入力コマンドが前記クエリ登録コマンドを含む場合に、前記クエリのために前記入力コマンドを構文解析することと
をさらに含む、非一過性コンピュータ可読媒体。 - ストリームデータ入力情報を一次情報として受信し、当該受信した一次情報から所定期間内の一次情報を取得することによって、二次情報を生成するように構成されたサーバであって、
複数のターゲット関数の各々が、複数の第1タイプの処理関数からの第1タイプの処理関数を複数の第2タイプの処理関数からの第2タイプの処理関数に関連付ける、前記複数のターゲット関数を管理するように構成されたメモリと、
クエリに基づいて前記複数のターゲット関数からターゲット関数を選択し、かつ
前記選択されたターゲット関数に基づいて前記二次情報を生成するために、前記取得された一次情報に対して前記第1タイプの処理関数及び前記第2タイプの処理関数を実行するように構成された中央処理装置(CPU)と
を備え、
前記メモリはさらに、前記選択されたターゲット関数に基づいて、前記第1タイプの処理関数及び前記第2タイプの処理関数を実行するための複数の演算子から成るクエリ実行モジュールを管理するように構成され、
前記CPUは、
コピーされたセットの演算子として、スライディングウィンドウ演算子から前記複数の演算子の射影演算子に演算子をコピーすることと、
前記複数の演算子のスキャン演算子を、前記コピーされたセットの演算子のコピーされたスライディングウィンドウ演算子に接続することと、
前記射影演算子の前に結合演算子を生成し、かつ前記結合演算子を、前記コピーされたセットの演算子のコピーされた射影演算子に接続することと、
前記コピーされたスライディングウィンドウ演算子をジャンピングウィンドウ演算子で置換することと、
前記コピーされた射影演算子を前記第2タイプの処理関数に関連付けることと、
前記射影演算子を前記第1タイプの処理関数に関連付けることと
によって前記クエリ実行モジュールを構成するように構成される、サーバ。 - 前記第1タイプの処理関数がリアルタイム処理関数である、請求項7に記載のサーバ。
- 前記第2タイプの処理関数がバッチ処理関数である、請求項8に記載のサーバ。
- 前記CPUは、スライディングウィンドウを実行するための関数と、ジャンピングウィンドウを実行するための関数と、スライディングウィンドウ及びジャンピングウィンドウを実行するための関数とから前記ターゲット関数を選択するように構成される、
請求項9に記載のサーバ。 - 前記CPUがさらに、CPU利用率に基づいてジャンピングウィンドウサイズを調整するために構成される、請求項7に記載のサーバ。
- ストリームデータ入力情報を一次情報として受信し、当該受信した一次情報から所定期間内の一次情報を取得することによって、二次情報を生成するように構成されたサーバであって、
複数のターゲット関数の各々が、複数の第1タイプの処理関数からの第1タイプの処理関数を複数の第2タイプの処理関数からの第2タイプの処理関数に関連付ける、前記複数のターゲット関数を管理するように構成されたメモリと、
クエリに基づいて前記複数のターゲット関数からターゲット関数を選択し、かつ
前記選択されたターゲット関数に基づいて前記二次情報を生成するために、前記取得された一次情報に対して前記第1タイプの処理関数及び前記第2タイプの処理関数を実行するように構成された中央処理装置(CPU)と
を備え、
前記CPUはさらに、
ターゲット関数登録コマンドのための入力コマンドを構文解析し、かつ前記入力コマンドが前記ターゲット関数登録コマンドを含む場合に、前記入力コマンドに基づいたターゲット関数を前記複数のターゲット関数に追加することと、
ジャンピングウィンドウ間隔登録コマンドのための前記入力コマンドを構文解析し、かつ前記入力コマンドが前記ジャンピングウィンドウ間隔登録コマンドを含む場合に、前記入力コマンドに基づいてジャンピングウィンドウ間隔を調整することと、
クエリ登録コマンドのための前記入力コマンドを構文解析し、かつ前記入力コマンドが前記クエリ登録コマンドを含む場合に、前記クエリのために前記入力コマンドを構文解析することと
を行うように構成される、サーバ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/456,064 | 2012-04-25 | ||
US13/456,064 US8768956B2 (en) | 2012-04-25 | 2012-04-25 | Stream data processing method with multiple windows on single stream |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013228991A JP2013228991A (ja) | 2013-11-07 |
JP5906161B2 true JP5906161B2 (ja) | 2016-04-20 |
Family
ID=49478276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012212742A Expired - Fee Related JP5906161B2 (ja) | 2012-04-25 | 2012-09-26 | シングルストリームの複数ウィンドウでのストリームデータ処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8768956B2 (ja) |
JP (1) | JP5906161B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10412121B2 (en) * | 2012-11-20 | 2019-09-10 | Genesys Telecommunications Laboratories, Inc. | Distributed aggregation for contact center agent-groups on growing interval |
US9477464B2 (en) | 2012-11-20 | 2016-10-25 | Genesys Telecommunications Laboratories, Inc. | Distributed aggregation for contact center agent-groups on sliding interval |
US9805143B2 (en) | 2013-01-25 | 2017-10-31 | International Business Machines Corporation | Composite simulation modeling and analysis |
US9201989B2 (en) | 2013-01-25 | 2015-12-01 | Globalfoundries Inc. | Interpolation techniques used for time alignment of multiple simulation models |
US9607067B2 (en) * | 2013-01-25 | 2017-03-28 | International Business Machines Corporation | Synchronization of time between different simulation models |
US9251205B2 (en) * | 2013-02-21 | 2016-02-02 | International Business Machines Corporation | Streaming delay patterns in a streaming environment |
US9305031B2 (en) | 2013-04-17 | 2016-04-05 | International Business Machines Corporation | Exiting windowing early for stream computing |
WO2014204489A2 (en) * | 2013-06-21 | 2014-12-24 | Hitachi, Ltd. | Stream data processing method with time adjustment |
CN104462353B (zh) * | 2014-12-04 | 2017-12-22 | 北京国双科技有限公司 | 数据库批量同步处理方法及装置 |
US10037389B2 (en) | 2015-07-21 | 2018-07-31 | International Business Machines Corporation | Dynamic window adjustments in a streaming environment |
US10198298B2 (en) | 2015-09-16 | 2019-02-05 | Salesforce.Com, Inc. | Handling multiple task sequences in a stream processing framework |
US10191768B2 (en) | 2015-09-16 | 2019-01-29 | Salesforce.Com, Inc. | Providing strong ordering in multi-stage streaming processing |
US10146592B2 (en) | 2015-09-18 | 2018-12-04 | Salesforce.Com, Inc. | Managing resource allocation in a stream processing framework |
US9965330B2 (en) * | 2015-09-18 | 2018-05-08 | Salesforce.Com, Inc. | Maintaining throughput of a stream processing framework while increasing processing load |
US10437635B2 (en) | 2016-02-10 | 2019-10-08 | Salesforce.Com, Inc. | Throttling events in entity lifecycle management |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5495600A (en) | 1992-06-03 | 1996-02-27 | Xerox Corporation | Conversion of queries to monotonically increasing incremental form to continuously query a append only database |
JP2009163370A (ja) * | 2007-12-28 | 2009-07-23 | Noritsu Koki Co Ltd | キャプチャーソフトウエアプログラム及びキャプチャー装置 |
JP5198929B2 (ja) * | 2008-04-25 | 2013-05-15 | 株式会社日立製作所 | ストリームデータ処理方法及び計算機システム |
JP5154366B2 (ja) * | 2008-10-28 | 2013-02-27 | 株式会社日立製作所 | ストリームデータ処理プログラム及び計算機システム |
-
2012
- 2012-04-25 US US13/456,064 patent/US8768956B2/en not_active Expired - Fee Related
- 2012-09-26 JP JP2012212742A patent/JP5906161B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013228991A (ja) | 2013-11-07 |
US20130290367A1 (en) | 2013-10-31 |
US8768956B2 (en) | 2014-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5906161B2 (ja) | シングルストリームの複数ウィンドウでのストリームデータ処理方法 | |
US11556543B1 (en) | Streaming joins with synchronization via stream time estimations | |
JP6190255B2 (ja) | グラフデータの再帰クエリを用いたストリームデータ処理方法 | |
CN108431804B (zh) | 将多个容器数据库分组为单个容器数据库集群的能力 | |
US8326821B2 (en) | Transforming relational queries into stream processing | |
EP3098730B1 (en) | Aggregating database entries by hashing | |
US9460154B2 (en) | Dynamic parallel aggregation with hybrid batch flushing | |
AU2013371448B2 (en) | System and method for distributed database query engines | |
US9965520B2 (en) | Efficient logical merging over physically divergent streams | |
US8396852B2 (en) | Evaluating execution plan changes after a wakeup threshold time | |
US20130318123A1 (en) | Mechanism for co-located data placement in a parallel elastic database management system | |
US20120278305A1 (en) | Dynamic merging of executable structures in a database system | |
JP6114473B2 (ja) | 時間調整を使用したストリームデータ処理方法 | |
US20120331010A1 (en) | Systems And Methods For Performing A Query On A Distributed Database | |
US11210277B2 (en) | Distributing and processing streams over one or more networks for on-the-fly schema evolution | |
WO2018196729A1 (zh) | 一种查询处理方法、数据源注册方法及查询引擎 | |
Jacques-Silva et al. | Providing streaming joins as a service at facebook | |
WO2018108010A1 (en) | System, device and method for data update notification | |
US20220156163A1 (en) | Fault tolerance in scale-out distributed query processing appliance | |
US11868352B2 (en) | Systems and methods for spilling data for hash joins | |
KR101757251B1 (ko) | 집계질의를 처리하기 위한 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5906161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |