JPWO2017168497A1 - 計算機システム及びストリームデータ処理システムの設定方法 - Google Patents
計算機システム及びストリームデータ処理システムの設定方法 Download PDFInfo
- Publication number
- JPWO2017168497A1 JPWO2017168497A1 JP2018507824A JP2018507824A JPWO2017168497A1 JP WO2017168497 A1 JPWO2017168497 A1 JP WO2017168497A1 JP 2018507824 A JP2018507824 A JP 2018507824A JP 2018507824 A JP2018507824 A JP 2018507824A JP WO2017168497 A1 JPWO2017168497 A1 JP WO2017168497A1
- Authority
- JP
- Japan
- Prior art keywords
- query
- flow control
- data
- unit
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 106
- 230000008569 process Effects 0.000 claims description 73
- 238000007726 management method Methods 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000013500 data storage Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (15)
- ストリームデータ処理を実行する複数の計算機、及び前記複数の計算機に一つ以上のクエリを含む複数の分割クエリを割り当てる管理計算機を含む計算機システムであって、
前記複数の計算機の各々は、第1プロセッサ、前記第1プロセッサに接続される第1メモリ、及び前記第1プロセッサに接続され、外部装置と接続するための第1インタフェースを有し、
前記管理計算機は、第2プロセッサ、前記第2プロセッサに接続される第2メモリ、及び前記第2プロセッサに接続され、外部装置と接続するための第2インタフェースを有し、
前記管理計算機は、
前記ストリームデータ処理を実現するための複数のクエリを含む分析シナリオ、及び前記分析シナリオを前記複数の分割クエリに分割するための分割情報を受け付けるパラメータ入力部と、
前記分析シナリオを解析することによって、前記分析シナリオに含まれる前記複数のクエリの構成を示すクエリグラフを生成するクエリ解析部と、を有し、
前記クエリ解析部は、
前記分析シナリオ及び前記分割情報に基づいて、前記クエリによって処理されるデータの発生順番及び当該データの受信順番を整合させるためのフロー制御が必要な分割クエリを特定し、
前記フロー制御が必要な分割クエリを前記複数の計算機に割り当てる場合、前記フロー制御が必要な分割クエリが割り当てられる複数の計算機に対して前記フロー制御の設定を行うことを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記クエリ解析部は、前記複数の分割クエリの各々を、前記フロー制御が必要な分割クエリとして特定することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記クエリは、一つ以上のオペレータを含み、
前記クエリ解析部は、前記オペレータの種別、及び前記フロー制御の要否を示す第1フラグが対応付けられたエントリを含むオペレータ種別情報を保持し、
前記クエリ解析部は、前記オペレータ種別情報を参照して、前記複数のクエリの中から、前記フロー制御が必要なオペレータが含まれるクエリを含む第1分割クエリを検索し、
前記第1分割クエリを前記フロー制御が必要な分割クエリとして特定することを特徴とする計算機システム。 - 請求項3に記載の計算機システムであって、
前記クエリ解析部は、
前記第1分割クエリが検索された場合、前記クエリグラフを参照して、前記第1分割クエリが処理するデータの入力元となる分割クエリを検索し、
前記検索された分割クエリを前記フロー制御が必要な分割クエリとして特定することを特徴とする計算機システム。 - 請求項3に記載の計算機システムであって、
前記クエリは、一つ以上のオペレータを含み、
前記クエリ解析部は、前記クエリの識別情報、及び前記クエリに入力され、任意の識別情報に基づいて集約された集約データの経路が一つであるか否かを示す第2フラグが対応付けられたエントリを含む経路情報を保持し、
前記オペレータ種別情報に含まれる前記エントリは、前記経路情報の参照の要否を示す第3フラグが対応付けられ、
前記クエリ解析部は、
前記オペレータ種別情報を参照して、前記複数のクエリの中から、前記フロー制御が必要であり、かつ、前記経路情報の参照が必要でないオペレータが含まれるクエリを含む第2分割クエリを検索し、
前記オペレータ種別情報及び前記経路情報を参照して、前記複数のクエリの中から、前記フロー制御が必要であり、かつ、前記集約データの経路が一つであるクエリを含む第3分割クエリを検索し、
前記第2分割クエリ及び前記第3分割クエリを前記フロー制御が必要な分割クエリとして特定することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記複数の計算機は、
データを受信するデータ受信部と、
前記データ受信部が受信したデータを前記分割クエリに基づいて処理するクエリ処理部と、
前記クエリ処理部の処理結果を送信するデータ送信部と、を有し、
前記フロー制御が設定された前記分割クエリが割り当てられた前記データ受信部は、前記フロー制御を実行するフロー制御部を含み、
前記フロー制御部は、一時的に前記データを格納するデータ保存部を含み、
前記フロー制御部は、
前記データ受信部が前記データを受信した場合、前記受信したデータに含まれる時刻を取得し、
前記受信したデータから取得した時刻が所定の期間に含まれるか否かを判定し、
前記受信したデータから取得された時刻が前記所定の期間に含まれる場合、前記受信したデータを前記データ保存部に格納し、
前記受信したデータから取得された時刻が前記所定の期間に含まれない場合、前記データ保存部に格納されるデータを時系列順にソートし、前記ソートされたデータを前記クエリ処理部に出力することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記複数の計算機は、
データを受信するデータ受信部と、
前記データ受信部が受信したデータを前記分割クエリに基づいて処理するクエリ処理部と、
前記クエリ処理部の処理結果を送信するデータ送信部と、を有し、
前記管理計算機は、前記フロー制御が設定された前記分割クエリを前記計算機に割り当てる場合に、前記フロー制御を実行するフロー制御部を前記データ受信部に設定することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記複数の計算機は、
データを受信するデータ受信部と、
前記データ受信部が受信したデータを前記分割クエリに基づいて処理するクエリ処理部と、
前記クエリ処理部の処理結果を送信するデータ送信部と、を有し、
前記データ受信部は、非活性化状態の前記フロー制御を実行するフロー制御部を含み、
前記管理計算機は、前記フロー制御が設定された前記分割クエリを割り当てる場合に、前記フロー制御部を活性状態に設定することを特徴とする計算機システム。 - ストリームデータ処理を実行する複数の計算機、及び前記複数の計算機に一つ以上のクエリを含む複数の分割クエリを割り当てる管理計算機を含む計算機システムにおけるストリームデータ処理システムの設定方法であって、
前記複数の計算機の各々は、第1プロセッサ、前記第1プロセッサに接続される第1メモリ、及び前記第1プロセッサに接続され、外部装置と接続するための第1インタフェースを有し、
前記管理計算機は、第2プロセッサ、前記第2プロセッサに接続される第2メモリ、及び前記第2プロセッサに接続され、外部装置と接続するための第2インタフェースを有し、
前記管理計算機は、
前記ストリームデータ処理を実現するための複数のクエリを含む分析シナリオ、及び前記分析シナリオを前記複数の分割クエリに分割するための分割情報を受け付けるパラメータ入力部と、
前記分析シナリオを解析することによって、前記分析シナリオに含まれる前記複数のクエリの構成を示すクエリグラフを生成するクエリ解析部と、を有し、
前記クエリ解析部が、前記分析シナリオ及び前記分割情報に基づいて、前記クエリによって処理されるデータの発生順番及び当該データの受信順番を整合させるためのフロー制御が必要な分割クエリを特定する第1のステップと、
前記クエリ解析部が、前記フロー制御が必要な分割クエリを前記複数の計算機に割り当てる場合、前記フロー制御が必要な分割クエリが割り当てられる複数の計算機に対して前記フロー制御の設定を行う第2のステップと、を含むことを特徴とするストリームデータ処理システムの設定方法。 - 請求項9に記載のストリームデータ処理システムの設定方法であって、
前記第1のステップは、前記クエリ解析部が、前記複数の分割クエリの各々を、前記フロー制御が必要な分割クエリとして特定するステップを含むことを特徴とするストリームデータ処理システムの設定方法。 - 請求項9に記載のストリームデータ処理システムの設定方法であって、
前記クエリは、一つ以上のオペレータを含み、
前記クエリ解析部は、前記オペレータの種別、及び前記フロー制御の要否を示す第1フラグが対応付けられたエントリを含むオペレータ種別情報を保持し、
前記第1のステップは、
前記クエリ解析部が、前記オペレータ種別情報を参照して、前記複数のクエリの中から、前記フロー制御が必要なオペレータが含まれるクエリを含む第1分割クエリを検索する第3のステップと、
前記クエリ解析部が、前記第1分割クエリを前記フロー制御が必要な分割クエリとして特定する第4のステップと、を含むことを特徴とするストリームデータ処理システムの設定方法。 - 請求項11に記載のストリームデータ処理システムの設定方法であって、
前記第4のステップは、
前記クエリ解析部が、前記クエリグラフを参照して、前記第1分割クエリが処理するデータの入力元となる分割クエリを検索するステップと、
前記クエリ解析部が、前記検索された分割クエリを前記フロー制御が必要な分割クエリとして特定するステップと、を含むことを特徴とするストリームデータ処理システムの設定方法。 - 請求項11に記載のストリームデータ処理システムの設定方法であって、
前記クエリは、一つ以上のオペレータを含み、
前記クエリ解析部は、前記クエリの識別情報、及び前記クエリに入力され、任意の識別情報に基づいて集約された集約データの経路が一つであるか否かを示す第2フラグが対応付けられたエントリを含む経路情報を保持し、
前記オペレータ種別情報に含まれる前記エントリは、前記経路情報の参照の要否を示す第3フラグが対応付けられ、
前記第1のステップは、
前記クエリ解析部が、前記オペレータ種別情報を参照して、前記複数のクエリの中から、前記フロー制御が必要であり、かつ、前記経路情報の参照が必要でないオペレータが含まれるクエリを含む第2分割クエリを検索するステップと、
前記クエリ解析部が、前記オペレータ種別情報及び前記経路情報を参照して、前記複数のクエリの中から、前記フロー制御が必要であり、かつ、前記集約データの経路が一つであるクエリを含む第3分割クエリを検索するステップと、
前記クエリ解析部が、前記第2分割クエリ及び前記第3分割クエリを前記フロー制御が必要な分割クエリとして特定するステップと、を含むことを特徴とするストリームデータ処理システムの設定方法。 - 請求項9に記載のストリームデータ処理システムの設定方法であって、
前記複数の計算機は、
データを受信するデータ受信部と、
前記データ受信部が受信したデータを前記分割クエリに基づいて処理するクエリ処理部と、
前記クエリ処理部の処理結果を送信するデータ送信部と、を有し、
前記フロー制御が設定された前記分割クエリが割り当てられた前記データ受信部は、前記フロー制御を実行するフロー制御部を含み、
前記フロー制御部は、一時的に前記データを格納するデータ保存部を含み、
前記ストリームデータ処理システムの設定方法は、
前記フロー制御部が、前記データ受信部が前記データを受信した場合、前記受信したデータに含まれる時刻を取得するステップと、
前記フロー制御部が、前記受信したデータから取得した時刻が所定の期間に含まれるか否かを判定するステップと、
前記フロー制御部が、前記受信したデータから取得された時刻が前記所定の期間に含まれる場合、前記受信したデータを前記データ保存部に格納するステップと、
前記フロー制御部が、前記受信したデータから取得された時刻が前記所定の期間に含まれない場合、前記データ保存部に格納されるデータを時系列順にソートし、前記ソートされたデータを前記クエリ処理部に出力するステップと、を含むことを特徴とするストリームデータ処理システムの設定方法。 - 請求項9に記載のストリームデータ処理システムの設定方法であって、
前記複数の計算機は、
データを受信するデータ受信部と、
前記データ受信部が受信したデータを前記分割クエリに基づいて処理するクエリ処理部と、
前記クエリ処理部の処理結果を送信するデータ送信部と、を有し、
前記第2のステップは、前記クエリ解析部が、前記フロー制御を実行するフロー制御部を前記データ受信部に設定するステップを含むことを特徴とするストリームデータ処理システムの設定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/059834 WO2017168497A1 (ja) | 2016-03-28 | 2016-03-28 | 計算機システム及びストリームデータ処理システムの設定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017168497A1 true JPWO2017168497A1 (ja) | 2018-07-26 |
JP6505944B2 JP6505944B2 (ja) | 2019-04-24 |
Family
ID=59963585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018507824A Active JP6505944B2 (ja) | 2016-03-28 | 2016-03-28 | 計算機システム及びストリームデータ処理システムの設定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10769153B2 (ja) |
JP (1) | JP6505944B2 (ja) |
WO (1) | WO2017168497A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3077663B1 (fr) * | 2018-02-02 | 2020-02-28 | Alstom Transport Technologies | Procede d'elaboration d'un programme informatique et dispositif d'elaboration correspondant |
CN110321458B (zh) * | 2019-05-21 | 2021-10-15 | 国家电网有限公司 | 一种基于控制流图的数据流分析方法及装置 |
US11556370B2 (en) * | 2020-01-30 | 2023-01-17 | Walmart Apollo, Llc | Traversing a large connected component on a distributed file-based data structure |
US11947539B2 (en) * | 2022-05-21 | 2024-04-02 | Oracle International Corporation | Concurrency and cancellation in distributed asynchronous graph processing |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039820A (ja) * | 2009-08-12 | 2011-02-24 | Hitachi Ltd | ストリームデータ処理方法及び装置 |
WO2011070725A1 (ja) * | 2009-12-11 | 2011-06-16 | 日本電気株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7984043B1 (en) * | 2007-07-24 | 2011-07-19 | Amazon Technologies, Inc. | System and method for distributed query processing using configuration-independent query plans |
US8195648B2 (en) | 2009-10-21 | 2012-06-05 | Microsoft Corporation | Partitioned query execution in event processing systems |
WO2014188500A1 (ja) * | 2013-05-20 | 2014-11-27 | 富士通株式会社 | データストリーム処理の並列化プログラム、及びデータストリーム処理の並列化システム |
-
2016
- 2016-03-28 WO PCT/JP2016/059834 patent/WO2017168497A1/ja active Application Filing
- 2016-03-28 US US15/752,338 patent/US10769153B2/en active Active
- 2016-03-28 JP JP2018507824A patent/JP6505944B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039820A (ja) * | 2009-08-12 | 2011-02-24 | Hitachi Ltd | ストリームデータ処理方法及び装置 |
WO2011070725A1 (ja) * | 2009-12-11 | 2011-06-16 | 日本電気株式会社 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10769153B2 (en) | 2020-09-08 |
WO2017168497A1 (ja) | 2017-10-05 |
US20190391981A1 (en) | 2019-12-26 |
JP6505944B2 (ja) | 2019-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7246381B2 (ja) | 環境要件に基づくコンテナのデプロイメント | |
US10474438B2 (en) | Intelligent cloud engineering platform | |
KR101522014B1 (ko) | 앱 아이콘을 관리하는 방법, 장치 및 기록매체 | |
US9600342B2 (en) | Managing parallel processes for application-level partitions | |
JP6505944B2 (ja) | 計算機システム及びストリームデータ処理システムの設定方法 | |
JP5999574B2 (ja) | データベース管理システム及び計算機システム | |
US9921874B2 (en) | Storage medium, information processing device, and information processing method | |
US20190354403A1 (en) | Deploying embedded computing entities based on features within a storage infrastructure | |
JP7231518B2 (ja) | パッケージ化支援システムおよびパッケージ化支援方法 | |
US20090248596A1 (en) | Configuration information management apparatus, configuration information management program, and configuration information management method | |
JP6256115B2 (ja) | 操作探索プログラム、操作探索方法、および操作探索装置 | |
US11544108B2 (en) | Method and apparatus for functional improvements to moving picture experts group network based media processing | |
US20190087167A1 (en) | Generating service images having scrpits for the deployment of services | |
CN110704749B (zh) | 推荐引擎定制系统、推荐方法及推荐系统、电子设备 | |
EP3182298A2 (en) | Smart elastic scaling based on application scenarios | |
JP5962736B2 (ja) | 情報処理システム、分類方法、及びそのためのプログラム | |
US20190370267A1 (en) | Attribute sharing platform for data processing systems | |
JP2018147301A (ja) | 計算機システム及び処理の割当方法 | |
US9898488B2 (en) | Preserving deprecated database columns | |
JP2015095096A (ja) | MapReduceジョブ実行システム、MapReduceジョブ実行方法 | |
US11782763B2 (en) | Resolution of tickets in a multi-tenant environment | |
JP5472885B2 (ja) | プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 | |
US9727362B2 (en) | Execution control method, storage medium, and execution control apparatus | |
KR20130127218A (ko) | 컨텐츠 서비스 장치 및 컨텐츠 서비스 장치의 컨텐츠 병합 서비스 방법 | |
US20240273065A1 (en) | Hadoop distributed file system (hdfs) express bulk file deletion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6505944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |