JP5396184B2 - 計算機システム及び複数計算機によるストリームデータ分散処理方法 - Google Patents
計算機システム及び複数計算機によるストリームデータ分散処理方法 Download PDFInfo
- Publication number
- JP5396184B2 JP5396184B2 JP2009178561A JP2009178561A JP5396184B2 JP 5396184 B2 JP5396184 B2 JP 5396184B2 JP 2009178561 A JP2009178561 A JP 2009178561A JP 2009178561 A JP2009178561 A JP 2009178561A JP 5396184 B2 JP5396184 B2 JP 5396184B2
- Authority
- JP
- Japan
- Prior art keywords
- query
- computer
- data
- computer system
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
また、全ての携帯電話について携帯電話の移動速度を算出するクエリ2も6つの分散計算機全てに割り当てることで、分散計算機間での通信を行うことなくクエリを処理できる。さらに北緯aaa東経bbbである地点に来た携帯電話にメッセージを送るクエリ3は北緯aaa東経bbbである地点が割りあたった分散計算機#5に割り当てることで、分散計算機間での通信を行うことなくクエリを処理できる。
上述の実施例により、データソースである端末からのネットワークを介して受信するデータのストリーム処理を分散して実行することができる。
個別クエリマスタレポジトリ815は、情報処理システム801に登録された個別クエリのうち、いずれの分散計算機102でも実行されていないクエリを保存するレポジトリである。
また、図13は、実施例2におけるウインドウ取得部107の処理を示す。 本実施例では、ウインドウ取得部が、図7における判断ステップ706で否であった場合、つまりどの遷移元分散計算機102からもウインドウ受信部からも受信できなかった場合に、個別クエリ取得部の処理フロー (図11) と同様に、管理計算機103に概列名と値を渡しクエリ定義文字列とウインドウ内容のセットのリストを受信する(1311)。
なお、ウインドウ送信部の動作は、実施例1の図6と同様である。
102 計算機
103 マスターデータ管理装置
104 データ分配装置
105 クエリ実行制御部
106 個別クエリ取得部
107 ウインドウ取得部
108 個別クエリ送信部
109 ウインドウ送信部
110 一般クエリ格納部
111 個別クエリ格納部
112 共通クエリ格納部
113 ウインドウ格納部
114 遷移元管理表
115 個別クエリマスタレポジトリ
116 CPU
117 主記憶
118 遷移元管理表管理部
119 ストレージ
120 CPU
121 主記憶
122 ストレージ
Claims (20)
- 計算機システムであって、
第一のメモリを有しクエリを実行可能な第一の計算機と、第二のメモリを有し前記クエリ
を実行可能な第二の計算機とを、備え、
前記第一の計算機は、
外部デバイスからネットワークを介して、ストリームデータを受信し、前記クエリを実行
する場合、前記第一のメモリに当該データを保持する第一の保持領域が構成されているか
否かを判定し、
前記第一の保持領域が構成されていた場合、前記第一の保持領域にストリームデータを格
納し、前記第一の保持領域に保持されているデータを用いて前記クエリを実行し、
前記第一の保持領域が構成されていなかった場合、受信したストリームデータに含まれる
識別子を前記第二の計算機に送信し、
前記第二の計算機から前記第一の保持領域に保持すべきデータを受信し、
前記第一のメモリに、前記受信した保持すべきデータと、前記ストリームデータとを保持
する第一の保持領域を構成し、
前記第一の保持領域に保持されるデータを用いて前記クエリを実行する、
ことを特徴とする計算機システム。 - 請求項1記載の計算機システムであって、
前記第二の計算機は、
前記第二のメモリに前記クエリに用いるデータを保持する第二の保持領域を構成し、
前記第一の計算機から、前記識別子を受信した場合、
前記第二の保持領域に保持される前記識別子に関連するデータを前記第一の計算機に送信
する、
ことを特徴とする計算機システム。 - 請求項2記載の計算機システムであって、
前記第二の計算機は、さらに、前記識別子に基づいて、該当する保持領域が構成されてい
るか否かについて前記第2のメモリを検索する、ことを特徴とする計算機システム。 - 請求項2記載の計算機システムであって、
前記第2の計算機は、さらに、前記第二の保持領域の構成を前記第二のメモリから削除す
る、ことを特徴とする計算機システム。 - 請求項2記載の計算機システムであって、
前記第2の計算機は、前記クエリに関する実行木から、前記第2の保持領域に保持される
データをダンプして取得する、ことを特徴とする計算機システム。 - 請求項1記載の計算機システムであって、
前記第一の保持領域は、ウインドウであって、前記ウインドウが前記クエリに対応付けら
れていることを特徴とする計算機システム。 - 請求項1記載の計算機システムであって、
前記識別子は、前記クエリに定義されている”partition by ”により指定される識別子
である、ことを特徴とする計算機システム。 - 請求項2記載の計算機システムであって、
前記保持すべきデータは、前記第2の保持領域に保持されているデータであることを特徴
とする計算機システム。 - 請求項1記載の計算機システムであって、
前記第二の計算機は複数有し、
前記第一の計算機が実行するクエリの処理対象であるデータに含まれる識別子は、前記第
二の計算機いずれかが実行するクエリの処理対象であるデータに含まれる識別子とは、同
じ場合、
前記第1の計算機は、前記第二の計算機から前記第二の保持領域に保持されているデータ
を取得する、ことを特徴とする計算機システム。 - 請求項9記載の計算機システムであって、
前記第二の計算機は、第二の保持領域に保持されているデータを削除し、第二のメモリか
ら前記第二の保持領域の構成を削除する、ことを特徴とする計算機システム。 - 請求項1記載の計算機システムであって、
前記第一の計算機が実行するクエリの処理対象であるデータに含まれる識別子と前記第二
の計算機が実行するクエリの処理対象であるデータに含まれる識別子とは、お互いに異な
り、
前記第一の計算機は、前記第二の計算機で実行可能なクエリに必要な情報を、前記第二の
計算機から取得し、異なる識別子で特定されるデータに対して前記第二の計算機で実行可
能なクエリと同一のクエリを実行することを特徴とする計算機システム。 - 請求項1記載の計算機システムであって、
前記第一の計算機は、前記第二の計算機のうち、所定の第二の計算機に前記識別子を送信
する、ことを特徴とする計算機システム。 - 請求項1記載の計算機システムであって、
前記第一の計算機と前記第二の計算機とに接続される管理計算機をさらに備え、
前記管理計算機は、
前記外部デバイスから送信されるデータに含まれる識別子ごとに、当該データを処理す
べき第一の計算機または第二の計算機を決定する、ことを特徴とする計算機システム。 - 請求項1記載の計算機システムであって、
前記第一の計算機と前記第二の計算機とに接続される管理計算機をさらに備え、
前記管理計算機は、
前記第一の計算機に、複数の第二の計算機のうち、前記識別子を含む問い合わせをいず
れか一の第二の計算機に行うべきかを通知する、ことを特徴とする計算機システム。 - 請求項2記載の計算機システムであって、前記外部デバイスは移動体端末であって、前
記識別子は、移動体端末ごとに対応づいて定められ、
前記ストリームデータは、前記識別子と関連付けられた前記移動体端末の位置情報を含む
、ことを特徴する、計算機システム。 - 請求項2記載の計算機システムであって、
前記保持領域に含まれるデータは、前記外部デバイスにより受信したデータ及び前記クエ
リによる実行した結果であることを特徴とする計算機システム。 - 第一の計算機であって、
ネットワークに接続されるネットワークインターフェースと、
前記ネットワークインターフェースに接続されるプロセッサと、
前記プロセッサに接続されるメモリと、を備え、
前記メモリは、クエリが格納され、
前記ネットワークインターフェースは、前記ネットワークを介して外部デバイスからのデ
ータを受信可能で、
前記プロセッサは、
前記外部デバイスからの受信タプルを前記ネットワークインターフェースを介して受信し
た場合は、前記メモリに前記クエリに対応するウインドウが構成されているか否かを判定
し、
前記ウインドウが構成されている場合、前記ウインドウに保持されているタプル及び受信
したタプルを用いて前記クエリを実行し、
前記ウインドウが構成されていない場合、前記受信タプルに含まれる識別子を前記ネットワークインタフェースを介して第二の計算機へ送信し、
前記第二の計算機から前記クエリを実行するために必要なウインドウデータを受信し、
前記受信したウインドウデータ及び前記受信タプルにより前記クエリに対応する前記ウインドウを前記メモリに構成し、
前記クエリを実行する、
ことを特徴とする第一の計算機。 - 請求項17記載の第一の計算機であって、
前記第一の計算機が格納するクエリは、前記第二の計算機が保持するクエリとは、同じ演
算処理を行うクエリであり、
前記第二の計算機から、前記ウインドウに保持されるデータの取得要求を受けた場合は、前記取得要求に対応するデータを前記第二の計算機に前記ネットワークインタフェースを介して送信し、前記ウインドウの構成を前記メモリから削除する、ことを特徴とする第一の計算機。 - 請求項17記載の第一の計算機であって、
前記第一の計算機が格納するクエリは、前記第二の計算機が保持するクエリとは、異なる
演算処理を行うクエリで、
前記プロセッサは、前記第二の計算機が保持するクエリと、前記第二の計算機が保持する
クエリに対応するウインドウデータとを、前記ネットワークインターフェースを介して前
記第二の計算機から取得することを特徴とする第一の計算機。 - 第一のメモリを有しクエリを実行可能な第一の計算機と、第二のメモリを有し前記クエ
リを実行可能な第二の計算機とを、備える計算機システムにおけるクエリ分散処理方法で
あって、
前記第一の計算機は、外部デバイスからネットワークを介して、ストリームデータを受信
し、
前記クエリを実行する場合、前記第一のメモリに当該データを保持する第一の保持領域が
構成されているか否かを判定し、
前記第一の保持領域が構成されていた場合、前記第一の保持領域にストリームデータを格
納し、前記第一の保持領域に保持されているデータを用いて前記クエリを実行し、
前記第一の保持領域が構成されていなかった場合、受信したストリームデータに含まれる
識別子を前記第二の計算機に送信し、
前記第二の計算機から前記第一の保持領域に保持すべきデータを受信し、
前記第一のメモリに、前記受信した保持すべきデータと、前記ストリームデータとを保持
する第一の保持領域を構成し、
前記第一の保持領域に保持されるデータを用いて前記クエリを実行する、
ことを特徴とするクエリ分散処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009178561A JP5396184B2 (ja) | 2009-07-31 | 2009-07-31 | 計算機システム及び複数計算機によるストリームデータ分散処理方法 |
US12/562,516 US8463809B2 (en) | 2009-07-31 | 2009-09-18 | Method and computing system for distributed stream data processing using plural of computers |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009178561A JP5396184B2 (ja) | 2009-07-31 | 2009-07-31 | 計算機システム及び複数計算機によるストリームデータ分散処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011034255A JP2011034255A (ja) | 2011-02-17 |
JP5396184B2 true JP5396184B2 (ja) | 2014-01-22 |
Family
ID=43527980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009178561A Active JP5396184B2 (ja) | 2009-07-31 | 2009-07-31 | 計算機システム及び複数計算機によるストリームデータ分散処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8463809B2 (ja) |
JP (1) | JP5396184B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5634607B2 (ja) * | 2011-07-20 | 2014-12-03 | 株式会社日立製作所 | ストリームデータ処理サーバ及びストリームデータ処理プログラムを記録した記録媒体 |
JP5887418B2 (ja) * | 2012-09-14 | 2016-03-16 | 株式会社日立製作所 | ストリームデータ多重処理方法 |
WO2014188500A1 (ja) | 2013-05-20 | 2014-11-27 | 富士通株式会社 | データストリーム処理の並列化プログラム、及びデータストリーム処理の並列化システム |
US9384302B2 (en) | 2013-06-17 | 2016-07-05 | International Business Machines Corporation | Generating differences for tuple attributes |
JP6114473B2 (ja) * | 2013-06-21 | 2017-04-12 | 株式会社日立製作所 | 時間調整を使用したストリームデータ処理方法 |
JP6442951B2 (ja) | 2014-09-25 | 2018-12-26 | 富士通株式会社 | データ処理方法、データ処理プログラム及びデータ処理装置 |
US20180046671A1 (en) * | 2015-10-30 | 2018-02-15 | Hitachi, Ltd. | Computer scale-out method, computer system, and storage medium |
EP3482033B1 (en) * | 2016-07-05 | 2020-05-27 | Salunda Limited | Sensor for a fingerboard latch assembly |
KR101856454B1 (ko) | 2017-03-06 | 2018-05-10 | 주식회사 티맥스데이터 | 분산처리를 위한 컴퓨팅 장치 |
JP6764446B2 (ja) | 2018-08-09 | 2020-09-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置およびキャリブレーション方法 |
CN111414387B (zh) * | 2020-03-18 | 2021-11-12 | 威讯柏睿数据科技(北京)有限公司 | 一种基于全内存计算对流数据进行查询的方法和设备 |
CN117372076B (zh) * | 2023-08-23 | 2024-07-26 | 广东烟草广州市有限公司 | 一种异常交易数据监控方法、装置、设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4687253B2 (ja) * | 2005-06-03 | 2011-05-25 | 株式会社日立製作所 | ストリームデータ処理システムのクエリ処理方法 |
US7487206B2 (en) * | 2005-07-15 | 2009-02-03 | International Business Machines Corporation | Method for providing load diffusion in data stream correlations |
JP4723301B2 (ja) | 2005-07-21 | 2011-07-13 | 株式会社日立製作所 | ストリームデータ処理システムおよびストリームデータ処理方法 |
US7548937B2 (en) * | 2006-05-04 | 2009-06-16 | International Business Machines Corporation | System and method for scalable processing of multi-way data stream correlations |
US20080016095A1 (en) * | 2006-07-13 | 2008-01-17 | Nec Laboratories America, Inc. | Multi-Query Optimization of Window-Based Stream Queries |
US7945540B2 (en) * | 2007-05-04 | 2011-05-17 | Oracle International Corporation | Method to create a partition-by time/tuple-based window in an event processing service |
US8296316B2 (en) * | 2007-10-17 | 2012-10-23 | Oracle International Corporation | Dynamically sharing a subtree of operators in a data stream management system operating on existing queries |
US7991766B2 (en) * | 2007-10-20 | 2011-08-02 | Oracle International Corporation | Support for user defined aggregations in a data stream management system |
US8335782B2 (en) * | 2007-10-29 | 2012-12-18 | Hitachi, Ltd. | Ranking query processing method for stream data and stream data processing system having ranking query processing mechanism |
US8019747B2 (en) * | 2007-10-30 | 2011-09-13 | Oracle International Corporation | Facilitating flexible windows in data stream management systems |
US7882087B2 (en) * | 2008-01-15 | 2011-02-01 | At&T Intellectual Property I, L.P. | Complex dependencies for efficient data warehouse updates |
US8812487B2 (en) * | 2008-03-06 | 2014-08-19 | Cisco Technology, Inc. | Addition and processing of continuous SQL queries in a streaming relational database management system |
JP5198929B2 (ja) * | 2008-04-25 | 2013-05-15 | 株式会社日立製作所 | ストリームデータ処理方法及び計算機システム |
US8180801B2 (en) * | 2009-07-16 | 2012-05-15 | Sap Ag | Unified window support for event stream data management |
-
2009
- 2009-07-31 JP JP2009178561A patent/JP5396184B2/ja active Active
- 2009-09-18 US US12/562,516 patent/US8463809B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20110029554A1 (en) | 2011-02-03 |
US8463809B2 (en) | 2013-06-11 |
JP2011034255A (ja) | 2011-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5396184B2 (ja) | 計算機システム及び複数計算機によるストリームデータ分散処理方法 | |
US8584136B2 (en) | Context-aware request dispatching in clustered environments | |
CN101859260B (zh) | 用于操作系统中的定时器管理装置和管理方法 | |
JP4612710B2 (ja) | トランザクション並行制御方法、データベース管理システム、およびプログラム | |
CN104506620A (zh) | 一种可扩展的自动化计算服务平台及其构建方法 | |
US8209440B2 (en) | Device-configuration-information optimum arrangement method and device-configuration-information optimum arrangement system | |
CN105187327A (zh) | 一种分布式消息队列中间件 | |
US20150170316A1 (en) | Subgraph-based distributed graph processing | |
US20180165313A1 (en) | Distributing and processing streams over one or more networks for on-the-fly schema evolution | |
CN108595483B (zh) | 数据处理方法及相关装置 | |
JP7081014B2 (ja) | インスタンス数を調整するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム | |
CN111488492A (zh) | 用于检索图数据库的方法和装置 | |
CN110727738A (zh) | 基于数据分片的全局路由系统、电子设备及存储介质 | |
WO2020215752A1 (zh) | 图计算方法及装置 | |
CN105260244A (zh) | 一种分布式系统任务调度的方法和装置 | |
WO2024001754A1 (zh) | 版本控制方法、装置、电子设备及存储介质 | |
CN107729421A (zh) | 存储过程的执行方法、装置及存储介质 | |
CN105354263A (zh) | 基于HBase分布式环境下移动对象并行网格索引同步方法 | |
US20230418681A1 (en) | Intelligent layer derived deployment of containers | |
CN116431290A (zh) | 作业调度方法、装置、设备、介质和程序产品 | |
CN112579557A (zh) | 请求响应方法、装置、系统、计算机系统和可读存储介质 | |
CN106528294A (zh) | 一种资源池管理方法及系统 | |
JP2011197896A (ja) | 計算機システム及びタスクの管理方法 | |
CN107493316B (zh) | 应用运营管理方法、服务器及计算机可读存储介质 | |
CN112286952B (zh) | 实时交通信息的处理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5396184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |