JP5472885B2 - プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 - Google Patents

プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 Download PDF

Info

Publication number
JP5472885B2
JP5472885B2 JP2012541649A JP2012541649A JP5472885B2 JP 5472885 B2 JP5472885 B2 JP 5472885B2 JP 2012541649 A JP2012541649 A JP 2012541649A JP 2012541649 A JP2012541649 A JP 2012541649A JP 5472885 B2 JP5472885 B2 JP 5472885B2
Authority
JP
Japan
Prior art keywords
stream data
time
data processing
query
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012541649A
Other languages
English (en)
Other versions
JPWO2012059976A1 (ja
Inventor
孝大 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Application granted granted Critical
Publication of JP5472885B2 publication Critical patent/JP5472885B2/ja
Publication of JPWO2012059976A1 publication Critical patent/JPWO2012059976A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

ストリームデータ処理装置に係り、特に、所定の時刻間隔毎にストリームデータを処理するプログラム、ストリームデータ処理方法及びストリームデータ処理装置に関する。
現在、交通状況のモニタリング又は商取引等を行うためのITシステムは、大量に発生する時系列データを処理するため、ストリームデータ処理システムを一般的に備える。
ストリームデータ処理システムは、ストリームデータに付加された時刻情報(以下、タイムスタンプと記載する。)に基づいてストリームデータを処理することによって、高速且つリアルタイムな時系列処理を提供する。すなわちストリームデータ処理システムは、ストリームデータに付加されるタイムスタンプの値の違いに基づいて、個々のストリームデータを識別する(非特許文献1参照)。以下に、タイムスタンプに関する処理について、種々のストリームデータ処理システムを説明する。
先ず第1に、図13を用いて、従来技術のストリームデータ処理システムによる一処理例を説明する。
従来技術のストリームデータ処理システム1300は、時刻管理部1304及びクエリ処理制御部1306を有する。クエリ処理制御部1306は、ストリームデータをクエリによって処理する機能を有する。時刻管理部1304は、クエリ処理制御部1306がストリームデータを処理するための基準時刻1305を保持する機能を有する。
ストリームデータは、識別子1301、値1302及びタイムスタンプ1303を含む。識別子1301には、各々A〜Eの値が与えられる。また、ストリームデータ処理システム1300では、タイムスタンプ1303が"10時00分00秒"から"10時01分00秒"までの五つのストリームデータ(以下、ストリームデータA〜Eと記載する。)が入力される。クエリ処理制御部1306は、入力された複数のストリームデータの値1302の合計値を算出するクエリによって、ストリームデータを処理する。
時刻管理部1304が、基準時刻1305に"10時00分00秒"を保持する場合、時刻管理部1304は、"10時00分00秒"を示す基準時刻1305をクエリ処理制御部1306に送信する。そして、クエリ処理制御部1306は、ストリームデータA〜Eのうち、タイムスタンプが"10時00分00秒"を示すストリームデータAのみを処理する。この結果、クエリ処理制御部1306は、ストリームデータAの合計値のみを算出する。
その後、時刻管理部1304は、システム時刻を基準時刻1305に加算し、加算された結果によって基準時刻1305を更新する。ここで、システム時刻とは、時刻管理部1304が実装される計算機のオペレーティングシステム(以下、OSという。)が保持する時刻である。そして、クエリ処理制御部1306は、更新された基準時刻1305を参照することによって、次のストリームデータを処理する。
前述のように、従来技術のストリームデータ処理システム1300は、基準時刻1305と同じタイムスタンプを付加されたストリームデータを処理するようになっている。
次いで、第2に、タイムスタンプと時間との関係に関する他の従来技術として、固定的に設定された時刻の情報(以下、時刻精度と記載する。)に基づいてストリームデータのタイムスタンプの違いを判定するストリームデータ処理システムを説明する。時刻精度とは、ストリームデータ処理システム内において、時刻の経過を示す最小の時刻間隔であり、時刻の区分を表現する最小の時間のことである。処理対象となるストリームデータを指定することを可能とする。
図14に、時刻精度を用いるストリームデータ処理システム1400の処理例を模式的に示す。ストリームデータ処理システム1400は、図13に示すストリームデータ処理システム1300と同様に、時刻管理部1404及びクエリ処理制御部1406を有し、更に、時刻精度管理部1407を有する。時刻精度管理部1407は、時刻精度を保持し、この時刻精度は固定的なものである。図14では、時刻精度が「1秒」である例を示している。また、クエリ処理制御部1406は、ストリームデータの合計値を算出するようになっている。この例の場合、時刻精度を用いるストリームデータ処理システム1400では、"10時00分00秒"のタイムスタンプを有するストリームデータA、A´及びBと、"10時00分01秒"のタイムスタンプを有するストリームデータCとを、それぞれ異なる時刻におけるストリームデータとして別々に処理するようになっている。更に、"10時00分00秒"というタイムスタンプを有する3つのストリームデータA、A´及びBの入力を受けたした場合には、時刻制度を用いるストリームデータ処理システム1400は、3つのストリームデータを同じストリームデータとして同時に処理するようになっている。
また、第3に、非特許文献1には、"ウィンドウ"に関する技術も開示されている。ウィンドウとは、理論的に無限に発生するストリームデータを、有限の記憶域によって処理することを目的とし、ストリームデータを所定の時刻間隔又は所定のストリームデータ数によって区切って処理を行う技術である。
図15に、ウィンドウを用いたストリームデータ処理システム1500の処理を模式的に示す。ストリームデータ処理システム1500は、図13に示すストリームデータ処理システム1300及び図14に示すストリームデータ処理システム1400と同様に、時刻管理部1504及びクエリ処理制御部1506を有し、ストリームデータA〜Eが入力されるようになっている。また、クエリ処理制御部1506は、ストリームデータの合計値を算出するクエリによって、ストリームデータを処理する。
更に、ストリームデータ処理システム1400が用いるウィンドウは、所定の時刻間隔によって指定される。例えば、時刻間隔が1分であるとすると、ストリームデータA〜D、即ち10時00分00秒から10時00分59秒までのタイムスタンプが付加されたストリームデータが処理対象として指定される。ストリームデータA、B、C及びDの値1402は、夫々「10」、「-1」、「4」及び「7」である。
ストリームデータ処理システム1400は、ストリームデータAの入力を受けた後、処理結果に「10」を取得する。さらに、ストリームデータBの入力後、ストリームデータAの値1402(「10」)と、ストリームデータBの値1402(「−1」)との合計値を算出し、「9」という結果を取得する。次に、ストリームデータCの入力後、ストリームデータAの値1402と、ストリームデータBの値1402と、ストリームデータCの値1402との合計値を算出し、算出された結果である「13」を、処理した結果として取得する。ここで、指定されたウィンドウの時刻間隔は1分であることから、ストリームデータDまでを処理した結果(「20」)を最終処理結果として出力する。
R.Motwani, J.Widom, A.Arasu, B.Babcock, S.Babu, M.Datar, G.Manku, C.Olston, J.Rosenstein, R.Varma, "Query Processing,Resource Management,and Approximation in a Data Stream Management System", In Proc.of the 2003 Conference on Innovative Data Systems Research(CIDR), January 2003
ここで、大量に発生するストリームデータについて、例えば、10分毎の合計値を出力させるというような、所定の時刻間隔に応じてストリームデータをまとめて処理する場合を考える。
先ず、上記第1で述べた、図13に示すストリームデータ処理システム1300では、システム時刻毎に基準時刻が更新されるため、ストリームデータがシステム時刻毎に処理されるようになる。このようなシステムでは、例えば、10分毎といった所定の時間間隔毎で合計値を出力させるような処理は困難である。
また、上記第2で述べた、時刻精度を利用するストリームデータ処理システムでも、タイムスタンプが時刻精度内であるストリームデータを同じストリームデータとして処理することもできるが、時刻精度は固定的なものであるため、時刻精度より長い時刻間隔で入力された複数のストリームデータをまとめて処理することは困難である。同様に時刻精度より短い時間隔でストリームデータの処理を実行させることもできない。
なお、時刻精度が予め指定されたストリームデータ処理システムにおいて、所定の時刻間隔に存在する複数のストリームデータのタイムスタンプを、システムの時刻精度が示す時刻毎に、同一の時刻に更新することで、時刻精度より長い時刻間隔に含まれるタイムスタンプを有するストリームデータをまとめて処理するようにすることも考えられる。即ち時刻精度を利用するストリームデータ処理システムは、所定の時刻精度内にあるストリームデータを同じストリームデータとして同時に処理する。よって、所定の時間間隔にあるストリームデータのタイムスタンプを時刻精度内の時刻に更新することで、システムは、それらを同じストリームデータであるとして同時に処理することができる。所謂データの丸め込み処理の一つである。
しかしながら、このようにタイムスタンプを時刻精度内の時刻に更新してしまうと、本来のタイムスタンプを破棄することになってしまう。つまり、本来のタイムスタンプを有するストリームデータ(以下、生データと記述する。)の保存ができなくなる。更に、生データの保存を考慮し、生データのタイムスタンプを更新せずに、タイムスタンプが変更されたストリームデータの複製を生成し、その複製データで処理を実行し、生データは別に保存することもできるが、その分、処理負荷の増大やリソースの確保が要求されることになる。
更に、上記第3で述べた、ウィンドウを用いたストリームデータ処理では、図14のようにウィンドウの間隔に含まれる各ストリームデータを逐次処理する。このため、最終的な結果を取得するためにストリームデータをクエリによって4回処理することになる。従って、ウィンドウを用いたストリームデータ処理システムは、複数のストリームデータの処理において、無駄な処理が発生し、処理負荷及び資源負荷を増大させる。
本発明は、ストリームデータ処理の丸め込み処理をより効率的に行うとともにその利便性を向上させることを目的とする。
本発明の代表的な一形態によると、複数のストリームデータの入力を受け、前記ストリームデータを処理するための基準時刻を用いて、前記ストリームデータを処理するストリームデータ処理計算機に、所定の時間の長さを示す時刻精度を保持する機能と、前記ストリームデータに含まれる時刻情報を抽出する機能と、前記抽出された時刻情報から前記基準時刻を減算した結果と、前記時刻精度とを比較する機能と、前記比較の結果、前記減算した結果が小さい場合、ストリームデータを記憶領域に保留する機能と、前記比較の結果、前記減算した結果が大きい場合、前記保留したストリームデータを同一の時刻情報を含むものとして処理する機能と、前記比較の結果、前記減算した結果が大きい場合、前記基準時刻に前記時刻精度を加算する機能と、前記加算された結果によって、前記基準時刻を更新させる機能と、を実現させる。
本発明の一実施形態によると、所定時間内に含まれるストリームデータを効率的に処理することができ又利便性を向上することができる。
本発明の実施形態のストリームデータ処理システムが含まれる計算機システムを示すブロック図である。 本発明の第1の実施形態のストリームデータ処理システムの論理的な構成を示すブロック図である。 本発明の第1の実施形態の時刻精度入力部へファイルによって時刻精度を入力する場合の入力値の例を示す説明図である。 本発明の第1の実施形態の時刻精度入力部へコマンドによって時刻精度を入力する場合の入力値の例を示す説明図である。 本発明の第1の実施形態の時刻精度入力部へCLIによって時刻精度を入力する場合の入力値の例を示す説明図である。 本発明の第1の実施形態の時刻精度入力部へ時刻精度を入力するための入力装置の画面の例を示す説明図である。 本発明の第1の実施形態の時刻精度情報テーブルに格納される時刻精度を示す説明図である。 本発明の第1の実施形態のストリームデータ処理システムの処理の概要を示す模式図である。 本発明の第1の実施形態のストリームデータ処理システムの処理の詳細を示すフローチャートである。 本発明の第2の実施形態のストリームデータ処理システムの論理的な構成を示すブロック図である。 本発明の第2の実施形態のクエリ登録部への入力値の例を示す説明図である。 本発明の第2の実施形態のクエリ登録部への別の入力値の例を示す説明図である。 本発明の第2の実施形態の時刻精度情報テーブルを示す説明図である。 本発明の第2の実施形態の時刻精度情報テーブルを更新する処理を示すフローチャートである。 本発明の第3の実施形態のストリームデータ処理システムの論理的な構成を示すブロック図である。 本発明の第3の実施形態の時刻精度判定部の処理を示すフローチャートである。 従来技術のストリームデータ処理システムによるストリームデータの処理の流れを示す模式図である。 従来技術のストリームデータ処理システムによるストリームデータの処理の流れを示す模式図である。 従来技術のストリームデータ処理システムにおけるウィンドウを用いたストリームデータの処理を示す模式図である。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
(システム構成)
図1は、本発明の実施形態のストリームデータ処理システム107が含まれる計算機システムを示すブロック図である。
図1は、本発明を適用した一実施形態である計算機システム1を示すブロック図である。計算機システム1は、ストリームデータ送信計算機126と、ストリームデータ処理計算機101と、ストリームデータ処理結果計算機127とが、夫々ネットワーク128、ネットワーク129を介して通信可能に接続されて構成される。ストリームデータ送信計算機126は、ストリームデータを生成してストリームデータ処理計算機101に送信する計算機である。ストリームデータ処理計算機101は、ストリームデータの入力を受け、外部からの入力或いは予め設定されたクエリ(要求や問合せ)に応じて、ストリームデータに所定の処理を行い、処理結果を出力する計算機である。ストリームデータ処理結果計算機127は、ストリームデータの処理結果の入力を受け、処理結果の表示やその結果に対して更なる処理を行った結果等を表示する計算機である。
なお、本実施形態では、これらストリームデータ処理計算機101、ストリームデータ送信計算機126及びストリームデータ処理結果計算機127をネットワークで通信可能とする構成としたが、同一計算機上にこれら各計算機の一部又は全部の機能を有する構成としてもよい。
ネットワーク128及びネットワーク129は、インターネット又はWAN等のネットワークである。また、ストリームデータ処理計算機101、ストリームデータ送信計算機126及びストリームデータ処理結果計算機127は、NIC等を介してネットワーク128又はネットワーク129に接続される。
以下に、上述した各計算機の構成について詳細に説明する。
ストリームデータ送信計算機126は、CPU10、主記憶20及び補助記憶装置30を備える計算機であり、ストリームデータをストリームデータ処理計算機101に送信する。図1に示すストリームデータ送信計算機126は一つであるが、本発明の計算機システムは、複数のストリームデータ送信計算機126を備えてもよい。
ストリームデータ送信計算機126の主記憶20には、ストリームデータ送信部及びアプリケーション実行部が含まれる。ストリームデータ送信部21及びアプリケーション実行部22は、CPU10とプログラムとの協働によって構成された機能部である。アプリケーション実行部22は、所定のアプリケーション処理を実行し、その処理によってストリームデータを生成する。ストリームデータ送信部21は、アプリケーション実行部22によって生成されたストリームデータをストリームデータ処理計算機101に送信する。
ストリームデータ処理結果計算機127は、CPU150、主記憶160及び補助記憶装置170を備える計算機であり、所定の処理が行われたストリームデータをストリームデータ処理計算機101から受信する。本実施形態において、計算機システム1のストリームデータ処理結果計算機127は一つであるが、複数のストリームデータ処理結果計算機127を備えてもよい。
主記憶160には、ストリームデータ受信部162及びアプリケーション実行部161が含まれる。ストリームデータ受信部162及びアプリケーション実行部161は、プログラムであり、CPU150と協働によって構成された機能部である。ストリームデータ受信部162は、ストリームデータ処理計算機101から所定の処理が行われたストリームデータを受信する。アプリケーション実行部161は、ストリームデータ処理計算機101から、所定の処理がなされたストリームデータの入力を受け、その処理結果を出力(表示、印刷、データ格納)するための所定のアプリケーションを実行するためのアプリケーションプログラムである。ストリームデータ受信部162は、ストリームデータ処理計算機101から所定の処理が行なわれたストリームデータを受信する。
ストリームデータ処理計算機101は、CPU103、主記憶102、補助記憶装置104、入力装置105及び出力装置106を備える。CPU103は、主記憶102に保持されるプログラムを実行するためのプロセッサである。主記憶102は、一時的な記憶領域を持つ記憶装置である。補助記憶装置104は、ハードディスクドライブ等の不揮発性記憶装置である。
入力装置105は、管理者又はユーザ等が、ストリームデータ処理計算機101にデータを入力するために用いる装置である。入力装置105は、例えば、キーボード又はマウス等である。入力装置105を介して、ストリームデータ送信計算機126から受信したストリームデータの処理内容であるクエリ(要求や問合せ)や後述する時刻精度を入力するができるようになっている。出力装置106は、クエリの入力画面や処理に関する種々の情報を管理者又はユーザ等に、提示するディスプレイや、ストリームデータ処理計算機101による処理の結果を出力するためのプリンタ等から構成される。
主記憶102は、オペレーティングシステム108及びストリームデータ処理システム107を保持する。オペレーティングシステム108は、ストリームデータ処理計算機101に備わるCPU103等のハードウェアに、主記憶102に保持されるプログラムを実行させるためのプログラムである。オペレーティングシステム108は、ストリームデータ処理計算機101において用いられるシステム時刻125を保持する。
ストリームデータ処理システム107は、ストリームデータ送信計算機126から受信したストリームデータを処理し、処理した結果をストリームデータ処理結果計算機127に送信するためのプログラムである。また、本実施形態のストリームデータ処理システム107は、入力装置105から入力されたクエリ等を受信するようになっている。
ストリームデータ処理システム107には、クエリ管理部109、ストリームデータ処理部110、時刻精度管理部111及び時刻管理部112が含まれる。クエリ管理部109、ストリームデータ処理部110、時刻精度管理部111及び時刻管理部112はCPU103が所定のプログラムを実行することによって実現される。
(第1の実施形態)
図2は、本発明の第1の実施形態のストリームデータ処理システム107の論理的な構成を示すブロック図である。第1の実施形態では、管理者やユーザからの入力指定によって任意に設定できる点を特徴の一つとする。
クエリ管理部109は、ストリームデータを処理するクエリを保持するための機能である。クエリは、ストリームデータを処理する方法や処理の内容を示す。
クエリ管理部109は、クエリ登録部113、クエリ解析部114、クエリ情報テーブル115、クエリ定義116及びストリーム定義117を含む。クエリ登録部113は、管理者又はユーザ等によって入力されたクエリを、クエリ解析部114を介してクエリ情報テーブル115に格納するための機能である。
クエリ情報テーブル115は、クエリ定義116及びストリーム定義117を保持することによって、ストリームデータへの処理内容を示すクエリを保持する。ストリーム定義117には、ストリームデータの種類等、ストリームデータを識別するための情報が含まれ、クエリ定義116には、ストリーム定義117が示すストリームデータに対応するクエリが含まれる。
クエリ解析部114は、クエリ登録部113から送信されたクエリを、クエリ情報テーブル115に格納する。また、クエリ解析部114は、クエリ情報テーブル115を参照することによって、ストリームデータへの処理内容を示すクエリを抽出する。そして、ストリームデータ処理部110にクエリを送信する。
なお、クエリ解析部114は、クエリとともに、クエリに関する情報をストリームデータ処理部110に送信してもよい。このクエリに関する情報には、クエリを一意に識別するための識別子が含まれる。
ストリームデータ処理部110は、ストリームデータ送信計算機126から送信されたストリームデータを、クエリ管理部109から送信されるクエリによって処理するための機能である。そして、クエリによって処理されたストリームデータを、ストリームデータ処理結果計算機127に送信するための機能である。
ストリームデータ処理部110は、ストリームデータ受信部118、クエリ処理制御部119及びストリームデータ送信部120を含む。ストリームデータ受信部118は、ストリームデータ送信計算機126から送信されるストリームデータを受信するための機能である。
クエリ処理制御部119は、クエリ解析部114から送信されたクエリと、時刻管理部112から送信された基準時刻124とに基づいて、ストリームデータを処理するための機能である。ストリームデータ送信部120は、クエリ処理制御部119において、クエリによって処理されたストリームデータを、ストリームデータ処理結果計算機127に送信するための機能である。
時刻精度管理部111は、本実施形態の時刻精度を保持するための機能である。時刻精度管理部111は、時刻精度情報テーブル122及び時刻精度入力部123を含む。
時刻精度情報テーブル122は、時刻精度の値を保持する。時刻精度入力部123は、管理者又はユーザ等によって入力された時刻精度の値を、入力装置105を介して受信し、受信された時刻精度の値を時刻精度情報テーブル122に格納するための機能である。
時刻管理部112は、基準時刻124を保持するための機能である。時刻管理部112は、時刻精度管理部111から時刻精度を取得する。そして、時刻管理部112は、基準時刻124と時刻精度とをクエリ処理制御部119に送信する。
図3Aは、第1の実施形態の時刻精度入力部123へファイルによって時刻精度を入力する場合の入力値の例を示す説明図である。
管理者又はユーザ等は、入力装置105を介して、時刻精度を時刻精度入力部123へ入力する。図3Aに示す入力値301は、時刻精度情報テーブル122に時刻精度を格納するためのファイル等に記載する例である。時刻精度入力部123は、入力装置105から、時刻精度を格納するためのファイルを受信し、受信されたファイルから時刻精度を抽出する。
図3Bは、第1の実施形態の時刻精度入力部123へコマンドによって時刻精度を入力する場合の入力値の例を示す説明図である。
図3Cは、第1の実施形態の時刻精度入力部123へCLIによって時刻精度を入力する場合の入力値の例を示す説明図である。
また、管理者又はユーザ等は、図3Bに示す入力値302のようにコマンドによって時刻精度を時刻精度入力部123へ入力してもよい。また、管理者又はユーザ等は、図3Cの入力値302のように、入力装置105によって提供されるCLI(Comand Line Interface)によって時刻精度を時刻精度入力部123へ入力してもよい。
図3Dは、第1の実施形態の時刻精度入力部123へ時刻精度を入力するための入力装置105の画面304の例を示す説明図である。
管理者又はユーザ等は、図3Dに示す画面304のように、入力装置105によって提供されるGUIによって時刻精度を時刻精度入力部123へ入力してもよい。図3Dに示す画面304では、入力された時刻精度の数値は10であり、時刻精度の単位は分である例を示している。
なお、図3A〜図3Dに示す時刻精度入力部123への入力するための方法は、例であり、時刻精度の数値を時刻精度入力部123に入力できれば、いかなる方法を用いてもよい。
図4は、第1の実施形態の時刻精度情報テーブル122に格納される時刻精度を示す説明図である。
時刻精度入力部123は、入力装置105から入力された時刻精度を、図4に示す時刻精度情報テーブル122に格納する。時刻精度情報テーブル122は、時刻精度の数値を数値401に保持し、時刻精度の単位を単位402に格納する。
なお、図4に示す時刻精度情報テーブル122は例であり、時刻精度の値を保持できれば、時刻精度情報テーブル122がいかなる方法によって時刻精度を保持してもよい。
次に、以上の構成を有する計算機システム1の処理について説明する。
図5は、第1の実施形態のストリームデータ処理システム107の処理の概要を示す模式図である。
図5は、本実施形態のストリームデータ処理システム107、時刻精度管理部111、時刻管理部112及びクエリ処理制御部119を示す。なお、図5ではクエリ管理部109(図2)等は省略している。クエリ処理制御部119は、クエリを解析し、その内容に従って種々の演算を行う。本実施形態では、ストリームデータの合計値を算出することを例に説明するものとする。
先ず、ストリームデータ処理システム107は、ストリームデータA〜Eを受信する(入力を受ける)。ストリームデータA〜Eは、識別子201、値202及びタイムスタンプ203を含む(上述の従来技術で述べた図13や図14の、識別子1301、値1302及びタイムスタンプ1303等と同様である)。
時刻精度管理部111は、時刻精度が1分であることを示す情報を保持する。また、時刻管理部112は、基準時刻124に10時00分00秒を保持する。この時、クエリ処理制御部119は、基準時刻124から1分の時刻精度によって、ストリームデータを処理する。即ちクエリ処理制御部119は、10時00分00秒を示すタイムスタンプを付加されたストリームデータAから10時00分00秒から1分の間を示すタイムスタンプを付加されたストリームデータDまでを、同じストリームデータであると識別して処理する。具体的には、ストリームデータA〜Dを同じストリームデータであると識別し、更に、ストリームデータA〜Dの合計値をまとめて演算する。つまり、クエリ処理制御部119は、ストリームデータA〜Dの合計値を取得するため、1回だけ、クエリによって処理する。
また、時刻精度を利用する構成であることから、ストリームデータ自体のタイムスタンプ203を更新することなく、処理する。 クエリ処理制御部119での演算方法について、より詳細に説明すると、従来のストリームデータ処理では、ストリームデータA〜Dという4つのストリームデータの値の合計を算出する場合、先ず1つ目のストリームデータの値A及び2つ目のストリームデータの値Bの合計を演算して出力し、次いで、A、B及び3つ目のストリームデータの値Cの合計を演算して出力し、次いで、A、B、C及び4つ目のストリームデータの値Dの合計を演算して出力する。これに対し、本実施形態のクエリ処理制御部119は、ストリームデータA〜Dを1回の演算によって処理するため、クエリによる処理が従来に比して格段に低減され、性能向上、処理時間の短縮及び負荷の低減を実現できるという特徴がある。本実施形態では、4つのストリームデータの値を合計することを例としているが、演算対象とするストリームデータの数が増加するほど、この演算方法の差がストリームデータ処理での性能等に大きく影響する。
図6は、第1の実施形態のストリームデータ処理システム107の処理の詳細を示すフローチャートである。
図6に示す処理は、ストリームデータを受信する毎に、ストリームデータ処理システム107によって実行される。なお、第1の実施形態において、時刻精度管理部111は、図6に示す処理の前に、管理者又はユーザ等によって時刻精度が入力される。
まず、クエリ処理制御部119が、主記憶102の所定のメモリ空間上にストリームデータの入力を検出すると、時刻管理部112は、クエリ処理制御部119から送信される指示に従って、時刻精度管理部111に含まれる時刻精度情報テーブル122から時刻精度を取得する(S601)。なお、クエリ処理制御部119から時刻管理部112に送信される指示には、基準時刻124をクエリ処理制御部119に送る指示が含まれる。
そして、S601におけるクエリ処理制御部119は、基準時刻124と時刻精度とを、時刻管理部112から受信する。さらに、S601におけるクエリ処理制御部119は、入力を検出したストリームデータのうち、最も先に入力され、かつ、クエリに応じた処理がまだされていないストリームデータを抽出し、抽出されたストリームデータに付加されたタイムスタンプ203を、さらに抽出する。
またクエリ処理制御部119は、ストリームデータを受信した際、クエリ解析部114にストリームデータを処理すべきクエリを要求し、クエリ解析部114からクエリを受信する。
S601又はS607の後、クエリ処理制御部119は、S601又はS607において抽出されたタイムスタンプ203から、基準時刻124を減算することによって、ストリームデータのタイムスタンプ203と基準時刻124との時刻差を算出する(S602)。
S602の後、クエリ処理制御部119は、S602において算出された時刻差が、S601において受信した時刻精度よりも小さい値であるか否かを判定する(S603)。S602において算出された時刻差が、S601において取得された時刻精度以上であると判定された場合、受信されたストリームデータを処理するため、クエリ処理制御部119は、S604に移行する。
S602において算出された時刻差が、S601において受信された時刻精度よりも小さい値であると、S603において判定された場合、クエリ処理制御部119は、S602において時刻差を算出したストリームデータを保持する(S606)。そして、S606において保持されたストリームデータの次に受信されたストリームデータを抽出し、抽出されたストリームデータに付加されたタイムスタンプ1303を、さらに抽出する(S607)。
S602、S603、S606及びS607の処理を繰り返すことによって、クエリ処理制御部119は、基準時刻124から時刻精度が示す時間までにタイムスタンプ203が含まれるストリームデータを保持する。なお、S602、S603、S606及びS607の処理は、時刻管理部112によって行われてもよい。
なお、S602、S603、S606及びS607の処理を時刻管理部112が行う場合、時刻管理部112は、ストリームデータのタイムスタンプをクエリ処理制御部119を介して取得する。そして、基準時刻124から時刻精度が示す時間までにタイムスタンプ203が含まれるストリームデータをクエリ処理制御部119に送る。
S603の後、クエリ処理制御部119は、クエリ処理制御部119に保持されたストリームデータを、クエリ解析部114から送信されたクエリによって処理する(S604)。S604におけるクエリ処理制御部119は、基準時刻124における処理として、ストリームデータを処理した結果をストリームデータ送信部120に送信する。
S604の処理によってクエリ処理制御部119は、基準時刻124から時刻精度が示す時間までに、タイムスタンプ203が含まれるストリームデータを、同じ基準時刻124におけるストリームデータとして処理することができる。
S604の後、時刻管理部112は、時刻管理部112に保持される基準時刻124に、時刻精度が示す時間を加算し、加算された結果によって基準時刻124を更新する(S605)。時刻管理部112は、S604が終了する際に、クエリ処理制御部119から処理が終了した旨を受信することによってS605を開始する。
S605の処理によって、時刻管理部112は、基準時刻124を時刻精度ごとに更新することができる。
S605の後、ストリームデータ処理システムは、S601に戻る。そして、S601において時刻管理部112は、更新後の新たな時刻精度を取得する。
ここで、S605の処理の後、S601において抽出されるタイムスタンプ203は、S603において、時刻差が時刻精度以上であると判定された際のタイムスタンプ203と同じである。すなわち、クエリ処理制御部119は、前回処理されたS603において、別のストリームデータであると識別されたストリームデータを、再度S601において処理する。
図6に示す処理によって、クエリ処理制御部119は、受信されたストリームデータのタイムスタンプ203を更新することなく、時刻精度毎に、受信されたストリームデータをクエリによって処理できる。
なお、図6のS602、S603、S606及びS607は、クエリ処理制御部119によって実行されたが、時刻管理部112によって実行されてもよい。この時、時刻管理部112は、ストリームデータ受信部118からストリームデータのタイムスタンプ203を受信することによって、S602、S603を実行し、S606において、ストリームデータをクエリ処理制御部119に入力するよう、ストリームデータ受信部118に指示してもよい。
以上が、第1実施形態の説明である。
本実施形態によれば、ストリームデータを丸め込んで処理する場合に、ストリームデータのタイムスタンプを書き換えることがない、よって、オリジナルのストリームデータを損なうことがないという効果がある。
また、本実施形態では、ストリームデータを丸め込んで処理する場合に、更に、丸め込みの対象とするストリームデータに対する演算性能向上、負荷低減及び処理時間の短縮という効果がある。
また本実施形態では、入力装置105を介して、管理者やユーザ等から任意の時刻精度を指定することができるようになっていることから、ストリームデータの丸め込み処理の利便性が向上するという効果がある。
(第2の実施形態)
次に、第2の実施形態について説明する。第2の実施形態は、クエリによって時刻精度を制御する点を特徴の一つとする。
図7は、本発明の第2の実施形態のストリームデータ処理システム107の論理的な構成を示すブロック図である。
図7に示すストリームデータ処理システム107は、図2に示す第1の実施形態のストリームデータ処理システム107と異なり、時刻精度入力部123を必ずしも有する必要がない構成である。そして、時刻精度情報テーブル122は、クエリ解析部114と接続される。このため、時刻精度管理部111以外の、第2の実施形態のストリームデータ処理システム107の要素は、第1の実施形態のストリームデータ処理システム107の要素と同じである。
また、第2の実施形態のストリームデータ処理システム107が含まれる計算機システムは、図1に示す計算機システム1と同じである。
図8Aは、本発明の第2の実施形態のクエリ登録部113への入力値1001の例を示す説明図である。
図8Bは、本発明の第2の実施形態のクエリ登録部113への別の入力値1002の例を示す説明図である。
管理者又はユーザ等は、入力装置105を介して、入力値1001又は入力値1002をクエリ登録部113に入力する。入力値1001及び入力値1002には、共に、クエリQ1を用いる処理には、時刻精度を10分とすることを示す情報が含まれる。
図9は、本発明の第2の実施形態の時刻精度情報テーブル122を示す説明図である。
第2の実施形態の時刻精度情報テーブル122は、第1の実施形態の時刻精度情報テーブル122と同様に、数値401及び単位402を含む。そして、第2の実施形態の時刻精度情報テーブル122は、さらにクエリ名403を含む。クエリ名403には、クエリを一意に示す識別子が格納される。第2の実施形態の時刻精度情報テーブル122は、クエリ名403毎に、数値401及び単位402を含む。
クエリ登録部113は、図8A又は図8Bに示すようなクエリを登録された後、登録されたクエリをクエリ解析部114に送信する。クエリ解析部114は、クエリ登録部113から送信されたクエリに関する情報を、時刻精度管理部111に送る。時刻精度管理部111は、受信したクエリに関する情報に基づいて、時刻精度情報テーブル122を更新する。
図10は、本発明の第2の実施形態の時刻精度情報テーブル122を更新する処理を示すフローチャートである。
クエリがクエリ情報テーブル115に新たに格納されるか又はクエリ情報テーブル115に格納されたクエリが変更された後、クエリ解析部114は新たなクエリに関する情報、又は、変更されたクエリに関する情報を時刻精度管理部111に送信する(S501)。
クエリに関する情報には、クエリを一意に識別するための識別子が含まれる。クエリを一意に識別するための識別子は、クエリ名403に対応する。
時刻精度管理部111は、クエリ解析部114から送信されたクエリに関する情報から識別子を抽出し、抽出された識別子を時刻精度情報テーブル122のクエリ名403に格納する(S502)。なお、S501において、クエリがクエリ情報テーブル115から削除される場合、S502において時刻精度管理部111は、時刻精度情報テーブル122から削除されたクエリを含む行を削除してもよい。
S502の後、時刻精度管理部111は、クエリ解析部114から送信されたクエリに関する情報に、時刻精度を指定する情報が含まれているか否かを判定する(S503)。S503において、クエリ解析部114から送信されたクエリに関する情報に、時刻精度を指定する情報が含まれていないと判定された場合、時刻精度管理部111は、時刻精度情報テーブル122に含まれる時刻精度の情報を変更する必要がないため、図10に示す処理を終了する。
S503において、クエリ解析部114から送信されたクエリの情報に、時刻精度を指定する情報が含まれていると判定された場合、時刻精度情報テーブル122に時刻精度の情報を格納するため、時刻精度管理部111は、S504に移行する。時刻精度管理部111は、クエリ解析部114から送信されたクエリの情報から時刻精度を示す情報を抽出する。そして、抽出された時刻精度を示す情報のうち、数値部分を数値401に格納し(S504)、単位部分を単位402に格納する(S505)。
図10に示す処理によって、クエリに含まれる時刻精度を、時刻精度情報テーブル122に格納することが可能である。
第2の実施形態において、クエリ処理制御部119は、ストリームデータを処理するため、図6に示す処理を実行する。ただし、第2の実施形態の時刻管理部112は、図6のS601において、基準時刻124をクエリ処理制御部119に送る指示とともに、クエリ処理制御部119が用いるクエリに関する情報を、クエリ処理制御部119から送信される。クエリに関する情報は、クエリ解析部114がクエリ処理制御部119に送信した情報であり、クエリ名403に対応する識別子が含まれる。
第2の実施形態の時刻管理部112は、S601において、クエリに関する情報に基づいて時刻精度情報テーブル122を検索する。そして、検索結果に基づいて、クエリに関する情報に対応する数値401及び単位402を抽出し、抽出結果が示す時刻精度を取得する。
以上が、第2の実施形態の説明である。 本実施形態によれば、クエリ処理制御部119が用いるクエリによって、時刻精度を変更することが可能である。また、第2の実施形態のストリームデータ処理システムは、クエリによって時刻精度を指定されることによって、クエリ毎に時刻精度を保持することができるという効果がある。
なお、本実施形態は、クエリによって時刻精度を制御する構成となっているが、第1の実施形態で述べた入力装置105を介してのユーザ設定の構成と併用することも当然に可能である。クエリ毎に時刻精度を制御可能であるとともに任意の時刻精度を適宜設定できることから、更に、ストリームデータ処理の利便性が向上する。また、第1の実施形態のユーザによる時刻精度指定と、第2の実施形態のクエリを用いた時刻精度指定とをモードの切替により使い分ける構成や、競合する場合に両者のいずれかを優先する等の構成とすることは当然に可能である。
(第3の実施形態)
次に、第3の実施形態について説明する。第3の実施形態は、時刻精度をストリームデータから算出することを特徴の一つとする。
図11は、本発明の第3の実施形態のストリームデータ処理システム107の論理的な構成を示すブロック図である。
第3の実施形態のストリームデータ処理システム107において、時刻精度管理部111は、時刻精度判定部121を含む。時刻精度判定部121は、ストリームデータ受信部118によって受信されたストリームデータを参照し、時刻精度を算出するための機能である。
第3の実施形態のストリームデータ処理システム107の要素は、時刻精度判定部121以外、第1の実施形態のストリームデータ処理システム107と同じ要素である。また、第2の実施形態のストリームデータ処理システム107が含まれる計算機システムは、図1に示す計算機システムと同じである。
図12は、本発明の第3の実施形態の時刻精度判定部121の処理を示すフローチャートである。
図12に示す処理は、ストリームデータ受信部118がストリームデータを受信する毎に、時刻精度判定部121によって実行されてもよい。また、1週間又は1カ月などの所定の周期において実行されてもよい。
まず、時刻精度判定部121は、ストリームデータ受信部118によって受信されたストリームデータのタイムスタンプ203を取得する(S1201)。
S1201の後、時刻精度判定部121は、S1201においてタイムスタンプ203を取得されたストリームデータよりも、一つ前に受信されたストリームデータのタイムスタンプ203を取得する。そして、S1201において取得したタイムスタンプ203から、一つ前に受信されたストリームデータのタイムスタンプ203を減算することによって、二つの連続したストリームデータの時刻差を算出する。そして、算出された時刻差を主記憶102等に一時的に保持する。(S1202)。
S1202の後、時刻精度判定部121は、主記憶102等に保持された複数の時刻差に基づいて、以前に受信された二つの連続したストリームデータの時刻差の平均値を算出する(S1203)。さらにS1203の後、S1203において算出された時刻差の平均値と時刻精度情報テーブル122に格納される時刻精度とが相違するか否かを判定する(S1204)。
S1204において、時刻差の平均値と時刻精度情報テーブル122に格納される時刻精度とが等しいと判定された場合、時刻精度判定部121は、時刻精度を更新する必要がないため、S1201に戻る。
S1204において、時刻差の平均値と時刻精度情報テーブル122に格納される時刻精度とが相違すると判定された場合、時刻精度を、時刻差の平均値に更新するため、時刻精度判定部121は、時刻精度情報テーブル122の数値401及び単位402に、時刻差の平均値を格納する(S1205)。そして、S1205の後、時刻精度判定部121は、S1201に戻る。
なお、S1202において時刻精度判定部121は、例えば、五つの連続したストリームデータA〜Eの各々のストリームデータのタイムスタンプ203を取得し、最も古く受信されたストリームデータAから最も新しく受信されたストリームデータEまでの時刻差を算出してもよい。そして、S1203において、五つの連続したストリームデータの時刻差の平均値を算出し、算出された時刻差の平均値と時刻精度とを、S1204において比較してもよい。
前述の例によれば、時刻精度判定部121は、所定の個数のストリームデータを処理するための時刻精度を算出することができる。
また、クエリ処理制御部119が用いるクエリによって、時刻精度を判定してもよい。すなわち、時刻精度管理部111は、クエリ解析部114から送信されるクエリに関する情報を、クエリ処理制御部119及び時刻管理部112を介して取得してもよい。そして、S1205において、クエリに関する情報が示すクエリ名403と対応させて、数値401及び単位402に、時刻差の平均値を格納してもよい。
さらに、第3の実施形態のクエリ処理制御部119も、ストリームデータをクエリによって処理する際、図6に示す処理と同じ処理を実行する。
以上が第3の実施形態の説明である。
本実施形態によれば、管理者又はユーザ等によって、時刻精度を入力されることなく、自動的に時刻精度を算出することができる。
また、本実施形態によれば、時刻精度を変更することによって、所定時間内に含まれるストリームデータを効率的に処理し、処理の遅延及び資源への負荷を低減することができる。すなわち、無駄な処理を実行することなく、所定時間内に含まれる複数のストリームデータを処理することができる。
なお、本実施形態のストリームデータ処理システムは、第1、第2及び第3の実施形態のうち少なくとも二つの実施形態によって実装されることが可能である。
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
特に、上記種々の処理の一部又は全部を、ソフトウェア又はハードウェアで構成することも可能である。また、ソフトウェアは、磁気記憶媒体、光学式記録媒体、SSD(Solid state Disk)等の半導体記録媒体など、種々の記録媒体に格納することも当然に可能であるし、ネットワーク等を介してダウンロードすることも可能である。
本発明は、複数のストリームデータを処理するストリームデータ処理システムに適用できる。

Claims (18)

  1. 複数のストリームデータの入力を受け、前記ストリームデータを処理するための基準時刻を用いて、前記ストリームデータを処理するストリームデータ処理計算機に、
    所定の時間の長さを示す時刻精度を保持する機能と、
    前記ストリームデータに含まれる時刻情報を抽出する機能と、
    前記抽出された時刻情報から前記基準時刻を減算した結果と、前記時刻精度とを比較する機能と、
    前記比較の結果、前記減算した結果が小さい場合、ストリームデータを記憶領域に保留する機能と、
    前記比較の結果、前記減算した結果が大きい場合、前記保留したストリームデータを同一の時刻情報を含むものとして処理する機能と、
    前記比較の結果、前記減算した結果が大きい場合、前記基準時刻に前記時刻精度を加算する機能と、
    前記加算された結果によって、前記基準時刻を更新させる機能と、
    を実現させることを特徴とするプログラム。
  2. 請求項1に記載のプログラムであって、
    前記時刻精度を更新する指示を受信する機能と、
    前記受信した指示に応じて前記時刻精度を更新する機能と、
    を更に実現させることを特徴とするプログラム。
  3. 請求項2に記載のプログラムであって、
    前記時刻精度を更新する指示を、前記ストリームデータ処理計算機が備えるデータ入力装置を介して受信する機能を実現させることを特徴とするプログラム。
  4. 請求項2又は3に記載のプログラムであって、
    クエリによって前記ストリームデータを処理する機能と、
    前記クエリを更新する指示を受信する機能と、
    前記受信したクエリを更新する指示に含まれる時刻精度を抽出する機能と、
    前記抽出した時刻精度を保持する機能と、
    を更に実現させることを特徴とするプログラム。
  5. 請求項1に記載のプログラムであって、
    前記抽出した各時刻情報に基づいて、前記時刻精度を算出する機能と、
    前記算出した時刻精度を保持する機能と、
    を実現させることを特徴とするプログラム。
  6. 請求項5に記載のプログラムであって、
    前記抽出した各時刻情報から、連続した所定数のストリームデータの各時刻情報の複数の組を抽出する機能と、
    前記時刻情報の各組のうち最も後に入力された前記ストリームデータの時刻情報と、最も先に入力された前記ストリームデータの時刻情報とを抽出する機能と、
    前記抽出された最も後に入力された前記ストリームデータの時刻情報から、前記最も先に入力されたストリームデータの時刻情報を減算することによって、前記各組の時刻差を算出する機能と、
    前記複数の組の時刻差の平均値を算出する機能と、
    前記平均値を保持する機能と、
    を実現させることを特徴とするプログラム。
  7. 複数のストリームデータの入力を受け、前記ストリームデータを処理するための基準時刻を用いて、前記ストリームデータを処理するストリームデータ処理計算機のストリームデータ処理方法であって、
    前記計算機が、
    所定の時間の長さを示す時刻精度を保持し、
    前記ストリームデータに含まれる時刻情報を抽出し、
    前記抽出された時刻情報から前記基準時刻を減算した結果と、前記時刻精度とを比較し、
    前記比較の結果、前記減算した結果が小さい場合、ストリームデータを記憶領域に保留し、
    前記比較の結果、前記減算した結果が大きい場合、前記保留したストリームデータを同一の時刻情報を含むものとして処理し、
    前記比較の結果、前記減算した結果が大きい場合、前記基準時刻に前記時刻精度を加算し、
    前記加算された結果によって、前記基準時刻を更新することを特徴とするストリームデータ処理方法。
  8. 請求項7に記載のストリームデータ処理方法であって、
    前記計算機が、更に、
    前記時刻精度を更新する指示を受信し、
    前記受信した指示に応じて前記時刻精度を更新することを特徴とするストリームデータ処理方法。
  9. 請求項8に記載のストリームデータ処理方法であって、
    前記時刻精度を更新する指示を、前記ストリームデータ処理計算機が備えるデータ入力装置を介して受信することを特徴とするストリームデータ処理方法。
  10. 請求項8又は9に記載のストリームデータ処理方法であって、
    前記計算機が、更に、
    クエリによって前記ストリームデータを処理し、
    前記クエリを更新する指示を受信し、
    前記受信したクエリを更新する指示に含まれる時刻精度を抽出し、
    前記抽出した時刻精度を保持することを特徴とするストリームデータ処理方法。
  11. 請求項7に記載のストリームデータ処理方法であって、
    前記計算機が、
    前記抽出した各時刻情報に基づいて、前記時刻精度を算出し、
    前記算出した時刻精度を保持することを特徴とするストリームデータ処理方法。
  12. 請求項11に記載のストリームデータ処理方法であって、
    前記計算機が、
    前記抽出した各時刻情報から、連続した所定数のストリームデータの各時刻情報の複数の組を抽出し、
    前記時刻情報の各組のうち最も後に入力された前記ストリームデータの時刻情報と、最も先に入力された前記ストリームデータの時刻情報とを抽出し、
    前記抽出された最も後に入力された前記ストリームデータの時刻情報から、前記最も先に入力されたストリームデータの時刻情報を減算することによって、前記各組の時刻差を算出し、
    前記複数の組の時刻差の平均値を算出し、
    前記平均値を保持することを特徴とするストリームデータ処理方法。
  13. ストリームデータを処理するための基準時刻を保持する記憶装置と、入力された複数のストリームデータを処理する制御部と、を有するストリームデータ処理計算機であって、
    前記制御部は、
    所定の時間の長さを示す時刻精度を前記記憶装置に保持し、
    前記ストリームデータに含まれる時刻情報を抽出し、
    前記抽出された時刻情報から前記基準時刻を減算した結果と、前記時刻精度とを比較し、
    前記比較の結果、前記減算した結果が小さい場合、ストリームデータを記憶領域に保留し、
    前記比較の結果、前記減算した結果が大きい場合、前記保留したストリームデータを同一の時刻情報を含むものとして処理し、
    前記比較の結果、前記減算した結果が大きい場合、前記基準時刻に前記時刻精度を加算し、
    前記加算された結果によって、前記基準時刻を更新することを特徴とするストリームデータ処理計算機。
  14. 請求項13に記載のストリームデータ処理計算機であって、
    前記制御部は、
    前記時刻精度を更新する指示を受信し、
    前記受信した指示に応じて前記時刻精度を更新することを特徴とするストリームデータ処理計算機。
  15. 請求項14に記載のストリームデータ処理計算機であって、
    前記制御部は、
    前記時刻精度を更新する指示を、前記ストリームデータ処理計算機が備えるデータ入力装置を介して受信することを特徴とするストリームデータ処理計算機。
  16. 請求項14又は15に記載のストリームデータ処理計算機であって、
    前記制御部は、
    クエリによって前記ストリームデータを処理し、
    前記クエリを更新する指示を受信し、
    前記受信したクエリを更新する指示に含まれる時刻精度を抽出し、
    前記抽出した時刻精度を保持することを特徴とするストリームデータ処理計算機。
  17. 請求項13に記載のストリームデータ処理計算機であって、
    前記制御部は、
    前記抽出した各時刻情報に基づいて、前記時刻精度を算出し、
    前記算出した時刻精度を保持することを特徴とするストリームデータ処理計算機。
  18. 請求項17に記載のストリームデータ処理計算機であって、
    前記制御部は、
    前記抽出した各時刻情報から、連続した所定数のストリームデータの各時刻情報の複数の組を抽出し、
    前記時刻情報の各組のうち最も後に入力された前記ストリームデータの時刻情報と、最も先に入力された前記ストリームデータの時刻情報とを抽出し、
    前記抽出した最も後に入力された前記ストリームデータの時刻情報から、前記最も先に入力されたストリームデータの時刻情報を減算することによって、前記各組の時刻差を算出し、
    前記複数の組の時刻差の平均値を算出し、
    前記平均値を前記記憶装置に保持することを特徴とするストリームデータ処理計算機。
JP2012541649A 2010-11-02 2010-11-02 プログラム、ストリームデータ処理方法及びストリームデータ処理計算機 Active JP5472885B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/069465 WO2012059976A1 (ja) 2010-11-02 2010-11-02 プログラム、ストリームデータ処理方法及びストリームデータ処理計算機

Publications (2)

Publication Number Publication Date
JP5472885B2 true JP5472885B2 (ja) 2014-04-16
JPWO2012059976A1 JPWO2012059976A1 (ja) 2014-05-12

Family

ID=46024108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012541649A Active JP5472885B2 (ja) 2010-11-02 2010-11-02 プログラム、ストリームデータ処理方法及びストリームデータ処理計算機

Country Status (2)

Country Link
JP (1) JP5472885B2 (ja)
WO (1) WO2012059976A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6313864B2 (ja) * 2014-10-27 2018-04-18 株式会社日立製作所 ストリームデータの処理方法及びストリームデータ処理装置
CN106598823B (zh) * 2016-10-19 2019-01-25 同盾控股有限公司 一种网络行为特征的差量计算方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259365A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd データストリーム処理装置
JP2006338432A (ja) * 2005-06-03 2006-12-14 Hitachi Ltd ストリームデータ処理システムのクエリ処理方法
JP2010108073A (ja) * 2008-10-28 2010-05-13 Hitachi Ltd ストリームデータ処理方法、及びシステム
JP2010108152A (ja) * 2008-10-29 2010-05-13 Hitachi Ltd ストリームデータ処理方法、及びそのシステム
JP2010204880A (ja) * 2009-03-03 2010-09-16 Hitachi Ltd ストリームデータ処理方法、ストリームデータ処理プログラム、および、ストリームデータ処理装置
JP2010217968A (ja) * 2009-03-13 2010-09-30 Hitachi Ltd ストリームデータ処理システムにおける障害回復方法、計算機システム及び障害回復プログラム
JP2010244486A (ja) * 2009-04-10 2010-10-28 Hitachi Ltd データ処理システム、その処理方法、及び計算機
JP2011113273A (ja) * 2009-11-26 2011-06-09 Hitachi Ltd ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259365A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd データストリーム処理装置
JP2006338432A (ja) * 2005-06-03 2006-12-14 Hitachi Ltd ストリームデータ処理システムのクエリ処理方法
JP2010108073A (ja) * 2008-10-28 2010-05-13 Hitachi Ltd ストリームデータ処理方法、及びシステム
JP2010108152A (ja) * 2008-10-29 2010-05-13 Hitachi Ltd ストリームデータ処理方法、及びそのシステム
JP2010204880A (ja) * 2009-03-03 2010-09-16 Hitachi Ltd ストリームデータ処理方法、ストリームデータ処理プログラム、および、ストリームデータ処理装置
JP2010217968A (ja) * 2009-03-13 2010-09-30 Hitachi Ltd ストリームデータ処理システムにおける障害回復方法、計算機システム及び障害回復プログラム
JP2010244486A (ja) * 2009-04-10 2010-10-28 Hitachi Ltd データ処理システム、その処理方法、及び計算機
JP2011113273A (ja) * 2009-11-26 2011-06-09 Hitachi Ltd ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置

Also Published As

Publication number Publication date
JPWO2012059976A1 (ja) 2014-05-12
WO2012059976A1 (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
US10896172B2 (en) Batch data ingestion in database systems
US11983198B2 (en) Multi-cluster warehouse
US11074560B2 (en) Tracking processed machine data
US10909151B2 (en) Distribution of index settings in a machine data processing system
EP3404899B1 (en) Adaptive computation and faster computer operation
US9811577B2 (en) Asynchronous data replication using an external buffer table
JP5952960B2 (ja) 計算機システム、計算機システム管理方法及びプログラム
US10007548B2 (en) Transaction system
US11188423B2 (en) Data processing apparatus and method
CN114675965B (zh) 联邦学习方法、装置、设备和介质
US20130326535A1 (en) Storage medium, information processing device, and information processing method
CN112541513B (zh) 一种模型训练方法、装置、设备及存储介质
US10334028B2 (en) Apparatus and method for processing data
US9286055B1 (en) System, method, and computer program for aggregating fragments of data objects from a plurality of devices
JP5472885B2 (ja) プログラム、ストリームデータ処理方法及びストリームデータ処理計算機
JP6280237B2 (ja) 計算機システム及びデータ処理方法
JP6546704B2 (ja) データ処理方法、分散型データ処理システム及び記憶媒体
JP6193491B2 (ja) 計算機システム
JP5818264B2 (ja) 計算機システム及びジョブネット実行方法
US11314752B2 (en) Computer system and data analysis method
WO2017094194A1 (ja) 計算機システム、及び、装置の管理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140128

R150 Certificate of patent or registration of utility model

Ref document number: 5472885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150