JP4909290B2 - Stream data processing method, the stream data processing program and the stream data processing system - Google Patents

Stream data processing method, the stream data processing program and the stream data processing system Download PDF

Info

Publication number
JP4909290B2
JP4909290B2 JP2008011786A JP2008011786A JP4909290B2 JP 4909290 B2 JP4909290 B2 JP 4909290B2 JP 2008011786 A JP2008011786 A JP 2008011786A JP 2008011786 A JP2008011786 A JP 2008011786A JP 4909290 B2 JP4909290 B2 JP 4909290B2
Authority
JP
Japan
Prior art keywords
data
stream data
information
re
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008011786A
Other languages
Japanese (ja)
Other versions
JP2009177335A (en
Inventor
寛之 内山
一兵衛 内藤
真和 山中
雅司 山室
紀彦 櫻井
展郎 谷口
浩樹 赤間
知洋 長谷川
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2008011786A priority Critical patent/JP4909290B2/en
Publication of JP2009177335A publication Critical patent/JP2009177335A/en
Application granted granted Critical
Publication of JP4909290B2 publication Critical patent/JP4909290B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ストリームデータ処理技術に関する。 The present invention relates to a stream data processing techniques.

従来、各種センサやICタグ、携帯電話等により様々なデータを収集し、この収集したデータにフィルタ処理を行い、所定の利用先へ流通させるストリームデータ処理技術がある。 Conventionally, various sensors and IC tags, to gather various data by the mobile phone or the like, performs a filtering process on the collected data, there is a stream data processing technology to be circulated to a predetermined usage destination. このようなストリームデータ処理技術として、telegraphCQ(非特許文献1参照)が提案されている。 Such stream data processing techniques, telegraphCQ (see Non-Patent Document 1) has been proposed. また、このようなストリームデータ処理技術において、受信したデータをDB(データベース)に蓄積し、このデータの検索を可能とする技術も提案されている(非特許文献2参照)。 Further, in such a stream data processing technique, and stores the received data in the DB (database), also (see Non-Patent Document 2) as proposed technology that enables the retrieval of this data.

前記した技術のいずれもが、単一のサーバがストリームデータ処理を実行するものである。 Any of the above-described technique, in which a single server to run a stream data processing. つまり、前記した複数のサーバがストリームデータ処理を実行することについては考慮されていない。 In other words, no consideration is given to a plurality of servers and the executes the stream data processing. このため、多数の情報源からストリームデータを受信する場合、システム全体の処理能力が低下してしまうという問題があった。 Therefore, when receiving the stream data from a number of sources, the system overall throughput is disadvantageously lowered. また、サーバが複数のストリームデータの取得先からストリームデータを取得する場合において、このストリームデータの取得先を変更した場合でも、このサーバが一連のストリームデータに対し重複や漏れのないフィルタ処理を行うことについて考慮されていなかった。 Also, performed when the server obtains the stream data from the acquisition source of the plurality of stream data, even if you change the acquisition destination of the stream data, the filtering non-overlapping and leakage this server to a series of stream data It has not been considered for it.

そこで、本発明は前記した問題を解決し、様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力が低下しないようにし、かつ、サーバが一連のストリームデータに対し重複や漏れのないフィルタ処理を行うことを目的とする。 The present invention solves the problems described above, even when receiving the stream data from a variety of sources, the overall processing capacity so as not to decrease the system, and, overlapping the server to a series of stream data for the purpose of carrying out the and leak-free filter processing.

請求項1に記載の発明は、(1)複数の情報源端末より送信されたストリームデータを蓄積する複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信する情報管理装置とを備えるストリームデータ処理システムにおけるストリームデータ処理方法であって、前記データ蓄積装置はそれぞれ、前記ストリームデータを蓄積する蓄積データ記憶部と、前記ストリームデータの前記蓄積データ記憶部への出力および自身のキュー部への Invention of claim 1, (1) a plurality of data storage devices for storing the stream data transmitted from the plurality of information sources terminal, (2) filtering to said stream data obtained from the data storage device a plurality of filtering devices for the execution, (3) the per SID indicating the type of stream data, the processing procedure shown the filtering and application procedure of the filtering process to be performed on the stream data having the SID a stream data processing method in the stream data processing system and an information management apparatus for transmitting information to the filter processing unit, each of the data storage device, a storage data storage unit for storing the stream data, the stream data the output and its the accumulated data storage unit to the queue portion of 積を行う1以上の追記部と、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部とを備え、前記情報管理装置は、外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、前記データ蓄積装置へ、前記キュータイプ変更通知を送信し、前記新たな取得先となる追記部を備える前記データ蓄積装置は、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信し、前記キュータイプ変更 And one or more additional write unit for performing a product, the accumulated data storage unit obtains the stream data from a stored data acquisition unit for transmitting the acquired stream data to the recordable portion, the information management apparatus, an external from the device, when receiving the queue type change notification including a change of the filter processing appending section as the acquisition destination of the stream data by the apparatus, and a SID of stream data additional recording section is changed to be the acquisition target, the of procedure information, said to reflect changes of the additional recording portion on the information about the SID of the stream data, to the data storage device, the transmit queue type change notification includes the additional recording portion which becomes the new acquisition destination wherein the data storage device, said to a new acquisition source become appending section, it transmits the queue type change notification, the queue type change 知を受信した追記部は、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、前記蓄積データ取得部は、前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータイプの変更通知の受信時刻以降の Appending section which has received the knowledge records the SID of the stream data being processed in a write-once-section, and a reception time of the queue type change notification to appending section information storing unit of the data storage device, the storage data acquisition unit, when obtaining the stream data from the accumulated data storage unit, determines that refers to the additional recording portion information of the storage unit, the queue type of the additional recording portion to send the stream data the acquired has changed If you, the reception time of the queue type change notification shown in the additional recording portion information, with reference to the reception time of the stream data the acquired reception time of the change notification the queue type reception time of the stream data the earlier of the stream data, the transmit changes to the previous write-once portion, the reception time is later reception time of the change notification the queue type 前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理方法とした。 The stream data, and the stream data processing method characterized in that it does not transmitted to the additional recording portion before the change.

請求項6に記載の発明は、(1)複数の情報源端末より送信されたストリームデータを蓄積する蓄積データ記憶部、前記ストリームデータの前記蓄積データ記憶部への出力と自身のキュー部への蓄積を行う1以上の追記部、および、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部を備える複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信 The invention according to claim 6, (1) storing data storage unit for storing the stream data transmitted from multiple sources terminal, to the output and its queue unit to the storage data storage unit of the stream data 1 or more additional recording section for accumulating, and acquires the stream data from the accumulated data storage unit, a plurality of data storage device comprising a storage data acquiring unit for transmitting the acquired stream data to the recordable portion, ( 2) a plurality of filter processing unit that performs a filtering process on the stream data obtained from the data storage device, for each SID indicating the type of (3) the stream data, run to the stream data having the SID to transmit the filtering and procedure information showing a procedure to apply the filtering to the filtering device る情報管理装置とを備えるストリームデータ処理システムに用いられるコンピュータである前記情報管理装置において、外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信するステップと、前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映するステップと、前記データ蓄積装置へ、前記キュータイプ変更通知を送信するステップと、を実行させ、前記新たな取得先となる追記部を備えるコンピュータである前記データ蓄積装置に、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するステップと、前記キュータイプ In the information management device is a computer used for the stream data processing system comprising a that information management apparatus, from the external device, and changes the filtering appending section comprising an acquisition destination of the stream data by the device, and the acquisition-destination receiving a queue type change notification appending section consisting includes a SID of stream data is changed, out of the procedure information, a step of reflecting the change of the additional recording portion on the information about the SID of the stream data , to the data storage device, and transmitting the queue type change notification is executed, the data storage device is a computer having a write once portion serving as the new acquisition source, serving as the new acquisition destination postscript to parts, and transmitting the queue type change notification, the queue type 更通知を受信した追記部において、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録するステップと、を実行させ、前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信させ、その受信時刻が前記キュータイプの変更通知の受 In receiving the additional notification appending section, and recording the SID of the stream data being processed in a write-once-section, and a reception time of the queue type change notification to appending section information storing unit of the data storage device, was performed, the time for acquiring the stream data from the accumulated data storage unit, the reference to the appending section information storage unit, determines that the queue type of the additional recording portion to send the stream data the acquired has changed If you, the reception time of the queue type change notification shown in the additional recording portion information, with reference to the reception time of the stream data the acquired reception time of the change notification the queue type reception time of the stream data the earlier of the stream data, is transmitted to the additional recording portion before the change, receiving the reception time of the change notification the queue type 信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信させないことを特徴とするストリームデータ処理プログラムとした。 The stream data after the signal time, and the stream data processing program characterized by not transmitted to the additional recording portion before the change.

請求項7に記載の発明は、(1)複数の情報源端末より送信されたストリームデータを蓄積する蓄積データ記憶部、前記ストリームデータの前記蓄積データ記憶部への出力と自身のキュー部への蓄積を行う1以上の追記部、および、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部を備える複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信 The invention according to claim 7, (1) storing data storage unit for storing the stream data transmitted from multiple sources terminal, to the output and its queue unit to the storage data storage unit of the stream data 1 or more additional recording section for accumulating, and acquires the stream data from the accumulated data storage unit, a plurality of data storage device comprising a storage data acquiring unit for transmitting the acquired stream data to the recordable portion, ( 2) a plurality of filter processing unit that performs a filtering process on the stream data obtained from the data storage device, for each SID indicating the type of (3) the stream data, run to the stream data having the SID to transmit the filtering and procedure information showing a procedure to apply the filtering to the filtering device る情報管理装置とを備えるストリームデータ処理システムであって、前記情報管理装置は、外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、前記ストリームデータの新たな取得先となる前記追記部を備える前記データ蓄積装置へ、前記キュータイプ変更通知を送信するデータ再フィルタ制御部を備え、前記データ蓄積装置は、前記キュータイプ変更通知を受信したとき、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するプロセス管理部を備え、 A stream data processing system comprising a that information management apparatus, additional recording the information management device, consisting of an external device, and changes the filtering appending section as the acquisition destination of the stream data by the device, and the acquisition destination when part receives the queue type change notification including the SID of the stream data to be changed, of the procedure information, to reflect changes of the additional recording portion on the information about the SID of the stream data, the stream data to the data storage device comprising the additional recording portion constitute a new acquisition destination, a data re-filter control unit for transmitting the queue type change notification, the data storage device, upon receiving the queue type change notification, the to additional recording portion constitute a new acquisition destination, including a process management unit for transmitting the queue type change notification, 記追記部は、前記キュータイプ変更通知を受信したとき、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、前記蓄積データ取得部は、前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータ Serial appending section, when receiving the queue type change notification, additional recording portion information of the storage unit of the SID of the stream data being processed in a write-once-section, wherein the data storage device and a reception time of the queue type change notifications recorded in the storage data acquiring section, when acquiring the stream data from the accumulated data storage unit, the reference to the appending section information storage unit, the additional recording portion to send the stream data the acquired If it is determined that the queue type is changed, the queue and the reception time of the type change notification, with reference to the reception time of the stream data the acquired reception time the queue for the stream data shown in the additional recording portion information the stream data prior to the reception time of the type of change notification, transmits to the recordable portion prior to the change, the its reception time executor イプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理システムとした。 The stream data reception time after the type of change notification, and a stream data processing system characterized in that it does not transmitted to the additional recording portion before the change.

このようにすることで、ストリームデータ処理システムは、複数のデータ蓄積装置および複数のフィルタ処理装置を用いるので、様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力が低下しないようにすることができる。 In this way, the stream data processing system, since use of a plurality of data storage devices and a plurality of filtering devices, even when receiving the stream data from a variety of sources, the overall system processing capacity it can be prevented from being lowered. また、フィルタ処理装置がストリームデータの取得先となるデータ蓄積装置(データ蓄積装置の追記部)を変更した場合でも、フィルタ処理装置は一連のストリームデータに対し、漏れや重複なくフィルタ処理を行うことができる。 Further, even if the filtration device changes the data storage device as the acquisition destination of the stream data (additional writing of the data storage device), the filtering device with respect to a series of stream data by performing leakage or duplication without filtering can.

請求項2に記載の発明は、請求項1に記載のストリームデータ処理方法において、前記情報管理装置が、前記情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、前記情報源端末は、前記情報管理装置から送信された識別情報に対応する前記データ蓄積装置へ前記ストリームデータを送信し、前記データ蓄積装置の蓄積データ取得部はそれぞれ、前記ストリームデータを取得したとき、この取得したストリームデータを前記追記部に出力するととも When an invention according to claim 2, the stream data processing method according to claim 1, wherein said information management apparatus, from the information source terminal, receives the transmission destination allocation request for the stream data including the SID, stored in the storage unit, for each of the SID, with reference to the system information showing the identification information of the data storage apparatus which is the destination of the stream data of the SID, the destination of the stream data into the information source terminal sends identifying information for a said data storage device, the information source terminal, said to said data storage device corresponding to the identification information transmitted from the information management device transmits the stream data, storage data of the data storage device each acquisition unit, when obtaining the stream data, and outputs the acquired stream data to the recordable portion Tomo 、前記蓄積データ記憶部に出力し、前記フィルタ処理装置は、前記データ蓄積装置の追記部のキュー部におけるキュー状態に基づき、前記ストリームデータの取得先となる前記データ蓄積装置を選択し、前記選択されたデータ蓄積装置の追記部から前記ストリームデータを取得し、前記情報管理装置から受信した前記処理手順情報と、前記取得したストリームデータに付されたSIDとを参照して、前記取得したストリームデータに対し実行すべきフィルタ処理を決定し、前記決定したフィルタ処理を実行し、前記データ蓄積装置はそれぞれ、前記情報源端末からストリームデータを受信し、この受信したストリームデータを前記蓄積データ記憶部に出力したとき、このストリームデータのSIDと、このストリームデータの受信時刻と、 , And outputs the accumulated data storage unit, the filtering unit, based on the queue status of the queue portion of a recordable portion of the data storage device, selects the data storage device as the acquisition destination of the stream data, the selection It has been acquired the stream data from the recordable portion of the data storage device, the information and the procedure information received from the management apparatus, by referring to said attached to the obtained stream data SID, the acquired stream data the filtering process to be executed to determine hand, executes the determined filtering, each of said data storage apparatus receives the stream data from the information source terminal, the received stream data to the storage data storage unit when outputting, the SID of the stream data, and the reception time of the stream data, データ蓄積装置の識別情報およびこのストリームデータの記憶領域を示す情報とを対応付けた追記データ位置情報を作成し、前記情報管理装置へ送信し、前記情報管理装置は、前記データ蓄積装置それぞれから送信された前記追記データ位置情報を記憶部に記憶し、前記外部装置から、当該ストリームデータのSIDおよび受信時刻を含む前記ストリームデータの検索要求を受信したとき、前記検索要求に含まれる前記SIDおよび前記受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、前記検索した追記データ位置情報を前記外部装置へ送信することを特徴とするストリームデータ処理方法とした。 Create the identification information and additional data location information that associates the information indicating the storage area of ​​the stream data in the data storage device, transmits to the information management device, the information management apparatus, transmitted from each of the data storage device by storing the additional data position information in the storage unit, the external device, when receiving a search request for the stream data including the SID and the reception time of the stream data, the SID and the included in the search request the reception time as a key, from the storage unit, searches the additional data location information regarding the stream data, the additional data location information the searched was the stream data processing method, characterized by transmitting to the external device.

このような方法によれば、ストリームデータ処理システムは、複数のデータ蓄積装置および複数のフィルタ処理装置を用いるので、様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力が低下しないようにすることができる。 According to this method, the stream data processing system, since use of a plurality of data storage devices and a plurality of filtering devices, even when receiving the stream data from a variety of sources, overall system throughput There can be prevented from being lowered. また、このフィルタ処理装置はそれぞれ、データ蓄積装置からストリームデータを取得するとき、各データ蓄積装置におけるキュー状態に基づき、ストリームデータを取得するデータ蓄積装置を決定する。 Further, each of the filtering device, when acquiring the stream data from the data storage device, based on the queue status of each data storage device, determines a data storage device for obtaining stream data. 例えば、フィルタ処理装置は、より入力スループットが大きいデータ蓄積装置からストリームデータを取得するようにする。 For example, the filtering device, so as to obtain a stream data from the more input throughput large data storage device. これにより、フィルタ処理装置同士で処理負荷の情報をやりとりしなくても、各フィルタ処理装置同士のフィルタ処理負荷のバランスをとることができる。 Thus, even without exchanging information of the processing load in the filtering process unit together, it is possible to balance the filtering processing load between the filtration device. さらに、データ蓄積装置はそれぞれ、この情報源端末から受信したストリームデータをキュー部に送信するとともに、蓄積データ記憶部にも蓄積する。 Further, each of the data storage device, transmits the stream data received from the source terminal to the queue unit, also stored in the storage data storage unit. そして、データ蓄積装置はそれぞれ、自データ蓄積装置に蓄積したストリームデータの記憶位置を情報管理装置に送信し、情報管理装置は、この記憶位置(追記データ位置情報)を記憶部に記憶する。 Then, each of the data storage device, transmits the stored position of the stream data stored in the own data storage device to the information management apparatus, the information management apparatus stores the storage position (write once data position information) in the storage unit. このようにすることで、情報管理装置は外部装置から再フィルタ処理の対象となるストリームデータの検索要求を受け付けたとき、このストリームデータの記憶位置を外部装置へ応答することができる。 In this way, the information management apparatus when receiving a search request for the stream data to be re-filtering from an external device, it is possible to respond the storage location of the stream data to an external device. つまり、外部装置は、再フィルタ処理の対象のストリームデータの記憶位置を知ることができる。 That is, the external device can know the storage location of the stream data of the target of re-filtering. なお、このような追記データ位置情報を受信した外部装置は、情報管理装置へ再フィルタ処理の指示を送信するとき、この追記データ位置情報をそのまま送信してしてもよいし、この追記データ位置情報に示されるストリームデータのうち、所定のストリームデータを選択して、再フィルタ処理の指示を送信してもよい。 Incidentally, such an external device that receives the additional data location information, when sending the instruction for re-filtering the information management apparatus, to the additional data location information may be transmitted as it is, the additional data position of the stream data shown in the information, and selecting a predetermined stream data may transmit an instruction of re-filtering.

請求項3に記載の発明は、請求項2に記載のフィルタ処理方法において、前記情報管理装置が、情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、前記外部装置から、前記再フィルタ処理の対象であるストリームデータに関する追記データ位置情報と前記再フィルタ処理の内容とを示した再フィルタ指示情報を受信したとき、前記再フィルタ処理の対象とするストリームデータに用いる再フィルタ用SIDを発行し、前記記憶部のシステム情報に Invention according to claim 3, in the filter processing method according to claim 2, wherein when the information management apparatus, the source terminal, receiving the transmission destination allocation request for the stream data including the SID, the storage unit stored in, for each of the SID, the with reference to the system information showing the identification information of the data storage apparatus which is the destination of the stream data of the SID, which is the destination of the stream data into the information source terminal when sending the identification information of the data storage device, from the external device, it receives the re-filter instruction information showing the contents of the write-once data position information about the stream data re-filtering, which is the re-filtering types, issuing the SID for re filter used in the stream data to be subjected to the re-filtering, the system information of the storage unit 前記再フィルタ用SIDと、このSIDを持つストリームデータを蓄積するデータ蓄積装置の識別情報とを対応付けた情報を追加し、前記記憶部の前記処理手順情報に、前記発行した再フィルタ用SIDと、このSIDを持つストリームデータに対する前記再フィルタ処理の内容と対応付けた情報を追加することで、前記再フィルタ処理の内容を前記処理手順情報に反映し、前記再フィルタ処理の内容を反映した処理手順情報を、前記フィルタ処理装置へ送信し、前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置を選択し、この選択したデータ蓄積装置へ前記発行した再フィルタ用SIDを含む前記再フィルタ処理指示情報を送信し、前記再フィルタ処理指示情報を受信したデータ蓄積装置は、前記受信した再フィルタ指 Wherein the re-filter SID, adds information associating the identification information of the data storage device for storing the stream data having the SID, the procedure information of the storage unit, and the SID for re-filters the published , by adding the information associated with the contents of the re-filtering for the stream data having the SID, and reflect the contents of the re-filtering the procedure information, which reflects the contents of the re-filtering process the procedure information, and transmitted to the filtering device, of the plurality of data storage devices, select one of the data storage device, said re-including the SID for re filters the issued to the selected data storage device send filtering instruction information, wherein the data storage apparatus having received the re-filtering instruction information, re-filter finger the received 情報に示される前記データ蓄積装置の記憶領域から、前記再フィルタ処理の対象であるストリームデータを取得し、前記取得した再フィルタ処理の対象であるストリームデータに前記再フィルタ用SIDを付与し、前記再フィルタ指示情報に含まれる再フィルタ用SIDをキーとして、前記情報管理装置から、このデータ蓄積装置が接続すべき前記データ蓄積装置の識別情報を取得し、前記取得した識別情報に示される前記データ蓄積装置へ接続して、このデータ蓄積装置へ前記ストリームデータを送信し、前記フィルタ処理装置は、前記データ蓄積装置の追記部から、前記再フィルタ用SIDを持つストリームデータを取得したとき、前記情報管理装置から受信した前記再フィルタ処理の内容を反映した処理手順情報を参照して、前記フィ From the storage area of ​​the data storage device shown in the information, the acquired stream data is re-filtering types, the SID for the re-filter applied to the stream data which is the acquired re filtering types, the as a key SID for re filter included in the re-filter instruction information, the data from said information management apparatus, acquires identification information of the data storage device to be connected the data storage device is shown in the acquired identification information connected to the storage device, and transmits the stream data to the data storage device, the filtering device, the additional recording portion of the data storage device, when acquiring the stream data having the SID for the re-filter, the information Referring to the procedure information that reflects the contents of the re-filtering received from the management apparatus, the Fi ルタ処理を実行することを特徴とするストリームデータ処理方法とした。 And a stream data processing method characterized by executing the filter processing.

このような方法によれば、外部装置は、情報管理装置から、再フィルタ処理の対象のストリームデータの記憶位置を受信することができる。 According to this method, the external apparatus, from the information management device can receive the storage location of the stream data of the target of re-filtering. つまり、外部装置は、情報管理装置に、この再フィルタ処理の対象のストリームデータの記憶位置を含む再フィルタ指示情報を送信する。 In other words, the external apparatus, the information management apparatus transmits a re-filter instruction information including the storage position of the stream data of the target for the re-filtering. そして、この情報管理装置は、システム内のデータ蓄積装置に、この再フィルタ処理指示情報に示されるデータ蓄積装置から当該ストリームデータを取得させる。 Then, the information management apparatus, a data storage device in the system, thereby obtaining the stream data from the data storage device shown in this re-filtering instruction information. そして、このストリームデータを取得したデータ蓄積装置は、このストリームデータを自データ蓄積装置のキュー部に流し込む。 The data storage device that acquires the stream data, pouring the stream data to the queue portion of its own data storage device. 次に、フィルタ処理装置は、このデータ蓄積装置のキュー部に流し込まれた再フィルタ処理の対象のストリームデータを取得すると、情報管理装置から受信しておいた処理手順情報(再フィルタ処理の内容を反映した処理手順情報)を参照して、このストリームデータに対し、再フィルタ処理を実行することができる。 Next, the filter processor obtains the target stream data re-filtering was poured into a queue of the data storage device, the contents of the procedure information (re filtering had been received from the information management device Referring to procedure information) that reflects, with respect to the stream data, it is possible to perform the re-filtering.

請求項4に記載の発明は、請求項3に記載のストリームデータ処理方法において、前記情報管理装置が、前記外部装置から、前記再フィルタ処理の対象とするストリームデータのSID、受信時刻および当該ストリームデータに対し実行すべき再フィルタ処理の内容を示した再フィルタ指示情報を受信したとき、前記再フィルタ処理の対象とするストリームデータのSIDおよび受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、前記検索した追記データ位置情報および前記再フィルタ処理の内容を示した再フィルタ指示情報を、前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置へ送信することを特徴とするストリームデータ処理方法とした。 Invention according to claim 4, the stream data processing method according to claim 3, wherein the information management device, the external device, the stream data to be subjected to the re-filtering SID, the reception time and the stream when receiving the re-filter instruction information showing the contents of the re-filtering process to be performed on the data, the SID and the reception time of the stream data to be subjected to the re-filtering as a key, from the storage unit, the stream data the searching additional data location information regarding the re-filter instruction information showing the contents of the retrieved additional data position information and the re-filtering, among the plurality of data storage devices, one of the data storage device and a stream data processing method and transmitting.

このような方法によれば、情報管理装置は、外部装置へ再フィルタ処理の対象のストリームデータに関する追記データ位置情報を送信しなくても、フィルタ処理装置において再フィルタ処理を実行することができる。 According to this method, the information management apparatus, without sending the additional data position information about the target of the stream data of the re-filtering process to the external apparatus can execute the re-filtered in filtration device.

請求項5に記載の発明は、請求項3または請求項4に記載のストリームデータ処理方法において、前記情報管理装置が、前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含むか否かを判断し、前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含まないと判断した場合、前記再フィルタ処理指示情報の送信先である前記データ蓄積装置を選択するとき、前記記憶部から検索された当該ストリームデータに関する追記データ位置情報を、当該ストリームデータを有するデータ蓄積装置ごとに分け、前記分けた追記データ位置情報を前記再フィルタ指示情報に含め、当該ストリームデータを有するデータ蓄 The invention described in claim 5, in the stream data processing method according to claim 3 or claim 4, wherein the information management device, the contents of the re-filtering is indicated, re-filter instruction information thus received, the stream determining whether including windowing for data, the contents of the re-filtering processing shown in re-filter instruction information the received, if it is determined not to contain the window processing for the stream data, the re-filtering instruction information wherein when selecting a data storage device, the additional data location information regarding the stream data retrieved from the storage unit is divided for each data storage device having the stream data, the additional data position information divided is the destination of the the included in the re-filter instruction information, data 蓄 with the stream data 装置それぞれへ送信することを特徴とするストリームデータ処理方法とした。 And a stream data processing method and transmitting to the device, respectively.

このような方法によれば、情報管理装置は、再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を行う必要がなければ、当該ストリームデータを有するデータ蓄積装置それぞれが、自データ蓄積装置の蓄積データ記憶部からストリームデータを取得し、追記部に流し込むことになる。 According to this method, the information management apparatus, the contents of the re-filtering, if it is not necessary to perform the window processing for the stream data, each data storage device having the stream data, storage of its own data storage device It acquires stream data from the data storage unit, so that the flow into the additional recording portion. 従って、各データ蓄積装置は再フィルタ処理の対象のストリームデータの読み出しを効率よく行うことができる。 Therefore, the data storage device can be read out target stream data re-filtering efficiency.

本発明によれば、ストリームデータ処理システムが様々な情報源からストリームデータを受信する場合であっても、システム全体の処理能力を低下させない。 According to the present invention, even when the stream data processing system receives a stream data from a variety of sources, it does not reduce the throughput of the entire system. また、ストリームデータ処理システムは、一連のストリームデータに対し漏れや重複なくフィルタ処理を行うことができる。 Further, the stream data processing system, with respect to a series of stream data can be performed leakage or duplication without filtering.

以下、本発明を実施するための最良の形態(以下、実施の形態という)を、第1の実施の形態ないし第3の実施の形態に分けて説明する。 Hereinafter, best mode for carrying out the present invention (hereinafter, referred to as embodiments) will be described with divided into a first embodiment to the third embodiment. なお、各実施の形態におけるストリームデータは、例えば、XML(Extensible Markup Language)形式のデータ等である。 Incidentally, the stream data in each embodiment, for example, data such as the XML (Extensible Markup Language) format.

≪第1の実施の形態≫ «First embodiment»
図1は、第1の実施の形態のストリームデータ処理システムを示すブロック図である。 Figure 1 is a block diagram illustrating a stream data processing system of the first embodiment. ストリームデータ処理システム(以下、適宜システムと略す)は、計測データやログデータ等の時系列で作成されるデータにサービスID(SID)を付し、このデータをストリームデータとして送信する追記クライアント(情報源端末)50(50A〜50N)と、追記クライアント50から送信されたストリームデータを蓄積するデータ蓄積装置20(20A〜20N)と、このデータ蓄積装置20からストリームデータを取得し、フィルタ処理を行うフィルタ処理装置10(10A〜10N)と、フィルタ処理後のストリームデータを蓄積するデータベース装置60(60A〜60N)と、このデータベース装置60からデータの検索を行う参照クライアント(外部装置)70(70A〜70N)と、このデータ蓄積装置20やフィル Stream data processing system (hereinafter, abbreviated as appropriate systems) are denoted by the service ID (SID) to the data generated in time series, such as measurement data and the log data, postscript client (information to transmit this data as a stream data a source terminal) 50 (50a-50n), and additional data storage device 20 stores the stream data transmitted from the client 50 (20A to 20N), acquires stream data from the data storage device 20 performs a filtering process filtering apparatus 10 and (10A to 10N), a database device 60 for storing the stream data after filtering (60a to 60n), see the client (external device) that performs the retrieval of data from the database apparatus 60 70 (70A~ and 70N), the data storage apparatus 20 and fills 処理装置10を動作させるための各種情報を管理する情報管理装置30とを含んで構成される。 Configured to include an information management apparatus 30 that manages various information for operating the processor 10. なお、SIDとは、ストリームデータの種類や、このストリームデータの送信元(情報源)を識別するための識別情報である。 Note that the SID, and the stream data type is identification information for identifying the source of the stream data (information source).

なお、(1)追記クライアント50と、情報管理装置30およびデータ蓄積装置20(20A〜20N)との間、(2)情報管理装置30と、データ蓄積装置20(20A〜20N)との間、(3)データ蓄積装置20(20A〜20N)同士、(4)データ蓄積装置20(20A〜20N)と、フィルタ処理装置10(10A〜10N)との間、(5)フィルタ処理装置10(10A〜10N)と、データベース装置60(60A〜60N)との間、(6)データベース装置60(60A〜60N)と、参照クライアント70(70A〜70N)との間はそれぞれ、図示しないネットワークにより接続される。 Incidentally, (1) and the write-once clients 50, between the information management apparatus 30 and the data storage device 20 (20A to 20N), (2) and the information management unit 30, the data storage device 20 (20A to 20N), (3) data storage device 20 (20A to 20N) each other, (4) a data storage device 20 (20A to 20N), between the filtering device 10 (10A to 10N), (5) filtration device 10 (10A and 10 N), and from the database device 60 (60A~60N), (6) a database device 60 (60a to 60n), respectively between the reference client 70 (70A~70N), it is connected by a network (not shown) that. さらに、追記クライアント50、データ蓄積装置20、フィルタ処理装置10、データベース装置60、参照クライアント70の数は、それぞれN個としたが、これに限定されない。 Furthermore, additional recording client 50, the data storage device 20, the filter processing unit 10, a database unit 60, the number of reference clients 70 is set to N pieces each, but is not limited thereto.

<追記クライアント> <Postscript client>
追記クライアント(外部装置)50は、通信インタフェース等を備えるコンピュータである。 Postscript client (external device) 50 is a computer having a communication interface or the like. この追記クライアント50は、当該追記クライアント50に割当てられたSIDを付したデータを順次ストリームデータとしてデータ蓄積装置20へ送信する。 The postscript client 50 transmits to the data storage apparatus 20 the data denoted by the SID assigned to a write-once-client 50 as sequential stream data.

このとき送信するストリームデータは、各地の気温データや、コンピュータのログ等、時系列で計測されるデータであり、例えば、XML形式で記述される。 Stream data to be transmitted this time is around and temperature data of a data measured by the log or the like, the time series of computers, for example, is described in the XML format. また、追記クライアント50の接続先、つまり、ストリームデータの送信先であるデータ蓄積装置20の追記部221,222は、情報管理装置30から指示された(割り当てられた)ものとする。 Further, the connection destination of the write-once client 50, that is, additional recording portions 221, 222 of the data storage device 20 which is the destination of the stream data is assumed to have been instructed from the information management device 30 (assigned).

<情報管理装置> <Information management device>
情報管理装置30は、フィルタ処理に用いる各種データを蓄積するともに、追記クライアント50の接続先の割り当て、データ蓄積装置20(20A〜20N)におけるストリームデータの蓄積情報(追記データ位置情報)の記録、参照クライアント70からの再フィルタ指示の受け付け等を行う。 Information management apparatus 30, both for storing various data used filtering, the assignment of the destination of the write-once client 50, the recording of the storage information of the stream data in the data storage device 20 (20A to 20N) (additional data location information), to re-filter indication of acceptance or the like from the reference client 70.

このような情報管理装置30は、記憶部32と、接続先割当部31と、データ再フィルタ制御部33と、データ位置管理部34と、情報管理部35と、再起動処理部36とを備える。 Such information management device 30 includes a storage unit 32, a connection destination assignment unit 31, a data re-filter control unit 33, a data location management unit 34, an information management unit 35, and a restart processing section 36 . なお、ここでは図示を省略しているが、情報管理装置30は、各種データの入力を司る入力部と、出力を司る出力部と、CPU(Central Processing Unit)、メモリ、通信インタフェース等を備えるコンピュータにより実現される。 Note that, although illustration is omitted, the information management apparatus 30, the computer comprising: an input unit which controls the input of various data, and an output unit which controls the output, CPU (Central Processing Unit), a memory, a communication interface, etc. It is realized by.

記憶部32は、システム情報321、情報源情報(SID情報)322、スキーマ情報323、処理手順情報324、データ位置管理DB(データベース)325および再起動情報326を所定領域に備える。 Storage unit 32 includes system information 321, information source information (SID information) 322, the schema information 323, procedure information 324, the data location management DB (database) 325, and restarts the information 326 in a predetermined area.

システム情報321は、SIDごとに、そのSIDのストリームデータの送信先を示した情報である。 System information 321 includes, for each SID, which is information showing the destination of the stream data of the SID. ここでの送信先は、例えばデータ蓄積装置20の識別情報(IPアドレス等)およびそのデータ蓄積装置20における追記部221,222の識別情報(ID)を示した情報(表1参照)である。 Wherein the destination is, for example, identification information of the data storage device 20 (IP address) and information showing the identification information appending section 221 and 222 (ID) in the data storage device 20 (see Table 1). このシステム情報321は、接続先割当部31や、データ蓄積装置20の蓄積データ取得部25(後記)により参照される。 The system information 321, and destination assignment unit 31, is referred to by the stored data acquisition unit 25 of the data storage device 20 (described later). なお、この追記部221,222のIDは、追記部221,222に割当てられたポート番号を用いてもよい。 Incidentally, ID of the additional recording portions 221 and 222 may use the port number assigned to the additional recording portions 221 and 222.

図2は、図1の情報源情報およびスキーマ情報を例示した図である。 Figure 2 is a diagram illustrating an information source information and schema information of FIG.

情報源情報(SID情報)322は、当該SIDの定義情報であり、図2の符号201に示すようにSIDと、当該SIDを持つストリームデータのスキーマ情報の識別情報(SCHEMA)と、このストリームデータに用いるフィルタの識別情報(FILTER)、このストリームデータのウィンドウサイズ(WINDOW_SIZE)等を示した情報である。 Source Information (SID information) 322 is definition information of the SID, and SID as indicated by reference numeral 201 in FIG. 2, the identification information of the schema information of the stream data having the SID (SCHEMA), this stream data identification information of the filter (fILTER) for use in a window size (WINDOW_SIZE) information indicating the like of the stream data. 図2の符号201に示す情報源情報は、SID「DML001」の定義情報であり、このストリームデータのスキーマは「DML001_SCHEMA」に定義されるスキーマであり、このストリームデータに用いるフィルタは「XpathFilter(“update”)」であり、このストリームデータのウィンドウサイズは「1」であることを示す。 Source information indicated by reference numeral 201 in FIG. 2 is definition information of the SID "DML001" schema for this stream data is schema defined in "DML001_SCHEMA" filter used for the stream data "XPathFilter (" an update ")", the window size of the stream data indicates that it is a "1".

スキーマ情報323は、当該SIDを持つストリームデータのスキーマの定義情報である。 Schema information 323 is definition information of the schema of the stream data with the SID. 図2の符号202に示すスキーマ情報は、「DML001_SCHEMA」、つまり、SID「DML001」のスキーマ情報であり、このストリームデータのスキーマは、「col_t」は「timestamp」であり、「col_id」は「int」であり、「col_d」は「xml」であることを示す。 Schema information indicated by reference numeral 202 in FIG. 2, "DML001_SCHEMA", that is, a schema information of SID "DML001" schema for this stream data is "col_t" is "timestamp", "col_id" is "int a "," col_d "indicates that it is a" xml ".

処理手順情報324は、SIDごとに、そのSIDのストリームデータに対しフィルタ処理装置10が適用すべきフィルタ処理、つまり、フィルタオペレーション(FOP)系列(適用すべきFOPおよびそのFOPの適用手順)が示される。 Procedure information 324 for each SID, filtering should be applied filtering device 10 is to stream data the SID, then that is, the filter operations (FOP) sequence (application procedure of FOP to be applied and its FOP) is shown It is. また、この処理手順情報は、表2に例示するように、ストリームデータのスキーマ情報(スキーマ定義情報)やフィルタ処理を行うときのウィンドウサイズ(表2のスキーマ情報における括弧内の値参照)を含んでいてもよい。 Further, the procedure information, as illustrated in Table 2, contains the schema information of the stream data (value references in parentheses in the schema information in Table 2) the window size when performing (schema definition information) and filtering it may be Idei.

例えば、表2に示す処理手順情報のSID「10」のスキーマ情報には、「NAME」に関するフィルタ処理を行うときには、10個のデータ(レコード)が必要であることを示す。 For example, the schema information SID "10" in the procedure information shown in Table 2, show that when performing the filtering in the "NAME", it is necessary to 10 data (records). また、このストリームデータには「FOP102、FOP103、FOP104」というFOPを適用することを示す。 Further, this stream data illustrating applying FOP called "FOP102, FOP103, FOP104". なお、このスキーマ情報は、スキーマ情報323に記憶されるものと同じものである。 Incidentally, the schema information is the same as what is stored in the schema information 323.

データ位置管理DB325は、システム内の各データ蓄積装置20(20A〜20N)に蓄積されるストリームデータの記憶位置を示した追記データ位置情報を蓄積する。 Data location management DB325 accumulates additional data location information indicating a storage position of the stream data stored in the data storage device 20 (20A to 20N) in the system. この追記データ位置情報は、後記する図6に例示するように、ストリームデータのSIDと、このデータ蓄積装置20がストリームデータを受信した時刻、このストリームデータの記憶位置(追記データ位置)とを対応付けて記憶したものである。 The additional data location information, as illustrated in FIG. 6 to be described later, corresponds with the SID of the stream data, the time that the data storage apparatus 20 receives the stream data, and a storage position of the stream data (additional data position) give to those stored. なお、追記データ位置とは、このストリームデータを記憶するデータ蓄積装置20の識別情報およびこのデータ蓄積装置20における記憶位置を示した情報である。 Note that the additional data position is information showing the storage location in the identification information and the data storage apparatus 20 of the data storage device 20 for storing the stream data.

このように、情報管理装置30がデータ位置管理DB325により、各データ蓄積装置20に蓄積されるストリームデータの記憶位置を把握することで、情報管理装置30は各データ蓄積装置20に蓄積されたストリームデータから再フィルタの対象のストリームデータを効率的に見つけられる。 Thus, the information management unit 30 is data location management DB 325, by grasping the storage position of the stream data stored in the data storage device 20, the information management apparatus 30 streams stored in the data storage device 20 It found efficiently target the stream data of the re-filter the data. なお、この追記データ位置情報は、各データ蓄積装置20から受信したものである。 Note that the additional data location information is one received from the data storage apparatus 20. また、この追記データ位置情報におけるストリームデータを受信した時刻(受信時刻)に代えて、このストリームデータがデータ蓄積装置20の蓄積データ記憶部24(後記)に記憶された時刻を用いてよい。 Further, instead of the time (reception time) received stream data in this additional data location information, the stream data may be used time stored in the storage data storage unit 24 (described later) of the data storage device 20. このデータ位置管理DB325における追記データ位置情報の管理方法は、例えば、B-Tree、B+Tree、R-Tree、Red Black Tree等を用いる。 Method of managing additional data position information in the data location management DB325, for example, B-Tree, B + Tree, R-Tree, using Red Black Tree like.

図1の説明に戻る。 Back to the description of FIG. 1. 再起動情報326は、システム内において再起動を許可するフィルタ処理装置10の数を示した情報である。 Restart information 326 is information showing the number of filter processing unit 10 to allow restarting the system. 例えば、システム全体において、再起動によりフィルタ処理を停止してもよいフィルタ処理装置10の数が「10」の場合、この再起動情報326の初期値として、「10」を設定しておく。 For example, in the entire system, when the number of filter stop also good filtering process unit 10 by a restart is "10", as an initial value of the restart information 326, it is set to "10". この再起動情報326は、再起動処理部36(後記)がフィルタ処理装置10の再起動を許可するか否かを判断するときに参照される。 The restart information 326, restart processing section 36 (described later) is referred to when determining whether to permit the restart of the filtration device 10.

接続先割当部31は、外部装置(追記クライアント50またはデータ蓄積装置20)から接続先割当要求を受信すると、この接続先割当要求に含まれるSIDをキーとしてシステム情報321から、この外部装置が接続すべき接続先(データ蓄積装置20における追記部221,222)を検索する。 Destination allocation unit 31 receives the connection destination allocation request from an external device (recordable client 50 or the data storage device 20), from the system information 321 for the SID contained in this destination allocation request as a key, the external device is connected Search should do connect to the (additional recording portions 221 and 222 in the data storage device 20). そして、接続先割当部31は、この検索した接続先(データ蓄積装置20における追記部221,222)を、この外部装置の接続先として指示する。 The connection destination allocation unit 31, the searched destination (the additional recording portions 221 and 222 in the data storage device 20), and instructs the connection destination of the external device. なお、ここで指示する接続先は、例えば、データ蓄積装置20の識別情報(IPアドレス等)と、追記部221,222のポート番号との組み合わせ等である。 The connection destination instructing here, for example, the identification information of the data storage device 20 (IP address, etc.), a combination of a port number of additional recording portions 221 and 222. また、接続先割当部31は、各データ蓄積装置20の負荷状態を考慮して、より処理負荷の少ない接続先を選択するようにしてもよい。 Further, the connection destination assignment unit 31, considering the load state of the data storage device 20, may be selected more processing load less connected. つまり、接続先割当部31は、接続先を変更し、各データ蓄積装置20間のロードバランスをとるようにしてもよい。 In other words, the connection destination assignment unit 31 changes the destination, it may be take the load balance between each of the data storage device 20.

図3は、図1のストリームデータ処理システムの動作概要を示すブロック図である。 Figure 3 is a block diagram showing an outline of the operation of the stream data processing system of Figure 1. データ再フィルタ制御部33は、図3に示すように、参照クライアント70から、再フィルタ指示(再フィルタ処理の対象のストリームデータのSID、時区間(または、始まりの時刻)等を示した情報、再フィルタ処理の内容)を受信すると、システム内の任意のマシン(データ蓄積装置20)を決定する。 Data re-filter control unit 33, as shown in FIG. 3, reference information from the client 70, the target stream data re filter instruction (re filtering SID, when the interval (or, showed the beginning of time) or the like, Upon receiving the contents of the re-filtering), to determine any machine in the system (the data storage device 20). この後、データ再フィルタ制御部33は、この決定したデータ蓄積装置20のプロセス管理部26(後記)へ再フィルタ指示を送信する。 Thereafter, the data re-filter control unit 33 transmits the re-filtering instructions to the process management unit 26 of the determined data storage device 20 (described later). なお、ここでの再フィルタ処理とは、例えば、フィルタ処理に用いる閾値やパラメータの変更、フィルタ処理の手順の変更等である。 Here, re-filtering is, for example, changes in the threshold and parameters used in the filtering process, a change of the procedure of filtering. また、この再フィルタ指示には、この再フィルタ処理の対象のストリームデータに関する追記データ位置情報を含める。 Moreover, this re-filter instructions include additional data position information about the target of the stream data of the re-filtering. この追記データ位置情報は、データ位置管理部34により、データ位置管理DB325から取得する。 The additional data location information, the data location management unit 34 obtains from the data location management DB 325.

このとき、データ再フィルタ制御部33は、再フィルタ処理用(再フィルタ用)に新たなSID(再フィルタ用SID)を発行し、この再フィルタ指示に含める。 At this time, the data re-filter control unit 33 issues a new SID (SID for re filter) to re-filter processing (for re-filter), included in the re-filter instruction. なお、このデータ再フィルタ制御部33は、情報管理部35(後記)に、この再フィルタ用SIDと、当該SIDをもつストリームデータに関する情報を、システム情報321、情報源情報322、スキーマ情報323、処理手順情報324に追加登録するよう指示する。 This data re-filter control unit 33, the information management unit 35 (described later), and this for re filter SID, information about the stream data with the SID, system information 321, information source information 322, the schema information 323, an instruction to additionally registered in the procedure information 324.

例えば、データ再フィルタ制御部33は、SID「10」、時区間「A〜B」(または、時刻「A」)のストリームデータに対し再フィルタ処理を行うという再フィルタ指示を受信したとき、当該ストリームデータに対し再フィルタ用SID「30」という新たなSIDを発行する。 For example, data re-filter control unit 33, SID "10", when the interval "A~B" (or, the time "A") when it receives a re-filter indication that perform re-filtering process on the stream data, the to issue a new SID that the SID "30" for the re-filter to the stream data. そして、データ再フィルタ制御部33は、情報管理部35(後記)に、当該SIDをもつストリームデータに関する情報を、システム情報321、情報源情報322、スキーマ情報323、処理手順情報324に追加するよう指示する。 Then, the data re-filter control unit 33, the information management unit 35 (described later), the information about the stream data with the SID, system information 321, information source information 322, the schema information 323, to add to the procedure information 324 It instructs. また、データ再フィルタ制御部33は、情報管理部35(後記)に、当該再フィルタ用SIDに関する処理手順情報324に、この再フィルタ指示に示される再フィルタ処理の内容(例えば、フィルタにおける閾値の変更等)を書き加えるよう指示する。 The data re-filter control unit 33, the information management unit 35 (described later), the processing procedure information 324 about the SID for re filter, re-filtering process shown in this re-filter instruction content (e.g., the threshold in the filter It instructs to apply to write changes, etc.). なお、データ再フィルタ制御部33がこのように新たなSID(再フィルタ用SID)を発行し、再フィルタ処理の対象のストリームデータに割当てるのは、もともと同じSIDを持つストリームデータであっても、再フィルタ処理の対象としたいストリームデータのみに再フィルタ処理を適用することができるからである。 The data re-filter control unit 33 issues such a new SID (SID for re filter), assign the object of the stream data of the re-filtering, even stream data having originally the same SID, This is because it is possible to apply the re-filtering only the stream data to be subjected to re-filtering.

データ位置管理部34は、各データ蓄積装置20から受信した追記データ位置情報を、データ位置管理DB325に記憶する。 Data position management unit 34, the additional data position information received from each of the data storage device 20, and stores the data location management DB 325.

図4は、図1のストリームデータ処理システムの動作概要を示すブロック図である。 Figure 4 is a block diagram showing an outline of the operation of the stream data processing system of Figure 1. 例えば、図4に示すように、データ位置管理部34は、データ蓄積装置20の各追記部221,222(後記)からSID、時刻および追記データ位置を含む追記データ位置情報を受信すると、この追記データ位置情報を順次、データ位置管理DB325に追加登録していく。 For example, as shown in FIG. 4, the data location management unit 34 from the write-once portion of the data storage device 20 221 222 (hereinafter) SID, upon receiving the additional data position information including time and additional data location, the write-once the data location information sequentially, continue to add registered in the data location management DB325. また、このデータ位置管理部34は、当該ストリームデータの時区間(受信時刻の始まりから終わりまでの時間)または、始まりの時刻とSIDとを含む再フィルタ指示(または追記データ位置情報の検索要求)を受信すると、この時区間およびSIDをキーとして、データ位置管理DB325から追記データ位置情報を検索する。 Further, the data position managing unit 34 (time from the beginning to the end of the reception time) when the interval of the stream data or, again filter instruction including the time and SID beginning (or search request for additional data position information) Upon receiving the, as a key the time interval and the SID, searches for additional data location information from the data location management DB 325. つまり、再フィルタ指示に示されるストリームデータがどのデータ蓄積装置20のどの記憶位置に記憶されているかを検索する。 That is, to find whether the stored stream data shown in re-filter instruction in the storage position of which data storage apparatus 20 throat. なお、このデータ位置管理部34は、この検索した追記データ位置情報を追記データ位置リストとして参照クライアント70へ送信するようにしてもよい。 This data location management unit 34 may be transmitted to the reference client 70 the retrieved additional data position information as additional data position list.

図1の説明に戻る。 Back to the description of FIG. 1. 情報管理部35は、記憶部32の各情報を追加したり変更したりする。 Information management unit 35 to add or change the information in the storage unit 32. 例えば、参照クライアント70から送信された再フィルタ処理の内容であるフィルタ処理の閾値変更情報を、処理手順情報324に反映する。 For example, the threshold value changing information filtering the contents of the re-filtering transmitted from the reference client 70, reflected in the procedure information 324. また、各フィルタ処理装置10の要求に応じて、情報源情報322、スキーマ情報323、処理手順情報324等をフィルタ処理装置10へ送信する。 Also, depending on the requirements of each filter processing unit 10, and transmits the information source information 322, the schema information 323, the procedure information 324, etc. to the filter processing unit 10. これにより、この情報管理装置30に新たに追加された再フィルタ処理の内容を、フィルタ処理装置10へ反映させることができる。 Thus, the contents of the newly added again filtering the information management device 30, it is possible to reflect to the filtration device 10.

再起動処理部36は、フィルタ処理装置10から、再起動を許可するか否かの問い合わせを受信すると、再起動情報326を参照して、このフィルタ処理装置10の再起動を許可するか否かを応答する。 Restart processing unit 36, the filter processing unit 10, when receiving the whether to allow restarting query, with reference to the restart information 326, whether to permit the restart of the filtration device 10 to respond to. 例えば、再起動情報326に示される値が「1」以上であれば再起動を許可するが、「0」なら再起動を許可しない。 For example, the value indicated in restart information 326 permits the restart if "1" or more, does not allow restart if "0". また、再起動処理部36が、1台のフィルタ処理装置10の再起動を許可したとき、この再起動情報の値を「1」減らす。 The restart processing section 36, when allowed to restart one filtering device 10, remove "1" the value of the restart information. そして、このフィルタ処理装置10の再起動が完了すると、再起動処理部36は、再起動情報326の値を元に戻す。 When the restart of the filtration device 10 is completed, restart processing section 36 returns to the original value of the restart information 326. このようにすることで、システム内において再起動によりフィルタ処理を停止するフィルタ処理装置の数を所定数以下にすることができ、システム内のフィルタ処理の効率が極端に低下するのを防止できる。 By doing so, it is possible to a number of filtering devices for stopping the filtering process by the re-activated in the system below a predetermined number, the efficiency of the filtering system can be prevented from lowering extremely.

なお、前記した記憶部は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)等により実現される。 Incidentally, the above-mentioned storage unit, RAM (Random Access Memory), ROM (Read Only Memory), is realized by HDD (Hard Disk Drive). また、接続先割り当て部31、データ再フィルタ制御部33、データ位置管理部34、情報管理部35、再起動処理部36は、CPUによるプログラム実行処理または専用のハードウェアにより実現される。 Further, the connection destination allocation unit 31, the data re-filter control unit 33, the data location management unit 34, the information management unit 35, restart processing section 36 is realized by program execution processing or dedicated hardware by the CPU. CPUによるプログラム実行処理により実現する場合、記憶部32はこれらのプログラムを記憶する。 When implementing the program execution processing by the CPU, a storage unit 32 stores these programs.

<データ蓄積装置> <Data storage device>
データ蓄積装置20(20A〜20N)はそれぞれ、追記クライアント50から送信されたストリームデータを一時的に蓄積する。 Data storage device 20 (20A to 20N), respectively, temporarily storing the stream data transmitted from the write-once client 50. このようなデータ蓄積装置20は、入力部21と、出力部23と、追記部221,222と、蓄積データ記憶部24と、蓄積データ取得部25と、プロセス管理部26とを含む。 Such data storage device 20 includes an input unit 21, an output unit 23, an additional recording portion 221 and 222, and the accumulated data storage unit 24, a storage data acquiring section 25, and a process management unit 26. なお、追記部221,222の数は図1に示した数に限定されない。 The number of additional recording portions 221 and 222 is not limited to that shown in FIG.

入力部21は、追記クライアント50からストリームデータを受信する。 Input unit 21 receives the stream data from the write once the client 50. 出力部23は、追記部221,222から出力されたストリームデータをフィルタ処理装置10へ出力する。 The output unit 23 outputs the stream data output from the additional recording portions 221 and 222 to the filtering apparatus 10. また、追記部221,222はそれぞれ、受信したストリームデータをキュー部226(後記)に出力するとともに、蓄積データ記憶部24に蓄積する。 Also, additional recording portions 221 and 222, respectively, it outputs the received stream data to the queue unit 226 (described later), and stores the accumulated data storage unit 24. このような追記部221,222は、ストリーム受付部223と、追記データ蓄積部224と、キュー管理部225と、キュー部226と、追記データ位置情報送信部227と、を含んで構成される。 Such additional recording unit 221 is configured to include the stream receiving unit 223, an additional data storage unit 224, a queue management unit 225, a queue unit 226, the additional data position information transmission unit 227, include.

ストリーム受付部223は、追記クライアント50から、入力部21経由でストリームデータを受信する。 Stream receiving unit 223, the write once the client 50, receives the stream data via the input unit 21. そして、この受信したストリームデータを追記データ蓄積部224とキュー管理部225へ出力する。 Then, it outputs the received stream data to the additional data storage unit 224 and a queue management unit 225.

追記データ蓄積部224は、ストリームデータを蓄積データ記憶部24に蓄積する。 Additional data storage unit 224 stores the stream data in the accumulated data storage unit 24. なお、追記データ蓄積部224は、追記クライアント50から受信したストリームデータをそのまま蓄積データ記憶部24に蓄積するようにするのが好ましい。 Note that additional data storage unit 224 is preferably configured to accumulate the stream data received from the write once the client 50 as the accumulated data storage unit 24. これは、この蓄積データ記憶部24内のストリームデータの管理に、例えば、DBMS(DataBaseManagement System)等を用いると、データのトランザクション処理に伴う、各種ジャーナル、チェックポイント等が必要になり、大量のストリームデータを追記するとき、効率が悪いからである。 This is to manage the stream data of the accumulated data storage unit 24, for example, the use of DBMS (DataBaseManagement System) or the like, involved in the transaction processing data, becomes various journal require checkpoint, etc., a large amount of stream when you append the data, because the efficiency is poor.

なお、この蓄積データ記憶部24に蓄積されるデータファイルは、所定時間または所定のデータサイズで区切られる。 The data files that are stored in the accumulated data storage unit 24 is separated by a predetermined time or a predetermined data size. この区切られたデータファイルそれぞれの終端には、次のデータファイルへのパスが記載される。 The delimited data file each end, the path to the next data file is described. 図5は、図1の蓄積データ記憶部に蓄積されるデータファイルを例示した図である。 Figure 5 is a diagram illustrating a data file that is stored in the storage data storage unit of FIG. 蓄積データ記憶部24は、Type(データタイプ)、Length(長さ)、Value(データの中身)等から構成されるデータファイルを蓄積する。 Accumulating data storage unit 24, Type (data type), Length (length), and stores the composed data file from Value (contents data) and the like. 例えば、追記データ蓄積部224は、データファイルを、所定のデータサイズでファイルA,B,Cに区切り、蓄積する。 For example, additional data storage unit 224, a data file, separated by a predetermined data size files A, B, and C, to accumulate. 図5に示すように、ファイルAの終端には、次のファイルであるファイルBへのパスが記載され、ファイルBの終端には次のファイルであるファイルCへのパスが記載される。 As shown in FIG. 5, the end of the file A, is described path to the file B as the next file, the end of the file B is described the path to the file C which is the next file. このようにすることで、フィルタ処理装置10がこの蓄積データ記憶部24に蓄積されるデータに対し再フィルタ処理を行うとき、途切れることなく再フィルタ処理を行うことができる。 By doing so, when the filter processing unit 10 performs a re-filtering process on data stored in the storage data storage unit 24, it is possible to re-filtering process is performed without interruption. また、このように所定のデータサイズや、所定時間でファイルを区切ってデータファイルを蓄積することで、データファイルに障害が発生したときのリカバリやバックアップを行いやすくなる。 Moreover, in this way or a predetermined data size, by accumulating the data file by separating the file at a predetermined time, it becomes easy to recover and backup when the data file has failed.

図1の説明に戻る。 Back to the description of FIG. 1. キュー管理部225はストリーム受付部223から出力されたデータ(ストリームデータ)をキュー部226に出力する。 Queue management unit 225 outputs data output from the stream reception unit 223 (stream data) in the queue unit 226. そして、フィルタ処理装置10からストリームデータの取得要求があったとき、このキュー部226に蓄積されたストリームデータをフィルタ処理装置10へ送信する。 When the from the filtration device 10 an acquisition request for the stream data, and transmits the stream data stored in the queue 226 to the filtering apparatus 10.

追記データ位置情報送信部227は、この追記部221,222において、蓄積データ記憶部24にストリームデータが蓄積(記憶)されると、このストリームデータの追記データ位置情報を作成し、この追記データ位置情報を情報管理装置30へ送信する。 Additional data location information transmission section 227, in the additional write unit 221, the stream data to the storage data storage unit 24 is accumulated (stored), to create the additional data position information of the stream data, the additional data position It transmits information to the information management device 30. なお、この追記データ位置情報に示される追記データ位置は、例えば、URI(Uniform Resource Identifier)、ファイルパス、ロケーションID等により記述される。 Note that additional data position indicated in the additional data location information, for example, URI (Uniform Resource Identifier), the file path is described by location ID or the like.

キュー部226は、キュー管理部225から出力されたストリームデータをキューとして蓄積する。 Queue unit 226 stores the stream data output from the queue management unit 225 as a queue.

蓄積データ記憶部24は、追記部221,222から出力されたストリームデータを蓄積する。 Accumulating data storage unit 24 stores the stream data output from the additional recording portions 221 and 222.

蓄積データ取得部25は、前記した図3に示すように、プロセス管理部26からの再フィルタ指示を受信すると、この再フィルタ指示に基づき、自データ蓄積装置20、または他のデータ蓄積装置20の蓄積データ記憶部24から、ストリームデータを取得する。 Accumulating data acquisition unit 25, as shown in FIG. 3 described above, when receiving the re-filter instruction from the process management unit 26, based on the re-filter instruction, the own data storage device 20 or other data storage device 20, from accumulated data storage unit 24, acquires the stream data. そして、この取得したストリームデータに、プロセス管理部26から指示された再フィルタ用SIDを付与する。 Then, the acquired stream data, grant SID for re filter instructed by the process management unit 26. ここで、蓄積データ取得部25は、蓄積データ記憶部24(図5参照)のデータファイルの終端まで読み込み、次のデータファイルへのパスが記載されているときは、このパスに示される次のデータファイルを読み込んでいく。 Here, the storage data acquiring unit 25 reads to the end of the data file of the storage data storage unit 24 (see FIG. 5), when the path to the next data file is described, the following shown in this path go read the data file. そして、この蓄積データ取得部25は、この再フィルタ用SIDを付与したストリームデータの送信先を、前記した情報管理装置30の接続先割当部31に問い合わせ、この接続先割当部31から指示されたデータ蓄積装置20の追記部(例えば、追記部222)へ、このストリームデータを流し込む。 Then, the accumulated data acquisition unit 25, the destination of the stream data assigned the SID for this re-filter, queries the destination assignment unit 31 of the information managing apparatus 30 described above, is designated from the connection destination assignment unit 31 appending section of the data storage device 20 to the (e.g., additional recording portion 222), pouring the stream data. そして、このストリームデータは、追記部221,222のキュー部226に蓄積された後、フィルタ処理装置10が取得し、再フィルタ処理が行われる。 Then, this stream data, after being accumulated in the queue unit 226 of the write-once portion 221 acquires filtering device 10, re-filtering is performed.

プロセス管理部26は、データ蓄積装置20内の蓄積データ取得部25や、追記部221,222の制御を行う。 Process management unit 26 performs and storing data obtaining unit 25 of the data storage device 20, the control of the additional recording portions 221 and 222. 例えば、プロセス管理部26は、情報管理装置30から再フィルタ指示を受信したとき、この指示内容に基づき、自データ蓄積装置20の蓄積データ取得部25に対し、再フィルタ処理の対象となるストリームデータの取得を指示する。 For example, process management unit 26, when receiving the re-filter instruction from the information management device 30, based on the instruction content with respect to the storage data acquiring section 25 of its own data storage device 20, stream data to be re-filtering to instruct the acquisition.

なお、入力部21および出力部23は、追記クライアント50やフィルタ処理装置10との間でデータ入出力可能な入出力インタフェースにより実現される。 The input unit 21 and output unit 23 is realized by the data input and output can be output interface between the write-once-clients 50 and filtration device 10.

このデータ蓄積装置20もコンピュータにより実現され、蓄積データ記憶部24は、例えば、RAM、HDD等により実現される。 The data storage apparatus 20 is also implemented by a computer, storing data storage unit 24 is, for example, RAM, is realized by an HDD. また、蓄積データ取得部25、プロセス管理部26、追記部221,222のストリーム受付部223、追記データ蓄積部224、キュー管理部225、追記データ位置情報送信部227は、CPUによるプログラムの実行処理または専用ハードウェア等により実現される。 The storage data acquiring unit 25, process management unit 26, a stream receiving unit 223 of the write-once portion 221 and 222, additional data storage unit 224, the queue manager 225, additional data position information transmission unit 227, execution of the program by the CPU or it is implemented by dedicated hardware or the like. キュー部226は、このデータ蓄積装置20のRAM等に形成される。 Queue unit 226 is formed in the RAM or the like of the data storage apparatus 20.

なお、このキュー管理部225は、キュー部226のキュー状態(入力スループット、出力スループットおよびCPUコスト等)を監視する。 Note that the queue manager 225 monitors the queue status of the queue unit 226 (input throughput, output throughput and CPU costs, etc.). そして、このキュー状態が所定の閾値以上に変化したとき、このデータ蓄積装置20におけるキュー状態情報を各フィルタ処理装置10へ送信するようにしてもよい。 Then, when the queue status changes more than a predetermined threshold value, the queue status information in the data storage apparatus 20 may be transmitted to each filtering device 10. このときのキュー状態情報には、自身のデータ蓄積装置20の識別情報が付されたものである。 The queue status information in this case, in which identification information of its own data storage device 20 is attached. また、このときのキュー状態情報の送信は、各フィルタ処理装置10への同報送信等により行われる。 The transmission of the queue status information in this case is performed by the broadcast transmission to the filtration device 10. このようにすることで、データ蓄積装置20は、自身のキュー状態に変化があったとき、自身のキュー状態をいち早く各フィルタ処理装置10へ通知することができる。 In this way, the data storage device 20, when there is a change in the queue state of its own, can be notified of the queue status of itself to quickly each filtering device 10.

<フィルタ処理装置> <Filter processing apparatus>
フィルタ処理装置10は、データ蓄積装置20(20A〜20N)から、ストリームデータを取得し、この取得したストリームデータに対しフィルタ処理を実行する。 Filtering device 10 from the data storage device 20 (20A to 20N), acquires stream data, executes the filtering process on the acquired stream data. このようなフィルタ処理装置10は、入力部11と、出力部13と、処理部12(12A,12B)を備える。 Such filter processing unit 10 includes an input unit 11, an output unit 13, the processing section 12 (12A, 12B). なお、この処理部の数は、図1に示す数に限定されない。 Note that the number of the processing unit is not limited to those shown in FIG.

入力部11は、データ蓄積装置20からストリームデータを受信する。 Input unit 11 receives the stream data from the data storage apparatus 20. 出力部13は、フィルタ処理後のストリームデータをデータベース装置60へ出力する。 The output unit 13 outputs the stream data after the filtering process to the database system 60.

処理部12は、キュー選択部121と、データ取得部122と、フィルタ実行制御部123と、フィルタ処理部124(124A〜124N)と、再起動問い合わせ部125とを備える。 Processing unit 12 includes a queue selection section 121, a data acquisition unit 122, a filter execution control section 123, filtering section 124 and (124A-124N), and a restart inquiry unit 125.

キュー選択部121は、ストリームデータの取得元となるデータ蓄積装置20を選択する。 Queue selection section 121 selects the data storage device 20 as a stream data acquisition source. このときのデータ蓄積装置20の選択は、例えば、データ蓄積装置20から送信されてきた、当該データ蓄積装置20のキュー状態情報(入力スループット、出力スループット、CPUコスト(フィルタコスト)等を示した情報)をもとに、入力スループットの値の大きいデータ蓄積装置20ほど高確率で(優先的に)選択するようにする。 Information selection data storage device 20 at this time is, for example, that has been transmitted from the data storage device 20, queue status information of the data storage apparatus 20 (input throughput showed output throughput, CPU cost (filter cost) or the like ) on the basis of, (preferentially a large enough data storage apparatus 20 high probability of the value of the input throughput) so as to select.

データ取得部122は、キュー選択部121により選択されたデータ蓄積装置20からストリームデータを取得する。 The data acquisition unit 122 acquires stream data from the data storage device 20 selected by the queue selection section 121. なお、このストリームデータを取得するタイミングは、例えば、自身のフィルタ処理装置10において処理しているデータがなくなったときでもよいし、処理中のデータが所定の閾値以下となったときでもよい。 The timing of acquiring the stream data may be, for example, when there are no more data being processed in the filter processing unit 10 of its own, or when the data being processed is equal to or less than a predetermined threshold value.

フィルタ実行制御部123は、データ取得部122から取得したストリームデータに付されたSIDと、情報管理装置30から受信しておいた、情報源情報322、スキーマ情報323、処理手順情報324とを参照して、このSIDを持つストリームデータに対し実行すべきフィルタ処理を決定する。 Filter execution control unit 123, references and SID attached to the stream data acquired from the data acquisition unit 122, had been received from the information management device 30, the information source information 322, the schema information 323, and procedure information 324 and, determining the filter to be performed on the stream data with the SID. なお、ここでのフィルタ処理とは、FOPおよびそのFOPの適用手順を含むものである。 Here, filtering in the are those containing FOP and application procedure of the FOP. そして、フィルタ実行制御部123は、決定したフィルタ処理をフィルタ処理部124に実行させる。 The filter execution control unit 123 to execute the determined filter to filter unit 124. なお、この情報管理装置30から取得した、情報源情報322、スキーマ情報323、処理手順情報324は、フィルタ処理装置10の図示しない記憶部に記憶され、フィルタ処理を決定するときに適宜参照される。 Incidentally, acquired from the information management device 30, the information source information 322, the schema information 323, procedure information 324 stored in the storage unit (not shown) of the filtering device 10, it is appropriately referred to when determining the filter .

なお、このフィルタ実行制御部123は、このストリームデータに対し実行すべきフィルタ処理機能が自身のフィルタ処理装置10にないとき(例えば、再フィルタ用SIDが付与されたストリームデータを受信したが、このSIDに対する処理手順情報がなかったとき)、情報管理装置30から、このフィルタ処理機能を実現するためのファイルデータ(フィルタオペレーションを含む)をダウンロードし、機能追加を行う。 Incidentally, the filter execution control unit 123, when the filter processing function to be performed on the stream data is not in the filtration device 10 itself (e.g., a SID for re-filter receives the stream data attached, the when procedure information was not against SID), from the information management device 30, to download the file data for implementing the filtering function (including the filter operation), it performs the additional functions. このようにすることで、フィルタ処理装置10は、再フィルタ処理を確実に実行できる。 By doing so, the filter processing unit 10, re-filter the reliably performed.

フィルタ処理部124は、フィルタ実行制御部123からの指示に基づき、ストリームデータに対しフィルタ処理を実行する。 Filter processing unit 124, based on an instruction from the filter execution control unit 123 executes the filtering process on the stream data. このフィルタ処理部124におけるフィルタ処理の内容はFOPにより記述され、フィルタ処理部124は、このFOPに基づきフィルタ処理を実行する。 The contents of the filter processing in the filter processing unit 124 is described by FOP, the filter processing unit 124 performs filtering based on the FOP. このFOPは例えば「X℃以上の温度の情報を持つストリームデータを抽出する」というものや、「処理後のデータをデータベース装置60Aに出力する」というものである。 The FOP is intended that such as those of "extract stream data having information of X ° C. or more temperature" and "outputs the processed data to the database device 60A." このFOPは、フィルタ処理装置10の記憶部(図示せず)に処理手順情報の一部として記憶される。 The FOP is stored as part of the processing procedure information in the storage unit of the filtration device 10 (not shown).

なお、再起動問い合わせ部125は、フィルタ取得部127がスキーマ情報323を取得した後、情報管理装置30に対し、自身のフィルタ処理装置10の再起動を許可するか否かを問い合わせる。 Incidentally, restart query 125, after filtering acquiring unit 127 acquires the schema information 323, to the information management device 30 inquires whether or not to allow the restart of its filtering apparatus 10. そして、情報管理装置30から、自身のフィルタ処理装置10の再起動を許可する旨の応答を受信したとき、自フィルタ処理装置10を再起動させる。 Then, from the information management device 30, upon receiving a response to the effect that allows to restart its filtering apparatus 10, to restart the self-filtering device 10. このようにすることで、ストリームデータ処理システムにおいて、所定数を超えたフィルタ処理装置10が再起動のため停止し、システム全体のフィルタ処理能力が著しく低下することを防止できる。 By doing so, the stream data processing system, the filtering device 10 exceeds a predetermined number is stopped for a restart, it is possible to prevent the filtering capacity of the whole system is significantly reduced.

なお、この後、フィルタ処理部124は、出力部13経由でフィルタ処理後のストリームデータをデータベース装置60へ出力する。 Incidentally, thereafter, the filter processing unit 124 outputs the stream data after the filtering process to the database 60 via the output unit 13.

フィルタ処理装置10も、CPU、RAM、HDD、通信インタフェース等を備えるコンピュータにより実現される。 Filtering device 10 is also realized CPU, RAM, HDD, the computer having a communication interface or the like. キュー選択部121、データ取得部122、フィルタ実行制御部123、フィルタ処理部124、再起動問い合わせ部125は、CPUによるプログラムの実行処理または専用ハードウェア等により実現される。 Queue selection section 121, the data acquisition unit 122, the filter execution control section 123, filtering section 124, restart inquiry unit 125 is realized by executing the processing or dedicated hardware such as a program by the CPU.

<データベース装置> <Database apparatus>
データベース装置60は、フィルタ処理装置10においてフィルタ処理されたストリームデータを受け付ける受付部62(62A〜62N)、このストリームデータを蓄積するDB(データベース)61(61A〜61N)、参照クライアント70からの検索要求に応じてDB61(61A〜61N)からデータを検索する検索部63(63A〜63N)を備える。 Database system 60 includes a receiving portion 62 that receives the stream data is filtered in the filtration device 10 (62a to 62n), DB for storing the stream data (database) 61 (61A~61N), search from Reference Client 70 retrieving data from DB61 (61A~61N) on demand comprising a retrieval unit 63 (63A~63N). このデータ蓄積装置20も、CPU、RAM、HDD、通信インタフェース等を備えるコンピュータにより実現される。 This also data storage device 20 is realized CPU, RAM, HDD, the computer having a communication interface or the like. なお、この受付部62、検索部63は、CPUによるプログラムの実行処理または専用ハードウェア等により実現される。 Incidentally, the receiving unit 62, the search unit 63 is realized by executing the processing or dedicated hardware such as a program by the CPU. また、DB61は、HDD等により実現される。 Moreover, DB 61 is implemented by an HDD. なお、この検索部63に代えて、プッシュ型で参照クライアント70へDB61に蓄積されたデータを送信する配信部を用いるようにしてもよい。 Instead of the search unit 63 may be used to deliver unit for transmitting the stored push-type to a reference client 70 to DB61 data.

<参照クライアント> <Reference client>
参照クライアント70は、データベース装置60からデータの検索を行ったり、情報管理装置30に対し、再フィルタ指示(再フィルタ処理の内容、再フィルタ処理の対象のストリームデータのSID、時区間等を示した情報)を送信し、データ蓄積装置20に蓄積されたストリームデータの再フィルタ処理を指示したりする。 Reference Client 70 or perform retrieval of the data from the database 60, to the information management device 30, the contents of the re-filter instruction (re filtering, the target stream data re-filtering SID, when showing a section like transmit information), and instructs to re-filter the stream data stored in the data storage device 20. この参照クライアント70もCPU、RAM、HDD、通信インタフェース等を備えるコンピュータにより実現される。 This reference client 70 also CPU, RAM, HDD, is realized by a computer including a communication interface or the like.

なお、フィルタ処理装置10(10A〜10N)およびデータ蓄積装置20(20A〜20N)は、それぞれ別個のコンピュータ(装置)により実現するようにしてもよいし、これらをまとめて1つのコンピュータにより実現するようにしてもよい。 The filter processing unit 10 (10A to 10N) and the data storage device 20 (20A to 20N), respectively may be realized by a separate computer (device), these are collectively realized by a single computer it may be so.

<動作手順> <Operation Procedure>
次に、図1を参照しつつ、図6および図7を用いて、図1のシステムの動作手順を説明する。 Next, referring to FIG. 1, with reference to FIGS. 6 and 7, the operation procedure of the system of Figure 1. 図6および図7は、図1のストリームデータ処理システムの動作手順を示す図である。 6 and 7 are diagrams illustrating an operation procedure of a stream data processing system of Figure 1. まず、図6を用いて、情報管理装置30が、追記データ位置情報を取得し、蓄積する手順を説明する。 First, with reference to FIG. 6, the information management apparatus 30 acquires the additional data location information, a procedure of accumulating.

追記クライアント50は、情報源からデータ(ストリームデータ)100を受信すると、このデータに付されたSID(例えば「SID-kana99」)を含む追記先払出し依頼を情報管理装置30の接続先割当部31へ送信する(S41)。 Postscript client 50 receives the data (stream data) 100 from a source, destination assignment unit 31 of the write-once destination payout request information management apparatus 30 that includes a SID that is attached to the data (e.g., "SID-Kana99") and transmits it to the (S41). つまり、追記クライアント50は、ストリームデータの送信先の追記部221,222(当該追記部を備えるデータ蓄積装置20のIPアドレス、当該追記部と接続するためのポート番号)を情報管理装置30に問い合わせる。 That is, additional recording client 50 inquires the destination of the write-once portion of the stream data 221 and 222 (IP address of the data storage device 20 comprising the additional recording portion, the port number to connect with the additional recording portion) to the information management device 30 .

接続先割当部31は、S41で送信された追記先払出し依頼を受信すると、この追記先払出し依頼に示されるSIDをキーとして、システム情報321を検索する。 Destination allocation unit 31 receives the additional recording destination payout requests sent in S41, the key SID shown in this write-once destination payout request, retrieves system information 321. そして、接続先割当部31は、ストリームデータの送信先の追記部(例えば、追記部221)のあるデータ蓄積装置20のIPアドレスと、追記部221のPort(ポート番号)を示した追記先を払出す(S42)。 The connection destination allocation unit 31, the destination of the write-once portion of the stream data (e.g., additional recording portion 221) and the IP address of the data storage device of 20, the additional recording destination indicated Port of appending section 221 (port number) paying out (S42).

追記クライアント50は、S42で払い出された追記部(例えば、追記部221)へ接続する(S43)。 Postscript client 50 connects to a write-once portion paid out in S42 (e.g., additional recording unit 221) (S43). そして、追記クライアント50は、例えば、「SID-kana99」を持つ追記データ100をこの接続した追記部221へ送信する。 The postscript client 50 transmits, for example, the additional data 100 with the "SID-kana99" to appending section 221 and the connection. つまり、ストリームデータを追記する(S44)。 That is, it adds the stream data (S44).

追記部221は、ストリーム受付部223(図1参照)によりこの追記データ100を受信すると、この追記データ100の受信時刻(受取時刻)を取得する(S45)。 Appending section 221, when the stream receiving unit 223 (see FIG. 1) receives the additional data 100, and acquires the reception time of the additional data 100 (reception time) (S45). つまり、この追記データ100の受信時刻を記録する。 In other words, to record the time of receipt of this additional data 100. また、追記部221は、追記データ蓄積部224(図1参照)により、この受信したストリームデータ(追記データ)を蓄積データ記憶部24へ蓄積する(S46)。 Also, additional recording unit 221, the additional data storage unit 224 (see FIG. 1), and accumulates the received stream data (additional data) to the storage data storage unit 24 (S46). 次に、追記データ位置情報送信部227は、この蓄積した追記データ100の追記データ位置情報を作成する。 Then, additional data location information transmission section 227 creates additional data position information of the recordable data 100 This accumulation. そして、この追記データ位置情報送信部227は、作成した追記データ位置情報を情報管理装置30へ送信する(S47)。 Then, the additional data position information transmission unit 227 transmits the additional data position information created to the information management apparatus 30 (S47). この追記データ位置情報は、この蓄積した追記データ100のSID(「SID-kana99」)、S45で取得した受信時刻(「2007/02/20T 10:00」)、追記データ位置(「macA.ntt/app99/b.log」)を含むものである。 This additional data location information, the accumulated write-once data 100 SID ( "SID-kana99"), reception time acquired in S45 ( "2007/02 / 20T 10:00"), additional data position ( "macA.ntt /app99/b.log ") is intended to include. なお、この追記データ位置は、この追記データ100を記憶するデータ蓄積装置20は「macA.ntt」であり、そのデータ蓄積装置20の蓄積データ記憶部24における記憶領域は「/app99/b.log」であることを示す。 Note that the additional data location, the data storage device 20 for storing the additional data 100 is "macA.ntt" storage area in the storage data storage unit 24 of the data storage device 20 is "/app99/b.log indicating that it is ".

このような追記データ位置情報を受信した情報管理装置30のデータ位置管理部34は、この追記データ位置情報をデータ位置記憶DB61に記憶する(図6の追記データ位置情報401参照)。 Data location management unit 34 of the information management apparatus 30 that has received such additional data location information, stores the additional data location information to the data position storage DB 61 (see additional data location information 401 of FIG. 6).

また、データ蓄積装置20の追記部221は、キュー管理部225(図1参照)により、追記データ100をキュー部226に蓄積する(S48:キュー管理)。 Also, additional recording portion 221 of the data storage device 20, the queue management unit 225 (see FIG. 1), stores the additional data 100 to the queue unit 226 (S48: queue management).

この後、追記部221は、ストリーム受付部223(図1参照)により、同じSID「SID-kana99」を持つ追記データ101を受信すると(S49)、前記した手順と同様に、この追記データ101の受信時刻(受取時刻)を取得する(S50)。 Thereafter, additional recording unit 221, the stream receiving unit 223 (see FIG. 1) receives the additional data 101 having the same SID "SID-Kana99" (S49), similarly to the above-described procedure, the additional data 101 the reception time to get the (receiving time) (S50). また、追記部221は、追記データ蓄積部224により、追記データ101を蓄積データ記憶部24へ蓄積すると(S51)、前記した手順と同様に、この蓄積したデータ101の追記データ位置情報(SID(「SID-kana99」)、S50で取得した受信時刻(「2007/02/20T 11:00」)、追記データ位置(「macA.ntt/app99/b.log」)を含む)を作成し、この追記データ位置情報を情報管理装置30へ送信する(S52)。 Also, additional recording unit 221, the additional data storage unit 224, the storing additional data 101 to the storage data storage unit 24 (S51), similarly to the above-described procedure, additional data position information of the stored data 101 (SID ( "SID-kana99"), reception time acquired in S50 ( "2007/02 / 20T 11:00"), to create the additional data position (including the "macA.ntt/app99/b.log")), this transmitting the additional data location information to the information management apparatus 30 (S52).

このような追記データ位置情報を受信した情報管理装置30のデータ位置管理部34は、この追記データ位置情報をデータ位置記憶DB61に記憶する(図6の符号404参照)。 Data location management unit 34 of the information management apparatus 30 that has received such additional data location information, stores the additional data location information to the data position storage DB 61 (reference numeral 404 in FIG. 6).

そして、データ蓄積装置20の追記部221は、受信した追記データ101をキュー部226に蓄積する(S53:キュー管理)。 The additional recording section 221 of the data storage device 20 stores the additional data 101 received in the queue unit 226 (S53: queue management).

以上のような処理を繰り返し、各データ蓄積装置20は、ストリームデータを蓄積し、情報管理装置30は、各データ蓄積装置20に蓄積されるストリームデータの追記データ位置情報をデータ位置記憶DB61に記憶していく。 Repeat the above process, the data storage apparatus 20 accumulates stream data, the information management apparatus 30 stores the additional data location information of the stream data stored in the data storage device 20 to the data position storage DB61 going to.

続いて、図7を用いて、参照クライアント70が再フィルタ指示を送信してから、フィルタ処理装置10で再フィルタ処理が実行されるまでの手順を説明する。 Subsequently, with reference to FIG. 7, see the client 70 from the transmission of the re-filter instruction, a procedure to re-filtering is performed by the filter processing unit 10.

参照クライアント70は、再フィルタ処理の対象とするストリームデータのSIDと、時区間と、再フィルタ処理の内容とを含む再フィルタ指示を情報管理装置30のデータ再フィルタ制御部33へ送信する(S61)。 Reference Client 70 has a SID of stream data to be re-filtering, and when the interval, transmits again filter instruction including the contents of the re-filter to the data re-filter control unit 33 of the information management apparatus 30 (S61 ).

再フィルタ指示を受信した情報管理装置30のデータ再フィルタ制御部33は、この再フィルタ処理用のSID(再フィルタ用SID)を発行し、再フィルタ用SIDの割当を行う(S62)。 Data re-filter control unit 33 of the information management device 30 which has received the re-filter instruction issues a SID for the re-filtering processing (SID for re filter), the allocation for re-filter SID (S62). すなわち、データ再フィルタ制御部33は、情報管理部35に、発行した再フィルタ用SIDと、当該SIDをもつストリームデータに関する情報を、システム情報321、情報源情報322、スキーマ情報323、処理手順情報324に登録するよう指示する。 That is, the data re-filter control unit 33, the information management unit 35, a re-filter SID issued, the information about the stream data with the SID, system information 321, information source information 322, the schema information 323, procedure information an instruction to register to 324.

また、データ再フィルタ制御部33は、処理手順情報324に再フィルタ処理を登録する(S63)。 The data re-filter control unit 33 registers the re-filtering procedure information 324 (S63). つまり、データ再フィルタ制御部33は、情報管理部35に対し、この再フィルタ用SIDに関する処理手順情報324として、この再フィルタ指示に示される再フィルタ処理の内容(例えば、フィルタにおける閾値の変更等)を書き加えるよう指示する。 That is, the data re-filter control unit 33 to the information management unit 35, as the processing procedure information 324 about the SID for this re-filter, the contents of the re-filtering processing shown again filter instruction (e.g., the threshold in the filter change, etc. ) an instruction to add write. また、データ再フィルタ制御部33は、情報管理部35に対し、システム情報321に、再フィルタ用SIDと、このSIDを持つストリームデータの送信先であるデータ蓄積装置20の追記部221,222の情報とを対応付けた情報を追加する。 The data re-filter control unit 33 to the information management unit 35, the system information 321, and for re-filter SID, the additional recording portion 221, 222 of the data storage device 20 which is the destination of the stream data with the SID to add information associating the information.

次に、データ再フィルタ制御部33は、データ位置管理DB325から、この再フィルタ処理の対象となるストリームデータの追記データ位置情報を検索する(S64)。 Next, the data re-filter control unit 33 from the data location management DB 325, searches for additional data location information of the stream data to be the re-filtering (S64). 具体的には、データ再フィルタ制御部33は、データ位置管理部34(図1参照)に対し、再フィルタ指示に含まれるSIDと、時区間(または、始まりの時刻)とをキーとして、追記データ位置情報を検索するよう指示する。 Specifically, the data re-filter control unit 33, to the data location management unit 34 (see FIG. 1), the SID included in the re-filter instruction, when the interval (or, time of start) and as a key, postscript an instruction to retrieve the data location information. そして、その検索結果を受け取る。 Then, receive the search results.

そして、データ再フィルタ制御部33は、システム内のデータ蓄積装置20の中から、再フィルタ追記クライアントとなるマシン(データ蓄積装置20)を1つ決定する(S65)。 Then, the data re-filter control unit 33, from the data storage apparatus 20 in the system, re-filter postscript client to become machine (data storage device 20) for determining one 1 (S65). このときのマシン(データ蓄積装置20)の決定は、例えばラウンドロビン等により行われる。 The determination of the machine in this case (data storage apparatus 20) is carried out by, for example, round robin, and the like.

次に、データ再フィルタ制御部33は、この決定したデータ蓄積装置20のプロセス管理部26に対し、S64において検索した追記データ位置情報と、再フィルタ用SIDとを含む再フィルタ指示を送信する(S66)。 Next, the data re-filter control unit 33, this to the process management unit 26 of the determined data storage device 20, and transmits the additional data location information retrieved at S64, the re-filter instruction including the SID for re filter ( S66).

データ再フィルタ制御部33からの再フィルタ指示を受信したデータ蓄積装置20のプロセス管理部26は、蓄積データ取得部25を起動させ、自データ蓄積装置20を再フィルタ追記クライアントとして起動させる(S67)。 Process management unit 26 of the data storage device 20 that has received the re-filter instruction from the data re-filter control unit 33 activates the storage data acquiring unit 25 activates the own data storage device 20 as a re-filter recordable client (S67) . そして、蓄積データ取得部25に対し、S66で受信した追記データ位置情報と、再フィルタ用SIDとを含む再フィルタ指示を転送する(S68)。 Then, with respect to the storage data acquiring section 25, and the additional data location information received in S66, re-filter instructs including the SID for re filter forwards (S68).

そして、蓄積データ取得部25は、この再フィルタ指示を受信すると、情報管理装置30の接続先割当部31に対し、追記先払出し依頼を送信する(S69)。 Then, the storage data acquiring section 25 receives the re-filter instruction, to the destination assignment unit 31 of the information managing apparatus 30 transmits the write-once destination payout request (S69). このときの追記先払出し依頼は、この再フィルタ指示に含まれる再フィルタ用SIDを含むものである。 Postscript destination payout request at this time is one that includes the SID for re filter included in the re-filter instruction. つまり、蓄積データ取得部25は、再フィルタの対象であるストリームデータを読み出した後、どの追記部221,222に流し込めばよいのかを接続先割当部31へ問い合わせる。 In other words, the storage data acquiring section 25, after reading the stream data is re-filter target inquires whether it Nagashikome to which additional recording portions 221 to the destination assignment unit 31.

そして、このような払出し依頼を受信した接続先割当部31は、この再フィルタ用SIDをキーとして、システム情報321(図1参照)から、この再フィルタ用SIDを持つストリームデータを流し込む追記部221のIPアドレスとPort(ポート番号)とを検索する。 The connection destination allocation unit 31 which has received such a payout request, as a key the re filter SID, the system information 321 (see FIG. 1), additional recording portions pouring stream data with the re-filter SID 221 to find the IP address of and the port (port number). そして、接続先割当部31は、この検索したIPアドレスとPort(ポート番号)とを追記先として払出す(S70)。 The connection destination assignment unit 31, to payout and the retrieved IP address and Port (port number) as additional write destination (S70).

そして、蓄積データ取得部25は、この接続先割当部31から払出されたIPアドレスとPort(ポート番号)に示される追記部221に接続する(S71)。 Then, the storage data acquiring section 25 is connected to the additional recording portion 221 shown from the connection destination assignment unit 31 to the payout IP address and Port (port number) (S71).

そして、蓄積データ取得部25は、S68で転送された再フィルタ指示の追記データ位置情報に示される蓄積データ記憶部24の記憶位置(記憶領域)から、再フィルタ処理の対象のデータ(ストリームデータ)を読み込む(S72)。 Then, the storage data acquiring section 25, the storage location of the storage data storage unit 24 shown in additional data position information of the re-filter instructions transferred in S68 (storage area), the target data of the re-filtering (stream data) the read (S72).

なお、このS72において、この再フィルタ処理の対象のデータが、自データ蓄積装置20の蓄積データ記憶部24に蓄積されていれば、自データ蓄積装置20の蓄積データ記憶部24から読み出し、他のデータ蓄積装置20の蓄積データ記憶部24に蓄積されていれば、図示しないネットワーク経由でこの他のデータ蓄積装置20の蓄積データ記憶部24から読み出すことになる。 Note that, in this S72, the target data of the re-filtering, if stored in the storage data storage unit 24 of its own data storage device 20, read from the storage data storage unit 24 of its own data storage device 20, the other if stored in the storage data storage unit 24 of the data storage device 20, it will be read from the stored data memory 24 of the other data storage device 20 via a network not shown.

このようにして蓄積データ取得部25が再フィルタ処理の対象のデータを読み込むと、この読み込んだデータ(追記データ)のSIDを、S68で送信された再フィルタ指示に含まれる再フィルタ用IDに付け替え、S71で接続した追記部221へ流し込む。 This way, the stored data acquisition unit 25 reads the target data of the re-filtering, replaces the SID of the read data (additional data), for re-filter ID included in the transmitted re-filter indicated by S68 , it poured into the appending section 221 connected by S71. つまり、追記部221へストリームデータを追記する(S73)。 That is, it adds the stream data to the recordable portion 221 (S73). そして、追記部221は、前記した図6のS48やS53と同様にキュー管理を行う(S74)。 The additional recording section 221 performs queue management in the same manner as S48 and S53 in FIG. 6 described above (S74).

この後、フィルタ処理装置10は、データ蓄積装置20の追記部221からデータを取得すると(S75)、このデータに対しフィルタ処理を行う(S76)。 Thereafter, filtration device 10 acquires the data from the additional recording portion 221 of the data storage device 20 (S75), it performs a filtering process on the data (S76). つまり、追記部221から取得したデータが再フィルタ用SIDを持つデータであれば、このデータに対し再フィルタ処理を行う。 That is, the data obtained from the additional recording section 221 if the data having the SID for re filter, to re-filtering process on this data. 次に、図1を参照しつつ、図8を用いて、図7のS75およびS76の処理を詳細に説明する。 Next, referring to FIG. 1, with reference to FIG. 8, the processing of S75 and S76 of FIG. 7 in detail. 図8は、図7のS75およびS76の処理を詳細に説明する図である。 Figure 8 is a diagram for explaining in detail the processing of S75 and S76 in FIG. 7.

図1のデータ取得部122は、自身に処理すべきデータがあるか否かをチェックし(S701)、処理すべきデータがないことを検知すると(S701のYes)、キュー選択部121において次にデータを取得するデータ蓄積装置20を選択する(S702)。 The data acquisition unit 122 of FIG. 1 checks whether there is data to be processed itself (S701), (Yes in S701) when detecting that there is no data to be processed, then the queue selection section 121 selecting the data storage device 20 to retrieve data (S702). このときのデータ蓄積装置20の選択は、前記した通り、例えば、各データ蓄積装置20から送信されてきたキュー状態情報をもとに、入力スループットの値の大きいデータ蓄積装置20ほど優先的に選択する。 Selection of the data storage device 20 at this time, as described above, for example, based on the queue status information transmitted from each data storage device 20, preferentially selected larger data storage apparatus 20 of the value of the input throughput to.

そして、データ取得部122は、S702で選択したデータ蓄積装置20からデータを取得する(S703)。 Then, the data acquisition unit 122 acquires data from the data storage device 20 selected in S702 (S703). 取得したデータは、フィルタ実行制御部123に出力する。 The acquired data is output to the filter execution control unit 123.

次に、フィルタ実行制御部123は、処理手順情報324を参照して、この取得したデータに付されたSIDをキーとして、このデータに対し必要なフィルタ処理機能を判断する(S704)。 Next, the filter execution control unit 123, procedure information 324 with reference to, as a key assigned a SID on the acquired data to determine the necessary filtering functions for the data (S704). そして、フィルタ実行制御部123は、このデータに対し必要なフィルタ処理機能が自身のフィルタ処理装置10にあるか否かを判断する(S705)。 The filter execution control unit 123 determines whether filtering processing required for this data is in the filtration device 10 itself (S705). ここで、必要なフィルタ処理機能が自身のフィルタ処理装置10にないとき(S705のNo)、フィルタ実行制御部123は、情報管理装置30から、必要なフィルタ処理機能(情報源情報322や、スキーマ情報323、処理手順情報324等を含む)を取得する(S706)。 Here, when necessary filtering function is not in the filtration device 10 of its own (No in S705), the filter execution control unit 123, from the information management device 30, a filter processing function (information source information 322 and necessary schema information 323 includes procedure information 324, etc.) to get (S706). 例えば、フィルタ実行制御部123が取得したデータが、再フィルタ用SIDが付されたデータである場合、この再フィルタ用SIDに対応するフィルタ処理機能をまだフィルタ処理装置10にダウンロード(取得)していない可能性が高い。 For example, data filtering execution control section 123 is acquired, if a re-filter SID is data attached, downloaded (acquired) filtering function corresponding to this for re filter SID yet to filter unit 10 It is highly unlikely. そこで、フィルタ実行制御部123は、この再フィルタ用SIDを含むストリームデータを受信すると、このSIDに対応するフィルタ処理機能を情報管理装置30からダウンロードする。 Therefore, the filter execution control unit 123 receives the stream data including the re-filter for SID, downloads the filtering function corresponding to the SID from the information management device 30. つまり、情報管理装置30は、このSIDに対応するフィルタ処理機能をフィルタ処理装置10へ送信する。 In other words, the information management apparatus 30 transmits the filtering function corresponding to the SID to the filtering apparatus 10. そして、フィルタ処理装置10のフィルタ実行制御部123はフィルタ処理部124にフィルタ処理機能を追加する。 The filter execution control unit 123 of the filtering apparatus 10 adds the filtering function to filter unit 124.

一方、ここで、必要なフィルタ処理機能が自身のフィルタ処理装置10にあるとき(S705のYes)、S707へ進む。 On the other hand, where, when necessary filtering function is to filter device 10 of its own (Yes in S705), the process proceeds to S707.

そして、フィルタ実行制御部123は、S703で取得したデータに対し、フィルタ処理を実行する(S707)。 The filter execution control unit 123 for the data acquired in S703, executes the filtering process (S707). すなわち、フィルタ実行制御部123は、このストリームデータのSIDと、情報源情報322や、スキーマ情報323、処理手順情報324とを参照して、このストリームデータに対するフィルタ処理の内容を判断し、このフィルタ処理を実行するためのFOPを記憶部から読み出す。 That is, the filter execution control unit 123, the SID of the stream data, and the information source information 322, the schema information 323, with reference to the procedure information 324, determines the content of the filtering process for the stream data, the filter reading the FOP for executing processing from the storage unit. そして、フィルタ実行制御部123は、このFOPに基づきフィルタ処理部124に所定の順序でフィルタ処理を実行させ、フィルタ処理部124はフィルタ処理後、このデータを所定のデータベース装置60へ出力する(S708)。 The filter execution control unit 123, to execute the filtering process in the filter processing unit 124 on the basis of the FOP in a predetermined order, the filtering unit 124 after the filtering processing and outputs the data to a predetermined database device 60 (S 708 ).

このようにすることで、情報管理装置30は、各フィルタ処理装置10に再フィルタ処理を実行させることができる。 In this way, the information management apparatus 30 is able to perform the re-filtering each filter processing unit 10.

なお、ここでは説明を省略しているが、図8のS706で、フィルタ処理装置10のフィルタ実行制御部123が情報管理装置30から必要なフィルタ処理機能を取得した後、再起動処理部36は、情報管理装置30に対し、自身のフィルタ処理装置10の再起動を許可するか否かを問い合わせる。 Here, although not described, in step S706 of FIG. 8, after the filtering execution control unit 123 of the filtering apparatus 10 has acquired the necessary filtering functions from the information management device 30, restart processing section 36 , to the information management device 30 inquires whether or not to allow the restart of its filtering apparatus 10. そして、再起動処理部36は、情報管理装置30から、再起動許可の応答を受信したとき、自身のフィルタ処理装置10を再起動する。 The restart processing section 36 from the information management device 30, upon receiving the response restart permission, restarting the filtration device 10 itself. 次に、再起動処理部36は、再起動を完了すると、再起動完了の通知を情報管理装置30へ送信する。 Then, restart processing section 36 completes the reboot, and transmits notification of completion of restart the to the information management device 30. 一方、再起動処理部36は、情報管理装置30から、再起動許可の応答を受信できなかった場合、自身のフィルタ処理装置10は再起動させず、例えば所定時間経過後に、再起動を許可するか否かを問い合わせる。 Meanwhile, restart processing unit 36, from the information management device 30, if it can not receive a response restart permission, filtering device 10 itself is not restarted, for example after a predetermined time has elapsed, to allow restarting whether or not query the. このようにすることで、他のフィルタ処理装置10の再起動により、自身のフィルタ処理装置10が再起動できなかった場合でも、時間をずらして、再起動することができる。 In this way, by restarting the other filtering device 10, even if the filtration device 10 itself can not be restarted by shifting the time it can be restarted. 従って、システム全体のフィルタ処理能力が著しく低下することを防止できる。 Therefore, it is possible to prevent the filtering capacity of the whole system is significantly reduced.

≪第2の実施の形態≫ «Second Embodiment»
続いて、第2の実施の形態を説明する。 Next, a description will be given of a second embodiment. 第2の実施の形態は、再フィルタの対象となるストリームデータを蓄積するそれぞれのデータ蓄積装置が、自身の蓄積データ記憶部から再フィルタの対象となるストリームデータを読み出し、追記部へ流し込む(ストリームデータの追記)ことを特徴とする。 Second embodiment, each of the data storage apparatus for storing stream data to be re-filter reads the stream data to be re-filter from the accumulated data storage unit of its own, poured into additional recording portion (stream additionally recording data) to be characterized. つまり、再フィルタの対象となるストリームデータが複数のデータ蓄積装置にまたがって蓄積されている場合、このストリームデータの追記部への(送信)流し込みを、各データ蓄積装置それぞれが実行することを特徴とする。 That is, if the stream data to be re-filter is accumulated over a plurality of data storage devices, characterized in that to the additional recording portion of the stream data was poured (transmission), it executes each respective data storage device to. 図9は、第2の実施の形態のストリームデータ処理システムを示すブロック図である。 Figure 9 is a block diagram illustrating a stream data processing system of the second embodiment. 図9を用いて、第2の実施の形態の概要を説明する。 With reference to FIG. 9, an outline of the second embodiment. 前記した第1の実施の形態と同様の構成要素は同じ符号を付して、説明を省略する。 Said to like components in the first embodiment has are denoted by the same reference numerals, and description thereof is omitted.

図9に示すように、第2の実施の形態のストリームデータ処理システムにおける情報管理装置30は、データ再フィルタ制御部33Aを備える。 As shown in FIG. 9, the information management apparatus 30 in the stream data processing system of the second embodiment includes a data re-filter control unit 33A. このデータ再フィルタ制御部33Aは、参照クライアント70から、再フィルタ処理の対象とするストリームデータのSIDおよび時区間と、再フィルタ処理の内容とを含む再フィルタ指示を受信すると、データ位置管理部34に、データの存在するマシンを特定させる。 The data re-filter control unit 33A from the reference client 70, the SID and time segment of the stream data to be re-filtering, upon receiving the re-filter instruction including the contents of the re-filtering, data position managing section 34 to, to identify the machine in the presence of data. つまり、データ位置管理部34は、データ位置管理DB325の追記データ位置情報を参照して、当該再フィルタ処理の対象とするストリームデータを蓄積するデータ蓄積装置20を検索して、このストリームデータの存在するマシン(データ蓄積装置20)を特定する。 That is, the data location management unit 34 refers to the additional data position information of the data location management DB 325, and searches the data storage device 20 for storing stream data to be subjected to the re-filtering, the presence of this stream data identifying the machine (data storage device 20) for. そして、データ再フィルタ制御部33は、このストリームデータの存在するデータ蓄積装置20を、ストリームデータの追記を行うデータ蓄積装置20(マシン)として決定し、このデータ蓄積装置20のプロセス管理部26に対し、ストリームデータの読み出しを指示する。 Then, the data re-filter control unit 33, a data storage device 20 existing in the stream data, determined as a data storage device 20 performs additional recording of stream data (machine), the process management unit 26 of the data storage apparatus 20 against, and instructs the reading of the stream data.

この後、このような指示を受けたデータ蓄積装置20はそれぞれ、蓄積データ取得部25により、自データ蓄積装置20の蓄積データ記憶部24から、再フィルタ処理の対象となるストリームデータを読み出す。 Thereafter, each such indication the received data storage unit 20, the stored data acquisition unit 25, the accumulated data storage unit 24 of its own data storage device 20, reads the stream data to be re-filtering. そして、蓄積データ取得部25は、情報管理装置30の接続先割当部31にこのストリームデータを流し込む追記先を問い合わせ、この接続先割当部31から指示された追記部222へ、ストリームデータを流し込む。 Then, the storage data acquiring unit 25 inquires the additional recording destination in the destination assignment unit 31 of the information management device 30 flow into the stream data, the additional recording section 222 instructed from the connection destination assignment unit 31, pouring stream data. 次に、各フィルタ処理装置10は、この再フィルタ処理の対象のストリームデータをデータ蓄積装置20それぞれのキュー部226から取得し、再フィルタ処理を実行する。 Next, the filter processing unit 10 acquires the target stream data of the re-filtering the data storage apparatus 20 each queue unit 226, executes the re-filtering. そして、再フィルタ処理後のデータをデータベース装置60へ送信する。 Then, it transmits the data after the re-filter to the database device 60. つまり、データ蓄積装置20それぞれが、並列して再フィルタの対象となるストリームデータの読み出し、および、追記部222への流し込みを行う。 That is, each of the data storage device 20, parallel to the stream data to be re-filter reading, and performs poured into additional recording portion 222.

<動作手順> <Operation Procedure>
このような第2の実施の形態のストリームデータ処理システムの動作手順を、図10を用いて説明する。 The operation procedure of this second embodiment of the stream data processing system will be described with reference to FIG. 10. 図10は、図9のストリームデータ処理システムの動作手順を示す図である。 Figure 10 is a diagram showing an operation procedure of a stream data processing system of FIG.

図10のS91の処理は、図7のS61の処理と同様なので、説明を省略し、S92から説明する。 Processing of S91 in FIG. 10 is the same as the processing of S61 in FIG. 7, not described, will be described from S92.

情報管理装置30のデータ再フィルタ制御部33Aは、S91で送信された再フィルタ指示に示される再フィルタ処理の内容がウィンドウ処理を含むか否かを判断する(S92)。 Information data re filter controller 33A of the management device 30, the contents of the re-filtering to determine whether including the window process shown in re-filter instruction transmitted by S91 (S92). ここでの再フィルタ処理の内容がウィンドウ処理を含むか否かの判断は、再フィルタ指示に含まれる再フィルタ処理の内容そのものから判断してもよいし、情報源情報322に登録されているこの再フィルタ対象のストリームデータのSIDに関する情報源情報322を参照して判断してもよい。 Here the contents of the re-filtering at is whether including windowing decision may be determined from the re-filtering the content itself to be included in the re-filter instruction, this is registered in the information source information 322 it may be determined by referring to the information source information 322 for SID stream data re filter object. 情報源情報322を参照して判断する場合、当該SIDの情報源情報322(図2の符号201参照)に定義されているウィンドウサイズが「2」以上であるか否かにより判断すればよい。 If judged by referring to the information source information 322, the window size defined in the source information 322 of the SID (reference numeral 201 in FIG. 2) may be determined by whether or not "2" or more.

例えば、図2の符号201に例示したSID「DML001」の情報源情報において、ウィンドウサイズは「1」である。 For example, the information source information SID "DML001" illustrated in reference numeral 201 in FIG. 2, the window size is "1". 従って、データ再フィルタ制御部33Aは、再フィルタ処理の内容がウィンドウ処理を含まないと判断する。 Therefore, the data re-filter control unit 33A, the contents of the re-filtering process is determined not to contain any windowing.

図10のS92において再フィルタ処理の内容がウィンドウ処理を含むと判断したとき(S92のYes)、データ再フィルタ制御部33Aは、前記した図7のS62以降と同様の処理を行う。 When the contents of the re-filtering is determined to contain windowing in S92 of FIG. 10 (Yes in S92), the data re-filter control unit 33A performs S62 after the same process as in FIG. 7 described above. つまり、データ再フィルタ制御部33Aが選択したいずれか1つのデータ蓄積装置20が、各データ蓄積装置20から再フィルタ対象のストリームデータを読み出し、追記部221,222へ流し込む処理を行う。 That is, any one of the data storage device 20 to the data re-filter control unit 33A is selected, reads the stream data again being filtered from the data storage apparatus 20 performs a process of pouring the additional recording portions 221 and 222.

一方、S92において再フィルタ処理の内容がウィンドウ処理を含まないと判断したとき(S92のNo)、情報管理装置30は、前記した図7のS62、S63と同様に、再フィルタ用SIDの割当(S93)と、再フィルタ処理の登録(S94)とを行う。 Meanwhile, when the contents of the re-filtering is determined to contain no windowing in S92 (No in S92), the information management apparatus 30, similarly, the allocation of the SID for re filter and S62, S63 of FIG. 7 described above ( and S93), and the registration of re-filter processing (S94) is carried out. そして、S64と同様に、データ位置管理DB325から、再フィルタ指示に示されるSIDと時区間(または、始まりの時刻)とをキーとして、追記データ位置情報の検索を行う(S95)。 Then, as in S64, the data location management DB 325, SID and the time intervals indicated in re-filter instruction (or the beginning of time) as a key, to search for additional data position information (S95).

データ再フィルタ制御部33Aは、S95で検索した追記データ位置情報(追記データ位置情報のリスト)における追記データ位置に示されるデータ蓄積装置20の識別情報を参照して、この追記データ位置情報をデータ蓄積装置20ごとに分ける(S96)。 Data re-filter control unit 33A refers to the identification information of the data storage device 20 shown in additional data location in a write-once data position information searched by S95 (list of additional data position information), the data the additional data location information Breakdown storage device 20 (S96).

例えば、データ再フィルタ制御部33Aは、再フィルタ指示においてSID「SID−kana99」と、時区間「2007/02/20T 10:00〜2007/02/20T 12:00」という指示が含まれていた場合、図6に例示したデータ位置管理DB325から、この条件に合う追記データ位置情報402,403,405を検索する。 For example, data re-filter control unit 33A, in the re-filter instruction and SID "SID-Kana99", when the section "2007/02 / 20T 10: 00~2007 / 02 / 20T 12:00" indication that is included If, from the data location management DB325 illustrated in FIG. 6, to search for additional data position information 402,403,405 that meet this condition. ここで、これらの追記データ位置情報402,403,405の追記データ位置の識別情報の記載部分(追記データ位置情報の冒頭の部分)を見ると、「macA.ntt」となっているものと、「macB.ntt」となっているものとがある。 Turning now to the portions in the identification information of additional data the position of these additional data location 402,403,405 (part of the beginning of additional data position information), and what is "macA.ntt" there is a thing that has become a "macB.ntt". つまり、再フィルタ処理の対象となるストリームデータは異なるデータ蓄積装置20に蓄積されている。 In other words, the stream data to be re-filtering is stored in a different data storage device 20. したがって、データ再フィルタ制御部33Aは、この追記データ位置情報402,403,405を、「macA.ntt」から始まる追記データ位置情報402,403と、「macB.ntt」から始まる追記データ位置情報405とに分ける。 Therefore, the data re-filter control unit 33A is the additional data location information 402,403,405, and additional data location information 402 and 403 beginning with "macA.ntt", additional data location information 405 starting from "macB.ntt" divided into the door. つまり、「macA.ntt」のデータ蓄積装置20へ送信する追記データ位置情報402,403と、「macB.ntt」のデータ蓄積装置20へ送信する追記データ位置情報405とに分ける。 That is, the additional data location information 402 and 403 to be transmitted to the data storage apparatus 20 of "macA.ntt", divided into a postscript data location information 405 to be transmitted to the data storage apparatus 20 of "macB.ntt".

そして、データ再フィルタ制御部33Aは、再フィルタ処理の対象のストリームデータを蓄積するそれぞれのデータ蓄積装置20へ、S96で分けた追記データ位置情報を含む再フィルタ指示を送信する(S97)。 Then, the data re-filter control unit 33A is to each of the data storage device 20 for storing the target stream data re filtering, it transmits the re-filter instruction including additional data position information separated by S96 (S97). 例えば、データ再フィルタ制御部33Aは、「macA.ntt」のデータ蓄積装置20へは追記データ位置情報402,403を含む再フィルタ指示を送信し、「macB.ntt」のデータ蓄積装置20へは追記データ位置情報405を含む再フィルタ指示を送信する。 For example, data re-filter controller 33A sends a re-filter instruction including additional data location information 402 and 403 to the data storage apparatus 20 of "macA.ntt", the data storage apparatus 20 of "macB.ntt" is transmitting the re-filter instruction including additional data location information 405. そして、各データ蓄積装置20における再フィルタ処理の対象のストリームデータの読み出し、追記部221,222への流し込み、フィルタ処理装置10によるフィルタ処理の手順は、第1の実施の形態と同様なので説明を省略する。 Then, reading of the target stream data re-filtering in each of the data storage device 20, pouring into the additional recording portion 221 and 222, the procedure of the filter processing by the filter processing unit 10, so that the description similar to the first embodiment omitted.

このようにすることで、再フィルタ処理の対象のストリームデータが複数のデータ蓄積装置20にまたがって蓄積されている場合、それぞれのデータ蓄積装置20において、蓄積データ記憶部24から再フィルタ処理の対象のストリームデータの読み出し、キュー部226へ流し込むので、再フィルタ処理の対象のストリームデータの読み出しを効率よく行うことができる。 In this way, if the target stream data re-filtering process is accumulated over a plurality of data storage apparatus 20, in each of the data storage device 20, subject of re-filtering the accumulated data storage unit 24 since pouring the reading of the stream data, the queue unit 226, it is possible to read out target stream data re-filtering efficiency.

≪第3の実施の形態≫ «Third embodiment»
次に、本発明の第3の実施の形態を説明する。 Next, a third embodiment of the present invention. 第3の実施の形態のストリームデータ処理システムは、フィルタ処理装置10が、データの取得先である追記部(追記部221,222等)を変更した場合でも、漏れや重複なくストリームデータ(データ)のフィルタ処理を行うようにすることを特徴とする。 Stream data processing system of the third embodiment, the filtering device 10, even if you change appending section is a data location (the additional recording portion 221, 222, etc.), leakage and without duplication stream data (data) characterized in that to perform the filtering. 前記した各実施の形態と同様の構成要素は同じ符号を付して、説明を省略する。 Same components as the embodiment described above are denoted by the same reference numerals, and description thereof is omitted.

図12は、第3の実施の形態のストリームデータ処理システムを示すブロック図である。 Figure 12 is a block diagram illustrating a stream data processing system according to the third embodiment. 図12に示すように、第3の実施の形態のストリームデータ処理システムのデータ蓄積装置20は、追記部情報81を備える。 Figure 12 as shown, the third embodiment of the stream data processing data storage apparatus 20 of the system includes additional recording portion information 81. この追記部情報81は、追記部221,222において処理中のデータのSIDや、追記部221,222のキュータイプ、キュータイプの変更時刻等を示した情報である。 The additional recording section information 81, the additional recording portion 221, 222 SID or data being processed, the queue type of the write-once portion 221 and 222 is information showing a queue type of modification time and the like.

このキュータイプについては、図13を用いて後記するが、大きく2つのパターンがある。 This queue type is described later with reference to FIG. 13, there are two patterns increases. つまり、(1)追記部221,222が受信したデータを蓄積データ記憶部24へデータを出力し、かつ、フィルタ処理装置10からのデータ取得も受け付けているパターンと(このパターンを仮にキュータイプ「B」とする)、(2)追記部221,222が蓄積データ記憶部24へデータを出力するが、フィルタ処理装置10からのデータ取得を受け付けていないパターン(このパターンを仮にキュータイプ「A」とする)である。 That is, (1) a data additional recording unit 221, 222 receives output data to the storage data storage unit 24, and pattern (if Queue Type this pattern that also accepts data acquisition from the filter processing unit 10 ' and B "), (2) appending section 221 and 222 outputs the data to the storage data storage unit 24, the data acquisition have not accepted pattern from the filter processing unit 10 (if the queue type this pattern" a " it is to be).

蓄積データ取得部25は、この追記部情報81を参照して、各追記部221,222のキュータイプを判断し、各追記部221,222へのデータの流し込みの制御を行う。 Accumulating data acquisition unit 25 refers to the write-once portion information 81, determines the queue type for each additional recording portions 221 and 222, controls the pouring of the data to each additional recording portions 221 and 222. このようにすることで、フィルタ処理装置10において、フィルタ処理対象のデータに漏れや重複が無いようにする。 By doing so, the filter processing unit 10, so that leakage or duplication is not in data filtering target. 例えば、フィルタ処理装置10は、データ取得先を追記部222から、追記部221へ変更した場合でも一連のストリームデータに対し、漏れや重複なくフィルタ処理を実行できる。 For example, the filter processing unit 10, a data acquisition source from the additional recording portion 222, even when changing the appending section 221 with respect to a series of stream data, can perform leakage or duplication without filtering. この追記部情報81は、各データ蓄積装置20内のRAM等の記憶手段(図示省略)に記憶される。 The additional recording section information 81 is stored in the storage unit (not shown) such as a RAM of each data storage device 20. なお、当該SIDのストリームデータに関するキュータイプやフィルタ処理内容は、図12の処理手順情報324に記録される。 Incidentally, the queue type and filtering process related stream data of the SID is recorded in procedure information 324 in FIG. 12. この処理手順情報324は、例えば、情報管理装置30が外部装置(参照クライアント70等)からキュータイプの変更通知を受信したとき、このキュータイプの変更通知に示される内容が記録される。 This procedure information 324, for example, when the information management apparatus 30 receives the queue type change notification from the external device (see the client 70, etc.), content shown in the change notification the queue type is recorded. なお、このキュータイプの変更通知には、キュータイプが変更されるストリームデータのSIDを含む。 Note that the change notification this queue type, including the SID of stream data queue type is changed.

図13は、第3の実施の形態のストリームデータ処理システムの動作概要を概念的に説明する図である。 Figure 13 is a diagram for conceptually explaining an operation outline of the third embodiment of the stream data processing system. 図13を用いて、第3の実施の形態のストリームデータ処理システムの動作概要を説明する。 With reference to FIG. 13, the operation outline of the stream data processing system according to the third embodiment. ここでは、追記部221により蓄積データ記憶部24に蓄積されたデータをフィルタ処理装置10が追記部222経由で取得し、フィルタ処理を行う。 Here, the data stored in the storage data storage unit 24 by the appending section 221 acquires filtering device 10 via the additional recording section 222 performs a filtering process. その後、フィルタ処理装置10は、直接、追記部221からデータを取得してフィルタ処理を行い、その後、追記部222からのデータ取得を中止する場合を例に説明する。 Thereafter, the filter processing unit 10 directly performs a filtering process to obtain the data from the additional recording section 221, then, the case to stop the data acquisition from the additional recording portion 222 as an example. なお、ここでは説明の簡単のため、図12に示した構成のうち、追記部221,222、蓄積データ記憶部24、蓄積データ取得部25、プロセス管理部26、追記部情報81およびフィルタ処理装置10以外の構成は記載を省略している。 Here, for simplicity of explanation, among the configuration shown in FIG. 12, additional recording portions 221, 222, accumulated data storage unit 24, the storage data acquiring unit 25, process management unit 26, additional recording unit information 81 and the filtration device other than 10 configuration is omitted.

(1)まず、追記部221は、ストリームデータ(データ)を受信すると、このデータを蓄積データ記憶部24に出力(蓄積)する。 (1) First, additional recording unit 221 receives the stream data (data), and outputs the data to the storage data storage unit 24 (storage). なお、この段階では、図12の処理手順情報324には、SID「1」のストリームデータを扱う追記部のキュータイプは「A」であり、フィルタ処理装置10によるフィルタ処理は「無し(null)」であることが記録される。 At this stage, the procedure information 324 in FIG. 12, SID queue type of appending section dealing with stream data "1" is "A", "no filtering by the filter processing unit 10 (null) it is recorded is ". フィルタ処理装置10は、このような処理手順情報324により、追記部221に対しデータ取得を行なわないことになる。 Filtering device 10, such a procedure information 324, so that no data acquisition to additional recording unit 221. また、この追記部221は、処理中のデータのSID(例えば「1」)と、キュータイプ(例えば「A」)を追記部情報81に書き込む。 Moreover, the additional recording section 221, the SID of the data being processed (for example, "1"), writes queue type (e.g. "A") to the additional recording portion information 81.

(2)次に、追記部221により蓄積データ記憶部24に蓄積されたデータに対し、フィルタ処理装置10がフィルタ処理を開始する場合、以下のようになる。 (2) Next, with respect to data stored in the storage data storage unit 24 by the additional recording portion 221, if the filtration device 10 starts filtering, as follows. まず、図12の処理手順情報324に、例えば、SID「2」に対し、フィルタ処理「P」を実行することを登録しておく。 First, the procedure information 324 in FIG. 12, for example, with respect to SID "2", are registered to perform the filtering process "P". そして、蓄積データ取得部25は、追記部221により蓄積されたデータ(SID「1」のデータ)を蓄積データ記憶部24から読み出し、追記部222へ流し込む。 Then, the storage data acquiring unit 25 reads data stored by the additional recording section 221 (data of SID "1") from the accumulated data storage unit 24 is poured into the additional recording section 222. そして、追記部222は、蓄積データ取得部25により流し込まれたデータ(SID「1」のデータ)のSIDを「2」に変更する。 The additional recording section 222 changes the SID of poured by accumulating data acquisition unit 25 (data of the SID "1") to "2". そして、フィルタ処理装置10は、処理手順情報324に基づき、この追記部222経由で、SID「2」のデータを取得し、フィルタ処理(例えば「P」)を開始する。 The filter processing unit 10, based on the procedure information 324, via the additional recording section 222, acquires data of the SID "2" to start the filtering process (e.g., "P").

(3)プロセス管理部26は、追記部221へ、キュータイプの変更を指示する。 (3) process management unit 26, the additional recording section 221, and instructs the change of the queue type. このキュータイプの変更の指示は、図12の情報管理装置30が参照クライアント70等から、キュータイプの変更通知を受け付けたとき、この情報管理装置30が各データ蓄積装置20へこのキュータイプの変更通知を送信することにより行われる。 Instruction to change the queue type, from the information management device 30 references the client 70 like in FIG. 12, when receiving the change notification queue type, change of the queue type the information managing apparatus 30 to the data storage device 20 It is performed by sending a notification. なお、このとき、情報管理装置30は、処理手順情報324に、例えば、SID「1」のデータに対して、キュータイプは「B」で、フィルタ処理「P」を実行するよう変更されたことを登録する。 At this time, the information management apparatus 30, the procedure information 324, for example, for the data of the SID "1", the queue type is "B", it is changed to perform the filtering process "P" to register. このようなキュータイプの変更指示を受けた追記部221は、受信したデータを蓄積データ記憶部24に蓄積するとともに、受信したデータを図1のキュー管理部225に蓄積し、フィルタ処理装置10からのデータ取得要求に応じる。 Appending section 221 which has received the instruction to change such queue type, as well as storing the received data in the storage data storage unit 24, stores the received data in the queue manager 225 of FIG. 1, a filter processing unit 10 respond to the data acquisition request. そして、この追記部221は、変更したキュータイプ(例えば「B」)、処理中のストリームデータのSID(例えば「1」)、キュータイプの変更時刻(例えば「2008/01/11T11:00」)を追記部情報81に書き込む。 Then, the appending section 221, change the queue type (for example, "B"), SID of stream data being processed (for example, "1"), the queue type of modification time (for example, "2008/01 / 11T11: 00") It writes the write-once part information 81. なお、このキュータイプの変更時刻は、例えば、追記部221がキュータイプの変更指示を受信した時刻とする。 Note that changing time in queue type, for example, appending section 221 and time of receiving the change instruction queue type.

(4)次に、蓄積データ取得部25は、追記部情報81を参照して、追記部221で処理中のSIDのキュータイプが変更されたことを検知したとき、以下のような処理を行う。 (4) Next, the storage data acquiring section 25 refers to the additional recording portion information 81, when the queue type of SID being processed in the write-once section 221 detects that it has been changed, the following processing is performed . まず、蓄積データ取得部25は、追記部情報81を参照して、キュータイプが変更された時刻を読み出す。 First, the storage data acquiring section 25 refers to the additional recording portion information 81, reads the time at which the queue type is changed. そして、蓄積データ記憶部25からデータを読み出し、追記部222へ流し込むとき、データに付された受信時刻を参照しながら、その時刻(変更時刻)までのデータを流し終えたところで、この追記部222への流し込みを終了する。 Then, it reads data from the accumulated data storage unit 25, when poured into the additional recording section 222, with reference to the reception time attached to the data, where the finished shed data up to that time (change time), the additional recording portion 222 to end the pouring to. つまり、キュータイプを変更した後、所定時間、フィルタ処理装置10は、追記部(追記部221,222)からのデータ取得をパラレルで行うことになるが、蓄積データ取得部25は追記部222へのデータの流し込みをキュータイプの変更時刻までで終了するので、結果的にフィルタ処理装置10で処理するデータの重複はなくなる。 That is, after changing the queue type, a predetermined time, the filtering apparatus 10 is comprised to perform data acquisition from the appending section (additional recording portions 221 and 222) in parallel, the storage data acquiring section 25 to the additional recording portion 222 since ends the pouring of the data until the queue type change time, duplication of data to be processed by eventually filtering device 10 is eliminated.

これにより、フィルタ処理装置10は、追記部221が蓄積データ記憶部24への蓄積のみを行っていた間のデータ(例えばSID「1」のデータ)を取得しつつ、追記部221から直接データを取得するようにできる。 Thereby, filter processing unit 10, while acquiring the data while the additional recording section 221 is performing only accumulation to the storage data storage unit 24 (e.g., data of SID "1"), the data directly from the additional recording section 221 It can be to obtain. つまり、フィルタ処理装置10が結果的に特定のSIDを持つデータについて、指定された時刻(キュータイプの変更時刻)以降のすべてのデータを重複なくフィルタ処理を行うことができる。 That is, for data having a filtering device 10 is consequently given SID, can be performed without redundancy filter all data following the specified time (queue type modification time).

<動作手順> <Operation Procedure>
このような第3の実施の形態のストリームデータ処理システムの動作手順を、図14を用いて説明する。 The operation procedure of the third embodiment of the stream data processing system will be described with reference to FIG. 14. 図14は、図12のストリームデータ処理システムの動作手順を示す図である。 Figure 14 is a diagram showing an operation procedure of a stream data processing system of Figure 12. ここでも、追記部221がいったん蓄積データ記憶部24に蓄積したデータをフィルタ処理装置10が追記部222経由で取得し、フィルタ処理を行う。 Again, the additional recording portion 221 is temporarily stored in the storage data storage unit 24 the data acquired filtering device 10 via the additional recording section 222 performs a filtering process. その後、フィルタ処理装置10は、直接、追記部221からデータを取得するようにし、追記部222からのデータ取得を中止する場合を例に説明する。 Thereafter, the filter processing unit 10 is directly acquire the data from the additional recording unit 221 will be described as an example a case to stop the data acquisition from the additional recording portion 222.

なお、ここでは図示を省略しているが、追記部221が蓄積データ記憶部24へ蓄積したデータを、蓄積データ取得部25は、前記した図7のS61〜S72に示したような手順により、再フィルタ用のデータとして読み込み、追記部222へ追記する。 Here, although not shown, a data additional recording unit 221 has accumulated to the storage data storage unit 24, the storage data acquiring section 25, by the procedure shown in S61~S72 7 described above, read as data for re-filter, to append to the appending section 222.

つまり、参照クライアント70が、再フィルタ処理の対象とするストリームデータのSIDと、開始時刻と、再フィルタ処理の内容とを含む再フィルタ指示を情報管理装置30のデータ再フィルタ制御部33へ送信すると(図7のS61)、これをトリガとして、データ再フィルタ制御部33は、再フィルタ用SIDの発行、割当てと、再フィルタ処理の登録、追記データ位置情報の検索を行う(S62〜S64)。 That is, the reference client 70, the SID of the stream data to be re-filtering, and start time, and send again filter instruction including the contents of the re-filter to the data re-filter control unit 33 of the information management device 30 (S61 in FIG. 7), as a trigger, the data re-filter control unit 33 issues for re filter SID, and assignment, registration of the re-filtering, the search for additional data location information performed (S62 to S64). そして、データ再フィルタ制御部33は、再フィルタ追記クライアントとなるマシン(データ蓄積装置20)を決定し(S65)、そのデータ蓄積装置20へ再フィルタ指示を行う(S66)。 Then, the data re-filter control unit 33 determines a re-filter postscript client become machine (data storage device 20) (S65), to re-filter instruction to the data storage apparatus 20 (S66). そして、このような再フィルタ指示を受け付けたプロセス管理部26は、自データ蓄積装置20を再フィルタ追記クライアントとして起動させ(S67)、蓄積データ取得部25へ再フィルタ用SID、追記データ位置情報を含む再フィルタ指示を行う(S68)。 The process management unit 26 which has received such a re filter instruction activates the self data storage device 20 as a re-filter recordable client (S67), a re-filter to the storage data acquiring section 25 SID, the additional data location information re filter instruction is carried out, including (S68). そして、蓄積データ取得部25は、情報管理装置30の接続先割当部31へ再フィルタ用SIDを含む追記先払出し依頼を送信し(S69)、この応答として、追記部(追記部222)の払い出しを受ける(S70)。 Then, the storage data acquiring section 25, the payout of sending additional recording destination payout request including a re-filter SID to the destination assignment unit 31 of the information managing apparatus 30 (S69), as the response, additional recording portions (additional recording portion 222) the subject (S70). この後、蓄積データ取得部25は、この払い出しを受けた追記部222へ接続し(S71)、蓄積データ記憶部24から読み出した(S72)、データに再フィルタ用SID(例えば「2」)を付して、追記部222へ追記する(S73)準備をしておく。 Thereafter, the storage data acquiring section 25 is connected to the appending section 222 which has received the payout (S71), read from the accumulated data storage unit 24 (S72), a re-filter the data SID (e.g. "2") subjected to additionally writes the appending section 222 (S73) keep ready.

まず、図12の追記部221は蓄積データ記憶部24にデータを蓄積し(S100)、蓄積データ取得部25は、この蓄積データ記憶部24からデータの読み込みを行う(S101)。 First, additional recording unit 221 of FIG. 12 accumulates the data in the storage data storage unit 24 (S100), storing the data acquisition unit 25 reads data from the accumulated data storage unit 24 (S101). この段階では、フィルタ処理装置10は、この追記部221からのデータ取得は行わない。 At this stage, the filter processing unit 10, data acquisition from the appending section 221 is not performed.

図12のデータ蓄積装置20のプロセス管理部26が、情報管理装置30からキュータイプ変更通知を受信すると、追記部221へキュータイプの変更を指示する情報を送信する(S102)。 Figure process management unit 26 of the data storage apparatus 20 of 12, when the information management apparatus 30 receives the queue type change notification, and transmits information indicating the change of the queue type to additional recording section 221 (S102). そして、このキュータイプの変更を指示する情報を受信した追記部221は、追記部情報81へキュータイプの変更に関する情報を書きこむ(S103)。 The additional recording section 221 having received the information indicating the change of the queue type, writes the information about the change of the queue type to appending section information 81 (S103). 例えば、追記部221は、キュータイプ後のキュータイプと、SIDと、そのキュータイプの変更を指示する情報の受信時刻(キュータイプの変更時刻)とを追記部情報81に書き込む。 For example, additional recording unit 221 writes the queue type after the queue type, and SID, the reception time (queue type modification time) and the additional recording portion information 81 of information indicating the change of the queue type.

蓄積データ取得部25は、この追記部情報81を参照し(S104)、キュータイプの変更があるか否かを判断する(S105)。 Accumulating data acquisition unit 25 refers to the write-once portion information 81 (S104), it is determined whether there is a change in the queue type (S105). ここで、キュータイプの変更がなければ(S105のNo)、S106,107をスキップして、S108へ進む。 Here, if there is no change of the queue type (No in S105), and skips S106,107, the process proceeds to S108. S108については後記する。 It will be described later for S108. 一方、この追記部情報81を参照して、キュータイプが変更されていたとき(S105のYes)、このキュータイプの変更時刻を読み出し、蓄積データ記憶部24からの当該SIDのデータの読み込み終了時刻を設定する(S106)。 On the other hand, with reference to the appending section information 81, (Yes in S105) when the queue type has been changed, reading the changed time in queue type, read end time of the data of the SID from the accumulated data storage unit 24 the set (S106). この読み込み終了時刻は、このデータ蓄積装置20内の記憶部に記録しておく。 The read end time is recorded in the storage unit in the data storage apparatus 20.

そして、蓄積データ取得部25は、蓄積データ記憶部24から読み込んだデータのうち、このSIDの変更を行ったデータについて、そのデータに付された時刻を参照して、S106で設定された終了時刻より前のデータか否かを判断する(S107)。 Then, the storage data acquiring unit 25, among the data read from the storage data storage unit 24, the data subjected to the change of the SID, with reference to the time attached to the data, end time set in S106 determining whether the earlier data (S107). ここで、蓄積データ取得部25が、S106で設定された終了時刻より前のデータと判断したもの(S107のYes)については、追記部222へ追記し(S108)、追記部222においてキュー管理を行う(S109)。 Here, the storage data acquiring unit 25, for which it is determined that the previous data than the set end time at S106 (Yes in S107), appends the additional recording section 222 (S108), the queue management in recordable portion 222 carried out (S109). なお、蓄積データ取得部25は、追記部222へデータを追記した後、S101へ戻る。 Note that the storage data acquiring section 25, after additional recording data to recordable unit 222 returns to S101. そして、フィルタ処理装置10は、この追記部222からデータを取得し(S110)、フィルタ処理を実行する(S111)。 The filter processing unit 10 obtains the data from the write once section 222 (S110), executes the filtering process (S 111). 一方、蓄積データ記憶部24から読み込んだデータが、S106で設定された終了時刻以後のデータと判断したとき(S107のNo)、追記部222への追記を終了する(S112)。 On the other hand, read from the storage data storage unit 24 data, when it is determined that the set end time after the data in S106 (S107 of No), the ends postscript to appending section 222 (S112). これにより、フィルタ処理装置10は、追記部221で受信したストリームデータを、追記部222から取得することがなくなる。 Thereby, filter processing unit 10, a stream data received in the write-once section 221, it is unnecessary to acquire the additional recording unit 222. つまり、フィルタ処理装置10は、キュータイプ変更前に追記部221により蓄積されたデータを追記部222経由で取得しつつ、追記部221からも直接データを取得することができる。 That is, the filter processing unit 10, while acquiring the data stored by the additional recording portion 221 prior to the change queue type via additional recording unit 222 can also acquire the data directly from the additional recording section 221. このようにすることで、この追記部221で受信した一連のストリームデータについて、フィルタ処理装置10は、漏れなくフィルタ処理を行うことができる。 In this way, a series of stream data received by the additional recording portion 221, filter processing unit 10 can perform the filtering process without omission. また、追記部221から取得したものと同じデータを、追記部222からも重複して取得しないので、フィルタ処理を重複して行うことがなくなる。 Also, the same data as those obtained from the additional recording portion 221, does not get to be duplicated from the additional recording portion 222, it is unnecessary to perform duplicate filtering.

なお、本発明は前記した各実施の形態に限定されず、広く変形可能である。 The present invention is not limited to the embodiments described above, it is possible widely modified.

例えば、情報管理装置30において参照クライアント70から再フィルタ指示を受信した後(図7のS61の後)、この再フィルタ指示の対象である追記データ位置情報(追記データ位置リスト)を参照クライアント70へ送信するようにしてもよい。 For example, (after S61 in FIG. 7) from the reference client 70 in the information management device 30 after receiving the re-filter instruction, the additional data location information is the re-filtering instruction of the target (additional data position list) to see the client 70 it may be transmitted. 図11は、図1および図9の情報管理装置および参照クライアントの動作手順を示す図である。 Figure 11 is a flow diagram illustrating operations of the information management device and a reference client of FIG. 1 and FIG.

すなわち、図11に示すように、情報管理装置30のデータ位置管理部34は、参照クライアント70から、SIDと時区間とを含む追記データ位置情報の検索要求を受信する(S151)。 That is, as shown in FIG. 11, the data location management unit 34 of the information management unit 30 from the reference client 70 receives a search request for additional data location information including the SID and time segment (S151). そして、データ位置管理部34は、この検索要求に含まれるSIDと時区間とをキーとして、データ位置管理DB325から追記データ位置情報を検索し、この検索結果をまとめた結果リスト(追記データ位置リスト)を作成する(S152)。 Then, the data location management unit 34 as a key and a SID and a time interval included in the search request, searches the additional data location information from the data location management DB 325, the search results are summarized result list (additional data position list ) to create a (S152). そして、データ位置管理部34は、この作成した追記データ位置リストを前記検索要求に対する検索結果として返却する(送信する)(S153)。 Then, the data location management unit 34, the additional data position list that this creation is returned as the search result for the search request (send) (S153).

そして、このような追記データ位置リストを受信した参照クライアント70は、再フィルタ処理の内容と、追記データ位置リストに示される追記データ位置情報とを含む再フィルタ指示を情報管理装置30のデータ再フィルタ制御部33Aへ送信する(S154)。 Then, such additional data location reference client 70 the list has been received, the contents of the re-filtering, additional data position information and re-filter instructs the information management apparatus 30 data re filter comprising shown in additional data location list and it transmits to the control unit 33A (S154).

この後、データ再フィルタ制御部33Aは、追記フィルタ用SIDの割当と、再フィルタ処理の登録とを行った後、S54で参照クライアント70から送信された再フィルタ指示に含まれる追記データ位置情報に従い、データ蓄積装置20に再フィルタ指示を行う。 Thereafter, the data re-filter control unit 33A includes an allocation of additional recording filter SID, after the registration of the re-filtering, in accordance with additional data position information included from the reference client 70 to re-filter instruction transmitted in S54 , to re-filter instructs the data storage device 20.

なお、参照クライアント70は、S54において、情報管理装置30から受信した追記データ位置リストに示される追記データ位置情報の中から、所定の情報を選択し、この選択した追記データ位置情報を再フィルタ指示に含めて送信するようにしてもよい。 The reference client 70, at S54, from among the additional data position information shown in additional data position list received from the information management device 30 selects a predetermined information, re-filter instructs the selected additional data location information may be transmitted included in the. このようにすることで、参照クライアント70は、SIDおよび時区間を指定して検索されたストリームデータが、どのデータ蓄積装置20の、どの記憶位置に蓄積されているか、どの程度のデータ数があるか等を確認した上で、再フィルタ指示することができる。 In this way, the reference client 70, the stream data retrieved by specifying the SID and the time interval, which data storage device 20, or stored in any storage position, there is a number of data how much etc. after confirming the pressure can be indicated again filter.

なお、このようにいったん参照クライアント70が追記データ位置リストを受信してから再フィルタ指示を送信する場合、参照クライアント70はこの追記データ位置リストそのものではなく、このリストを示す識別情報を送信するようにしてもよい。 In the case where this manner once see client 70 sends a re-filter instruction from the reception of the additional data position list, see the client 70 rather than the additional data location list itself, so as to transmit the identification information indicating the list it may be.

また、前記した各実施の形態において、データ蓄積装置20が、自データ蓄積装置20の追記データ位置情報を、情報管理装置30へ送信するタイミングは、このデータ蓄積装置20の接続先割当部31から接続先の払い出しを受けたときでもよいし、追記クライアント50がデータ蓄積装置20に接続したときでもよいし、データ蓄積装置20が追記クライアント50からストリームデータを受信したときでもよい。 In each embodiment described above, the data storage device 20, the additional data position information of the data storage apparatus 20, the timing to be transmitted to the information management apparatus 30, from the destination assignment unit 31 of the data storage apparatus 20 may be a time that received the payout of the destination, may be when the additional recording client 50 is connected to the data storage device 20, or when the data storage apparatus 20 receives the stream data from the write once the client 50.

さらに、前記した各実施の形態のフィルタ処理装置10におけるウィンドウ処理は、現在のデータを基準にして、過去n件分のデータを使うウィンドウ処理(Touple-based Window)のほかに、過去所定時区間分のデータを使うウィンドウ処理(Time-based Window)等、様々なウィンドウ処理を用いてよい。 Further, the window processing in the filter processing unit 10 of each embodiment described above, based on the current data, the other windows using the data of past n matter content processing (Touple-based Window), past predetermined time interval using partial data windowing (Time-based window) or the like may be used a variety of windowing.

また、追記クライアント50が送信するストリームデータは、XMLデータ以外でも、CLOB(Character Large Object)型データでもよいし、BLOB(Binary Large OBject)型データでもよい。 Further, the stream data additional writing client 50 sends, even non-XML data, CLOB may be a (Character Large Object) type data, or a BLOB (Binary Large OBject) type data.

さらに、前記した第1の実施の形態において、情報管理装置30は、再フィルタ追記クライアントとして1つのデータ蓄積装置20を選択することとしたが、複数のデータ蓄積装置20を選択するようにしてもよい。 Further, in the first embodiment described above, the information management apparatus 30 has been decided to select one of the data storage device 20 as a re-filter postscript clients also select a plurality of data storage devices 20 good.

さらに、前記した第2の実施の形態において、再フィルタ処理の内容がウィンドウ処理を含まない場合、情報管理装置30は、再フィルタ処理の対象のストリームデータを蓄積するデータ蓄積装置20それぞれを追記クライアントとして割り当てる(つまり、各データ蓄積装置20における並列処理を指示する)こととしたが、これに限定されない。 Further, in the second embodiment described above, when the contents of the re-filtering does not include a window processing, the information management apparatus 30 adds the data storage apparatus 20 respectively for storing the target stream data re-filtering client assign as was the (that is, an instruction to the parallel processing in the data storage device 20) that is not limited thereto. 例えば、情報管理装置30は、参照クライアント70から受信した再フィルタ指示に、前記並列処理を要求するフラグが含まれていたときに、各データ蓄積装置20を追記クライアントとして割り当て、この並列処理を要求するフラグが含まれていなかったときには、第1の実施の形態のように、いずれか1つのデータ蓄積装置20を追記クライアントとして割り当てるようにしてもよい。 For example, the information management apparatus 30, the re-filter instruction received from the reference client 70, when a flag requesting the parallel processing is included, assign each data storage device 20 as a write-once client requests this parallelism when it did not include a flag that, as in the first embodiment, may be assigned to any one of the data storage device 20 as a write-once clients.

また、前記した各実施の形態のシステムは、様々な分野に適用可能である。 The system of the embodiments described above are applicable to various fields.

例えば、本システムを、冷蔵庫メーカのメンテナンスセンタ等において各冷蔵庫の庫内温度を監視するために用いてもよい。 For example, the system may be used to monitor the inside temperature of the refrigerator in the maintenance center or the like of the refrigerator manufacturer. この場合、図1の追記クライアント50は、所定時間ごとに冷蔵庫の庫内温度を示したストリームデータを送信し、フィルタ処理装置10において、このストリームデータに示される庫内温度(特定のカラム(例えば、C1)に記録)が所定の閾値超えた場合、異常として検出する。 In this case, additional recording client 50 of FIG. 1 transmits stream data showing the refrigerator inside temperature at every predetermined time, the filter processing unit 10, the internal temperature indicated in the stream data (a specific column (e.g. , if the recording) exceeds a predetermined threshold C1), it is detected as an abnormality. そして、このメンテナンスセンタ等の参照クライアント70は、この検出結果を、データベース装置60経由で受信する。 The reference clients 70 such as the maintenance center, the detection result is received via the database system 60.

このような場合において、参照クライアント70により、所定の冷蔵庫の異常検出を受信すると、冷蔵庫メーカのメンテナンスセンタ等はこのような異常が発生するまでの過程を調査したい場合もある。 In such a case, by reference client 70, upon receiving the predetermined refrigerator anomaly detection, maintenance center or the like of the refrigerator manufacturer may wish to investigate the process until such abnormality occurs.

このような場合、以下のようにすればよい。 In such a case, it may be performed as follows. すなわち、異常が検出された冷蔵庫の種別を示すSID、フィルタ処理装置10のフィルタ処理部124における庫内温度の異常検出のための閾値を変更する。 That is, the abnormal changes the threshold value for abnormality detection of the inside temperature in the filter processing unit 124 of the SID, the filter processing unit 10 indicating the type of refrigerator is detected. そして、情報管理装置30は、データ蓄積装置20の過去のストリームデータを再度この閾値変更後のフィルタ処理装置10に流すという処理を何度か繰り返す。 Then, the information management device 30 repeats a process of flow past the stream data again filtering apparatus after the threshold value changing 10 of the data storage device 20 several times.

具体例を用いて説明すると、過去3ヶ月分さかのぼって、庫内温度が3℃以上の頻度はどれくらいあったかを調べたい場合、参照クライアント70から、異常が検出された冷蔵庫のSID、過去3ヶ月分という時区間、庫内温度が3℃以上のときに異常検出という再フィルタ処理の内容を含む再フィルタ指示を情報管理装置30へ送信する。 When applying a specific example, going back the past three months, if you want to see inside temperature was much 3 ° C. or more frequencies from the reference client 70, the abnormality is detected refrigerator SID, the last 3 months when section, inside temperature sends a re-filter instruction including the contents of the re-filtering process of the abnormality detection to the information management apparatus 30 at least 3 ° C. called. また、同様に、過去1年分さかのぼって、庫内温度が0℃以上の頻度はどれくらいあったかを調べたい場合、参照クライアント70から、異常が検出された冷蔵庫のSID、過去1年分という時区間、庫内温度が0℃以上のときに異常検出という再フィルタ処理の内容を含む再フィルタ指示を情報管理装置30へ送信する。 In the same way, going back the past one year, if you want to find out whether the inside temperature was much the frequency of more than 0 ℃, from the reference client 70, of the refrigerator an abnormality is detected SID, the interval time that the past one year , inside temperature sends a re-filter instruction including the contents of the re-filtering process of the abnormality detection to the information management apparatus 30 at least 0 ° C..

このような処理を何度か繰り返すことで、各冷蔵庫の庫内温度が、前記異常検出の温度まで徐々に上昇していったのか、急激に上昇していったのか、またその時期はいつ頃か等の分析を行うことができる。 By repeating this process several times, the inside temperature of each refrigerator, whether the is gradually increased until the temperature of the anomaly detection, rapidly or raised go was the, also time when its time it is possible to perform the analysis of the pressure and the like.

また、本システムを全国各地の気温の監視に用いるようにしてもよい。 Further, the present system may be used to monitor the temperature around the country. この場合、例えば複数の追記クライアント50はそれぞれ、1分ごとに気温を計測する。 In this case, for example, a plurality of additional recording client 50 respectively, measures the temperature every minute. 次に、この計測した気温データに、各地に割当てられたSIDを付したストリームデータを、データ蓄積装置20へ送信する。 Then, the measured air temperature data, the stream data subjected SID assigned to local, send to the data storage apparatus 20. そして、フィルタ処理装置10において、40℃以上の気温データを検出したとき、警報を出すよう設定しておく。 Then, the filter processing unit 10, upon detection of the temperature data above 40 ° C., is set so as to issue an alarm.

ここで、フィルタ処理装置10において5年間、気温を監視していて、ある日、A地点で40℃以上の警報が出たとする。 Here, five years in the filter processing unit 10, and monitors the temperature, one day, the alarm above 40 ° C. comes in point A. このような場合、参照クライアント70は、A地点のSID、過去3年分という時区間、気温が38℃以上のときに警報を出すという再フィルタ処理の内容を含む再フィルタ指示を情報管理装置30へ送信する。 In this case, the reference client 70, the point A SID, interval time of the past three years, re-filter instructs the information management apparatus including the contents of the re-filtering of air temperature alert at more than 38 ° C. 30 to send to. このようにすることで、A地点について、過去3年分の気温のデータのうち、気温が38℃以上のデータを調べることができる。 By doing so, the A point, among the data of temperature for the past three years, temperatures can be examined over 38 ℃ data.

つまり、本システムによれば、複数のデータ蓄積装置20およびフィルタ処理装置10を用いて処理を行うので、莫大な数の冷蔵庫の庫内温度や全国の各地点の気温監視等、多数のストリームデータのフィルタ処理を効率的に実行できる。 That is, according to this system, since the processing using the plurality of data storage devices 20 and filtering device 10, temperature monitoring etc. huge number of refrigerator inside temperature and nationwide each point, a number of stream data You can execute the filtering process efficiently. また、このように複数のデータ蓄積装置20に過去のストリームデータを蓄積する場合でも、情報管理装置30が追記データ位置情報により過去のストリームデータがどのデータ蓄積装置20に蓄積されているか把握しているので、効率的に再フィルタ対象のストリームデータを探すことができる。 Further, even when storing historical data stream into a plurality of data storage apparatus 20 in this manner, to grasp how the information management apparatus 30 is accumulated in the past of the stream data which data storage device 20 by additional data location information because there, stream data efficiently re Filtered can search for.

なお、本システムは、情報管理装置30に新しいフィルタが追加され、フィルタ処理装置10においてこの新しいフィルタで再度過去のストリームデータを流しなおす場合にも有効である。 The present system, adds new filters into the information management apparatus 30, it is also effective when the filter processing unit 10 again passed the new filter again past the stream data.

例えば、本システムのフィルタ処理装置10において街角の監視画像のストリームデータから人物を検出する人物検出ツール用い、その地点の人の流量を測定する場合において、人物検出ツールの人物検出精度が向上したとき(例えば、親子関係を判別できるようになった場合や、人物の移動方向も検出できるようになった場合等)、まず、フィルタ処理装置10における人物検出ツールを、この人物検出精度の向上した人物検出ツールに入れ替える。 For example, the filtration device 10 of the present system using the person detection tool for detecting a person from the stream data of street monitoring image, in the case of measuring the flow rate of the human that point, when the person detection accuracy of the human detection tool has improved (for example, when the can now determine the parent-child relationship, if has become possible to detect the moving direction of the person or the like), first, the person detection tool in the filter processing unit 10, and this increased human detection accuracy person replace the detection tool. そして、追記クライアント50からの再フィルタ指示に基づき、本システムはこの新たな人物検出ツールで、過去のストリームデータに対し再フィルタ処理を実行する。 Then, based on the re-filter instruction from postscript client 50, the system in this new human detection tool, executes the re-filtering process on the historical data stream. このようにすることで、新しいフィルタができたとき、この新しいフィルタを用いて過去のストリームデータの洗い直しをすることができる。 In this way, when it is new filter, it is possible to Arainaoshi historical stream data by using the new filter.

なお、このように新しいフィルタ処理を追加したフィルタ処理装置10は、再起動のため一時的に停止するが、前記したとおり、情報管理装置30が再起動処理部36により、再起動するフィルタ処理装置10の数を制限する。 The filter processing unit 10 added in this way a new filter is temporarily stopped for restarting, as described above, the information management apparatus 30 by the restart process unit 36, restart filtering device to limit the number of 10. 従って、新しいフィルタ処理の追加のため多数のフィルタ処理装置10が停止し、システム全体のフィルタ処理能力が著しく低下することを防止できる。 Accordingly, many new filtering apparatus 10 for additional filtering is stopped, it is possible to prevent the filtering capacity of the whole system is significantly reduced.

さらに、本システムは、前記した例以外にも、ホームゲートウェイのログの監視や、携帯電話機の機器状態の監視等に適用してもよい。 Furthermore, the system, the above-mentioned besides example, monitoring and the home gateway logs may be applied to a monitor or the like of a device state of the mobile phone.

本実施の形態に係る情報管理装置30、データ蓄積装置20、フィルタ処理装置10は、前記したような処理を実行させるプログラムによって実現することができ、そのプログラムをコンピュータによる読み取り可能な記憶媒体(CD−ROM等)に記憶して提供することが可能である。 Information management apparatus 30 according to this embodiment, the data storage device 20, filtration device 10 may be realized by a program for executing the processing as described above, a storage medium readable (CD the program by the computer it is possible to provide stored in -ROM, etc.). また、そのプログラムを、ネットワークを通して提供することも可能である。 Also, the program can also be provided through a network.

第1の実施の形態のストリームデータ処理システムを示すブロック図である。 It is a block diagram illustrating a stream data processing system of the first embodiment. 図1の情報源情報およびスキーマ情報を例示した図である。 Is a diagram illustrating an information source information and schema information of FIG. 図1のストリームデータ処理システムの動作概要を示す図である。 Is a diagram showing an operation outline of the stream data processing system of Figure 1. 図1のストリームデータ処理システムの動作概要を示す図である。 Is a diagram showing an operation outline of the stream data processing system of Figure 1. 図1の蓄積データ記憶部に蓄積されるデータファイルを例示した図である。 It is a diagram illustrating a data file that is stored in the storage data storage unit of FIG. 図1のストリームデータ処理システムの動作手順を示す図である。 Is a flow diagram illustrating operations of the stream data processing system of Figure 1. 図1のストリームデータ処理システムの動作手順を示す図である。 Is a flow diagram illustrating operations of the stream data processing system of Figure 1. 図7のS75およびS76の処理を詳細に説明する図である。 Is a diagram for explaining in detail the processing of S75 and S76 in FIG. 7. 第2の実施の形態のストリームデータ処理システムを示すブロック図である。 It is a block diagram illustrating a stream data processing system of the second embodiment. 図9のストリームデータ処理システムの動作手順を示す図である。 Is a flow diagram illustrating operations of the stream data processing system of FIG. 図1および図9の情報管理装置および参照クライアントの動作手順を示す 図である。 Is a flow diagram illustrating operations of the information management device and a reference client of FIG. 1 and FIG. 第3の実施の形態のストリームデータ処理システムを示すブロック図である。 It is a block diagram illustrating a stream data processing system according to the third embodiment. 第3の実施の形態のストリームデータ処理システムの動作概要を概念的に説明する図である。 It is a diagram for conceptually explaining an operation outline of the third embodiment the stream data processing systems. 図12のストリームデータ処理システムの動作手順を示す図である。 Is a flow diagram illustrating operations of the stream data processing system of Figure 12.

符号の説明 DESCRIPTION OF SYMBOLS

10(10A〜10N) フィルタ処理装置 11,21 入力部 12,32 処理部 13,23 出力部 20(20A〜20N) データ蓄積装置 24 蓄積データ記憶部 25 蓄積データ取得部 26 プロセス管理部 30 情報管理装置 31 接続先割当部 33,33A データ再フィルタ制御部 34 データ位置管理部 35 情報管理部 36 再起動処理部 50(50A〜50N) 追記クライアント(情報源端末) 10 (10A to 10N) filtration device 11, 21 input unit 12, 32 processing units 13 and 23 output unit 20 (20A to 20N) data storage unit 24 storing data storage unit 25 storing data obtaining unit 26 process management unit 30 information management 31 connection destination assignment unit 33,33A data re-filter control unit 34 data position managing unit 35 information management unit 36 ​​restarts the processing unit 50 (50a-50n) postscript client (source terminal)
60 データベース装置 61 データ位置記憶DB 60 Database 61 data position storage DB
62 受付部 63 検索部 70 参照クライアント(外部装置) 62 reception unit 63 retrieval unit 70 references the client (external device)
81 追記部情報 121 キュー選択部 122 データ取得部 123 フィルタ実行制御部 124 フィルタ処理部 125 再起動問い合わせ部 126 処理手順情報 127 フィルタ取得部 124 フィルタ処理部 221,222 追記部 223 ストリーム受付部 224 追記データ蓄積部 225 キュー管理部 226 キュー部 227 追記データ位置情報送信部 321 システム情報 322 情報源情報 323 スキーマ情報 324 処理手順情報 325 データ位置管理DB 81 appending section information 121 queue selection section 122 data acquisition unit 123 filters the execution control unit 124 filtering unit 125 restarts the inquiry unit 126 procedure information 127 filter obtaining unit 124 filtering unit 221 appending section 223 stream receiving unit 224 additional data storage unit 225 queue manager 226 queues 227 additional data position information transmitting unit 321 system information 322 information source information 323 schema information 324 for procedure information 325 data location management DB
326 再起動情報 326 restart information

Claims (7)

  1. (1)複数の情報源端末より送信されたストリームデータを蓄積する複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信する情報管理装置とを備えるストリームデータ処理システムにおけるストリームデータ処理方法であって、 (1) a plurality of data storage devices for storing the stream data transmitted from the plurality of information sources terminal, (2) a plurality of filter processing unit that performs a filtering process on the stream data obtained from the data storage device , (3) for each SID indicating the type of the stream data, and transmits the processing procedure information indicating an application procedure of the filtering process and the filter process to be performed on the stream data having the SID to the filtering device a stream data processing method in the stream data processing system and an information management device,
    前記データ蓄積装置はそれぞれ、前記ストリームデータを蓄積する蓄積データ記憶部と、前記ストリームデータの前記蓄積データ記憶部への出力および自身のキュー部への蓄積を行う1以上の追記部と、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部とを備え、 Each of said data storage device, a storage data storage unit for storing the stream data, and the one or more additional write unit to accumulate the output and its queue unit to the storage data storage unit of the stream data, the storage It acquires the stream data from the data storage unit, and a stored data acquisition unit for transmitting the acquired stream data to the recordable portion,
    前記情報管理装置は、 The information management apparatus,
    外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、 When an external device, receives the queue type change notification including a change of the filter processing appending section as the acquisition destination of the stream data by the apparatus, and a SID of stream data additional recording section is changed to be the acquisition target,
    前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、 Among the procedure information, to reflect changes of the additional recording portion on the information about the SID of the stream data,
    前記データ蓄積装置へ、前記キュータイプ変更通知を送信し、 To the data storage device, it transmits the queue type change notification,
    前記新たな取得先となる追記部を備える前記データ蓄積装置は、 Wherein the data storage device comprising a write-once portion serving as the new acquisition destination,
    前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信し、 Wherein the new acquisition source become appending section, it transmits the queue type change notification,
    前記キュータイプ変更通知を受信した追記部は、 Appending section of receiving the queue type change notification,
    当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、 Record the SID of the stream data being processed in a write-once-section, and a reception time of the queue type change notification to appending section information storing unit of the data storage device,
    前記蓄積データ取得部は、 The storage data acquiring section,
    前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、 When acquiring the stream data from the accumulated data storage unit if, referring to the additional recording portion information of the storage unit, it determines that queue type of the additional recording portion to send the stream data the acquired has changed,
    前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理方法。 And receiving time of the queue type change notification shown in the additional recording portion information, with reference to the reception time of the stream data the acquired, the reception time of the stream data prior to the reception time of the change notification the queue type stream, wherein the stream data, the transmit changes to the previous write-once portion, the stream data reception time after the change notifications that reception time the queue type, not transmitted to the additional recording portion before the change data processing method.
  2. 前記情報管理装置は、 The information management apparatus,
    前記情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、 From the information source terminal, when receiving the destination allocation request for the stream data including the SID, stored in the storage unit, for each of the SID, the identification of the data storage apparatus which is the destination of the stream data of the SID with reference to the system information indicating information, it transmits the identification information of the data storage device which is the destination of the stream data into the information source terminal,
    前記情報源端末は、 The information source terminal,
    前記情報管理装置から送信された識別情報に対応する前記データ蓄積装置へ前記ストリームデータを送信し、 The transmitted stream data to the data storage device corresponding to the identification information transmitted from the information management device,
    前記データ蓄積装置の蓄積データ取得部はそれぞれ、前記ストリームデータを取得したとき、この取得したストリームデータを前記追記部に出力するとともに、前記蓄積データ記憶部に出力し、 Wherein each storage data acquiring section of the data storage device, when acquiring the stream data, and outputs the acquired stream data to the recordable portion, and outputs the accumulated data storage unit,
    前記フィルタ処理装置は、 The filtering device,
    前記データ蓄積装置の追記部のキュー部におけるキュー状態に基づき、前記ストリームデータの取得先となる前記データ蓄積装置を選択し、 Based on the queue status of the queue portion of a recordable portion of the data storage device, selects the data storage device as the acquisition destination of the stream data,
    前記選択されたデータ蓄積装置の追記部から前記ストリームデータを取得し、 It acquires the stream data from the write-once portion of the selected data storage device,
    前記情報管理装置から受信した前記処理手順情報と、前記取得したストリームデータに付されたSIDとを参照して、前記取得したストリームデータに対し実行すべきフィルタ処理を決定し、前記決定したフィルタ処理を実行し、 Said procedure information received from the information management device, by referring to said attached to the obtained stream data SID, to determine the filter to be performed on the acquired stream data, the determined filter the execution,
    前記データ蓄積装置はそれぞれ、 Each of said data storage device,
    前記情報源端末からストリームデータを受信し、この受信したストリームデータを前記蓄積データ記憶部に出力したとき、このストリームデータのSIDと、このストリームデータの受信時刻と、自データ蓄積装置の識別情報およびこのストリームデータの記憶領域を示す情報とを対応付けた追記データ位置情報を作成し、前記情報管理装置へ送信し、 Receive the stream data from the information source terminal, when outputting the received stream data to the storage data storage unit, and the SID of the stream data, and the reception time of the stream data, the identification information of the data storage device and create an additional data location information that associates the information indicating the storage area of ​​the stream data, and transmits it to the information management device,
    前記情報管理装置は、 The information management apparatus,
    前記データ蓄積装置それぞれから送信された前記追記データ位置情報を記憶部に記憶し、 Storing the additional data location information transmitted from each of the data storage device in the storage unit,
    前記外部装置から、当該ストリームデータのSIDおよび受信時刻を含む前記ストリームデータの検索要求を受信したとき、 When from the external device, receives a search request for the stream data including the SID and the reception time of the stream data,
    前記検索要求に含まれる前記SIDおよび前記受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、 As a key the SID and the reception time included in the search request, from the storage unit, searches the additional data location information regarding the stream data,
    前記検索した追記データ位置情報を前記外部装置へ送信することを特徴とする請求項1に記載のストリームデータ処理方法。 Stream data processing method according to claim 1, characterized in that to transmit the additional data location information the search to the external device.
  3. 前記情報管理装置は、 The information management apparatus,
    前記情報源端末から、前記SIDを含む当該ストリームデータの送信先割り当て要求を受信したとき、記憶部に記憶された、前記SIDごとに、当該SIDのストリームデータの送信先であるデータ蓄積装置の識別情報を示したシステム情報を参照して、当該情報源端末へこのストリームデータの送信先である前記データ蓄積装置の識別情報を送信し、 From the information source terminal, when receiving the destination allocation request for the stream data including the SID, stored in the storage unit, for each of the SID, the identification of the data storage apparatus which is the destination of the stream data of the SID with reference to the system information indicating information, it transmits the identification information of the data storage device which is the destination of the stream data into the information source terminal,
    前記外部装置から、前記再フィルタ処理の対象であるストリームデータに関する追記データ位置情報と前記再フィルタ処理の内容とを示した再フィルタ指示情報を受信したとき、 From said external device, when receiving the re-filter instruction information showing the contents of the write-once data position information about the stream data re-filtering, which is the re-filtering types,
    前記再フィルタ処理の対象とするストリームデータに用いる再フィルタ用SIDを発行し、 Issuing the SID for re filter used in the stream data to be subjected to the re-filtering,
    前記記憶部のシステム情報に、前記再フィルタ用SIDと、このSIDを持つストリームデータを蓄積するデータ蓄積装置の識別情報とを対応付けた情報を追加し、 The system information of the storage unit, adds the a re filter SID, information associating the identification information of the data storage device for storing the stream data having the SID,
    前記記憶部の前記処理手順情報に、前記発行した再フィルタ用SIDと、このSIDを持つストリームデータに対する前記再フィルタ処理の内容と対応付けた情報を追加することで、前記再フィルタ処理の内容を前記処理手順情報に反映し、 The procedure information of the storage unit, and the SID for re-filters the issuance, by adding the information which the associated contents of the re-filtering for the stream data having the SID, the contents of the re-filtering reflected in the processing procedure information,
    前記再フィルタ処理の内容を反映した処理手順情報を、前記フィルタ処理装置へ送信し、 The procedure information that reflects the contents of the re-filtering, and transmitted to the filtering device,
    前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置を選択し、 Among the plurality of data storage devices, select one of the data storage device,
    この選択したデータ蓄積装置へ前記発行した再フィルタ用SIDを含む前記再フィルタ処理指示情報を送信し、 Transmitting said re-filtering instruction information including the selected SID for re-filters the issued to the data storage device,
    前記再フィルタ処理指示情報を受信したデータ蓄積装置は、 Said data storage device receiving re-filtering instruction information,
    前記受信した再フィルタ指示情報に示される前記データ蓄積装置の記憶領域から、前記再フィルタ処理の対象であるストリームデータを取得し、 From the storage area of ​​the data storage device shown in re-filter instruction information thus received, acquires the stream data is the re-filtering types,
    前記取得した再フィルタ処理の対象であるストリームデータに前記再フィルタ用SIDを付与し、 The SID for the re-filter applied to the stream data is re-filtering subjects the acquired,
    前記再フィルタ指示情報に含まれる再フィルタ用SIDをキーとして、前記情報管理装置から、このデータ蓄積装置が接続すべき前記データ蓄積装置の識別情報を取得し、 Wherein as a key SID for re filter included in the re-filter instruction information, from the information management device, acquires identification information of the data storage device to be connected the data storage device,
    前記取得した識別情報に示される前記データ蓄積装置へ接続して、このデータ蓄積装置へ前記ストリームデータを送信し、 Connected to the data storage device shown in the acquired identification information, and transmits the stream data to the data storage device,
    前記フィルタ処理装置は、 The filtering device,
    前記データ蓄積装置の追記部から、前記再フィルタ用SIDを持つストリームデータを取得したとき、 When the from the write-once portion of the data storage device, and acquires the stream data having the SID for the re-filter,
    前記情報管理装置から受信した前記再フィルタ処理の内容を反映した処理手順情報を参照して、前記フィルタ処理を実行することを特徴とする請求項2に記載のストリームデータ処理方法。 Referring to procedure information that reflects the contents of the re-filtering received from the information management apparatus, the stream data processing method according to claim 2, characterized in that to perform the filtering process.
  4. 前記情報管理装置は、 The information management apparatus,
    前記外部装置から、前記再フィルタ処理の対象とするストリームデータのSID、受信時刻および当該ストリームデータに対し実行すべき再フィルタ処理の内容を示した再フィルタ指示情報を受信したとき、 When from the external device, receiving the SID of the stream data to be re-filtering, re-filter instruction information showing the contents of the re-filtering process to be performed on the reception time and the stream data,
    前記再フィルタ処理の対象とするストリームデータのSIDおよび受信時刻をキーとして、前記記憶部から、当該ストリームデータに関する前記追記データ位置情報を検索し、 Wherein as a key SID and the reception time of the stream data to be re-filtering, from the storage unit, searches the additional data location information regarding the stream data,
    前記検索した追記データ位置情報および前記再フィルタ処理の内容を示した再フィルタ指示情報を、前記複数のデータ蓄積装置のうち、いずれか1つのデータ蓄積装置へ送信することを特徴とする請求項3に記載のストリームデータ処理方法。 Re filter instruction information showing the contents of the retrieved additional data position information and the re-filtering, among the plurality of data storage devices, according to claim 3, characterized in that to transmit to any one of the data storage device stream data processing method according to.
  5. 前記情報管理装置は、 The information management apparatus,
    前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含むか否かを判断し、 The contents of the re-filtering processing shown in re-filter instruction information to the received, it is determined whether the containing window processing for the stream data,
    前記受信した再フィルタ指示情報に示される再フィルタ処理の内容が、当該ストリームデータに対するウィンドウ処理を含まないと判断した場合、 If the contents of the re-filtering processing shown in re-filter instruction information to the received determines that contains no window processing for the stream data,
    前記再フィルタ処理指示情報の送信先である前記データ蓄積装置を選択するとき、前記記憶部から検索された当該ストリームデータに関する追記データ位置情報を、当該ストリームデータを有するデータ蓄積装置ごとに分け、前記分けた追記データ位置情報を前記再フィルタ指示情報に含め、当該ストリームデータを有するデータ蓄積装置それぞれへ送信することを特徴とする請求項3または請求項4に記載のストリームデータ処理方法。 Wherein when selecting a data storage device which is the destination of the re-filtering instruction information, the additional data location information regarding the stream data retrieved from the storage unit is divided for each data storage device having the stream data, wherein the additional data location information divided included in the re-filter instruction information, the stream data processing method according to claim 3 or claim 4, characterized in that transmitting the respective data storage device including the stream data.
  6. (1)複数の情報源端末より送信されたストリームデータを蓄積する蓄積データ記憶部、前記ストリームデータの前記蓄積データ記憶部への出力と自身のキュー部への蓄積を行う1以上の追記部、および、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部を備える複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信する情報管理装置とを備え (1) storing data storage unit for storing the stream data transmitted from the plurality of information sources terminal, the one or more additional write unit to accumulate the output and its own queuing unit to the storage data storage unit of the stream data, and, the storage data storage unit obtains the stream data from a plurality of data storage device comprising a storage data acquiring unit for transmitting the acquired stream data to the recordable portion was obtained (2) from the data storage device a plurality of filtering devices for executing filtering processing on the stream data, (3) for each SID that indicates the type of the stream data, the filtering and the filtering process to be performed on the stream data having the SID the procedure information showing the application procedure and an information management apparatus to be transmitted to the filtering device ストリームデータ処理システムに用いられるコンピュータである前記情報管理装置において、 In the information management device is a computer used for the stream data processing system,
    外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信するステップと、 From an external device, comprising: receiving cue type change notification including a change of the acquired destination becomes recordable portion of the stream data according to the filtering device, and a SID of stream data additional recording section is changed to be the acquisition destination ,
    前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映するステップと、 Among the procedure information, a step of reflecting the change of the additional recording portion on the information about the SID of the stream data,
    前記データ蓄積装置へ、前記キュータイプ変更通知を送信するステップと、 To the data storage device, and transmitting the queue type change notification,
    を実行させ、 Was executed,
    前記新たな取得先となる追記部を備えるコンピュータである前記データ蓄積装置に、 Said data storage device is a computer having a write once portion serving as the new acquisition destination,
    前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するステップと、 Wherein the new acquisition source become recordable portion, and transmitting the queue type change notification,
    前記キュータイプ変更通知を受信した追記部において、 In additional recording portion which receives the queue type change notification,
    当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録するステップと、 And recording the SID of the stream data being processed in a write-once-section, and a reception time of the queue type change notification to appending section information storing unit of the data storage device,
    を実行させ 前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、 When allowed to run to get the stream data from the accumulated data storage unit, referring to the additional recording portion information of the storage unit, it determines that queue type of the additional recording portion to send the stream data the acquired has changed If,
    前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信させ、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信させないことを特徴とするストリームデータ処理プログラム。 And receiving time of the queue type change notification shown in the additional recording portion information, with reference to the reception time of the stream data the acquired, the reception time of the stream data prior to the reception time of the change notification the queue type stream, wherein the stream data, wherein to send changes to the previous write-once portion, the stream data reception time after the change notifications that reception time the queue type, not transmitted to the additional recording portion before the change data processing program.
  7. (1)複数の情報源端末より送信されたストリームデータを蓄積する蓄積データ記憶部、前記ストリームデータの前記蓄積データ記憶部への出力と自身のキュー部への蓄積を行う1以上の追記部、および、前記蓄積データ記憶部から前記ストリームデータを取得し、この取得したストリームデータを前記追記部へ送信する蓄積データ取得部を備える複数のデータ蓄積装置と、(2)このデータ蓄積装置から取得した前記ストリームデータに対しフィルタ処理を実行する複数のフィルタ処理装置と、(3)前記ストリームデータの種別を示すSIDごとに、このSIDを持つストリームデータに対し実行すべき前記フィルタ処理およびそのフィルタ処理の適用手順を示した処理手順情報を前記フィルタ処理装置へ送信する情報管理装置とを備え (1) storing data storage unit for storing the stream data transmitted from the plurality of information sources terminal, the one or more additional write unit to accumulate the output and its own queuing unit to the storage data storage unit of the stream data, and, the storage data storage unit obtains the stream data from a plurality of data storage device comprising a storage data acquiring unit for transmitting the acquired stream data to the recordable portion was obtained (2) from the data storage device a plurality of filtering devices for executing filtering processing on the stream data, (3) for each SID that indicates the type of the stream data, the filtering and the filtering process to be performed on the stream data having the SID the procedure information showing the application procedure and an information management apparatus to be transmitted to the filtering device ストリームデータ処理システムであって、 A stream data processing system,
    前記情報管理装置は、 The information management apparatus,
    外部装置から、前記フィルタ処理装置による前記ストリームデータの取得先となる追記部の変更と、前記取得先となる追記部が変更されるストリームデータのSIDとを含むキュータイプ変更通知を受信したとき、 When an external device, receives the queue type change notification including a change of the filter processing appending section as the acquisition destination of the stream data by the apparatus, and a SID of stream data additional recording section is changed to be the acquisition target,
    前記処理手順情報のうち、前記ストリームデータのSIDに関する情報に前記追記部の変更内容を反映し、前記ストリームデータの新たな取得先となる前記追記部を備える前記データ蓄積装置へ、前記キュータイプ変更通知を送信するデータ再フィルタ制御部を備え、 Among the procedure information, to reflect changes of the additional recording portion on the information about the SID of the stream data, the to the data storage device comprising the additional recording portion to become the new acquisition destination of the stream data, the queue type change a data re-filter control unit that transmits a notification,
    前記データ蓄積装置は、 Wherein the data storage device,
    前記キュータイプ変更通知を受信したとき、前記新たな取得先となる追記部へ、前記キュータイプ変更通知を送信するプロセス管理部を備え、 Upon receiving the queue type change notification, the the new acquisition source become recordable portion, including a process management unit for transmitting the queue type change notification,
    前記追記部は、 Said appending unit,
    前記キュータイプ変更通知を受信したとき、当該追記部での処理中のストリームデータのSIDと、前記キュータイプ変更通知の受信時刻とを前記データ蓄積装置の記憶部の追記部情報に記録し、 Upon receiving the queue type change notification, and records the SID of the stream data being processed in a write-once-section, and a reception time of the queue type change notification to appending section information storing unit of the data storage device,
    前記蓄積データ取得部は、 The storage data acquiring section,
    前記蓄積データ記憶部から前記ストリームデータを取得するとき、前記記憶部の追記部情報を参照し、前記取得したストリームデータの送信先となる前記追記部のキュータイプが変更されたと判断した場合、 When acquiring the stream data from the accumulated data storage unit if, referring to the additional recording portion information of the storage unit, it determines that queue type of the additional recording portion to send the stream data the acquired has changed,
    前記追記部情報に示される前記キュータイプ変更通知の受信時刻と、前記取得したストリームデータの受信時刻とを参照して、そのストリームデータの受信時刻が前記キュータイプの変更通知の受信時刻より前の前記ストリームデータを、前記変更前の追記部へ送信し、その受信時刻が前記キュータイプの変更通知の受信時刻以降の前記ストリームデータを、前記変更前の追記部へ送信しないことを特徴とするストリームデータ処理システム。 And receiving time of the queue type change notification shown in the additional recording portion information, with reference to the reception time of the stream data the acquired, the reception time of the stream data prior to the reception time of the change notification the queue type stream, wherein the stream data, the transmit changes to the previous write-once portion, the stream data reception time after the change notifications that reception time the queue type, not transmitted to the additional recording portion before the change data processing system.
JP2008011786A 2008-01-22 2008-01-22 Stream data processing method, the stream data processing program and the stream data processing system Active JP4909290B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008011786A JP4909290B2 (en) 2008-01-22 2008-01-22 Stream data processing method, the stream data processing program and the stream data processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008011786A JP4909290B2 (en) 2008-01-22 2008-01-22 Stream data processing method, the stream data processing program and the stream data processing system

Publications (2)

Publication Number Publication Date
JP2009177335A JP2009177335A (en) 2009-08-06
JP4909290B2 true JP4909290B2 (en) 2012-04-04

Family

ID=41032003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008011786A Active JP4909290B2 (en) 2008-01-22 2008-01-22 Stream data processing method, the stream data processing program and the stream data processing system

Country Status (1)

Country Link
JP (1) JP4909290B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3808394B2 (en) * 2002-04-02 2006-08-09 松下電器産業株式会社 Stream data processing apparatus, the stream data processing method, a program, and the medium
JP4320004B2 (en) * 2005-07-04 2009-08-26 日本電信電話株式会社 XPath expression processing method, XPath expression processor, XPath expression processing program, and a storage medium storing the program
US7636703B2 (en) * 2006-05-02 2009-12-22 Exegy Incorporated Method and apparatus for approximate pattern matching

Also Published As

Publication number Publication date
JP2009177335A (en) 2009-08-06

Similar Documents

Publication Publication Date Title
US20110225582A1 (en) Snapshot management method, snapshot management apparatus, and computer-readable, non-transitory medium
US20060069892A1 (en) Method, apparatus, and computer readable medium for managing back-up
US20060015612A1 (en) Trace processing program, method and apparatus
CN102411350B (en) Search result management process for controlling the apparatus and method
JP4980581B2 (en) Performance monitoring apparatus, the performance monitoring method and program
JP2004171539A (en) Method and system of identifying use pattern of web page
JP2005346717A (en) Method, system and device for detecting and connecting data source
JP5162701B2 (en) Integrated deduplication systems, data storage devices, and the server device
WO2004049167A1 (en) File management device, file management method, file management program, and recording medium
JP5419746B2 (en) Management apparatus, and a management program
JP2011123752A (en) Device for collecting log, program for collecting log, method for collecting log, and system for collecting log
US8307355B2 (en) Method and apparatus for populating a software catalogue with software knowledge gathering
JP6452629B2 (en) Execution of parallel continuous event processing (cep) Query
US7594238B2 (en) Apparatus and method for displaying plurality of messages in groups to reduce burden on operators
US7249119B2 (en) System for managing access and storage of worm files without sending parameters for associated file access
US20080077752A1 (en) Storage system and audit log management method
JP2005266916A (en) Server difference management system and control method for information processor
JP2012117987A (en) Data processing method, data processing system, and data processing device
JP4267353B2 (en) Data migration support system, and, data migration support method
US20100153363A1 (en) Stream data processing method and system
JP4847300B2 (en) Memory leak detection method, a memory leak detection devices and memory leak detection program
JP4740060B2 (en) Duplicate detection program, duplicate data detection method and duplicate data detection device
US20060129664A1 (en) Method and apparatus for diagnosing a network
US9021077B2 (en) Management computer and method for root cause analysis
CN102713824A (en) Allocating storage memory based on future use estimates

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120113

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350