JPWO2018074431A1 - データ処理装置およびデータ処理方法 - Google Patents
データ処理装置およびデータ処理方法 Download PDFInfo
- Publication number
- JPWO2018074431A1 JPWO2018074431A1 JP2018546334A JP2018546334A JPWO2018074431A1 JP WO2018074431 A1 JPWO2018074431 A1 JP WO2018074431A1 JP 2018546334 A JP2018546334 A JP 2018546334A JP 2018546334 A JP2018546334 A JP 2018546334A JP WO2018074431 A1 JPWO2018074431 A1 JP WO2018074431A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- data processing
- storage unit
- processing apparatus
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3075—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved in order to maintain consistency among the monitored data, e.g. ensuring that the monitored data belong to the same timeframe, to the same system or component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/156—Query results presentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
1.時系列順に高頻度でデータの書き込みが行われること。
2.全データのうち時系列上で最新の区分に属する値を参照する頻度が高いこと。
1.データを永続的に蓄積してバルクで処理を行えること。
2.データの最新値を高速に取得できること。
図1は、第1の実施形態に係るデータ処理装置10の構成例を概略的に示している。データ処理装置10は、図1に示すように、データ管理機能部11、データ保持部12、およびデータ記録部13を備える。データ管理機能部11は、データ処理装置10の外部と通信するとともに、データベースを構成するデータ保持部12およびデータ記録部13とデータをやり取りする。データ処理装置10の機能の一部または全部は、メモリに格納されたコンピュータプログラムをプロセッサ(例えばCPU(Central Processing Unit))に実行させることにより実現することができる。
図3および図4を参照してデータ蓄積方法の一例を説明する。ここでは、図3に示すように、データ管理機能部11が、メッセージクライアント111、データマネージャ112、およびクエリコントローラ113を備え、データ記録部13が、検索式登録部131およびデータ蓄積部132を備える。
データ管理機能部11内のクエリコントローラ113が、アプリケーション24からデータ処理要求を受け取る(図5および図6のステップS61)。例えば、図5に示すように、クエリコントローラ113は、ウェブサーバ25を介してアプリケーション24−1からデータ処理要求を受け取る、あるいは、アプリケーション24−2から直接にデータ処理要求を受け取る。
上述した第1の実施形態では、データ記録部13にデータが保存されると、データ記録部13において、保存されたデータを検索条件と照合し、保存されたデータが検索条件に合致する場合には、そのデータをデータ保持部12に渡すようにしている。他の実施形態では、この処理はデータ管理機能部11によって行われてもよい。具体的には、データ管理機能部11が、データ発生源からのデータをデータ記録部13に蓄積するとともに、このデータが事前に登録された検索条件と合致するかどうかを判定し、このデータが検索条件に合致する場合には、このデータをデータ保持部12に上書きする。
Claims (10)
- データを永続的に保存可能な第1の記憶部と、
前記第1の記憶部よりも読み込み速度が速い第2の記憶部と、
データ発生源で発生したデータを前記第1の記憶部に保存し、前記データ発生源で発生したデータが事前に登録されている検索条件に合致する場合に、前記データ発生源で発生したデータを前記第2の記憶部にさらに保存する処理部と、
アプリケーションからのデータ処理要求に応答して、前記第1の記憶部よりも優先的に前記第2の記憶部を検索する検索部と、
を具備するデータ処理装置。 - 前記検索部は、前記第2の記憶部を検索した結果、前記データ処理要求の対象となるデータが前記第2の記憶部に存在しない場合に、前記第1の記憶部を検索する、請求項1に記載のデータ処理装置。
- 前記検索条件は、対象のデータが時系列上の最新区分に属するという条件を含む、請求項1に記載のデータ処理装置。
- 前記検索条件は、対象のデータがエラーデータであるという条件を含む、請求項1に記載のデータ処理装置。
- 前記データ処理装置、前記データ発生源、および前記アプリケーションは、異なる仮想化単位に実装される、請求項1に記載のデータ処理装置。
- データを永続的に保存可能な第1の記憶部と、前記第1の記憶部よりも読み込み速度が速い第2の記憶部と、を備えるデータ処理装置によって実行されるデータ処理方法であって、
データ発生源で発生したデータを前記第1の記憶部に保存し、前記データ発生源で発生したデータが事前に登録されている検索条件に合致する場合に、前記データ発生源で発生したデータを前記第2の記憶部にさらに保存することと、
アプリケーションからのデータ処理要求に応答して、前記第1の記憶部よりも優先的に前記第2の記憶部を検索することと、
を具備するデータ処理方法。 - 前記検索することは、前記第2の記憶部を検索した結果、前記データ処理要求の対象となるデータが前記第2の記憶部に存在しない場合に、前記第1の記憶部を検索することを含む、請求項6に記載のデータ処理方法。
- 前記検索条件は、対象のデータが時系列上の最新区分に属するという条件を含む、請求項6に記載のデータ処理方法。
- 前記検索条件は、対象のデータがエラーデータであるという条件を含む、請求項6に記載のデータ処理方法。
- 前記データ処理装置、前記データ発生源、および前記アプリケーションは、異なる仮想化単位に実装される、請求項6に記載のデータ処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016203376 | 2016-10-17 | ||
JP2016203376 | 2016-10-17 | ||
PCT/JP2017/037416 WO2018074431A1 (ja) | 2016-10-17 | 2017-10-16 | データ処理装置およびデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018074431A1 true JPWO2018074431A1 (ja) | 2019-02-14 |
JP6789307B2 JP6789307B2 (ja) | 2020-11-25 |
Family
ID=62018522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018546334A Active JP6789307B2 (ja) | 2016-10-17 | 2017-10-16 | データ処理装置およびデータ処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200192870A1 (ja) |
EP (1) | EP3528141A4 (ja) |
JP (1) | JP6789307B2 (ja) |
CN (1) | CN109643303B (ja) |
WO (1) | WO2018074431A1 (ja) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4444677B2 (ja) * | 2004-01-20 | 2010-03-31 | クラリオン株式会社 | 検索データの更新方法および更新システム |
CN101523391A (zh) * | 2006-10-06 | 2009-09-02 | 日本电气株式会社 | 信息检索系统和信息检索方法及程序 |
JP4933211B2 (ja) * | 2006-10-10 | 2012-05-16 | 株式会社日立製作所 | ストレージ装置、制御装置及び制御方法 |
US7912812B2 (en) * | 2008-01-07 | 2011-03-22 | International Business Machines Corporation | Smart data caching using data mining |
JP5186270B2 (ja) * | 2008-04-23 | 2013-04-17 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データベースのキャッシュシステム |
JP4625512B2 (ja) * | 2008-04-28 | 2011-02-02 | クラリオン株式会社 | 施設検索装置、施設検索方法 |
EP2345965A4 (en) * | 2008-10-02 | 2012-09-05 | Fujitsu Ltd | DEVICE AND METHOD FOR FILE STORAGE |
JP5984500B2 (ja) * | 2011-11-30 | 2016-09-06 | 三菱電機株式会社 | 情報処理装置、放送受信装置及びソフトウェア起動方法 |
US20130275685A1 (en) * | 2012-04-16 | 2013-10-17 | International Business Machines Corporation | Intelligent data pre-caching in a relational database management system |
JP2015026167A (ja) * | 2013-07-25 | 2015-02-05 | 株式会社東芝 | 警報管理装置および警報管理方法 |
JP6630069B2 (ja) * | 2014-07-11 | 2020-01-15 | キヤノン株式会社 | 情報処理方法、プログラム、および情報処理装置 |
GB2546692A (en) * | 2014-10-13 | 2017-07-26 | Seven Networks Llc | Wireless traffic management system for caching at a mobile device based on user characteristics |
-
2017
- 2017-10-16 EP EP17861348.5A patent/EP3528141A4/en not_active Ceased
- 2017-10-16 WO PCT/JP2017/037416 patent/WO2018074431A1/ja active Application Filing
- 2017-10-16 JP JP2018546334A patent/JP6789307B2/ja active Active
- 2017-10-16 US US16/322,878 patent/US20200192870A1/en not_active Abandoned
- 2017-10-16 CN CN201780053397.2A patent/CN109643303B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP3528141A1 (en) | 2019-08-21 |
US20200192870A1 (en) | 2020-06-18 |
EP3528141A4 (en) | 2020-05-13 |
CN109643303A (zh) | 2019-04-16 |
JP6789307B2 (ja) | 2020-11-25 |
WO2018074431A1 (ja) | 2018-04-26 |
CN109643303B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9916367B2 (en) | Processing system search requests from multiple data stores with overlapping data | |
US9965209B2 (en) | Large-scale, dynamic graph storage and processing system | |
Cheng et al. | VENUS: Vertex-centric streamlined graph computation on a single PC | |
US9104665B1 (en) | Data backup in a graph processing system | |
US9116968B2 (en) | Methods and apparatus related to graph transformation and synchronization | |
US10114804B2 (en) | Representation of an element in a page via an identifier | |
US8768979B2 (en) | In-memory data grid hash scheme optimization | |
US11520759B2 (en) | Processing time series metrics data | |
US9960983B2 (en) | Monitoring item selection method and device, and storage medium | |
US9514184B2 (en) | Systems and methods for a high speed query infrastructure | |
CN110232074A (zh) | 流数据与维表关联方法及流计算装置 | |
US20140095508A1 (en) | Efficient selection of queries matching a record using a cache | |
JP6951846B2 (ja) | 計算機システム及びタスクの割当方法 | |
CN110088745B (zh) | 数据处理系统以及数据处理方法 | |
US10324837B2 (en) | Reducing minor garbage collection overhead | |
KR101693108B1 (ko) | 읽기 성능 개선을 위한 티-트리 인덱스를 이용한 데이터베이스 읽기 방법 및 그 장치 | |
JP6789307B2 (ja) | データ処理装置およびデータ処理方法 | |
WO2020136790A1 (ja) | エッジシステム、情報処理方法及び情報処理プログラム | |
US8533135B2 (en) | Model generating device and model generating method | |
JP5761200B2 (ja) | 情報処理装置 | |
Sarkar et al. | An indexed approach for multiple data storage in cloud | |
JP5953262B2 (ja) | データ索引装置、データ索引方法及びプログラム | |
WO2019126154A1 (en) | System and method for data storage management | |
WO2023083114A1 (en) | Dynamic database object description adjustment | |
US20230033592A1 (en) | Information processing apparatus, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |