JP6441803B2 - マルチクライアント・アーキテクチャでのデータ・ログ管理 - Google Patents
マルチクライアント・アーキテクチャでのデータ・ログ管理 Download PDFInfo
- Publication number
- JP6441803B2 JP6441803B2 JP2015534951A JP2015534951A JP6441803B2 JP 6441803 B2 JP6441803 B2 JP 6441803B2 JP 2015534951 A JP2015534951 A JP 2015534951A JP 2015534951 A JP2015534951 A JP 2015534951A JP 6441803 B2 JP6441803 B2 JP 6441803B2
- Authority
- JP
- Japan
- Prior art keywords
- data log
- entities
- entity
- data
- partition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Description
Claims (14)
- データ・ログを格納するために複数のパーティションへとデータベースを区分するステップであって、前記複数のパーティションは、複数のエンティティの間で割り当てられ、前記複数のエンティティのうちの各エンティティは、前記複数のパーティションのうちの少なくとも1つのパーティションを割り当てられるステップと、
前記複数のエンティティのうちのあるエンティティに関連する消去パラメータを識別するステップであって、前記あるエンティティは、アプリケーションまたはユーザを少なくとも含み、前記消去パラメータは、前記あるエンティティの各データ・ログに割り当てられる重要度の情報を少なくとも含み、前記重要度の情報は第1のスコアおよび前記第1のスコアを下回る第2のスコアを備え、前記消去パラメータは、前記データベースに格納された前記あるエンティティのデータ・ログの中から、消去されるべきデータ・ログを選択する基準を示し、しきい値を上回る場合には、データ・ログには前記第1のスコアが割り当てられ、しきい値を下回る場合には、データ・ログには前記第2のスコアが割り当てられるステップと、
前記消去パラメータに基づいて選択された前記データ・ログを消去するステップと
を含み、
前記区分するステップは、前記複数のエンティティのそれぞれに関連する区分パラメータに基づいており、
前記区分パラメータは、前記複数のエンティティのそれぞれに割り当てられたパーティションのサイズを規定する、1つまたは複数のプロセッサが実行する、データ・ログ管理のための方法。 - 前記複数のエンティティのうちの各エンティティに関連する断片化パラメータを識別するステップであって、前記断片化パラメータは、データ・ログの断片化基準を各エンティティごとに異なるサイズで規定する、ステップと、
前記複数のエンティティのうちのエンティティのそれぞれによって生成されたデータ・ログを、前記識別された断片化パラメータに基づいて前記異なるサイズに断片化するステップと
を含む請求項1に記載の方法。 - 前記各エンティティごとに前記異なるサイズで断片化されたデータ・ログの前記サイズは、前記エンティティに割り当てられたデータベースの格納サイズ、および前記エンティティによって生成されたデータ・ログの数に基づいている請求項2に記載の方法。
- 前記消去パラメータは、消去する頻度および時間をさらに含み、それに基づいて前記格納されたデータ・ログが消去される請求項1に記載の方法。
- 前記データ・ログの消去は、事前規定された時間および前記パーティションに格納されたデータ・ログのしきい値数にさらに基づき、前記事前規定された時間およびデータ・ログのしきい値は、瞬間に格納されたデータ・ログを示している請求項1に記載の方法。
- 前記複数のエンティティのうちの各エンティティに関連する上書き要素を識別するステップであって、前記上書き要素は、あるパーティションから他のパーティションへのデータ・ログの上書き基準を規定する、ステップと、
前記上書き要素に基づいて、前記エンティティのデータ・ログを他のエンティティの未使用のパーティションに格納するステップと
をさらに含む請求項1に記載の方法。 - 各エンティティに関連する上書き要素は、使用可能な記憶空間、前記データ・ログの重要度、およびエンティティのパーティションの共有能力の少なくとも1つを含む請求項6に記載の方法。
- 前記複数のエンティティの記憶空間の変化する要件に基づいて、前記複数のエンティティの間で前記記憶空間を動的に区分するステップをさらに含む請求項1に記載の方法。
- プロセッサ(112)と、
データ・ログを格納するために複数のパーティションへとデータベースを区分するように構成された区分モジュール(122)とを含み、
前記複数のパーティションは、複数のエンティティの間で割り当てられ、前記複数のエンティティのうちの各エンティティは、前記複数のパーティションのうちの少なくとも1つのパーティションを割り当てられ、
前記区分することが前記複数のエンティティのそれぞれに関連する区分パラメータに基づいており、
前記区分パラメータは、前記複数のエンティティのそれぞれに割り当てられたパーティションのサイズを規定し、さらに、
前記プロセッサ(112)に結合された消去モジュール(126)と
を含み、前記消去モジュールは、
前記複数のエンティティのうちのあるエンティティに関連する消去パラメータを識別し、前記あるエンティティは、アプリケーションまたはユーザを少なくとも含み、前記消去パラメータは、前記あるエンティティの各データ・ログに割り当てられる重要度の情報を少なくとも含み、前記重要度の情報は第1のスコアおよび前記第1のスコアを下回る第2のスコアを備え、前記消去パラメータは、前記データベースに格納された前記あるエンティティのデータ・ログの中から、消去されるべきデータ・ログを選択する基準を示し、しきい値を上回る場合には、データ・ログには前記第1のスコアが割り当てられ、しきい値を下回る場合には、データ・ログには前記第2のスコアが割り当てられ、
前記消去パラメータに基づいて選択された前記データ・ログを消去する
ように構成された、
データ・ログ管理のためのシステム(102)。 - 前記複数のエンティティのうちの各エンティティに関連する断片化パラメータを識別し、前記断片化パラメータは、データ・ログの断片化基準を各エンティティごとに異なるサイズで規定し、
前記複数のエンティティのうちの前記エンティティのそれぞれによって生成されたデータ・ログを、前記識別された断片化パラメータに基づいて前記異なるサイズに断片化する
ように構成された断片化モジュール(124)をさらに含む請求項9に記載のシステム(102)。 - 前記複数のエンティティのうちの各エンティティに関連する上書き要素を識別し、前記上書き要素は、あるパーティションから他のパーティションへのデータ・ログの上書き基準を規定し、
前記上書き要素に基づいて、前記エンティティのデータ・ログを未使用の他のエンティティのパーティションに格納する
ように構成された上書きモジュール(128)をさらに含む請求項9に記載のシステム(102)。 - 前記区分モジュール(122)は、前記複数のエンティティの記憶空間の変化する要件に基づいて、前記複数のエンティティの間で前記記憶空間を動的に区分するようにさらに構成される請求項9に記載のシステム(102)。
- データ・ログを格納するために複数のパーティションへとデータベースを区分するステップであって、前記複数のパーティションは、複数のエンティティの間で割り当てられ、前記複数のエンティティのうちの各エンティティは、前記複数のパーティションのうちの少なくとも1つのパーティションを割り当てられるステップと、
前記複数のエンティティのうちのあるエンティティに関連する消去パラメータを識別するステップであって、前記あるエンティティは、アプリケーションまたはユーザを少なくとも含み、前記消去パラメータは、前記あるエンティティの各データ・ログに割り当てられる重要度の情報を少なくとも含み、前記重要度の情報は第1のスコアおよび前記第1のスコアを下回る第2のスコアを備え、前記消去パラメータは、前記データベースに格納された前記あるエンティティのデータ・ログの中から、消去されるべきデータ・ログを選択する基準を示し、しきい値を上回る場合には、データ・ログには前記第1のスコアが割り当てられ、しきい値を下回る場合には、データ・ログには前記第2のスコアが割り当てられるステップと、
前記消去パラメータに基づいて選択された前記データ・ログを消去するステップと
を含み、
前記区分するステップは、前記複数のエンティティのそれぞれに関連する区分パラメータに基づいており、
前記区分パラメータは、前記複数のエンティティのそれぞれに割り当てられたパーティションのサイズを規定する方法を実行するためのコンピュータ可読プログラム・コードを含む非一時的なコンピュータ可読媒体。 - 前記複数のエンティティのうちの各エンティティに関連する断片化パラメータを識別するステップであって、前記断片化パラメータは、データ・ログの断片化基準を各エンティティごとに異なるサイズで規定する、ステップと、
前記複数のエンティティのうちのエンティティのそれぞれによって生成された前記データ・ログを、前記識別された断片化パラメータに基づいて前記異なるサイズに断片化するステップと
をさらに含む請求項13に記載のコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN3109/DEL/2012 | 2012-10-04 | ||
IN3109DE2012 | 2012-10-04 | ||
PCT/EP2013/069277 WO2014053313A1 (en) | 2012-10-04 | 2013-09-17 | Data logs management in a multi-client architecture |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015535372A JP2015535372A (ja) | 2015-12-10 |
JP6441803B2 true JP6441803B2 (ja) | 2018-12-19 |
Family
ID=49182272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015534951A Expired - Fee Related JP6441803B2 (ja) | 2012-10-04 | 2013-09-17 | マルチクライアント・アーキテクチャでのデータ・ログ管理 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10007685B2 (ja) |
JP (1) | JP6441803B2 (ja) |
CN (1) | CN104704475B (ja) |
WO (1) | WO2014053313A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106301883B (zh) * | 2015-06-26 | 2019-09-03 | 精工爱普生株式会社 | 网络系统、以及网络系统的控制方法 |
CN105302909B (zh) * | 2015-11-06 | 2019-03-26 | 西安交大捷普网络科技有限公司 | 基于分区偏移计算的网络安全日志系统大数据检索方法 |
US10613988B2 (en) * | 2016-09-28 | 2020-04-07 | Micro Focus Llc | Purging storage partitions of databases |
CN108170825B (zh) * | 2018-01-05 | 2022-08-12 | 上海电气分布式能源科技有限公司 | 基于云平台的分布式能源数据监控清洗方法 |
US11132356B2 (en) * | 2018-08-31 | 2021-09-28 | International Business Machines Corporation | Optimizing data entries in a log |
US11513884B2 (en) * | 2018-09-26 | 2022-11-29 | Nec Corporation | Information processing apparatus, control method, and program for flexibly managing event history |
US11169901B2 (en) * | 2019-05-06 | 2021-11-09 | Red Hat, Inc. | Storage-based log file management |
CN110188075A (zh) * | 2019-05-24 | 2019-08-30 | 无线生活(北京)信息技术有限公司 | 日志清理方法及装置 |
CN111324505B (zh) * | 2019-11-12 | 2023-03-14 | 杭州海康威视系统技术有限公司 | 一种日志采集方法、装置、电子设备及存储介质 |
CN111190792B (zh) * | 2019-12-20 | 2023-10-27 | 中移(杭州)信息技术有限公司 | 一种日志存储的方法、装置、电子设备及可读存储介质 |
CN112187719B (zh) * | 2020-08-31 | 2023-04-14 | 新浪技术(中国)有限公司 | 被攻击服务器的信息获取方法、装置和电子设备 |
US20220342599A1 (en) * | 2021-04-23 | 2022-10-27 | EMC IP Holding Company, LLC | Memory Management System and Method |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04149749A (ja) | 1990-10-15 | 1992-05-22 | Fujitsu Ltd | ログデータ採取方式 |
JPH0869395A (ja) | 1994-08-29 | 1996-03-12 | Fujitsu Ltd | システム障害事象ログ情報蓄積装置 |
JPH08147194A (ja) | 1994-11-16 | 1996-06-07 | Fuji Facom Corp | データロギング方法 |
US6996580B2 (en) | 2001-06-22 | 2006-02-07 | International Business Machines Corporation | System and method for granular control of message logging |
JP4125055B2 (ja) | 2002-06-28 | 2008-07-23 | キヤノン株式会社 | ログ取得方法 |
JP4125054B2 (ja) | 2002-06-28 | 2008-07-23 | キヤノン株式会社 | ログ取得方法 |
JP2006041764A (ja) * | 2004-07-23 | 2006-02-09 | Ricoh Co Ltd | ログ記録装置、ログ記録プログラムおよび記録媒体 |
JP5050357B2 (ja) | 2006-01-25 | 2012-10-17 | 富士通株式会社 | ロギング情報管理方法およびロギング情報管理システムおよびロギング情報管理手段 |
US20070174246A1 (en) * | 2006-01-25 | 2007-07-26 | Sigurdsson Johann T | Multiple client search method and system |
JP4963847B2 (ja) | 2006-03-07 | 2012-06-27 | 株式会社リコー | ログ情報管理方式 |
WO2007148300A2 (en) * | 2006-06-20 | 2007-12-27 | Gal Zuckerman | Methods and systems for push-to-storage |
JP4458493B2 (ja) | 2006-08-10 | 2010-04-28 | 株式会社日立情報システムズ | ログ通知条件定義支援装置とログ監視システムおよびプログラムとログ通知条件定義支援方法 |
US7783666B1 (en) | 2007-09-26 | 2010-08-24 | Netapp, Inc. | Controlling access to storage resources by using access pattern based quotas |
US8606996B2 (en) * | 2008-03-31 | 2013-12-10 | Amazon Technologies, Inc. | Cache optimization |
US20090276470A1 (en) | 2008-05-05 | 2009-11-05 | Vijayarajan Rajesh | Data Processing System And Method |
JP2010218313A (ja) * | 2009-03-17 | 2010-09-30 | Ricoh Co Ltd | 情報処理装置、ログ管理システム及びログ管理方法 |
JP5503177B2 (ja) | 2009-04-01 | 2014-05-28 | 株式会社日立システムズ | 障害情報収集装置 |
EP2425341B1 (en) * | 2009-05-01 | 2018-07-11 | Citrix Systems, Inc. | Systems and methods for establishing a cloud bridge between virtual storage resources |
WO2012025994A1 (ja) | 2010-08-24 | 2012-03-01 | 富士通株式会社 | システム制御装置、ログ制御方法および情報処理装置 |
IL208641A0 (en) | 2010-10-12 | 2010-12-30 | Eci Telecom Ltd | Method for accelerating start up of a computerized system |
CN102270225B (zh) * | 2011-06-28 | 2015-10-21 | 用友网络科技股份有限公司 | 数据变更日志监控方法和数据变更日志监控装置 |
CN102411533A (zh) * | 2011-08-08 | 2012-04-11 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统的日志管理优化方法 |
JP5701403B2 (ja) | 2011-12-15 | 2015-04-15 | 株式会社日立製作所 | 監視計算機及び方法 |
-
2013
- 2013-09-17 WO PCT/EP2013/069277 patent/WO2014053313A1/en active Application Filing
- 2013-09-17 CN CN201380052178.4A patent/CN104704475B/zh not_active Expired - Fee Related
- 2013-09-17 US US14/432,595 patent/US10007685B2/en not_active Expired - Fee Related
- 2013-09-17 JP JP2015534951A patent/JP6441803B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US10007685B2 (en) | 2018-06-26 |
CN104704475A (zh) | 2015-06-10 |
US20150254285A1 (en) | 2015-09-10 |
CN104704475B (zh) | 2018-04-27 |
WO2014053313A1 (en) | 2014-04-10 |
JP2015535372A (ja) | 2015-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6441803B2 (ja) | マルチクライアント・アーキテクチャでのデータ・ログ管理 | |
US11568042B2 (en) | System and methods for sandboxed malware analysis and automated patch development, deployment and validation | |
US11573867B2 (en) | Smart dynamic restore for Kubernetes based applications | |
US11108859B2 (en) | Intelligent backup and recovery of cloud computing environment | |
US9471585B1 (en) | Decentralized de-duplication techniques for largescale data streams | |
US9639589B1 (en) | Chained replication techniques for large-scale data streams | |
US10713079B2 (en) | System and method for managing telemetry data and agents in a telemetry system | |
US8856484B2 (en) | Mass storage system and methods of controlling resources thereof | |
US9933959B2 (en) | Method for selectively performing a secure data erase to ensure timely erasure | |
US20170155676A1 (en) | Systems and methods for security management of multi-client based distributed storage | |
US8635422B1 (en) | Systems and methods for reclaiming storage space from deleted volumes on thin-provisioned disks | |
US20150355861A1 (en) | Transfer size monitor, determination, and optimization engine for storage devices | |
US20170344431A1 (en) | Methods for proactive prediction of disk failure in a raid group and devices thereof | |
US11593270B1 (en) | Fast distributed caching using erasure coded object parts | |
WO2016148738A1 (en) | File management | |
US10635516B2 (en) | Intelligent logging | |
US9823857B1 (en) | Systems and methods for end-to-end quality of service control in distributed systems | |
US9336250B1 (en) | Systems and methods for efficiently backing up data | |
Chowdhury et al. | Managing the file system from the kernel | |
CN114746843A (zh) | 针对已分化数据恢复配置的存储器健康跟踪 | |
US20140215209A1 (en) | Enterprise distributed free space file system | |
US10268375B2 (en) | Methods for proactive prediction of disk failure in the disk maintenance pipeline and devices thereof | |
US11249859B2 (en) | System and method for intelligent backup scheduling and management | |
US11765204B2 (en) | Managing data management policies of resources | |
US11650975B2 (en) | Online file system consistency check for container data on a clustered filesystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160329 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160825 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170410 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170418 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20170519 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6441803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |