JP6090431B2 - 分散処理のための情報処理方法、情報処理装置及びプログラム、並びに分散処理システム - Google Patents
分散処理のための情報処理方法、情報処理装置及びプログラム、並びに分散処理システム Download PDFInfo
- Publication number
- JP6090431B2 JP6090431B2 JP2015507761A JP2015507761A JP6090431B2 JP 6090431 B2 JP6090431 B2 JP 6090431B2 JP 2015507761 A JP2015507761 A JP 2015507761A JP 2015507761 A JP2015507761 A JP 2015507761A JP 6090431 B2 JP6090431 B2 JP 6090431B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- file
- information processing
- information
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0871—Allocation or management of cache space
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0875—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with dedicated cache, e.g. instruction or stack
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/31—Providing disk cache in a specific location of a storage system
- G06F2212/314—In storage network, e.g. network attached cache
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/45—Caching of specific data in cache memory
- G06F2212/452—Instruction code
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6042—Allocation of cache space to multiple users or processors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
Claims (11)
- データの処理を行う複数の情報処理装置と管理装置とを含む分散処理システムにおいて実行される情報処理方法であって、
前記複数の情報処理装置のうち第1の情報処理装置が、
前記第1の情報処理装置が管理する第1のデータに対するアクセスがあった場合に、前記管理装置から、前記第1のデータに対するアクセスの後にアクセスされる可能性を有する第2のデータの識別情報及び当該第2のデータを管理する情報処理装置の識別情報を取得し、
前記第2のデータを管理する情報処理装置が前記第1の情報処理装置である場合に、前記第2のデータをデータ格納部から読み出し、キャッシュに展開する
処理を実行する情報処理方法。 - 前記第1の情報処理装置が、
前記第2のデータを管理する情報処理装置が前記第1の情報処理装置とは異なる第2の情報処理装置である場合に、前記第2の情報処理装置に対し、前記第2のデータをキャッシュに展開することを要求する第1の要求を送信する
処理をさらに実行する請求項1記載の情報処理方法。 - 前記第1の情報処理装置が、
前記第1のデータに対するアクセスが終了した場合に、前記キャッシュに展開されている前記第1のデータを削除する
処理をさらに実行する請求項1又は2記載の情報処理方法。 - データの処理を行う複数の情報処理装置と管理装置とを含む分散処理システムにおいて実行される情報処理方法であって、
前記管理装置が、
前記複数の情報処理装置のうち第1のデータを管理する第1の情報処理装置から、前記第1のデータの識別情報を含む要求を受信した場合に、データの識別情報と当該データに対するアクセスの後にアクセスされる可能性を有するデータの識別情報とを対応付けて格納する関連データ格納部から、前記第1のデータに対するアクセスの後にアクセスされる可能性を有する第2のデータの識別情報を抽出し、
抽出された前記第2のデータの識別情報と当該第2のデータを管理する情報処理装置の識別情報とを、前記第1の情報処理装置に送信する
処理を実行する情報処理方法。 - 前記管理装置が、
データの内容の関連性、データの格納場所及びデータのタイムスタンプの少なくともいずれかに基づき、前記関連データ格納部に格納されているデータを更新する
処理をさらに実行する請求項4記載の情報処理方法。 - 前記管理装置が、
前記分散処理システムにおけるデータへのアクセスの履歴に基づき、前記関連データ格納部に格納されているデータを更新する
処理をさらに実行する請求項4記載の情報処理方法。 - データの処理を行う複数の情報処理装置と管理装置とを含む分散処理システムにおいてキャッシュを管理するためのプログラムであって、
前記複数の情報処理装置のうち第1の情報処理装置に、
前記第1の情報処理装置が管理する第1のデータに対するアクセスがあった場合に、前記管理装置から、前記第1のデータに対するアクセスの後にアクセスされる可能性を有する第2のデータの識別情報及び当該第2のデータを管理する情報処理装置の識別情報を取得し、
前記第2のデータを管理する情報処理装置が前記第1の情報処理装置である場合に、前記第2のデータをデータ格納部から読み出し、キャッシュに展開する
処理を実行させるためのプログラム。 - データの処理を行う複数の情報処理装置と管理装置とを含む分散処理システムにおいてキャッシュを管理するためのプログラムであって、
前記管理装置に、
前記複数の情報処理装置のうち第1のデータを管理する第1の情報処理装置から、前記第1のデータの識別情報を含む要求を受信した場合に、データの識別情報と当該データに対するアクセスの後にアクセスされる可能性を有するデータの識別情報とを対応付けて格納する関連データ格納部から、前記第1のデータに対するアクセスの後にアクセスされる可能性を有する第2のデータの識別情報を抽出し、
抽出された前記第2のデータの識別情報と当該第2のデータを管理する情報処理装置の識別情報とを、前記第1の情報処理装置に送信する
処理を実行させるためのプログラム。 - データの処理を行う複数の情報処理装置と管理装置とを含む分散処理システムにおける前記複数の情報処理装置に含まれる第1の情報処理装置であって、
第1のデータに対するアクセスがあった場合に、前記管理装置から、前記第1のデータに対するアクセスの後にアクセスされる可能性を有する第2のデータの識別情報及び当該第2のデータを管理する情報処理装置の識別情報を取得する取得部と、
前記第2のデータを管理する情報処理装置が前記第1の情報処理装置である場合に、前記第2のデータをデータ格納部から読み出し、キャッシュに展開するキャッシュ処理部と、
を有する第1の情報処理装置。 - データの処理を行う複数の情報処理装置と管理装置とを含む分散処理システムにおける前記管理装置であって、
データの識別情報と当該データに対するアクセスの後にアクセスされる可能性を有するデータの識別情報とを対応付けて格納する関連データ格納部と、
第1のデータを管理する第1の情報処理装置から、前記第1のデータの識別情報を含む要求を受信した場合に、前記関連データ格納部から、前記第1のデータに対するアクセスの後にアクセスされる可能性を有する第2のデータの識別情報を抽出する抽出部と、
抽出された前記第2のデータの識別情報と当該第2のデータを管理する情報処理装置の識別情報とを、前記第1の情報処理装置に送信する送信部と、
を有する管理装置。 - データの処理を行う複数の情報処理装置と管理装置とを含む分散処理システムであって、
前記複数の情報処理装置のうち第1の情報処理装置が、
前記第1の情報処理装置が管理する第1のデータに対するアクセスがあった場合に、前記管理装置から、前記第1のデータに対するアクセスの後にアクセスされる可能性を有する第2のデータの識別情報及び当該第2のデータを管理する情報処理装置の識別情報を、前記第1のデータの識別情報を含む要求を前記管理装置に送信することにより取得する取得部と、
前記第2のデータを管理する情報処理装置が前記第1の情報処理装置である場合に、前記第2のデータをデータ格納部から読み出し、キャッシュに展開するキャッシュ処理部と、
を有し、
前記管理装置が、
データの識別情報と当該データに対するアクセスの後にアクセスされる可能性を有するデータの識別情報とを対応付けて格納する関連データ格納部と、
前記第1の情報処理装置から前記要求を受信した場合に、前記関連データ格納部から、前記第1のデータの識別情報に対応付けられている前記第2のデータの識別情報を抽出する抽出部と、
抽出された前記第2のデータの識別情報と当該第2のデータを管理する情報処理装置の識別情報とを、前記第1の情報処理装置に送信する送信部と、
を有する分散処理システム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2013/058930 WO2014155553A1 (ja) | 2013-03-27 | 2013-03-27 | 分散処理のための情報処理方法、情報処理装置及びプログラム、並びに分散処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2014155553A1 JPWO2014155553A1 (ja) | 2017-02-16 |
| JP6090431B2 true JP6090431B2 (ja) | 2017-03-08 |
Family
ID=51622632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015507761A Active JP6090431B2 (ja) | 2013-03-27 | 2013-03-27 | 分散処理のための情報処理方法、情報処理装置及びプログラム、並びに分散処理システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10049049B2 (ja) |
| JP (1) | JP6090431B2 (ja) |
| WO (1) | WO2014155553A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101918806B1 (ko) * | 2015-06-30 | 2018-11-14 | 전자부품연구원 | 분산 파일 시스템의 읽기 성능 극대화를 위한 캐시 관리 방법 |
| US20170374684A1 (en) * | 2016-06-24 | 2017-12-28 | Chittabrata Ghosh | Identifier assignment for unassociated stations |
| JP6798211B2 (ja) * | 2016-09-21 | 2020-12-09 | 日本電気株式会社 | 並列計算機システムおよび管理方法 |
| US11294876B2 (en) * | 2017-06-01 | 2022-04-05 | Oracle International Corporation | System and method for generating a multi dimensional data cube for analytics using a map-reduce program |
| US10942852B1 (en) | 2019-09-12 | 2021-03-09 | Advanced New Technologies Co., Ltd. | Log-structured storage systems |
| SG11202002363QA (en) | 2019-09-12 | 2020-04-29 | Alibaba Group Holding Ltd | Log-structured storage systems |
| CN111566611B (zh) * | 2019-09-12 | 2023-08-04 | 创新先进技术有限公司 | 日志结构存储系统 |
| WO2019228570A2 (en) | 2019-09-12 | 2019-12-05 | Alibaba Group Holding Limited | Log-structured storage systems |
| EP3669268A4 (en) | 2019-09-12 | 2020-12-23 | Alibaba Group Holding Limited | NEWSPAPER STRUCTURE STORAGE SYSTEMS |
| SG11202002732TA (en) | 2019-09-12 | 2020-04-29 | Alibaba Group Holding Ltd | Log-structured storage systems |
| WO2019228574A2 (en) | 2019-09-12 | 2019-12-05 | Alibaba Group Holding Limited | Log-structured storage systems |
| WO2019228568A2 (en) | 2019-09-12 | 2019-12-05 | Alibaba Group Holding Limited | Log-structured storage systems |
| CN111837113B (zh) | 2019-09-12 | 2024-11-01 | 蚂蚁链技术有限公司 | 日志结构存储系统 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5511177A (en) | 1991-11-21 | 1996-04-23 | Hitachi, Ltd. | File data multiplexing method and data processing system |
| JP3485598B2 (ja) | 1993-05-27 | 2004-01-13 | 株式会社日立製作所 | ファイルの配置方法、データ多重化方法及びデータ処理システム |
| JPH06332782A (ja) | 1993-03-22 | 1994-12-02 | Hitachi Ltd | ファイルサーバシステム及びそのファイルアクセス制御方法 |
| US5548724A (en) | 1993-03-22 | 1996-08-20 | Hitachi, Ltd. | File server system and file access control method of the same |
| JP3140621B2 (ja) | 1993-09-28 | 2001-03-05 | 株式会社日立製作所 | 分散ファイルシステム |
| JP3117003B2 (ja) | 1997-07-03 | 2000-12-11 | 日本電気株式会社 | 広域分散ファイルシステム |
| JP3997774B2 (ja) * | 2001-12-11 | 2007-10-24 | ソニー株式会社 | データ処理システム、データ処理方法、および情報処理装置、並びにコンピュータ・プログラム |
| JP2004118482A (ja) * | 2002-09-26 | 2004-04-15 | Toshiba Corp | 記憶装置、および、キャッシュ方法 |
| JP4631301B2 (ja) | 2004-03-31 | 2011-02-16 | 株式会社日立製作所 | 記憶装置のキャッシュ管理方法 |
| JP4706220B2 (ja) * | 2004-09-29 | 2011-06-22 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP4524656B2 (ja) * | 2005-08-04 | 2010-08-18 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4763587B2 (ja) * | 2006-12-11 | 2011-08-31 | 株式会社ソニー・コンピュータエンタテインメント | キャッシュサーバ、キャッシュサーバの制御方法、プログラム及び情報記憶媒体 |
| JP5229731B2 (ja) | 2008-10-07 | 2013-07-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 更新頻度に基づくキャッシュ機構 |
| JP5569074B2 (ja) * | 2010-03-19 | 2014-08-13 | 日本電気株式会社 | ストレージシステム |
| US9576068B2 (en) * | 2010-10-26 | 2017-02-21 | Good Technology Holdings Limited | Displaying selected portions of data sets on display devices |
| US20130218928A1 (en) * | 2010-11-09 | 2013-08-22 | Nec Corporation | Information processing device |
| JP5817558B2 (ja) | 2012-01-27 | 2015-11-18 | 富士通株式会社 | 情報処理装置、分散処理システム、キャッシュ管理プログラムおよび分散処理方法 |
-
2013
- 2013-03-27 WO PCT/JP2013/058930 patent/WO2014155553A1/ja not_active Ceased
- 2013-03-27 JP JP2015507761A patent/JP6090431B2/ja active Active
-
2015
- 2015-09-21 US US14/860,169 patent/US10049049B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20160011980A1 (en) | 2016-01-14 |
| WO2014155553A1 (ja) | 2014-10-02 |
| JPWO2014155553A1 (ja) | 2017-02-16 |
| US10049049B2 (en) | 2018-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6090431B2 (ja) | 分散処理のための情報処理方法、情報処理装置及びプログラム、並びに分散処理システム | |
| JP6356273B2 (ja) | バッチ最適化レンダリング及びフェッチアーキテクチャ | |
| CN102667772B (zh) | 文件级分级存储管理系统、方法和设备 | |
| JP2021507341A (ja) | クライアント同期サービスのためのローカルツリーの更新 | |
| US20100325363A1 (en) | Hierarchical object caching based on object version | |
| US20130174142A1 (en) | Reconfiguration of computer system to allow application installation | |
| CN114253535A (zh) | H5页面多语言渲染方法及装置 | |
| JP2017504874A (ja) | クラスター化されたインメモリデータベースの設計及び実施 | |
| JP2010092222A (ja) | 更新頻度に基づくキャッシュ機構 | |
| US11086557B2 (en) | Continuous asynchronous replication from on-premises storage to cloud object stores | |
| CN107220248B (zh) | 一种用于存储数据的方法和装置 | |
| CN109981659A (zh) | 基于数据去重技术的网络资源预取方法以及系统 | |
| CN115269631A (zh) | 数据查询方法、数据查询系统、设备及存储介质 | |
| US20250328527A1 (en) | Multi-cluster query result caching | |
| CN109460345B (zh) | 实时数据的计算方法及系统 | |
| US12468835B2 (en) | System and method for session-aware datastore for the edge | |
| Yan et al. | Hmfs: efficient support of small files processing over HDFS | |
| Huang et al. | Multi-Grained Trace Collection, Analysis, and Management of Diverse Container Images | |
| JP6568985B2 (ja) | バッチ最適化レンダリング及びフェッチアーキテクチャ | |
| CN118860993B (zh) | 一种基于分布式存储系统的元数据处理方法和装置 | |
| Konishetty et al. | Implementation and evaluation of scalable data structure over hbase | |
| Nimishan et al. | An approach to improve the performance of web proxy cache replacement using machine learning techniques | |
| CN113127717A (zh) | 一种密钥检索方法和系统 | |
| WO2023097270A1 (en) | Detecting idle periods at network endpoints for management actions at processing clusters for managed databases | |
| CN121100517A (zh) | 在近实时ric中暴露机器学习模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170123 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6090431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |