JP5172594B2 - 情報処理システム及び情報処理システムの運用方法 - Google Patents
情報処理システム及び情報処理システムの運用方法 Download PDFInfo
- Publication number
- JP5172594B2 JP5172594B2 JP2008270133A JP2008270133A JP5172594B2 JP 5172594 B2 JP5172594 B2 JP 5172594B2 JP 2008270133 A JP2008270133 A JP 2008270133A JP 2008270133 A JP2008270133 A JP 2008270133A JP 5172594 B2 JP5172594 B2 JP 5172594B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- transmission request
- information processing
- processing system
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/26—Using a specific storage system architecture
- G06F2212/263—Network storage, e.g. SAN or NAS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/46—Caching storage objects of specific type in disk cache
- G06F2212/464—Multimedia object, e.g. image, video
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
しかし、制御部が複数になると各制御部にリソースを分割して割り当てる必要があるため、例えばある装置で必要なリソースが他の制御部に割り当てられていて利用できないなどといった、いわゆる分割損の発生が問題となっている。
本発明の第1実施形態に係る情報処理システム1について、図1を参照して説明する。図1は、情報処理システム1のシステム構成を示す。
20 ネットワーク
30 端末装置(外部装置)
40 ポータルサーバ(管理装置、コンテンツデータ配信要求割当て装置)
41、150、151、152、153 ネットワークIF
42、110、111、112、113 制御部
43、140 メモリ
44 負荷分散プログラム(負荷分散処理部)
120、121、122、123 ディスク装置(記憶装置)
125、126、127、128 テンポラリ領域(一時記憶領域)
130、131,132、133、141 キャッシュ領域
142 配信プログラム(配信部)
143 データ複製プログラム(データ複製部)
144 複製先決定プログラム(複製先決定部)
145 キャッシュ管理プログラム(キャッシュ管理部)
Claims (15)
- 外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータを前記外部装置へ送信する情報処理システムであって、
前記データ送信要求の対象であるデータを各々格納している複数の記憶装置と、
前記外部装置からデータ送信要求を受け付けて当該データ送信要求の対象であるデータを、各々に割り当てられている前記記憶装置から読み出して前記外部装置に送信する複数の制御部と、
前記複数の制御部のいずれかが自身に割り当てられている前記記憶装置から読み出したデータの少なくとも一部を一時的に記憶しておくキャッシュメモリとを備えている、制御装置と、
前記外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータが格納されている前記記憶装置が割り当てられている前記制御部を前記外部装置のデータ送信要求先として割り当てる管理装置と、を備え、
前記複数の制御部の各々は、前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータの少なくとも一部が前記キャッシュメモリにおいてキャッシュヒットしたか判定し、キャッシュヒットしたと判定した場合に、自身に割り当てられている前記記憶装置に格納されている当該データに関する関連データを、他の前記制御部に割り当てられている他の前記記憶装置に複製すると共に、当該関連データが他の前記記憶装置に複製された旨前記管理装置に通知する、
ことを特徴とする情報処理システム。 - 請求項1に記載の情報処理システムであって、前記管理装置は、前記制御装置の前記各制御部からそれらの負荷状況に関する情報を取得し、前記外部装置から前記データ送信要求を受け付けたときに、当該データが格納されている前記記憶装置が割り当てられている前記制御部の前記負荷状況に関する情報に基づいて前記データ送信要求先となる前記制御部を選択する
ことを特徴とする情報処理システム。 - 請求項1に記載の情報処理システムであって、前記管理装置が取得する、前記負荷状況に関する情報は、前記データ送信要求の対象であるデータの送信速度、前記データ送信要求先である前記制御部においてデータ送信に使用可能な帯域、及び前記データ送信要求先において発生している前記データに対するアクセス数のうちの少なくともいずれかを含んでいることを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、前記データ送信要求の対象であるデータが、データ送信要求元の前記外部装置にストリーミング方式で配信されるデータであることを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、前記制御部は、前記関連データを自身に割り当てられている前記記憶装置から他の前記制御部に割り当てられている他の前記記憶装置に複製する処理に先立って、他の前記記憶装置に、当該関連データがすでに格納されているかを判定し、当該他の記憶装置に格納されていないと判定した場合に、当該他の記憶装置を前記関連データの複製先に選定することを特徴とする情報処理システム。
- 請求項5に記載の情報処理システムであって、前記制御部の各々は、前記他の記憶装置に、当該データが格納されていると判定した場合に、自身に割り当てられている前記記憶装置に当該関連データが格納されていない記憶領域があるかを判定し、当該記憶領域があると判定した場合に、当該記憶領域を前記データの複製先に選定することを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、前記制御部の各々は、前記関連データを自身に割り当てられている前記記憶装置から他の前記記憶装置に複製する処理が完了する前に、前記関連データが前記他の記憶装置に複製されたことを前記管理装置に通知することを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、前記制御部の各々が前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータが前記キャッシュメモリにおいてキャッシュヒットしたかを判定する処理は、当該データ送信要求の対象であるデータの利用履歴に関する情報に基づいて実行されることを特徴とする情報処理システム。
- 請求項8に記載の情報処理システムであって、前記データ送信要求の対象であるデータの利用履歴に関する情報は、当該データが前記キャッシュメモリにおいてキャッシュヒットした回数、所定の単位時間あたりの前記キャッシュヒット回数、及び当該データがキャッシュヒットした平均時間間隔のうちの少なくともいずれかを含むことを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、前記制御部の各々が前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータが前記キャッシュメモリにおいてキャッシュヒットしたかを判定する処理において、当該データに含まれる所定のブロックがキャッシュヒットした場合に、当該ブロックが含まれるデータに関するファイル全体を複製することを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、前記制御部の各々は、前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータが前記キャッシュメモリにおいてキャッシュヒットしたかを調べ、キャッシュヒットしたと判定した場合に、自身に割り当てられている前記記憶装置から他の前記記憶装置に複製された前記関連データを、さらに他の前記記憶装置に複製することを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、前記関連データを前記記憶装置のいずれかから他の前記記憶装置に複製する処理を、他の前記記憶装置が割り当てられている他の前記制御部が実行することを特徴とする情報処理システム。
- 請求項1に記載の情報処理システムであって、他の前記記憶装置には、前記データを一時的に格納する記憶領域である一時記憶領域が設定されており、前記関連データは当該一時記憶領域に複製されることを特徴とする情報処理システム。
- 外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータを前記外部装置へ送信する情報処理システムの運用方法であって、
前記情報処理システムは、
前記データ送信要求の対象であるデータを各々格納している複数の記憶装置と、
前記外部装置からデータ送信要求を受け付けて当該データ送信要求の対象であるデータを、各々に割り当てられている前記記憶装置から読み出して前記外部装置に送信する複数の制御部と、
前記複数の制御部のいずれかが自身に割り当てられている前記記憶装置から読み出したデータの少なくとも一部を一時的に記憶しておくキャッシュメモリとを備えている、制御装置と、
前記外部装置からのデータ送信要求を受け付けて、当該データ送信要求の対象であるデータが格納されている前記記憶装置が割り当てられている前記制御部を前記外部装置のデータ送信要求先として割り当てる管理装置と、を備え、
前記複数の制御部の各々は、前記外部装置からのデータ送信要求を受け付けたときに、当該データ送信要求の対象であるデータの少なくとも一部が前記キャッシュメモリにおいてキャッシュヒットしたか判定し、キャッシュヒットしたと判定した場合に、自身に割り当てられている前記記憶装置に格納されている当該データに関する関連データを、他の前記制御部に割り当てられている他の前記記憶装置に複製すると共に、当該関連データが他の前記記憶装置に複製された旨前記管理装置に通知する、
ことを特徴とする情報処理システムの運用方法。 - 外部装置からのコンテンツデータ配信要求を受け付けて、当該コンテンツデータ配信要求の対象であるコンテンツデータを前記外部装置へ配信するコンテンツ配信システムであって、
前記コンテンツデータを各々格納している複数のディスク装置と、
各々前記外部装置からコンテンツデータ配信要求を受け付けて当該コンテンツデータ配信要求の対象であるコンテンツデータを、自身に割り当てられている前記ディスク装置から読み出して前記外部装置に送信する複数の制御部と、
前記複数の制御部の各々が、自身に割り当てられている前記ディスク装置から読み出したコンテンツデータの少なくとも一部を一時的に記憶しておくキャッシュメモリとを備えているコンテンツ配信装置と、
前記外部装置からのコンテンツデータ配信要求を受け付けて、当該コンテンツデータ配信要求の対象であるデータが格納されている前記複数の制御部のいずれかを前記外部装置のコンテンツデータ配信要求先として割り当てるコンテンツ配信要求割当て装置とを備え、
前記複数の制御部の各々は、前記外部装置からのコンテンツデータ配信要求を受け付けたときに、当該コンテンツデータ配信要求の対象であるコンテンツデータの少なくとも一部が前記キャッシュメモリにおいてキャッシュヒットしたか判定し、キャッシュヒットしたと判定した場合に、当該コンテンツデータを自身に割り当てられている前記ディスク装置から他の前記制御部に割り当てられている他の前記ディスク装置に複製すると共に、当該コンテンツデータが他の前記制御部に割り当てられている他の前記ディスク装置に複製された旨前記コンテンツ配信要求割当て装置に通知し、
前記コンテンツ配信要求割当て装置は、前記コンテンツ配信装置の前記各制御部からそれらの負荷状況に関する情報を取得し、前記外部装置から前記コンテンツデータ配信要求を受け付けたときに、当該コンテンツデータを格納している前記ディスク装置が割り当てられている前記制御部の前記負荷状況に関する情報に基づいて前記コンテンツデータ配信要求先となる前記制御部を選択する
ことを特徴とするコンテンツ配信システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008270133A JP5172594B2 (ja) | 2008-10-20 | 2008-10-20 | 情報処理システム及び情報処理システムの運用方法 |
US12/339,292 US8037242B2 (en) | 2008-10-20 | 2008-12-19 | Contents delivery system using cache and data replication |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008270133A JP5172594B2 (ja) | 2008-10-20 | 2008-10-20 | 情報処理システム及び情報処理システムの運用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010097568A JP2010097568A (ja) | 2010-04-30 |
JP5172594B2 true JP5172594B2 (ja) | 2013-03-27 |
Family
ID=42109539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008270133A Active JP5172594B2 (ja) | 2008-10-20 | 2008-10-20 | 情報処理システム及び情報処理システムの運用方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8037242B2 (ja) |
JP (1) | JP5172594B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110041788A (ko) * | 2009-10-16 | 2011-04-22 | 삼성전자주식회사 | 데이터 기록 장치 및 방법, 데이터 재생 장치 및 방법, 기록 매체 |
US10176157B2 (en) * | 2015-01-03 | 2019-01-08 | International Business Machines Corporation | Detect annotation error by segmenting unannotated document segments into smallest partition |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06332782A (ja) * | 1993-03-22 | 1994-12-02 | Hitachi Ltd | ファイルサーバシステム及びそのファイルアクセス制御方法 |
JP3683082B2 (ja) | 1997-10-17 | 2005-08-17 | 富士通株式会社 | 呼処理装置 |
US7363361B2 (en) * | 2000-08-18 | 2008-04-22 | Akamai Technologies, Inc. | Secure content delivery system |
US7346676B1 (en) * | 2000-07-19 | 2008-03-18 | Akamai Technologies, Inc. | Load balancing service |
JP2003122658A (ja) * | 2001-10-11 | 2003-04-25 | Hitachi Ltd | データ配送方法 |
JP2005010970A (ja) * | 2003-06-18 | 2005-01-13 | Hitachi Ltd | 分散キャッシュ制御方法、ネットワークシステムおよび当該ネットワークに用いられる制御サーバないしルータ |
-
2008
- 2008-10-20 JP JP2008270133A patent/JP5172594B2/ja active Active
- 2008-12-19 US US12/339,292 patent/US8037242B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20100100697A1 (en) | 2010-04-22 |
JP2010097568A (ja) | 2010-04-30 |
US8037242B2 (en) | 2011-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4452064B2 (ja) | 情報処理システム、情報処理装置、情報処理装置の制御方法及びプログラム | |
JP5187017B2 (ja) | 分散ディスクキャッシュシステム及び分散ディスクキャッシュ方法 | |
US8650381B2 (en) | Storage system using real data storage area dynamic allocation method | |
JP4464378B2 (ja) | 同一データを纏める事で格納領域を節約する計算機システム、ストレージシステム及びそれらの制御方法 | |
CN108139974B (zh) | 分布式缓存动态迁移 | |
US10359945B2 (en) | System and method for managing a non-volatile storage resource as a shared resource in a distributed system | |
US11509700B2 (en) | Stream data record reads using push-mode persistent connections | |
US11416176B2 (en) | Function processing using storage controllers for load sharing | |
US8078798B2 (en) | Managing first level storage in a multi-host environment | |
US20040148479A1 (en) | Method, system, and program for transferring data | |
US10133505B1 (en) | Cooperative host and data storage system services for compression and encryption | |
WO2016080953A1 (en) | Method and apparatus for data cache in converged system | |
US11489911B2 (en) | Transmitting data including pieces of data | |
US20230239345A1 (en) | Isolated read channel categories at streaming data service | |
JP4208506B2 (ja) | 高性能記憶装置アクセス環境 | |
JP5172594B2 (ja) | 情報処理システム及び情報処理システムの運用方法 | |
JP5158576B2 (ja) | 入出力制御システム、入出力制御方法、及び、入出力制御プログラム | |
US20050114857A1 (en) | Method, system, and program for managing operation requests using different resources | |
US20160357780A1 (en) | Hierarchical file block variant tracker apparatus coupled to a Librarian and to a remote file service | |
JP5494363B2 (ja) | ファイル管理プログラム,ファイル管理方法およびファイル管理装置 | |
US20220100374A1 (en) | Hierarchical file block variant tracking for performance in parallelism at multi-disk arrays | |
JP2022086569A (ja) | 情報処理装置およびプログラム | |
US10482023B1 (en) | I/O path optimization based on cache slot location | |
JP2005122602A (ja) | キャッシュシステム、情報処理システム、キャッシュ方法、プログラム、及び記録媒体 | |
US8505007B2 (en) | Method and system for instantly creating an IT environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5172594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |