JPH1069358A - データ配置装置 - Google Patents

データ配置装置

Info

Publication number
JPH1069358A
JPH1069358A JP8227160A JP22716096A JPH1069358A JP H1069358 A JPH1069358 A JP H1069358A JP 8227160 A JP8227160 A JP 8227160A JP 22716096 A JP22716096 A JP 22716096A JP H1069358 A JPH1069358 A JP H1069358A
Authority
JP
Japan
Prior art keywords
data
storage
group
row
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8227160A
Other languages
English (en)
Inventor
Shunichiro Nakamura
俊一郎 中村
Hiroshi Shimizu
洋 清水
Harumi Minemura
治実 峯村
Tomohisa Yamaguchi
智久 山口
Takashi Watanabe
尚 渡辺
Tadanori Mizuno
忠則 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP8227160A priority Critical patent/JPH1069358A/ja
Priority to US08/857,565 priority patent/US5841962A/en
Publication of JPH1069358A publication Critical patent/JPH1069358A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/2312Data placement on disk arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/10Indexing scheme relating to G06F11/10
    • G06F2211/1002Indexing scheme relating to G06F11/1076
    • G06F2211/1016Continuous RAID, i.e. RAID system that allows streaming or continuous media, e.g. VOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

(57)【要約】 【課題】 記憶グループを構成するアレイ状ファイルの
1つの故障時、特定のアレイ状ファイルへのアクセス回
数が増加し、データ読み出し速度が低下する等の課題が
あった。 【解決手段】 記憶グループ数をn、前記記憶グループ
を構成するアレイ状ファイル数をm、(D1j1 ,D
2j2 ,・・・,Dnjn )を1つの冗長グループに属する
データが記憶された各記憶グループのji (ji =1〜
m)番目のアレイ状ファイルの各同一行における記憶領
域の組とした時、mn 個の前記記憶領域の組(D1j1
2j2 ,・・・,Dnjn )の全体に対し、冗長データを
遍く割り付けたものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、複数のアレイ状
ファイルよりなる記憶グループを複数備え、その記憶グ
ループの1つのアレイ状ファイルの故障時において、各
記憶グループの稼働率の均一性を保ったまま、データの
復元を補償するようにデータを配置したデータ配置装置
に関するものである。
【0002】
【従来の技術】図9は、例えば特願平7−283473
号公報に示された、RAID5型の分散ビデオサーバを
用いたVOD(Video On Demand)シス
テムとしての従来のデータ配置装置から抜粋したこの発
明に関係した部分を示す構成図である。図においてS
1,S2,S3は複数の磁気ディスク装置からなる記憶
グループG1,G2,G3を接続したビデオサーバ(以
下、サーバと呼ぶ)であり、D4〜D7はサーバS1に
接続されている磁気ディスク装置、D8〜D11はサー
バS2に接続されている磁気ディスク装置、D12〜D
15はサーバS3に接続されている磁気ディスク装置で
ある。各磁気ディスク装置D4〜D15は同一容量のブ
ロックに分割されており、ビデオデータファイルとして
各サーバ毎にアレイ状に構成さたアレイ状ファイルであ
り、アレイ状ブロックとも称する。80,81,82は
ビデオプログラム、83はネットワーク、84,85,
86はクライアントである。
【0003】図10は、ビデオプログラム80を磁気デ
ィスク装置D4〜D15のアレイ状ブロックにデータを
配置した結果を示したものであり、図において小四角が
ブロックを示し、それぞれ64KBの固定サイズであ
る。0〜71の数字を付しているブロックには、ビデオ
プログラム80を等分割したデータ(以下、ビデオデー
タと呼ぶ)がブロックの数字順に納められており、数字
の昇順にビデオデータが呼び出される。Pn (nは0以
上の整数)を付しているブロックには、磁気ディスクの
故障発生時にデータの復元に用いられる冗長データとし
てのパリティデータがnで示される数字順に配置されて
いる。
【0004】図10において、障害発生時にデータ復元
用に使われるパリティデータは、全てのサーバS1,S
2,S3に渡って分散して置かれている。これをRAI
D5型という。パリティデータを1つのサーバのみに集
中して配置する方法もあり、これをRAID4型という
(特願平7−283473号公報参照)。
【0005】図11は正常時にアクセスされるブロック
に○印をつけたものである。図12は磁気ディスク装置
D5が故障した時にアクセスされるブロックを○印で示
した図である。
【0006】次に動作について説明する。ビデオプログ
ラム80を鑑賞しようとするクライアント84〜86
は、一定のレートで(例えばMPEG1の形式であれば
約1.5Mbpsのレートで)ビデオデータ1〜71を
順次読み出し、圧縮されていたデータを伸長した後、自
身の画面に表示する。1つのビデオデータの中には複数
画面分のデータが含まれているため、クライアント84
〜86内でビデオデータを一旦バッファリングし、適宜
画面に供給する。
【0007】図9に示されたビデオを鑑賞するクライア
ント86は、まずサーバS2に対して、ビデオデータの
読み出しを要求する。サーバS2からビデオデータが送
られてくると、クライアント86はビデオの放映を開始
する。以下同様にして、レートに基づく一定の時間間隔
で、サーバS3からビデオデータを読み出し、サーバS
1からビデオデータを読み出しというように、順次読み
出していき、これをビデオストリームデータとして放映
していく。
【0008】このようにRAID5型のデータ配置式で
は、1つのクライアントが1つのサーバからでなく、複
数のサーバからビデオデータを取り出すことにより、サ
ーバ1個あたりの負荷が軽減されるため、ビデオサーバ
全体として、同時にサービス可能なクライアント数(同
時供給可能なビデオストリーム数)が増加するという効
果がある。
【0009】次に故障時の動作について説明する。従来
のデータ配置装置(RAID5型)では、各サーバの同
行、同列のブロックに配置されるデータが冗長グループ
になっており、磁気ディスクの故障時に、それらの冗長
グループ中のパリティデータが壊れたビデオデータの替
わりに読み出される。
【0010】ここで、パリティデータにはそれぞれP0
=0 XOR 1,P1 =2 XOR 3,P2 =4
XOR 5,P3 =6 XOR 7・・・のような値が
記憶されており、0=P0 XOR 1,1=P0 X
OR 0として計算される。上記の最初の式は、パリテ
ィデータP0 はビデオデータ0とビデオデータ1のXO
R演算により求まることを意味する。
【0011】例えば、図10において、1行2列の冗長
グループとはサーバS1のパリティデータP1 、サーバ
2のビデオデータ2、サーバS3のビデオデータ3であ
る。また、サーバS2のビデオデータ2が破壊される
と、ビデオデータ2を読み出す代わりに、サーバS1の
パリティデータP1 を読み出し、サーバS3のビデオデ
ータ3とサーバ1のパリティーデータP1 から、2=3
XOR P1 としてビデオデータ2が復元される。
【0012】ここにおける特徴は、クライアント86
は、通常時と比較して故障時にはビデオデータ2を読み
出す代わりにパリティデータP1 を読み出せばいいこと
である。何故ならビデオデータ3は次に放映に使うから
バッファリングしてとっておけばよいからである。
【0013】図11に示すように、磁気ディスクに故障
がない場合には、○印をつけたブロックのビデオデータ
のみが読み出され、パリティデータが記憶されるブロッ
クは読み出されないため、各磁気ディスクへのアクセス
回数は均一になっている。しかし、磁気ディスクの故障
時にはパリティデータが記憶されるブロックの読み出し
が行われ、アクセス回数の均衡が崩れる。
【0014】図12は、サーバS1の磁気ディスク装置
D5が故障した時にアクセスされるブロックを○で印を
つけたものであるが、サーバS1の磁気ディスク装置D
5に格納されるデータを復元するためサーバS2の磁気
ディスク装置D9とサーバS3の磁気ディスク装置D1
3のパリティデータが読み出されている状態を示してい
る。そのため、磁気ディスク装置D5,D13へのアク
セス回数は他の磁気ディスク装置のアクセス回数の1.
5倍となり、アクセス回数の均衡が崩れサーバシステム
のデータ読み出し速度は正常時より下がる。
【0015】
【発明が解決しようとする課題】従来のデータ配置装置
は以上のように構成されているので、1つの磁気ディス
クが破壊された時、壊れた磁気ディスクを復元するため
に用いるパリティデータが限られた磁気ディスクに集中
するため、その磁気ディスクへのアクセス回数が他のデ
ィスクより増加し、記憶装置全体のデータ読み出し速度
が下がるなどの課題があった。
【0016】この発明は上記のような課題を解決するた
めになされたもので、磁気ディスク故障時においても、
各磁気ディスクへのアクセス回数を出来るだけ均等にす
ることにより、データの読み出し速度が低下しないデー
タ配置装置を得ることを目的とする。
【0017】
【課題を解決するための手段】請求項1記載の発明に係
るデータ配置装置は、データをブロック単位でマトリク
ス状に記憶する複数の記憶領域を列ごとに分割してアレ
イ状ファイルとした記憶グループ数をk、この記憶グル
ープを構成するアレイ状ファイル数をm、(D1j1 ,D
2j2 ,・・・,Dkjk )を1つの冗長グループに属する
データが記憶された各記憶グループのji (ji =1〜
m)番目のアレイ状ファイルの各同一行における記憶領
域の組とした時、mk 個の前記記憶領域の組(D1j1
2j2 ,・・・,Dkjk )の全体に対し、前記冗長デー
タを遍く割り付けて配置したものである。
【0018】請求項2記載の発明に係るデータ配置装置
は、複数の記憶グループの第1記憶グループの各行に対
しては、1行目はゼロ、2行目は1、3行目は2ずつ順
次にデータの記憶領域をずらしながら記憶グループの列
数を1サイクルとしてデータを記憶し、この第1記憶グ
ループに対する1サイクルの記憶終了までは他の記憶グ
ループの記憶位置は変化させず、この第1記憶グループ
の1サイクル記憶終了毎に、記憶グループの列数に等し
い第2記憶グループの行数に対し記憶領域を、1,2・
・・ずつずらしながら(記憶グループの列数)×(記憶
グループの列数)を第2記憶グループについての1サイ
クルとしてデータを記憶し、以下順次各記憶グループに
対するデータの記憶領域をずらして配置したものであ
る。
【0019】請求項3記載の発明に係るデータ配置装置
は、記憶グループのそれぞれに該記憶グループを構成す
るアレイ状ファイルを統括するサーバを設けたものであ
る。
【0020】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1はこの発明の実施の形態1によるデ
ータ配置装置を示す構成図である。図1において、S
1,S2,S3は複数の磁気ディスク装置からなる記憶
グループG1,G2,G3を接続したサーバであり、D
4〜D7はサーバS1に接続されている磁気ディスク装
置、D8〜D11はサーバS2に接続されている磁気デ
ィスク装置、D12〜D15はサーバS3に接続されて
いる磁気ディスク装置、各磁気ディスク装置D4〜D1
5は同一容量のブロックに分割されており、各サーバ毎
にアレイ状に構成された、アレイ状ファイルである。ま
た、説明を簡単にするため、サーバの台数を3台、各サ
ーバの備える磁気ディスク装置は4台ずつとしている。
従来例と同一の装置には同一符号を付し、その説明を省
略する。
【0021】16はサーバシステムを統括的に管理する
中央処理装置でデータを磁気ディスク装置D4〜D15
に分割して配置し、配置したビデオデータを呼び出し自
身の画面に表示する。17はディスク故障時において
も、磁気ディスクのアクセス回数を出来るだけ均等にな
るようにデータを格納するためのデータを、中央処理装
置16に与えるデータ供給装置、18はビデオデータの
冗長グループを計算する冗長グループ計算手段、19は
ビデオデータおよびパリティデータの各磁気ディスク内
での配置場所を計算するデータ配置計算手段、20はビ
デオデータおよびパリティデータの配置情報等を記憶す
る記憶手段である。
【0022】21は中央処理装置16に接続されたCD
−ROMなどの大容量記憶装置であり、ビデオ番組等の
ビデオストリームデータが格納されている。22は外部
装置を管理する管理手段で、外部装置からの中央処理装
置16への入力情報と中央処理装置16から外部装置へ
の出力情報を管理し、また、大容量記憶装置21のビデ
オストリームデータを均等容量のビデオデータに分割す
る。
【0023】23はデータ配置装置の情報に基づき、パ
リティデータを計算するパリティデータ生成手段、24
はビデオデータ及びパリティデータが圧縮されてない場
合に、データを圧縮するデータ圧縮手段、25はサーバ
S1〜S3を管理するサーバ管理手段であり、中央処理
装置16からサーバS1〜S3への情報の出力とサーバ
S1〜S3から中央処理装置16への情報の入力を行
う。26は読み込んだデータを伸長するとともに、磁気
ディスクの故障時にはデータ供給装置17の情報に基づ
きデータの復元を行うデータ伸長手段であり、伸長され
たデータを中央処理装置16の画面に表示する。なお、
上記中央処理装置16、データ供給装置17、大容量記
憶装置21等は別個独立に設ける他、前記図9における
クライアントに設けてもよい。
【0024】図2はこの実施の形態1のデータ配置装置
の情報に基づいて中央処理装置16がデータを配置した
結果を示す。図において、小四角が固定サイズの記憶単
位であるブロックを示す。ブロックにはビデオストリー
ムデータを等分割し0〜71の識別子を付したビデオデ
ータとPn (nは0以上の整数)なる識別子を付したパ
リティデータが格納されており、格納されている各デー
タの識別子の番号をブロックに付してある。
【0025】図3は、図2のデータ配置において、正常
時にアクセスされるブロックを○印で記した図である。
【0026】図4は、図2のデータ配置において、磁気
ディスク装置D5が故障した時にアクセスされるブロッ
クを○印で記した図である。
【0027】図5は、図9で示される従来のRAID5
型のデータ配置結果から図2で示される実施の形態1の
データ配置結果への改良点を説明するために用いるイメ
ージ図であり、ディスク故障時において、磁気ディスク
のアクセス回数が出来るだけ均等になるように、各記憶
グループG1〜G3の同一行の1つの記憶領域には1つ
の記憶グループを除きデータを記憶するとともに該1つ
の記憶グループの記憶領域には他の行と重ならないよう
に冗長データを記憶して冗長グループを形成するため
に、記憶グループ数をk、前記記憶グループを構成する
磁気ディスク(アレイ状ファイル)数をm、(D1j1
2j2 ,・・・,Dkjk )を1つの冗長グループに属す
るデータが記憶された各記憶グループのji (ji =1
〜m)番目のアレイ状ファイルの各同一行における記憶
領域の組とした時、mk 個の前記記憶領域の組(D
1j1 ,D2j2 ,・・・,Dkjk )の全体に対し、前記冗
長データを遍く割り付けて配置する。
【0028】以下、この実施の形態1では、冗長データ
の割り付け方法の1例として、ローテーション処理によ
る場合を説明する。図5に示す数字はローテーション回
数を表す。
【0029】図6はローテーション回数によりデータの
記憶位置が変わっていく様子を示している。図7はマッ
ピング法によるデータの配置方法を説明する図であり、
T1はマッピングテーブル、G1〜G3は記憶グループ
である。
【0030】次に動作について説明する。まず、データ
の配置方法について説明する。図1の中央処理装置16
はこれから配置するビデオストリームデータのビデオデ
ータ数、サーバ台数、磁気ディスク台数の情報を管理手
段22を介してデータ供給装置17に知らせる。冗長グ
ループ計算手段18はこれらの情報をもとに、全ビデオ
データ数と全パリティデータ数を合わせた全データ数と
冗長グループを計算し、記憶手段20に引き渡す。ここ
で冗長グループとは、冗長グループ中の1データが破壊
された時、残りのデータより破壊されたデータの復元が
可能であるように構成した複数のビデオデータと1パリ
ティデータからなるデータのグループのことである。ま
た、パリティデータは冗長グループ内の全ビデオデータ
より計算される。記憶手段20では冗長グループ計算手
段18とデータ配置計算手段19の情報より表1で示さ
れるテーブルを作成する。
【表1】
【0031】ここでデータ名とはビデオデータおよびパ
リティデータの識別子であり、ビデオデータの識別子を
0以上の整数で、パリティデータの識別子をPn (nは
0以上の整数)で示す。冗長グループとは以下の式で求
める冗長グループの識別子で0以上の整数、サーバ番号
とはサーバに付した識別番号で0以上の整数、行番号と
は各サーバ毎に形成されるアレイ状ブロックの行に付し
た識別番号、列番号とは各サーバ毎に形成されるアレイ
状ブロックの列に付した識別番号である。このテーブル
より冗長グループとデータの配置場所が一意に求まる。
【0032】図1におけるサーバS1のサーバ番号を
0、サーバS2のサーバ番号を1、サーバS3のサーバ
番号を2とし、行番号を図2中の0〜8、列番号を0〜
3とした場合、表1中のデータ名49のビデオデータの
格納配置位置は図中の49を付しているブロックの位置
となる。逆に、例えば70を付しているブロックの位置
はサーバ番号0、行番号8、列番号3で表わされる。
【0033】以下に冗長グループ計算手段18での全デ
ータ数および冗長グループの計算方法を示す。以下の計
算式で÷は除算の商、%は除算のあまりを示し、中央処
理装置16から与えられた全ビデオデータ数をka、サ
ーバの台数をj、1サーバあたりの磁気ディスク台数
(アレイ状ファイル数)をmとし、ビデオデータとパリ
ティデータで形成される冗長グループの番号およびパリ
ティデータの番号をn、ビデオデータの番号をi、サー
バの番号をN、各サーバ毎に形成されるアレイ状ブロッ
クの行番号をM、各サーバ毎に形成されるアレイ状ブロ
ックの列番号をLとする。
【0034】(a)全データ数を計算する方法 全データ数=全ビデオデータ数ka+全ビデオデータ数ka÷(サーバ台数j− 1) (1) この全データ数により記憶手段20のテーブルの大きさ
が決定される。
【0035】(b)ビデオデータの冗長グループの番号
を求める計算方法 冗長グループの番号n=ビデオデータの番号i÷(サーバ台数j−1) (2) 各冗長グループ毎に1パリティデータが付加されるが、
冗長グループの番号nを用いてPn であらわし、パリテ
ィデータの番号をnとする。例えば、パリティデータP
10の番号は10である。
【0036】次に具体例として図1の構成で、全ビデオ
データ数72、ビデオデータの番号49の場合の計算結
果を示す。
【0037】(a)全データ数を計算する方法 全データ数=72+72÷(3−1)=108 (3)
【0038】(b)ビデオデータの冗長グループの番号
を求める計算方法 冗長グループの番号=49÷(3−1)=24 (4) データ配置計算手段19では、冗長グループ計算手段1
8の計算が終了すると、冗長グループ計算手段18で付
加されたパリティデータの情報と中央処理装置16から
与えられた情報から全データ名に対応する配置位置を計
算する。
【0039】ここでパリティデータの配置位置は以下の
ように計算される。 (a)パリティデータが配置されるサーバ番号の計算方
法 サーバ番号N=データ番号n÷ディスク台数m%サーバ台数j (5)
【0040】(b)パリティデータが配置されるアレイ
状ブロックの行番号の計算方法 行番号M=データ番号n÷ディスク台数m (6)
【0041】(c)パリティデータが配置されるアレイ
状ブロックの列番号の計算方法 列番号L=(データ番号n+ローテーション回数K)%ディスク台数m (7) ここで、 ローテーション回数K=行番号M÷(ディスク台数m)N %ディスク台数m (8) N:サーバ番号 ただし、行番号Mとは(6)式で計算された値、サーバ
番号Nとは(5)式で計算された値である。
【0042】次に具体例として図1の構成でデータ名P
24の場合の計算結果を示す。 (a)パリティデータが配置されるサーバ番号の計算方
法 サーバ番号=24÷4%3=0 (9)
【0043】(b)パリティデータが配置されるアレイ
状ブロックの行番号の計算方法 行番号=24÷4=6 (10)
【0044】(c)パリティデータが配置されるアレイ
状ブロックの列番号の計算方法 列番号=(24+2)%4=2 (11) ここで、 ローテーション回数=6÷4(0) %4=2 (12)
【0045】また、ビデオデータの配置位置は以下のよ
うに計算される。 (a)ビデオデータが配置されるサーバ番号の計算方法 サーバ番号N=データ番号i%(サーバ台数j−1) (13) (13)式で求めた値を以下の条件に当てはめる。条
件:求めた値がビデオデータ番号iの属する冗長グルー
プのパリティデータが配置されるサーバ番号以上なら+
1とする。式で示すなら、 サーバ番号N>=データ番号i÷(サーバ台数j−1)÷ディスク台数m %サーバ台数j の時、N=N+1 それ以外の場合、N=N (14)
【0046】(b)ビデオデータが配置されるアレイ状
ブロックの行番号の計算方法 行番号M=データ番号i÷(ディスク台数m×(サーバ台数j−1))(15)
【0047】(c)ビデオデータが配置されるアレイ状
ブロックの列番号の計算方法 列番号L=(データ番号i÷(サーバ台数j−1)+ローテーション回数K) %ディスク台数m (16) ここで、 ローテーション回数K=行番号M÷(ディスク台数m)N %ディスク台数m (17) N:サーバ番号 ただし、行番号Mとは(15)式で計算された値、サー
バ番号Nとは(14)式で計算された値である。
【0048】次に具体例として図1の構成でデータ名4
9の場合の計算結果を示す。 (a)ビデオデータが配置されるサーバ番号の計算方法 サーバ番号=49%(3−1)=1 (18) 条件:1>=49÷(3−1)÷4%3=0 (19) 従ってサーバ番号=1+1=2 (20)
【0049】(b)ビデオデータが配置されるアレイ状
ブロックの行番号の計算方法 行番号=49÷(4×(3−1))=6 (21)
【0050】(c)ビデオデータが配置されるアレイ状
ブロックの列番号の計算方法 列番号=49÷((3−1)+0)%4=0 (22) ここで、 ローテーション回数=6÷42 %4=0 (23)
【0051】データ配置計算手段19での計算が終了
し、記憶手段20のテーブルが完成すると管理手段22
は大容量記憶手段21からビデオストリームデータを取
り出し、均等容量のビデオデータに分割し、分割した順
に、データ圧縮手段24に逐次引き渡す。パリティデー
タ生成手段23では以下の式に基づき、データ圧縮手段
24で圧縮されたビデオデータからパリティデータを作
成する。
【0052】以下の計算式中の(+)はエクスクルージ
ブオア(Exclusive OR)演算をあらわすも
のとし、パリティデータp=a(+)bと表記したなら
各データのビットデータ毎に(+)演算を行うものとす
る。例えばa=01001、b=00110ならばp=
01111である。ここでa=p(+)b,b=p
(+)aなる性質があり、パリティデータを計算するの
に用いたデータの内1データが破壊されても残りのデー
タとパリティデータから復元出来る。この性質はデータ
数が2だけに限られず、パリティデータを計算するのに
用いたデータが無限にあっても保たれる。
【0053】例えば、 p=m1 (+)m2 (+)m3 (+)・・・(+)mno (24) ならば、 mi =p(+)m1 (+)m2 (+)・・・mi-1 (+)mi+1 ・・・(+)mno (25) no=∞ この性質により冗長グループ内の1データが破壊されて
も復元可能である。
【0054】(a)冗長グループ内のパリティデータの
計算方法 冗長グループをn、上述の様に冗長グループnのパリテ
ィデータをPn としてビデオデータのデータ名を0以上
の整数iとすると、本実施の形態では、 n×(サーバ台数j−1)≦i<(n+1)×(サーバ台数j−1) (26) なる範囲にあるデータ名のビデオデータを用いてパリテ
ィデータPn は計算される。
【0055】 Pn =n×(サーバ台数j−1)(+)(n×(サーバ台数j−1)+1)( +)・・・(+)((n+1)×(サーバ台数j−1)−1) (27)
【0056】次に具体例として図1の構成で冗長グルー
プ24の場合の計算結果を示す。(a)冗長グループ内
のパリティデータの計算方法 P11=24×(3−1)(+)((24+1)×(3−1)−1) (28) =48(+)49
【0057】パリティデータ生成手段23で計算された
パリティデータとデータ圧縮手段24で圧縮されたビデ
オデータを、データ供給装置17の情報に基づき、サー
バ管理手段25を介して各サーバの磁気ディスクにデー
タを配置する。
【0058】以上の計算結果により、複数の記憶グルー
プの第1記憶グループの各行に対しては、1行目はゼ
ロ、2行目は1、3行目は2ずつ順次にデータの記憶領
域をずらしながら記憶グループの列数を1サイクルとし
てデータを記憶し、この第1記憶グループに対する1サ
イクルの記憶終了までは他の記憶グループの記憶位置は
変化させず、この第1記憶グループの1サイクル記憶終
了毎に、記憶グループの列数に等しい第2記憶グループ
の行数に対し記憶領域を、1,2,・・・ずつずらしな
がら(記憶グループの列数)×(記憶グループの列数)
を第2記憶グループについての1サイクルとしてデータ
を記憶し、以下順次各記憶グループに対するデータの記
憶領域をずらすことができ、データ配置を図2に示すよ
うに行うことができる。
【0059】次にデータの読み出し方式について説明す
る。格納されたデータを読み出す場合、データ伸長手段
26はサーバ管理手段25を介して一定のレートで(例
えばMPEG1の形式であれば約1.5Mbpsのレー
トで)ビデオデータをデータ名の昇順に順次読み出し、
圧縮されたビデオデータを伸長した後、中央処理装置1
6の画面にビデオストリームデータとして表示する。図
3は図2の配置図に対し、正常時に読み出されるブロッ
クに○印をつけたものである。各磁気ディスクに対する
アクセス回数は同数であり、全体としての読み出し速度
が一番早い状態でデータが配置されており、最短時間で
データの読み出しが可能である。
【0060】また、冗長グループ単位でデータをバッフ
ァリングしているため壊れたビデオデータを復元するた
めに、再度、冗長グループのビデオデータを読みに行く
必要がないため、故障時には、壊れたビデオデータの代
わりにパリティデータを読み出すだけでよい。
【0061】図4は図2の配置図に対し、サーバS1の
磁気ディスク装置D5の故障時に読み出されるブロック
に○印をつけたものである。正常時での1磁気ディスク
へのアクセス回数は6で、図4では1磁気ディスクへの
最大のアクセス回数は7となっている。従来例を示す図
11では1磁気ディスクへの最大のアクセス回数は9と
なっている。従って、この実施の形態1では1磁気ディ
スクへのアクセス回数のかたよりが改善され、従来例よ
り故障時において読み出し速度が改善されている。
【0062】図12に示されるような従来のデータ配置
では、各サーバS1〜S3の同列の磁気ディスクのデー
タが冗長グループを形成しており、あるサーバの1磁気
ディスクが破壊された時、残りのサーバの同列の磁気デ
ィスクのパリティデータを用いてデータを再現するた
め、その磁気ディスクへのアクセス回数が増す。それを
回避するためにはどの磁気ディスクが故障しても、その
故障した磁気ディスク上のデータを再現するためのパリ
ティデータが他の磁気ディスク上に均等に分布すればよ
い。そこでこの実施の形態1では、1磁気ディスクが故
障した場合、破壊されたデータを再現するためのパリテ
ィデータが各磁気ディスクに均等に分布するようにし
た。
【0063】結果として、図10で示される従来のRA
ID5型のデータ配置図を図5のローテーション図に従
い、各サーバS1〜S3の磁気ディスクで構成されるア
レイの行ごとにローテーションした結果と同一になって
いる。図中の数字はローテーション回数を示し、図6に
示すようにローテーション回数0とは移動なし、ローテ
ーション回数1とは右に1、ローテーション回数2とは
右に2ずらし、ローテーション回数3とは右に3ほどデ
ータをずらすことを意味する。これらのローテーション
回数は(8)、(17)式で表わされる。このようなロ
ーテーション処理により、どの磁気ディスクが破壊され
ても、その磁気ディスクを再現するためのパリティデー
タは残りの磁気ディスクに均等に分布される。
【0064】この実施の形態1ではサーバの識別子をサ
ーバS1に0、サーバS2に1、サーバS3に2を付し
ているが、識別子をサーバに付す順は任意でよい、すな
わち3!(サーバ台数!)通りの組み合せが考えられ
る。また、この実施の形態1ではローテーション回数0
を右に2ずらし、ローテーション回数1を右に0、ロー
テーション回数2を右に3ずらし、ローテーション回数
3を右に2ずらすなどとローテーション回数とデータの
ずらしかたの定義をかえてよく、やはり定義の仕方に4
!(1サーバあたりの磁気ディスク台数!)通りあり、
図2のデータ配置と同一の効果を示す配置は3!×4!
通りある。本実施の形態1では簡単のため、サーバの数
を3、各サーバの磁気ディスク数を4としたが、それぞ
れ任意の数でよく、上述のように本実施の形態1と同一
の効果を示すデータ配置はサーバ数!×磁気ディスク数
!通りあり、本実施の形態1から設定パラメータを変更
するだけで容易に変更可能である。
【0065】以上のように、この実施の形態1によれ
ば、正常時においては各磁気ディスクへのアクセス回数
が均一であり、最短時間でデータが読み出せるなどの効
果が得られる。
【0066】また、どの磁気ディスクの1つが破壊され
ても、その磁気ディスクを再現するためのパリティデー
タは残りの磁気ディスクに均等に分布されるため、故障
時においても各磁気ディスクへのアクセス回数は均一化
される。そのため、一磁気ディスクの故障時においても
読み出し速度を低下させずに、データの読み出しが行え
る等の効果がある。
【0067】以上、冗長グループを形成するデータの配
置をローテーション処理により行う場合について説明し
たが、実施の形態に示したように、規則的にケタ上げ式
きでローテーションする他、乱数法を利用してランダム
にローテーションを選択してもよい。
【0068】また、図7に示すように、マッピング法に
より、冗長グループを形成した各記憶グループG1〜G
3の磁気ディスクに冗長データを割り付けするようにマ
ッピング(変数)テーブルT1を作成し、このマッピン
グテーブルT1の配置情報により、データを、記憶グル
ープG1〜G3を形成する磁気ディスクの各行に記憶し
てもよい。そして、マッピングテーブルT1の記憶容量
を越える記憶のときは、マッピングテーブルT1を繰り
返し適用すればテーブルサイズを小さくできる。
【0069】実施の形態2.図8は、この発明の実施の
形態2によるデータ配置装置を示すブロック図であり、
本実施の形態は、磁気ディスク管理手段25’がサーバ
を介さずに直接磁気ディスク装置D4〜D15を管理す
るように構成したもので、前記図1と同一部分には同一
符号を付して重複説明を省略する。
【0070】次に動作について説明する。磁気ディスク
管理手段25’は直接、各磁気ディスク装置D4〜D1
5と接続し、各磁気ディスク装置D4〜D15と情報の
やりとりを行う。データの配置方法、読み出し方法、故
障時のデータの読み出し方法は、サーバ番号としている
ところを記憶グループ番号と変更するだけで、実施の形
態1と動作は全て同一である。すなわち、本実施の形態
2では、各磁気ディスクの管理単位を記憶グループとし
て、サーバを使用しないで直接中央処理装置16から管
理するものである。
【0071】以上のように、この実施の形態2によれ
ば、サーバを使用しないため、記憶装置自体の価格を押
さえる等の効果が得られる。
【0072】
【発明の効果】以上のように、請求項1記載の発明によ
れば、データをブロック単位でマトリクス状に記憶する
複数の記憶領域を列ごとに分割してアレイ状ファイルと
した記憶グループを複数備え、各記憶グループの同一行
の1つの記憶領域には1つの記憶グループを除きデータ
を記憶するとともに該1つの記憶グループの記憶領域に
は他の行と重ならないように冗長データを記憶して冗長
グループを形成するために、前記記憶グループ数をK、
前記記憶グループを構成するアレイ状ファイル数をm、
(D1j1 ,D2j2 ,・・・,DKjK )を1つの冗長グル
ープに属するデータが記憶された各記憶グループのji
(ji =1〜m)番目のアレイ状ファイルの各同一行に
おける記憶領域の組とした時、mK 個の前記記憶領域の
組(D1j1,D2j2 ,・・・,DKjK )の全体に対し、
遍く割り付けるように構成したので、故障したアレイ状
ファイルのデータを復元するために用いるパリティデー
タをアレイ状ファイルに均一に分布させることができ、
正常時においては各アレイ状ファイルへのアクセス回数
が均一であり、最短の時間でデータの読み出しが行え、
アレイ状ファイルの1つの故障時においては、各アレイ
状ファイルへのアクセス回数が均一になり、読み出し速
度の低下を抑えることができる効果がある。
【0073】請求項2記載の発明によれば、複数の記憶
グループの第1記憶グループの各行に対しては、1行目
はゼロ、2行目は1、3行目は2ずつ順次にデータの記
憶領域をずらしながら記憶グループの列数を1サイクル
としてデータを記憶し、この第1記憶グループに対する
1サイクルの記憶終了までは他の記憶グループの記憶位
置は変化させず、この第1記憶グループの1サイクル記
憶終了毎に、記憶グループの列数に等しい第2記憶グル
ープの行数に対し記憶領域を、1,2,・・・ずつずら
しながら(記憶グループの列数)×(記憶グループの列
数)を第2記憶グループについての1サイクルとしてデ
ータを記憶し、以下順次各記憶グループに対するデータ
の記憶領域をずらして、前記冗長データを遍く割り付け
て配置するように構成したので、複雑な演算等を行うこ
となく、故障したアレイ状ファイルのデータを復元する
ために用いるパリティデータをアレイ状ファイルに均一
に分布させることができ、正常時においては各アレイ状
ファイルへのアクセス回数が均一であり、最短の時間で
データの読み出しが行え、アレイ状ファイルの1つの故
障時においては、各アレイ状ファイルへのアクセス回数
が均一になり、読み出し速度の低下を抑えることができ
る効果がある。
【0074】請求項3記載の発明によれば、記憶グルー
プを構成するアレイ状ファイルを統括するサーバを設け
るように構成したので、請求項1記載の発明の効果を有
するとともに、データの読み出し速度をより早めること
ができる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1によるデータ配置装
置の構成図である。
【図2】 この発明の実施の形態1によるデータの配置
図である。
【図3】 この発明の実施の形態1によるデータの配置
における、正常時のデータへのアクセスの様子を示す図
である。
【図4】 この発明の実施の形態1によるデータの配置
における、ディスク故障時のデータへのアクセスの様子
を示す図である。
【図5】 データの記憶位置を変更するローテーション
処理の説明図である。
【図6】 ローテーション処理によりデータの記憶位置
が変わっていく様子を示す図である。
【図7】 マッピング法によるデータ配置説明図であ
る。
【図8】 この発明の実施の形態2によるデータ配置装
置の構成図である。
【図9】 RAID5型の分散ビデオサーバシステムの
構成を示す図である。
【図10】 従来のデータ配置装置におけるデータの配
置図である。
【図11】 従来のデータ配置装置におけるデータ配置
での正常時のデータへのアクセスの様子を示す図であ
る。
【図12】 従来のデータ配置装置におけるデータ配置
での故障時のデータへのアクセスの様子を示す図であ
る。
【符号の説明】
S1〜S3 サーバ、D4〜D15 磁気ディスク装置
(アレイ状ファイル)、G1〜G3 記憶グループ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 峯村 治実 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 山口 智久 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 渡辺 尚 静岡県浜松市半田町3776番地 医大宿舎F −123 (72)発明者 水野 忠則 静岡県浜松市富塚町175−1

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 データをブロック単位でマトリクス状に
    記憶する複数の記憶領域を列ごとに分割してアレイ状フ
    ァイルとした記憶グループを複数備え、各記憶グループ
    の同一行の1つの記憶領域には1つの記憶グループを除
    きデータを記憶するとともに該1つの記憶グループの記
    憶領域には他の行と重ならないように冗長データを記憶
    して冗長グループを形成したデータ配置装置において、
    前記記憶グループ数をk、前記記憶グループを構成する
    アレイ状ファイル数をm、(D1j1 ,D2j2 ,・・・,
    kjk )を1つの冗長グループに属するデータが記憶さ
    れた各記憶グループのji (ji =1〜m)番目のアレ
    イ状ファイルの各同一行における記憶領域の組とした
    時、mk 個の前記記憶領域の組(D1j1 ,D2j2 ,・・
    ・,Dkjk )の全体に対し、前記冗長データを遍く割り
    付けて配置したことを特徴とするデータ配置蔵置。
  2. 【請求項2】 データをブロック単位でマトリクス上に
    記憶する領域を列ごとに分割してアレイ状ファイルとし
    た記憶グループを複数備え、各記憶グループの同一行の
    記憶領域には1つの記憶グループを除きデータを記憶す
    るとともに該1つの記憶グループの行には他の行と重な
    らないように冗長データを記憶して冗長グループを形成
    したデータ配置装置において、前記複数の記憶グループ
    の第1記憶グループの各行に対しては、1行目はゼロ、
    2行目は1、3行目は2ずつ順次にデータの記憶領域を
    ずらしながら記憶グループの列数を1サイクルとしてデ
    ータを記憶し、この第1記憶グループに対する1サイク
    ルの記憶終了までは他の記憶グループの記憶位置は変化
    させず、この第1記憶グループの1サイクル記憶終了毎
    に、記憶グループの列数に等しい第2記憶グループの行
    数に対し記憶領域を、1,2,・・・ずつずらしながら
    (記憶グループの列数)×(記憶グループの列数)を第
    2記憶グループについての1サイクルとしてデータを記
    憶し、以下順次各記憶グループに対するデータの記憶領
    域をずらして、前記冗長データを遍く割り付けて配置し
    たことを特徴とするデータ配置装置。
  3. 【請求項3】 記憶グループのそれぞれに該記憶グルー
    プを構成するアレイ状ファイルを統括するサーバを設け
    たことを特徴とする請求項1または請求項2記載のデー
    タ配置装置。
JP8227160A 1996-08-28 1996-08-28 データ配置装置 Pending JPH1069358A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP8227160A JPH1069358A (ja) 1996-08-28 1996-08-28 データ配置装置
US08/857,565 US5841962A (en) 1996-08-28 1997-05-16 Data allocator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8227160A JPH1069358A (ja) 1996-08-28 1996-08-28 データ配置装置

Publications (1)

Publication Number Publication Date
JPH1069358A true JPH1069358A (ja) 1998-03-10

Family

ID=16856442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8227160A Pending JPH1069358A (ja) 1996-08-28 1996-08-28 データ配置装置

Country Status (2)

Country Link
US (1) US5841962A (ja)
JP (1) JPH1069358A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19900636B8 (de) * 1999-01-11 2005-04-07 Gailer, Peter Datenzugriffs- und -verwaltungssystem sowie Verfahren zum Datenzugriff und zur Datenverwaltung für ein Rechnersystem sowie deren Verwendung
US7698625B2 (en) * 2003-08-26 2010-04-13 Adaptec, Inc. System for improving parity generation and rebuild performance
US20070011214A1 (en) * 2005-07-06 2007-01-11 Venkateswararao Jujjuri Oject level adaptive allocation technique
JP2014059659A (ja) * 2012-09-14 2014-04-03 Toshiba Corp 映像収録再生装置及びリビルド再開方法
US9983959B2 (en) * 2015-06-29 2018-05-29 Microsoft Technology Licensing, Llc Erasure coding of data within a group of storage units based on connection characteristics

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5265098A (en) * 1990-08-03 1993-11-23 International Business Machines Corporation Method and means for managing DASD array accesses when operating in degraded mode
US5600573A (en) * 1992-12-09 1997-02-04 Discovery Communications, Inc. Operations center with video storage for a television program packaging and delivery system
US5579474A (en) * 1992-12-28 1996-11-26 Hitachi, Ltd. Disk array system and its control method
US5590381A (en) * 1994-06-30 1996-12-31 Lucent Technologies Inc. Method and apparatus for buffered video playback of video content distributed on a plurality of disks
US5519435A (en) * 1994-09-01 1996-05-21 Micropolis Corporation Multi-user, on-demand video storage and retrieval system including video signature computation for preventing excessive instantaneous server data rate
US5583995A (en) * 1995-01-30 1996-12-10 Mrj, Inc. Apparatus and method for data storage and retrieval using bandwidth allocation
JPH08329021A (ja) * 1995-03-30 1996-12-13 Mitsubishi Electric Corp クライアントサーバシステム

Also Published As

Publication number Publication date
US5841962A (en) 1998-11-24

Similar Documents

Publication Publication Date Title
US6101615A (en) Method and apparatus for improving sequential writes to RAID-6 devices
US10558361B1 (en) Storage system having cross node data redundancy and method and computer readable medium for same
US10416906B2 (en) Rebalancing efficiency with optimal logical insertion locations
JP3242671B2 (ja) レベル5raidディスクアレイの記憶容量を高める方法、およびこのような方法によって作られる拡張アレイ
US5862403A (en) Continuous data server apparatus and data transfer scheme enabling multiple simultaneous data accesses
US7386757B2 (en) Method and apparatus for enabling high-reliability storage of distributed data on a plurality of independent storage devices
US5832523A (en) Archiving device and data file server using data file recorded in division over recording media
US8627178B2 (en) Adjusting data dispersal in a dispersed storage network
US6453428B1 (en) Dual-drive fault tolerant method and system for assigning data chunks to column parity sets
DE112013006504T5 (de) Speichersystem und Datenverwaltungsverfahren
JPH05158624A (ja) 機能低下モードでの動作時における直接アクセス記憶装置アレイのアクセスを管理するための方法
US20130145116A1 (en) Compacting dispersed storage space
US20020035668A1 (en) Information storage system for redistributing information to information storage devices when a structure of the information storage devices is changed
US5903532A (en) Disk, recording device, reproducing device, recording method and reproducing method
JPH08329021A (ja) クライアントサーバシステム
US6272085B1 (en) Data recording/reproducing method and device
US7698625B2 (en) System for improving parity generation and rebuild performance
JPH1069358A (ja) データ配置装置
US9229824B2 (en) Caching rebuilt encoded data slices in a dispersed storage network
JP3155836B2 (ja) ディスクアレイ装置
WO1999030224A1 (fr) Enregistreur/lecteur de donnees, procede d'enregistrement/lecture et serveur audiovisuel
JP3600334B2 (ja) 連続データサーバ装置、連続データ送出方法及びディスクアレイ装置
JP5419653B2 (ja) 記録装置及び記録方法
JP3220581B2 (ja) アレイ形式の記憶装置システム
JP4154776B2 (ja) データ記録再生装置および方法ならびにサーバ