JP5221481B2 - ピーターソングラフによるストレージネットワークシステム及びそのデータ読み書き方法 - Google Patents

ピーターソングラフによるストレージネットワークシステム及びそのデータ読み書き方法 Download PDF

Info

Publication number
JP5221481B2
JP5221481B2 JP2009207872A JP2009207872A JP5221481B2 JP 5221481 B2 JP5221481 B2 JP 5221481B2 JP 2009207872 A JP2009207872 A JP 2009207872A JP 2009207872 A JP2009207872 A JP 2009207872A JP 5221481 B2 JP5221481 B2 JP 5221481B2
Authority
JP
Japan
Prior art keywords
data
storage network
peterson
diagram
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009207872A
Other languages
English (en)
Other versions
JP2010067269A (ja
Inventor
ジンリン,ワン
リンファン,ワン
ジアリ,ユー
ティンギィ,リ
シアンドン,チィ
Original Assignee
インスティチュート・オブ・アコースティックス,チャイニーズ・アカデミー・オブ・サイエンシーズ
ベイジン・エイセル・テクノロジー カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インスティチュート・オブ・アコースティックス,チャイニーズ・アカデミー・オブ・サイエンシーズ, ベイジン・エイセル・テクノロジー カンパニー・リミテッド filed Critical インスティチュート・オブ・アコースティックス,チャイニーズ・アカデミー・オブ・サイエンシーズ
Publication of JP2010067269A publication Critical patent/JP2010067269A/ja
Application granted granted Critical
Publication of JP5221481B2 publication Critical patent/JP5221481B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1061Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1065Discovery involving distributed pre-established resource-based relationships among peers, e.g. based on distributed hash tables [DHT] 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1076Resource dissemination mechanisms or network resource keeping policies for optimal resource availability in the overlay network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Description

本発明は、分散ストレージノードからなるネットワークストレージ技術に関し、特に、Peterson図(ピーターソングラフ:PETERSON GRAPH)によるストレージネットワーク(STORAGE NETWORK)及びそのデータ読み書き方法に関するものであり、基本的な分散ストレージネットワークとピーターソングラフストレージネットワークとを結合して、複数の信頼性レベルのストレージ応用を提供することができる。
近来、情報技術分野は、計算を中心とする構造から、ストレージを中心とする構造に転変している。このような転変は、インタネットの次第に発展により、日々に増加するマッスの情報に従って発生したものであり、このマッスの情報は、情報の処理、ストレージ、共有などの問題に繋がる。本発明は、マッスの情報を分散ストレージで保存する方法を課題として構成されたものである。
21世紀のはじめから、P2Pを利用してストレージを実現する研究が現れている。そのうち、Ocean StoreファイルシステムとGranaryファイルシステムが割合に典型的なものである。これらのシステムの特徴は、単一のDHT構造を使用して、単一ノードの故障を解決したが、機能上所望の応用を満たさない場合がある。
分散ファイルシステムは、クラスタシステムであり、企業ネットワークに適用し、近来、広域ネットワークにおけるデータ読み書きにも応用されているが、単一ノードの故障などの問題がある。P2Pに基づく広域ストレージ(wide−area storage)の発展性が優れているが、性能が低下する問題がある。
また、Peterson図は、図2のように、10つのノードで構成された固定構造であり、各々のノードディグリーは3であり、いずれか2つのノードの間の距離は2以下であり、パラレル計算領域において非常に高い信頼性を持っていることを特徴とする。
上記の問題を鑑みて、本発明は、Peterson図(PETERSON GRAPH)によるストレージネットワーク(STORAGE NETWORK)構造及びそのデータ読み書き方法を提供することを目的としている。P2Pなど基本的な分散ネットワークストレージと、Peterson図によるネットワークストレージの信頼性を結合して、複数の信頼度レベルを有するストレージ応用を提供するとともに、Peterson図のネットワークストレージによる優れるメディアデータ遷移の安定性を利用して、マッスのメディアデータが遷移する時の問題を解決し、DHT技術の有効性とロバスト性を結合することにより、クラスタストレージ構造の単一ノードの故障、及び、P2P 広域ストレージ(wide−area storage)の性能の問題を回避することができる。
上記の目的を実現するために、本発明に係るPeterson図によるストレージネットワークシステムは、基本的な分散ストレージネットワークと、Peterson図によるストレージネットワークと、から構成される。
前記基本的な分散ストレージネットワークは、クラスタの分散ストレージネットワーク、又はDHTに基づくP2Pストレージネットワークであり、n個のストレージノードから構成され、ただし、nは10を超え、該ネットワークは規定のストレージ信頼性の要求(以下、RDHTで表示する)を満たすとともに、レベルによりストレージを行なう機能を備え、その構成及び読み書きメカニズムは従来技術における既存の構成を採用できる。
前記Peterson図によるストレージネットワークは、前記ストレージノードの集合から、ポリシー(Policy)(例えば、帯域幅、信頼性、処理能力、ノードディグリーまたはノード間の距離、ストレージ容量の1つの関数)によって、10つのノードを選択(配置)して形成され、図2のように、優れるノードディグリー及びノード間の距離というメリットがあり、即ち、各ノードディグリーは3以上で、ノード間の距離は2以下である。Peterson図によるストレージネットワークのデータ保存(ストレージ)は、規定のデータの信頼性及びデータ遷移の安定性などの良い性質を有する。
また、本発明上記の目的を実現するために、本発明のPeterson図によるストレージネットワークシステムのデータ読み書き方法は、データ書込み方法の応用及びデータ読取り方法の応用を含む。
前記Peterson図によるストレージネットワークシステムは、基本的な分散ストレージネットワークとPeterson図によるストレージネットワークを含み、前記応用とは、ストレージネットワーク以外の実体であり、ソフトウェア、アプリケーション又はクライアントプログラムのいずれであってもよい。
前記応用のデータ書込み方法の応用は、下記のステップを含む。
1)前記応用はQoSパラメータを指定したデータ書込みコマンドを送信するステップ:該コマンドは、QoSパラメータ、データマーク、データを含み、write(QoSパラメータ、データマーク、データ)の仕様に形成し、QoSパラメータは下記の2種類の指標に定義され、すなわち、データ信頼性指標とデータ類型指標であり、各々の指標が複数のレベルに規定されており、便利に実現するために、設計上は、上記の2つの指標を32ビットの前16ビットと後16ビットに規定することができる。
2)前記ストレージネットワークは上記データ書込みコマンドを受信するステップ:前記ストレージネットの一つの中心ノード、又は分散ストレージノードは、上記応用から送信したデータ書込みコマンドを受信し、前記中心ノードとは、dnsサービス又は他のアドレッシング方式により見付けた専用サーバであり、すべての書込みコマンドは該中心ノードに送信される。
3)前記データ書込みコマンドを解析するステップ:QoSパラメータを解析して、データ信頼性指標(以下、Rapplicationで示す)とデータ類型指標(以下、Tapplicationで示す)に分かれる。
4)データ書込みコマンドを実行するステップ:該ステップは基本的な分散ストレージネットワークで、メタデータ書込みとメディアデータ書込みを実行するステップと、RDHT < Rapplicationの時、Peterson図によるストレージネットでメタデータ書込みとメディアデータ書込みを実行するステップとを更に含み、ただし、RDHTは基本的な分散ストレージネットワークの信頼性指標である。
前記ステップ4)において、Peterson図によるストレージネットワークでメタデータ書込みとメディアデータ書込みを実行してストレージする場合、基本的な分散ストレージネットワークとPeterson図によるストレージネットワークに保持されるデータマークのデータのノード番号が一致するか否かを判定するには(即ち、nodeid(DHT、data_id)==nodeid(Peterson、data_id)、ただし、nodeid(x、data_id)は、xストレージ中、データdata_idが保持されるノード番号を示す)、等しいであれば、Peterson図で、当該ノードより2回ジャンプする6つノードから1つのノード(例えば、ノード番号は、当該ノードの番号と最も近いもの)を選択して、データをストレージし(メタデータとメディアデータを含み)、等しくない場合、Peterson図で、算出したノードに直接にデータをストレージし、Tapplication(例えば、5を超え、大容量のメディアファイルを示す)はデータ遷移の最小化の類別である場合、計測法則(帯域幅が最大にすると、時間遅延が最も小さくなる)により、Peterson図のいずれかのノードを選択して、メディアデータをストレージする。
前記データ読取り方法は、下記のステップを含む。
1)メタデータのデータロケーションステップ:基本的な分散ストレージネットワークとPeterson図によるストレージネットワークで並行に実行することができ、それにより一方が故障する状況を防止られ、結果として最も早い応答してきたものを選択する。
2)メディアデータを読取るステップ:メタデータを取得した後、メタデータはメディアデータが複写された複数の位置(複数のストレージノード)を含む場合、見つけたストレージノードに対し、ある性能(時間遅延、有効帯域幅など)の比較を行い、最もよいノードを選択してサービスを実行する。
従来のストレージネットワーク構成及び方法に比べて、本発明は下記の長所がある。
(1)P2PネットワークストレージとPeterson図によるネットワークストレージとを信頼できるように結合して、異なる複数の信頼度レベルのストレージ応用を提供することができる。
(2)Peterson図によるネットワークストレージは、優れるメディアデータ遷移の安定性を有し、マッスのメディアデータの遷移問題を解決することができる。
(3)DHT技術の適応性とローパスト性を結合し、クラスタストレージ構成の単一ノード故障とP2Pにおける広域ストレージの性能問題を避けることができる。
Peterson図によるストレージネットワーク構造を模式的に示す図である。 Peterson図のノード番号を示す図である。 Peterson図によるDHT(Chordリング)ストレージネットワーク構造を模式的に示す図である。 中国北京の区域管理地図である。
以下、図面と具体的な実施例を参照して、本発明のPeterson図によるストレージネットワーク構造及びデータ読み書き方法を詳しく説明する。
図1は、本発明のPeterson図によるストレージネットワーク構造が、基本的な分散ストレージネットワークとPeterson図ストレージネットワークから構成されたことを示す図である。
基本的な分散ストレージネットワークは、クラスタ分散ストレージネットワーク、またはDHTに基づくP2Pストレージネットワークであり、n個のストレージノードから構成されている。当該ネットワークは、規定のストレージ信頼性の要求を満たす(以下、RDHTで示す)とともに、レベルによりストレージを行う機能を備え、その構成及び読み書きメカニズムは従来の技術文献に記載しているので、説明においてその内容を省略する。
Peterson図ストレージネットワークは、ポリシー(たとえば、帯域幅、信頼性、ストレージ容量の1つの関数)によって、ストレージノードの集合から10つのノードを選択(あるいは配置)して形成される。
図2は、図1におけるPeterson図のノード番号を模式的に示す図である。図2のように、優れるノードディグリー及びノード間の距離というメリットがあり、表1と表2において、それぞれPeterson図のノードディグリー及びノード間の距離を示しており、各々のノードディグリーは3であり、ノード間の距離は2以下であることが分かる。Peterson図によるストレージネットワークのデータストレージは、データの高信頼性とデータ遷移の安定性などのよい性質を有する。
Figure 0005221481

Figure 0005221481
また、本発明のデータ読み書き方法は、データ書込み方法の応用及びデータ読取り方法の応用を含み、ただし、応用とは、ストレージネットワーク以外の実体で、ソフトウェア、アプリケーションまたはクライアントプログラムのいずれにしてもよい。
データ書込み方法の応用は、応用からサービス品質QoS(Quality of Service)パラメータを指定したデータ書込みコマンドの送信と、ストレージネットワークのデータ書込みコマンドの受信と、データ書込みコマンドの解析と、データ書込みコマンドの実行と、4つのステップを含む。
1)応用からQosパラメータを指定したデータ書込みコマンドは、例えばwrite(QoSパラメータ、データマーク、データ)の仕様にされており、ここで、QoSパラメータは、データの信頼性指標とデータの類型指標という2つの指標に定義され、各々の指標が複数のレベルに規定されることができ、システムに実行しやしいため、設計上は、上記の2つの指標を32ビットの前16ビットと後16ビットに規定することができる。
2)ストレージネットワークのデータ書込みコマンドの受信は、ストレージネットワークの1つの中心ノード、又は分散ストレージノードは、応用が送信したデータ書込みコマンドを受信することである。
3)データ書込みコマンドの解析は、Qosパラメータを解析して、データの信頼性指標(以下、Rapplicationで示す)とデータの類型指標(以下、Tapplicationで示す)に分かることである。
4)データ書込みコマンドの実行は、以下のステップを含む。
基本的な分散ストレージネットワークで、メタデータの書込みとメディアデータの書込みを実行し、RDHT < Rapplicationの時、Peterson図によるストレージネットで、メタデータの書込みとメディアデータの書込みを実行する。
Peterson図によるストレージネットでストレージ(保存)する場合、nodeid(DHT、data_id)==nodeid(Peterson、data_id)を判定するには(ただし、nodeid(x、data_id)は、xストレージ中、データdata_idが保持されるノード番号を示す)、等しいであれば、Peterson図で、当該ノードより2回ジャンプする6つノードから、1つのノード(例えば、ノード番号は、当該ノードの番号と最も近いもの)を選択して、データをストレージする(メタデータとメディアデータを含む)。
application(例えば、5を超えると、大容量のメディアファイルを示す)はデータ遷移の最小化類別である場合、計測法則(帯域幅が最大にすると、時間遅延が最も小さくなる)により、Peterson図のいずれかのノードを選択し、メディアデータをストレージする。
また、データ読取り方法は、メタデータのデータロケーション、メディアデータの読取りなどのステップを含む。
1)メタデータのデータロケーションは、基本的な分散ストレージネットワークとPeterson図によるストレージネットワークで並行に実行可能にし、よって、一方が故障する状況を防止することができ、結果として最も早い応答してきたものを選択すればいい。
2)メディアデータの読取りは、メタデータを取得した後、メタデータは、メディアデータが複写された複数の位置(複数のストレージノード)を含む場合、見つけたストレージノードに対し、所定の性能(時間遅延、有効帯域幅など)を比較し、性質の最もよいノードを選択して、サービスを提供する。
以下、本発明に係るPeterson図によるストレージネットワーク構造及びデータ読み書き方法の実施例を説明する。
以下、応用環境に応じて、Peterson図によるストレージネットワーク構造及びデータ読み書き方法を説明する。図4が示すように、本発明は下記の応用環境を想定する。即ち、都市X(例えば、北京である)で、あるストレージサーブ会社は、管理地域(区域ごとに2台をセットして、北京市は共に15個の区域がある)により、30個のストレージノード(サーバー)をセットし、各々のノードのインタフェースは1Gbpsのイーサネット(登録商標)であり、これらのストレージノードはIP層で互いに連通し、図3のように、chord算法によりウェブロールを形成している。また、該会社は、この中の10個のノードをセットする時、いずれか二つのノードの間、平均帯域幅が500Mbpsを超えるよいリンクで連通される。当該10個のノードをPeterson図の構造に配置し、図2のように番号をつけ、図2の接線のように、図3のネットワークを形成する。当該ストレージネットワークは、16のレベルのストレージ信頼性(そのうち、八つのレベルは分散ストレージネットワークが提供したもので、後の八つのレベルは分散ストレージネットワークとPetersonストレージネットワークがともに提供したものである)と、二つのデータ類型(一般ファイル、大容量メディアファイル)のストレージを提供すると想定する。
以下、図3を基づいて、実施例1のデータ読み書き方法を説明する。
一般データと大容量データを読み書きする状況を分けて説明する。
本発明のデータ読み書き方法は、ストレージ信頼度レベルとファイル類型指標により、Petersonストレージネットワークにストレージ(保存)する必要があるかを判定する。本実施例には、分散ストレージネットのストレージ信頼性を「5」に規定し、「5」以上のレベルはPeterson図のストレージネットワークにストレージ(保存)し、また、ファイル類型については、数字の規定により判定でき、例えば、ファイル類型は「6」以上である場合、Peterson図ストレージネットにストレージ(保存)する。
(1)一般データの読み書き
まず、データの書込み方法を説明する。使用者が1つの一般ファイル(example1.doc)の書込みコマンドを提出し、QoSパラメータのレベルは2で、一般ファイルである。分散ストレージネットワークは、まずexample1.docのメタデータが保持されているノード(番号11のノードと仮定する)を確定し、また、ファイルexample1.docの内容に応じて、その内容における各ビットのXORロジック演算の結果、バリファイ及びチェック・サムなどにより、データid(例えば、3428)をチェックして演算し、「3428」により番号17のノードに保存されると仮定する。したがって、使用者が提出したファイルexample1.docの内容を、番号17のノードにストレージ(保存)し、番号11のノードに記録されたメタデータに番号17のノードを記録する。
データの読取り方法について説明する。使用者はファイルexample1.docを読取りたいと仮定する場合、読取りコマンドを提出し、分散ストレージネットワークとPetersonストレージネットでサーチして、データの書込みの結果により、分散ストレージネットワーク(Petersonストレージネットでのサーチが失敗)だけで、番号11のノードに保存しているファイルexample1.docのメタデータが見つかり、そのメタデータに記録される内容により、番号17のノードに記録されることが分かり、番号17のノードからデータを読み取ることができる。
(2)大容量のメディアデータの読み書き
まず、データの書込み方法を説明する。使用者が1つの大容量ファイル(example2.vob)(容量は4GBであると仮定し)の書込みコマンドを提出し、QoSパラメータのレベルは9で、大容量ファイルである。分散ストレージネットワークは、まずファイルexample2.vobのメタデータが保持されているノード(番号13のノードと仮定する)を確定し、また、ファイルexample2.vobの内容により、内容における各ビットのXORロジック演算の結果、バリファイ及びチェック・サムなどにより、データid(当該ファイルを複数(例えば4つのブロックに分割し、各ブロックの容量は1GBであり、それぞれのidは1236、3428、4590、6571であると仮定する)を演算し、これらのidにより、番号14、15、17、20のノードにストレージ(保存)する。したがって、使用者が提出したファイルexample2.vobの内容を、番号14、15、17、20のノードにストレージ(保存)し、番号13のノードに記録されるメタデータに、番号14、15、17、20のノードを記録する。
また、レベル9と大容量ファイルの類型により、Petersonストレージネットにもストレージ(保存)する必要があると判定する。そして例えば、ファイル名のハッシュ法(hashing)関数を演算することにより、取得したファイルexample2.vobのメタデータのノードを番号5のノードとし、また、ファイルexample2.vobの内容によりデータidを演算し(上記と同様に)、これらのidにより、番号1、3、7、8のノードでストレージ(保存)することにし、使用者が提出したファイルexample2.vobの内容をこれらのノードにそれぞれストレージ(保存)し、番号5のノードに記録されるメタデータに、番号1、3、7、8のノードを記録する。
データの読取り方法について説明する。使用者はファイルexample2.docを読取りたいと仮定する場合、読取りコマンドを提出し、分散ストレージネットワークとPetersonストレージネットでサーチする。データの書込み結果により、分散ストレージネットワークとPetersonストレージネットで、それぞれ番号13と番号5のノードが見つかり、そのメタデータに記録される内容により、番号14、15、17、20のノード及び番号1、3、7、8のノードに保存している。帯域幅と時間遅延により各ブロックにおける最適な読取りノードをそれぞれ判定し、判断の結果は14、3、7、20と仮定すれば、番号14、3、7、20のノードからデータを読み取ることができる。
本発明は、前述した好適な実施例に基づいて以上のように開示されたが、前述した好適な実施例は、本発明を限定するためのものでなく、当業者は、本発明の精神と範囲を離脱しない限り、本発明に対して些細な変更と潤色を行うことができるので、本発明の保護範囲は、添付した特許請求の範囲に定まったものを基準とする。また、本発明の何れの実施例又は特許請求の範囲は、本発明に開示された全ての目的又は利点又は特徴を達成する必要がない。また、要約の部分と発明の名称は、文献の検索を助けるためのみのものであり、本発明の権利範囲を限定するものでない。

Claims (4)

  1. 基本的な分散ストレージネットワークと、Peterson図によるストレージネットワークと、を含むPeterson図によるストレージネットワークシステムのデータ読み書き方法であって、
    データ書込み方法の応用とデータ読取り方法の応用を含み、前記応用はソフトウェア、アプリケーション又はクライアントプログラムのストレージネットワーク以外の実体を含み、
    前記データ書込み方法は、下記のステップを含み:
    1)前記応用はQoSパラメータを指定したデータ書込みコマンドを送信するステップ:該コマンドは、QoSパラメータ、データマーク、データを含み、前記QoSパラメータは、データの信頼性指標とデータの類型指標の2種類の指標に定義され、ぞれぞれの指標が複数のレベルに規定されており、
    2)前記ストレージネットワークは前記データ書込みコマンドを受信するステップ:前記ストレージネットの一つの中心ノード、又は、分散ストレージノードは、前記応用から送信した前記データ書込みコマンドを受信し、
    前記中心ノードは、dnsサービス又は他のアドレッシング方式により見付けた専用サーバで、すべてのデータ書込みコマンドは該中心ノードに送信され、
    3)前記データ書込みコマンドを解析するステップ:QoSパラメータを解析して、データの信頼性指標Rapplicationとデータの類型指標Tapplicationに分かれ、
    4)データ書込みコマンドを実行するステップ:該ステップは、基本的な分散ストレージネットワークで、メタデータ書込みとメディアデータ書込みを実行することと、RDHT<Rapplicationの時、Peterson図によるストレージネットワークでメタデータ書込みとメディアデータ書込みを実行することとを更に含み、ただし、RDHTは基本的な分散ストレージネットワークの信頼性指標であり、
    前記データ読取り方法は、下記のステップを含み:
    1)メタデータのデータロケーションステップ:基本的な分散ストレージネットワークとPeterson図によるストレージネットワークで並行に実行することができ、結果として最も早い応答してきたものを選択すればよく、
    2)メディアデータを読取るステップ:メタデータを取得した後、メタデータはメディアデータの複数のストレージノードを含まれば、見つけたストレージノードに対し、時間遅延、有効帯域幅を含む性能の比較を行い、最もよいノードを選択してサービスを実行する、
    ことを特徴とするPeterson図によるストレージネットワークシステムのデータ読み書き方法。
  2. 請求項に記載のPeterson図によるストレージネットワークシステムのデータ読み書き方法であって、
    前記データ書込み方法のステップ1)において、前記QoSパラメータのデータの信頼性指標とデータの類型指標について、それぞれ32ビットの前16ビットと後16ビットに規定する、
    ことを特徴とするPeterson図によるストレージネットワークシステムのデータ読み書き方法。
  3. 請求項に記載のPeterson図によるストレージネットワークシステムのデータ読み書き方法であって、
    前記データ書込み方法のステップ4)において、Peterson図によるストレージネットワークでメタデータ書込みとメディアデータ書込みを実行してストレージする場合、基本的な分散ストレージネットワークとPeterson図によるストレージネットワークに保持されるデータマークのデータのノード番号が一致するか否かを判定するには、等しければ、Peterson図で、該ノードより2回ジャンプする6つのノードから1つのノードを選択してデータをストレージし、等しくなければ、Peterson図で、算出したノードに直接にデータをストレージし、
    applicationはデータ遷移の最小化の類別であると、計測法則により、Peterson図のいずれかのノードを選択して、メディアデータをストレージする、
    ことを特徴とするPeterson図によるストレージネットワークシステムのデータ読み書き方法。
  4. 基本的な分散ストレージネットワークと、Peterson図によるストレージネットワークと、を含む、Peterson図によるストレージネットワークシステムであって、
    前記基本的な分散ストレージネットワークは、クラスタ分散ストレージネットワーク、又は、DHTに基づくP2Pストレージネットワークであり、n個のストレージノードから構成され、ただし、nは10を超える整数であり、
    前記Peterson図によるストレージネットワークは、前記ストレージノードの集合から、ポリシーによって、10つのノードを選択して形成され、各ノードディグリーは3以上、ノード間の距離は2以下であり、
    前記ポリシーは、ストレージ容量、有効帯域幅、処理能力、ノードディグリー又はノード間の距離であり、
    前記ストレージネットワークシステムは、請求項1乃至3の何れか1項に記載のデータ読み書き方法を行う、
    ことを特徴とするPeterson図によるストレージネットワークシステム
JP2009207872A 2008-09-12 2009-09-09 ピーターソングラフによるストレージネットワークシステム及びそのデータ読み書き方法 Expired - Fee Related JP5221481B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2008102222260A CN101674233B (zh) 2008-09-12 2008-09-12 基于彼得森图的存储网络系统及数据读写方法
CN200810222226.0 2008-09-12

Publications (2)

Publication Number Publication Date
JP2010067269A JP2010067269A (ja) 2010-03-25
JP5221481B2 true JP5221481B2 (ja) 2013-06-26

Family

ID=42021230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009207872A Expired - Fee Related JP5221481B2 (ja) 2008-09-12 2009-09-09 ピーターソングラフによるストレージネットワークシステム及びそのデータ読み書き方法

Country Status (4)

Country Link
US (1) US8219707B2 (ja)
JP (1) JP5221481B2 (ja)
CN (1) CN101674233B (ja)
SG (1) SG160285A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8671265B2 (en) 2010-03-05 2014-03-11 Solidfire, Inc. Distributed data storage system providing de-duplication of data using block identifiers
CN102271144A (zh) * 2010-06-01 2011-12-07 中兴通讯股份有限公司 P2p叠加网络及其数据资源操作方法和新节点加入方法
CN102694825A (zh) * 2011-03-22 2012-09-26 腾讯科技(深圳)有限公司 一种数据处理方法及其系统
US9054992B2 (en) 2011-12-27 2015-06-09 Solidfire, Inc. Quality of service policy sets
US9838269B2 (en) * 2011-12-27 2017-12-05 Netapp, Inc. Proportional quality of service based on client usage and system metrics
EP2805260A1 (en) * 2012-01-19 2014-11-26 Telefonaktiebolaget LM Ericsson (Publ) Data distibution/retrieval using multi-dimensional index
US9159149B2 (en) * 2013-03-14 2015-10-13 Interntional Business Machines Corporation Visualizing data transfers in distributed file system
US9276973B2 (en) * 2013-03-29 2016-03-01 Philip Scott Lyren Peer-to-peer data storage
CN104142896B (zh) * 2013-05-10 2017-05-31 阿里巴巴集团控股有限公司 一种缓存控制方法和系统
US9400792B1 (en) * 2013-06-27 2016-07-26 Emc Corporation File system inline fine grained tiering
CN104348688B (zh) * 2013-08-09 2018-01-23 华为技术有限公司 一种服务器连接方法和系统
CN103646194B (zh) * 2013-11-29 2016-04-06 北京广利核系统工程有限公司 一种基于形式化验证的同步数据流程序的可信排序方法
US20150244795A1 (en) 2014-02-21 2015-08-27 Solidfire, Inc. Data syncing in a distributed system
CN107079472B (zh) * 2014-09-12 2020-04-21 华为技术有限公司 用于确定接入节点集群的方法和装置
WO2017000094A1 (zh) * 2015-06-27 2017-01-05 华为技术有限公司 一种数据存储方法、装置和系统
US10929022B2 (en) 2016-04-25 2021-02-23 Netapp. Inc. Space savings reporting for storage system supporting snapshot and clones
US10642763B2 (en) 2016-09-20 2020-05-05 Netapp, Inc. Quality of service policy sets
WO2020133841A1 (en) * 2018-12-28 2020-07-02 Huawei Technologies Co., Ltd. Apparatus and method for locking pcie network having non-transparent bridging
CN110413595B (zh) * 2019-06-28 2022-07-12 万翼科技有限公司 一种应用于分布式数据库的数据迁移方法和相关装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3687373B2 (ja) * 1998-12-04 2005-08-24 株式会社日立製作所 高信頼分散システム
US7165096B2 (en) * 2000-12-22 2007-01-16 Data Plow, Inc. Storage area network file system
JP3956628B2 (ja) * 2001-02-21 2007-08-08 ヤマハ株式会社 サーバ装置
GB2379039B (en) * 2001-08-22 2005-03-23 Ibm Transaction processing in a distributed data processing system
US7194656B2 (en) * 2001-11-28 2007-03-20 Yottayotta Inc. Systems and methods for implementing content sensitive routing over a wide area network (WAN)
US20050166086A1 (en) * 2002-09-20 2005-07-28 Fujitsu Limited Storage control apparatus, storage control method, and computer product
US7466656B2 (en) * 2004-10-26 2008-12-16 International Business Machines Corporation Method, apparatus and program storage device for efficient construction of network overlays through interconnection topology embedding
US7467293B2 (en) * 2004-11-12 2008-12-16 Tsinghua University Method and computing system for transparence computing on the computer network
JP4496113B2 (ja) * 2005-03-18 2010-07-07 三菱電機インフォメーションシステムズ株式会社 マルチキャスト配信システム
US8171101B2 (en) * 2005-09-30 2012-05-01 Cleversafe, Inc. Smart access to a dispersed data storage network
JP2007200203A (ja) * 2006-01-30 2007-08-09 Brother Ind Ltd 情報配信システム、再登録メッセージ送信方法、ノード装置、及びノード処理プログラム
RU2323520C2 (ru) * 2006-03-21 2008-04-27 Самсунг Электроникс Ко., Лтд. Способ передачи голосовых данных в системе цифровой радиосвязи и способ перемежения последовательности кодовых символов (варианты)
US20080270704A1 (en) * 2007-04-30 2008-10-30 He Dingshan Cache arrangement for improving raid i/o operations
US8582469B2 (en) * 2007-11-14 2013-11-12 Cisco Technology, Inc. Peer-to-peer network including routing protocol enhancement
CN101232422B (zh) * 2008-01-18 2010-06-02 北京交通大学 一种基于网格技术的网络存储系统

Also Published As

Publication number Publication date
CN101674233B (zh) 2011-09-14
SG160285A1 (en) 2010-04-29
JP2010067269A (ja) 2010-03-25
US20100077101A1 (en) 2010-03-25
US8219707B2 (en) 2012-07-10
CN101674233A (zh) 2010-03-17

Similar Documents

Publication Publication Date Title
JP5221481B2 (ja) ピーターソングラフによるストレージネットワークシステム及びそのデータ読み書き方法
EP2659377B1 (en) Adaptive index for data deduplication
US11372897B1 (en) Writing of data to a storage system that implements a virtual file structure on an unstructured storage layer
US7664742B2 (en) Index data structure for a peer-to-peer network
US8918375B2 (en) Content aware chunking for achieving an improved chunk size distribution
WO2020010502A1 (zh) 一种基于一致性哈希算法的分布式数据冗余存储方法
CN103581331B (zh) 虚拟机在线迁移方法与系统
KR20060047899A (ko) 웹 컨텐츠 분배 방법
WO2010069198A1 (zh) 分布式网络构造方法和系统以及任务处理方法
US20150106468A1 (en) Storage system and data access method
CN101606374B (zh) 在对等式覆盖网中分配负载的方法
WO2014015782A1 (zh) 分布式文件系统、文件访问方法以及客户端
JP2007073003A (ja) データ保全装置及びその方法及びそのプログラム記録媒体
CN103108045B (zh) 基于云架构的Web地图服务实现方法
US9626378B2 (en) Method for handling requests in a storage system and a storage node for a storage system
JP5473653B2 (ja) ファイル格納システム
US7840598B2 (en) Method for distributing resources to network nodes in a decentralized data network
Hanna et al. Mobile distributed information retrieval for highly-partitioned networks
JP2012208812A (ja) データ管理装置及びデータ管理方法
CN106527982B (zh) 一种针对由异构存储设备组成的对象存储系统的对象分布算法
JP4689541B2 (ja) 情報探索システム、装置、方法及びプログラム
Gu et al. Dynamic replica placement and location strategies for data grid
Phyu et al. Using Bloom filter array (BFA) to speed up the lookup in distributed storage system
Ariyoshi et al. Efficient processing of conjunctive queries in p2p dhts using bloom filter
JP2007249297A (ja) データ管理システム、及びファイル共有方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5221481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees