JP6543420B2 - 分散型オブジェクトルーティング - Google Patents

分散型オブジェクトルーティング Download PDF

Info

Publication number
JP6543420B2
JP6543420B2 JP2018521200A JP2018521200A JP6543420B2 JP 6543420 B2 JP6543420 B2 JP 6543420B2 JP 2018521200 A JP2018521200 A JP 2018521200A JP 2018521200 A JP2018521200 A JP 2018521200A JP 6543420 B2 JP6543420 B2 JP 6543420B2
Authority
JP
Japan
Prior art keywords
chunks
file
index
storage
storage providers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018521200A
Other languages
English (en)
Other versions
JP2018523250A (ja
Inventor
ベン マセク
ベン マセク
ポール ケイン
ポール ケイン
ブライアン ラスケ
ブライアン ラスケ
ジェフ パーカー
ジェフ パーカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2018523250A publication Critical patent/JP2018523250A/ja
Application granted granted Critical
Publication of JP6543420B2 publication Critical patent/JP6543420B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/113Details of archiving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24568Data stream processing; Continuous queries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/44Distributed routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/56Routing software
    • H04L45/566Routing instructions carried by the data packet, e.g. active networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/06Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085Secret sharing or secret splitting, e.g. threshold schemes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload

Description

本発明は、オブジェクトルーティングに関し、具体的には、分散型オブジェクトルーティングに関する。
デジタルデータ及びデジタルファイルは、遠隔的に配置されたコンピュータネットワーク及び通信ネットワークを通じてアクセスし、分散して、再生、記憶、伝送及び/又はコピーすることができる。その基盤技術には多くの合法かつ有用な用途があるにも関わらず、これらはしばしばデジタルデータ及びデジタルファイルの違法コピーを作成するために使用され、その結果これらのコピーがインターネットを介して配信されることがある。
本発明は、ファイルを複数のストレージプロバイダにわたって暗号化ブロックとして分散させることによってファイルの無許可再構築を防ぐデータストレージを提供する。分散ルールは、あらゆるストレージプロバイダがファイルを再構築するのに十分なブロックを有することを防ぐ。
1つの実装では、ファイルの無許可再構築を防ぐようにファイルを記憶する方法を開示する。この方法は、ファイルのインデックスを生成するステップと、ファイルを複数のチャンクに分割するステップとを含み、ファイルのインデックスは、複数のチャンクの各々について割り当てられたルーティング経路を含み、この方法は、割り当てられたルーティング経路を通じて、各チャンクを割り当てられたストレージプロバイダにルーティングするステップをさらに含む。
別の実装では、インデックスを用いてファイルを取り出す方法を開示する。この方法は、ファイルの複数のチャンクがどこに記憶されているかを含むインデックスを検索するステップと、複数のチャンクを複数のストレージプロバイダから取り出すステップと、複数のチャンクを再構築してファイルを復元するステップとを含む。
別の実装では、ファイルの無許可再構築を防ぐようにファイルを記憶する装置を開示する。この装置は、ファイルのインデックスを生成する手段と、ファイルを複数のチャンクに分割する手段とを含み、ファイルのインデックスは、複数のチャンクの各々について割り当てられたルーティング経路を含み、この装置は、割り当てられたルーティング経路を通じて、各チャンクを割り当てられたストレージプロバイダにルーティングする手段をさらに含む。
別の実装では、インデックスを用いてファイルをストリーミングする方法を開示する。この方法は、ファイルの複数のチャンクがどこに記憶されているかを含む、ファイルのプロキシファイルのインデックスを検索するステップと、プロキシファイルの複数のチャンクを複数のストレージプロバイダから取り出すステップと、プロキシファイルの複数のチャンクを再構築してストリーミングするステップとを含む。
本発明の態様を一例として示す本説明からは、本発明の他の特徴及び利点が明らかになるはずである。
同じ部分を同じ参照数字によって示す添付のさらなる図面を検討することにより、本開示の詳細を、その構造及び動作の両方に関して部分的に収集することができる。
本開示の1つの実装による分散型データストレージ及びルーティングシステムの機能ブロック図である。 本開示の1つの実装によるクライアントストリームパーサの機能図例である。 本開示の1つの実装による、ファイルの無許可再構築を防ぐようにファイル(又はデータ)を記憶する方法を示すフロー図である。 本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)を取り出す方法を示すフロー図である。 本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)をストリーミングする方法を示すフロー図である。 複数のストレージプロバイダにわたるチャンクの分散例を示す図である。 強力な暗号鍵を用いてインデックスファイルを暗号化する暗号鍵管理戦略を示す図である。
本明細書に開示するいくつかの実装は、ファイルを複数の記憶位置にわたって暗号化ブロック又はチャンクとして拡散させることによってファイルの無許可再構築を防ぐようにデジタルデータの記憶及び分散を図るものである。分散ルールは、あらゆる記憶位置がファイルを再構築するのに十分なブロックを有することを防ぐ。1つの実装は、ビデオ制作のためのビデオ及び資産のストレージを提供する。さらに、様々なセキュリティ機構を使用することもできる(鍵戦略、透かしなど)。コンテンツ配信ネットワーク(CDN)、エッジサーバ、クライアントサーバ及び/又はピアツーピア機構を含む、ローカルストレージとリモートストレージの様々な組み合わせを使用することができる。実装は、1つの(又は規定数の)ストレージプロバイダが完全なファイルを再形成できるリスクを排除(又は少なくとも実質的に軽減)するセキュアな分散型ストレージを提供すること、ファイルストレージにさらなる耐久性を与えること、プロキシストリーミングを可能にするように、チャンク化されたメディアのトランスコードを可能にすること、を含む1又は2以上の利点をもたらすことができる。
1つの実装は、ネットワークリソース上に記憶されたファイルのセキュリティを高めるシステム及び方法を含む。この実装では、映画を記憶した暗号化ファイルなどのファイルをブロック又はチャンクに分割し、これらのブロック/チャンクを、インターネットに接続されて異なるストレージプロバイダ(「SP」)によって運営されるストレージサーバなどの異なる記憶位置に記憶する。記憶位置は、1又は2以上のブロックを有することができるが、ストレージプロバイダは、いずれもファイルにフルアクセスすることができず、或いは完全なファイルを再構築することができない。この拡散は、ハッカー又はその他のエンティティによるコンテンツへのアクセスに対してさらなるハードルをもたらす。1つの実装では、分散したブロックを用いて、トランスコードされたファイルの作成及びストリーミングを保護する。
さらなる実装では、各ストレージプロバイダが、クラウドデータセンタ(例えば、AWS、Azure、Rackspace)においてホストされる。これとは別に、又はこれに加えて、少なくともいくつかのブロックに業務用データストレージを使用することもできる。1つの実装例では、ストレージが、少なくとも3つのSPにわたってストライプ化される。他の実装は、異なる最小数及び最大数のSPを使用することができる。インデックスファイルが、ブロック/チャンクの場所を示す。実装例では、完全なファイル復元に少なくとも2つのSPが必要である。個々のSPは、いずれも完全なファイル復元が可能なほどの十分な情報を有さない。同様に、1つのトランスコーディングの実装では、トランスコードされたチャンクが、ファイルストレージ機構と同様の分散方法で分散される。さらなる実装では、追加のセキュリティ対策が、SP及び/又はクライアント鍵を用いてブロック及びインデックスファイルを暗号化し、ブロックの誤り訂正及びチェックサムを提供し、少なくとも2つのSPにわたってブロックを記憶することを含む。
1つの特定の実装では、医療記録、患者データ及び/又は画像を記憶する医療資産ストレージシステムを開示する。この実装では、複数のストレージプロバイダ(SP)にわたってファイルを分散させることによってデータにセキュリティ及び耐久性をもたらす。さらに、(鍵戦略などの)異なるセキュリティ機構が、異なる資産又はデータに様々なタイプ又はレベルのセキュリティをもたらすことができる。例えば、病院、医師、保険業者及び患者によって使用される全てのデータを、様々なストレージ及び鍵戦略を用いて分散システムに記憶して、様々なレベルのデータアクセス及びセキュリティをもたらしながら、全ての資産を共通の識別子に関連付けて体系化することができる。このように、1つのSPがファイル全てにアクセスできないだけでなく、複合システム内の1参加者(例えば、保険業者)しかシステム内の特定の患者/被保険者の適切な資産にアクセスできないようにすることができる。
図1は、本開示の1つの実装による、分散型データストレージ及びルーティングシステム100の機能ブロック図である。分散型データストレージ及びルーティングシステム100は、ネットワークリソース上に記憶されたデータ/ファイル102のセキュリティを高めるように構成される。特定の実装では、システム100が、1又は2以上のストレージプロバイダが完全なファイルを再形成できるリスクを実質的に軽減する分散型ストレージを提供する。
図1に示す実装では、分散型データストレージ及びルーティングシステム100が、クライアントストリームパーサ110と、複数のゲートウェイ122、124、126、128と、対応する複数のストレージプロバイダ132、134、136、138とを含む。クライアントストリームパーサ110は、映画を記憶した暗号化ファイルなどのファイルを受け取り、ファイルを異なる記憶位置に記憶すべくブロック又はチャンクに分割するように構成される。次に、分割されたブロック又はチャンクは、ネットワーク(例えば、インターネット)を通じて複数のゲートウェイ122、124、126、128に分散され、複数のストレージプロバイダ132、134、136、138によって記憶される。記憶される全てのオブジェクト(例えば、ブロック/チャンク)は、ストレージプロバイダ暗号化を通じて暗号化され、クライアントが指定した鍵に基づいて暗号化することもできる。チャンクの場所は、インデックスファイル内に保存され、このファイルも、クライアントが指定した鍵を用いて暗号化することができる。
複数のストレージプロバイダ132、134、136、138は、様々な誤り訂正チェックを行うことによってデータ/ファイルの完全性及び可用性を保証する。例えば、各ストレージプロバイダ132、134、136又は138は、チェックサムなどの誤り訂正チェックを行ってチャンクの完全性を検証する。別の例では、分散型データストレージ及びルーティングシステム100が、少なくとも2つのストレージプロバイダにわたってデータのパリティを提供する一方で(チャンク化されたファイル当たり最大m個のコピー)、各ストレージプロバイダが、耐久性のための独自の機構を提供する。この耐久性評価は、耐久性が最も低いストレージプロバイダの評価の少なくとも2倍になる。
システム100は、プロキシストリーミングを可能にするようにチャンク化データのトランスコーディングも可能にする。さらに、分散型データストレージ及びルーティングシステム100は、ファイルを(メタデータ及び/又は属性と共に)記憶し、ファイルを取り出し、又はファイルをストリーミングすることを含む、主要エンドユーザとファイルとの間の様々な相互作用も提供する。これらの各相互作用については、図3、図4及び図5にそれぞれ示すフローチャート300、400、500において詳細に説明する。
図2は、本開示の1つの実装によるクライアントストリームパーサ110の機能図例である。図2に示す実装では、ファイルが(1〜10で示す)10個のチャンク化要素に分割される。クライアントストリームパーサ110は、セキュアな、追跡可能な、ランダム化されたインデックス作成を行う。例えば、各チャンク化要素は、所与のファイル(図示せず)内にインデックス付きの開始位置及び停止位置を有する。
1つの実装では、チャンク化要素当たり最大m個のコピーが作成され、これらのコピーは、最大n個のストレージプロバイダにわたって配置される。図示の例では、各チャンク化要素の2つのコピー(m=2)が3つのストレージプロバイダ210、212、214(n=3)にわたって配置されている。例えば、チャンク化要素1は、ストレージプロバイダ1及び2に配置される。他のチャンク化要素については、チャンク化要素2がSP2及び3に配置され、チャンク化要素3がSP1及び3に配置され、チャンク化要素4がSP3及び2に配置され、チャンク化要素5がSP1及び2に配置され、チャンク化要素6がSP3及び2に配置され、チャンク化要素7がSP3及び2に配置され、チャンク化要素8がSP3及び1に配置され、チャンク化要素9がSP1及び2に配置され、チャンク化要素10がSP2及び3に配置される。クライアントストリームパーサ110は、どのチャンク化要素(並びに開始位置及び停止位置)がどのストレージプロバイダに記憶されているかなどの情報を含むインデックスファイルを生成する。1つの実装では、インデックスファイルが、アクセスするために2つの鍵を必要とする暗号化を通じて保護される。一方の鍵はシステム100によって保持され、他方の鍵はクライアントによって保持される。インデックスファイルは、上述したようなデータ/ファイルの解析及び分散と同様に解析し、複数のストレージプロバイダにわたって分散することができる。例えば、処理は、インデックスファイルをインデックスのチャンクに分割するステップと、インデックスのチャンクのインデックス付き要素を生成するステップと、インデックス付き要素に従って、割り当てられたストレージプロバイダにインデックスのチャンクをルーティングするステップとを含むことができる。
図3は、本開示の1つの実装による、ファイルの無許可再構築を防ぐようにファイル(又はデータ)を記憶する方法を示すフロー図300である。1つの実装では、この方法が、ファイルを複数の記憶位置にわたって暗号化ブロック又はチャンクとして拡散させることによって実現される。
図3に示す実装では、方法が、ステップ310においてファイルを受け取り、割り当てられた属性及びルーティング情報を用いてインデックスを作成するステップを含む。ステップ320において、ファイルに対してファイルタイプチェック、ウィルススキャン及びチェックサムを実行する。次に、ステップ330においてファイルをチャンクに分割する。1つの実装では、インデックスもチャンクに分割される。ステップ340において、チャンクに対して暗号化、チェックサム及び他の準備を実行する。ステップ350において、準備の整ったチャンクにルーティング経路を割り当て、ステップ360において、割り当てられたストレージプロバイダにチャンクをルーティングする。1つの実装では、システム100内のストレージプロバイダの総数(n)が2よりも大きくなければならない。
図4は、本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)を取り出す方法を示すフロー図400である。図4に示す実装では、方法が、ステップ410において、チャンク化されたインデックスを検索するステップと、ステップ420において、ストレージプロバイダ固有の暗号化スキームに基づいてチャンクを復号するステップとを含む。次に、ステップ430において、復号されたチャンクを再構築し、ステップ440において、ファイルの取り出し処理を可能にする。1つの実装では、ファイルの完全な復元に少なくともm個のストレージプロバイダが必要であり、この場合のmは、1よりも大きい(すなわち、ストレージプロバイダは、いずれもファイルの完全な復元が可能なほど十分な情報を含まない)が、n−1以下である(nは、ストレージプロバイダの総数である)。このことは、1<m≦n−1として表すことができる。
図5は、本開示の1つの実装による、「分散的に」記憶されたファイル(又はデータ)をストリーミングする方法を示すフロー図500である。図5に示す実装では、方法が、ステップ510において、ファイルのプロキシファイルのチャンク化されたインデックスを検索するステップと、ステップ520において、チャンクを取り出し、ストレージプロバイダ固有の暗号化スキームに基づいて復号するステップとを含む。次に、ステップ530において、復号したチャンクを再構築し、ステップ540において、ファイルストリーミング処理を可能にする。
図6に、複数のストレージプロバイダにわたるチャンクの分散例600を示す。後述の例では、(1)ストレージプロバイダの総数(n)、(2)ファイルを取り出すために必要なストレージプロバイダの最低数(m)、(3)チャンク毎に作成する必要がある最小コピー数(p)、(4)ファイルの完全な復元を行っている間に存在しなくてもよいストレージプロバイダの数(q)、という定義を適用する。
例1では、10個のチャンクが3つのストレージプロバイダにわたって分散し、n=3、p=2、m=2及びq=1である。この例では、SP1がチャンク1、2、4、6、7、8、9を記憶し、SP2がチャンク3、4、5、7、8、9、10を記憶し、SP3がチャンク1、2、3、5、6、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1とSP2、SP1とSP3、又はSP2とSP3の組み合わせが必要である。従って、これらの3つの2ストレージプロバイダペアの各々は、1つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で3つのストレージプロバイダが存在し(すなわち、n=3)、各チャンクの2つのコピーが作成され(すなわち、p=2)、ファイルを取り出すために少なくとも2つのストレージプロバイダが必要であり(すなわち、m=2)、少なくとも1つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=1)ことが分かる。
例2では、10個のチャンクが4つのストレージプロバイダにわたって分散し、n=4、p=3、m=3及びq=1である。この例では、SP1がチャンク1、4、7、8、9を記憶し、SP2がチャンク2、3、5、9、10を記憶し、SP3がチャンク1、5、6、7、8を記憶し、SP4がチャンク2、3、4、6、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3、SP1/SP2/SP4、SP1/SP3/SP4、又はSP2/SP3/SP4の組み合わせが必要である。従って、これらの4つの3SPの組み合わせの各々は、1つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で4つのストレージプロバイダが存在し(すなわち、n=4)、各チャンクの3つのコピーが作成され(すなわち、p=3)、ファイルを取り出すために少なくとも3つのストレージプロバイダが必要であり(すなわち、m=3)、少なくとも1つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=1)ことが分かる。
例3では、10個のチャンクが5つのストレージプロバイダにわたって分散し、n=5、p=2、m=4及びq=1である。この例では、SP1がチャンク1、2、5、6を記憶し、SP2がチャンク1、3、4、8を記憶し、SP3がチャンク2、3、4、7を記憶し、SP4がチャンク6、8、9、1を記憶し、SP5がチャンク5、7、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3/SP4、SP1/SP2/SP3/SP5、SP1/SP2/SP4/SP5、SP1/SP3/SP4/SP5、又はSP2/SP3/SP4/SP5の組み合わせが必要である。従って、これらの5つの4SPの組み合わせの各々は、1つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で5つのストレージプロバイダが存在し(すなわち、n=5)、各チャンクの2つのコピーが作成され(すなわち、p=2)、ファイルを取り出すために少なくとも4つのストレージプロバイダが必要であり(すなわち、m=4)、少なくとも1つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=1)ことが分かる。
例4では、10個のチャンクが5つのストレージプロバイダにわたって分散し、n=5、p=3、m=3及びq=2である。この例では、SP1がチャンク1、2、5、6、7、8、9を記憶し、SP2がチャンク3、4、6、7、8、10を記憶し、SP3がチャンク2、5、6、8、9、10を記憶し、SP4がチャンク1、2、3、4、5、7を記憶し、SP5がチャンク1、3、4、8、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3、SP1/SP2/SP4、SP1/SP2/SP5、SP1/SP3/SP4、SP1/SP3/SP5、SP1/SP4/SP5、SP2/SP3/SP4、SP2/SP3/SP5、SP2/SP4/SP5、又はSP3/SP4/SP5の組み合わせが必要である。従って、これらの10個の3SPの組み合わせの各々は、2つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で5つのストレージプロバイダが存在し(すなわち、n=5)、各チャンクの3つのコピーが作成され(すなわち、p=3)、ファイルを取り出すために少なくとも3つのストレージプロバイダが必要であり(すなわち、m=3)、少なくとも2つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=2)ことが分かる。
例5では、10個のチャンクが6つのストレージプロバイダにわたって分散し、n=6、p=3、m=4及びq=2である。この例では、SP1がチャンク1、2、3、4、10を記憶し、SP2がチャンク1、2、3、6、10を記憶し、SP3がチャンク2、3、4、5、9を記憶し、SP4がチャンク4、5、6、7、8を記憶し、SP5がチャンク5,6、7、8、9を記憶し、SP6がチャンク1、7、8、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3/SP4、SP1/SP2/SP3/SP5、SP1/SP2/SP3/SP6、SP1/SP3/SP4/SP5、SP1/SP3/SP4/SP6、SP1/SP4/SP5/SP6、SP2/SP3/SP4/SP5、SP2/SP3/SP4/SP6、SP2/SP4/SP5/SP6、SP2/SP3/SP5/SP6、SP3/SP4/SP5/SP6、SP1/SP2/SP4/SP5、SP1/SP2/SP4/SP6、SP1/SP2/SP5/SP6、又はSP1/SP3/SP5/SP6の組み合わせが必要である。従って、これらの15個の4SPの組み合わせの各々は、2つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で6つのストレージプロバイダが存在し(すなわち、n=6)、各チャンクの3つのコピーが作成され(すなわち、p=3)、ファイルを取り出すために少なくとも4つのストレージプロバイダが必要であり(すなわち、m=4)、少なくとも2つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=2)ことが分かる。
例6では、10個のチャンクが6つのストレージプロバイダにわたって分散し、n=6、p=4、m=3及びq=3である。この例では、SP1がチャンク1、2、3、4、5、6、10を記憶し、SP2がチャンク1、2、3、4、6、10を記憶し、SP3がチャンク2、3、4、5、7、8、9を記憶し、SP4がチャンク1、4、5、6、7、8、9を記憶し、SP5がチャンク2、5、6、7、8、9、10を記憶し、SP6がチャンク1、3、7、8、9、10を記憶する。完全な10個のチャンクファイルを復元するには、SP1/SP2/SP3、SP1/SP2/SP4、SP1/SP2/SP5、SP1/SP2/SP6、SP1/SP3/SP4、SP1/SP3/SP5、SP1/SP3/SP6、SP1/SP4/SP5、SP1/SP4/SP6、SP1/SP5/SP6、SP2/SP3/SP4、SP2/SP3/SP5、SP2/SP3/SP6、SP2/SP4/SP5、SP2/SP4/SP6、SP2/SP5/SP6、SP3/SP4/SP5、SP3/SP4/SP6、又はSP4/SP5/SP6の組み合わせが必要である。従って、これらの19個の3SPの組み合わせの各々は、3つのストレージプロバイダが存在しなくてもよいことを示す。従って、全部で6つのストレージプロバイダが存在し(すなわち、n=6)、各チャンクの4つのコピーが作成され(すなわち、p=4)、ファイルを取り出すために少なくとも3つのストレージプロバイダが必要であり(すなわち、m=3)、少なくとも3つのストレージプロバイダが存在しなくてもファイルの完全な復元が行われる(すなわち、q=3)ことが分かる。
図7に、強力な暗号鍵を用いてインデックスファイルを暗号化する暗号鍵管理戦略を示す。図示の実装では、各ユーザについて一意のインデックス暗号鍵700が生成される。インデックス暗号鍵700は、ユーザが管理するパスワードを用いて暗号化される。従って、ユーザは、ファイルのアップロード又はダウンロードを行う際には常に自身のパスワードを提供する。
上述した方法、装置、及び関連する非一時的記憶媒体は、様々に変形が可能である。また、明確かつ簡潔な説明のために、方法、装置及び非一時的記憶媒体についての多くの説明を簡略化した。多くの説明では、一定の標準規格の専門用語及び構造を使用している。しかしながら、開示した方法、装置及び非一時的記憶媒体は、さらに広い適用が可能である。
当業者であれば、本明細書に開示した実装に関連して説明した様々な例示的な論理ブロック、モジュール、ユニット及びアルゴリズムステップは、多くの場合、電子ハードウェア、コンピュータソフトウェア、又はこれらの両方の組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、上記では、様々な例示的な構成要素、ブロック、モジュール及びステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、システム全体に課せられる特定の制約に依存する。当業者であれば、説明した機能を各特定のシステムのために様々な方法で実装することができるが、このような実装の決定を、本発明の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、ユニット、モジュール、ブロック又はステップ内の機能のグループ化は、説明を容易にするためのものである。本発明から逸脱することなく、1つのユニット、モジュール又はブロックから特定の機能又はステップを移行させることもできる。
本明細書に開示する実装に関連して説明した方法のステップ及びブロック又はモジュールの処理は、ハードウェアにおいて直接具体化することも、プロセッサによって実行されるソフトウェアモジュールにおいて具体化することも、又はこれらの組み合わせにおいて具体化することもできる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、又は他のいずれかの形態の記憶媒体に存在することができる。例示的な記憶媒体は、プロセッサが記憶媒体との間で情報を読み書きできるようにプロセッサに結合することができる。別の方法では、記憶媒体をプロセッサに統合することができる。プロセッサ及び記憶媒体は、ASIC内に存在することができる。また、結合されるものとして説明した装置、ブロック又はモジュールは、中間の装置、ブロック又はモジュールを介して結合することができる。
上記の開示した実装の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の様々な修正が容易に明らかになると思われ、また本明細書で説明した一般的原理は、本発明の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、ファイルの代わりに、又はこれに加えて、ゲームオブジェクト又はその他のタイプの仮想オブジェクトを使用することもできる。従って、これらの技術は、上述した特定の例に限定されるものではない。従って、本明細書で提示した説明及び図面は、本発明の現在のところ好ましい実装を表すものであり、従って本発明が広く意図する主題を表すものであると理解されたい。さらに、本発明の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、従って添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
100 分散型データストレージ及びルーティングシステム
102 データ/ファイル
110 クライアントストリームパーサ
122 ゲートウェイ(SP1)
124 ゲートウェイ(SP2)
126 ゲートウェイ(SP3)
128 ゲートウェイ(SPn)
132 ストレージプロバイダ1
134 ストレージプロバイダ2
136 ストレージプロバイダ3
138 ストレージプロバイダn

Claims (11)

  1. クライアントストリームパーサを用いて、ファイルの無許可再構築を防ぐように、複数のチャンクに分割されたファイルを記憶しかつルーティングするステップを含み、
    前記記憶しかつルーティングするステップは、
    前記クライアントストリームパーサにおいて、割り当てられた属性及びルーティング情報を含む、前記ファイルのインデックスを生成するステップと、
    前記クライアントストリームパーサにおいて、前記ファイルを複数のチャンクに分割するステップと、
    前記クライアントストリームパーサにおいて、ストレージプロバイダの総数よりも少ないストレージプロバイダにより前記ファイルが再構築できるように、前記ファイルのインデックスを用いて、前記複数のチャンクの各々を複数のストレージプロバイダの少なくとも2つに割り当てるステップと、
    を含み、
    前記ファイルの前記インデックスは、前記複数のチャンクの各々のチャンクが前記少なくとも2つの割り当てられたストレージプロバイダに記憶されるように、前記各々のチャンクに割り当てられた前記少なくとも2つの前記ストレージプロバイダを含んでおり
    前記複数のチャンクを、前記クライアントストリームパーサから前記複数のストレージプロバイダへルーティングするステップをさらに含み、
    前記各々のチャンクは、割り当てられたストレージプロバイダへルーティングされる、ことを特徴とする方法。
  2. 前記ファイルの前記インデックスを前記インデックスのチャンクに分割するステップをさらに含む、
    請求項1に記載の方法。
  3. 前記インデックスの前記チャンクのインデックス付き要素を生成しかつ割り当てるステップと、
    前記インデックス付き要素に従って、前記インデックスの前記チャンクを割り当てられたストレージプロバイダにルーティングしかつ記憶するステップと、
    をさらに含む請求項2に記載の方法。
  4. 前記ファイルの前記インデックスは、クライアントが指定した鍵を用いて暗号化される、
    請求項1に記載の方法。
  5. 前記ファイルの前記複数のチャンクを記憶するために使用されるストレージプロバイダの総数は2よりも多い、
    請求項1に記載の方法。
  6. 前記複数のチャンクに対して暗号化及びチェックサムを実行するステップをさらに含む、
    請求項1に記載の方法。
  7. 各チャンクは、前記ファイル内に開始位置及び停止位置を有する、
    請求項1に記載の方法。
  8. ファイルの無許可再構築を防ぐように、複数のチャンクに分割されたファイルを記憶しかつルーティングする装置であって、
    割り当てられた属性及びルーティング情報を含む、前記ファイルのインデックスを生成する手段と、
    前記ファイルを複数のチャンクに分割する手段と、
    ストレージプロバイダの総数よりも少ないストレージプロバイダにより前記ファイルが再構築できるように、前記ファイルのインデックスを用いて、前記複数のチャンクの各々を複数のストレージプロバイダの少なくとも2つに割り当てる手段と、
    を備え、
    前記ファイルの前記インデックスは、前記複数のチャンクの各々のチャンクが前記少なくとも2つの割り当てられたストレージプロバイダに記憶されるように、前記各々のチャンクに割り当てられた前記少なくとも2つの前記ストレージプロバイダを含んでおり
    前記複数のチャンクを、前記クライアントストリームパーサから前記複数のストレージプロバイダへルーティングする手段をさらに備え、
    前記各々のチャンクは、割り当てられたストレージプロバイダへルーティングされる、 ことを特徴とする装置。
  9. 前記ファイルの前記インデックスを前記インデックスのチャンクに分割する手段をさらに備える、
    請求項8に記載の装置。
  10. 前記インデックスの前記チャンクのインデックス付き要素を生成しかつ割り当てる手段と、
    前記インデックス付き要素に従って、前記インデックスの前記チャンクを割り当てられたストレージプロバイダにルーティングしかつ記憶する手段と、
    をさらに備える請求項9に記載の装置。
  11. 前記複数のチャンクに対して暗号化及びチェックサムを実行する手段をさらに含む、
    請求項8に記載の装置。
JP2018521200A 2015-07-20 2016-07-15 分散型オブジェクトルーティング Active JP6543420B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/804,174 2015-07-20
US14/804,174 US10177907B2 (en) 2015-07-20 2015-07-20 Distributed object routing
PCT/US2016/042494 WO2017015108A1 (en) 2015-07-20 2016-07-15 Distributed object routing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019110780A Division JP6994006B2 (ja) 2015-07-20 2019-06-14 分散型オブジェクトルーティング

Publications (2)

Publication Number Publication Date
JP2018523250A JP2018523250A (ja) 2018-08-16
JP6543420B2 true JP6543420B2 (ja) 2019-07-10

Family

ID=57834554

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018521200A Active JP6543420B2 (ja) 2015-07-20 2016-07-15 分散型オブジェクトルーティング
JP2019110780A Active JP6994006B2 (ja) 2015-07-20 2019-06-14 分散型オブジェクトルーティング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019110780A Active JP6994006B2 (ja) 2015-07-20 2019-06-14 分散型オブジェクトルーティング

Country Status (6)

Country Link
US (2) US10177907B2 (ja)
EP (1) EP3308287A4 (ja)
JP (2) JP6543420B2 (ja)
KR (1) KR102042939B1 (ja)
CN (1) CN107851084A (ja)
WO (1) WO2017015108A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210270B2 (en) * 2017-03-09 2021-12-28 Microsoft Technology Licensing, Llc Mapping storage across storage providers
CN107979461B (zh) * 2017-10-27 2020-07-17 财付通支付科技有限公司 秘钥找回方法、装置、终端、秘钥托管服务器及可读介质
US11709957B2 (en) * 2020-05-04 2023-07-25 Netapp, Inc. Methods for securing files within a storage device using artificial intelligence and devices thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7830000A (en) * 1999-09-20 2001-04-24 Ethentica, Inc. Server-side implementation of a cryptographic system
CN1258921C (zh) * 2002-07-30 2006-06-07 中兴通讯股份有限公司 分布式视频点播系统及其实现数据存储和访问的方法
US7487138B2 (en) * 2004-08-25 2009-02-03 Symantec Operating Corporation System and method for chunk-based indexing of file system content
US20060059174A1 (en) * 2004-09-16 2006-03-16 International Business Machines Corporation Apparatus, system, and method for locating an application compatible with a file
US8190742B2 (en) * 2006-04-25 2012-05-29 Hewlett-Packard Development Company, L.P. Distributed differential store with non-distributed objects and compression-enhancing data-object routing
JP5445138B2 (ja) 2007-12-28 2014-03-19 日本電気株式会社 データ分散格納方法およびデータ分散格納システム
AU2009335697A1 (en) * 2008-12-18 2011-08-04 Copiun, Inc. Methods and apparatus for content-aware data partitioning and data de-duplication
US8438456B2 (en) 2009-10-05 2013-05-07 Cleversafe, Inc. Method and apparatus for dispersed storage of streaming data
US9537650B2 (en) 2009-12-15 2017-01-03 Microsoft Technology Licensing, Llc Verifiable trust for data through wrapper composition
AU2011235075B2 (en) 2010-03-31 2015-10-01 Security First Corp. Systems and methods for securing data in motion
WO2012042509A1 (en) 2010-10-01 2012-04-05 Peter Chacko A distributed virtual storage cloud architecture and a method thereof
US20120136960A1 (en) 2010-11-29 2012-05-31 Beijing Z & W Technology Consulting Co., Ltd Cloud Storage Data Access Method, Apparatus and System
CN101997929A (zh) * 2010-11-29 2011-03-30 北京卓微天成科技咨询有限公司 一种云存储的数据存取的方法、装置及系统
CN103049466B (zh) * 2012-05-14 2016-04-27 深圳市朗科科技股份有限公司 一种基于分布式密文存储的全文检索方法及系统
CN103914483B (zh) * 2013-01-07 2018-09-25 深圳市腾讯计算机系统有限公司 文件存储方法、装置及文件读取方法、装置
US10015542B2 (en) * 2013-03-15 2018-07-03 Arris Enterprises Llc Method and apparatus for secure storage and retrieval of live off disk media programs

Also Published As

Publication number Publication date
KR20180030018A (ko) 2018-03-21
CN107851084A (zh) 2018-03-27
KR102042939B1 (ko) 2019-11-08
WO2017015108A1 (en) 2017-01-26
EP3308287A1 (en) 2018-04-18
US10523971B1 (en) 2019-12-31
JP2018523250A (ja) 2018-08-16
JP6994006B2 (ja) 2022-01-14
US10177907B2 (en) 2019-01-08
US20200028671A1 (en) 2020-01-23
JP2019169196A (ja) 2019-10-03
EP3308287A4 (en) 2018-12-05
US20170026173A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
US10467096B2 (en) Securely storing data in a dispersed storage network
US10169147B2 (en) End-to-end secure data storage in a dispersed storage network
JP6296316B2 (ja) 分散型セキュリティ保護データストレージ、およびストリーミングメディアコンテンツの送信
US9483657B2 (en) Secure online distributed data storage services
US9680809B2 (en) Secure data storage on a cloud environment
US9009491B2 (en) Distributed storage network and method for encrypting and decrypting data using hash functions
JP6994006B2 (ja) 分散型オブジェクトルーティング
US10015152B2 (en) Securing data in a dispersed storage network
US10650160B2 (en) Enhancing security for multiple storage configurations
JP5269984B2 (ja) 暗号鍵生成装置
EP2487619A2 (en) Information processing apparatus, information processing method and program
US10853388B2 (en) Rebuilding data in a dispersed storage network
US10331518B2 (en) Encoding data in a dispersed storage network
Reddy et al. Secure Storage Services and Erasure Code Implementation in Cloud Servers
US20240028455A1 (en) Encoding and Encrypting Data in a Storage Network
JP2004029934A (ja) 離散型冗長分散方式のデータ格納方法、離散型冗長分散方式のデータ格納装置および離散型冗長分散方式のデータ格納プログラム
Rawat et al. Hyper-Space: Blockchain-based Decentralized Cloud Storage System

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543420

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150