JP6412244B2 - 負荷に基づく動的統合 - Google Patents

負荷に基づく動的統合 Download PDF

Info

Publication number
JP6412244B2
JP6412244B2 JP2017502114A JP2017502114A JP6412244B2 JP 6412244 B2 JP6412244 B2 JP 6412244B2 JP 2017502114 A JP2017502114 A JP 2017502114A JP 2017502114 A JP2017502114 A JP 2017502114A JP 6412244 B2 JP6412244 B2 JP 6412244B2
Authority
JP
Japan
Prior art keywords
data
server group
group
server
increment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017502114A
Other languages
English (en)
Other versions
JP2017528794A (ja
Inventor
ヤン,ジェンクン
スン,ジドン
シュウ,フー
Original Assignee
アリババ グループ ホウルディング リミテッド
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド, アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Priority claimed from PCT/US2015/045747 external-priority patent/WO2016032803A1/en
Publication of JP2017528794A publication Critical patent/JP2017528794A/ja
Application granted granted Critical
Publication of JP6412244B2 publication Critical patent/JP6412244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06314Calendaring for a resource
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

関連出願の相互参照
米国特許法第119条の下で、本願は、2014年8月27日に出願された中国特許出願第201410429616.0号の利益及び優先権を主張するものである。
分野
本願は、コンピュータ技術の分野に関し、特に、データ管理の方法及びシステムに関する。
関連技術
コンピュータ及びネットワーク技術の進歩に伴い、異なるアプリケーションからのユーザにより実行される様々な動作が、大きな記憶割り振りに繋がる。例えば、複数のユーザは、異なるプラットフォームで実行中のモバイルアプリケーション及び異なるオペレーティングシステム内の異なるブラウザで実行中のウェブインタフェース等の異なるアプリケーションを介して電子商取引ウェブサイト上で同時に買い物し得る。対応するショッピング記録は、電子商取引サービスを促進するシステムの記憶装置(例えば、データベース内)に記憶される。
しかし、異なるアプリケーションがシステムに同時にアクセスすると、ユーザ活動数が増大することになり得、その結果、システムに記憶されているユーザ記録量が増大する。多数のこれらの記録には、記録が更新中にユーザによりアクセスされることがある。したがって、システムに記憶されたデータは、ユーザのアクセス及び更新の頻度に基づいて常時管理する必要がある。記憶データのこの管理は、ユーザのデータアクセスへの影響が低減されるように、書き込み動作をデータ記憶装置に割り振ることを含む。
システムにおいてデータを管理する幾つかの方法が利用可能であるが、同時アプリケーションでの効率的な記憶管理には幾つかの問題がなお存在する。
概要
本発明の一実施形態は、負荷に基づく動的統合を促進するシステムを提供する。動作中、システムは、第1の計算装置のメモリ内のインクリメントデータを識別する。インクリメントデータは、第2の計算装置内の記憶装置内の参照データへの更新を含む。インクリメントデータのサイズが閾値よりも大きい場合、システムは、複数のサーバ群から第1のサーバ群を選択する。第2の計算装置は、この第1のサーバ群に属する。次に、システムは、データアクセス要求を第1のサーバ群から複数のサーバ群内の他のサーバ群に移行し、第1の計算装置のメモリ内のインクリメントデータを第2の計算装置内の記憶装置と統合させる。統合することは、第2の計算装置の記憶装置へのバッチシーケンシャルディスク書き込みを含む。
この実施形態の変形では、参照データは複数のタブレットに分割され、タブレットは、参照データの非重複セグメントである。
更なる変形では、複数のサーバ群の各サーバ群は、参照データの各タブレットのコピーを含む。
この実施形態の変形では、複数のサーバ群から第1のサーバ群を選択することは、一連のサーバ群から第1のサーバ群を識別することを含む。
更なる変形では、システムは、インクリメントデータの統合が、各サーバ群で実行されたか否かを判断し、インクリメントデータの統合がまだ実行されていないサーバ群を選択する。
この実施形態の変形では、システムは、複数のサーバ群の各サーバ群のデータアクセス要求トラフィック率を含むトラフィック制御テーブルを保持し、第1のサーバ群のトラフィック率が、トラフィック制御テーブル内の閾値に達したか否かを判断する。達したと判断される場合、システムは、第1のサーバ群が統合可能であると判断する。
この実施形態の変形では、システムは、統合が第1のサーバ群で完了したか否かを判断する。完了したと判断される場合、システムは、データアクセス要求を他のサーバ群から第1のサーバ群に復帰させる。
この実施形態の変形では、システムは、第1のサーバ群が、インクリメントデータの統合中、データアクセス要求に対応する必要があるか否かを判断し、第1のサーバ群内の計算装置によるリソース消費が条件を満たすか否かを判断する。
更なる変形では、システムは、第1のサーバ群が対応したデータアクセス要求に関連付けられた性能レベルを判断する。性能レベルが閾値を下回る場合、システムはインクリメントデータの統合を一時停止する。
更なる変形では、システムは、データアクセス要求に対応するために、インクリメントデータの統合により占められたリソースを解放する。
図面の簡単な説明
本明細書に組み込まれ、本明細書の一部をなす添付図面は、本願の幾つかの例示的な実施形態を示し、説明と共に、本願への限定として解釈されず、本願を例示する役割を果たす。
本願の実施形態による、インクリメントデータ及び参照データに基づく例示的なデータ管理を示す。 本願の実施形態による、更新及び記憶サーバに基づく例示的なデータ管理システムを示す。 本願の実施形態による、参照データの例示的なタブレットを示す。 本願の実施形態による、統合プロセスを開始するデータ管理システムを示すフローチャートを提示する。 本願の実施形態による、データ管理システムのオフピーク統合プロセスを示すフローチャートを提示する。 本願の実施形態による、データ管理システムの動的制御される統合プロセスを示すフローチャートを提示する。 本願の実施形態による、例示的なデータ管理システムの概略構造図である。
図中、同様の参照符号は同じ図要素を指す。
詳細な説明
本発明の実施形態は、データ更新を、アクセス中の記憶サーバから逸らすことにより、データアクセスを効率的に管理するという問題を解決する。データアクセスがそれらの記憶サーバに対して不可避である場合、記憶サーバでのリソースが空いているとき、記憶サーバからのデータは更新される。
既存の技術では、データは通常、ログ構造統合ツリー(LSMツリー)に記憶される。LSMツリーでは、データは一般に、システムのメモリ及び記憶ディスクで複数のレベルに分割される。データが更新される(例えば、ユーザ動作に起因して)場合、そのデータは、システムのメモリに書き込まれる。しかし、メモリ内のデータは揮発性である。したがって、システムは、統合プロセスを介して、メモリの更新データをディスクファイルに書き込む。この統合プロセスは通常、データアクセス(すなわち、データ読み取り)と並列して実行される。統合プロセスはバッチシーケンシャルディスク書き込みである。しかし、そのような統合プロセスは通常、大量の入/出力(I/O)リソースを消費し、記憶システムの通常動作(例えば、オンラインサービス)のスループット及び応答時間に直接影響する。オンラインサービスとは、システムが動作可能な状態に保つサービスである。例えば、ユーザの購入記録の可用性及びアクセス可能性である。
この問題を解決するために、本発明の実施形態は、データアクセスと更新動作とを分離し、データアクセストラフィックを現在更新中の記憶サーバから自動的に逸らすことにより、負荷に基づく動的統合プロセスのシステムを提供する。システムは、データ更新(例えば、書き込み動作)及びデータアクセス(例えば、読み取り動作)のそれぞれで、データを2つのデータセット:参照データ及びインクリメントデータに分割する。インクリメントデータは、更新サーバのメモリに存在し、更新動作はインクリメントデータに対して実行される。他方、参照データは記憶サーバのディスクに記憶される。参照データは通常、複数の記憶サーバに複数のコピーを有して、高可用性を促進する。更新サーバのメモリに書き込まされたデータ量が閾値に達すると、統合プロセスがトリガーされる。メモリ内のインクリメントデータは、対応する記憶サーバのディスク上の参照データと統合される。
さらに、統合プロセスからのデータアクセスの分離を保証するために、システムは、それぞれが参照データ全体を保持する、記憶サーバの少なくとも2つのサーバ群を保持する。統合プロセスが第1の群に対して実行される場合、データアクセス要求は第2のグループにより対応される。第1の群の統合プロセスが完了すると、データアクセス要求は第1の群に逸らされ、統合プロセスが第2の群に対して実行される。その結果、統合プロセス中、記憶サーバからのデータアクセスの性能は妨げられない。幾つかの状況では、多量のデータアクセストラフィック又は時間切れイベントに起因して、幾つかのデータアクセス要求は、現在統合中の群により対応することができる。そのような状況下では、統合プロセスの影響を低減するために、システムは、記憶サーバの負荷をモニタリングし、負荷が低い場合のみ、統合プロセスを継続できるようにする。その他の場合、システムは過負荷回避モードを開始し、統合プロセスを一時停止して、統合プロセスに割り振られたリソース(例えば、ネットワーク、処理、及びI/Oリソース)を復元する。
図1Aは、本願の実施形態による、インクリメントデータ及び参照データに基づく例示的なデータ管理を示す。この例では、負荷に基づく動的データ統合のデータ管理システム100が開発されて、データアクセスと更新動作との分離を促進する。データがインクリメントデータ122を含み、インクリメントデータ122は更新サーバ102のメモリ112に存在する、と想定する。幾つかの実施形態では、インクリメントデータ122はBツリーに編成することができる。他方、参照データ124は、記憶サーバ104及び106のそれぞれのディスク114及び116に存在する。参照データは、ディスクに記憶される永続データであり、インクリメントデータは、参照データへの更新(例えば、変更、追加、削除等)である。記憶サーバ104及び106は、参照データ124の重複しない参照データブロック126及び128をそれぞれホストすることができる。データブロック126及び128は共に、参照データ124を全体的に表す。
システム100は、メモリ112上の参照データ124への更新(例えば、書き込み動作)を実行して、インクリメントデータ122を生成する。その結果、更新プロセス中、書き込み動作は記憶サーバ104及び106に直接適用されない。したがって、記憶サーバ104及び106は、データ更新に関連付けられた書き込み動作の影響を低減しながら、クライアント装置へのデータアクセスを促進することができる。更新サーバ102のメモリ112に書き込まれたデータ量が閾値に達すると、システム100は統合プロセスをトリガーする。統合プロセスは、ディスク114及び/又は116へのバッチシーケンシャルディスク書き込みである。したがって、統合プロセスは、メモリ112内の更新データを記憶サーバ104及び/又は106のディスク114及び/又は116内の参照データブロック126及び/又は128にそれぞれ統合する。統合プロセス後、インクリメントデータ122の更新は参照データ124の部分になる。システム100は、メモリ122への任意の後続更新を実行する。
幾つかの実施形態では、統合プロセスからのデータアクセスの分離を保証するために、システム100は、それぞれが参照データ124全体を保持する少なくとも2つの記憶サーバ群を保持する。図1Bは、本願の実施形態による、更新サーバ及び記憶サーバに基づく例示的なデータ管理システムを示す。システム100は、記憶サーバ104及び106をサーバ群142に群化することができる。システム100は、記憶サーバ134及び136を含む別のサーバ群144を保持することができる。群142及び144は両方とも、参照データ124全体をホストする。これにより、負荷を群間で平衡させることができ、データアクセスを統合プロセスから分離する。幾つかの実施形態では、群142及び144は、ネットワーク150(例えば、ローカル又はワイドエリアネットワーク)により隔てられた別個のロケーションにあることができる。更新サーバ102は、ネットワーク150を介して群142及び144に結合することができる。
システム100は、群142と144との間でのデータアクセス及び統合プロセスの分離を保証する。システム100は、群142及び144を統合プロセスの制御ユニットとして使用し、統合プロセスを異なる時間に実行する。統合プロセスの準備段階において、システム100は、統合プロセスの群を選択し、データアクセストラフィック(例えば、データアクセス要求及び/又は対応するデータ)をその他の群に移行する。このようにして、統合プロセス及びオンラインサービスは互いに分離される。システム100は、群142の統合プロセスを実行する際、データアクセストラフィックを群144に逸らす。例えば、クライアント装置160がデータアクセス要求(例えば、顧客記録要求)を送信する場合、そのデータアクセス要求は群144により対応される(例えば、対応する記憶サーバが要求されたデータを提供する)。システム100は、群142の統合プロセスを完了した後、データアクセストラフィックを群142に移行し、群144の統合プロセスを開始する。クライアント装置160からの続くデータアクセス要求は、群142により対応される。この統合プロセスはオフピーク統合プロセスと呼ぶことができる。オフピーク統合プロセスは、オンラインサービスの性能に対するインクリメントデータ統合の影響(例えば、記憶サーバがデータアクセス要求に応えるためにかかる時間)を低減する。
幾つかの実施形態では、システム100は、トラフィック制御テーブルに基づいて群142と144との間で切り替えを行い、トラフィック制御テーブルは、群142と144との間のデータアクセストラフィック率を含む。クライアント装置(例えば、クライアント装置160)からのデータアクセス要求は、比率に基づいて群142及び144に分配される。システム100は、データアクセストラフィックをある群から別の群に徐々に移行する。このようにして、トラフィック率は、ある群で増大し続け、別の群で低減し続ける。例えば、所与のあるとき、比率が50:50である場合、システム100は、データアクセス要求の50%を群142に転送し、残りの50%を群144に転送する。統合プロセスが必要な場合、システム100は、シーケンス(例えば、群142が先で、群144がその次)に基づいて、データアクセストラフィックをある群から別の群に移行し始める。その結果、群142と144との間のトラフィック率は変わり続ける。ある群のトラフィック率がゼロになると、その群は統合プロセス可能な状態になる。例えば、群142のトラフィック率がゼロになると、システム100は、各データアクセス要求を群144に転送する。したがって、群142は統合プロセス可能な状態になる。
同様にして、システム100は、群142の統合プロセスを完了すると、データアクセストラフィックを群144から群144に徐々に移行する。その結果、群142と144との間のトラフィック率は逆方向に変化し始める。群144のトラフィック率がゼロになると、システム100は各データアクセス要求を群142に転送する。したがって、群144は統合プロセス可能な状態になる。幾つかの実施形態では、更新サーバ102は、インクリメントデータ122が各群(この例では、群142及び144)内の参照データ124に統合したか否かを判断する。インクリメントデータ122が群142及び144のうちの1つ又は複数内の参照データ124にまだ統合されていない場合、システム100は、現在、統合が必要な群を選択する。統合プロセスが群142で完了し、群144で完了していないと想定する。その場合、システム100は、統合に群144を選択する。インクリメントデータ122が両群142及び144内の参照データ124と統合されると、システム100は、インクリメントデータ122を更新サーバ102のメモリ112から除去することができる。
幾つかの状況では、オフピーク統合プロセスは適用可能ではない。そのような一状況では、群の統合プロセスに時間切れイベントが発生することができる。例えば、群142の統合プロセスに割り振られた時間は、統合プロセスが完了することなく経過し得る。その結果、システム100は、トラフィックを群144から群142に逸らし始め得る。別のそのような状況では、群142の統合プロセス中、群144は、全てのデータアクセス要求には対応することができないことがある。したがって、システム100は、統合プロセス中であっても、幾つかのデータアクセス要求を群142に転送して、オンラインサービスの最大可用性(例えば、データのアクセス可能性)を保証し得る。
これらの2つの状況では、データアクセス及び統合プロセスは、群142と144との間で分離されないことがある。幾つかの実施形態では、システム100は、データアクセスへの統合プロセスの影響を効率的に低減するために、各群の記憶サーバの負荷をモニタリングする。負荷が閾値に達した場合、システムは過負荷回避モードを開始する。このモードでは、システム100は、統合プロセスを一時停止し、統合プロセスに割り振られたリソースを解放する。例えば、統合プロセスが統合スレッドにより実行される場合、システム100は、スレッドの動作を一時停止し、そのスレッドに割り振られた、ネットワーク、処理、及びI/Oリソース等のリソースを解放する。システム100は、負荷が低くなったことを検出する場合、統合プロセスを再開することができる。このようにして、システム100は、統合動作よりも高い優先度をオンラインサービスに提供し、それにより、クライアント装置のデータアクセス要求へのサービス品質(QoS)を保証する。
図2は、本願の実施形態による参照データの例示的なタブレットを示す。この例では、参照データ124は、複数の非重複データセグメントに分割される。そのようなデータセグメントはタブレットと呼ぶことができる。記憶サーバ内のデータブロックは、1つ又は複数のタブレットを含むことができる。例えば、参照データ124のタブレット202、206、及び208は、記憶サーバ104内でホストされるデータブロック126内にあり、参照データ124のタブレット204、210、及び212は、記憶サーバ106内でホストされるデータブロック128内にある。
統合プロセスの高可用性及び分離を保証するために、これらのタブレットは群144内でもホストされる。タブレット202及び210は、記憶サーバ134内でホストされるデータブロック222内にあり、タブレット204、206、208、及び212は、記憶サーバ136内でホストされるデータブロック224内にある。換言すれば、参照データ124は全体的に、重複しないタブレット202、204、206、208、210、及び212に分割され、各タブレットは、異なる群内の複数の記憶サーバに記憶される。各群は参照データ124の各タブレットを含むが、群はタブレットの1つのコピーをホストし得ることを理解されたい。その結果、群は、全てのタブレットの全てのコピーのセットのうちの1つのサブセットを含むことができる。
幾つかの実施形態では、システム100は、競合状況を回避するために更新データ(すなわち、書き込み動作)の区画化を使用する。更新サーバ102のメモリ112に書き込まれたデータ量が閾値に達する場合、システム100は、任意の後続更新から、統合プロセスのデータ量を分離する。このようにして、統合プロセス中、システム100は、同じ更新セットが、各群内の参照データ124に統合されることを保証する。システム100は、分配コミットを使用して、群間での競合状況を回避することもできる。統合プロセスが完了すると、システム100は、対応する記憶サーバから、そのサーバの統合プロセスが完了したことの確認を受信する。群142及び144の両方内の各記憶サーバから確認を受信すると、システム100は各記憶サーバへの更新をコミットする。その他の場合、システム100は、各記憶サーバ内で前にコミットされた参照データにロールバックすることができる。これは、統合プロセスの不成功に起因して記憶サーバと群とのデータ不一致を回避する。
図3Aは、本願の実施形態による、統合プロセスを開始するデータ管理システムを示すフローチャートを提示する。動作中、システムは、更新サーバ内のインクリメントデータをモニタリングする(動作S301)。システムは、更新サーバのメモリに書き込まれたインクリメントデータが、閾値以上である(又は閾値を超える)か否かをチェックする(動作S302)。インクリメントデータの量は、メモリに書き込まれたバイト数に基づくことができる。インクリメントデータが、閾値未満である場合、システムは、インクリメントデータを引き続きモニタリングする(動作S301)。インクリメントデータが閾値以上である場合、インクリメントデータは統合プロセス可能な状態である。次に、システムは、オフピーク統合プロセスが可能であるか否かをチェックする(動作S303)。
システムは、各群の記憶サーバへの負荷及び前の統合動作の時間切れイベントをチェックして、オフピーク統合プロセスが可能か否かを判断する。オフピーク統合プロセスが可能な場合、システムは、更新サーバから対応する記憶サーバへのオフピーク統合プロセスを開始する(動作S304)。その他の場合、システムは、更新サーバから対応する記憶サーバへの動的制御される統合プロセスを開始する(動作S305)。図3Aは統合プロセスの1つのみの反復を示すが、システムは、統合プロセスの完了後、更新サーバ内のインクリメントデータをモニタリングし続ける(動作S301)ことに留意されたい。これは、メモリに書き込まれたデータ量が閾値に達した場合は常に、システムが統合プロセスを開始することを保証する。
図3Bは、本願の実施形態による、データ管理システムのオフピーク統合プロセスを示すフローチャートを提示する。動作中、システムは、統合サーバ群の統合シーケンス(又は統合順序)を決定する(動作S331)。図1Bの例では、統合シーケンスは群142が先で、群144がその次であるか、又は群144が先で、群142がその次であることができる。次に、システムは続けて、シーケンスから群を選択する(動作S332)。例えば、シーケンスが群142を先に示す場合、システム100は群142を選択する。システムは、データアクセストラフィックを他の群(例えば、群144)に徐々に移行する(動作S333)。
システムは、選択された群が統合可能な状態であるか否かをチェックする(動作S334)。幾つかの実施形態では、システムは、各群のデータアクセストラフィック率を含むトラフィック制御テーブルを保持する。選択された群のトラフィック率がゼロになる場合、システムは、選択された群が統合プロセス可能な状態であると見なす。選択された群が統合可能な状態ではない場合、システムは、データアクセストラフィックを他の群に徐々に移行し続ける(動作S333)。選択された群が統合可能な状態である場合、システムは、選択された群内の記憶サーバを識別する(動作S335)。システムは、識別された記憶サーバ内の対応するタブレットにインクリメントデータを統合する(動作S336)。例えば、インクリメントデータ122の部分が、タブレット202内の参照データセグメントへの更新を含む場合、システム100は、インクリメントデータ122のその部分を記憶サーバ104内のタブレット202に統合する。
システムは、選択された群の統合プロセスが完了したか否かをチェックする(動作S337)。例えば、インクリメントデータ122の部分が、タブレット202、204、210、及び212内の参照データセグメントへの更新を含む場合、システム100が、群142(又は群144)でホストされるタブレット202、204、210、及び212とのインクリメントデータ122の統合を完了するとき、群142の統合プロセスは完了する。統合プロセスが完了していない場合、システムは、インクリメントデータの現在のセットを、識別された記憶サーバ内の対応するタブレットに引き続き統合する(動作S336)。これにより、統合動作中のインクリメントデータの区画化が可能である。任意の後続インクリメントデータは、次の統合プロセスで統合される。統合プロセスが完了する場合、システムは、データアクセストラフィックを選択された群に徐々に復帰させる(動作S338)。次に、システムは、全ての群が統合したか否かをチェックする(動作S339)。まだ全ての群が統合されていない場合、システムは続けて、シーケンスから次の群を選択する(動作S332)。
図3Cは、本願の実施形態による、データ管理システムの動的制御される統合プロセスを示すフローチャートを提示する。動作中、システムは、選択された群の記憶サーバを識別する(動作S351)。システムは、現在のトラフィック負荷又は利用可能なリソースに基づいて群を選択することができる。システムは、記憶サーバのリソース消費をチェックし(動作S352)、リソース消費が統合プロセスの開始条件を満たすか否かをチェックする(動作S353)。開始条件は、リソース消費が閾値に一致するか否かであることができる。そのようなリソースの例としては、ネットワークリソース、処理リソース(例えば、中央演算処理装置(CPU)サイクル)、及びI/Oリソースが挙げられるが、これらに限定されない。
リソース消費が開始条件を満たさない場合、システムは、記憶サーバのリソース消費を引き続きチェックする(動作S352)。リソース消費が開始条件を満たす場合、システムは統合するインクリメントデータの現在セットを識別する(動作S354)。統合プロセスは、インクリメントデータの現在セットのみに対して行われるため、統合プロセスのリソース割り振りは、その現在セットに対して行われる。例えば、統合プロセスが、統合スレッドを使用して実行される場合、統合スレッドは、インクリメントデータの現在セットのみに対して発行され、システムは、リソースをそのセットのみに割り振る。システムは、インクリメントデータの次のセットへの次の統合スレッドを発行し、それに従って、その次のスレッドにリソースを割り振る。この「1つずつ」手法は、記憶サーバへの負荷が低い場合のみ、次の統合スレッドが発行されることを保証する。
統合するインクリメントデータの現在セットが識別されると、システムは、識別された記憶サーバへのインクリメントデータの現在セットの統合プロセスを開始する(動作S355)。システムは、オンラインサービスの性能に関するデータを収集する(動作S356)。そのようなデータの例としては、要求スループット、応答待ち時間、及び要求キュー配置が挙げられるが、これらに限定されない。システムは、オンラインサービスの性能レベルが対応する閾値レベルを下回るか否かをチェックする(動作S357)。例えば、システムは、応答待ち時間が閾値時間を超えるか否か、及び/又は要求キューの長さが閾値長を超えるか否かをチェックすることができる。
性能レベルが閾値レベルを下回る場合、システムは、過負荷回避モードを開始し、統合プロセスを一時停止し(動作S358)、オンラインサービスの性能に関するデータを引き続き収集する(動作S356)。幾つかの実施形態では、システムは、過負荷回避モードにおいて統合プロセスを終了する。性能レベルが閾値レベルを下回らない場合、統合プロセスはオンラインサービスの性能レベルを深刻には妨げていない。その場合、システムは、インクリメントデータの現在セットに対する統合プロセスを完了させる(例えば、再開する)(動作S359)。しかし、システムが、過負荷回避モードにおいて統合プロセスを終了した場合、オンラインサービスの性能レベルが閾値レベルをもはや下回らなくなるとき、システムは統合プロセスを再開することができる。
図4は、本願の実施形態による、例示的なデータ管理システムの概略構造図である。データ管理システム400は、プロセッサ402、メモリ404、及び記憶装置420を含む。記憶装置420は通常、命令を記憶し、当該命令は、上述した方法を実行するために、メモリ404にロードされ、プロセッサ402により実行されることができる。一実施形態では、記憶装置420内の命令は、選択モジュール422、移行モジュール424、統合モジュール426、及び制御モジュール428を実施することができ、これらは全て、様々な手段を通して互いと通信することができる。
幾つかの実施形態では、モジュール422、424、426、及び428は部分的又は全体的に、ハードウェアにおいて実施することができ、プロセッサ402の部分であることができる。さらに、幾つかの実施形態では、システムは、別個のプロセッサ及びメモリを含まなくてもよい。代わりに、それぞれの特定のタスクを実行することに加えて、モジュール422、424、426、及び428は別個に、又は協働して、専用計算エンジンの部分であり得る。
記憶装置420は、プロセッサ402により実行されるプログラムを記憶する。特に、記憶装置420は、負荷に基づく動的統合を使用してデータを効率的に管理するシステム(アプリケーション)を実施するプログラムを記憶する。動作中、アプリケーションプログラムは、記憶装置420からメモリ404にロードし、プロセッサ402により実行することができる。その結果、システム400は、上述した機能を実行することができる。システム400は、任意選択的なディスプレイ412、キーボード414、及びポインティングデバイス416にさらに結合することができ、1つ又は複数のネットワークインタフェースを介してネットワーク410に結合することができる。
動作中、選択モジュール422は、一連の群を保持し、一連の群から一つの群を選択する。選択モジュール422は、統合プロセスが必要な記憶サーバを選択する。選択モジュール422は、群に統合プロセスが実行されたことがあるか否かも判断する。移行モジュール424は、データアクセストラフィックを選択された群から他の群に移行する。幾つかの実施形態では、移行モジュール424は、群のトラフィック制御テーブルを保持する。群のトラフィック率がゼロになる場合、移行モジュール424は、群が移行プロセス可能な状態であると判断する。移行プロセスが完了すると、移行モジュール424は、データアクセストラフィックを元の群に復帰させる。
統合モジュール426は、データアクセストラフィックが、選択された群から移行された後、インクリメントデータを更新サーバから記憶サーバ内の参照データの1つ又は複数のタブレットに統合する。制御モジュール428は、統合プロセス中、現在統合中の群により任意のデータアクセストラフィックを処理すべきか否かを判断する。制御モジュール428は、リソース消費状況が開始条件を満たす場合、図3Cと併せて説明したように、その群の動的制御される統合プロセスを開始することができる。例えば、制御モジュール424は、必要に応じて統合プロセスを一時停止(又は終了)し、再開(又は再び開始)することができる。
この詳細な説明に記載されるデータ構造及びコンピュータ命令は通常、コンピュータ可読記憶媒体に記憶され、コンピュータ可読記憶媒体は、コンピュータシステムにより使用されるコード及び/又はデータを記憶することができる任意の装置又は媒体であり得る。コンピュータ可読媒体は、揮発性メモリ、不揮発性メモリ、ディスクドライブ、磁気テープ、CD(コンパクトディスク)、DVD(デジタル多用途ディスク又はデジタルビデオディスク)等の磁気及び光学記憶装置、又は現在既知であるか、若しくは後に開発されるコンピュータ可読媒体を記憶可能な任意の他の媒体を含むが、これらに限定されない。
詳細な説明のセクションに記載される方法及びプロセスは、コード及び/又はデータとして実施することができ、コード及び/又はデータは、上述したようにコンピュータ可読記憶媒体に記憶することができる。コンピュータシステムは、コンピュータ可読記憶媒体に記憶されたコード及び/又はデータを読み出し実行すると、データ構造及びコードとして実施され、コンピュータ可読記憶媒体内に記憶された方法及びプロセスを実行する。
さらに、本明細書に記載される方法及びプロセスは、ハードウェアモジュール又は装置に含めることができる。これらのモジュール又は装置は、特定用途向け集積回路(ASIC)チップ、フィールドプログラマブルゲートアレイ(FPGA)、特定の時間に特定のソフトウェアモジュール又はコードを実行する専用又は共有プロセッサ、及び/又は現在既知であるか、又は後に開発される他のプログラマブル論理デバイスを含み得るが、これらに限定されない。ハードウェアモジュール又は装置は、アクティブ化されると、内部に含まれる方法及びプロセスを実行する。
上記説明は、当業者が実施形態を作成し使用できるようにするために提示され、特定の用途及びその要件の状況で提供される。開示される実施形態への様々な変更が当業者に容易に明らかであり、本明細書に定義される一般原理は、本開示の趣旨及び範囲から逸脱せずに他の実施形態及び用途に適用し得る。したがって、本発明は、示される実施形態に限定されず、本明細書に開示される原理及び特徴に一致する最も広い範囲に従うべきである。

Claims (21)

  1. 負荷に基づく動的統合を促進するコンピュータ実施方法であって、
    インクリメントデータの量が閾値に達するまで、第1の計算装置のメモリ装置内に前記インクリメントデータを記憶することであって、前記インクリメントデータは、第2の計算装置内の記憶装置内の参照データに関連する更新データを含む、記憶することと、
    前記インクリメントデータの前記量が前記閾値よりも大きいか否かを判断することと、
    前記インクリメントデータの前記量前記閾値よりも大きいことに応答して、前記インクリメントデータの統合のために、複数のサーバ群から第1のサーバ群を選択することであって、前記第2の計算装置は前記第1のサーバ群に属する、選択することと、
    前記参照データのためのデータアクセス要求を前記第1のサーバ群から前記複数のサーバ群内の第2のサーバ群に移行することと、
    前記第1の計算装置の前記メモリ装置からの前記インクリメントデータを前記第2の計算装置内の前記記憶装置に統合することと
    を含む、方法。
  2. 前記参照データは複数のタブレットに分割され、タブレットは、前記参照データの非重複セグメントである、請求項1に記載の方法。
  3. 前記複数のサーバ群の各サーバ群は、前記参照データの各タブレットのコピーを含む、請求項2に記載の方法。
  4. 前記複数のサーバ群から前記第1のサーバ群を選択することは、一連のサーバ群から前記第1のサーバ群を識別することを含む、請求項1に記載の方法。
  5. 前記インクリメントデータの前記統合が、各サーバ群で実行されたか否かを判断することと、
    前記インクリメントデータの前記統合がまだ実行されていないサーバ群を選択することと
    を更に含む、請求項4に記載の方法。
  6. 前記複数のサーバ群の各サーバ群のデータアクセス要求トラフィック率を含むトラフィック制御テーブルを保持することと、
    前記第1のサーバ群の前記トラフィック率が、前記トラフィック制御テーブル内の閾値に達したか否かを判断することと、
    前記判断に応答して、前記第1のサーバ群が統合可能であると判断することと
    を更に含む、請求項1に記載の方法。
  7. 前記統合が前記第1のサーバ群で完了したか否かを判断することと、
    前記判断に応答して、データアクセス要求を前記第2のサーバ群から前記第1のサーバ群に復帰させることと
    を更に含む、請求項1に記載の方法。
  8. 前記第1のサーバ群が、前記インクリメントデータの前記統合中、データアクセス要求に対応する必要があるか否かを判断することと、
    前記第1のサーバ群内の計算装置によるリソース消費が条件を満たすか否かを判断することと
    を更に含む、請求項1に記載の方法。
  9. 前記第1のサーバ群が対応した前記データアクセス要求に関連付けられた性能レベルを判断することと、
    前記性能レベルが閾値を下回ることに応答して、前記インクリメントデータの前記統合を一時停止することと
    を更に含む、請求項8に記載の方法。
  10. 前記データアクセス要求に対応するために、前記インクリメントデータの前記統合により占められたリソースを解放することを更に含む、請求項9に記載の方法。
  11. 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサにより実行されると、前記プロセッサに、負荷に基づく動的統合を促進する方法を実行させ、前記方法は、
    インクリメントデータの量が閾値に達するまで、第1の計算装置のメモリ装置内に前記インクリメントデータを記憶することであって、前記インクリメントデータは、第2の計算装置内の記憶装置内の参照データに関連する更新データを含む、記憶することと、
    前記インクリメントデータの前記量が前記閾値よりも大きいか否かを判断することと、
    前記インクリメントデータの前記量前記閾値よりも大きいことに応答して、前記インクリメントデータの統合のために、複数のサーバ群から第1のサーバ群を選択することであって、前記第2の計算装置は前記第1のサーバ群に属する、選択することと、
    前記参照データのためのデータアクセス要求を前記第1のサーバ群から前記複数のサーバ群内の第2のサーバ群に移行することと、
    前記第1の計算装置の前記メモリ装置からの前記インクリメントデータを前記第2の計算装置内の前記記憶装置に統合することと
    を含む、非一時的コンピュータ可読記憶媒体。
  12. 前記参照データは複数のタブレットに分割され、タブレットは、前記参照データの非重複セグメントである、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  13. 前記複数のサーバ群の各サーバ群は、前記参照データの各タブレットのコピーを含む、請求項12に記載の非一時的コンピュータ可読記憶媒体。
  14. 前記複数のサーバ群から前記第1のサーバ群を選択することは、一連のサーバ群から前記第1のサーバ群を識別することを含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  15. 前記方法は、
    前記インクリメントデータの前記統合が、各サーバ群で実行されたか否かを判断することと、
    前記インクリメントデータの前記統合がまだ実行されていないサーバ群を選択することと
    を更に含む、請求項14に記載の非一時的コンピュータ可読記憶媒体。
  16. 前記方法は、
    前記複数のサーバ群の各サーバ群のデータアクセス要求トラフィック率を含むトラフィック制御テーブルを保持することと、
    前記第1のサーバ群の前記トラフィック率が、前記トラフィック制御テーブル内の閾値に達したか否かを判断することと、
    前記判断に応答して、前記第1のサーバ群が統合可能であると判断することと
    を更に含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  17. 前記方法は、
    前記統合が前記第1のサーバ群で完了したか否かを判断することと、
    前記判断に応答して、データアクセス要求を前記第2のサーバ群から前記第1のサーバ群に復帰させることと
    を更に含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  18. 前記方法は、
    前記第1のサーバ群が、前記インクリメントデータの前記統合中、データアクセス要求に対応する必要があるか否かを判断することと、
    前記第1のサーバ群内の計算装置によるリソース消費が条件を満たすか否かを判断することと
    を更に含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  19. 前記方法は、
    前記第1のサーバ群が対応した前記データアクセス要求に関連付けられた性能レベルを判断することと、
    前記性能レベルが閾値を下回ることに応答して、前記インクリメントデータの前記統合を一時停止することと
    を更に含む、請求項18に記載の非一時的コンピュータ可読記憶媒体。
  20. 前記方法は、前記データアクセス要求に対応するために、前記インクリメントデータの前記統合により占められたリソースを解放することを更に含む、請求項19に記載の非一時的コンピュータ可読記憶媒体。
  21. 負荷に基づく動的統合を促進する計算システムであって、
    プロセッサと、
    前記プロセッサに結合され、命令を記憶するメモリ装置と、を含み
    前記命令は、前記プロセッサにより実行されると、前記プロセッサに方法を実行させ、前記方法は、
    インクリメントデータの量が閾値に達するまで、第1の計算装置のメモリ装置内に前記インクリメントデータを記憶することであって、前記インクリメントデータは、第2の計算装置内の記憶装置内の参照データに関連する更新データを含む、記憶することと、
    前記インクリメントデータの前記量が前記閾値よりも大きいか否かを判断することと、
    前記インクリメントデータの前記量前記閾値よりも大きいことに応答して、前記インクリメントデータの統合のために、複数のサーバ群から第1のサーバ群を選択することであって、前記第2の計算装置は前記第1のサーバ群に属する、選択することと、
    前記参照データのためのデータアクセス要求を前記第1のサーバ群から前記複数のサーバ群内の第2のサーバ群に移行することと、
    前記第1の計算装置の前記メモリ装置からの前記インクリメントデータを前記第2の計算装置内の前記記憶装置に統合することと
    を含む計算システム。
JP2017502114A 2014-08-27 2015-08-18 負荷に基づく動的統合 Active JP6412244B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201410429616.0A CN105446653B (zh) 2014-08-27 2014-08-27 一种数据合并方法和设备
CN201410429616.0 2014-08-27
US14/829,132 US10523743B2 (en) 2014-08-27 2015-08-18 Dynamic load-based merging
US14/829,132 2015-08-18
PCT/US2015/045747 WO2016032803A1 (en) 2014-08-27 2015-08-18 Dynamic load-based merging

Publications (2)

Publication Number Publication Date
JP2017528794A JP2017528794A (ja) 2017-09-28
JP6412244B2 true JP6412244B2 (ja) 2018-10-24

Family

ID=55403945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017502114A Active JP6412244B2 (ja) 2014-08-27 2015-08-18 負荷に基づく動的統合

Country Status (8)

Country Link
US (1) US10523743B2 (ja)
EP (1) EP3186760B8 (ja)
JP (1) JP6412244B2 (ja)
KR (1) KR101938501B1 (ja)
CN (1) CN105446653B (ja)
ES (1) ES2845654T3 (ja)
PL (1) PL3186760T3 (ja)
SG (1) SG11201700190WA (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180349095A1 (en) * 2017-06-06 2018-12-06 ScaleFlux, Inc. Log-structured merge tree based data storage architecture
US10542078B1 (en) * 2017-06-13 2020-01-21 Parallels International Gmbh System and method of load balancing traffic bursts in non-real time networks
CN107295080B (zh) * 2017-06-19 2020-12-18 北京百度网讯科技有限公司 应用于分布式服务器集群的数据存储方法和服务器
JP7191493B2 (ja) 2018-03-27 2022-12-19 ネットフリックス・インコーポレイテッド スケジュール設定されたアンチエントロピー修復の設計のための技法
CN109039898B (zh) * 2018-08-08 2021-12-07 网宿科技股份有限公司 一种引流信息的管理方法及装置
WO2020055977A1 (en) * 2018-09-14 2020-03-19 Google Llc Staggered merging in log-structured merge forests
US11514000B2 (en) 2018-12-24 2022-11-29 Cloudbrink, Inc. Data mesh parallel file system replication
CN112235332B (zh) * 2019-07-15 2024-01-16 北京京东尚科信息技术有限公司 一种集群的读写切换方法和装置
CN112463048B (zh) * 2020-11-26 2022-08-30 新华三技术有限公司成都分公司 一种compact处理速度的调整方法、装置、电子设备和介质
CN113590040B (zh) * 2021-07-29 2024-03-19 郑州阿帕斯数云信息科技有限公司 数据处理方法、装置、设备和存储介质

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4775932A (en) 1984-07-31 1988-10-04 Texas Instruments Incorporated Computer memory system with parallel garbage collection independent from an associated user processor
DE69434311D1 (de) * 1993-02-01 2005-04-28 Sun Microsystems Inc Archivierungsdateiensystem für datenanbieter in einer verteilten netzwerkumgebung
US6226650B1 (en) 1998-09-17 2001-05-01 Synchrologic, Inc. Database synchronization and organization system and method
WO2001040903A2 (en) * 1999-12-06 2001-06-07 Warp Solutions, Inc. System and method for enhancing operation of a web server cluster
US6981005B1 (en) * 2000-08-24 2005-12-27 Microsoft Corporation Partial migration of an object to another storage location in a computer system
US7228441B2 (en) 2000-09-27 2007-06-05 Huron Ip Llc Multi-server and multi-CPU power management system and method
AU2002232835A1 (en) * 2000-12-22 2002-07-08 Warp Solutions, Inc. System and method for intelligently distributing content over a communications network
JP2003022209A (ja) * 2001-07-05 2003-01-24 Nri & Ncc Co Ltd 分散サーバーシステム
AU2003251492A1 (en) 2002-06-11 2003-12-22 Ashish A. Pandya High performance ip processor for tcp/ip, rdma and ip storage applications
JP2007501478A (ja) 2003-05-07 2007-01-25 ヴァーチャル シリコン テクノロジー インコーポレイテッド 電力の島を使用した集積回路での電力の管理
US20050038954A1 (en) 2003-06-04 2005-02-17 Quantum Corporation Storage drive having universal format across media types
US7051215B2 (en) 2003-06-13 2006-05-23 Intel Corporation Power management for clustered computing platforms
US7565454B2 (en) 2003-07-18 2009-07-21 Microsoft Corporation State migration in multiple NIC RDMA enabled devices
JP4371739B2 (ja) 2003-09-02 2009-11-25 株式会社東芝 シリアルataインタフェースを持つ電子機器及びシリアルataバスのパワーセーブ方法
US7490239B2 (en) 2005-01-07 2009-02-10 First Data Corporation Facilitating digital signature based on ephemeral private key
US7389379B1 (en) * 2005-04-25 2008-06-17 Network Appliance, Inc. Selective disk offlining
US7480766B2 (en) 2005-08-03 2009-01-20 Sandisk Corporation Interfacing systems operating through a logical address space and on a direct data file basis
US8260924B2 (en) 2006-05-03 2012-09-04 Bluetie, Inc. User load balancing systems and methods thereof
JP2009543172A (ja) 2006-06-27 2009-12-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数のデータ処理ユニットの電力消費を管理する装置および方法
US20080243847A1 (en) * 2007-04-02 2008-10-02 Microsoft Corporation Separating central locking services from distributed data fulfillment services in a storage system
US8359430B1 (en) * 2007-08-30 2013-01-22 Network Appliance, Inc. Techniques for efficient mass storage layout optimization
JP5343399B2 (ja) * 2008-05-22 2013-11-13 富士通株式会社 管理プログラム、管理方法、及び管理装置
US9547589B2 (en) 2008-06-18 2017-01-17 Super Talent Technology, Corp. Endurance translation layer (ETL) and diversion of temp files for reduced flash wear of a super-endurance solid-state drive
US8954654B2 (en) 2008-06-18 2015-02-10 Super Talent Technology, Corp. Virtual memory device (VMD) application/driver with dual-level interception for data-type splitting, meta-page grouping, and diversion of temp files to ramdisks for enhanced flash endurance
DE112008000968T5 (de) 2008-12-30 2012-01-12 Numonyx B.V. Nicht-flüchtiger Speicher mit erweitertem Betriebstemperaturbereich
WO2010093683A2 (en) 2009-02-10 2010-08-19 Uniloc Usa, Inc. Web content access using a client device identifier
US8918365B2 (en) * 2009-06-19 2014-12-23 Blekko, Inc. Dedicating disks to reading or writing
US8688894B2 (en) 2009-09-03 2014-04-01 Pioneer Chip Technology Ltd. Page based management of flash storage
WO2011087820A2 (en) 2009-12-21 2011-07-21 Sanmina-Sci Corporation Method and apparatus for supporting storage modules in standard memory and/or hybrid memory bus architectures
JP5585116B2 (ja) * 2010-02-19 2014-09-10 日本電気株式会社 ストレージシステム
JP5598017B2 (ja) * 2010-02-24 2014-10-01 富士通株式会社 判定プログラム、方法及び装置
JP2011198133A (ja) 2010-03-19 2011-10-06 Toshiba Corp メモリシステムおよびコントローラ
US8688897B2 (en) 2010-05-28 2014-04-01 International Business Machines Corporation Cache memory management in a flash cache architecture
JP4886877B2 (ja) 2010-05-31 2012-02-29 株式会社東芝 記録媒体制御装置、及びその方法
US8725934B2 (en) 2011-12-22 2014-05-13 Fusion-Io, Inc. Methods and appratuses for atomic storage operations
US8516284B2 (en) 2010-11-04 2013-08-20 International Business Machines Corporation Saving power by placing inactive computing devices in optimized configuration corresponding to a specific constraint
US9208071B2 (en) 2010-12-13 2015-12-08 SanDisk Technologies, Inc. Apparatus, system, and method for accessing memory
US9805108B2 (en) * 2010-12-23 2017-10-31 Mongodb, Inc. Large distributed database clustering systems and methods
US8452819B1 (en) * 2011-03-22 2013-05-28 Amazon Technologies, Inc. Methods and apparatus for optimizing resource utilization in distributed storage systems
KR101717081B1 (ko) 2011-03-23 2017-03-28 삼성전자주식회사 비휘발성 램과 휘발성 램을 버퍼 메모리로 사용하는 저장 장치
JP5583069B2 (ja) * 2011-04-18 2014-09-03 三菱電機株式会社 データベースシステム
KR20130031046A (ko) 2011-09-20 2013-03-28 삼성전자주식회사 플래시 메모리 장치 및 플래시 메모리 장치의 데이터 관리 방법
US8843451B2 (en) * 2011-09-23 2014-09-23 International Business Machines Corporation Block level backup and restore
CN102497353B (zh) * 2011-10-28 2015-08-26 深圳第七大道网络技术有限公司 多服务器分布式数据处理方法、服务器及系统
US9213645B2 (en) 2011-12-29 2015-12-15 Sandisk Technologies Inc. Command aware partial page programming
US9645917B2 (en) 2012-05-22 2017-05-09 Netapp, Inc. Specializing I/O access patterns for flash storage
US9092223B1 (en) 2012-05-31 2015-07-28 Google Inc. Systems and methods to save power in data-center networks
US9405621B2 (en) 2012-12-28 2016-08-02 Super Talent Technology, Corp. Green eMMC device (GeD) controller with DRAM data persistence, data-type splitting, meta-page grouping, and diversion of temp files for enhanced flash endurance
US9432755B2 (en) 2013-02-15 2016-08-30 Futurewei Technologies, Inc. Downstream burst transmission in passive optical networks
US8984171B2 (en) 2013-03-01 2015-03-17 Silicon Motion, Inc. Data storage device and flash memory control method
US9298752B2 (en) * 2013-08-26 2016-03-29 Dropbox, Inc. Facilitating data migration between database clusters while the database continues operating
WO2015039320A1 (en) 2013-09-19 2015-03-26 Intel Corporation Techniques for distributed processing task portion assignment
KR101842621B1 (ko) 2013-09-26 2018-03-27 인텔 코포레이션 지속 메모리에 대한 블록 저장 애퍼처들
US9251154B2 (en) 2013-11-15 2016-02-02 International Business Machines Corporation Priority based reliability mechanism for archived data
US9240722B2 (en) 2014-06-19 2016-01-19 Dell Products Lp Methods and systems for improving light load efficiency for power stages of multi-phase voltage regulator circuits
US9626286B2 (en) 2014-10-03 2017-04-18 Sandisk Technologies Llc Hardware and firmware paths for performing memory read processes
US9710330B2 (en) 2014-10-15 2017-07-18 Empire Technology Development Llc Partial cloud data storage
US10234930B2 (en) 2015-02-13 2019-03-19 Intel Corporation Performing power management in a multicore processor
US9734051B2 (en) 2015-02-16 2017-08-15 Quantum Corporation Garbage collection and defragmentation for solid state drives (SSD) and shingled magnetic recording (SMR) drives
US9911487B2 (en) 2015-05-19 2018-03-06 EMC IP Holding Company LLC Method and system for storing and recovering data from flash memory
US20160350002A1 (en) 2015-05-29 2016-12-01 Intel Corporation Memory device specific self refresh entry and exit
US9965441B2 (en) 2015-12-10 2018-05-08 Cisco Technology, Inc. Adaptive coalescing of remote direct memory access acknowledgements based on I/O characteristics
US10389839B2 (en) 2016-06-01 2019-08-20 Intel Corporation Method and apparatus for generating data prefetches specifying various sizes to prefetch data from a remote computing node
US10514862B2 (en) 2016-07-21 2019-12-24 Micron Technology, Inc. Memory device including concurrent suspend states for different operations
JP6274589B1 (ja) 2016-09-28 2018-02-07 ウィンボンド エレクトロニクス コーポレーション 半導体記憶装置および連続読出し方法

Also Published As

Publication number Publication date
CN105446653B (zh) 2018-12-14
JP2017528794A (ja) 2017-09-28
KR20170042298A (ko) 2017-04-18
EP3186760B8 (en) 2021-03-10
PL3186760T3 (pl) 2021-09-27
CN105446653A (zh) 2016-03-30
EP3186760A4 (en) 2018-04-25
EP3186760B1 (en) 2020-10-14
ES2845654T3 (es) 2021-07-27
US10523743B2 (en) 2019-12-31
SG11201700190WA (en) 2017-02-27
KR101938501B1 (ko) 2019-04-11
EP3186760A1 (en) 2017-07-05
US20160065663A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
JP6412244B2 (ja) 負荷に基づく動的統合
US11615118B2 (en) Multi-cluster warehouse
US10387202B2 (en) Quality of service implementation in a networked storage system with hierarchical schedulers
JP6372074B2 (ja) 情報処理システム,制御プログラム及び制御方法
EP2784683B1 (en) Storage control program, storage control method, storage system and hierarchy control apparatus thereof
US11556391B2 (en) CPU utilization for service level I/O scheduling
US10592165B1 (en) Method, apparatus and computer program product for queueing I/O requests on mapped RAID
US20140089562A1 (en) Efficient i/o processing in storage system
US20200285510A1 (en) High precision load distribution among processors
JP6115575B2 (ja) データセット多重度変更装置、サーバ、データセット多重度変更方法、およびコンピュータ・プログラム
US10936223B2 (en) Increasing serial read performance
WO2016032803A1 (en) Dynamic load-based merging
US10824640B1 (en) Framework for scheduling concurrent replication cycles
KR101754713B1 (ko) 비대칭 분산 파일 시스템, 연산 분배 장치 및 방법
LU501202B1 (en) Prioritized thin provisioning with eviction overflow between tiers
KR102334237B1 (ko) 다중 포그라운드 어플리케이션을 위한 페이지 캐쉬 관리 방법 및 장치
US20170147408A1 (en) Common resource updating apparatus and common resource updating method
Yan et al. R3S: rdma-based RDD remote storage for spark

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180927

R150 Certificate of patent or registration of utility model

Ref document number: 6412244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250