JP5208446B2 - ネットワークデータストレージシステム - Google Patents

ネットワークデータストレージシステム Download PDF

Info

Publication number
JP5208446B2
JP5208446B2 JP2007125855A JP2007125855A JP5208446B2 JP 5208446 B2 JP5208446 B2 JP 5208446B2 JP 2007125855 A JP2007125855 A JP 2007125855A JP 2007125855 A JP2007125855 A JP 2007125855A JP 5208446 B2 JP5208446 B2 JP 5208446B2
Authority
JP
Japan
Prior art keywords
data storage
digital file
data
storage server
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007125855A
Other languages
English (en)
Other versions
JP2007317183A (ja
Inventor
マース,ガエル
シャペル,クロード
アリー,ヴァレリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2007317183A publication Critical patent/JP2007317183A/ja
Application granted granted Critical
Publication of JP5208446B2 publication Critical patent/JP5208446B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1006Server selection for load balancing with static server selection, e.g. the same server being selected for a specific client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、デジタルネットワークを介してストレージユニットとデータを通信するためのネットワークデータストレージシステムに関する。
ストレージデバイス上に蓄積されたデータは、NAS(Network Attached Storage)などのネットワークストレージシステムを用いたネットワークに接続された複数のクライアントやアプリケーションに対してアクセス可能に作られている。ネットワークアタッチドストレージは一般的に所定数のクライアントやアプリケーションがリンクされているネットワークスイッチにNAS装置を接続することによって、実現される。
NAS装置は、サービスを提供するという事実のためにしばしばサーバと呼ばれ、ファイルシステム方法やファイル管理方法を実行するソフトウェアを含み、ストレージデバイスに直接接続されている。ストレージデバイスを用いた通信は、高速SCSE(Small Computer System Interface)または、IDE(Integrated Drive Electronic)リンクを通じて実行される。
NASを用いて蓄積されたデジタルファイルは、ネットワーク上の各クライアントから見ることができ(visible)、デジタルファイルに対する要求の間、ファイルシステムはストレージデバイスの物理的に異なる場所に蓄積されたデジタルファイルのデータのセクタを取得し、完全なデジタルファイルをクライアントに通信する。
クライアントにとっては、NASシステムは管理が容易であり、クライアントがデジタルファイルを要求すると、その要求されたデジタルファイルは1つの非分割単位として配信される。しかし、NAS装置に入る1つの通信チャネルを通じて複数のクライアントがNAS装置と通信するので、大量のデータがNAS装置にまたはNAS装置から転送される場合、またはクライアントからたくさんの要求がある場合、NASストレージシステムは通信のボトルネックを引き起こす。
ストレージエリアネットワーク(SAN)などのクラスタストレージシステムは、NASシステムによって起こるボトルネックを除去もしくは低減する。SANは、SANスイッチに並列に接続された複数のストレージデバイスを含み、クライアントはそのSANスイッチに直接接続されているか、またはサーバを介してSANスイッチに間接的に接続されている。複数のストレージデバイスに蓄積データが配信されるので、共有データへの同時アクセスが増加して通信のボトルネックが悪化するリスクが低減する。
しかし、SANシステムはより複雑な分散ファイルシステム(distributed file system)を必要とし、クライアントによるデータストレージの管理を要する。分散ファイルシステムは、クライアントにより用いられ、複数のストレージデバイスに分散されたデジタルファイルのデータセグメントを取得する。NFS (Network File System)またはCIFS(Common Internet File System)などの標準的な分散ファイルシステムは分散型ストレージの機能を実現出来ず、特別で高価なハードウエアが分散型ストレージの機能を実現するために必要とされる。
マルチメディアデータとは、一般的に、ビジュアル、オーディオ、アニメーション、グラフィクスまたはテキスト情報もしくはこれらの任意の組み合わせを言う。マルチメディアデータは、高速ビットレート通信を必要とする大量のデータを有していることが多い。マルチメディアデータの転送は、データが連続的にストリーム化されていることを必要とし、そのようなデータはリニアで連続的な通信を必要とする。マルチメディアデータは例えば、医療アプリケーション、軍事用アプリケーション、及びテレビ局のオーディオビジュアルアプリケーションに現在使用されている。
マルチメディアデータのネットワークストレージは、従来の情報技術データのネットワークストレージとは蓄積容量およびアクセス要求の点で異なっている。マルチメディアデータ環境で用いられるネットワークデータストレージシステムは、非常に大容量のデータをサポートし、高いバンド幅を提供することを必要とし、蓄積されたマルチメディアデータへのリニアで連続的なアクセスを優先することを必要とする。
マルチメディアデータを要求するネットワーク上のクライアントまたはアプリケーションは、ストレージユニットから配信されるデータの時間的連続性に対し、厳密な要求を有している。マルチメディアデータはリアルタイムで処理される(consumed)されるために、マルチメディアデータの転送には時間に関する厳密な遵守(respect)及び制御が必要であり、マルチメディアデータの受信の遅延は許されない。
NASシステムの通信のボトルネックはマルチメディアデータストリーミングにとって問題であり、マルチメディアデータの時間に対する厳密な要求を遵守していない(not respect)。SANシステムは、複数のストレージデバイスでのデータストレージを管理するために、複雑な分散ファイルシステムを使用する負担をクライアントが負う。
本発明の目的は、リニアなデータ通信における時間に関する厳密な要求を満たすデータ通信が可能なネットワークデータストレージシステムであって、そのファイルシステム管理がクライアントにとって簡易であるシステムを提供することにある。
本発明は、請求項1に記載のネットワークデータストレージシステムを提供することを目的とする。
インターフェースデバイスの他の特徴は従属クレームに記載されている。
本発明の上記の目的、特徴及び他の利点は添付図面とともに詳細な説明から最もよく理解されるであろう。
図面では、同一の参照符号は同一の構成要素を示すのに用いられている。
図1は、デジタルネットワークを介し、デジタルファイルを蓄積部4に書き込み、デジタルファイルを蓄積部4から読み出すネットワークデータストレージシステムを示す。この例では、デジタルネットワークはイーサネット(登録商標)のネットワークインプリメンテーションを用いて構成される。デジタルファイルは、例えばデジタルビデオレコーディングのような情報を表す2進数の数字データのビットシーケンスを含む。このデジタルファイルは、デジタルファイル名やファイルの最新の更新日などの情報を含むメタデータを関連づける。ネットワークデータストレージシステムは、蓄積部4との通信を確立するために用いられる少なくとも1つのネットワーククライアントまたはアプリケーション6を含み、各ネットワーククライアント6は仲介ネットワークスイッチ8を介して蓄積部4にリンクされている。
ネットワーククライアント6はソフトウェアを含む装置であり、このソフトウェアは蓄積部4内のサーバソフトウェアと呼ばれる他のソフトウェアと通信することにより遠隔サービスにアクセスするようになっている。ネットワーククライアント6は、例えば生中継のテレビ局に設置されたオーディオビジュアル装置であり、このオーディオビジュアル装置は蓄積されたアーカイブデータを取得してスタジオの視聴者に表示する。テレビ局のスタジオは生中継でテレビ視聴者に同時に放映される。
仲介ネットワークスイッチ8は、各ネットワーククライアント6と蓄積部4とを含むネットワークセグメンツを接続し、デジタルネットワークを形成する。データはデジタルネットワーク上をデータパケットの形で伝送され、各データパケットは、デジタルネットワークを介してデータをその宛先にナビゲーションする少なくとも1つのナビゲーションデータ部と、ネットワークデータストレージシステム2の管理に関するマルチメディアデータまたは制御データを有するデータペイロードとを含む。
データは、ネットワーククライアント6によって仲介ネットワークスイッチ8に送信され蓄積部4を宛先としており、宛先MAC(Media Access Controller)アドレスを含むナビゲーションデータ部を含む。MACアドレスは、蓄積部4またはネットワークに接続された別の装置に関連づけられているアドレスである。仲介ネットワークスイッチ8は、ネットワーククライアント6のMACアドレスと、仲介ネットワークスイッチ8のポートであってデータが到着したポートと、をMACアドレステーブルに保存するように構成されている。仲介ネットワークスイッチ8は、続いてMACアドレステーブルを調べ、宛先MACアドレスに関連づけられた仲介ネットワークスイッチポートにデータをルーティングし、そのポートから宛先へデータを転送する。
蓄積部4からネットワーククライアント6に送られたデータは、仲介ネットワークスイッチ8を通り、同様な方法でネットワークを介してナビゲートされる。仲介ネットワークスイッチ8は、受信データポートを除く全てのポートに対して受信データをルーティングすることによりデータをマルチキャストするように構成され、そのポートから対応する関連づけられた宛先へデータを転送する。
蓄積部4は、少なくとも2つのデータストレージサーバ10を含み、各データストレージサーバ10はローカルストレージコンポーネント12を含む。この例ではローカルストレージコンポーネントはRAID(redundant array of independent disks)である。別の例では、ローカルストレージコンポーネントはハードディスクドライブである。
各データストレージサーバ10は、独立して仲介ネットワークスイッチ8に接続されている。しかし、クライアント6は、蓄積部4へのユニークな仮想エントリーポイントを有している。ユニーク仮想エントリーポイントは、蓄積部4に割り当てられているユニークなIP(internet protocol)アドレスを用いて実現される。クライアント6が蓄積部4との通信を確立しようとする時、IPアドレスを含むデータパケットのナビゲーションデータ部は仲介ネットワークスイッチ8によって検証される。そのIPアドレスが蓄積部4のIPアドレスに対応していることが検証されると、そのデータは蓄積部4に通信される。
各データストレージサーバ10はさらに隣接するストレージサーバ10に接続され、これにより任意のストレージサーバ10は他の任意のストレージサーバ10と蓄積部4内で内部的に通信することができる。
仲介ネットワークスイッチ8はロードバランサ13を更に含む。ロードバランサ13は蓄積部4のデータストレージサーバ10のワークロードを管理するように形成され、クライアント6に対して蓄積部4が1つのユニークなストレージデバイスであるように見せる。
ロードバランサ13は、クライアントコミュニケーションを、データストレージサーバ10の1つに転送するように形成されている。所定のルールセットが、どのデータストレージサーバ10がクライアントからの通信を受信するかを決定するのに用いられる。本実施例で用いられる所定のルールセットは、データストレージサーバ10へのコネクションの中の最小番号である。本発明の他の実施例では、ラウンドロビンまたはソース/宛先ハッシングが用いられる。データストレージサーバ10への通信には、NAT(Network Address Translation)転送技術が用いられる。他の実施形態では、IPトンネリング及びIP直接ルーティングが用いられる。ロードバランサ13は更に、クライアントから蓄積部4へのデジタルファイル読出要求に従って、蓄積部4からクライアントへ通信されるデジタルファイルを受信し、転送するように形成されている。
ロードバランサ13は、ルーティングテーブルを含み、クライアントまたはデータストレージサーバ10とのコネクションの最新のアカウントをルーティングテーブル内に保持するように形成されている。データストレージサーバ10の現在及び想定されるコネクションが、クライアントまたはデータストレージサーバ10とのコネクションの想定される終了と共に、ルーティングテーブルに保持される。
各データストレージサーバ10は、データストレージサーバ10のローカルストレージコンポーネント12におけるデータの蓄積と取得とを制御するためのストレージサーバプロセッサ14、仲介ネットワークスイッチ8とデータストレージサーバ10とをインターフェイス接続するネットワークインターフェイスデバイス16、及びネットワークインターフェイスデバイス16とローカルストレージコンポーネント12とをインターフェイス接続するRAIDコントローラ18を含む。ネットワークインターフェイスデバイス16は、更に、データストレージサーバ10間の内部的通信のために、データストレージサーバ10を近隣のデータストレージサーバ10とインターフェイス接続する。
ネットワークインターフェイスデバイス16は、専用のハードウエアプロセッサを含み、この専用のハードウエアプロセッサはデータパケットのナビゲーションデータ部を処理し、仲介ネットワークスイッチ8へ及び仲介ネットワークスイッチ8から、ストレージサーバプロセッサ14へ及びストレージサーバプロセッサ14から、及びRAIDコントローラ18へ及びRAIDコントローラ18から、他のデータストレージサーバ10との間でデータを通信する。
ストレージサーバプロセッサ14との間でのデータ通信 は、ネットワークデータストレージシステム2の管理に関する制御データのみを有するデータペイロードを含んでいる。RAIDコントローラ18とのデータ通信は、マルチメディアデータだけを有するデータペイロードを含み、仲介ネットワークスイッチ8とのネットワークデータ通信は、マルチメディアデータまたは制御データを有するデータペイロードを含んでいる。データストレージサーバ10間のデータ通信は、蓄積部4のデータストレージサーバ10のシンクロナイゼーション(synchronisation) 及び管理に関する制御データを有するデータペイロードを含んでいる。
RAIDコントローラ18は、専用のハードウエアで実現され、制御部、ストリームプロセッサ、ストリッピングプロセッサ、及びSCSIコントローラを含む。制御部は、ストレージサーバ14のコマンドを実行し、ストリッピングプロセッサ及びSCSIコントローラと通信するようになっている。ストリームプロセッサは、デジタルネットワーク上を転送されるように、ネットワークインターフェイス16にマルチメディアデータペイロードを送出する。ストリームプロセッサはまた、ネットワークインターフェイスデバイス16からストリッピングプロセッサへマルチメディアデータを送信し、ストリッピングプロセッサは、データのストリームを、RAIDディスクのディスクアクセスサイズに応じて16ビットのワードに分割する。ストリームプロセッサの2つの動作は双方向かつ同時である。SCSIコントローラは、シリアルアタッチドSCSIインターフェイスを通してRAIDディスクと通信し、RAIDに16ビットのデータワードを書き込み、RAIDディスクからデータを読み出す。ディスクへのまたはディスクからのデータの送受信におけるSCSIコントローラの応答性を高めることにより、蓄積部4とデジタルネットワークとの間のデータ転送速度を最大限に高めることができる。RAIDコントローラ18はハードウェアであり、ストレージサーバプロセッサ14に関連づけられたRAIDディスク上でデータのRAIDレベル5のオーガニゼーションをプログラムにより実行する。
ストレージサーバプロセッサ14は、蓄積部4内のデジタルファイルの蓄積及び取得を管理するための、分散デジタルファイルの管理方法を実行するように形成されたサーバソフトウェアを含む。
デジタルファイル書込要求に従い、各データストレージサーバ10の分散デジタルファイルの管理方法は、少なくとも2つのデジタルファイルセグメントにデジタルファイルを分割し、ローカルストレージコンポーネント12内の蓄積の為に少なくとも2つのデータストレージサーバ10にデジタルファイルセグメントを通信する。例えば、蓄積部4が2つのデータストレージサーバ10と2つのセグメントに分割されたデジタルファイルとを含む場合、各データストレージサーバ10はデジタルファイルの全てのセグメントを受信するか、または各データストレージサーバ10で異なるたった1つのセグメントを受信するかのどちらかである。
デジタルファイルを複数のデータストレージサーバ10に蓄積されたデジタルファイルセグメントに分割することにより、蓄積部4との間のデータの通信中に、1つのデータストレージサーバ10へのデータの集中を防止する。
分散デジタルファイルの管理方法により、更に、クライアント6に対して蓄積部4が統合されたストレージエンティティ (storage entity)として提示され、蓄積部4の内部構造、データストレージサーバ10の存在、及びローカルストレージコンポーネント12の存在が直接クライアント6から見えないようになる(concealed)。
蓄積部4上に蓄積されたデジタルファイルは、クライアントに対し、ディレクトリとルートディレクトリとを有するデジタルファイルの論理的なセットを持つ統合されたストレージオーガナイゼーションとして提示される。クライアント6がデジタルファイルを要求すると、クライアントの視点からは、蓄積部4へのクライアント6のユニーク仮想エントリーポイントを介し、蓄積部4の統合ファイルシステムへの要求が生成され、クライアント6が蓄積部4のユニーク仮想エントリーポイントを介して蓄積部4の統合ファイルシステムから非分割のエンティティーとしてデジタルファイルを受信する。
各データストレージサーバ10のストレージサーバプロセッサ14は蓄積管理テーブル20を含み、このテーブルは分散デジタルファイルの管理方法により更新される。蓄積管理テーブル20は、データストレージサーバ10へのデジタルファイルセグメントへの書き込みや更新などのデータストレージサーバ10により実行される動作に関する情報を含んでいる。蓄積管理テーブル20は、データストレージサーバ10で結合されるデジタルファイルセグメントに関する情報を含み、更にまた蓄積部4の他の全てのストレージサーバ10が有するデジタルファイルセグメントに関する情報を含む。
データストレージサーバ10上でのデジタルファイルセグメントの書き込みや変更などの動作に従い、関連するデータストレージサーバ10はその蓄積管理テーブル20を更新し、全ての他のデータストレージサーバ10にその動作を通信する。他のデータストレージサーバ10のそれぞれは、続いて各自の蓄積管理テーブル20を、付加された新たなデジタルファイルセグメントにより、または既存のデジタルファイルファイルセグメントに加えた変更により、更新する。
各データストレージサーバ10は、データストレージサーバ10間の通信を介して、他のデータストレージサーバ10のそれぞれの各蓄積管理テーブル20にアクセスする。
各データストレージサーバ10は、各データストレージサーバ10において実行されるデジタルファイルセグメントの書き込み及び更新動作だけでなく、蓄積部4上に蓄積された全てのデジタルファイル及びデータストレージサーバ10間のデジタルファイルセグメントの分散について、十分な知識を持つ。
各データストレージサーバ10は、分散デジタルファイルの管理方法を実行することにより、蓄積部4上に蓄積された全てのデジタルファイルを把握し、かつディレクトリとルートディレクトリとを有するデジタルファイルの論理的なセットを持つ統合ストレージオーガナイゼーション(unified storage organisation)をクライアント6に提示する。デジタルファイルの書込要求の間、分散デジタルファイルの管理方法により、蓄積部4上に蓄積された全てのデジタルファイルに関する全ての情報の概要を用い、分割されたデジタルファイルのデジタルファイルセグメントを通信するデータストレージサーバ10を決定する。
分散デジタルファイルの管理方法では、データストレージサーバ10内のデジタルファイルセグメントの書き込みまたは変更プロセスの間、蓄積管理テーブル20へのエントリの付加または関連するデジタルデータストレージサーバ10の蓄積管理テーブル20の既存のエントリの更新を行う。
データストレージサーバ10内のデジタルファイルセグメントの書き込みまたは変更プロセスの間、分散デジタルファイルの管理方法により書き込みまたは変更中のデジタルファイルセグメントへのアクセスをブロックする。他のデータストレージサーバ10またはデジタルファイルセグメントがそこで書き込まれているまたは変更されているそのデータストレージサーバ10は、書き込みまたは更新プロセスの間は、デジタルファイルセグメントにアクセスし、クライアントへの転送やデジタルファイルセグメントの更新を実行することはできない。
分散デジタルファイルの管理方法ではまた、デジタルファイルセグメントが属しているデジタルファイルの変更要求がクライアント6から発行された場合、読み出し中のデジタルファイルセグメントへのアクセスをブロックする。分散デジタルファイルの管理方法では、デジタルファイルセグメントが属するデジタルファイルの読出要求がクライアント6から発行された場合、読み出し中のデジタルファイルセグメントへのアクセスをブロックしない。これにより、蓄積されたデジタルファイルへのクライアントからの複数の読出アクセスが可能になる。
変更中のまたは書き込み中のデジタルファイルセグメントを持つデジタルファイルを有するディレクトリのコンテンツを1または複数のクライアントが検索している場合、そのデジタルファイルに関するデータ、例えばメタデータは、全てのクライアント6に対して簡素化及び統合された蓄積部4のビューを維持するために、蓄積管理テーブル20が更新された時に転送されるだけである。
分散デジタルファイルの管理方法ではデータストレージサーバ10間のデジタルファイルセグメントの分散に関する蓄積管理テーブル20内の情報にアクセスできるけれども、データストレージサーバ10のローカルストレージコンポーネント12上のデジタルファイルセグメントの物理的位置及びオーガナイゼーションに関する情報にはアクセスしない。各データストレージサーバ10のストレージサーバプロセッサ14は、ローカルデジタルファイル管理方法を実行するソフトウェアを含み、このソフトウェアはローカルストレージコンポーネント12上のデジタルファイルセグメントの物理的配置及びオーガナイゼーションを管理する。
RAIDコントローラ18は、ストレージサーバプロセッサ14の管理下でRAIDディスクに転送するためのファイルセグメントデータを準備し、ローカルデジタルファイル管理方法はそのディスク上のデータの物理的オーガナイゼーションを管理する。データストレージサーバ10により受信されたデジタルセグメントのRAIDコントローラ18による16ビットディスクアクセスワードへの分割に続き、ローカルデジタルファイル管理方法では、512バイトサイズのRAIDディスクのディスクセクタへの16ビットディスクアクセスワードの物理的配置をオーガナイズする。
ローカルデジタルファイル管理方法では、ストレージサーバプロセッサ14内のファイルセグメント割り当てテーブル22を更新することにより、ディスクセクタ内のデータの物理的な位置を追跡する 。ファイルセグメント割り当てテーブル22は、どのファイルセグメントにどのセクターが属するか、及びどのセクターが未使用のままか、を管理するために用いられる。
クライアント6からのデジタルファイル読出要求に続き、関連するデータストレージサーバ10における分散デジタルファイルの管理方法では、データストレージサーバ10からの正しい順序にデジタルファイルの各デジタルファイルセグメントを時間的にシンクロナイズして復元させ 、デジタルファイルセグメントの連続的なストリームを形成し、ロードバランサ13を介してクライアント6に送信し、クライアント6によるリアルタイムでの使用に供する。
そのようなシンクロナイズが必要とされるのは、クライアント6に非常に大きなメモリバッファと過剰なデータ処理を要求する、マルチメディアデータに含まれる大容量データの為にデータバッファリングが用いられないからである。
蓄積部4からのマルチメディアデータに対する読出要求は、各データストレージサーバ10からのデジタルファイルセグメントの転送の順序が厳密に遵守(respect)されており、かつデジタルファイルセグメントが時間的に厳密に連続的に配信されることを必要とする。図2Cは、データストレージサーバAとデータストレージサーバBそれぞれからの第1及び第2デジタルファイルセグメントを含むデジタルファイルの理想的な取得を示す。図2A及び図2Bに示す場合とは異なり、図2Cでは、デジタルファイルの取得は正しい順序で行われ、デジタルファイルセグメント間で時間的に連続性が保たれている。図2A及び図2Bは、クライアントへのマルチメディアデータの到着の妨げを結果的に生じる、デジタルファイルセグメント間のとぎれ及び重複の場合を示す。
分散デジタルファイルの管理方法では、図3に示すようにシンクロナイズ処理29が実行され、複数のデータストレージサーバ10に含まれる1つのデジタルファイルのデジタルファイルセグメントの処理をシンクロナイズさせ、1つのデジタルファイルをクライアント6に正しく配信する。
デジタルファイル読出要求は、ロードバランサ13を介してデータストレージサーバ10の任意の1つにおいて受信される(本実施形態においては最も小さなワークロードのデータストレージサーバ10)。もし受信したデータストレージサーバ10がデジタルファイルの最初のデジタルファイルセグメントを持たないデジタルストレージサーバ10であれば、受信データストレージサーバ10はその蓄積管理テーブル20を調べ、他のデータストレージサーバ10上のデジタルファイルの全てのデジタルファイルセグメントの分散に関する情報を復元(recuperate)する。分散デジタルファイルの管理方法は、要求されたデジタルファイルの最初のデジタルファイルセグメントを含むデータストレージサーバ10に対して読出要求を内部的に通信する。
最初のデジタルファイルセグメントを持つデータストレージサーバ10における分散デジタルファイルの管理方法では、同様にして情報を蓄積管理テーブル20から復元(recuperate)する。蓄積管理テーブル20には、他のデータストレージサーバ10上のデジタルファイルの全てのデジタルファイルセグメントの配置に関する情報が含まれている。最初のデジタルファイルセグメントを含むデータストレージサーバ10での分散デジタルファイルの管理方法では、次いで他のデジタルファイルセグメントのそれぞれを含む他のデータストレージサーバ10に対して読出要求が発行されたことを通知し、ローカルストレージコンポーネント12から転送されるべきデジタルファイルセグメントを通知する。分散デジタルファイルの管理方法ではまた、ロードバランサ13に、自身が最初のデータセグメントを含むデータストレージサーバ10であることを通知し、ロードバランサ13は自身のルーティングテーブルをそれによって更新する。ロードバランサ13にはまた、後続のデータセグメントを通信するであろうデータストレージサーバ10の通知が送られる。
最初のデジタルファイルセグメントを含むデータストレージサーバ10は、最初のデジタルファイルセグメントの転送を開始する。デジタルファイルの最初のデジタルファイルセグメントを含むデータストレージサーバ10(図3のデータストレージサーバ“A”によって示されている)は、第1の処理ステップ30を実行し、最初のデジタルセグメントの取得を開始し、最初のデジタルファイルセグメントはロードバランサ13に通信される。ロードバランサ13は、自身のルーティングテーブルに記録されている情報に従って、クライアント6への最初のデジタルファイルセグメントの転送を続行する。
最初のデータセグメント を含むデータストレージサーバ10は次いで通信ステップ32を実行し、いつ処理が後続のデータストレージサーバ10に渡されるのか(図3のデータストレージサーバ“B”によって示される)または現在のデータセグメントがデジタルファイルの最後のデータセグメントである場合、いつ現在のデジタルセグメントの取得が終了するのか、を示すイーサネットフレーム番号を、ロードバランサ13に通知する。
時間シンクロナイズステップ34では、データストレージサーバ間の内部的通信を介して、現在のデータストレージサーバ10と2つ目のデジタルファイルセグメントを有する後続のデータストレージサーバ10とのクロック周期をシンクロナイズさせる。これにより、1つのデータストレージサーバから後続のデータストレージサーバ10へ処理の実行主体が移る間 、データ転送の厳密な時間に対する要求を担保することが出来る。
通知ステップ36では、後続のデジタルファイルセグメントを含むデータストレージサーバ10に対して厳密な開始時間を送信する。前記後続のデジタルファイルセグメントは、後続のデジタルファイルセグメントを含むデータストレージサーバ10が、クライアント6に対して2つ目のデジタルファイルセグメントの転送を続行するロードバランサ13に、次のデータセグメントの通信を開始する時間を示す。 開始時間の通知により、関連するデータストレージサーバ10は、開始時間に先立って後続のデジタルファイルセグメントの処理及び取得を準備することが出来、後続のデータストレージサーバ10は転送を続行し、かつデータ転送の時間的連続性を遵守(respect)することができる。
停止ステップ38では、開始時間において正確に最初のデジタルファイルセグメントの処理を停止し、第2処理ステップ40では、次いでロードバランサ13に通信されるべき次のデジタルセグメントを、後続のデータストレージサーバ10において開始時間から取得し始める。
反復ステップ42では、現在のデータセグメントがデジタルファイルの最後のデータセグメントであり第1処理ステップ、通信ステップ、及び停止ステップだけが反復される場合を除き、前述の全てのステップを要求されたデジタルファイルの各データセグメントに対して繰り返す。
分散デジタルファイルの管理方法で用いられるシンクロナイズ処理29により、デジタルストレージサーバ10から正しい順序でデジタルファイルが取得され、デジタルファイルセグメント間の時間的な連続性が遵守(respect)される。クライアントは蓄積部4からのデジタルファイルを要求し、蓄積部4からの連続的なデータストリームにおいて統合されたデジタルファイルを取得する。
クライアント6によるデジタルファイル書込要求は、デジタルファイル読出要求により要求される厳密な時間的連続性を要求しない。しかし、上記のシンクロナイズ処理に類似するシンクロナイズ処理は、データストレージサーバ10に対してデジタルファイルセグメントの書き込みをシンクロナイズさせるために用いられる。処理ステップは、次いでデジタルファイルセグメントをデータストレージサーバ10に通信し、蓄積させる。
蓄積部4が、ローカルストレージコンポーネント12を有する内部的に接続された複数のデータストレージサーバ10と、全てのデータストレージサーバ10に関する全ての情報へのアクセスを有する分散デジタルファイルの管理方法とを有しているため、リニアなデータ通信の厳密な時間的要求を遵守する(respect)、クライアント6へのデータ通信が可能である。分散デジタルファイルの管理方法により、更にクライアントに対して統合された蓄積部を提示でき、クライアントにとってファイルシステムの管理を簡略化することができる。
本例では、デジタルネットワークはイーサネットを用いて構成されている。しかし、本発明での他の実施形態では、デジタルネットワークは、例えばATM(asynchronous transfer mode)ネットワークなどの他のネットワークを用いて実現することができる。
加えて、本実施形態はマルチメディアデータの蓄積及び通信に適した形態を記載している。しかし、本発明によるネットワークデータストレージシステム2は、IT(information technology)データなどのあらゆるタイプのデータの通信及び蓄積に同様に用いることができる。
本実施形態において分散デジタルファイルの管理方法により蓄積管理テーブル20に記録されるように選択される動作及びデジタルファイルセグメントへのアクセスをブロックする動作は、本発明の1つの実施形態の一例に過ぎないことは理解されるべきである。本発明の他の実施形態においては、ネットワークデータストレージシステムの異なる動作及び機能は、蓄積管理テーブル20に記録される付加的な動作またはより少ない動作を選択することによって、及びデジタルファイルセグメントへのアクセスをブロックする動作を変更することによって、実現される。
更に、アクセスは異なるレベルにおいてブロック可能であり、例えばディレクトリレベルでのデジタルファイルセグメントのみに限らない。
本発明のネットワークデータストレージスステムの概略的なブロック図である。 ネットワークデータストレージスステムにおけるデジタルファイルのデータセグメントの処理に付随する潜在的な問題を示す概略的なブロック図である。 ネットワークデータストレージスステムにおけるデジタルファイルのデータセグメントの処理に付随する潜在的な問題を示す概略的なブロック図である。 ネットワークデータストレージスステムにおけるデジタルファイルのデータセグメントの処理に付随する潜在的な問題を示す概略的なブロック図である。 図1のネットワークデータストレージスステムにおけるデジタルファイルのデータセグメントの処理を同期するための方法のフローチャートである。

Claims (7)

  1. データを蓄積し、少なくとも一つのデジタルファイルのデータを含む蓄積部(4)と、
    前記蓄積部(4)の少なくとも一つのデジタルファイルにアクセスする少なくとも一つのネットワーククライアント(6)と、
    少なくとも一つのネットワーククライアント(6)と前記蓄積部(4)との間のリエゾンを形成する仲介ネットワークスイッチ(8)と、
    を含むネットワークデータストレージシステム(2)であって、
    前記蓄積部(4)は少なくとも二つのデータストレージサーバー(10)を含み、各データストレージサーバー(10)は少なくとも一つのデジタルファイルのデジタルファイルセグメントを含むローカルストレージコンポーネント(12)を有し、かつ、各データストレージサーバー(10)は、データストレージサーバー(10)のローカルストレージコンポーネント(12)内の少なくとも一つのデジタルファイルセグメントの物理的位置をオーガナイズするローカルデジタルファイル管理方法を実行し、
    各データストレージサーバー(10)は他のデータストレージサーバー(10)と前記蓄積部(4)内で通信し、かつ配信されたデジタルファイルの管理方法を実行し、前記配信されたデジタルファイルの管理方法は各データストレージサーバー(10)のデジタルファイルセグメントに関する動作の記録を保持し、他のデータストレージサーバー(10)と内的に通信して前記データストレージサーバー(10)上のデジタルファイルセグメンツに関する情報を交換し、かつ前記蓄積部(4)上に蓄積された全てのデジタルファイルに関する全ての情報の概要を取得し、前記ネットワークデータストレージシステム(2)は以下を特徴とする。
    前記仲介ネットワークスイッチ(8)はロードバランサー(13)を有し、
    前記ロードバランサー(13)は各データストレージサーバー(10)の現在の及び想定されるアクションの最新の記録を保持し、ネットワーククライアント(6)の要求をデータストレージサーバー(10)の一つに前記蓄積部(4)にアクセスするために通信し、前記デジタルファイルを受信及び通信し、前記デジタルファイルはデジタルファイル読み出し要求に従い、前記クライアント(6)に対して前記データストレージサーバー(10)から転送される時間的に同期したデータセグメントを含んでおり、前記データセグメントは、リアルタイムでの使用に供する連続したデータストリームを形成し、現在のデータストレージサーバと前記データセグメントの次のデータセグメントを含む後続のデータストレージサーバのクロックサイクルの同期を取ることによって時間的に同期されるように構成され、
    前記現在のデータストレージサーバー(10)は、前記後続のデータストレージサーバーが前記ロードバランサー(13)に前記次のデータセグメントの通信を開始する時間を示す正確な開始時間を、前記後続のデータストレージサーバーに送信するように構成される。
  2. 配信されたデジタルファイルの管理方法を実行する点に特徴のある請求項1に記載のネットワークデータストレージシステム(2)であって各データストレージサーバー(10)は、少なくとも一つのネットワーククライアント(6)に対する及び前記データストレージサーバー(10)間におけるデータ通信をオーガナイズする手段と、前記蓄積部(4)上に蓄積された全てのデジタルファイルに関する全ての情報の概略に基づいて前記データストレージサーバー(10)上の少なくとも一つのデジタルファイルのデジタルファイルセグメントの論理的なオーガナイゼーションを管理するための手段とを有している。
  3. 請求項1又は2に記載のネットワークデータストレージシステム(2)であって以下の点に特徴がある。
    各データストレージサーバー(10)は前記仲介ネットワークスイッチ(8)と通信し、前記ネットワーククライアント(6)は前記蓄積部(4)へのユニーク仮想エントリーポイントを有しており、前記配信されたデジタルファイルの管理方法データストレージサーバー(10)は前記蓄積部(4)に対し前記ネットワーククライアント(6)を統合記憶部(4)として提示し前記ネットワーククライアント(6)から前記データストレージサーバー(10)及び前記ローカルストレージコンポーネント(12)を隠す。
  4. 請求項1から3のいずれかに記載のネットワークデータストレージシステム(2)であって下記の点を特徴とする。
    各データストレージサーバー(10)は前記ネットワーククライアント(6)のデジタルファイル書き込み要求に従い、少なくとも一つのデジタルファイルをデジタルファイルセグメントに分割し、少なくとも二つのデータストレージサーバー(10)のローカルストレージコンポーネント(12)に前記デジタルファイルセグメントを通信して記憶させる。
  5. 請求項1から4のいずれかに記載のネットワークデータストレージシステム(2)であって以下の点を特徴とする。
    各データストレージサーバー(10)は各ネットワーククライアント(6)のデジタルファイル読み出し要求に応じ、前記ローカルストレージコンポーネント(12)から少なくとも一つのデジタルファイルの各データセグメントの回復を時間的に同期させてデータセグメントのリアルタイム連続ストリームを形成し、データセグメントの重複や不連続なしに少なくとも一つのデジタルファイルを再構築する。
  6. 請求項1から5のいずれかに記載のネットワークデータストレージシステム(2)であって、各ローカルストレージコンポーネント(12)はRAID(redundant array of independent disks)であることを特徴とするネットワークデータストレージシステム(2)。
  7. 各ローカルストレージコンポーネント(12)はハードディスクドライブであることを特徴とする、請求項1から5に記載のネットワークデータストレージシステム(2)。
JP2007125855A 2006-05-16 2007-05-10 ネットワークデータストレージシステム Expired - Fee Related JP5208446B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06290792.8 2006-05-16
EP06290792A EP1858228A1 (en) 2006-05-16 2006-05-16 Network data storage system with distributed file management

Publications (2)

Publication Number Publication Date
JP2007317183A JP2007317183A (ja) 2007-12-06
JP5208446B2 true JP5208446B2 (ja) 2013-06-12

Family

ID=37075507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007125855A Expired - Fee Related JP5208446B2 (ja) 2006-05-16 2007-05-10 ネットワークデータストレージシステム

Country Status (4)

Country Link
US (1) US8484367B2 (ja)
EP (1) EP1858228A1 (ja)
JP (1) JP5208446B2 (ja)
CN (1) CN101076021B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080162589A1 (en) * 2006-12-29 2008-07-03 Microsoft Corporation Weakly-consistent distributed collection compromised replica recovery
US20080294701A1 (en) * 2007-05-21 2008-11-27 Microsoft Corporation Item-set knowledge for partial replica synchronization
US8505065B2 (en) * 2007-06-20 2013-08-06 Microsoft Corporation Access control policy in a weakly-coherent distributed collection
US20090006489A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Hierarchical synchronization of replicas
US7685185B2 (en) * 2007-06-29 2010-03-23 Microsoft Corporation Move-in/move-out notification for partial replica synchronization
JP2009181308A (ja) * 2008-01-30 2009-08-13 Hamamatsu Photonics Kk ストレージシステム
US20100274886A1 (en) * 2009-04-24 2010-10-28 Nelson Nahum Virtualized data storage in a virtualized server environment
CN101930423B (zh) * 2009-06-23 2014-04-23 联想(北京)有限公司 一种服务器、一种交换控制设备及一种网络系统
US20120278371A1 (en) * 2011-04-28 2012-11-01 Luis Montalvo Method for uploading a file in an on-line storage system and corresponding on-line storage system
US9137294B2 (en) * 2011-08-19 2015-09-15 KeepTree, Inc. Method, system, and apparatus for future delivery of digital content over a network
US8966172B2 (en) 2011-11-15 2015-02-24 Pavilion Data Systems, Inc. Processor agnostic data storage in a PCIE based shared storage enviroment
US9652182B2 (en) 2012-01-31 2017-05-16 Pavilion Data Systems, Inc. Shareable virtual non-volatile storage device for a server
US20140280347A1 (en) * 2013-03-14 2014-09-18 Konica Minolta Laboratory U.S.A., Inc. Managing Digital Files with Shared Locks
JP6115308B2 (ja) * 2013-05-22 2017-04-19 富士通株式会社 情報処理システム、情報処理システムの制御方法、及び制御プログラム
US9524015B2 (en) * 2014-02-19 2016-12-20 Western Digital Technologies, Inc. Device optimized power management
JP2015191534A (ja) * 2014-03-28 2015-11-02 富士通株式会社 サーバ装置、情報格納プログラム、及び情報格納方法
JP6354431B2 (ja) * 2014-08-04 2018-07-11 株式会社バッファロー 記憶装置
CN105450964B (zh) * 2014-09-30 2020-03-17 杭州海康威视系统技术有限公司 对录像数据进行云存储的方法、系统及管理节点
US9565269B2 (en) 2014-11-04 2017-02-07 Pavilion Data Systems, Inc. Non-volatile memory express over ethernet
US9712619B2 (en) 2014-11-04 2017-07-18 Pavilion Data Systems, Inc. Virtual non-volatile memory express drive
US11356359B2 (en) * 2015-09-02 2022-06-07 Telefonaktiebolaget Lm Ericsson (Publ) Methods and network nodes for scalable top-of-chain selection in mobile service chaining
US10531592B1 (en) * 2018-07-19 2020-01-07 Quanta Computer Inc. Smart rack architecture for diskless computer system
FR3097092B1 (fr) * 2019-06-04 2021-06-18 Thales Sa Procédé de stockage de fichiers numériques mis en oeuvre par un réseau avionique déterministe et à routage prédéterminé, et système de communication avionique associé

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3461278B2 (ja) * 1997-02-19 2003-10-27 日本電信電話株式会社 分散マルチメディアサーバ装置,分散マルチメディアサーバ情報アクセス方法およびこの方法を実現するプログラムを記録した記録媒体
JP2000148634A (ja) * 1998-11-10 2000-05-30 Victor Co Of Japan Ltd 動画像サーバシステム
US6721794B2 (en) * 1999-04-01 2004-04-13 Diva Systems Corp. Method of data management for efficiently storing and retrieving data to respond to user access requests
JP2000305831A (ja) * 1999-04-22 2000-11-02 Tadamitsu Ryu 分散環境におけるファイル管理の方法、システム。
US7428540B1 (en) * 2000-03-03 2008-09-23 Intel Corporation Network storage system
US7506034B2 (en) * 2000-03-03 2009-03-17 Intel Corporation Methods and apparatus for off loading content servers through direct file transfer from a storage center to an end-user
US8949471B2 (en) * 2000-11-02 2015-02-03 Oracle America, Inc. TCP/UDP acceleration
US20040133606A1 (en) * 2003-01-02 2004-07-08 Z-Force Communications, Inc. Directory aggregation for files distributed over a plurality of servers in a switched file system
US7562110B2 (en) * 2001-01-11 2009-07-14 F5 Networks, Inc. File switch and switched file system
US7512673B2 (en) * 2001-01-11 2009-03-31 Attune Systems, Inc. Rule based aggregation of files and transactions in a switched file system
US8195760B2 (en) * 2001-01-11 2012-06-05 F5 Networks, Inc. File aggregation in a switched file system
US6880062B1 (en) * 2001-02-13 2005-04-12 Candera, Inc. Data mover mechanism to achieve SAN RAID at wire speed
US6795895B2 (en) * 2001-03-07 2004-09-21 Canopy Group Dual axis RAID systems for enhanced bandwidth and reliability
US20020157113A1 (en) * 2001-04-20 2002-10-24 Fred Allegrezza System and method for retrieving and storing multimedia data
JP4001727B2 (ja) * 2001-06-15 2007-10-31 富士通株式会社 ファイルアクセス制御プログラム、ファイルアクセス制御装置およびファイルアクセス制御方法
US7248585B2 (en) * 2001-10-22 2007-07-24 Sun Microsystems, Inc. Method and apparatus for a packet classifier
JP3800508B2 (ja) * 2001-11-09 2006-07-26 日本電信電話株式会社 サーバへの接続の振り分け方法およびそのプログラムと記録媒体
US7788396B2 (en) * 2001-11-28 2010-08-31 Interactive Content Engines, Llc Synchronized data transfer system
JP4154893B2 (ja) * 2002-01-23 2008-09-24 株式会社日立製作所 ネットワークストレージ仮想化方法
US20030145086A1 (en) * 2002-01-29 2003-07-31 O'reilly James Scalable network-attached storage system
US7774466B2 (en) * 2002-10-17 2010-08-10 Intel Corporation Methods and apparatus for load balancing storage nodes in a distributed storage area network system
US6839740B1 (en) * 2002-12-27 2005-01-04 Veritas Operating Corporation System and method for performing virtual device I/O operations
JP4068473B2 (ja) * 2003-02-19 2008-03-26 株式会社東芝 ストレージ装置、分担範囲決定方法及びプログラム
US7831641B2 (en) * 2003-04-24 2010-11-09 Neopath Networks, Inc. Large file support for a network file server

Also Published As

Publication number Publication date
EP1858228A1 (en) 2007-11-21
JP2007317183A (ja) 2007-12-06
US20090019054A1 (en) 2009-01-15
CN101076021A (zh) 2007-11-21
US8484367B2 (en) 2013-07-09
CN101076021B (zh) 2012-11-07

Similar Documents

Publication Publication Date Title
JP5208446B2 (ja) ネットワークデータストレージシステム
US7143433B1 (en) Video distribution system using dynamic segmenting of video data files
US7039784B1 (en) Video distribution system using dynamic disk load balancing with variable sub-segmenting
US6925499B1 (en) Video distribution system using disk load balancing by file copying
US7246369B1 (en) Broadband video distribution system using segments
JP5160657B2 (ja) コンピュータ・システムおよび多数の記憶装置および多数のアプリケーション間でスケーラブルにかつ信頼性高く多数の高帯域データ・ストリームを転送するプロセス
JP4504677B2 (ja) 記憶装置から成る分散型ファイルシステム上の情報をトラッキングするためのメタデータを提供するシステムおよび方法
EP2002640B1 (en) Transcoding for a distributed file system
US20050114350A1 (en) Virtual file system
MXPA06006330A (es) Sistema de transferencia de datos sincronizado.
US20030154246A1 (en) Server for storing files
US12101524B2 (en) System and method for storing multimedia files using an archive file format
CN104102742A (zh) 一种高性能海量存储系统及存储方法
KR20020057837A (ko) 스트리밍 서비스 방법 및 장치
JP2000339279A (ja) 映像分散キャッシュ装置、及び映像収集再生装置
US9229944B2 (en) Scalable networked digital video recordings via shard-based architecture
Bosch Mixed-media file systems
Gusev et al. Data-centric video for mixed reality
EP1858229A1 (en) Network data storage system with distributed file management
Qiang et al. A Hyper-converged video management system based on object storage
US20150088943A1 (en) Media-Aware File System and Method
KR20040074805A (ko) 스트리밍 서비스 방법 및 장치
Shim Supporting I/O-intensive applications in a high performance storage system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120604

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120702

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees