JP5159475B2 - ストレージシステムおよびストレージシステムの動作方法 - Google Patents
ストレージシステムおよびストレージシステムの動作方法 Download PDFInfo
- Publication number
- JP5159475B2 JP5159475B2 JP2008172862A JP2008172862A JP5159475B2 JP 5159475 B2 JP5159475 B2 JP 5159475B2 JP 2008172862 A JP2008172862 A JP 2008172862A JP 2008172862 A JP2008172862 A JP 2008172862A JP 5159475 B2 JP5159475 B2 JP 5159475B2
- Authority
- JP
- Japan
- Prior art keywords
- port
- storage control
- control unit
- virtual
- switch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5019—Ensuring fulfilment of SLA
- H04L41/5022—Ensuring fulfilment of SLA by giving priorities, e.g. assigning classes of service
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
[0004] 最近の動向によれば、複数の分散されたコンピューティングリソースが単一のエンティティの役割をするように動作させられる「ストレージグリッド」と呼ばれる概念が存在する。そのようなストレージグリッドは、ストレージ業界で、より広く使用されるようになっている。一形態のストレージグリッドとして、複数のストレージ制御ユニットが一緒に構成されて単一のストレージシステムの役割をする構成を構築することができる。そのような構成では、複数のストレージ制御ユニットが、ユニット間ネットワークを介して互いに接続される。この複数のストレージ制御ユニットは、ユニット間ネットワークを介して管理情報およびデータを交換して、これらのユニットが単一のストレージシステムとして機能できるようにする。しかし、そのようなストレージグリッド構成の欠点が生じる可能性があるのは、ユニット間ネットワーク自体が、ホストコンピュータからのI/O(入力/出力)要求を処理するのに使用される場合である。特に、それらのI/O要求の処理パフォーマンスは、ユニット間ネットワークが、I/O要求を処理するのに使用されなければならない場合には、ユニット間ネットワークを使用せずにストレージ制御ユニットのうちの1つのユニット内だけで完了されるI/O要求に関する処理パフォーマンスと比べて低下する可能性がある。
[0050] 図1は、本発明が適用されることが可能な情報システムの例示的な構成を示す。ストレージシステム100が、1つまたは複数のフロントエンドFCスイッチ140を介して、1つまたは複数のホストコンピュータ150と通信しており、LAN(ローカルエリアネットワーク)170を介して、管理サーバ160およびホスト150と通信している。ストレージシステム100は、ストレージグリッド構成で構成され、複数のストレージ制御ユニット101、1つまたは複数のバックエンドFCスイッチ120、および1つまたは複数の外部ストレージ制御ユニット130を含む。各ストレージ制御ユニット101は、CPU102、メモリ103、NVRAM(不揮発性ランダムアクセスメモリ)104、キャッシュメモリ105、ディスクコントローラ106、複数のディスクドライブ107、複数のFCインタフェースコントローラ108、イーサネット(登録商標)インタフェースコントローラ110、およびユニット間ネットワークコントローラ112を含む。これらの構成要素は、内部バス111を介して互いに接続される。さらに、3つのストレージ制御ユニット101a〜101cが、図示されているが、本発明は、いずれの特定の数のストレージ制御ユニットにも限定されない。
[0060] 図5Aに示されるとおり、3種類のソフトウェアモジュール501、502、505が、各ストレージ制御ユニット101のメモリ103に読み込まれており、2種類の管理テーブル503、504が、各ストレージ制御ユニット101のNVRAM104の中に格納されている。ボリュームグループマネージャ501は、各ストレージ制御ユニット101内で、ストレージ制御ユニット101上のVLUと、外部ストレージ制御ユニット130上のLUとの間のマッピングを、ボリュームグループマッピングテーブル503を使用して管理する。また、ボリュームグループマネージャ501は、各ストレージ制御ユニット101内で、VLUがいずれのホストにエクスポートされるか、いずれの仮想N_Portを介してVLUが、ホストにエクスポートされ、LUにマップされるか、ならびにいずれの物理N_Port上に仮想N_Portが関連付けられるかを管理する(仮想N_Portおよび物理N_Portの機能および用法は、後段でさらに説明される)。物理パスマネージャ502は、各ストレージ制御ユニット101内で物理パス管理テーブル504を使用して、いずれの物理N_Portが、各ストレージ制御ユニット101上に存在するかを管理する。また、物理パスマネージャは、いずれのホスト150または外部ストレージ制御ユニット130に、各物理N_Portを使用して到達することができるかを管理するとともに、各物理N_Portのステータスをさらに管理する。転送マネージャ505は、管理サーバ160によって発行された、ストレージ制御ユニット101の間の仮想N_Port、VLU、または仮想N_PortとVLUのグループの転送に関する命令を受信し、命令されるとおりに転送を開始する。
[0063] ファイバチャネルインタフェースを有するデバイスは、「ノード」と呼ばれ、インタフェースに相当する物理端末は、「ポート」と呼ばれる。1つのノードは、1つまたは複数のポートを有することが可能である。全体的なファイバチャネルシステムに同時に参加することができるポートの数は、最大で24ビット、つまり、224(16,777,216)というアドレス数である。これらの接続を仲介するFC(ファイバチャネル)スイッチなどのハードウェアは、「ファブリック」または「スイッチングファブリック」と呼ばれる。各ノード上の各ポートは、「N_Port」と呼ばれ、各FCスイッチ上の各ポートは、「F_Port」と呼ばれる。この説明において、ホスト150、ストレージ制御ユニット101、および外部ストレージ制御ユニット130は、「ノード」と呼ばれ、「N_Port」は、各ノード上の各FCインタフェースコントローラ108に当たり、「F_Port」は、フロントエンドFCスイッチ140上、またはバックエンドFCスイッチ120上の各FCインタフェースコントローラに当たる。このため、図1の構成において、フロントエンドFCスイッチ140と通信するFCインタフェースコントローラ108は、「フロントエンド物理ポート」と呼ばれることが可能であるのに対して、バックエンドFCスイッチ120と通信するFCインタフェースコントローラ108は、「バックエンド物理ポート」と呼ばれることが可能である。フロントエンドFCスイッチとバックエンドFCスイッチの両方の役割をする1つだけのFCスイッチが存在する状況において、単一のFCインタフェースコントローラ108が、後段でさらに説明されるとおり、各物理ポートに割り当てられた複数の仮想ポートの使用を介して、フロントエンド物理ポートとバックエンド物理ポートの両方の役割をしてもよく、あるいは単一のFCスイッチと通信するために、各ストレージ制御ユニット上で複数の物理ポートが、提供されてもよい。
[0070] ファブリックに参加するのに、ファブリックに接続されるべきすべてのN_Portが、ファブリックログインを最初に実行する必要がある。ファブリックログインを介して、FCスイッチは、N_Port_IDを各N_Portに割り当て、次に、FCスイッチ上でN_Portに関するルーティング情報を確立する。物理N_Portに関して使用されるログイン手続きは、仮想N_Portに関して使用されるログイン手続きとわずかに異なる。
[0073] ファイバチャネルプロトコルの一環として、NPIV(N_Port_ID仮想化)が、定義される。このフィーチャは、物理N_Portが、その物理N_Port上に作成された複数の仮想N_Portを作成されることを可能にする。各仮想N_Portに関する仮想WWPNが、各N_Port上で決定され、各仮想WWPNに関する追加のログイン手続きが、図7の手続きを使用してファブリックにあらかじめログインしている物理N_Portを介してログイン要求を送信することにより、実行されて、各仮想WWPNに関するN_Port_IDが獲得される。
[0076] 現在、以前に割り当てられたN_Port_IDを再使用するために、またはN_PortによってFCスイッチから或る特定のN_Port_IDを要求するためにファイバチャネルプロトコルにおいて定義されているプロトコルは、全く存在しない。しかし、FCネットワークにおけるN_Port_IDをTCP/IPネットワークにおけるIPアドレスに対応させることにより、TCP/IPネットワークにおいて異なるMACアドレスを有する物理ポート間のIPアドレスの転送と類似した、そのような機能を実施するための方法が、本明細書でモデル化される。TCP/IPにおいて、IPアドレスは、異なるMACアドレスを有する物理ポート間で転送されることが可能であり、すると、IPアドレスは、そのIPアドレスが、異なるMACアドレスを有する別の物理ポートに転送された場合でも、クライアントホストが、そのクライアントホスト上の構成を変更することなしに、そのIPアドレスを介してエクスポートされたサービスにアクセスすることができるように、再使用されることが可能である。TCP/IPにおいて、ARPコマンドが、IPアドレスが、別の物理ポートに転送されるべきことをネットワークスイッチに通知するのに使用される。このコマンドに応答して、ネットワークスイッチは、そのIPアドレスに関するルーティング情報を変更する。
[0080] ファイバチャネルプロトコルにおいて、発信側が、応答側にフレームを送信することを始める前に、発信側のN_Portが、ポートログインと呼ばれる手続きを使用して、応答側のN_Portにログインする必要がある。図10は、発信側N_Port1001と応答側N_Port1002との間の情報の交換を示す。この手続きは、物理N_Portと仮想N_Portの両方に関して同一である。最初に、ステップ1003で、発信側N_Port1001が、PLOGIフレーム1003を応答側N_Port1002に伝送する。この要求は、N_Port_Name(物理WWPNまたは仮想WWPN)、Node_Name、S_ID、および発信側N_Port1001の他の情報を含む。PLOGI要求を受信した後、応答側N_Port1002は、この要求に含まれる情報を保存する。この要求を承認する場合、応答側N_Port1002は、「ACC」1004と呼ばれるフレームを発信側N_Port1001に伝送する。この要求を拒否する場合、応答側N_Port1002は、「LS_RJT」1005と呼ばれるフレームを発信側N_Port1001に伝送する。発信側N_Portが、PLOGIフレームに応答して、ACCフレームを含む応答を受信すると、発信側N_Port1001は、その時点で、ログインが成功したことを知り、I/O要求を応答側N_Port1002に送信することを始めることができる。しかし、発信側が、LS_RJTフレームを受信すると、発信側N_Port1001は、ログインが確立されなかったこと、および応答側N_Port1002にI/O要求を送信することが、許されないことを知る。
[0082] 前述したとおり、ファイバチャネルプロトコルに基づく通信は、「フレーム」を使用して実行される。N_PortとF_Portのそれぞれの上で、受信されたフレームが、受信バッファの中に一時的に格納され、それらのフレームの適切なシーケンスに組み立てられて、より上位の層のプロトコルに送られる。宛先ポートが、受信されたフレームを格納する十分な受信バッファを有さない場合、それらのフレームは、失われる可能性がある。そのような状況を回避するのに、2つのタイプのフロー制御機構、すなわち、バッファツーバッファフロー制御(以降、「BB_Credit」と呼ばれる)およびエンドツーエンドフロー制御(以降、「EE_Credit」と呼ばれる)が、ファイバチャネル標準において定義される。
[0086] 図13は、本発明によるポートおよび論理ボリュームの可能な構成の図面を示す。この構成は、多くの可能な構成の一例であり、本発明のさらなる詳細を説明するのに使用される。物理WWPNが、「WWPN_#」(#は、個々のポートの番号で置き換えられる)という名前で表され、物理WWPNに割り当てられたN_Port_IDが、「N_Port_ID_#」という名前で表される。仮想WWPNが、「WWPN_V#」(#は、個々の仮想ポートの番号で置き換えられる)という名前で表され、仮想WWPNに割り当てられたN_Port_IDが、「N_Port_ID_V#」という名前で表される。例えば、ホスト150上のFCインタフェースコントローラ305(N_Port)が、フロントエンドFCスイッチ140上のFCインタフェースコントローラ405(「Port_1」と名付けられたF_Port)の1つに接続され、「WWPN_1」をコントローラ305の物理WWPNとして有し、「N_Port_ID_1」が、コントローラ305のN_Port_IDとして、フロントエンドFCスイッチ140によってコントローラ305に割り当てられる。また、ストレージ制御ユニット101a上のFCインタフェースコントローラ108が、フロントエンドFCスイッチ140上の「Port_2」と名付けられたF_Portに接続され、「WWPN_2」をコントローラ108の物理WWPNとして有し、フロントエンドFCスイッチ140によってコントローラ108に割り当てられた「N_Port_ID_2」を、コントローラ108のN_Port_IDとして有する。また、ストレージ制御ユニット101aは、仮想WWPNとして「WWPN_V2」を有し、フロントエンドFCスイッチ140によって、この仮想WWPNに割り当てられた「N_Port_ID_V2」を、ユニット101aの「N_Port_ID」として有する。仮想WWPN、WWPN_V2が、物理N_Port、WWPN_2に現在、関連付けられている。
[0090] 図14A〜図14Bは、各ストレージ制御ユニット101上に保持されるボリュームグループマッピングテーブル503の例を示す。図14A〜図14Bにおける値は、図13に示される状態を表し、図14Aは、制御ユニット101aにおいて示されるボリュームグループおよび仮想ポートグループ(以降、「ボリュームグループ」)、「group1」および「group2」の状態を表し、図14Bは、ストレージ制御ユニット101bにおいて示される「group3」の状態を表す。ボリュームグループ1401は、論理ボリュームおよび仮想N_Portのグループの任意の一意の名前である。ターゲットホストN_Port1402は、そのグループの中の論理ボリュームがエクスポートされるホスト150上のN_PortのWWPNである。エクスポートされるボリューム1403は、ターゲットホストポートにエクスポートされた、ストレージ制御ユニット101内の論理ボリュームの識別子を与える。外部N_Port1404は、それぞれのエクスポートされたボリューム1403に当たる実際のLUが存在する外部ストレージ制御ユニット130上のN_PortのWWPNである。論理ボリューム1403が、外部ストレージ制御ユニット130内ではなく、ストレージ制御ユニット101内部で作成されたLUに当たる場合、Nullが、このフィールドに設定される。外部ボリューム1405は、エクスポートされるボリューム1403に当たる外部ストレージ制御ユニット130上のLUの識別子を与える。エクスポートされるボリューム1403が、外部ストレージ制御ユニット103内ではなく、ストレージ制御ユニット101内部のLUに当たる場合、Nullが、このフィールドに設定される。フロントエンド仮想N_Port1406は、エクスポートされるボリューム1403をホスト150にエクスポートするのに使用される仮想N_PortのWWPNである。フロントエンドN_Port_ID1407は、フロントエンド仮想WWPN1406に割り当てられたN_Port_IDである。バックエンド仮想N_Port1408は、外部ストレージ制御ユニット130にアクセスするのに使用される仮想N_PortのWWPNである。エクスポートされるボリューム1403が、外部ストレージ制御ユニット130内ではなく、ストレージ制御ユニット101内部のLUに当たる場合、Nullが、このフィールドに設定される。バックエンドN_Port_ID1409は、バックエンド仮想WWPN1408に割り当てられたN_Port_IDである。エクスポートされるボリューム1403が、外部ストレージ制御ユニット130内ではなく、ストレージ制御ユニット101内部のLUに当たる場合、Nullが、このフィールドに設定される。現在のフロントエンド物理N_Port1410は、フロントエンド仮想WWPN1406に現在関連付けられている物理N_PortのWWPN、すなわち、フロントエンド仮想WWPN1406のN_Port_IDが獲得される際に経由する物理N_PortのWWPNである。現在のバックエンド物理N_Port1411は、バックエンド仮想WWPN1406に現在関連付けられている物理N_PortのWWPN、すなわち、バックエンド仮想WWPN1408のN_Port_IDが獲得される際に経由する物理N_PortのWWPNである。エクスポートされるボリューム1403が、外部ストレージ制御ユニット130内ではなく、ストレージ制御ユニット101内部のLUに当たる場合、Nullが、このフィールドに設定される。
[0092] 図15A〜図15Cは、物理パス管理テーブル504の例を示す。図15A〜図15Cにおける値は、図13に示される状態を表し、ただし、図15Aは、ストレージ制御ユニット101aの構成を示し、図15Bは、ストレージ制御ユニット101bの構成を示し、図15Cは、ストレージ制御ユニット101cの構成を示す。物理N_Port1501は、ホスト150または外部ストレージ制御ユニット130にアクセスするのに使用されることが可能な物理N_PortのWWPNである。ステータスエントリ1502は、物理N_Port1501のステータスを示す。「OK」は、N_Portが適切に機能していることを示し、「ERROR」は、N_Portが、何らかの障害のために機能していないことを示す。到達可能なN_Port1504は、物理N_Port1501が到達することができるN_Port(すなわち、他の物理ポート)のWWPNのリストである。この情報は、物理N_Port1501が、図7に(より具体的には、ステップ708で)示されるファブリックログイン手続きを実行すると、獲得されることが可能である。
[0094] 図30は、統合ボリュームグループ管理テーブル3303の例を示す。列のほとんどは、図14A〜図14Bに関連して前段で説明されるボリュームグループマッピングテーブル503の場合と同一である。しかし、統合ボリュームグループ管理テーブルは、ボリュームグループ1401が、いずれのユニット上に現在、存在するかを示す追加の列、現在のユニット3401を含む。
[0096] 図31は、統合物理パス管理テーブル3304の例を示す。列のほとんどは、図15A〜図15Cに関連して前段で説明される物理パス管理テーブル504の場合と同一である。しかし、統合物理パス管理テーブル3304は、物理N_Port1501が、いずれのユニット上に存在するかを示す追加の列、ユニット3501を含む。
[0098] 図16は、フロントエンドFCスイッチ140上のルーティングテーブル1600の例を示し、図17は、バックエンドFCスイッチ120上のルーティングテーブル1700の例を示す。図16のルーティングテーブル1600、および図17のルーティングテーブル1700における値は、図13に示される情報システムの状態を示す。ルーティングテーブル1600、1700において、F_Port1601、1701は、FCスイッチ140、120上に存在する各F_Portの識別子をそれぞれ、リストアップする。N_PortWWPN1602、1702は、それぞれ、F_Port1601、1701に接続された物理N_Portまたは仮想N_PortのWWPNである。割り当てられたN_Port_ID1603および1703は、それぞれ、F_Port1601、1701に接続された物理N_Portまたは仮想N_PortのWWPNに割り当てられたN_Port_IDである。FCスイッチ140および120のそれぞれの上にルーティングテーブルを保持することにより、各FCスイッチは、いずれのポートを介して、発信側から受信されたフレームが転送されるべきかを識別することができる。例えば、ホスト150上のN_Portからストレージ制御ユニット101a上の仮想N_Port「WWPN_V1」に送信されるフレームは、D_IDフィールド608に「N_Port_ID_V1」を含む。フロントエンドFCスイッチ140は、図16に示されるルーティングテーブル1600の第5の行1610を参照することにより、そのフレームが、識別子「port_2」を有するF_Portを介して転送されるべきであると判定することができる。
[0100] 管理サーバ160上で、管理者は、ストレージ制御ユニット101の間でボリュームグループまたは仮想N_Portの転送を命令して、ホスト150からのI/O要求を処理することの負荷が、ストレージ制御ユニット101の間で、より平衡がとれているようにする。しかし、アクセスされているフロントエンド仮想N_Portだけが、別のストレージ制御ユニット101に転送される場合、外部ストレージ制御ユニット130に対するI/O要求は、ユニット間ネットワーク113を使用してストレージ制御ユニット101の間で転送される必要がある。このため、高速のネットワークインタフェースが、ユニット間ネットワークコントローラ112のために使用される場合でさえ、I/O要求の処理パフォーマンスは、ストレージ制御ユニット101の間で要求を転送する必要が全くない場合(すなわち、要求の処理が、単一のストレージ制御ユニット101内で完了されることが可能である場合)と比べて低下する。また、ストレージ制御ユニット101間でI/O要求を転送する必要のため、ストレージ制御ユニット101にかかる処理負荷の不要な増大がある可能性もある。
[0104] 図21は、転送のターゲットが、フロントエンド仮想N_Portを使用して管理者によって指定される事例において、命令された転送後のユニット間ネットワークの使用を検査するためのプロセスの流れ図を示す。示される説明は、図13におけるWWPN_V1を有するフロントエンド仮想N_Portが、ストレージ制御ユニット101b(unit_2)に転送されるように命令される例に関する。
[0117] 図22は、転送のターゲットが、バックエンド仮想N_Portを指定することによって管理者によって指定される事例における、転送する命令を受信した後にユニット間パスの使用を検査することの例示的な流れ図を示す。図13におけるWWPN_V3を有するバックエンド仮想N_Portが、ストレージ制御ユニット101b(unit_2)に転送されるように指定される事例に関する例が、以下に説明される。
[0130] 図23は、転送のターゲットが、ボリュームグループを指定することによって管理者によって指定される事例において、転送の後に、ユニット間パスの使用が要求されるかどうかを検査することに関する例示的な流れ図を示す。以下に説明される例は、図13におけるgroup1が、ストレージ制御ユニット101b(「unit_2」)に転送されるように管理者によって指定される事例に関する。
[0144] 図24Aは、管理サーバ160が、フロントエンドN_Port_IDが、転送されるべきであると決定し、送信元ストレージ制御ユニット3201から宛先ストレージ制御ユニット3202へ、その転送を実行するようストレージ制御ユニットに命令する場合の、フロントエンド仮想N_Portを転送するための基本的なプロセスの例示的な流れ図を示す。
[0159] 前述したとおり、BB_Creditフロー制御機構が、N_PortとF_Portの間で実施されることが可能である。この機構は、図24Bに関連して説明されるとおり、フロントエンドFCスイッチ140に、送信元ストレージ制御ユニット140にフレームを送信することを停止させるのに使用されることが可能である。図24Bは、管理サーバ160が、フロントエンドN_Port_IDが、転送されるべきであると決定し、その転送を実行するようストレージ制御ユニットに命令する場合の、フロー制御機構を利用してフロントエンド仮想N_Portを転送することに関する代替のプロセスおよび流れ図を示す。図24Aのプロセスに優る図24Bのプロセスの利点は、F_Port上のBB_Credit_CNTが0になると、スイッチが、ホストからの転送を停止するため、ステップ3205〜3209が、図24Bのプロセスにおいて不要であることである。
[0173] 図24Cは、管理サーバ160が、フロントエンドN_Port_IDが転送されるべきであると決定し、その転送を実行するようストレージ制御ユニット101に命令する場合の、フロントエンド仮想N_Portを転送することに関する代替のプロセスの別の例を示す。この実施形態のプロセスは、フロントエンドFCスイッチ140によって支援される。したがって、図25に示されるとおり、フロントエンドFCスイッチ140は、スイッチ140のメモリ402の中に仮想ポート転送アシスタント2600を有する。また、24Cのプロセスは、スイッチが、仮想ポート転送中に、ホストから該当するLUへのI/Oの転送を一時停止するマイクロプログラムである、仮想ポート転送アシスタント2600をスイッチ自体が使用することにより、ホストからの転送を停止するため、ステップ3205〜3209が、図24Cのプロセスにおいて不要であるという、図24Aのプロセスに優る利点も有する。
[0187] 図26は、管理サーバ160が、フロントエンド仮想N_Portと同時にバックエンドN_Portが転送されるべきであると決定し、ストレージ制御ユニット101に、その仮想ポートの転送を命令した場合の、バックエンド仮想N_Portを転送するためのプロセスの例示的な流れ図を示す。このプロセスは、図24Aのステップ3210、図24Bのステップ2509、または図24Cのステップ2709で実行される。
[0191] 図27Aから図29は、図13のunit_1上のgroup1が、unit_2に転送される場合の、それぞれ、管理サーバ160およびストレージ制御ユニット101における管理テーブル3303、503、ならびにそれぞれ、FCスイッチ140および120におけるルーティングテーブル1600、1700の例を示す。図27Aでは、group1に関するエントリが、ストレージ制御ユニット101a上のボリュームグループマッピングテーブル503から削除されている。図27Bでは、group1に関するエントリが、ストレージ制御ユニット101b上のボリュームグループマッピングテーブル503に追加されている。図27Cに示されるとおり、管理ホスト上の統合ボリュームグループマッピングテーブル内で、エントリ1410、1411、および1412が、group1が、現時点で、unit_2上にあり、WWPN_3という現在のフロントエンド物理N_Portと、WWPN_6という現在のバックエンド物理終端ポートとを有することを反映するように変更されている。さらに、図28に示されるとおり、フロントエンドFCスイッチ140上のルーティングテーブル1600内で、F_Portエントリ1601は、現時点で、WWPN_V1に関するPort_3である。さらに、図29に示されるとおり、バックエンドスイッチ120上のルーティングテーブル1700内で、F_Portエントリ1701は、現時点で、WWPN_V3に関するPort_2である。
Claims (4)
- 第1のFC(ファイバチャネル)スイッチと通信するための少なくとも1つの物理ポートをそれぞれが含む、ネットワークを介して互いに通信する複数のストレージ制御ユニットと、
前記複数のストレージ制御ユニットの第1のストレージ制御ユニットにおける前記物理ポートの第1のポート上で作成された少なくとも1つの第1の仮想ポートと、
前記第1のストレージ制御ユニットと通信する外部ストレージシステム上の論理ボリュームにマッピングされる、前記第1のストレージ制御ユニット上に作成された第1の仮想ボリュームとを含むストレージシステムであって、
コンピュータが、前記論理ボリュームにアクセスするために前記第1の仮想ポートを介して前記第1の仮想ボリュームにアクセスし、
前記第1の仮想ポートおよび前記第1の仮想ボリュームが、前記ストレージ制御ユニットの第2のストレージ制御ユニット上の別の物理ポートに転送されることが可能であるかどうかを考慮する際、前記第1の仮想ポートおよび前記第2のストレージ制御ユニット上の前記第1の仮想ボリュームを介して前記論理ボリュームにアクセスするのに、前記複数のストレージ制御ユニット間の通信が、要求されるかどうかについての判定が行われ、
前記第1の仮想ポートが、前記第2のストレージ制御ユニットに転送される前に、前記第1のストレージ制御ユニットは、転送されるべきポートとして前記第1の仮想ポートを識別する通知を前記第1のFCスイッチに送信し、
前記第1のFCスイッチは、前記第1の仮想ポートへのフレームの伝送を一時停止し、
前記第1のストレージ制御ユニットは、受信されたフレームの処理を完了して、前記第1の仮想ポートの転送を始めるよう前記第2のストレージ制御ユニットに命令し、
前記第2のストレージ制御ユニットは、前記第1の仮想ポートを前記第2のストレージコントローラに転送するために、前記第1の仮想ポートの既存の識別子を使用して前記第1のFCスイッチからファブリックログインを要求し、
前記第1のFCスイッチは、前記第1の仮想ポートおよび前記第1の仮想ボリュームを介して前記第1の論理ボリュームにアクセスするために、前記コンピュータから受信されたフレームを前記第2のストレージ制御ユニット上の前記第1の仮想ポートに送信することを再開するストレージシステム。 - 第1のFC(ファイバチャネル)スイッチと通信するための少なくとも1つの物理ポートをそれぞれが含む、ネットワークを介して互いに通信する複数のストレージ制御ユニットと、
前記複数のストレージ制御ユニットの第1のストレージ制御ユニットにおける前記物理ポートの第1のポート上で作成された少なくとも1つの第1の仮想ポートと、
前記第1のストレージ制御ユニットと通信する外部ストレージシステム上の論理ボリュームにマッピングされる、前記第1のストレージ制御ユニット上に作成された第1の仮想ボリュームとを含むストレージシステムであって、
コンピュータが、前記論理ボリュームにアクセスするために前記第1の仮想ポートを介して前記第1の仮想ボリュームにアクセスし、
前記第1の仮想ポートおよび前記第1の仮想ボリュームが、前記ストレージ制御ユニットの第2のストレージ制御ユニット上の別の物理ポートに転送されることが可能であるかどうかを考慮する際、前記第1の仮想ポートおよび前記第2のストレージ制御ユニット上の前記第1の仮想ボリュームを介して前記論理ボリュームにアクセスするのに、前記複数のストレージ制御ユニット間の通信が、要求されるかどうかについての判定が行われ、
前記第1のFCスイッチに関してフロー制御が使用される場合、前記第1の仮想ポートが、前記第2のストレージ制御ユニットに転送される前に、前記第1のストレージ制御ユニットは、前記第1のFCスイッチ上のバッファが一杯になるまで、受信されたフレームに関する応答を前記第1のFCスイッチに送信することを停止し、
前記第1のストレージ制御ユニットは、前記受信されたフレームの処理を完了して、前記第1の仮想ポートの転送を始めるよう前記第2のストレージ制御ユニットに命令し、
前記第2のストレージ制御ユニットは、前記第1の仮想ポートを前記第2のストレージコントローラに転送するために、前記第1の仮想ポートの既存の識別子を使用して前記第1のFCスイッチからファブリックログインを要求し、前記第2のストレージコントローラは、前記第1の仮想ポートおよび前記第1の仮想ボリュームを介して前記第1の論理ボリュームにアクセスするために前記コンピュータから受信されたフレームに関して、前記第1のFCスイッチに応答を送信することを再開するストレージシステム。 - 第1のFC(ファイバチャネル)スイッチと通信するための1つまたは複数の物理ポートをそれぞれが含む、ネットワークを介して互いに通信する複数のストレージ制御ユニットを有するストレージシステムを動作させる方法であって、
前記複数のストレージ制御ユニットの第1のストレージ制御ユニットにおける前記物理ポートの第1の物理ポート上で、少なくとも1つの第1の仮想ポートを作成するステップと、
前記第1のFCスイッチと通信するコンピュータが、前記第1の仮想ポートを介して前記第1の仮想ボリュームにアクセスすることにより、前記論理ボリュームにアクセスすることができるところの、前記第1のストレージ制御ユニット上の第1の仮想ボリュームを、前記第1のストレージ制御ユニットと通信する外部ストレージシステム上の論理ボリュームにマップするステップと、
前記第1の仮想ポートおよび前記第1の仮想ボリュームが、前記第2のストレージ制御ユニット上の別の物理ポートに転送されることが可能であるかどうかを考慮する際、前記コンピュータが、前記第1の仮想ポートおよび前記ストレージ制御ユニットの第2のストレージ制御ユニット上の前記第1の仮想ボリュームを介して前記論理ボリュームにアクセスするのに、前記複数のストレージ制御ユニット間の通信が、要求されるかどうかを判定するステップと、
前記第1の仮想ポートが、前記第2のストレージ制御ユニットに転送される前に、前記第1のストレージ制御ユニットにより、転送されるべきポートとして前記第1の仮想ポートを識別する通知を前記第1のFCスイッチに送信するステップと、
前記第1のFCスイッチにより、前記第1の仮想ポートへのフレームの伝送を一時停止するステップと、
前記第1のストレージ制御ユニットによって受信されたフレームの処理を完了して、前記第1の仮想ポートの転送を始めるよう、前記第2のストレージ制御ユニットに命令するステップと、
前記第1の仮想ポートを前記第2のストレージコントローラに転送するために、前記第2のストレージ制御ユニットにより、前記第1の仮想ポートの既存の識別子を使用して、前記第1のFCスイッチにファブリックログインを要求するステップと、
前記第1のFCスイッチにより、前記第1の仮想ポートおよび前記第1の仮想ボリュームを介して前記第1の論理ボリュームにアクセスするために前記コンピュータから受信されたフレームを、前記第2のストレージ制御ユニット上の前記第1の仮想ポートに送信することを再開するステップと、を含むストレージシステムの動作方法。 - 第1のFC(ファイバチャネル)スイッチと通信するための1つまたは複数の物理ポートをそれぞれが含む、ネットワークを介して互いに通信する複数のストレージ制御ユニットを有するストレージシステムを動作させる方法であって、
前記複数のストレージ制御ユニットの第1のストレージ制御ユニットにおける前記物理ポートの第1の物理ポート上で、少なくとも1つの第1の仮想ポートを作成するステップと、
前記第1のFCスイッチと通信するコンピュータが、前記第1の仮想ポートを介して前記第1の仮想ボリュームにアクセスすることにより、前記論理ボリュームにアクセスすることができるところの、前記第1のストレージ制御ユニット上の第1の仮想ボリュームを、前記第1のストレージ制御ユニットと通信する外部ストレージシステム上の論理ボリュームにマップするステップと、
前記第1の仮想ポートおよび前記第1の仮想ボリュームが、前記第2のストレージ制御ユニット上の別の物理ポートに転送されることが可能であるかどうかを考慮する際、前記コンピュータが、前記第1の仮想ポートおよび前記ストレージ制御ユニットの第2のストレージ制御ユニット上の前記第1の仮想ボリュームを介して前記論理ボリュームにアクセスするのに、前記複数のストレージ制御ユニット間の通信が、要求されるかどうかを判定するステップと、
フロー制御が、前記第1のFCスイッチに関して使用される場合、前記第1の仮想ポートが、前記第2のストレージ制御ユニットに転送される前に、前記第1のFCスイッチ上のバッファが一杯になるまで、前記第1のストレージ制御ユニットにより、受信されたフレームに関する応答を前記第1のFCスイッチに送信することを停止するステップと、
前記第1のストレージ制御ユニットにおける前記受信されたフレームの処理を完了するステップと、
前記第1の仮想ポートの転送を始めるよう、前記第2のストレージ制御ユニットに命令するステップと、
前記第1の仮想ポートを前記第2のストレージコントローラに転送するために、前記第2のストレージ制御ユニットにより、前記第1の仮想ポートの既存の識別子を使用して、前記第1のFCスイッチにファブリックログインを要求するステップと、
前記第2のストレージ制御ユニットにより、前記第1の仮想ポートおよび前記第1の仮想ボリュームを介して前記第1の論理ボリュームにアクセスするために前記コンピュータから受信されたフレームに関して、前記第1のFCスイッチに応答を送信することを再開するステップと、を含むストレージシステムの動作方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/000,821 | 2007-12-18 | ||
US12/000,821 US7849265B2 (en) | 2007-12-18 | 2007-12-18 | Avoiding use of an inter-unit network in a storage system having multiple storage control units |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009163703A JP2009163703A (ja) | 2009-07-23 |
JP5159475B2 true JP5159475B2 (ja) | 2013-03-06 |
Family
ID=40399670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008172862A Expired - Fee Related JP5159475B2 (ja) | 2007-12-18 | 2008-07-02 | ストレージシステムおよびストレージシステムの動作方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US7849265B2 (ja) |
EP (1) | EP2073115A3 (ja) |
JP (1) | JP5159475B2 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8165136B1 (en) * | 2003-09-03 | 2012-04-24 | Cisco Technology, Inc. | Virtual port based SPAN |
US7656823B1 (en) * | 2004-02-05 | 2010-02-02 | Nortel Networks Limited | Automated network to SAN topology linkage |
US8239477B2 (en) * | 2005-07-08 | 2012-08-07 | Cisco Technology, Inc. | Apparatus and methods for controlling a data tapping session in a storage area network |
US20110170550A1 (en) * | 2008-10-02 | 2011-07-14 | Masanori Takashima | Network node and load distribution method for network node |
JP4701282B2 (ja) * | 2008-11-27 | 2011-06-15 | 株式会社日立製作所 | ストレージシステムおよびインタフェース管理方法 |
US8166264B2 (en) * | 2009-02-05 | 2012-04-24 | Hitachi, Ltd. | Method and apparatus for logical volume management |
US8656070B2 (en) * | 2009-04-29 | 2014-02-18 | Lsi Corporation | Striping with SCSI I/O referrals |
US8260986B2 (en) * | 2009-09-29 | 2012-09-04 | Hitachi, Ltd. | Methods and apparatus for managing virtual ports and logical units on storage systems |
US20110153905A1 (en) * | 2009-12-23 | 2011-06-23 | Hitachi, Ltd. | Method and apparatus for i/o path switching |
WO2012007999A1 (en) * | 2010-07-16 | 2012-01-19 | Hitachi, Ltd. | Storage control apparatus and storage system comprising multiple storage control apparatuses |
US8762668B2 (en) * | 2010-11-18 | 2014-06-24 | Hitachi, Ltd. | Multipath switching over multiple storage systems |
CN102487307B (zh) * | 2010-12-06 | 2014-05-28 | 中国航空工业集团公司第六三一研究所 | 一种用于fc协议的eof极性选择方法 |
US8958429B2 (en) * | 2010-12-22 | 2015-02-17 | Juniper Networks, Inc. | Methods and apparatus for redundancy associated with a fibre channel over ethernet network |
US8635391B2 (en) * | 2011-05-11 | 2014-01-21 | Hitachi, Ltd. | Systems and methods for eliminating single points of failure for storage subsystems |
US8549519B2 (en) | 2011-08-19 | 2013-10-01 | Hitachi, Ltd. | Method and apparatus to improve efficiency in the use of resources in data center |
US8665723B2 (en) * | 2011-08-30 | 2014-03-04 | International Business Machines Corporation | Managing data on Infiniband (IB) networks |
WO2014092698A1 (en) * | 2012-12-11 | 2014-06-19 | Hewlett-Packard Development Company | Application server to nvram path |
CN103037436B (zh) * | 2012-12-21 | 2015-07-01 | 河海大学 | 一种基于HWMP的网络编码感知无线Mesh路由协议 |
JP2014209364A (ja) * | 2014-06-18 | 2014-11-06 | 株式会社日立製作所 | 記憶制御装置、又は複数の当該記憶制御装置を有する記憶システム |
US10469580B2 (en) * | 2014-12-12 | 2019-11-05 | International Business Machines Corporation | Clientless software defined grid |
US10554749B2 (en) | 2014-12-12 | 2020-02-04 | International Business Machines Corporation | Clientless software defined grid |
JP6641813B2 (ja) * | 2015-09-11 | 2020-02-05 | 富士通株式会社 | 制御装置、情報処理システム、及び制御プログラム |
US20180096130A1 (en) * | 2016-09-30 | 2018-04-05 | Salesforce.Com, Inc. | Associating multiple e-learning development environments with a single user |
US10402361B2 (en) * | 2017-04-28 | 2019-09-03 | Hitachi, Ltd. | Storage system |
US11055125B2 (en) | 2017-11-10 | 2021-07-06 | Microsoft Technology Licensing, Llc | Virtual machine client-side virtual network change |
US10698709B2 (en) | 2018-03-07 | 2020-06-30 | Microsoft Technology Licensing, Llc | Prediction of virtual machine demand |
US11500678B2 (en) | 2018-09-17 | 2022-11-15 | Hewlett Packard Enterprise Development Lp | Virtual fibre channel port migration |
US11500549B2 (en) | 2019-04-19 | 2022-11-15 | EMC IP Holding Company LLC | Secure host access to storage system resources via storage system interface and internal switching fabric |
US11151063B2 (en) * | 2019-04-19 | 2021-10-19 | EMC IP Holding Company LLC | Host system directly connected to internal switching fabric of storage system |
US10698844B1 (en) | 2019-04-19 | 2020-06-30 | EMC IP Holding Company LLC | Intelligent external storage system interface |
US10740259B1 (en) | 2019-04-19 | 2020-08-11 | EMC IP Holding Company LLC | Host mapping logical storage devices to physical storage devices |
US10698613B1 (en) | 2019-04-19 | 2020-06-30 | EMC IP Holding Company LLC | Host processing of I/O operations |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4651230B2 (ja) | 2001-07-13 | 2011-03-16 | 株式会社日立製作所 | 記憶システム及び論理ユニットへのアクセス制御方法 |
US6957269B2 (en) * | 2001-01-03 | 2005-10-18 | Advanced Micro Devices, Inc. | Method and apparatus for performing priority-based flow control |
JP4121255B2 (ja) * | 2001-06-12 | 2008-07-23 | 株式会社日立製作所 | クラスタ構成記憶システム |
JP4704659B2 (ja) | 2002-04-26 | 2011-06-15 | 株式会社日立製作所 | 記憶装置システムの制御方法および記憶制御装置 |
JP4183443B2 (ja) * | 2002-05-27 | 2008-11-19 | 株式会社日立製作所 | データ再配置方法及び装置 |
US7752294B2 (en) * | 2002-10-28 | 2010-07-06 | Netapp, Inc. | Method and system for dynamic expansion and contraction of nodes in a storage area network |
US7263593B2 (en) | 2002-11-25 | 2007-08-28 | Hitachi, Ltd. | Virtualization controller and data transfer control method |
JP4606711B2 (ja) * | 2002-11-25 | 2011-01-05 | 株式会社日立製作所 | 仮想化制御装置およびデータ移行制御方法 |
JP4278444B2 (ja) * | 2003-06-17 | 2009-06-17 | 株式会社日立製作所 | 仮想ポート名の管理装置 |
US7760717B2 (en) * | 2005-10-25 | 2010-07-20 | Brocade Communications Systems, Inc. | Interface switch for use with fibre channel fabrics in storage area networks |
JP2007280089A (ja) * | 2006-04-07 | 2007-10-25 | Hitachi Ltd | 容量拡張ボリュームの移行方法 |
US7933993B1 (en) * | 2006-04-24 | 2011-04-26 | Hewlett-Packard Development Company, L.P. | Relocatable virtual port for accessing external storage |
US7836332B2 (en) | 2007-07-18 | 2010-11-16 | Hitachi, Ltd. | Method and apparatus for managing virtual ports on storage systems |
-
2007
- 2007-12-18 US US12/000,821 patent/US7849265B2/en not_active Expired - Fee Related
-
2008
- 2008-05-19 EP EP08251745A patent/EP2073115A3/en not_active Withdrawn
- 2008-07-02 JP JP2008172862A patent/JP5159475B2/ja not_active Expired - Fee Related
-
2010
- 2010-11-09 US US12/942,175 patent/US8285933B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2073115A2 (en) | 2009-06-24 |
US7849265B2 (en) | 2010-12-07 |
US20110055477A1 (en) | 2011-03-03 |
US8285933B2 (en) | 2012-10-09 |
EP2073115A3 (en) | 2012-01-04 |
JP2009163703A (ja) | 2009-07-23 |
US20090157984A1 (en) | 2009-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5159475B2 (ja) | ストレージシステムおよびストレージシステムの動作方法 | |
US8032730B2 (en) | Method and apparatus for I/O priority control in storage systems | |
JP4372553B2 (ja) | 仮想エンクロージャを通してストレージエリアネットワーク内のストレージの仮想化を実現する方法および装置 | |
JP4620776B2 (ja) | ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法およびシステム | |
JP5255858B2 (ja) | ストレージシステム上の仮想ポートを管理するための方法および装置 | |
US7529781B2 (en) | Online initial mirror synchronization and mirror synchronization verification in storage area networks | |
US8908683B2 (en) | Fibre channel forwarder fabric login sequence | |
US7411958B2 (en) | Method and system for transferring data directly between storage devices in a storage area network | |
US7484058B2 (en) | Reactive deadlock management in storage area networks | |
US20110280252A1 (en) | Managing Virtual Ports in an Information Processing System | |
US7395393B2 (en) | Storage control system | |
JP2007207007A (ja) | ストレージシステム、ストレージコントローラ及び計算機システム | |
US20060047850A1 (en) | Multi-chassis, multi-path storage solutions in storage area networks | |
US20050262309A1 (en) | Proactive transfer ready resource management in storage area networks | |
US11500678B2 (en) | Virtual fibre channel port migration | |
US20080101236A1 (en) | Storage system and communication bandwidth control method | |
JP2023142021A (ja) | ネットワークインタフェース及びそのバッファ制御方法 | |
JP6250378B2 (ja) | 計算機システム、アドレス管理装置およびエッジノード |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121211 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5159475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |