JP4377313B2 - ネットワークシステムにおけるエラーリカバリレベルの最適化 - Google Patents

ネットワークシステムにおけるエラーリカバリレベルの最適化 Download PDF

Info

Publication number
JP4377313B2
JP4377313B2 JP2004308042A JP2004308042A JP4377313B2 JP 4377313 B2 JP4377313 B2 JP 4377313B2 JP 2004308042 A JP2004308042 A JP 2004308042A JP 2004308042 A JP2004308042 A JP 2004308042A JP 4377313 B2 JP4377313 B2 JP 4377313B2
Authority
JP
Japan
Prior art keywords
error recovery
target
value
initiator
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004308042A
Other languages
English (en)
Other versions
JP2006119970A (ja
Inventor
俊彦 村上
直子 岩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004308042A priority Critical patent/JP4377313B2/ja
Priority to US11/021,856 priority patent/US7340636B2/en
Priority to DE602005002436T priority patent/DE602005002436T2/de
Priority to EP05253097A priority patent/EP1650929B1/en
Publication of JP2006119970A publication Critical patent/JP2006119970A/ja
Application granted granted Critical
Publication of JP4377313B2 publication Critical patent/JP4377313B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0061Error detection codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00Arrangements affording multiple use of the transmission path
    • H04L5/14Two-way operation using the same type of signal, i.e. duplex
    • H04L5/1438Negotiation of transmission parameters prior to communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0836Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ネットワークシステムの技術に関する。
近年、iSCSIプロトコルに従ったストレージエリアネットワーク(SAN)が開発されている。なお、iSCSIは、IPネットワークを介して、SCSIコマンド/データを伝送するための規格である。イニシエータとターゲットとの間のiSCSI通信で生じる障害は、イニシエータとターゲットとの間でエラーリカバリ処理を実行することによって回復される。
エラーリカバリ処理の内容を特定するエラーリカバリレベルの値は、イニシエータとターゲットとの間のネゴシエーション処理で決定される。ネゴシエーション処理において、エラーリカバリレベルは、イニシエータに対して設定されたエラーリカバリレベルの値と、ターゲットに対して設定されたエラーリカバリレベルの値と、のうちの小さな値に決定される。
特開2004−192305号公報
従来では、ターゲットと該ターゲットに接続すべきイニシエータとの対応関係は、ネットワークの管理者によって事前に設定されている。しかしながら、従来では、管理者がターゲットとイニシエータとの対応関係を設定する際に、ターゲットやイニシエータのエラーリカバリレベルは考慮されていなかった。このため、ネゴシエーション処理で決定されるエラーリカバリレベルの値を、管理者の意図する適切な値に設定することが困難であった。
この発明は、従来技術における上述の課題を解決するためになされたものであり、イニシエータとターゲットとの間のネゴシエーション処理で決定されるエラーリカバリレベルの値を、管理者の意図する適切な値に設定することのできる技術を提供することを目的とする。
上述の課題の少なくとも一部を解決するため、本発明の装置は、ストレージシステムであって、
iSCSIターゲットとして機能するターゲット部であって、iSCSIイニシエータとして機能するイニシエータ装置と第1のネットワークを介して接続される前記ターゲット部と、前記ターゲット部によってアクセスされる論理ユニットと、を含むストレージ部と、
前記ストレージ部を管理するための管理部と、
を備え、
前記ターゲット部は、
前記イニシエータ装置とネゴシエーション処理を実行して、前記イニシエータ装置と前記ターゲット部との間の通信の障害を回復するためのエラーリカバリ処理の内容を特定する第1のエラーリカバリレベルの値を決定する制御部であって、前記第1のエラーリカバリレベルは、前記イニシエータ装置に対して設定された第2のエラーリカバリレベルの値と、前記ターゲット部に対して設定された第3のエラーリカバリレベルの値と、のうちの小さな値に決定される、前記制御部を備え、
前記管理部は、
前記ストレージシステムの管理者からの指示に従って、前記ターゲット部に対して、前記ターゲット部に接続すべき前記イニシエータ装置を割り当てるための設定処理を実行する設定部を備え、
前記設定部は、
前記設定処理において、前記管理者に前記第3のエラーリカバリレベルの値を通知するための通知部を備えることを特徴とする。
この装置では、管理者にターゲット部に対して設定された第3のエラーリカバリレベルの値が通知されるため、例えば、管理者がイニシエータ装置に対して設定された第2のエラーリカバリレベルの値を事前に調査しておけば、管理者は、第3のエラーリカバリレベルの値を考慮しながら、ターゲット部に対して、適切な第2のエラーリカバリレベルの値を有するイニシエータ装置を割り当てることができる。これにより、イニシエータ装置とターゲット部との間のネゴシエーション処理で決定される第1のエラーリカバリレベルの値を、管理者の意図する適切な値に設定することが可能となる。
上記の装置において、
前記設定部は、前記設定処理において、前記管理者による前記第3のエラーリカバリレベルの値の変更を許容することが好ましい。
こうすれば、管理者は、ターゲット部の第3のエラーリカバリレベルの値を、管理者の意図する値に変更することができるため、ネゴシエーション処理で決定される第1のエラーリカバリレベルの値を、管理者の意図する適切な値に容易に設定することが可能となる。
上記の装置において、
前記設定部は、さらに、
第2のネットワークを介して、前記イニシエータ装置から前記第2のエラーリカバリレベルの値を取得するための取得部を備え、
前記通知部は、
前記設定処理において、取得済みの前記第2のエラーリカバリレベルの値を前記管理者に通知することが好ましい。
こうすれば、管理者は、イニシエータ装置に対して設定された第2のエラーリカバリレベルの値を容易に把握することができる。
上記の装置において、
前記取得部は、
前記第2のネットワークを介して、前記イニシエータ装置から前記イニシエータ装置の機能に関連する機能関連情報を取得し、
前記通知部は、
前記設定処理において、前記機能関連情報を前記管理者に通知することが好ましい。
こうすれば、管理者は、イニシエータ装置の機能を容易に把握することができるため、ターゲット部の第3のエラーリカバリレベルの値を、イニシエータ装置の機能に応じた適切な値に変更することができる。
前記機能関連情報は、前記イニシエータ装置の通信の障害の検出性能に関連する情報を含んでいてもよい。また、前記機能関連情報は、前記イニシエータ装置と前記ターゲット部との間の論理的な通信路を切り替えるための切替プログラムの有無に関連する情報を含んでいてもよい。
上記の装置において、
前記通知部は、
前記設定処理において、前記機能関連情報に応じて、前記管理者による前記第3のエラーリカバリレベルの値の変更を支援するための支援情報を前記管理者に通知することが好ましい。
こうすれば、管理者は、支援情報を考慮して、ターゲット部の第3のエラーリカバリレベルの値を容易に変更することができる。
上記の装置において、
前記機能関連情報は、前記イニシエータ装置の通信の障害の検出性能に関連する第1の情報を含み、
前記通知部は、
前記第1の情報が前記イニシエータ装置の前記検出性能が比較的低いことを示す場合には、前記管理者に、前記第3のエラーリカバリレベルの値を、前記第2のエラーリカバリレベルの値よりも小さな値に設定するように促す前記支援情報を通知するようにしてもよい。
また、上記の装置において、
前記機能関連情報は、前記イニシエータ装置と前記ターゲット部との間の論理的な通信路を切り替えるための切替プログラムの有無に関連する第2の情報を含み、
前記通知部は、
前記第2の情報が前記切替プログラムが存在することを示す場合には、前記管理者に、前記第3のエラーリカバリレベルの値を、0または1に設定するように促す前記支援情報を通知するようにしてもよい。
上記の装置において、
前記設定部は、
前記設定処理において、前記管理者による前記第1のエラーリカバリレベルの値の変更を許容し、
前記設定部は、さらに、
変更済みの前記第1のエラーリカバリレベルの値を、前記第2のネットワークを介して前記イニシエータ装置に供給するための供給部を備えるようにしてもよい。
こうすれば、管理者は、イニシエータ装置の第2のエラーリカバリレベルの値を、管理者の意図する値に変更することができるため、ネゴシエーション処理で決定される第1のエラーリカバリレベルの値を、管理者の意図する適切な値に容易に設定することができる。
この発明は、種々の形態で実現することが可能であり、例えば、ストレージシステム、ストレージシステムを備えるネットワークシステム、ストレージシステムの管理装置および方法、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
次に、本発明の実施の形態を実施例に基づき以下の順序で説明する。
A.第1実施例:
A−1.ネットワークシステムの構成:
A−2.エラーリカバリレベルの概要:
A−3.ネットワークシステムの具体的な構成:
A−4.ターゲットとイニシエータとの対応関係の設定:
A−5.ターゲットのエラーリカバリレベルの設定例:
A−6.チャネルアダプタに対するエラーリカバリレベルの設定:
A−7.ネゴシエーション処理によるエラーリカバリレベルの決定:
A−8.第1実施例の変形例:
B.第2実施例:
B−1.第2実施例の変形例:
A.第1実施例:
A−1.ネットワークシステムの構成:
図1は、ネットワークシステムの概略構成を示す説明図である。ネットワークシステムは、2つのネットワークNW1,NW2を含んでいる。第1のネットワークNW1は、IPベースのストレージエリアネットワーク(IP−SAN)である。第2のネットワークNW2は、管理用ローカルエリアネットワーク(管理LAN)である。第1のネットワークNW1には、3つのサーバ100A〜100Cとストレージ装置200とが接続されている。第2のネットワークNW2には、3つのサーバ100A〜100Cとストレージ装置200と管理装置300とが接続されている。
各サーバ100A〜100Cは、iSCSIイニシエータ(以下、単に「イニシエータ」とも呼ぶ)101a〜101cとして機能する。各イニシエータ101a〜101cには、1以上のポータルが対応付けられている。図1では、第1および第2のイニシエータ101a,101bには、それぞれ1つのポータルが対応付けられており、第3のイニシエータ101cには、2つのポータルが対応付けられている。ポータルは、TCPを用いたデータ転送を行うポートであり、IPアドレスによって識別される。
ストレージ装置200は、複数のiSCSIターゲット(以下、単に「ターゲット」とも呼ぶ)として機能する。図1では、3つのターゲット201a〜201cが図示されている。各ターゲット201a〜201cには、1以上のポータルを含むポータルグループが対応付けられている。ポータルグループは、iSCSIターゲットとポータルとの論理的な結合を示す識別子である。図1では、第1および第2のターゲット201a,201bに対応するポータルグループは、それぞれ1つのポータルを含み、第3のターゲット201cに対応するポータルグループは、2つのポータルを含む。ターゲット側のポータルは、IPアドレスとTCPポート番号によって識別される。
図1では、第1のイニシエータ101aと第1のターゲット201aとが、iSCSIセッションと呼ばれる論理的な通信路を介して接続されている。同様に、第2のイニシエータ101bと第2のターゲット201bとが接続されており、第3のイニシエータ101cと第3のターゲット201cとが接続されている。iSCSIセッションは、1以上のTCPコネクションで構成される。図1では、第1のイニシエータ101aと第1のターゲット201aとの間のセッションと、第2のイニシエータ101bと第2のターゲット201bとの間のセッションとは、それぞれ、1つのTCPコネクションで構成されている。第3のイニシエータ101cと第3のターゲット201cとの間のセッションは、2つのTCPコネクションで構成されている。
管理装置300は、サーバ100A〜100Cとストレージ装置200との接続を管理する機能を有している。
A−2.エラーリカバリレベルの概要:
イニシエータとターゲットとの間では、iSCSIプロトコルに従った通信が行われる。イニシエータとターゲットとの間では、iSCSI通信の障害を回復するためのエラーリカバリ処理が実行される。このエラーリカバリ処理の内容は、エラーリカバリレベルによって特定される。エラーリカバリレベルは、イニシエータがターゲットに接続する際にイニシエータとターゲットとの間で実行されるネゴシエーション処理で決定される。iSCSIでは、3つのエラーリカバリレベルが準備されている。
a)エラーリカバリレベル2
エラーリカバリレベルが「2」の場合には、コネクションリカバリが実行され得る。コネクションリカバリでは、コネクションの再確立や、ライトコマンドまたはリードコマンドの再スタートが実行される。
b)エラーリカバリレベル1
エラーリカバリレベルが「1」の場合には、コネクション内リカバリとコマンド内リカバリとが実行され得る。コネクション内リカバリでは、コネクションの再確立は実行されず、例えばロスしたコマンドの再送が実行される。コマンド内リカバリでは、コネクションの再確立は実行されず、例えばCRC(Cyclic Redundancy Check )エラーが発見されたコマンドの再送が実行される。
c)エラーリカバリレベル0
エラーリカバリレベルが「0」の場合には、セッションリカバリが実行される。セッションリカバリでは、すべてのコネクションがクローズされ、新たなコネクションを再確立してセッションが再開される。
なお、各エラーリカバリレベルに従ったエラーリカバリ処理については、IETF(Internet Engineering Task Force )によって管理されるRFC(Request for Comments)3720に詳述されている。
ネゴシエーション処理において、エラーリカバリレベルは、イニシエータに対して設定されたエラーリカバリレベルの値とターゲットに対して設定されたエラーリカバリレベルの値とのうちの低い値に決定される。そして、このネゴシエーション処理によって決定されたエラーリカバリレベルの値に従って、イニシエータとターゲットとの間のエラーリカバリ処理が実行される。
なお、ネゴシエーション処理によって決定されたエラーリカバリレベルが「2」である場合には、エラーリカバリレベル「2」に対応するコネクションリカバリと、下位のエラーリカバリレベル「1」,「0」に対応する他のリカバリ(コネクション内リカバリ,コマンド内リカバリ,セッションリカバリ)と、が実行され得る。同様に、ネゴシエーション処理によって決定されたエラーリカバリレベルが「1」である場合には、エラーリカバリレベル「1」に対応するコネクション内リカバリおよびコマンド内リカバリと、下位のエラーリカバリレベル「0」に対応するセッションリカバリと、が実行され得る。また、ネゴシエーション処理によって決定されたエラーリカバリレベルが「0」である場合には、エラーリカバリレベル「0」に対応するセッションリカバリのみが実行され得る。
上記のように、ネゴシエーション処理によって決定されたエラーリカバリレベルが「2」,「1」である場合には、種々のエラーリカバリ処理を実行可能であるが、エラーリカバリレベル「0」に対応するセッションリカバリは、上位のエラーリカバリレベルに対応するリカバリを実行しても通信障害が回復されない場合に実行される。
前述したように、従来では、管理者がターゲットとイニシエータとの対応関係を設定する際に、ターゲットやイニシエータのエラーリカバリレベルは考慮されていなかった。このため、イニシエータとターゲットとの間のネゴシエーション処理で決定されるエラーリカバリレベルの値を、管理者の意図する適切な値に設定することが困難であった。例えば、管理者によって選択されたイニシエータがエラーリカバリレベル「2」を有し、管理者によって選択されたターゲットがエラーリカバリレベル「2」を有する場合には、仮に、管理者の意図するエラーリカバリレベルが「1」であったとしても、ネゴシエーション処理においてエラーリカバリレベルは「2」に決定されてしまう。
そこで、本実施例では、上記の問題が解消されるように工夫している。具体的には、本実施例では、対応関係を設定する際に、管理者は、ターゲットのエラーリカバリレベルの値を確認することができると共に、ターゲットのエラーリカバリレベルの値を変更することが可能となっている。
以下の説明では、イニシエータのエラーリカバリレベルを、単に「イニシエータレベル」とも呼び、ターゲットのエラーリカバリレベルを、単に「ターゲットレベル」とも呼ぶ。また、イニシエータまたはターゲットに対して予め設定されたエラーリカバリレベルの値を「初期値」と呼び、ネゴシエーション処理の際に使用されるイニシエータまたはターゲットに対して設定された値を「設定値」とも呼ぶ。そして、ネゴシエーション処理によって決定されたエラーリカバリレベルの値を「決定値」とも呼ぶ。
なお、本実施例では、イニシエータレベルは変更されないため、イニシエータレベルの設定値は、初期値と同じ値である。一方、ターゲットレベルは変更可能であるため、ターゲットレベルの設定値は、初期値と異なり得る。
A−3.ネットワークシステムの具体的な構成:
図2は、図1に示すストレージ装置200の具体的な構成を示す説明図である。図示するように、ストレージ装置200は、ディスク制御部210と、ディスク駆動部260と、ストレージ管理部280と、を備えている。ディスク制御部210は、複数のチャネルアダプタ220と、スイッチ230と、複数のディスクアダプタ240と、を備えている。
ディスク駆動部260は、複数のハードディスクを備えており、複数の論理ユニット(記憶領域)LUに区分されている。各論理ユニットLUは、1以上のハードディスクで構成された記憶領域であってもよいし、1つのハードディスクの一部で構成された記憶領域であってもよい。また、各論理ユニットのサイズ(容量)は、同じであってもよいし、異なっていてもよい。複数の論理ユニットは、複数のグループ(論理ユニットグループ)に区分されており、各論理ユニットグループには、1以上の論理ユニットが含まれている。
ディスクアダプタ240は、1つの論理ユニットグループに対応して設けられている。ディスクアダプタは、任意のチャネルアダプタ220から与えられる指示に従って、対応する論理ユニットグループ内に含まれる論理ユニットLUに対するデータの書き込み処理や読み出し処理を実行する。
スイッチ230は、任意のチャネルアダプタ220と任意のディスクアダプタ240との間でデータを伝送する機能を有している。なお、本実施例では、スイッチは、伝送されるデータを一時的に格納するためのキャッシュメモリを備えている。
チャネルアダプタ220は、ターゲットとして機能する。チャネルアダプタ220は、CPU221とメモリ222とiSCSIチップ228と転送部229とを備えている。メモリ222には、通信プログラムと設定プログラムとが格納されている。また、メモリ222には、LUN管理データと、iSCSI設定データと、ネゴシエーション処理によって決定されたエラーリカバリレベル(ERL)の決定値とが格納されている。なお、iSCSI設定データには、ターゲットのエラーリカバリレベル(TERL)の設定値が含まれている。通信プログラムは、ストレージ管理部280からLUN管理データとiSCSI設定データとを受け取ってメモリ222に格納する機能を有する。設定プログラムは、LUN管理データとiSCSI設定データとに従ってチャネルアダプタが動作するように種々の設定を行う機能を有する。iSCSIチップ228は、サーバ(イニシエータ)と通信するためのインタフェースである。なお、iSCSIチップは、TCP/IPレイヤの処理とiSCSIレイヤの処理とを実行する。転送部229は、チャネルアダプタがストレージ装置内部の各部と通信するためのインタフェースである。
チャネルアダプタ220の機能は、CPU221が種々のプログラムを実行することによって実現される。なお、図2では、CPU221の内部にiSCSI階層モデルが示されている。チャネルアダプタでは、SCSIレイヤの処理とiSCSIレイヤの処理とは、ドライバ(ソフトウェア)を利用して実行される。この説明からも分かるように、本実施例では、iSCSIレイヤの処理は、ソフトウェア(ドライバ)とハードウェア(iSCSIチップ228)とによって実行される。チャネルアダプタ220は、iSCSI設定データを利用して、サーバとネゴシエーション処理を実行する。また、チャネルアダプタ220は、LUN管理データを利用して、ディスクアダプタ240に対して、ディスク駆動部260に含まれるいずれかの論理ユニットLUに対するデータの書き込み処理や読み出し処理の実行を指示する。
ストレージ管理部280は、CPU281とメモリ282と管理用インタフェース部288と転送部289とを備えている。メモリ282には、通信プログラムと管理プログラムとwebサーバプログラムとが格納されている。また、メモリ282には、複数のLUN管理データを含むLUN管理テーブルと、複数のiSCSI設定データを含むiSCSI設定テーブルと、各ターゲットのエラーリカバリレベル(TERL)の初期値と、が格納されている。LUN管理データとiSCSI設定データとは、ターゲット(チャネルアダプタ)毎に準備されている。iSCSI設定テーブルには、各ターゲットのエラーリカバリレベル(TERL)の設定値が含まれている。また、ターゲットのエラーリカバリレベル(TERL)の初期値は、すべてのターゲットに共通する値である。通信プログラムは、各チャネルアダプタ220に、対応するLUN管理データとiSCSI設定データとを送信する機能を有する。管理プログラムは、ターゲットとイニシエータとの対応関係を設定して、LUN管理テーブルとiSCSI設定テーブルとを作成する機能を有する。特に、本実施例では、管理プログラムは、ターゲットとイニシエータとの対応関係を設定する際に、ターゲットのエラーリカバリレベルを設定することができる。webサーバプログラムは、管理プログラムによって作成される管理画面(後述する)を管理装置300に提供する機能を有する。管理用インタフェース部288は、第2のネットワークNW2を介して、管理装置300と通信するためのインタフェースである。転送部289は、ストレージ装置内部の各部と通信するためのインタフェースである。
図3は、図1に示すサーバ100A〜100Cと管理装置300との具体的な構成を示す説明図である。
各サーバ100A〜100Cは、イニシエータとして機能する。図示するように、第1のサーバ100Aは、CPU111とメモリ112とバス制御部113とホストバスアダプタ(HBA)114と管理用インタフェース部118とを備えている。メモリ112には、接続先のターゲットを特定するターゲットアドレス情報と、iSCSI設定データと、イニシエータのエラーリカバリレベル(IERL)の初期値と、ネゴシエーション処理によって決定されたエラーリカバリレベル(ERL)の決定値と、が格納されている。なお、iSCSI設定データには、イニシエータのエラーリカバリレベル(IERL)の設定値(初期値と同じ値)が含まれている。バス制御部113は、サーバ内部の各部とHBA114との間のデータの転送を制御する。HBA114は、第1のネットワークNW1を介してストレージ装置200と通信するためのインタフェースである。管理用インタフェース部118は、第2のネットワークNW2を介して、管理装置300と通信するためのインタフェースである。
第2および第3のサーバ100B,100Cは、第1のサーバ100Aとほぼ同じであるが、HBA114に代えて、iSCSIHBA115を備えている。図2では、CPU111の内部にiSCSI階層モデルが描かれている。このモデルから分かるように、第1のサーバ100Aでは、iSCSIレイヤの処理とTCP/IPレイヤの処理とは、ソフトウェア(ドライバ)によって実現されているが、第2および第3のサーバ100B,100Cでは、ハードウェア(iSCSIHBA215)によって実現されている。このように、iSCSIHBAを採用すれば、CPU111の負荷を低減させることができる。
管理装置300は、CPU311とメモリ312と入力部313とディスプレイ314と管理用インタフェース部318とを備えている。メモリ312には、webブラウザが格納されている。管理者は、webブラウザを介して、ストレージ管理部280(図2)内に格納された管理プログラムの実行を指示する。このとき、ディスプレイ314に表示されたwebブラウザウィンドウ内には、管理プログラムによって提供される管理画面が現れる。管理者は、管理画面において、ターゲットとイニシエータとの対応関係を設定することができる。特に、本実施例では、前述したように、管理者は、対応関係を設定する際に、管理画面においてターゲット(チャネルアダプタ)のエラーリカバリレベルを所望の値に設定することができる。
なお、本実施例における各サーバ100A〜100Cが本発明におけるイニシエータ装置に相当する。また、ストレージ装置200と管理装置300とが本発明におけるストレージシステムに相当する。特に、ストレージ装置200内部のディスク制御部210とディスク駆動部260とがストレージ部に相当し、ディスクアダプタ220がターゲット部に相当する。また、ストレージ装置200内部のストレージ管理部280と管理装置300とが管理部に相当する。さらに、ストレージ管理部280が本発明における設定部に相当し、ストレージ管理部280と管理装置300とが通知部に相当する。
A−4.ターゲットとイニシエータとの対応関係の設定:
図4は、ターゲットとイニシエータとの対応関係の設定手順を示すフローチャートである。なお、図4に示す処理は、ストレージ管理部280(図2)内の管理プログラムによって実行される。
図5は、ターゲットとイニシエータとの対応関係を設定する際に表示される管理画面MSを示す説明図である。管理画面MSは、管理者が対応関係を設定するための設定フィールドW1を含んでいる。なお、図5では、対応関係は、既に設定されている。管理者は、管理画面を利用して、管理プログラムに、ターゲットとイニシエータとの対応関係を設定させる。対応関係が設定されると、管理プログラムによって、メモリ282(図2)内にLUN管理テーブルが作成される。
図6は、LUN管理テーブルの内容を示す説明図である。図示するように、LUN管理テーブルには、ターゲットのiSCSIネームと、ターゲット側のポータルと、イニシエータのiSCSIネームと、イニシエータのエラーリカバリレベル(IERL)の設定値(初期値と同じ値)と、ターゲットのエラーリカバリレベル(TERL)の設定値(初期値と異なり得る値)と、論理ユニット番号(LUN)情報と、が含まれている。
以下では、図4の処理を、図5,図6を参照しつつ説明する。本実施例では、ストレージ装置200内部のすべてのターゲットに対して予め設定されたエラーリカバリレベルの初期値は「2」であると仮定する。また、3つのイニシエータに対して予め設定されたエラーリカバリレベルの初期値は、それぞれ、「0」,「1」,「2」であると仮定する。さらに、本実施例では、イニシエータレベルの初期値は、管理者によって事前に調査されていると仮定する。
ステップS102(図4)では、ターゲットが作成される。具体的には、管理プログラムは、管理画面を介して管理者から与えられた指示に従って、特定のターゲット(チャネルアダプタ)に割り当てられる論理ユニットLUを選択する。図5では、特定ターゲット「a」に対して3つの論理ユニット「00:00」,「00:01」,「00:02」が割り当てられている。例えば、「00:00」は、第1のディスクアダプタ240(図2)に対応する第1の論理ユニットグループ「00」に含まれる第1の論理ユニット「00」を示している。次に、管理プログラムは、選択された論理ユニット「00:00」,「00:01」,「00:02」に対して、論理ユニット番号(LUN)「0」,「1」,「2」を付与する。そして、管理プログラムは、図6に示すように、LUN管理テーブルに、特定ターゲット「a」のLUN情報を登録する。
ステップS104では、ターゲットのiSCSIネームが設定される。具体的には、管理プログラムは、管理者から与えられたiSCSIネームをLUN管理テーブル内に登録する。図5,図6では、特定ターゲット「a」のiSCSIネーム「iqn-t-a 」が設定されている。
ステップS106では、ターゲット側のポータルが設定される。具体的には、管理プログラムは、管理者から与えられたポータルを識別するためのIPアドレスとTCPポート番号とをLUN管理テーブル内に登録する。図5,図6では、特定ターゲット「a」に対応するポータル情報「ポータルa」が設定されている。
なお、ステップS106では、ターゲットに対応するポータルが複数存在する場合には、複数のポータル情報が設定される。
上記のように、ポータル情報が設定されると、管理プログラムは、メモリ282(図2)から、ターゲットレベルの初期値を読み出して、管理画面MSに表示する。図5の管理画面では、特定ターゲット「a」に対してエラーリカバリレベルの初期値「2」が表示されている。
ステップS108では、ターゲットに接続すべきイニシエータが設定される。具体的には、管理プログラムは、管理者から与えられたイニシエータのiSCSIネームをLUN管理テーブル内に登録する。図5,図6では、特定ターゲット「a」に対して、特定のイニシエータ「A」のiSCSIネーム「iqn-i-a 」が設定されている。
ステップS110では、イニシエータのエラーリカバリレベルが設定される。具体的には、管理プログラムは、管理者から与えられたイニシエータのエラーリカバリレベルの初期値を、設定値としてLUN管理テーブル内に登録する。前述したように、イニシエータレベルの初期値は、管理者によって予め調査されている。図5,図6では、特定イニシエータ「A」のエラーリカバリレベル(IERL)の設定値が「0」に設定されている。
ステップS112では、ターゲットのエラーリカバリレベルが設定される。具体的には、管理プログラムは、管理者から与えられたターゲットのエラーリカバリレベルの設定値を、LUN管理テーブル内に登録する。前述のように、ターゲットレベルの初期値とイニシエータレベルの設定値(初期値)とは、管理画面MSに表示されている。このため、管理者は、2つの値を参照して、ターゲットレベルの値を、所望の値に変更して設定することができる。
第1の設定例では、ターゲットレベルの初期値がイニシエータレベルの初期値以上である場合には、管理者は、ターゲットレベルを変更して、イニシエータレベルの初期値と同じ値に設定する。図5,図6では、特定ターゲット「a」のエラーリカバリレベル(TERL)の初期値「2」が特定イニシエータ「A」のエラーリカバリレベル(IERL)の初期値「0」より大きいため、特定ターゲット「a」のエラーリカバリレベル(TERL)の設定値が、その初期値「2」と異なる「0」に設定されている。なお、他の設定例については、後述する。
ステップS114では、管理プログラムは、管理画面を介して、管理者に、ターゲットに接続すべき他のイニシエータの有無を問い合わせる。他のイニシエータが有る場合には、ステップS108〜S112の処理が繰り返される。他のイニシエータが無い場合には、ステップS116に進む。
ステップS116では、管理プログラムは、LUN管理テーブルに登録された情報を、iSCSI設定テーブルにコピーする。
図7は、iSCSI設定テーブルの内容を示す説明図である。図示するように、iSCSI設定テーブルには、ターゲットのiSCSIネームと、ターゲット側のポータルと、イニシエータのiSCSIネームと、ターゲットのエラーリカバリレベル(TERL)の設定値と、が含まれる。本実施例では、ステップS116において、LUN管理テーブルに登録された種々の情報がiSCSI設定テーブル内に一括してコピーされているが、これに代えて、図4の各ステップで、管理テーブルに情報が登録される毎にiSCSI設定テーブル内に情報が順次コピーされてもよい。
なお、図示するように、iSCSI設定テーブルには、ターゲットがイニシエータと通信する際に利用される他の種々の情報(例えば、ヘッダの品質を保護するためのヘッダダイジェストの有無や、データの品質を保護するためのデータダイジェストの有無など)も含まれている。上記の他の種々の情報は、ストレージ管理部280によって予め準備されているが、管理者は、該情報の内容を変更することもできる。
図4の処理を繰り返し実行することによって、複数組のターゲットとイニシエータとの対応関係を設定することができる。
A−5.ターゲットのエラーリカバリレベルの設定例:
図4のステップS112における第1の設定例では、ターゲットレベルは、イニシエータレベルの初期値と同じ値に変更されている。しかしながら、通常、ターゲットレベルの設定値は、イニシエータの機能を考慮して、イニシエータレベルの初期値と異なる値に設定される。
A−5−1.第2の設定例:
イニシエータとターゲットとの間のエラーチェック性能に差がある場合には、通信に支障が生じる恐れがある。例えば、イニシエータのエラーチェック性能が高く、ターゲットのチェック性能が低い場合、および、イニシエータのエラーチェック性能が低く、ターゲットのエラーチェック性能が高い場合には、通信に支障が生じる得る。ただし、通常、ターゲットのエラーチェック性能は高い。このため、実際には、イニシエータのエラーチェック性能が低い場合に、通信に支障が生じる得る。
具体的には、イニシエータがエラーリカバリレベル「1」のCRC(Cyclic Redundancy Check )エラーチェック機能を有していても、イニシエータのCRCエラーチェック機能がソフトウェアで実行される場合と、イニシエータのCRCエラーチェック機能がハードウェアで実行される場合とがある。例えば、図3に示す第1のサーバ100Aでは、CRCエラーチェック機能はソフトウェア(iSCSIドライバ)によって実現されており、第2のサーバ100Bでは、CRCエラーチェック機能はハードウェア(iSCSIHBA115)によって実現されている。イニシエータのCRCエラーチェック機能がソフトウェアで実行される場合には、イニシエータとターゲットとの間では、エラーチェック性能(すなわちエラーチェックの速度)に差があるため、通信に支障が生じる恐れがある。
上記の問題を解消するため、第2の設定例では、管理者は、ターゲットレベルの設定値を、イニシエータのエラーチェック性能に基づいて、設定する。
管理者は、イニシエータのエラーチェック機能がソフトウェアとハードウェアとのいずれによって実現されるかを事前に調査する。例えば、管理者は、イニシエータがiSCSIHBAを備えているか否かを予め調査する。そして、管理者は、イニシエータのエラーチェック性能に応じて、ターゲットのエラーリカバリレベルを設定する。
具体的には、イニシエータレベルの初期値が「1」であり、イニシエータのエラーチェック機能がソフトウェアで実行される場合には、管理者は、ターゲットレベルを、その初期値「2」から、イニシエータレベルの初期値「1」よりも小さな値「0」に変更する。また、イニシエータレベルの設定値(初期値)が「1」であり、イニシエータのエラーチェック機能がハードウェアで実行される場合には、管理者は、ターゲットレベルを、その初期値「2」から、イニシエータレベルの初期値「1」と同じ値「1」に変更する。
こうすれば、イニシエータとターゲットとの間のネゴシエーション処理において、エラーリカバリレベルがイニシエータの性能に適した値に決定されるため、通信の支障を解消することができる。
A−5−2.第3の設定例:
iSCSIでは、iSCSIレイヤで複数の論理的な通信路(パス)を利用することができる。管理者は、イニシエータとターゲットとの間で冗長パス(複数の論理的なパス)を利用する必要があると判断する場合には、図4の処理において、イニシエータとターゲットとの対応関係を設定する際に、冗長パスを設定することができる。例えば、図5では、イニシエータ「C」とターゲット「c」との間では、冗長パスが設定されている。なお、冗長パスは、通常、イニシエータとターゲットとの間のネゴシエーション処理で決定されるべきエラーリカバリレベルの決定値が「2」である場合に利用される。
ところで、冗長パスは、サーバ(イニシエータ)がパスを切り替えるためのパス切替プログラムを備える場合にも、利用可能である。なお、パス切替プログラムは、SCSIレイヤで冗長パスを利用する。
しかしながら、サーバがパス切替プログラムを備える場合には、パス数が過度に大きくなってしまう恐れがある。これは、パス切替プログラムによって実現されるSCSIレイヤでのパスの冗長化と、iSCSIレイヤでのパスの冗長化とが、重複するためである。
上記の問題を解消するため、第3の設定例では、管理者は、ターゲットレベルの設定値を、パス切替プログラムの有無に基づいて、設定する。
管理者は、サーバがパス切替プログラムを備えているか否かを事前に調査する。そして、管理者は、パス切替プログラムの有無に応じて、ターゲットのエラーリカバリレベルを設定する。
具体的には、イニシエータレベルの初期値が「2」であり、サーバがパス切替プログラムを備える場合には、管理者は、ターゲットレベルを、その初期値「2」から、イニシエータレベルの初期値「2」よりも小さな値「1」または「0」に変更する。また、イニシエータレベルの初期値が「2」であり、サーバがパス切替プログラムを備えない場合には、管理者は、ターゲットレベルを、その初期値「2」と同じ値「2」に設定する。
こうすれば、イニシエータとターゲットとの間のネゴシエーション処理において、エラーリカバリレベルがパス切替プログラムの有無に応じた値に決定されるため、パス数が過度に増大して、CPUの負荷が過度に増大するのを抑制することができる。
第2および第3の設定例で説明したように、一般には、図4のステップS112では、ターゲットレベルの設定値は、イニシエータの機能に応じて、設定されることが好ましい。
A−6.チャネルアダプタに対するエラーリカバリレベルの設定:
図4の処理によって、ストレージ管理部280のメモリ282(図2)内にLUN管理テーブルとiSCSI設定テーブルとが作成されると、チャネルアダプタ220のメモリ222内に、LUN管理データとiSCSI設定データとが設定される。なお、LUN管理データは、1つのターゲット(チャネルアダプタ)に対応するデータを意味している。また、iSCSI設定データは、1つのターゲット(チャネルアダプタ)に対応するデータを意味している。
図8は、チャネルアダプタへのLUN管理データとiSCSI設定データとの設定手順を示すフローチャートである。
ステップS122では、ストレージ管理部280(図2)内の管理プログラムは、LUN管理データおよびiSCSI設定データを供給すべきターゲット(チャネルアダプタ)を選択する。選択されるターゲットは、図4において作成された新たなターゲットである。
ステップS124では、管理プログラムは、LUN管理テーブル(図6)から、選択されたターゲットに対応するLUN管理データを抽出すると共に、iSCSI設定テーブル(図7)から、選択されたターゲットに対応するiSCSI設定テータを抽出する。
ステップS126では、ストレージ管理部280(図2)内の通信プログラムは、選択されたターゲット(チャネルアダプタ220)に対して、LUN管理テータとiSCSI設定データとを送信する。
ステップS128では、チャネルアダプタ220(図2)内の通信プログラムは、LUN管理テータとiSCSI設定データとを受け取る。設定プログラムは、LUN管理データとiSCSI設定データとをメモリ222内に格納し、チャネルアダプタがLUN管理データとiSCSI設定データとに従って動作するように種々の設定を行う。
チャネルアダプタ220にiSCSI設定データが設定されると、ターゲット(チャネルアダプタ)は、iSCSI設定データに含まれるiSCSIネームを有するイニシエータからのアクセスのみを許容し、該イニシエータとネゴシエーション処理を行うことができる。これにより、ターゲットとイニシエータとのiSCSI通信が実現される。また、チャネルアダプタにLUN管理データが設定されると、ターゲット(チャネルアダプタ)は、イニシエータによって指定された特定の論理ユニットに対してデータの書き込み処理や読み出し処理を実行することができる。なお、特定の論理ユニットは、イニシエータによって論理ユニット番号(LUN)を用いて指定される。
ところで、イニシエータがターゲットに接続するためには、イニシエータ内に、ターゲットを特定するための情報(ターゲットアドレス情報)を設定する必要がある。本実施例では、管理装置300は、ストレージ管理部280(より具体的にはLUN管理テーブル)から、各イニシエータ(サーバ)と関連付けられたターゲットのアドレス情報(iSCSIネームおよびポータル)を取得し、第2のネットワークNW2を介して、各イニシエータ(サーバ)にターゲットアドレス情報を供給する。各イニシエータは、メモリ112内にターゲットアドレス情報を格納する。これにより、イニシエータは、図4の処理で関連付けられたターゲットにアクセスすることができる。
A−7.ネゴシエーション処理によるエラーリカバリレベルの決定:
図9は、イニシエータとターゲットとの間でiSCSI通信が行われる際のターゲット側の処理手順を示すフローチャートである。図9に示すターゲット側の処理は、チャネルアダプタ220(図2)内のiSCSIドライバおよびiSCSIチップ228によって実行される。なお、イニシエータ側の処理は、サーバ(図3)内のiSCSIドライバまたはiSCSIHBA115によって実行される。
ステップS202では、イニシエータから与えられたPDU(Protocol Data Unit)の種類が判断される。
PDUの種類がログインPDUである場合には、ステップS210に進み、ログイン処理が実行される。PDUの種類がログアウトPDUである場合には、ステップS220に進み、ログアウト処理が実行される。PDUの種類が他のPDUである場合には、ステップS230に進み、対応する処理が実行される。なお、ステップS220,S230の処理は従来の処理と同様であるため、説明を省略する。
ステップS210のログイン処理では、イニシエータとターゲットとの間でネゴシエーション処理が実行される。そして、ネゴシエーション処理では、エラーリカバリレベルの値が決定される。
ステップS212では、ターゲットは、イニシエータから送信されたiSCSIネームを取得する。このとき、ターゲットは、取得したイニシエータのiSCSIネームが、図8で設定されたiSCSI設定データに含まれるイニシエータのiSCSIネームと一致するか否かを判断する。一致する場合には、ターゲットは、該イニシエータからのアクセスを許容する。
ステップS214では、ターゲットは、イニシエータから送信されたイニシエータのiSCSI設定データを取得する。なお、イニシエータのiSCSI設定データは、ターゲット(チャネルアダプタ)のiSCSI設定データに対応するものであり、イニシエータ(サーバ)のメモリ112(図3)内に格納されている。イニシエータのiSCSI設定データには、イニシエータレベルの設定値(初期値と同じ値)が含まれている。
ステップS216では、ターゲットは、取得したイニシエータのiSCSI設定データから、イニシエータレベルの設定値を抽出する。
ステップS218では、ターゲットは、イニシエータレベルの設定値と、ターゲットレベルの設定値と、のうちの小さな値を、エラーリカバリレベルとして決定する。そして、ターゲットは、エラーリカバリレベルの決定値をメモリ222(図2)内に格納する。
ステップS220では、ターゲットは、ログイン応答PDUを作成して、イニシエータに送信する。具体的には、ターゲットは、ログイン応答PDU内に、エラーリカバリレベルの決定値を含む種々の情報(具体的には、ターゲットのiSCSI設定データに含まれる情報)を挿入して、ログイン応答PDUを作成する。
ログイン応答PDUを受け取ったイニシエータは、ログイン応答PDUから、エラーリカバリレベルの決定値を抽出し、メモリ112(図3)内に格納する。
このようにして、ターゲットとイニシエータとの双方に、ネゴシエーション処理で決定されたエラーリカバリレベルの決定値が設定される。この結果、イニシエータとターゲットとの間では、エラーリカバリレベルの決定値で特定されるエラーリカバリ処理が実行可能となる。
以上説明したように、本実施例では、管理者は、ターゲットのエラーリカバリレベルを、管理者の意図する値に変更することができるため、ネゴシエーション処理で決定されるエラーリカバリレベルの値を、管理者の意図する適切な値に容易に設定することが可能となる。
A−8.第1実施例の変形例:
図10は、第1実施例の変形例におけるネットワークシステムの概略構成を示す説明図である。図10は、図1とほぼ同じであるが、図10では、iSNS(Internet Storage Name Service )サーバ400が追加されている。iSNSサーバは、第1および第2のネットワークNW1,NW2に接続されている。
iSNSサーバ400は、各イニシエータ(サーバ)が接続すべきターゲットを特定するためのターゲットアドレステーブルを備えている。ターゲットアドレステーブルには、各イニシエータのiSCSIネームと、各イニシエータが接続すべきターゲットのアドレス情報と、が登録されている。
なお、ターゲットアドレステーブルは、管理装置300から供給される。具体的には、管理装置300は、ストレージ管理部280(より具体的にはLUN管理テーブル)から、各イニシエータ(サーバ)と関連付けられたターゲットのアドレス情報(iSCSIネームおよびポータル情報)を取得してターゲットアドレステーブルを作成する。そして、管理装置300は、第2のネットワークNW2を介して、iSNSサーバにターゲットアドレステーブルを供給する。
iSNSサーバ400は、イニシエータからイニシエータ名が通知されると、ターゲットアドレステーブルを参照して、該イニシエータ名に対応するターゲットアドレス情報を読み出す。そして、iSNSサーバは、該イニシエータに対して、読み出されたターゲットアドレス情報を送信する。これにより、イニシエータは、受け取ったターゲットアドレス情報で特定されるターゲットにアクセスすることができる。
このように、iSNSサーバを採用すれば、管理装置300は、各サーバに対して個別にターゲットアドレス情報を提供せずに済むという利点がある。
なお、本例では、管理装置300によってiSNSサーバ内にイニシエータが接続すべきターゲットを特定するためのターゲットアドレス情報が設定されているが、該ターゲットアドレス情報の設定は省略可能である。この場合には、iSNSサーバは、通常の方法で利用されればよい。具体的には、ストレージ装置200は、iSNSサーバに対して各ターゲットの情報(iSCSIネームおよびポータル情報)を登録し、各イニシエータは、iSNSサーバに対して自己の情報(iSCSIネームおよびポータル情報)を登録する。ターゲットにアクセスする際には、イニシエータは、iSNSサーバから読み出し可能な1以上のターゲットの情報を取得し、該1以上のターゲットの情報に従って1以上のターゲットにアクセスを試みる。1以上のターゲットのそれぞれは、登録済みのイニシエータ、すなわち、iSCSI設定データに含まれるiSCSIネームを有するイニシエータからのアクセスか否かを判断し、登録済みのイニシエータである場合には、アクセスを許容する。このようにしても、イニシエータは、接続すべきターゲットにアクセスすることができる。このiSNSサーバの通常の利用方法については、IETFによって管理されるInternet Draft<draft-ietf-ips-isns-22.txt>に詳述されている。
B.第2実施例:
第1実施例では、管理者はイニシエータの情報、より具体的には、イニシエータのiSCSIネームやイニシエータのエラーリカバリレベルの初期値などを予め調査しているが、本実施例では、管理者がイニシエータの情報を容易に把握することができるように工夫している。
図11は、第2実施例におけるストレージ装置200bの具体的な構成を示す説明図であり、図2に対応する。図示するように、本実施例では、ストレージ管理部280bのメモリ282bには、イニシエータ情報テーブルが格納されている。イニシエータ情報テーブルには、複数のイニシエータ(サーバ)の情報が登録されている。
図12は、第2実施例におけるサーバ100Ab〜100Cbと管理装置300bとの具体的な構成を示す説明図であり、図3に対応する。図示するように、本実施例では、管理装置300bのメモリ312bには、SNMP(Simple Network Management Protocol)マネージャプログラムが格納されている。なお、SNMPは、ネットワークに接続された機器をネットワーク経由で監視するためのプロトコルである。また、各サーバ100Ab〜100Cbのメモリ112bには、SNMPエージェントプログラムが格納されていると共に、MIB(Management Information Base )と呼ばれる機器の状態を表す情報が格納されている。MIBには、サーバの実装や動作状態に関する情報が含まれる。
管理装置(SNMPマネージャ)300b(図12)は、各サーバ(SNMPエージェント)100Ab〜100Cbから、MIBを取得する。そして、管理装置は、ストレージ装置200b(図11)のストレージ管理部280bに、各サーバから取得したMIBを供給する。ストレージ管理部280bは、各サーバのMIBに含まれる情報をイニシエータ情報テーブルに登録する。
本実施例では、MIBには、イニシエータのiSCSIネームと、イニシエータレベルの設定値(初期値と同じ値)と、が含まれている。このため、本実施例では、ストレージ管理部280bは、管理装置300bを介して、各イニシエータの情報、具体的には、イニシエータのiSCSIネームとイニシエータレベルの設定値(初期値)を、事前に取得することができる。この結果、管理者は、イニシエータレベルの設定値(初期値)を事前に調査せずに済む。
なお、本実施例におけるストレージ管理部280bが本発明における設定部に相当し、ストレージ管理部280bと管理装置300とが本発明における取得部と通知部とに相当する。
図13は、第2実施例におけるターゲットとイニシエータとの対応関係の設定手順を示すフローチャートである。図13は、図4とほぼ同じであるが、ステップS101が追加されている。
ステップS101では、管理プログラムは、管理装置300bから各サーバのMIBを取得して、イニシエータ情報を管理画面に表示する。
図14は、ターゲットとイニシエータとの対応関係の設定する際に表示される管理画面MSbを示す説明図である。図14は、図5とほぼ同じであるが、管理画面には、設定フィールドW1に加えて、イニシエータ情報フィールドW2が含まれている。イニシエータ情報フィールドW2には、イニシエータのiSCSIネームやイニシエータレベルの設定値(初期値)などのイニシエータ情報が表示されている。
上記のように、本実施例では、管理者は、各イニシエータの情報を、事前に調査せずに容易に把握することができる。このため、管理者は、ステップS108において、イニシエータのiSCSIネームを容易に設定することができると共に、ステップS110において、イニシエータレベルを容易に設定することができる。この結果、管理者は、ステップS112において、イニシエータレベルの設定値(初期値)を参照しつつ、ターゲットレベルを容易に設定することができる。
ところで、前述の第2の設定例では、サーバ(イニシエータ)のエラーチェック性能に応じて、より具体的には、サーバがiSCSIHBAを備えているか否かに応じて、ターゲットレベルが設定されている。本実施例では、MIBには、サーバがiSCSIHBAを備えているか否かの情報も含まれているため、イニシエータ情報フィールドW2には、各イニシエータがiSCSIHBAを備えているか否かの情報も表示される。この結果、管理者は、該情報を、事前に調査せずに容易に把握することができると共に、ターゲットレベルをイニシエータのエラーチェック性能に応じた適切な値に設定することが可能となる。
また、前述の第3の設定例では、サーバ(イニシエータ)がパス切替プログラムを備えているか否かに応じて、ターゲットレベルが設定されている。本実施例では、MIBには、サーバがパス切替プログラムを備えているか否かの情報も含まれているため、イニシエータ情報フィールドW2には、各イニシエータ(サーバ)がパス切替プログラムを備えているか否かの情報も表示される。この結果、管理者は、該情報を、事前に調査せずに容易に把握することができると共に、ターゲットレベルをパス切替プログラムの有無に応じた適切な値に設定することが可能となる。
B−1.第2実施例の変形例:
図15は、第2実施例の変形例におけるターゲットとイニシエータとの対応関係の設定手順を示すフローチャートである。図15は、図13とほぼ同じであるが、ステップS112に先行するステップS111が追加されている。
ステップS111では、管理プログラムは、ステップS101で取得したイニシエータ情報に基づいて、管理者によるターゲットのエラーリカバリレベルの設定を支援するためのメッセージを表示する。
例えば、管理プログラムは、イニシエータのエラーチェック性能が低い場合、より具体的には、イニシエータがiSCSIHBAを備えていない場合には、ターゲットレベルをイニシエータレベルの設定値(初期値)よりも小さな値に設定するように、管理者にメッセージを提供することができる。また、管理プログラムは、サーバがパス切替プログラムを備えている場合には、ターゲットレベルを「0」または「1」に設定するように、管理者にメッセージを提供することができる。こうすれば、管理者は、メッセージの内容を考慮して、ターゲットレベルを適切な値に容易に設定することができる。
なお、本例では、管理プログラムは、メッセージを提供しているが、これに代えて、ターゲットレベルの設定値として推奨される値のみが提供されてもよい。一般には、管理者によるターゲットのエラーリカバリレベルの値の変更を支援するための支援情報が通知されればよい。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能であり、例えば次のような変形も可能である。
(1)第2実施例では、管理装置がSNMPマネージャプログラムを備えているが、これに代えて、ストレージ管理部がSNMPマネージャプログラムを備えていてもよい。そして、ストレージ管理部が、第2のネットワークNW2を介して、各サーバからMIBを取得するようにしてもよい。
(2)第2実施例では、ターゲットのエラーリカバリレベルの値の変更のみが許容されているが、これと共に、イニシエータのエラーリカバリレベルの値の変更が許容されていてもよい。具体的には、管理者が管理画面においてイニシエータのエラーリカバリレベルを変更したときに、管理プログラムが、管理装置300bに対して、イニシエータのエラーリカバリレベルの変更済みの設定値を供給すると共に、イニシエータのエラーリカバリレベルの設定値を変更するように指示する。そして、管理装置(SNMPマネージャ)は、サーバ(SNMPエージェント)に対して、イニシエータのエラーリカバリレベルの変更済みの設定値を供給すると共に、MIB内のイニシエータレベルの設定値を変更させる。こうすれば、管理者は、イニシエータのエラーリカバリレベルの設定値を初期値と異なる値に設定することができる。
なお、上記の場合におけるストレージ管理部と管理装置とが本発明における供給部に相当する。
(3)上記実施例では、すべてのターゲットのエラーリカバリレベルの初期値は「2」に設定されており、各ターゲットのエラーリカバリレベルの値を変更することが許容されている。しかしながら、各ターゲットのエラーリカバリレベルの初期値が異なる場合には、ターゲットのエラーリカバリレベルの値の変更は許容されていなくてもよい。
この場合にも、管理者は、管理画面に表示されるターゲットレベルの初期値を参照することができる。このため、管理者がイニシエータレベルの初期値を事前に調査しておけば、管理者は、ターゲットレベルの初期値を考慮しながら、該ターゲットに対して、複数のイニシエータの中から、適切なイニシエータレベルの初期値を有するイニシエータを割り当てることができる。
一般には、設定処理において、管理者にターゲットのエラーリカバリレベルの値が通知されればよい。
(4)上記実施例では、管理装置は、ストレージ装置の外部に設けられているが、管理装置の機能は、ストレージ装置の内部に設けられていてもよい。また、上記実施例では、ストレージ管理部は、ストレージ装置の内部に設けられているが、ストレージ管理部の機能は、ストレージ装置の内部に設けられていてもよい。
ネットワークシステムの概略構成を示す説明図である。 図1に示すストレージ装置200の具体的な構成を示す説明図である。 図1に示すサーバ100A〜100Cと管理装置300との具体的な構成を示す説明図である。 ターゲットとイニシエータとの対応関係の設定手順を示すフローチャートである。 ターゲットとイニシエータとの対応関係を設定する際に表示される管理画面MSを示す説明図である。 LUN管理テーブルの内容を示す説明図である。 iSCSI設定テーブルの内容を示す説明図である。 チャネルアダプタへのLUN管理データとiSCSI設定データとの設定手順を示すフローチャートである。 イニシエータとターゲットとの間でiSCSI通信が行われる際のターゲット側の処理手順を示すフローチャートである。 第1実施例の変形例におけるネットワークシステムの概略構成を示す説明図である。 第2実施例におけるストレージ装置200bの具体的な構成を示す説明図である。 第2実施例におけるサーバ100Ab〜100Cbと管理装置300bとの具体的な構成を示す説明図である。 第2実施例におけるターゲットとイニシエータとの対応関係の設定手順を示すフローチャートである。 ターゲットとイニシエータとの対応関係の設定する際に表示される管理画面MSbを示す説明図である。 第2実施例の変形例におけるターゲットとイニシエータとの対応関係の設定手順を示すフローチャートである。
符号の説明
100A〜100C,100Ab〜100Cb…サーバ
101a〜101c…イニシエータ
111…CPU
112,112b…メモリ
113…バス制御部
114…ホストバスアダプタ(HBA)
115…iSCSIHBA
118…管理用インタフェース部
200,200b…ストレージ装置
201a〜201c…ターゲット
210…ディスク制御部
220…チャネルアダプタ
221…CPU
222…メモリ
228…iSCSIチップ
229…転送部
230…スイッチ
240…ディスクアダプタ
260…ディスク駆動部
280,280b…ストレージ管理部
281…CPU
282,282b…メモリ
288…管理用インタフェース部
289…転送部
300,300b…管理装置
311…CPU
312,312b…メモリ
313…入力部
314…ディスプレイ
318…管理用インタフェース部
400…iSNSサーバ
LU…論理ユニット
MS,MSb…管理画面
W1…設定フィールド
W2…イニシエータ情報フィールド

Claims (14)

  1. ストレージシステムであって、
    iSCSIターゲットとして機能するターゲット部であって、iSCSIイニシエータとして機能するイニシエータ装置と第1のネットワークを介して接続される前記ターゲット部と、前記ターゲット部によってアクセスされる論理ユニットと、を含むストレージ部と、
    前記ストレージ部を管理するための管理部と、
    を備え、
    前記ターゲット部は、
    前記イニシエータ装置とネゴシエーション処理を実行して、前記イニシエータ装置と前記ターゲット部との間の通信の障害を回復するためのエラーリカバリ処理の内容を特定する第1のエラーリカバリレベルの値を決定する制御部であって、前記第1のエラーリカバリレベルは、前記イニシエータ装置に対して設定された第2のエラーリカバリレベルの値と、前記ターゲット部に対して設定された第3のエラーリカバリレベルの値と、のうちの小さな値に決定される、前記制御部を備え、
    前記管理部は、
    前記ストレージシステムの管理者からの指示に従って、前記ターゲット部に対して、前記ターゲット部に接続すべき前記イニシエータ装置を割り当てるための設定処理を実行する設定部を備え、
    前記設定部は、
    前記設定処理において、前記管理者に前記第3のエラーリカバリレベルの値を通知するための通知部を備えることを特徴とするストレージシステム。
  2. 請求項1記載のストレージシステムであって、
    前記設定部は、前記設定処理において、前記管理者による前記第3のエラーリカバリレベルの値の変更を許容する、ストレージシステム。
  3. 請求項2記載のストレージシステムであって、
    前記設定部は、さらに、
    第2のネットワークを介して、前記イニシエータ装置から前記第2のエラーリカバリレベルの値を取得するための取得部を備え、
    前記通知部は、
    前記設定処理において、取得済みの前記第2のエラーリカバリレベルの値を前記管理者に通知する、ストレージシステム。
  4. 請求項3記載のストレージシステムであって、
    前記取得部は、
    前記第2のネットワークを介して、前記イニシエータ装置から前記イニシエータ装置の機能に関連する機能関連情報を取得し、
    前記通知部は、
    前記設定処理において、前記機能関連情報を前記管理者に通知する、ストレージシステム。
  5. 請求項4記載のストレージシステムであって、
    前記機能関連情報は、前記イニシエータ装置の通信の障害の検出性能に関連する情報を含む、ストレージシステム。
  6. 請求項4または5記載のストレージシステムであって、
    前記機能関連情報は、前記イニシエータ装置と前記ターゲット部との間の論理的な通信路を切り替えるための切替プログラムの有無に関連する情報を含む、ストレージシステム。
  7. 請求項4記載のストレージシステムであって、
    前記通知部は、
    前記設定処理において、前記機能関連情報に応じて、前記管理者による前記第3のエラーリカバリレベルの値の変更を支援するための支援情報を前記管理者に通知する、ストレージシステム。
  8. 請求項7記載のストレージシステムであって、
    前記機能関連情報は、前記イニシエータ装置の通信の障害の検出性能に関連する第1の情報を含み、
    前記通知部は、
    前記第1の情報が前記イニシエータ装置の前記検出性能が比較的低いことを示す場合には、前記管理者に、前記第3のエラーリカバリレベルの値を、前記第2のエラーリカバリレベルの値よりも小さな値に設定するように促す前記支援情報を通知する、ストレージシステム。
  9. 請求項7または8記載のストレージシステムであって、
    前記機能関連情報は、前記イニシエータ装置と前記ターゲット部との間の論理的な通信路を切り替えるための切替プログラムの有無に関連する第2の情報を含み、
    前記通知部は、
    前記第2の情報が前記切替プログラムが存在することを示す場合には、前記管理者に、前記第3のエラーリカバリレベルの値を、0または1に設定するように促す前記支援情報を通知する、ストレージシステム。
  10. 請求項3ないし9のいずれかに記載のストレージシステムであって、
    前記設定部は、
    前記設定処理において、前記管理者による前記第1のエラーリカバリレベルの値の変更を許容し、
    前記設定部は、さらに、
    変更済みの前記第1のエラーリカバリレベルの値を、前記第2のネットワークを介して前記イニシエータ装置に供給するための供給部を備える、ストレージシステム。
  11. ネットワークシステムであって、
    前記イニシエータ装置と、
    請求項1ないし10のいずれかに記載のストレージシステムと、
    を備える、ネットワークシステム。
  12. ストレージ装置を管理するための管理方法であって、前記ストレージ装置は、iSCSIイニシエータとして機能するイニシエータ装置と第1のネットワークを介して接続されるiSCSIターゲットとして機能するターゲット部と、前記ターゲット部によってアクセスされる論理ユニットと、を備え、前記ターゲット部は、前記イニシエータ装置とネゴシエーション処理を実行して、前記イニシエータ装置と前記ターゲット部との間の通信の障害を回復するためのエラーリカバリ処理の内容を特定する第1のエラーリカバリレベルの値を決定する制御部であって、前記第1のエラーリカバリレベルは、前記イニシエータ装置に対して設定された第2のエラーリカバリレベルの値と、前記ターゲット部に対して設定された第3のエラーリカバリレベルの値と、のうちの小さな値に決定される、前記制御部を備える、前記管理方法は、
    管理者からの指示に従って、前記ターゲット部に対して、前記ターゲット部に接続すべき前記イニシエータ装置を割り当てるための設定処理を実行する設定工程を備え、
    前記設定工程は、
    前記設定処理において、前記管理者に前記第3のエラーリカバリレベルの値を通知する工程を含むことを特徴とする管理方法。
  13. 管理装置に、ストレージ装置を管理させるためのコンピュータプログラムであって、前記ストレージ装置は、iSCSIイニシエータとして機能するイニシエータ装置と第1のネットワークを介して接続されるiSCSIターゲットとして機能するターゲット部と、前記ターゲット部によってアクセスされる論理ユニットと、を備え、前記ターゲット部は、前記イニシエータ装置とネゴシエーション処理を実行して、前記イニシエータ装置と前記ターゲット部との間の通信の障害を回復するためのエラーリカバリ処理の内容を特定する第1のエラーリカバリレベルの値を決定する制御部であって、前記第1のエラーリカバリレベルは、前記イニシエータ装置に対して設定された第2のエラーリカバリレベルの値と、前記ターゲット部に対して設定された第3のエラーリカバリレベルの値と、のうちの小さな値に決定される、前記制御部を備える、前記コンピュータプログラムは、
    管理者からの指示に従って、前記ターゲット部に対して、前記ターゲット部に接続すべき前記イニシエータ装置を割り当てるための設定処理を実行する設定機能を前記管理装置に実現させ、
    前記設定機能は、
    前記設定処理において、前記管理者に前記第3のエラーリカバリレベルの値を通知する機能を含むことを特徴とするコンピュータプログラム。
  14. 請求項13記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2004308042A 2004-10-22 2004-10-22 ネットワークシステムにおけるエラーリカバリレベルの最適化 Expired - Fee Related JP4377313B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004308042A JP4377313B2 (ja) 2004-10-22 2004-10-22 ネットワークシステムにおけるエラーリカバリレベルの最適化
US11/021,856 US7340636B2 (en) 2004-10-22 2004-12-21 Error recovery level optimization in network system
DE602005002436T DE602005002436T2 (de) 2004-10-22 2005-05-19 Optimierung der Fehlerwiederherstellungsstufe in einem Netzwerksystem
EP05253097A EP1650929B1 (en) 2004-10-22 2005-05-19 Error recovery level optimization in network system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004308042A JP4377313B2 (ja) 2004-10-22 2004-10-22 ネットワークシステムにおけるエラーリカバリレベルの最適化

Publications (2)

Publication Number Publication Date
JP2006119970A JP2006119970A (ja) 2006-05-11
JP4377313B2 true JP4377313B2 (ja) 2009-12-02

Family

ID=34979329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004308042A Expired - Fee Related JP4377313B2 (ja) 2004-10-22 2004-10-22 ネットワークシステムにおけるエラーリカバリレベルの最適化

Country Status (4)

Country Link
US (1) US7340636B2 (ja)
EP (1) EP1650929B1 (ja)
JP (1) JP4377313B2 (ja)
DE (1) DE602005002436T2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070162631A1 (en) * 2005-12-28 2007-07-12 International Business Machines Corporation Method for selectable software-hardware internet SCSI
JP2007299079A (ja) * 2006-04-28 2007-11-15 Fujitsu Ltd ストレージ装置及びその障害回復方法
US20150334047A1 (en) * 2013-03-27 2015-11-19 Panasonic Intellectual Property Management Co., Ltd. Initiator terminal, target terminal, method of interrupting access of initiator terminal, and method of interrupting access of target terminal
WO2016046943A1 (ja) * 2014-09-25 2016-03-31 株式会社日立製作所 ストレージ装置およびストレージ装置制御方法
WO2016157421A1 (ja) * 2015-03-31 2016-10-06 株式会社日立製作所 ストレージ装置及びその制御方法
US10523766B2 (en) * 2015-08-27 2019-12-31 Infinidat Ltd Resolving path state conflicts in internet small computer system interfaces
CN113098715B (zh) * 2021-03-29 2022-07-22 杭州网易云音乐科技有限公司 一种信息处理方法、装置、系统、介质和计算设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4457184B2 (ja) * 2001-02-13 2010-04-28 ネットアップ,インコーポレイテッド ストレージシステムにおけるフェイルオーバー処理
US6683883B1 (en) * 2002-04-09 2004-01-27 Sancastle Technologies Ltd. ISCSI-FCP gateway
JP2004192305A (ja) 2002-12-11 2004-07-08 Hitachi Ltd iSCSIストレージ管理方法及び管理システム
US8959171B2 (en) * 2003-09-18 2015-02-17 Hewlett-Packard Development Company, L.P. Method and apparatus for acknowledging a request for data transfer
US7478265B2 (en) * 2004-10-14 2009-01-13 Hewlett-Packard Development Company, L.P. Error recovery for input/output operations

Also Published As

Publication number Publication date
DE602005002436D1 (de) 2007-10-25
EP1650929A1 (en) 2006-04-26
EP1650929B1 (en) 2007-09-12
US7340636B2 (en) 2008-03-04
US20060107105A1 (en) 2006-05-18
DE602005002436T2 (de) 2008-06-12
JP2006119970A (ja) 2006-05-11

Similar Documents

Publication Publication Date Title
US7971089B2 (en) Switching connection of a boot disk to a substitute server and moving the failed server to a server domain pool
US7752486B2 (en) Recovery from failures in a computing environment
US7085860B2 (en) Method and apparatus for a non-disruptive recovery of a single partition in a multipartitioned data processing system
EP2112589B1 (en) Method and apparatus for HBA migration
EP1851632B1 (en) Disaster recovery framework
JP5255858B2 (ja) ストレージシステム上の仮想ポートを管理するための方法および装置
USRE42703E1 (en) System and method for fibrechannel fail-over through port spoofing
US8015275B2 (en) Computer product, method, and apparatus for managing operations of servers
US7941552B1 (en) System and method for providing services for offline servers using the same network address
US7912051B1 (en) Techniques for port virtualization
JP4311636B2 (ja) 記憶装置を複数の計算機で共用する計算機システム
US20080222661A1 (en) Failover and Load Balancing
US8341705B2 (en) Method, apparatus, and computer product for managing operation
JP4512179B2 (ja) ストレージ装置及びそのアクセス管理方法
US7724677B2 (en) Storage system and method for connectivity checking
US20090070579A1 (en) Information processing system and login method
EP1650929B1 (en) Error recovery level optimization in network system
JP2006350404A (ja) 優先制御方法、計算機システム及び管理装置
US8086760B1 (en) Managing communications connections with data storage systems
US7774449B2 (en) Performance profiling for improved data throughput
CN105827549B (zh) 通过虚拟光纤交换机管理存储设备的系统方法
TWI406545B (zh) Linux系統下的多路徑訪問遠端邏輯設備的方法
US7779137B1 (en) IP aliasing and address resolution using a fibre channel (FC) fabric name server
US20190104195A1 (en) Computer system and method for controlling communication path

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees