JP3869769B2 - ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法 - Google Patents

ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法 Download PDF

Info

Publication number
JP3869769B2
JP3869769B2 JP2002215184A JP2002215184A JP3869769B2 JP 3869769 B2 JP3869769 B2 JP 3869769B2 JP 2002215184 A JP2002215184 A JP 2002215184A JP 2002215184 A JP2002215184 A JP 2002215184A JP 3869769 B2 JP3869769 B2 JP 3869769B2
Authority
JP
Japan
Prior art keywords
path
command
packet
fcp
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002215184A
Other languages
English (en)
Other versions
JP2004056728A (ja
JP2004056728A5 (ja
Inventor
英弘 豊田
和義 星野
紀彦 森脇
誠 木谷
盛仁 宮城
昌彦 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002215184A priority Critical patent/JP3869769B2/ja
Priority to US10/230,114 priority patent/US20040019686A1/en
Publication of JP2004056728A publication Critical patent/JP2004056728A/ja
Publication of JP2004056728A5 publication Critical patent/JP2004056728A5/ja
Application granted granted Critical
Publication of JP3869769B2 publication Critical patent/JP3869769B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/80Actions related to the user profile or the type of traffic
    • H04L47/805QOS or priority aware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/20Traffic policing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/72Admission control; Resource allocation using reservation actions during connection setup
    • H04L47/724Admission control; Resource allocation using reservation actions during connection setup at intermediate nodes, e.g. resource reservation protocol [RSVP]

Description

【0001】
【発明の属する技術分野】
本発明は、ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法に関し、更に詳しくは、複数拠点のストレージアリア網(Storage Area Network、以下、SANと言う)を専用線またはIP(Internet Protocol)網等からなる中継網で接続するのに適したスイッチングノード装置および遠隔ストレージ装置のアクセス方法に関する。
【0002】
【従来の技術】
SANは、磁気ディスクに代表されるストレージ装置と、サーバ、ユーザ端末などのコンピュータ装置を高速デジタルデータ伝送路で相互接続したネットワークである。上記高速デジタルデータ伝送路としては、ANSI(American National Standard Institute)のT11委員会で審議され、標準化されたファイバチャネル(Fibre Channel、以下、FCと言う)が適用される。
【0003】
FCは、基本的にはシリアルなデータ伝送方式であり、伝送媒体として光ファイバやメタルケーブルが使用されている。一般に、伝送媒体としてメタルケーブルを使用すると、信号伝送距離は数10mに制限される。光ファイバを適用すると、信号伝送距離を10km程度に拡張することが可能となる。
【0004】
FCは、本来はLAN(Local Area Network)用のプロトコルとして採用されてきたが、光ファイバを適用することによって、信号の伝送距離を10km程度に伸ばすことができるため、FCプロトコルでWAN(Wide Area Network)を構築することも可能である。また、複数サイトに分散したSANsを中継網で接続し、1つのサイトから中継網を介して他サイトのストレージ装置をアクセスするネットワーク構成も可能である。
【0005】
【発明が解決しようとする課題】
SANにおけるコンピュータ装置(ユーザ端末またはサーバ)とストレージとの間の通信は、通常の端末間通信に比較してデータ量の大きいファイルデータ転送が主体となる。従って、複数サイトのSANsを中継網で接続したストレージ・ネットワークにおいては、1つのサイトから他サイトのストレージ装置をアクセスする場合、中継網上の通信パス帯域が問題となる。
【0006】
一般に、利用者が、パス帯域を確保するために、広域IP網などの中継網を提供するキャリア事業者との間で交わす専用線契約は、固定帯域/常時接続契約となることが多い。ここで、固定帯域は、中継網上で一定帯域(スループット)の通信回線(パス)を保証することを意味し、常時接続は、ユーザが何時で使えるように、通信回線を全時間接続状態に保つことを意味している。
【0007】
従って、ユーザが低速回線を契約した場合、例えば、数ギガ〜数テラバイトのデータベースファイルやLSI設計データ等のように、帯域に見合わない巨大なデータを転送しようとすると、データ転送に膨大な時間が費やされる。逆に、巨大なデータを短時間で転送できるように、広帯域回線を契約すると、回線を使用していない期間中にも帯域に応じた課金が行われるため、コストが掛かるという問題がある。
また、上記問題を回避するために、データ転送の都度、ユーザが必要帯域のパス設定を行おうとしても、ネットワーク上でパス設定/帯域確保のために必要とするパラメータ値の特定と通信手順の実行が容易でない。
【0008】
本発明の目的は、ユーザニーズに応じた最適帯域のパスを動的に確立できるネットワークシステムを提供することにある。
本発明の他の目的は、転送データ量に応じた最適帯域のパスを随時に確立し、通信終了時に解放できるスイッチングノード装置を提供することにある。
本発明の更に他の目的は、中継網上で最適帯域のパスを保証し、1つのサイトから遠隔ストレージ装置をアクセスするのに適したストレージ・ネットワーク用のスイッチングノード装置を提供することにある。
本発明の更に他の目的は、中継網を介して大量データを転送するのに適した遠隔ストレージ装置のアクセス方法を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明は、中継網に接続されるスイッチングノード装置に、上記中継網で転送すべきファイルデータのサイズまたは属性と対応して予め帯域制御パラメータ値を記憶しておき、ユーザから遠隔ストレージ装置へのアクセス要求またはパス設定要求が発生した時、スイッチングノード装置が、上記要求が示す転送データサイズまたはデータ属性から、要求に適合した帯域制御パラメータ値を特定し、これらのパラメータ値を使用して中継網上に最適帯域のパスを自動的に設定し、データ転送が終了した時、上記パスを自動的に解放することを特徴とする。
【0010】
更に詳述すると、本発明のスイッチングノード装置は、中継網に接続するための第1インタフェースと、エリア網に接続するための複数の第2インタフェースと、パス制御部とからなり、
上記パス制御部が、転送すべきデータサイズ区分毎に各種の帯域制御パラメータを定義した属性テーブルを有し、上記第2インタフェースのうちの1つから上記中継網に接続された遠隔ストレージ装置をアクセスするためのコマンドを含むパケットを受信した時、上記属性テーブルから上記受信コマンドが示す転送データ長と対応するデータサイズ区分の帯域制御パラメータを読み出し、該帯域制御パラメータに従って上記中継網上に帯域確保されたパスを設定するための通信手順を実行することを特徴とする。
【0011】
本発明の1実施例によるスイッチングノード装置は、中継網に接続するための第1インタフェースと、エリア網に接続するための複数の第2インタフェースと、上記エリア網内のユーザ端末と専用線を介して接続するための第3インタフェースと、パス制御部とからなり、
上記パス制御部が、転送すべきデータの属性区分毎に各種の帯域制御パラメータを定義した属性テーブルを有し、上記第3インタフェースからデータ属性を指定してパス確保要求を受信した時、上記属性テーブルから上記指定されたデータ属性と対応する属性区分の帯域制御パラメータを読み出し、該帯域制御パラメータに従って上記中継網上に帯域確保されたパスを設定するための通信手順を実行し、上記第2インタフェースのうちの1つからその後に受信されるコマンドに従って上記ユーザ端末と遠隔ストレージ装置との間で行われるデータ転送が、上記帯域確保されたパスを通して行われるようにしたことを特徴とする。
【0012】
上記エリア網には、例えば、ファイバーチャネル・プロトコル(FCP)が適用され、中継網には、IP(Internet Protocol)が適用される。この場合、第2インタフェースは、FCPパケットとIPパケットとの間のプロトコル変換機能を備える。
【0013】
本発明による遠隔ストレージのアクセス方法は、それぞれ第1、第2のスイッチングノードを介して中継網に接続された第1、第2のストレージエリア網からなるネットワークにおいて、
上記第1のストレージエリア網に属するコンピュータ装置から、上記第2のストレージエリア網に属するストレージ装置に対して、ファイルアクセス命令を送信し、
上記ファイルアクセス命令を受信した第1のスイッチングノードが、上記命令の上記中継網への転送を保留した状態で、上記第2のスイッチングノードと共同して、上記中継網に上記命令で指定される転送データ長に適合した帯域をもつ通信パスを設定するための通信手順を実行し、
上記パスが設定された後で、第1のスイッチングノードから上記ストレージ装置に上記ファイルアクセス命令を転送することにより、上記ファイルアクセス命令に付随する上記コンピュータ装置とストレージ装置との間のデータ転送が上記通信パスを通して行われるようにしたことを特徴とする。
【0014】
本発明の1実施例による遠隔ストレージ装置のアクセス方法は、
上記ファイルアクセス命令を受信した第1のスイッチングノードが、上記命令を上記中継網に転送した後、上記第2のスイッチングノードと共同して、上記中継網に上記命令で指定する転送データ長に適合した帯域をもつ通信パスを設定するための通信手順を実行し、
上記ファイルアクセス命令が上記ストレージ装置で受信された後、上記コンピュータ装置とストレージ装置との間で、標準的な通信パスで上記ファイルアクセス命令に付随するデータ転送を行い、
上記適合帯域の通信パスが設定された後、上記コンピュータ装置とストレージ装置との間で、上記適合帯域の通信パスを通して、上記ファイルアクセス命令に付随するデータ転送を行うことを特徴とする。
尚、上記コンピュータ装置は、例えば、ファイルアクセス命令の送信に先立って上記ストレージ装置と交信し、ファイルアクセス命令で指定すべき転送データ長を取得する。
【0015】
本発明の他の実施例による遠隔ストレージ装置のアクセス方法は、
上記第1のストレージエリア網に属するコンピュータ装置から上記第1のスイッチングノードに、上記第2のストレージエリア網に属するストレージ装置をアクセスするための通信パスの確保を要求し、
上記要求を受信した第1のスイッチングノードが、上記第2のスイッチングノードと共同して、上記中継網に上記要求で指定するデータ属性に適合した帯域をもつ通信パスを設定するための通信手順を実行し、該通信手順の完了時に、上記コンピュータ装置に通信パス確保を通知し、
上記通信パス確保通知の受信後に、上記コンピュータ装置から上記ディスク装置にファイルアクセス命令を送信することによって、上記ファイルアクセス命令に付随する上記コンピュータ装置とディスク装置との間のデータ転送が上記適合帯域をもつ通信パスを通して行われるようにしたことを特徴とする。
本発明の上記および他の目的、特徴および利点は、以下に述べる図面を参照した実施例の説明から明らかになる。
【0016】
【発明の実施の形態】
以下、本発明の実施例について図面を参照して説明する。
図1は、本発明によるストレージ・ネットワークの概略的な構成を示す。
ストレージ・ネットワークは、それぞれユーザ端末2(2A、2B)とディスク装置3(3A、3B)を収容したスイッチングノード:MGS(Multi-protocol Gateway Switch)1(1A、1B)と、これらのMGSを中継網、例えば、広域IP網5に接続するためのルータ4(4A、4B)とからなる。各MGS1は、伝送路L1(L1a、L1b)を介してユーザ端末2とディスク装置3に接続され、伝送路L2(L2a、L2b)を介して、ルータ4と接続されている。
【0017】
ここで、MSG:1Aは、ユーザ端末2A、ディスク装置3Aと共に1つのローカルSANを形成し、MGS:1Bは、ユーザ端末2B、ディスク装置3Bと共に別のローカルSANを形成している。各ローカルSANには、サーバ等の他の装置も接続されるが、本明細書では説明を簡単化するために、サーバ等も含めて、ディスク装置をアクセスするコンピュータ装置をユーザ端末2で代表させる。
【0018】
伝送路L1上には、例えば、ファイバチャネル(Fibre Channel:FC)が適用される。ディスク装置のアクセスには、一般的にSCSI(Small Computer System Interface)が適用されるため、ユーザ端末2とディスク装置3は、SCSIパケット(コマンドまたはデータ)をファイバチャネル・プロトコル(Fibre Channel Protocol:FCP)のパケットに変換して伝送路L1に出力し、逆に、伝送路L1から受信したFCPパケットをSCSIパケットに変換するSCSI−FCPプロトコル変換機能(インタフェース機能)を備える。但し、上記伝送路L1をFCに限定する必然性はなく、例えば、SCSIをIP(Internet Protocol)にマッピングしたiSCSIプロトコルを適用しても良い。このような伝送路L1で接続されたネットワークは、一般にSAN(Storage Area Network)と呼ばれている。
【0019】
伝送路L2上の通信にはIPが使用される。従って、MGS1には、SANで使用されるSCSIをIPにマッピングするiSCSI、FCPをIPネットワークにトンネリングするFCIP(Fibre Channel over TCP/IP)またはiFCP(Internet Fibre Channel Protocol)などのプロトコル変換機能が必要となる。
【0020】
本発明の目的は、図1に示すように複数のSANをIP網5で接続したストレージ・ネットワークにおいて、例えば、ユーザ端末2Aから遠隔地にあるディスク装置3Bをアクセスする場合に、IP網内での使用通信帯域をMGSによって最適化することにある。以下の実施例では、MGSにFCIPを適用した場合について説明するが、FCIPに代えてiSCSIやiFCPなどの他のプロトコル変換機能を適用できること明らかである。
【0021】
図2は、MGS:1Aの1実施例を示すブロック図である。MGS1Bもこれと同様の構成となっている。
MGS:1Aは、それぞれ伝送路L1a(L1a−1〜L1a−n)に接続される複数のSANインタフェース部10(10−1〜10−n)と、伝送路L2aに接続されるIPインタフェース部20と、パス制御部30と、バス管理部60からなり、これらの要素はデータバス50と制御バス51によって相互に接続されている。バス管理部60は、制御バス51を介して、上記各インタフェース部10、20およびパス制御部30によるデータバス50の競合を調停し、バス上での障害を管理する。
【0022】
SANインタフェース部10は、伝送路L1aから受信したFCPパケットをIPヘッダでカプセル化し、これにルーティング情報(スイッチング情報)を含む内部ヘッダを付加し、内部パケットとしてデータバス50に出力する。また、データバス50から選択的に取り込んだ内部パケットをデカプセル化し、FCPパケットとして伝送路L1aに出力する。
【0023】
IPインタフェース部20は、データバス50から選択的に取り込んだ内部パケットから内部ヘッダを除去し、IPパケットとして伝送路L2aに出力する。また、伝送路L2aから選択的に受信したIPパケットにルーチング情報を含む内部ヘッダを付加し、内部パケットとしてデータバス50に出力する。
【0024】
本実施例では、各SANインタフェース部10に、伝送路L1aからの受信パケットが、IP網5に接続された遠隔ディスク装置宛のFCPデータ(FCP−DATA)パケットの場合は、IPインタフェース20宛のルーティング情報を付加して、データバス50に出力させる。伝送路L1aからの受信パケットが、IP網5に接続された遠隔ディスク装置宛のFCPコマンド(FCP−CMND)パケットの場合は、パス制御部30宛のルーティング情報を付加して、データバス50に出力させる。また、データバス50からの受信パケットがFCPレスポンス(FCP−RSP)パケットの場合は、これを伝送路L1aに出力すると共に、パス制御部30宛のルーティング情報を付加してデータバス50に出力させる。
【0025】
尚、伝送路L1aからの受信パケットが、MGS:1Aに接続されたディスク装置宛のFCP−DATAパケット、FCP−CMNDパケット、またはMGS1Aに接続されたユーザ端末宛のFCP−DATAパケットの場合は、宛先と対応したSANインタフェースのルーティング情報を付加して、データバス50に出力させる。
【0026】
図3は、伝送路 1 から受信されるFCPパケットと内部パケットとの関係を示す。
100はFCPパケット、120はFCPパケットに付加されるIPカプセル化ヘッダ、130は内部ヘッダを示す。
ここでは、FCPパケット100がFCPコマンド(FCP−CMND)の場合を示す。FCP−CMNDは、宛先アドレス(D−ID)101、送信元アドレス(S−ID)102、その他の情報を含むヘッダ部の後に、論理装置番号(LUN)フィールド103と、複数のSCSIコマンドを示すSCSI CDB(Command Description Block)フィールド104が続いている。SCSIコマンドは、ブロック110で示すように、オペコード111、論理ブロックアドレス112、転送データ長113を含むCDB形式で、フィールド104に設定される。
【0027】
FCPパケット100の種類は、R−CTLフィールド105の設定値によって判別できる。FCP−CMNDは、上記フィールド105の設定値が「6」、FCP−RSPは「7」となっている。
IPヘッダ120は、送信元IPアドレス(S−IP)121、宛先IPアドレス(D−IP)122、その他の情報を含んでいる。また、内部ヘッダ130には、ルーティング情報として、データバス50に接続された他のインタフェース部およびパス制御部30の識別番号が設定される。
【0028】
図4は、SANインタフェース10−1の構成を示す。
SANインタフェース10−1は、伝送路L1a−1から入力されるディジタル信号を終端し、FCPパケットとして出力する入力回線終端回路11と、上記FCPパケットをIPカプセル化ヘッダ120と内部ヘッダ130とが付加された内部パケットに変換する入力パケットヘッダ変換部12と、上記内部パケットが供給されるFCPコマンド検出部13とを含む。
【0029】
入力パケットヘッダ変換部12は、アドレス変換テーブル(図示せず)を備えており、該テーブルを参照することによって、FCPパケットのヘッダ部から抽出された宛先アドレス(D−ID)101と対応する宛先IPアドレス(D−IP)122と出力インタフェース番号(内部ルーティング情報)を求める。また、上記アドレス変換テーブルから、FCPパケットの送信元アドレス(S−ID)102と対応する送信元IPアドレス(S−IP)121を求め、これらのIPアドレスと内部ルーティング情報を適用して、IPカプセル化ヘッダ120と内部ヘッダ130を生成する。
【0030】
上記SANインタフェース10−1は、更に、データバス50に流れる内部パケットの内部ヘッダを判定し、自インタフェース(SANインタフェース10−1)宛のルーティング情報をもつ内部パケットを選択的に取り込むルーティング情報判定部15と、該判定部15の出力パケットから内部ヘッダとIPヘッダとを除去し、FCPパケットとして出力する出力パケットヘッダ変換部16と、上記FCPパケットをディジタル信号として伝送路L1a−1に出力する出力回線終端回路17と、SANインタフェース制御部18とを含む。入力パケットヘッダ変換部12が備えるアドレス変換テーブルの内容は、上記SANインタフェース制御部18によって更新される。
【0031】
FCPコマンド検出部13は、入力パケットヘッダ変換部12とルーティング情報判定部15から供給された内部パケットの内容を判定する。入力パケットヘッダ変換部12から供給された内部パケットが、IPインタフェース宛のルーティング情報とFCP−CMNDを含む場合は、内部ヘッダのルーティング情報をパス制御部30宛のものに書き換えた後、データバス50に出力する。IPインタフェース宛のFCP−CMND以外の内部パケットは、ルーティング情報を書き換えることなく、そのままデータバス50に出力する。
【0032】
一方、ルーティング情報判定部15から供給された内部パケットがFCP−RSPを含む場合は、FCPコマンド検出部13は、内部ヘッダのルーティング情報をパス制御部30宛のものに書き換えた後、データバス50に出力し、FCP−RSP以外の内部パケットは廃棄する。これによって、SANで発生した遠隔ディスク装置宛のFCP−CMNDと、遠隔ディスク装置が発生したFCP−RSPが、パス制御部30に転送されることになる。
【0033】
図5は、IPインタフェース部20の構成を示す。
IPインタフェース部20は、データバス50に流れる内部パケットの内部ヘッダを判定し、自インタフェース(IPインタフェース20)宛のルーティング情報をもつ内部パケットを選択的に取り込むルーティング情報判定部21と、該判定部21からの出力パケットから内部ヘッダ130を除去して、IPパケットに変換する出力パケットヘッダ変換部22と、上記IPパケットの伝送路L2aへの転送レートを制御するパケットクラシファイア23およびパケットスケジューラ24と、該パケットスケジューラ24からの出力パケットをディジタル信号に変換して伝送路L2aに送出する出力回線終端回路25とを含む。
【0034】
パケットクラシファイア23は、後述するパス制御部30から制御信号線L23に出力されるクラシファイア情報に基づいて、IPパケットにRSVP(Resource Reservation Protocol)におけるQoS(Quality of Service)のクラス付けを行う。また、パケットスケジューラ24は、パス制御部30から制御信号線L24に出力されるスケジューラ情報と各IPパケットのQoSクラスとに基づいて、RSVPで確保されたパス帯域を遵守すべくIPパケットの送出間隔を制御する。
【0035】
IPインタフェース部20は、更に、伝送路L2aからの受信したディジタル信号を終端し、IPパケットとして出力する入力回線終端回路26と、入力回線終端回路26から出力されたIPパケットにルーティング情報を含む内部ヘッダを付加し、内部パケットとしてデータバス50に送出する入力パケットヘッダ変換部27と、該入力パケットヘッダ変換部27が参照するドレス変換テーブル(図示せず)の内容を更新するためのIPインタフェース制御部28とを含む。
【0036】
入力パケットヘッダ変換部27は、入力回線終端回路26から受信した各IPパケットの宛先IPアドレスをチェックし、宛先IPアドレスがアドレス変換テーブルに登録済みのものであれば、上記アドレス変換テーブルに従って内部ヘッダを生成し、IPパケットを内部パケットに変換する。宛先IPアドレスがアドレス変換テーブルに未登録のIPパケットは、廃棄される。
【0037】
図6は、パス制御部30の1実施例を示す。
パス制御部30は、RSVPパス制御部31と、データバス50とRSVPパス制御部31との間に接続されたFCPパケットインタフェース32およびPATH/RESVリクエスト・インタフェース33と、RSVPパス制御部31に接続されたRSVP帯域制御部35と、RSVP帯域制御部35とデータバス50との間に接続されたRSVPパケットインタフェース36と、アドレステーブル41を管理するアドレス管理部40とからなる。
【0038】
FCPパケットインタフェース32は、データバス50からパス制御部30宛のルーティング情報をもつ内部パケットを取り込み、該内部パケットがFCP−CMNDまたはFCP−RSPを含む場合、これをRSVPパス管理部31に渡す。また、RSVP手順の実行完了後に、RSVPパス管理部31が発行するFCP−CMNDパケットをデータバス50に出力する。
【0039】
PATH/RESVリクエスト・インタフェース33は、データバス50からパス制御部30宛のルーティング情報をもつ内部パケットを取り込み、該内部パケットが後述するPATH(RSVP)メッセージまたはRSVPリクエスト許可メッセージを含む場合、これをRSVPパス管理部31に渡す。また、RSVP帯域確保手順の実行に先立って、RSVPパス管理部31が発行するPATHリクエスト用またはRESVリクエスト用のパケットをデータバス50に出力する。
【0040】
アドレス管理部40は、アドレステーブル41でMGS:1Aにおける総括的なアドレス変換情報を管理し、データバス50を介して、SANインタフェース部10−i(i=1〜n)とIPインタフェース部20が使用するローカルなアドレス変換テーブルの内容を更新する。
【0041】
本実施例では、RSVPパス管理部31が、SANインタフェース部10−i(i=1〜n)からFCPパケットインタフェース32を介して受信したFCP−CMNDパケットを一時的に保持した状態で、RSVPによるパス設定/帯域確保手順を実行することを特徴とする。上記FCP−CMND用のIPパケットは、RSVPによる帯域確保が完了した時、RSVPパス管理部31からFCPパケットインタフェース32とデータバス50を介してIPインタフェース部20に転送され、IP網に送出される。
【0042】
RSVPパス管理部31は、図7に示すパス管理フローチャート300に従って動作する。
FCPパケットインタフェース32から内部パケットを受信すると、RSVPパス管理部31は、受信パケットの種別を判定し(ステップ301)、受信パケットがFCP−CMNDを含む場合は、受信パケットのIPヘッダからS−IPアドレスとD−IPアドレス、FCPヘッダからS−IDアドレス、D−IDアドレスを抽出し、FCP―CMNDから、パス管理項目となる論理装置番号(LUN:Logical Unit Number)103、格納アドレス(LBA:Logical Block Address)112、転送データ長(Transfer Length)113を抽出する(302)。
【0043】
RSVPパス管理部31は、上記転送データ長113を検索キーとして属性テーブル37Aを参照し、帯域設定の要否判定とパス設定/帯域確保に必要なパラメータ値を算出する(303)。
属性テーブル37Aは、RSVPによる帯域制御に必要な各種パラメータ値を指定するためのものであり、例えば、図8に示すように、データサイズ区分370A−1〜370A−毎に、第1パラメータ群T−Spec:371として、平均帯域(TBR)、最大帯域(MTR)およびバーストサイズ(TBS)、第2パラメータ群R−Spec:372として、許容最小遅延(MDN)、許容最大遅延変動(MDV)、許容パケット損失数(LS)、許容連続パケット損失数(BLS)、パケット損失発生間隔(LI)および品質保証レベル(QoG)の値を定義したエントリが登録されている。検索キーとなる転送データ長113が最小データサイズ区分370A−1よりも小さい場合は、パス設定と帯域確保は不要と判断される。
【0044】
RSVPパス管理部31は、属性テーブル37Aに転送データ長113に対応するパラメータエントリが存在しなかった場合(304)は、一時的に保持してあったFCP−CMNDパケットの内部ヘッダのルーティング情報をIPインタフェース20宛に書き換え、FCPパケットインタフェース32に出力する(316)。この場合、特別なパス設定と帯域確保を行うことなくFCP−CMNDがアクセス先のディクス装置3Bに転送されるため、FCP−CMNDに応答してディスク装置3Bから読み出されたデータは、IP網上の標準的な帯域でもって、MGS:1Aに転送されることになる。
上記属性テーブル37Aに転送データ長113に対応するパラメータエントリが見つかった場合、RSVPパス管理部31は、RSVP管理テーブル38Aに上記FCP―CMNDと対応した新たなエントリを登録する(305)。
【0045】
RSVP管理テーブル38Aは、例えば、図9に示すように、パスIDをもつ複数のエントリ380A−1、380A−2、・・・からなり、各エントリは、パス定義情報381、オペレーション382、転送データ長(データサイズ)383、T−Spec384、R−Spec385と、制御ステータス386からなっている。パスIDは、受信したFCP―CMND毎にシーケンシャルな番号が与えられる。
【0046】
パス定義情報381には、内部パケットのIPヘッダから抽出されたS-IPアドレス121とD−IPアドレス122、FCPヘッダから抽出されたS−IDアドレス102とD−IDアドレス101、FCPコマンドで指定されたLUN103の値が設定される。オペレーション382には、SCSI CDB110から抽出されたオペレーションコード111、転送データ長383には属性テーブル検索に適用した転送データ長の値が設定される。また、T−Spec384とR−Spec385には、属性テーブル37Aの検索で得られたパラメータ値が設定される。制御ステータス386は、パス設定/帯域確保手順の状態遷移を制御するために使用される。上記RSVPパス管理テーブル38Aの登録エントリは、後述するようにFCP−RSPを受信した時に消去される。
【0047】
尚、RSVPでパス帯域を確保する場合、上述したパス定義情報の他に、RSVPのUDPポート番号と、FCIPのTCPポート番号が必要となるが、前者の値は固定値「363」、後者の値は固定値「3225」として既知となっているため、RSVPパス管理テーブル38Aのエントリ毎に記憶しておく必要はない。以下の説明で単にパス定義情報と言った場合、上記UDPポート番号とPCTのポート番号も含むものとする。
【0048】
RSVPパス管理部31は、RSVPパス管理テーブル38Aへのエントリの登録を終えると、アクセスすべきディスク装置側のMGSとの間にSRVPパスを設定するためのコマンドを生成し、PATH/RESVリクエスト・インタフェース33に出力する。SRVPパスの設定手順は、ディスク装置へのアクセスがReadアクセスかWriteアクセスかによって異なる。
【0049】
そこで、FCP−CMNDのオペレーションコードを判定し(306)、オペレーションがReadの場合、すなわち、ディスク装置からユーザ端末へのデータ転送に使用されるパスを設定する場合は、ディスク装置側のMGS:1B宛のPATHリクエストを送信し(307)、MGS:1Bからのパス設定用のメッセージPATH(RSVP)の受信を待つ(308)。逆に、上記FCP−CMNDのオペレーションコードがWriteの場、すなわち、ユーザ端末側からディスク装置へのデータ転送に使用されるパスを設定する場合は、ディスク装置側のMGS:1B宛にRESVリクエストを送信し(310)、MGS:1Bからのリクエスト許可メッセージの受信を待ち(311)、リクエスト許可メッセージが受信された時、パス設定用のメッセージPATH(RSVP)をMGS:1B宛に送信する(312)。これらのパス設定用のメッセージは、PATH/RESVリクエスト・インタフェース33を介して、IPインタフェース部20と送受信される。
【0050】
ディスク装置側のMGS:1Bとの間のRSVPパス設定が完了すると、RSVPパス管理部31は、信号線L31を介して、RSVP帯域制御部35に上記パス上での帯域の確保を指令し(309、313)、信号線L35からの帯域確保完了通知を待つ(315)。上記帯域確保指令は、RSVPパス管理テーブル38Aから検索されたパス定義情報381〜R−Spec情報385を指定して発行される。
【0051】
RSVP帯域制御部35は、RSVPプロセス部351と、ポリシー制御部352と、アドミッション制御部353とからなる。
FCP−CMNDのオペレーションコードがReadの場合、ユーザ端末側から帯域確保のための制御メッセージRESV(RSVP)を送信する。この場合、RSVPプロセス部351は、RSVPパス管理部31から指定されたパス定義情報381、T−Spec情報384、R−Spec情報385と、既知のRSVPのUDPポート番号、FCIPのTCPポート番号を使用してRESV(RSVP)を生成し、ディスク装置側のMGS:1B宛に送信する。これによって、MGS:1BとMGS:1Aとの間のIP網上で、帯域確保の制御手順が実行される。
【0052】
FCP−CMNDのオペレーションコードがWriteの場合、ディスク装置側のMGS:1Bから制御メッセージRESV(RSVP)が送信され、ユーザ端末側のRSVPプロセス部351は、上記RESV(RSVP)に応答して、確認メッセージRESV−Conf(RSVP)を送信する。これらのRSVP制御メッセージの送受信は、SVPパケットインタフェース36を介して行われる。
【0053】
RSVPパス帯域の確保が完了すると、RSVPプロセス部351は、信号線L35に完了通知を出力する。RSVPパス管理部31は、信号線L35から完了通知を受信すると、一時的に保持されていた内部パケット(FCP−CMND)のルーティング情報をIPインタフェース20宛に書き換え、FCPパケットインタフェース32に出力する(316)。この場合、FCP−CMNDは、転送データ長に適合した特別帯域をもつパス設定の完了後にアクセス先のディクス装置3Bに転送されるため、FCP−CMNDに応答してディスク装置3Bから読みだされたデータは、IP網上に割当てられた固有のパス帯域でもって、MGS:1Aに転送されることになる。
【0054】
上記FCP−CMNDに従ったデータ転送が完了すると、ディスク装置3BからFCP−RSPが発行される。上記FCP−RSPを含むIPパケットは、MGS:1AのIPインタフェース20で受信され、要求元ユーザ端末が接続された何れかのSANインタフェース10−jに転送される。この場合、SANインタフェース10−jは、図4で説明したように、上記FCP−RSPを含むIPパケットをパス制御部30に転送すると共に、IPパケットから抽出したFCP−RSPを伝送路L1a−jに送出する。
【0055】
上記FCP−RSPを含むIPパケットは、FCPパケットインタフェース32を介してRSVPパス管理部31に入力される。RSVPパス管理部31は、上記FCP−RSPを受信すると、FCPヘッダが示すD−IDとS−IDの組み合せに該当するエントリをRSVPパス管理テーブル38Aから検索し、RSVP帯域制御部35にパス定義情報を指定してパスの解放を指令する(320)。これによって、RSVPプロセス部351がパス解放コマンド(RESV−Tear-Down)を発行し、RSVPパスが解放される。RSVPパス管理部31は、上記パス解放によって不要となったエントリをRSVPパス管理テーブル38Aから削除する(321)。尚、FCP−RSPのD−IDとS−IDの組み合せに該当するエントリがRSVPパス管理テーブル38Aに見つからなかった場合は、上記FCP−RSPは、パス未設定のディスクアクセスに関するものとして無視される。
【0056】
RSVP帯域制御部35のポリシー制御部352とアドミッション制御部353は、RSVPで確保されたパス帯域内でのデータ転送を制御するためのものである。図5で説明したインタフェース部20のパケットクラシファイア23とパケットスケジューラ24は、RSVPプロセス部351から信号線L23、L24に出力されるスケジューラ/クラシファイア制御信号によって制御される。
【0057】
図10は、上述した構成をもつMGS:1A、1Bを介して、図1に示したユーザ端末2Aがディスク装置3Bをアクセスし、ファイルデータを読み出す場合のパケット転送シーケンスを示す。
パケット転送シーケンスは、前処理シーケンス(S150)と、パス設定/帯域確保シーケンス(S160)と、ブロックデータ転送シーケンス(S170)と、パス解放シーケンス(S180)とからなる。本実施例では、パス設定/帯域確保シーケンス(S160)は、ブロックデータ転送シーケンス(S170)に先行して実行される。
【0058】
前処理シーケンス(S150)は、ユーザ端末2Aがディスク装置3Bに格納されているデータファイルをアクセスする前に実行されるシーケンスである。前処理シーケンスでは、ユーザ端末2Aからディスク装置3Bに、FCP−CMNDが必要とするファイルアクセス情報を要求する(151)。ディスク装置3Bは、上記ファイルアクセス情報要求を受信すると、ファイルアクセス情報テーブルの参照処理(S100)を実行し、要求されたファイルアクセス情報をユーザ端末2Aに返送する(152)。上記ファイルアクセス情報としては、アクセスすべきデータファイルをもつ論理装置番号(LUN)と、上記データファイルの格納アドレス(LBA)と、データサイズ(Transfer Length)が含まれる。上記前処理シーケンスは、ユーザ端末2Aに備えるOS(Operating System)と、ディスク装置3Bが備えるファイルシステムの機能によって実現される。
【0059】
本実施例において、ユーザ端末2AはSCSIコマンドでディスク装置3Bをアクセスし、ユーザ端末2AとMGS:1Aとの間、およびディスク装置3BとMGS:1Bと間では、FCPで通信することを仮定している。図10において、MGS:1Aおよび1Bが実行しているS10は、FCPからIPへの変換処理を意味し、S20は、IPからFCPへの変換処理を意味している。
【0060】
ブロックデータ転送シーケンス(S170)は、SCSI−FCPにおいて、ユーザ端末2AをSCSIイニシエータ、ディスク装置3BをSCSIターゲットとするReadシーケンスに相当している。
ブロックデータ転送シーケンス(S170)は、ユーザ端末2AからのFCPコマンドFCP−CMND(Read)の送信(171)によって開始される。但し、本実施例では、図6で説明したように、FCP−CMNDがMGS:1Aで一時的に保持され、パス設定/帯域確保シーケンス(S160)が完了してから、ディスク装置3Bに送信されるため、実質的なブロックデータ転送シーケンス(S170)は、MGS:1AからのFCP−CMND(Read)の送信(172)によって開始され、ディスク装置3BからのFCP−RSPの送信(175)によって終了する。
【0061】
上記FCP−CMND(Read)は、前処理シーケンスで求めたファイルアクセス情報に従って生成される。MGS:1Aから上記FCP−CMND(Read)を受信したディスク装置3Bは、FCP−CMND(Read)で指定されたデータファイルから所定サイズのブロック単位で次々とデータを読み出し、FCP−DATAとしてユーザ端末2Aに送信する(174−1、174−2、・・・・)。指定データファイルの最終データブロックの送信(174−k)が完了すると、ディスク装置3Bは、FCP−RSPを発行する(175)。
【0062】
パス設定/帯域確保シーケンス(S160)では、MGS:1Aのパス制御部30がFCP−CMNDをフェッチし(S110)、RSVPパス設定の要否判定と帯域制御パラメータ(T−Spec、R−Spec)の検索(S120)を行い、これらのパラメータと、図9で説明したパス定義情報等の情報を含むPATHリクエストを生成し、IPネットワーク上の対向するMG:1Bに送信する(161)。
【0063】
上記PATHリクエストに応答して、MGS:1Bから1Aに、パス設定用のメッセージPATH(RSVP)が送信され(162)、これによって、2つのMGS間に通信パスが設定される。通信パスが設定された状態で、MGS:1AのRSVP帯域制御部35からMGS:1Bに、上記パスに所望の帯域を確保するためのメッセージRESV(RSVP)を送信し(163)、MGS:1Bから1Aに確認メッセージRESV−Conf(RSVP)を送信する(164)ことによって、MGS:1Aと1Bとの間の通信パスにRSVPによる所望の帯域が確保される。
【0064】
パス解放シーケンス(S180)は、MGS:1Aのパス制御部30が、ディスク装置3Bからユーザ端末2Aに送信されたFCP−RSPをフェッチ(S130)した時、開始される。MGS:1AのRSVPパス管理部31は、RSVPパス管理テーブル38Aから上記FCP−RSPに対応するパス管理情報を読み出し、RSVPのパス開放コマンド(RESV−Tear−Down)を生成し、これをMGS:1Bに送信する(181)。これによって、PATH(RSVP)162で設定された通信パスが解放される。
【0065】
図11は、図1に示したユーザ端末2Aがディスク装置3Bにファイルデータを書き込む場合のパケット転送シーケンスを示す。
パケット転送シーケンスは、前処理シーケンス(S250)と、パス設定/帯域確保確保シーケンス(S260)と、ブロックデータ転送シーケンス(S270)と、パス解放シーケンス(S280)とからなり、図10と同様、パス設定/帯域確保シーケンス(S260)は、ブロックデータ転送シーケンス(S270)に先行して実行される。
【0066】
本実施例のブロックデータ転送シーケンス(S270)は、SCSI−FCPにおいて、ユーザ端末2AをSCSIイニシエータ、ディスク装置3BをSCSIターゲットとするWRITEシーケンスに相当している。
前処理シーケンス(S250)では、ユーザ端末2Aは、ファイル情報を参照し(S200)、ディスク装置3Bに転送すべきデータファイルのデータサイズ(転送データ長:Transfer Length)を特定して、ディスク装置3Bにファイルの作成を要求する(251)。ディスク装置3Bは、ユーザから要求されたサイズをもつ新規データファイル領域を作成し(S205)、ユーザ端末2Aに準備完了を通知する(252)。上記準備完了通知は、新規データファイルが形成されている論理装置番号(LUN:Logical Unit Number)と、格納アドレス(LBA:Logical Block Address)とを含んでいる。
【0067】
ユーザ端末2Aでは、上記準備完了通知で取得したLUN、LBAと、転送すべきファイルのデータサイズを適用して、FCPコマンド:FCP−CMND(Write)を生成し、これをディスク装置3Bに送信する(271)。
本実施例では、図10と同様、上記FCP−CMND(Write)がMGS:1Aでフェッチされ(S210)、パス設定/帯域確保シーケンス(S260)が開始される。パス設定/帯域確保シーケンス(S260)では、FCP−CMND(Write)が示すデータサイズに適合した帯域制御パラメータ(T−Spec、R−Spec)が検索される(S220)。
【0068】
WRITE動作とREAD動作では、データ転送方向が逆になるため、本実施例では、パス帯域確保メッセージRESV(RSVP)の送信方向が図10とは逆になる。そこで、MGS:1Aは、ディスク装置3B側のMGS:1Bに対して、パス帯域確保手順の実行を要求するRESVリクエストを送信する(261)。上記RESVリクエストには、上記FCP−CMND(Write)に対応してRSVPパス管理テーブル38Aに登録されたエントリ情報が設定されている。
【0069】
上記RESVリクエストが受け入れられた場合、MGS:1Bから1Aに、RESVリクエスト許可メッセージが返送される(262)。MGS:1Aは、上記RESVリクエスト許可メッセージを受信すると、MGS:1Bに対して、パス設定用のメッセージPATH(RSVP)を送信し(263)。2つのMGS間に通信パスを設定する。この後、MGS:1Bから1Aに、上記通信パスに所望の帯域を確保するためのメッセージRESV(RSVP)を送信し(264)、MGS:1Aから1Bに確認メッセージRESV−Conf(RSVP)を送信する(265)ことによって、MGS:1Aと1Bとの間の通信パスにRSVPによる所望の帯域が確保される。
【0070】
MGS:1Aは、上述したパス設定/帯域確保シーケンス(S260)が完了すると、一時的に保持しておいたFCP−CMND(Write)をディスク装置3Bに送信し(272)、ブロックデータの転送シーケンス(S270)を開始する。
【0071】
FCP−CMND(Write)を受信したディスク装置3Bは、ファイルデータの受信準備が整っていれば、ユーザ端末2Aに転送準備完了メッセージ「FCP−XFER−RDY」を送信する(273)。ユーザ端末2Aは、上記メッセージFCP−XFER−RDYを受信すると、ファイルデータを所定サイズのブロック単位で、FCP−DATAとして送出する(274−1、274−2、…)。
【0072】
ユーザ端末2Aが、ファイルデータの最終ブロックを含むFCP−DATAを送出すると(274−k)、ディスク装置3BからFCPレスポンス「FCP−RSP」が返送され(275)、ブロックデータの転送シーケンス(S270)が終了する。
【0073】
MGS:1Aは、上記FCP−RSPを受信すると、パス解放シーケンス(S280)を開始する。パス解放シーケンス(S280)は、図10で説明したパス解放シーケンス(S180)と同様であるため、ここでの説明は省略する。
【0074】
次に、図12と図13を参照して、本発明によるMGSの第2実施例について説明する。
図12は、第2実施例のMGS:1A、1Bが備えるSANインタフェース部10−1の構成図である。本実施例では、入力パケットヘッダ変換部12が、IPインタフェース部20宛のルーティング情報をもつ内部パケットをTCPコマンド検出部13とデータバス50に並列的に出力することを特徴としている。
【0075】
TCPコマンド検出部13は、入力パケットヘッダ変換部12から受信した内部パケットがFCP−CMNDの場合、内部ヘッダのルーティング情報をパス制御部30宛に書き換えて、データバス50に出力し、FCP−CMND以外の内部パケットは廃棄する。
【0076】
従って、本実施例では、パス制御部30が上記FCP−CMNDに応答してRSVPのパス設定/帯域確保シーケンスを実行している間に、入力パケットヘッダ変換部12からデータバス50に出力されたFCP−CMNDが、IPインタフェース部20からIP網5に送信されるため、ディスク装置からのブロックデータの転送と、RSVPのパス設定/帯域確保シーケンスとが並列的に開始されることになる。本実施例では、パス設定/帯域確保シーケンスが完了した時、パス制御部30は、FCP−CMNDのIPインタフェース部20への送信ステップ316を実行する必要はない。本実施例によれば、ブロックデータの転送シーケンス中に帯域が確保され、データ転送の途中で、通信パスが最適帯域をもつRSVPの通信パスに切替えられる。
【0077】
図13は、上記第2実施例の構成をもつMGS:1A、1Bを介して、ユーザ端末2Aがディスク装置3Bをアクセスし、ファイルデータを読み出す場合のパケット転送シーケンスを示す。
図10で説明した第1実施例のパケット転送シーケンスと比較すると、本実施例は、前処理シーケンス(S150)が完了した後で、ユーザ端末2Aから送信されたFCP−CMND(171)が、MGS:1Aから直ちにディスク装置3Bに送信され(172)、MGS:1Aがパス設定/帯域確保シーケンス(S160)を実行中に、ディスク装置3Bがブロックデータの転送シーケンス(S170)を開始することが特徴となっている。
【0078】
パス設定/帯域確保シーケンス(S160)は、第1実施例と同様に実行され、RSVPパス帯域が確保されると、通信パスが切替えられ、その後の送信データ(図13では、FCP−DATA:174−i〜174−k)が、上記RSVPパス帯域を利用して転送される。パスの解放シーケンス(S180)は、第1実施例と同様に行われる。
【0079】
本実施例によれば、パス設定/帯域確保シーケンス(S160)の終了を待たずにFCP−CMNDが実行されるため、ディスク装置3Bからユーザ端末2Aへの応答が早まる。また、データ転送の途中で最適帯域をもつ専用パスへの切替えが行われるため、ファイルデータの転送所要時間を短縮することが可能となる。
【0080】
次に、図14〜図21を参照して、本発明によるMGSの第3実施例について説明する。第3の実施例は、ユーザ端末からパス帯域の設定と解除を指令することを特徴としている。
【0081】
図14は、第3実施例のMGS:1A、1Bに使用されるSANインタフェース部10−1の構成を示す。
第3実施例のSANインタフェース部10−1には、TCPコマンドの検出部13がなく、入力パケットヘッダ変換部12でヘッダ変換された内部パケットが全てデータバス50に送出される。従って、パス制御部30におけるFCPコマンドのフェッチはない。
【0082】
図15は、第3実施例のMGS:1A、1Bに使用されるパス制御部30の構成を示す。
図6に示した第1実施例と比較すると、第3実施例のパス制御部30は、FCPパケットインタフェース32に代えて、専用線L3に接続されたユーザ端末インタフェース39を備えたことが特徴となっている。専用線L3は、図1に示したユーザ端末2Aとパス制御部30とを接続するために、FC伝送路L1aとは別に設けられたの信号線である。
【0083】
ユーザ端末インタフェース39は、専用線L3を介して、ユーザ端末2Aから、例えば、図16に示すように、アドレス情報S−ID、D−IDと、LUN、オペレーションコード、データサイズ(転送データ長)、データ属性などのファイルアクセス情報を含むPATH確保要求1600を受信し、これをRSVPパス管理部31に入力する。上記ファイルアクセス情報は、ディスク装置へのファイルアクセス情報要求によって取得される。
【0084】
RSVPパス管理部31は、上記PATH確保要求1600を受信すると、ファイルアクセス情報に応じたパス設定と最適な帯域設定を行う。パス設定に必要なパラメータ値は、上記PATH確保要求のファイルアクセス情報から抽出したデータ属性を検索キーとして、属性テーブル37Bから検索される。
【0085】
属性テーブル37Bは、例えば、図18に示すように、データ属性区分370B−1、370B−2、・・・毎に、第1パラメータ群T−Spec:371と、第2パラメータ群R−Spec:372を指定している。本実施例では、T−Spec:371は、図8に示した第1実施例のT−Specと同種類のパラメータからなり、R−Spec:372は、図8に示した第1実施例のR−Specのパラメータに最大接続時間(CT)を追加した内容となっている。
【0086】
RSVPパス管理部31は、上記属性テーブル37Bから検索したパラメータ値を利用して、RSVP管理テーブル38Bに、上記PATH確保要求と対応した新たなエントリを登録する。
RSVP管理テーブル38Bは、例えば、図19に示すように、パスIDをもつ複数のエントリ380B−1、380B−2、・・・からなり、各エントリは、パス定義情報381、オペレーション382、転送データ長(データサイズ)383、T−Spec384、R−Spec385、データ属性387と、制御ステータス386からなっている。
【0087】
データ属性387とR−Spec385以外は、図9に示した第1実施例のRSVP管理テーブル38Aと同一の項目からなっており、本実施例では、R−Spec385に最大接続時間(CT)が追加されている。尚、パス定義情報381に含まれるS−IPアドレス、D-IPアドレスの値は、パス確保要求1600が示すS−ID、D−IDに基づいて、アドレステーブル41を検索することによって求められる。
【0088】
図20は、第3実施例のMGSを介して、ユーザ端末2Aがディスク装置3Bをアクセスし、ファイルデータを読み出す場合のパケット転送シーケンスを示す。
図10に示した前処理シーケンスS150を実行した後、ユーザ端末2AからMGS:1Aに、専用線L3を介してPATH確保要求1600を送信すると、パス設定/帯域確保シーケンスS160が開始される。
【0089】
MGS:1Aのパス制御部30は、上記PATH確保要求1600を受信すると、属性テーブル27Bから帯域制御パラメータ(T−Spec、R−Spec)を求め(S120)、図10で説明した第1実施例と同様のパス設定(161、162)と、帯域確保(163、164)の手順を実行する。パス帯域が確保されると、MGS:1Aのパス制御部30(RSVPパス管理部31)は、ユーザ端末インタフェース39を介して、ユーザ端末2AにPATH確保の完了を通知する(165)。
【0090】
ユーザ端末2Aは、上記PATH確保完了通知を受信すると、伝送路L1a−1にFCP−CMND(Read)を送信する(171)。上記FCP−CMND(Read)は、SANインタフェース10−1、データバス50、IPインタフェース20を介してIP網5に送信され(172)、ディスク装置3Bに受信され、データ転送シーケンス170−1が開始される。1つのFCP−CMNDに応答した一連のデータ転送(FCP−DATA:174−1〜174−k)が完了すると、ディスク装置3BからFCP−RSPが送信され(175)、データ転送シーケンス170−1が終了する。
【0091】
ユーザ端末2Aは、データ転送シーケンスの終了の都度、次のFCP−CMNDを送信することによって、複数回のデータ転送シーケンス170−1〜170−nを繰り返して実行することができる。ディスク装置へのアクセスが完了した時、ユーザ端末2AからMGS:1Aに、専用線L3を介してPATH解放要求1800が送信される。上記PATH解放要求1800は、例えば、図17に示すように、RSVPパス管理テーブル38Bに登録されているPATH−ID、S−ID、D−ID、LUNの値を示している。
【0092】
ユーザインタフェース39を介して上記PATH開放要求1800を受信したMGS:1AのRSVPパス管理部31は、RSVPパス管理テーブル38Bから該当するエントリを読み出し、RSVP帯域制御部35にパスの開放を指令する。これによって、RSVPのパス開放コマンド(RESV_Tear_Down)がMGS:1Bに対して発行され、RSVPパスが解放される。尚、パス解放によって不要となったエントリは、RSVPパス管理テーブル38Bから削除される。
【0093】
図21は、第3実施例のMGSを介して、ユーザ端末2Aがディスク装置3Bにファイルデータを書き込む場合のパケット転送シーケンスを示す。
ユーザは、ディスク装置3Bに転送すべきデータファイルのファイル情報を参照して、データサイズ(転送データ長)やデータ使用目的を示すデータ属性を含むファイル属性情報を取得し(200)、図11と同様の前処理シーケンス(S250)を実行する。ユーザ端末2Aからディスク装置Bにファイルの作成を要求すると(251)、ディスク装置2Bが要求ファイルを作成し(S505)、ユーザ端末2Aに、論理装置番号(LUN:Logical Unit Number)、格納アドレス(LBA:Logical Block Address)を含む準備完了通知を送信する(252)。
【0094】
前処理シーケンス(S250)が完了し、ユーザ端末2AからMGS:1Aに、専用線L3を介してPATH確保要求1600を送信すると、MGS:1Aは、パス設定/帯域確保シーケンスS260を開始する。
MGS:1Aのパス制御部30は、上記PATH確保要求1600を受信すると、属性テーブル27Bから帯域制御パラメータ(T−Spec、R−Spec)を求め(S220)、MGS:1Bとの間で、図11で説明した第1実施例と同様のパス設定(261〜263)と帯域確保(264、265)の手順を実行する。
【0095】
パス帯域が確保されると、MGS:1Aのパス制御部30(RSVPパス管理部31)は、ユーザ端末インタフェース39を介して、ユーザ端末2AにPATH確保完了を通知する(266)。
ユーザ端末2Aは、上記PATH確保完了通知を受信すると、伝送路L1a−1にFCP−CMND(Write)を送信する(271)。上記FCP−CMND(Write)は、SANインタフェース10−1、データバス50、IPインタフェース20を介してIP網5に送信され(272)、データ転送シーケンス270−1が開始される。
【0096】
上記FCP−CMND(Write)に応答して、ディスク装置3Bからユーザ端末2Aに転送準備完了メッセージ「FCP−XFER−RDY」が送信されると、ユーザ端末2Aは、ファイルデータを所定サイズのブロック単位で、FCP−DATAとして送信する(274−1、274−2、…)。ユーザ端末2Aが、最終データブロックを含む最後のFCP−DATAを送信すると(274−k)、ディスク装置3BからFCP−RSPが送信され(275)、データ転送シーケンス170−1が終了する。
【0097】
ユーザ端末2Aは、データ転送シーケンスの終了の都度、次のFCP−CMNDを送信することによって、複数回のデータ転送シーケンス170−1〜170−nを繰り返して実行することができる。ディスク装置へのアクセスが完了した時、ユーザ端末2AからMGS:1Aに、専用線L3を介してPATH解放要求1800が送信される。
【0098】
ユーザインタフェース39を介して上記PATH開放要求1800を受信したMGS:1AのRSVPパス管理部31は、RSVPパス管理テーブル38Bから該当するエントリを読み出し、RSVP帯域制御部35にパスの開放を指令する。これによって、RSVPのパス開放コマンド(RESV_Tear_Down)がMGS:1Bに対して発行され、RSVPパスが解放される。また、パス解放によって不要となったエントリは、RSVPパス管理テーブル38Bから削除される。
【0099】
上記第3実施例では、ユーザ端末からMGS:1Aに与えるPATH確保要求1600でデータ属性を指定しておき、MGS:1Aが、属性テーブル37Bから上記データ属性と対応する帯域制御パラメータ値を読み出すようになっているが、上記PATH確保要求1600で転送データ長を指定し、第1の実施例と同様の属性テーブル37Aから帯域制御パラメータ値を求めるようにしてもよい。
【0100】
【発明の効果】
以上の実施例から明らかなように、本発明のスイッチングノードによれば、転送すべきファイルデータのサイズまたは属性に応じて、中継網(IPネットワーク)上に最適なパスを動的に設定できる。また、1つのコマンドに付随するファイルデータの転送が終了した時、不要となったパスを即時に解放することによって、ネットワーク・リソースを有効に運用できる。
【0101】
従って、本発明によれば、遠隔ストレージ装置をアクセスする場合に、例えば、映像データ、設計データ、テキストファイルデータのように、転送すべきデータの種類、特性または長さに適合した最適帯域をもつパスを介して、通信品質を保証した効率的な通信が可能となる。
【図面の簡単な説明】
【図1】本発明によるMGS(1A、1B)を適用したストレージ・ネットワークシステムの概略的な構成図。
【図2】MGS:1Aの第1の実施例を示すブロック構成図。
【図3】MGSにおける転送パケットのヘッダ変換を説明するための図。
【図4】図2に示したSANインタフェース10−1の1実施例を示す図。
【図5】図2に示したIPインタフェース20の1実施例を示す図。
【図6】図2に示したパス制御部30の1実施例を示す図。
【図7】パス制御部30を構成しているRSVPパス管理部31の動作を示すフローチャート。
【図8】RSVPパス管理部31が参照する属性テーブル37Aの内容を示す図。
【図9】RSVPパス管理部31が参照するRSVPパス管理テーブル38Aの内容を示す図。
【図10】第1実施例のMGSを介してディスク装置3Bからユーザ端末2Aにファイルデータの読み出す場合のパケット転送シーケンスを示す図。
【図11】第1実施例のMGSを介してユーザ端末2Aからディスク装置3Bにファイルデータの書き込む場合のパケット転送シーケンスを示す図。
【図12】第2実施例のMGSを構成するSANインタフェース10−1の構成図。
【図13】第2実施例のMGSを介してディスク装置3Bからユーザ端末2Aにファイルデータの読み出す場合のパケット転送シーケンスを示す図。
【図14】第3実施例のMGSを構成するSANインタフェース10−1の構成図。
【図15】第3実施例のMGSを構成するパス制御部30の構成図。
【図16】第3実施例のMGSで使用されるPATH確保要求1600の1例を示す図。
【図17】第3実施例のMGSで使用されるPATH解放要求1800の1例を示す図。
【図18】第3実施例のMGSでRSVPパス管理部31が参照する属性テーブル37Bの内容を示す図。
【図19】第3実施例のMGSでRSVPパス管理部31が参照するRSVPパス管理テーブル38Bの内容を示す図。
【図20】第3実施例のMGSを介してディスク装置3Bからユーザ端末2Aにファイルデータの読み出す場合のパケット転送シーケンスを示す図。
【図21】第3実施例のMGSを介してユーザ端末2Aからディスク装置3Bにファイルデータの書き込む場合のパケット転送シーケンスを示す図。
【符号の説明】
1:スイッチングノード(MGS)、2:ユーザ端末、
3:ディスク装置、4:ルータ、5:IP網、
10:SANインタフェース、20:IPインタフェース、
30:パス制御部、31:RSVPパス管理部、
32:FCPパケットインタフェース、
33:PATH/RESVリクエスト・インタフェース、
35:RSVP帯域制御部、36:RSVPパケットインタフェース、37:属性テーブル、38:RSVPパス管理テーブル、
39:ユーザ端末インタフェース、40:アドレス管理部、
41:アドレステーブル、50:データバス、51:制御バス、
60:バス管理部。

Claims (6)

  1. 中継網に接続するための第1インタフェースと、エリア網に接続するための複数の第2インタフェースと、パス制御部とからなるスイッチングノード装置であって、
    上記第1インタフェースと各第2インタフェースとパス制御部が内部データバスによって接続され、
    上記第2インタフェースの各々が、上記中継網に接続された遠隔ストレージ装置をアクセスするためのコマンドパケットに上記パス制御部宛のルーティング情報を付加して上記内部データバスに送出するための手段を有し、
    上記パス制御部が、転送すべきデータサイズ区分毎に各種の帯域制御パラメータを定義した属性テーブルを有し、上記第2インタフェースのうちの1つから上記遠隔ストレージ装置をアクセスするためのコマンドを含むパケットを受信した時、上記属性テーブルから上記受信コマンドが示す転送データ長と対応するデータサイズ区分の帯域制御パラメータを読み出し、該帯域制御パラメータに従って上記中継網上に帯域確保されたパスを設定するための通信手順を実行し、上記パス設定のための通信手順が完了した後、上記コマンドパケットに上記第1インタフェース宛のルーティング情報を付加して上記内部データバスに送出することを特徴とするスイッチングノード装置。
  2. 中継網に接続するための第1インタフェースと、エリア網に接続するための複数の第2インタフェースと、パス制御部とからなるスイッチングノード装置であって、
    上記第1インタフェースと各第2インタフェースとパス制御部が内部データバスによって接続され、
    上記パス制御部が、転送すべきデータサイズ区分毎に各種の帯域制御パラメータを定義した属性テーブルを有し、上記第2インタフェースのうちの1つから上記中継網に接続された遠隔ストレージ装置をアクセスするためのコマンドを含むパケットを受信した時、上記属性テーブルから上記受信コマンドが示す転送データ長と対応するデータサイズ区分の帯域制御パラメータを読み出し、該帯域制御パラメータに従って上記中継網上に帯域確保されたパスを設定するための通信手順を実行し、
    上記第2インタフェースの各々が、上記遠隔ストレージ装置をアクセスするためのコマンドパケットに上記第1インタフェース宛のルーティング情報を付加して上記内部データバスに送出すると共に、上記コマンドパケットに上記パス制御部宛のルーティング情報を付加して上記内部データバスに送出するための手段を有し、
    上記遠隔ストレージ装置による上記コマンドの実行に並行して、上記パス設定のための通信手順が実行されることを特徴とするスイッチングノード装置。
  3. それぞれ第1、第2のスイッチングノードを介して中継網に接続された第1、第2のストレージエリア網からなるネットワークにおける遠隔ストレージのアクセス方法であって、
    上記第1のストレージエリア網に属するコンピュータ装置から、上記第2のストレージエリア網に属するストレージ装置に対して、ファイルアクセス命令を送信し、
    上記ファイルアクセス命令を受信した第1のスイッチングノードが、上記命令の上記中継網への転送を保留した状態で、上記第2のスイッチングノードと共同して、上記中継網に上記命令で指定される転送データ長に適合した帯域をもつ通信パスを設定するための通信手順を実行し、
    上記パスが設定された後で、第1のスイッチングノードから上記ストレージ装置に上記ファイルアクセス命令を転送することにより、
    上記ファイルアクセス命令に付随する上記コンピュータ装置とストレージ装置との間のデータ転送が上記通信パスを通して行われるようにしたことを特徴とする遠隔ストレージ装置のアクセス方法。
  4. それぞれ第1、第2のスイッチングノードを介して中継網に接続された第1、第2のストレージエリア網からなるネットワークにおける遠隔ストレージ装置のアクセス方法であって、
    上記第1のストレージエリア網に属するコンピュータ装置から、上記第2のストレージエリア網に属するストレージ装置に対して、ファイルアクセス命令を送信し、
    上記ファイルアクセス命令を受信した第1のスイッチングノードが、上記命令を上記中継網に転送した後、上記第2のスイッチングノードと共同して、上記中継網に上記命令で指定する転送データ長に適合した帯域をもつ通信パスを設定するための通信手順を実行し、
    上記ファイルアクセス命令が上記ストレージ装置で受信された後、上記コンピュータ装置とストレージ装置との間で、標準的な通信パスで上記ファイルアクセス命令に付随するデータ転送を行い、
    上記適合帯域の通信パスが設定された後、上記コンピュータ装置とストレージ装置との間で、上記適合帯域の通信パスを通して、上記ファイルアクセス命令に付随するデータ転送を行うことを特徴とする遠隔ストレージ装置のアクセス方法。
  5. 前記コンピュータ装置が、前記ファイルアクセス命令の送信に先立って前記ストレージ装置と交信し、前記ファイルアクセス命令で指定すべき転送データ長を取得することを特徴とする請求項3または請求項4に記載の遠隔ストレージ装置のアクセス方法。
  6. 前記ファイルアクセス命令に付随するデータ転送の終了時に、前記ストレージ装置から前記コンピュータ装置に制御コマンドを送信し、
    上記制御コマンドに応答して、前記第1のスイッチングノードから第2のスイッチングノードに、前記適合帯域の通信パスを解放するためのメッセージを送信することを特徴とする請求項3〜請求項5の何れかに記載の遠隔ストレージ装置のアクセス方法。
JP2002215184A 2002-07-24 2002-07-24 ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法 Expired - Fee Related JP3869769B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002215184A JP3869769B2 (ja) 2002-07-24 2002-07-24 ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法
US10/230,114 US20040019686A1 (en) 2002-07-24 2002-08-29 Switching node apparatus for storage network and method of accessing remote storage apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002215184A JP3869769B2 (ja) 2002-07-24 2002-07-24 ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法

Publications (3)

Publication Number Publication Date
JP2004056728A JP2004056728A (ja) 2004-02-19
JP2004056728A5 JP2004056728A5 (ja) 2005-09-08
JP3869769B2 true JP3869769B2 (ja) 2007-01-17

Family

ID=30767914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002215184A Expired - Fee Related JP3869769B2 (ja) 2002-07-24 2002-07-24 ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法

Country Status (2)

Country Link
US (1) US20040019686A1 (ja)
JP (1) JP3869769B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005918B2 (en) 2002-11-12 2011-08-23 Rateze Remote Mgmt. L.L.C. Data storage devices having IP capable partitions
US6952743B2 (en) * 2003-03-07 2005-10-04 Ivivity, Inc. Interface for distributed processing of SCSI tasks
JP4137757B2 (ja) * 2003-10-01 2008-08-20 株式会社日立製作所 ネットワーク変換器及び情報処理システム
US7634582B2 (en) * 2003-12-19 2009-12-15 Intel Corporation Method and architecture for optical networking between server and storage area networks
JP4214919B2 (ja) * 2004-01-16 2009-01-28 株式会社日立製作所 帯域制御機能を有するストレージスイッチ
US7457244B1 (en) * 2004-06-24 2008-11-25 Cisco Technology, Inc. System and method for generating a traffic matrix in a network environment
JP4518887B2 (ja) * 2004-09-10 2010-08-04 株式会社日立製作所 ストレージエリアネットワーク管理システム及び管理装置とボリューム割当て方法並びにコンピュータ・ソフトウエア
JP4409401B2 (ja) 2004-10-08 2010-02-03 株式会社日立製作所 パケット転送装置及びストレージシステム
US7882256B2 (en) * 2005-05-24 2011-02-01 Panasonic Corporation Gateway device and control device
US7620981B2 (en) 2005-05-26 2009-11-17 Charles William Frank Virtual devices and virtual bus tunnels, modules and methods
CA2552414C (en) * 2005-07-17 2012-12-11 Jason G. Gunthorpe A method to extend the physical reach of an infiniband network
US8819092B2 (en) 2005-08-16 2014-08-26 Rateze Remote Mgmt. L.L.C. Disaggregated resources and access methods
JP4504888B2 (ja) * 2005-08-18 2010-07-14 日本電信電話株式会社 Web/DAVサーバ、ネットワークアプライアンス装置、オンラインストレージシステム、及び制御方法
US20080065749A1 (en) * 2006-09-08 2008-03-13 Simge Kucukyavuz System and method for connectivity between hosts and devices
US20090288964A1 (en) * 2006-12-13 2009-11-26 Sung-Kwon Jung Biosensor with coded information and method for manufacturing the same
US8206564B2 (en) * 2007-07-23 2012-06-26 Bayer Healthcare Llc Biosensor calibration system
MX2010001470A (es) * 2007-08-06 2010-03-01 Bayer Healthcare Llc Sistema y metodo para la calibracion automatica.
JP4861293B2 (ja) * 2007-11-01 2012-01-25 富士通株式会社 通信装置、通信方法および通信プログラム
US8241488B2 (en) 2007-11-06 2012-08-14 Bayer Healthcare Llc Auto-calibrating test sensors
US7809512B2 (en) * 2007-11-11 2010-10-05 Bayer Healthcare Llc Biosensor coding system
WO2009076263A1 (en) 2007-12-10 2009-06-18 Bayer Healthcare Llc An auto-calibrating test sensor and method of making the same
US20090205399A1 (en) * 2008-02-15 2009-08-20 Bayer Healthcare, Llc Auto-calibrating test sensors
US8032321B2 (en) * 2008-07-15 2011-10-04 Bayer Healthcare Llc Multi-layered biosensor encoding systems
US8424763B2 (en) * 2008-10-07 2013-04-23 Bayer Healthcare Llc Method of forming an auto-calibration circuit or label
US8321622B2 (en) * 2009-11-10 2012-11-27 Hitachi, Ltd. Storage system with multiple controllers and multiple processing paths
JP5614293B2 (ja) 2011-01-12 2014-10-29 富士通株式会社 通信制御装置、通信システム、情報処理装置および通信制御方法
US9641455B2 (en) * 2013-07-18 2017-05-02 International Business Machines Corporation Mechanism for terminating relay operations in a distributed switch with cascaded configuration
CN103595561B (zh) * 2013-11-06 2016-08-17 电子科技大学 一种宽带接入网的节能方法
JP6307962B2 (ja) * 2014-03-19 2018-04-11 日本電気株式会社 情報処理システム、情報処理方法、及び、情報処理プログラム
EP3905054B1 (en) * 2014-08-12 2023-12-20 Huawei Technologies Co., Ltd. File management method, distributed storage system, and management node
EP3035618B1 (en) * 2014-12-18 2018-08-22 Alcatel Lucent Integrated bandwidth and storage reservation
JP6717008B2 (ja) 2016-03-31 2020-07-01 富士通株式会社 情報生成プログラム、情報生成方法及び情報生成装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400681B1 (en) * 1996-06-20 2002-06-04 Cisco Technology, Inc. Method and system for minimizing the connection set up time in high speed packet switching networks
US6400730B1 (en) * 1999-03-10 2002-06-04 Nishan Systems, Inc. Method and apparatus for transferring data between IP network devices and SCSI and fibre channel devices over an IP network
JP5138847B2 (ja) * 2001-08-31 2013-02-06 富士通株式会社 ネットワークシステム、ネットワーク中継装置、ネットワーク中継監視装置およびネットワーク運用方法
US7421509B2 (en) * 2001-09-28 2008-09-02 Emc Corporation Enforcing quality of service in a storage network

Also Published As

Publication number Publication date
US20040019686A1 (en) 2004-01-29
JP2004056728A (ja) 2004-02-19

Similar Documents

Publication Publication Date Title
JP3869769B2 (ja) ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法
WO2022105884A1 (zh) 数据传输方法、装置、网络设备、存储介质
US6687758B2 (en) Port aggregation for network connections that are offloaded to network interface devices
EP1690359B1 (en) Apparatus and method for performing fast fibre channel write operations over relatively high latency networks
JP4214919B2 (ja) 帯域制御機能を有するストレージスイッチ
WO2018137217A1 (zh) 一种数据处理的系统、方法及对应装置
KR102592206B1 (ko) 차량 내 sdn 기반의 네트워크 관리 장치 및 그 제어 방법
US8725879B2 (en) Network interface device
JP2004056728A5 (ja)
US20110106518A1 (en) System and method of network emlation for test of on-line server processing heavy traffic
US8527661B1 (en) Gateway for connecting clients and servers utilizing remote direct memory access controls to separate data path from control path
WO2019047843A1 (zh) 用于传输数据处理请求的方法和装置
US20050192967A1 (en) Apparatus and method for performing fast fibre channel write operations over relatively high latency networks
JP2023532374A (ja) 冗長パスのリソース予約方法、ネットワークデバイスおよび記憶媒体
WO2021098425A1 (zh) 配置业务的服务质量策略方法、装置和计算设备
US7966403B2 (en) Performance profiling for improved data throughput
JP7388533B2 (ja) ゲートウェイ装置、方法及びプログラム
US8539109B1 (en) Third party direct memory access protocol extension to separate data path from control path
KR100449806B1 (ko) 네트워크를 통해 스트리밍 데이터를 고속으로 송수신하기위한 네트워크-스토리지 연결 장치
WO2010031297A1 (zh) 一种wap网关提取业务的实现方法和系统
KR20040066933A (ko) Ieee 1394 브리지 직렬 버스 네트워크에서 효과적인타임아웃 메시지 처리
CN109219944A (zh) 用于减小分组网络中mtu大小的系统和方法
CN109150725B (zh) 流量疏导方法及服务器
JP3104698B2 (ja) ネットワーク中継装置および中継方法
JP2006032995A (ja) 通信支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060823

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061013

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees