JP4230410B2 - 仮想ストレージの通信品質制御装置 - Google Patents

仮想ストレージの通信品質制御装置 Download PDF

Info

Publication number
JP4230410B2
JP4230410B2 JP2004140862A JP2004140862A JP4230410B2 JP 4230410 B2 JP4230410 B2 JP 4230410B2 JP 2004140862 A JP2004140862 A JP 2004140862A JP 2004140862 A JP2004140862 A JP 2004140862A JP 4230410 B2 JP4230410 B2 JP 4230410B2
Authority
JP
Japan
Prior art keywords
communication quality
packet
volume
virtual volume
server device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004140862A
Other languages
English (en)
Other versions
JP2005323245A (ja
Inventor
俊彦 村上
賢太 志賀
直子 岩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004140862A priority Critical patent/JP4230410B2/ja
Priority to US10/884,244 priority patent/US7206860B2/en
Priority to EP20040024040 priority patent/EP1596536B1/en
Priority to DE200460019394 priority patent/DE602004019394D1/de
Publication of JP2005323245A publication Critical patent/JP2005323245A/ja
Application granted granted Critical
Publication of JP4230410B2 publication Critical patent/JP4230410B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/70Virtual switches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/20Support for services
    • H04L49/205Quality of Service based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/35Switches specially adapted for specific applications
    • H04L49/356Switches specially adapted for specific applications for storage area networks
    • H04L49/357Fibre channel switches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、SAN(Storage Area Network)におけるスイッチベースの仮想化(バーチャリゼーション)技術に関し、仮想ストレージにアクセスする際の通信品質制御技術に関する。
複数の計算機(サーバ)と複数のストレージ装置をネットワークで接続するSANでは、ストレージ装置の記憶領域を仮想化して利用する技術がある。仮想化とは、SANに接続されている、複数のストレージ装置を、サーバに対して1台または複数台のストレージ装置に見せる技術である。ストレージ装置の仮想化は、複数のストレージ装置の集約化を段階的に行う場合に最適な方法であり、将来的には管理するストレージ装置を削減することで、管理者のコストを削減することが可能となる。
以後、本明細書中では、ストレージ装置がサーバに提供する仮想化された記憶領域を仮想ボリュームと呼び、実際のストレージ装置が提供する記憶領域を、実ボリュームと呼ぶ。
記憶領域の仮想化は、サーバとストレージ装置との間で行われる。記憶領域の仮想化は、サーバアプリケーションが実行されるサーバで、ボリューム管理ソフトウェアにより行う方法(第一の方法)、ストレージ装置の手前にストレージ装置を接続するインタフェースを複数用意した計算機を置き、この計算機で行う方法(第二の方法)、SANを構成するネットワーク装置で行う方法(第三の方法)などがある(例えば、非特許文献1、2参照)。
玉置亮太著、「「ネットワーク化」と「仮想化」を理解する」、日経ITプロフェッショナル、2002年9月、p.49−51 茂木龍太著、「ストレージの仮想化でSANの機能強化と一括管理を実現」日経Windowsプロ、2002年8月(No.65)、p.13−15
上記の、第三の方法におけるネットワーク装置としては、SANを構成するファイバチャネルスイッチ、あるいは、iSCSI(Internet Small Computer System Interface)を使用してSANを構成する場合のLANスイッチのような中継装置が考えられる。これらの中継装置を、以後の説明で、仮想化スイッチと呼ぶことにする。
第三の方法では、仮想化スイッチが、SANに接続されるサーバに、仮想ボリュームを提供する。すなわち、仮想化スイッチが提供する仮想ボリュームを利用するサーバからは、仮想化スイッチがターゲット装置として見える。
一方、サーバがネットワークやストレージ装置に要求する通信品質や通信帯域は、ストレージ装置を使用するサーバ毎に異なる。ストレージ装置は、ポートにアクセスしてくるサーバを識別して、要求される通信品質に従って、優先制御や帯域制御を行っている。サーバの識別は、受信したパケットのヘッダ情報から送信元のサーバのアドレスを取得する、または、ポート単位に接続するサーバ装置を特定する、などにより行われる。
ストレージ装置が、仮想化スイッチを介してサーバと接続される場合であっても、仮想化スイッチのサーバ側のポートでは、送信元のサーバのアドレスがパケットのヘッダ内に含まれるため、送信元のサーバを識別することができる。これにより、仮想化スイッチでは、サーバ毎に優先制御や帯域制御を行うことができる。
ところが、仮想化スイッチからストレージ装置へのアクセスにおいては、仮想化スイッチがイニシエータとなり、ストレージ装置がターゲットとなる。このため、仮想化スイッチからストレージ装置へ送信されるパケットのヘッダの送信元アドレスには、仮想化スイッチの送信元ポートのアドレスが格納され、もはや、サーバのアドレスは含まれない。
また、仮想スイッチの仕様によっては、異なる仮想ボリュームが、同じストレージ装置のポートをアクセスすることもあり得る。従って、ストレージ装置は、当該パケットの送信元のサーバを識別することはできず、従来の機能を用いて、サーバ毎に優先制御や帯域制御を行うことができない。
本発明は、上記事情に鑑み、サーバとストレージ装置との間に接続された中継装置で仮想化がなされる場合であっても、仮想ボリューム単位で通信品質の制御を実現することを目的とする。
上記課題を解決するために、サーバ装置にストレージ装置が提供する記憶領域を仮想化して提供する仮想化スイッチにおいて、仮想ボリュームをアクセスするパケットであって、通信品質の要求は異なるがIPヘッダが同じであるパケットを、TCPコネクションを識別して、出力側でも優先制御、帯域制御を行う。ここで、TCPコネクションは仮想化スイッチ側のTCP送信元ポートを管理することで識別する。
具体的には、サーバ装置から受信したパケットを1または複数のストレージ装置に中継するとともに、前記サーバ装置に前記ストレージ装置が有する1または複数の記憶領域を仮想化して提供する仮想化スイッチであって、前記サーバ装置毎に、当該サーバ装置に提供する仮想化された記憶領域(以後、仮想ボリュームと呼ぶ)と、当該仮想ボリュームに割り当てられた、前記ストレージ装置が提供する前記記憶領域(以後、実ボリュームと呼ぶ)との対応関係を保持するボリューム管理テーブルと、前記仮想ボリューム毎に、当該仮想ボリュームに割り当てられた前記サーバ装置が要求する通信品質を保証する処理(以後、通信品質処理と呼ぶ。)と、当該仮想ボリュームに割り当てられた前記実ボリュームにアクセスする前記パケットのフローを識別するフロー識別情報とを対応づけたフィルタリングテーブルと、送信元の前記サーバ装置が要求する通信品質に従って、前記受信したパケットに対し、前記通信品質処理を行った後、前記ボリューム管理テーブルを用いて当該パケットの宛先を前記仮想ボリュームから実ボリュームに変更し、前記フィルタリングテーブルに従って、変更後のパケットに前記通信品質処理を行うパケット転送処理手段と、を備えること
を特徴とする仮想化スイッチを提供する。
サーバとストレージ装置との間に接続された中継装置で仮想化がなされる場合であっても、仮想ボリューム単位で通信品質を制御できる。
<<第一の実施形態>>
本発明の第一の実施形態を図1から図15を用いて説明する。第一の実施形態では、仮想化スイッチにおいて、仮想ボリューム単位で優先制御および帯域制御といった通信品質を制御する場合を例にあげて説明する。
図1は、本実施形態のストレージシステム全体の構成を示す図である。本実施形態のストレージシステムは、仮想化スイッチ100、複数のスイッチ104、サーバA(105A)、サーバB(105B)、サーバC(105C)、ストレージA(106A)、ストレージB(106B)、管理端末118を備える。以後、特に区別する必要がない場合は、サーバA(105A)、サーバB(105B)、サーバC(105C)は、サーバ装置105で、ストレージA(106A)、ストレージB(106B)は、ストレージ装置106でそれぞれ代表する。なお、スイッチ104は、なくてもよい。
仮想化スイッチ100と複数のスイッチ104とには、サーバ装置105、ストレージ装置106が、それぞれ、ポートを介して接続される。
仮想化スイッチ100は、複数のパケット転送制御部101、101A、101Bと、クロスバースイッチ102と、スイッチ管理部103とを備える。また、パケット転送制御部101は、ポート107を、パケット転送制御部101Aは、ポート107、107A、107Bを、パケット転送制御部101Bは、ポート107、107C、107Dを、それぞれ備える。以後、特に区別する必要がない場合は、パケット転送制御部101、およびポート107で代表する。なお、ポート107は、パケット転送制御部101外に独立して備えられていてもよい。
クロスバースイッチ102は、複数のパケット転送制御部101やスイッチ管理部103を接続するものである。
パケット転送制御部101は、送受信するパケットのデータリンク層から上位のヘッダまたは情報格納部の情報を元に、宛先となるポート107の決定、必要時にはパケットの内容の判別、パケットの変換等を行うものである。および、ポート107で代表する。
ポート107は、スイッチ104、サーバ装置105、ストレージ装置106等を接続するためのものである。
ここで、本実施形態におけるパケットの変換とは、仮想化スイッチ100において、サーバ装置105から仮想化スイッチ100宛てに送出されたパケットを、仮想化スイッチ100からストレージ装置106宛てのパケットに変換することである。以後、本明細書中では、本変換を、仮想から実へのパケット変換と呼び、本変換を行う処理を、仮想化変換処理と呼ぶ。
パケット転送制御部101は、送受信されるパケットのデータリンク層から上位のヘッダまたは情報格納部の情報を元にパケットの種類を決定するパケット振分け処理部108、仮想化変換処理を行わない場合の通常のパケットの処理を行う通常パケット処理部109、仮想化変換処理を行う場合のパケットの処理を行う仮想化パケット処理部110、送受信されるパケットのデータリンク層から上位のヘッダまたは情報格納部の情報を元にパケットのフローを識別して通信品質を制御する通信品質制御部111、119、クロスバースイッチ102を経由して、その他のパケット転送制御部101やスイッチ管理部103と通信を行うためのスイッチインタフェース(以下、スイッチI/Fと略す)制御部112、パケット転送制御部101全体を制御するCPU113、パケットを格納する送受信バッファ、プログラム、データを格納するメインメモリ114、を備える。
スイッチ管理部103は、仮想化スイッチ100の装置管理や経路制御プロトコルの計算を行うものである。
スイッチ管理部103は、スイッチ管理部103全体を制御するCPU116、プログラムやデータを格納するメインメモリ116、管理用インタフェース(以下、管理用I/Fと略す)117、クロスバースイッチ102に接続されるパケット転送制御部101等通信を行うためのスイッチI/F制御部112、を備える。
管理用I/F117は、管理端末118(たとえば、ダム端末やコンソール端末等)、または、普通のパソコン(不図示)やサーバ装置(不図示)と、シリアルケーブルまたはイーサネットケーブル等で接続されている。
図1の仮想化スイッチ100のポート107と、サーバ105およびストレージ106のポートには、IPアドレスを一部示す。これらのIPアドレスは、これ以降の説明の中で使用する。
また、パケット転送制御部101は、わかりやすくするため、サーバ装置105からの受信時と、ストレージ装置106への送信時の例を、それぞれ別個のパケット転送制御部101A、101Bとして示す。
受信時のパケット転送制御部101Aと送信時のパケット転送制御部101Bとでは、パケット転送制御部101の内部の処理の流れに従い、パケット振分け処理部108および通信品質制御部111の位置を反対に示す。
また、ストレージの仮想化は、受信側のパケット転送制御部101Aでのみ行うものであるため、仮想化パケット処理部110は、受信側のパケット転送制御部101Aにのみ示している。なお、仮想化パケット処理部110は、全てのパケット転送制御部101が備えていてもよいし、本図に示すように、受信側のパケット転送制御部101のみが備えていてもよい。
図2に、パケット転送制御部101のメインメモリ114に格納される代表的なプログラムを、図3に、スイッチ管理部103のメインメモリ116に格納される代表的なプログラムを、それぞれのプログラムを実行する際に用いられるテーブルとともに示す(プログラムやテーブルは丸で囲んで示す)。
パケット転送制御部101のメインメモリ114は、オペレーティングシステム(以下、OSと略す)201A、スイッチ管理部103等と通信するためのモジュール間通信プログラム201B、iSCSI処理を行うiSCSIターゲットプログラム201DとiSCSIイニシエータプログラム201C、ログイン認証テーブル201L、ボリューム管理テーブル201K、通信品質管理テーブル201J、フィルタリングテーブル201I、ルーティングテーブル201H、を備える。
ここで、パケット転送制御部101が保持する上記の各テーブルは、それぞれ、スイッチ管理部103で作成され、保持される同名のテーブルのコピーである。これらのテーブルのコピーを保持することにより、パケット転送制御部101は、自身が保持するテーブルの情報に基づいて、パケットの転送を行うことができる。
同様に、スイッチ管理部103のメインメモリ116は、OS202A、スイッチ管理プログラム202Cおよびその構成定義やMIB(Management Information Base)が格納される構成定義MIBテーブル206B、RIP(Routing Information Protocol)やOSPF(Open Shortest Path First)といった経路制御プログラム202Dおよびそのルーティングテーブル202H、iSCSIターゲットへのログイン時のログイン認証を行うiSCSIログイン認証プログラム202Gおよびそのログイン認証テーブル202L、接続されるストレージ106の論理ボリュームにより仮想ストレージを構成するためのボリューム管理プログラム202Fおよびそのボリューム管理テーブル202K、仮想ボリュームに対する通信品質を設定する通信品質管理プログラム202Eおよび通信品質管理テーブル202J、フィルタリングテーブル202I、を備える。
次に、図2および図3に示した各テーブルの構成を説明する。
本実施形態では、仮想化スイッチ100は、仮想ボリュームを定義するテーブルの構成情報として、ストレージ装置106内の論理ボリューム(実ボリューム)、その論理ボリュームをアクセスする場合のストレージ装置106のポートのIPアドレス、その論理ボリュームを使用して、仮想ボリュームを構成する場合の、仮想化スイッチ100からストレージ装置106のアクセス経路を指定する仮想化スイッチのポート識別子およびTCP(Transmission Control Protocol)コネクションの送信元ポート番号を備える。
また、仮想ボリューム単位に、その仮想ボリュームを使用するサーバ装置105のIPアドレスと、サーバ装置105から仮想化スイッチ100へのアクセス経路を指定する仮想化スイッチのポート識別子と、そのサーバ装置105に対して仮想ボリュームを利用する際の通信品質である、優先度および帯域制御のための帯域情報やアクセスする情報量を制限するための単位時間当たりのI/O数やビット数やバイト数を備える。
仮想化スイッチ100は、これらの仮想ボリュームを定義する構成情報を元に、サーバ装置105側のポートで、優先制御および帯域制御を行い、ストレージ装置側のポートでも優先制御と帯域制御を行う。
以下、これらの情報を保持する各テーブルをそれぞれ説明する。図4から図8は、図2および図3に示した各テーブルの構成例である。
図4は、ルーティングテーブル400(201H、202H)の構成例を示す図である。ルーティングテーブル400は、経路制御プログラム202Dを実行することにより収集された経路情報を保持する。経路制御プログラム202Dは、他のスイッチ104やルータの経路制御プログラムと通信を行い、ルーティングテーブル400を生成する。パケット転送制御部101は、ルーティングテーブル400の情報に従って、受信したパケットを転送する。
ルーティングテーブル400は、IPアドレス401、ネクストホップアドレス402、宛先ポートアドレス403を1組とするエントリ404で構成される。ここでは、エントリ404の例として、それぞれ、404A、404B、404C、404D、404E、404F、404Gをあげ、以下に説明する。
エントリ404Aは、デフォルトの経路を示すためのエントリの構成例を示す。
エントリ404Bから404Gでは、IPアドレス401にスラッシュ「/」が含まれる。スラッシュの後の数字はサブネットマスクの長さ(ビット)を示す。例えば、エントリ404Bは、「192.168.1.0/24」であるため、サブネットマスクの長さが24ビット、すなわち、「192.168.1」までがネットワークアドレスを示す。
エントリ404Dは、ポート107Aのアドレスを示し、エントリ404Eから404Gまでは、後述の仮想ボリュームのIPアドレス601Bを示す。なお、エントリ404Dから404Gは、IPアドレス401のサブネットマスクが32ビットであり、ホストアドレスを示す。ネクストホップアドレス402として「127.0.0.1」というループバックアドレスが格納されているので、仮想化スイッチ100内にこのIPアドレスが存在することを示している。
図5は、通信品質管理テーブル500(201J、202J)の構成例を示す図である。通信品質管理テーブル500には、それぞれのサーバ装置105が要求する通信品質を管理するための情報が格納されている。
通信品質管理テーブル500は、サーバIPアドレス501、サーバ側ポートIPアドレス502、通信品質503、仮想ボリュームID504、フィルタリング処理505を1組とするエントリ506で構成される。
本実施形態では、通信品質は、同じサーバ側ポートIPアドレス502が付与された仮想ボリューム間での優先度(優先、非優先の2段階)、および、アクセス時に許可される帯域または単位時間あたりのI/O(Input / Output)数で規定する。このため、通信品質503は、さらに優先度503Aと制限503Bとを備える。本実施形態では、優先度503Aは、説明を簡単にするために値を優先と非優先の2つとした場合を例にあげて説明する。その他の例としては、優先度を数字で示すことも可能である。制限503Bは、説明を簡単にするために単位時間当たりのデータ転送量として、メガバイト/秒(MB/s)で値を示す場合を例に挙げて説明する。その他の例としては、ビット数で示すことも可能である。
仮想ボリュームID504には、各サーバ装置105に割り当てられた仮想ボリュームのIDが格納される。仮想ボリュームIDは、仮想ボリューム毎に付与されるIDであり、後述のボリューム管理テーブル600で管理される。仮想ボリュームID504に格納されるIDは、ボリューム管理テーブル600のID601Aと対応している。例えば、本実施形態では、エントリ506Aの仮想ボリュームID504に格納されているV1は、ボリューム管理テーブル600において、601AにV1が格納されているエントリ606Aと606Bとを示す。
フィルタリング処理505は、さらに受信時505Aと送信時505Bとを備える。受信時505Aおよび送信時505Bには、後述のフィルタリングテーブル700、800で示される各処理ID703、803が格納される。これらの設定は、後述する。
なお、サーバIPアドレス501、サーバ側ポートIPアドレス502、通信品質503、仮想ボリュームID504、の各項目が保持する情報は、通信品質管理プログラム202Eが提供するインタフェースを介して、管理端末118などから、管理者により設定される。
図6は、ボリューム管理テーブル600(201K、202K)の構成例を示す図である。ボリューム管理テーブル600には、仮想化スイッチ100がサーバ装置105に提供する仮想ボリュームを、ストレージ装置106が提供する実ボリュームと対応付ける情報が格納されている。
ボリューム管理テーブル600は、仮想ボリューム601、ストレージ側ポートIPアドレス602、ストレージIPアドレス603、実ボリュームの論理ユニット番号(以下、LUNと略す)604、送信元TCPポート605を1組とするエントリ606で構成される。
仮想ボリューム601は、仮想ボリュームを特定するとともに、サーバ装置105から仮想ボリュームにアクセスするために必要な情報が格納されるものであり、仮想ボリューム毎に付与される識別子であるID601A、仮想ボリュームに割り当てられたIPアドレス601B、TCPポート601C、iSCSIネーム601D、仮想ボリュームに定義された論理ユニット番号LUN601Eを備える。本実施形態では、iSCSIネーム601Dの値は、例としてIQN(iSCSI Qualified Name)形式で示している。また、エントリ606Aから606Eのそれぞれの値は、図1で示した仮想化スイッチ100やサーバ105のポートのIPアドレスに対応するものを示している。
本実施形態によれば、例えば、ID601Aで特定される仮想化ボリュームは、LUN604で特定される実ボリュームの論理ユニットにより提供される
すなわち、サーバ装置105が仮想ボリュームID(601A)がV1の記憶領域にアクセスするということは、仮想ボリュームの論理ユニット601EのVLU1を使用することを意味する。そして、実際には、「192.168.2.2」のストレージIPアドレス603を有するストレージ装置106の論理ユニット604がLU1またはLU2を使用することとなる。
なお、上記各項目は、ボリューム管理プログラム202Fが提供するインタフェースを介して、管理端末118などから、管理者により設定される。
次に、通信品質管理プログラム202Eにより、通信品質管理テーブル500とボリューム管理テーブル600とから生成される、フィルタリングテーブル(201I、202I)について説明する。フィルタリングテーブル生成の詳細については、後述する。
フィルタリングテーブル(201I、202I)は、パケット転送制御部(受信時)101Aが用いる受信時フィルタリングテーブル700(201I、202I)と、パケット転送制御部(送信時)101Bが用いる送信時フィルタリングテーブル800(201I、202I)とを備える。以後、受信時フィルタリングテーブル700および送信時フィルタリングテーブル800を、区別する必要がない場合、まとめて、フィルタリングテーブル700および800と呼ぶ。
図7および図8は、それぞれ、受信時フィルタリングテーブル700および送信時フィルタリングテーブル800の構成例を示す図である。
フィルタリングテーブル700および800には、パケットのヘッダ部に格納されている情報が満たすべき条件と、情報が条件にマッチした場合にパケット転送制御部101が行う処理とが格納される。フィルタリングテーブル700および800は、マッチ条件701および801、処理702および802、処理ID703および803を1組とするエントリ704および804で構成される。
マッチ条件701および801には、iSCSIパケット(TCP/IPパケット)の各レイヤのヘッダや情報部の部分的な値を1つまたは複数個組み合わせた条件が格納される。なお、本実施形態では、「AND」により、組み合わせる複数の条件を示す。
処理702および802には、マッチ条件701および801に「AND」により組み合わせられた複数の条件全てに合致した場合、パケット転送制御部101が行う処理が格納される。格納される処理は、受信したパケットの通信品質の制御に関するもので、具体的には、「優先キューへ転送」、「非優先キューへ転送」、「1MB/sに性能を制限する」などである。
処理702および802についても、同様に複数の処理を行わせることが可能である。この場合、「AND」により組み合わされた全ての処理を行うことを意味する。
例えば、図7のエントリ704Aでは、受信したパケットのヘッダ部の情報がマッチ条件701に一致した場合、優先度を「優先」としてそのパケットを処理するために「優先キューへ転送」が処理702に格納される。また、エントリ704Bでは、マッチ条件701に一致した場合、優先度は「非優先」でアクセス時に許可されるデータ転送量を1MB/sに制限して処理するため、「非優先キューへ転送」AND「1MB/sに性能制限」が処理702に格納される。
処理ID703および803には、それぞれのエントリに付与されるIDが格納される。本IDは、通信品質管理テーブル500のフィルタリング処理505に格納され、これにより、各フィルタリング処理が特定される。
次に、図9から図15を用いて、仮想化スイッチ100における、パケットの処理について説明する。併せて、図2および図3で示したプログラムの処理フロー、図4〜図8で示した各テーブルの作成および利用方法を説明する。
まず、仮想化スイッチ100がパケットを受信した際、図1のパケット転送制御部(受信時)101Aにおいて行われる処理について、説明する。パケットを受信したパケット転送制御部(受信時)101Aは、パケット振分け処理部108において、パケットの種類に応じて受信したパケットを振り分ける。振り分けられたパケットは、通常パケット処理部109、通信品質制御部119を介しての仮想パケット処理部110、通信品質制御部111での処理された後、スイッチI/F112を介して、クロスバースイッチに送信される。
図9は、図1のパケット転送制御部(受信時)101Aのパケット振分け処理部108の処理フローである。
パケット振分け処理部108は、ポート107からパケットを受信すると、パケットのヘッダ情報の解析を行い(ステップ901)、ルーティングテーブル400を検索する(ステップ902)。
パケット振分け処理部108は、受信したパケットが自身の仮想化スイッチ100宛てかどうか、判別する。具体的には、受信したパケットの宛先IPアドレスと、ルーティングテーブル400のIPアドレス401とを照合し、完全なIPアドレスと一致するもの、すなわち、サブネットマスクが32ビットのものと一致するIPアドレスがあるか否か判別する(ステップ903)。
一致するものがあった場合、パケット振分け処理部108は、仮想ボリューム宛であるかどうか、判別する。すなわち、パケット振分け処理部108は、ボリューム管理テーブル600を検索し(ステップ904)、IPアドレス601Bにパケットの宛先IPアドレスが登録されていれば(ステップ905)、受信したパケットは仮想ボリューム宛に送信されたものと判別し、通信品質制御部119を介して仮想化パケット処理部110に処理を引き継ぎ、仮想化パケット処理を行わせる(ステップ906)。
ステップ905で、登録されていなければ(ステップ905)、パケット振分け処理部108は、受信したパケットを、スイッチI/F制御部112を介してスイッチ管理部103へ転送する(ステップ908)。この場合、受信したパケットは、仮想化スイッチ100の制御や管理に用いられるパケットである。
また、ステップ903で、サブネットマスクが32ビットのものと一致するIPアドレスがない場合(ステップ903)、パケット振分け処理部108は、通常パケット処理部109に処理を引き継ぎ、通常のパケット処理を行わせる(ステップ907)。
次に、図9のステップ907の詳細、すなわち、図1のパケット転送制御部(受信時)101Aの通常パケット処理部109とそれに続く通信品質制御部111との処理を説明する。これらは、スイッチとしての一般的な、ネットワーク層(IPレイヤ)での転送を行うルーティング処理である。図10は、これらの処理フローである。
通常パケット処理部109に受け渡されるパケットは、仮想ボリューム宛てでないものである。
通常パケット処理部109は、パケット振分け処理部108からパケットを受信すると、パケットのヘッダ情報の解析を行い(ステップ1001)、ルーティングテーブル400を検索する(ステップ1002)。
通常パケット処理部109は、ステップ1001で解析されたパケットの宛先IPアドレスを、ルーティングテーブル400のIPアドレス401と照合し、サブネットマスクが32ビット未満のものであって一致するIPアドレスがあるか否か判別する(ステップ1003)。
一致するものがある場合(ステップ1003)、通常パケット処理部109は、パケットをステップ1001での解析結果とともに、通信品質制御部111に受け渡す。
通信品質制御部111は、受信時フィルタリングテーブル700を検索する(ステップ1004)。ここで、ステップ1001での解析結果をマッチ条件701と照合し、マッチするものがある場合(ステップ1005)、マッチしたエントリの処理702の処理内容を実行する(ステップ1006)。
そして、通信品質制御部111は、ルーティングテーブル400の該当エントリのネクストホップアドレス402へ送信するため、クロスバースイッチ102を介して宛先ポートアドレス403のポートを有するパケット転送制御部(送信側)101Bに、スイッチI/F制御部112からパケットを転送する(ステップ1007)。
なお、ステップ1005において、マッチするものがない場合は、通信品質を保証する要求のないパケットとして、通信品質制御部111は、ステップ1006の処理を飛ばして、ステップ1007の処理に進む。
ステップ1003において、一致するIPアドレスがない場合(ステップ1003)、通常パケット処理部109は、IPアドレス401にデフォルトルート(IPアドレスが0.0.0.0)の登録があるか否か判別する(ステップ1008)。ステップ1008において、登録がある場合は、通常パケット処理部109は、パケットを通信品質制御部111に渡す。受け取った通信品質制御部111は、処理ステップ1004以降の処理を行う。
ステップ1008において、デフォルトルートの登録がない場合は、そのパケットは宛先IPアドレスには到達できないので、通常パケット処理部109は、到達不可処理を行う(ステップ1009)。この処理は、スイッチやルータの一般的な処理であるため、ここでは説明しない。
次に、図9のステップ906でおこなわれる仮想化パケット処理の詳細、すなわち、図1のパケット転送制御部(受信時)101Aの、通信品質制御部119、仮想化パケット処理部110とそれらに続く通信品質制御部111の処理を説明する。 図11は、これらの処理フローである。
ここでは、パケットの変換を行うとともに、TCPコネクションの終端および開始処理を行う。すなわち、受信したパケットにターゲット処理を行い、サーバ105と仮想化スイッチ100との間のTCPコネクションを終端し、パケットを変換後、改めてイニシエータ処理を行い、仮想化スイッチ100とストレージ106との間のTCPコネクションを開始する。
通信品質制御部119は、パケット振分け処理部108からパケットを受信すると、受信時のフィルタリング処理を行い(S1100)、処理後のパケットを仮想化パケット処理部110に受け渡す。受信時のフィルタリング処理は、図10に示す、ステップ1004からステップ1006の処理と同様の処理である。
その後、仮想化パケット処理部110は、iSCSIターゲットプログラム処理を行う(ステップ1101)。本処理は、iSCSIの一般的な処理であるため、ここでは説明しない。例えば、ログイン処理やSCSIコマンドのリード、ライト等がある。
仮想化パケット処理部110は、処理結果を分析し(ステップ1102)、分析の結果、受信したパケットが仮想ボリュームをアクセスするものと判断された場合(ステップ1103)、ボリューム管理テーブル600を検索し(ステップ1104)、アクセス先のストレージ装置106を決定する(ステップ1105)。なお、ステップ1102の分析の結果、仮想ボリュームへのアクセスでないものとステップ1103において判断された場合は、処理を終了する。
仮想化パケット処理部110は、アクセス先のストレージ106に対して、iSCSIイニシエータプログラム処理を行う(ステップ1106)。本処理は、iSCSIの一般的は処理であるため、ここでは説明しない。例えば、ログイン処理やSCSIコマンドのリード、ライト等がある。
仮想化パケット処理部110は、処理結果を分析し(ステップ1107)、受信したパケットにより指示される処理が、iSCSIセッションを開始するものであるか否か判断する。iSCSIセッションを開始するものである場合は(ステップ1108)、そのiSCSIセッションが使用するTCPコネクションの送信元TCPポート番号を、ボリューム管理テーブル600の送信元TCPポート605に登録し(ステップ1109)、処理を終了する。
ステップ1107の分析の結果、iSCSIセッションが既に開始されている場合は(ステップ1108)、SCSIコマンドのリード、ライト、問合せ(インクワイアリー)のような実ボリュームへのアクセスであるか否かを判断する(ステップ1110)。ここで、実ボリュームへのアクセスでないと判断された場合は、処理を終了する。
ステップ1110で、実ボリュームへのアクセス処理であると判断された場合、仮想化パケット処理部110は、ボリューム管理テーブル600の情報に従って、仮想から実へのパケット変換を行い(ステップ1111)、変換後のパケットを通信品質制御部111に受け渡す。
通信品質制御部111は、ルーティングテーブル400の該当エントリのネクストホップアドレス402へ送信するため、クロスバースイッチ102を介して宛先ポートアドレス403のポートを有するパケット転送制御部(送信側)101Bに、スイッチI/F制御部112からパケットを転送する(ステップ1112)。
なお、仮想から実へのパケット変換とは、ボリューム管理テーブル600を用いて、サーバ装置105から仮想化スイッチ100宛てに送出されたパケットを、仮想化スイッチ100からストレージ装置106宛てのパケットに変換することである。すなわち、パケットの宛先を、仮想ボリューム宛から、当該仮想ボリュームに対応するストレージ装置106の実ボリューム宛に変換することである。具体例は後述する。
なお、上記のステップ1102、1103の処理、および、ステップ1110の処理は、万一のエラー処理であり、付加的なものであるため、なくてもよい。
次に、上記のパケット転送制御部(受信時)101Aでの処理後、パケット転送制御部(送信時)101Bにおいて行われる処理について説明する。ここでは、仮想化変換処理がないため、スイッチI/F制御部112を介してパケットを受け取ると、そのパケットは、パケット振分け処理部108では何も処理を行わず、通常パケット処理部109に引き渡される。
図1のパケット転送制御部(送信時)101Bの通常パケット処理部109とそれに続く通信品質制御部111との処理を説明する。図12は、それらの処理フローを示す図である。
通常パケット処理部109は、パケット振分け処理部108からパケットを受信すると、ARP(Address Resolution Protocol)処理を行い(ステップ1201)、パケットの宛先IPアドレスのMACアドレス情報を取得し、パケットのレイヤ2(データリンク層)ヘッダ(宛先MACアドレス、送信元MACアドレス)を設定する(ステップ1202)。
ステップ1202で取得、設定した情報とともに、通信品質制御部111にパケットを受け渡す。
通信品質制御部111は、送信時フィルタリングテーブル800を検索し(ステップ1203)、受信したパケットが、マッチ条件801にマッチするか否か判別する(ステップ1204)。すなわち、受信したパケットが所定の通信品質の保証を要求しているか否か、判断する。
ステップ1204において、マッチした場合、すなわち、通信品質の保証を要求するものである場合、通信品質制御部111は、該当エントリの処理802の処理内容を実行し(ステップ1205)、送信ポートからパケット送信する(ステップ1206)。
なお、ステップ1204において、マッチするものがない場合、すなわち、通信品質の保証の要求がないパケットである場合、フィルタリング処理を行わずにそのまま受信したパケットを送信ポートから送出する(ステップ1206)。
次に、本実施形態で送受信されるiSCSIパケット1301について説明する。またiSCSIパケット1301を用いて、上記の仮想から実へのパケット変換の具体例を説明する。
図13は、iSCSIのパケットの構成例を示す図である。
iSCSIパケット1301は、宛先MACアドレス(DA:Destination Address)1301A、送信元MACアドレス(SA:Source Address)1301B、VLAN(Virtual LAN)のタグ1301C、タイプ1301Dを有するMACヘッダと、IPヘッダ1301E、TCPヘッダ1301F、iSCSIヘッダ1301G、iSCSIデータ1301H、FCS(Frame Check Sequence)1301Iを備える。
IPパケットA(1302)は、図1のサーバA(105A)から仮想ボリュームID601がV1の仮想ボリュームへアクセスする場合のパケットの例を示している。仮想化スイッチ100はIPパケットA(1302)を、実ボリュームへアクセスするパケットであるIPパケットA1(1302A1)とIPパケットA2(1302A2)とに変換する。
パケット振分け処理部108で、ヘッダを解析し、ルーティングテーブル400のIPアドレス401に、IPヘッダ1301Eの宛先アドレス(DA)1302A「192.168.1.51」と一致するものがあるか否か判別する(図9のステップ902)。ここでは、エントリ404FのIPアドレス401と一致するため、図9のステップ904に処理を進める。
ボリューム管理テーブル600を検索し、DA1302AのIPアドレスと合致するIPアドレス601Bを有するエントリの登録があるか否か判別する(図9のステップ905)。ここでは、エントリ606Aおよび606Bの2つが一致する。
そこで、図9のステップ906に進み、仮想化パケット処理を行う。すなわち、図11のステップ1111の処理を行う。ここでは、エントリ606Aの情報に基づいたIPパケットA1(1302A1)とエントリ606Bの情報に基づいたIPパケットA2(1302A2)とを生成する。
具体的には、エントリ6060Aのストレージ側ポートIPアドレス602の「192.168.2.11」をIPヘッダ1301EのSAに、ストレージIPアドレス603の「192.168.2.2」をIPヘッダ1301EのDAに、LUN604の「LU1またはLU2」をiSCSIヘッダ1301Gに、それぞれ格納し、IPパケットA1(1302A1)を生成する。このとき、TCPヘッダ1301Fに変更はない。
そして、エントリ606Bのストレージ側ポートIPアドレス602の「192.168.2.12」をIPヘッダ1301EのSAに、ストレージIPアドレス603の「192.168.2.3」をIPヘッダ1301EのDAに、LUN604の「LU1」をiSCSIヘッダ1301Gに、それぞれ格納し、IPパケットA2(1302A2)を生成する。このときも、TCPヘッダ1301Fに変更はない。
IPパケットB(1303)は、図1のサーバB(105B)から仮想ボリュームID601がV2の仮想ボリュームへアクセスする場合のパケットの例を示している。仮想から実へのパケット変換(IPパケットB(1303)からIPパケットB1(1303B1)およびIPパケットB2(1303B2)への変換)は、IPパケットA(1302)からIPパケットA1(1302A1)とIPパケットA2(1302A2)との生成の処理と同様である。
次に、受信時フィルタリングテーブル700を作成する処理を説明する。受信時フィルタリングテーブル700へのエントリの追加は、通信品質管理テーブル500に登録されているサーバ装置105が、通信品質を要求している場合であって、その要求が、受信時フィルタリングテーブル700に未登録である場合に行われる。
図14は、本処理の処理フローである。以下の処理は、CPU115が通信品質管理プログラム202Eを実行することにより実現される。
CPU115は、通信品質管理テーブル500の1エントリを読み込み(ステップ1401)、通信品質503の設定があるか否か判別する(ステップ1402)。
通信品質503の設定がある場合、CPU115は、該当エントリのフィルタリング処理505Aの登録があるかを調べる(ステップ1403)。
フィルタリング処理505Aに登録がない場合は、CPU115は、サーバ装置105のIPアドレスと仮想ボリュームのTCPポートを用いて、マッチ条件701を生成する。ここでは、受信時フィルタリングテーブル700のマッチ条件701に、「(IPヘッダのSA=サーバのIPアドレス)AND(TCPヘッダの宛先ポート=3260)」と設定する(ステップ1404)。
そして、CPU115は、処理702に通信品質管理テーブル500の通信品質503を設定し(ステップ1405)、処理ID703を設定する(ステップ1406)。このとき、通信品質管理テーブル500の本処理中のエントリの受信時のフィルタリング処理505Aに、前記処理ID703を設定する。
通信品質管理テーブル500の該当エントリに、通信品質503の設定がない場合と(ステップ1402)、フィルタリング処理505Aの登録がある場合(ステップ1403)は、CPU115は、処理を終了する。
以上の処理を、CPU115は、通信品質管理テーブル500に登録されているエントリの数だけ繰り返す。
次に、送信時フィルタリングテーブル800を作成する処理を説明する。
図15は、本処理の処理フローである。以下の処理は、CPU115が通信品質管理プログラム202Eを実行することにより実現される。
CPU1115は、通信品質管理テーブル500の1エントリを読み込み(ステップ1501)、通信品質503の設定があるか否か判別する(ステップ1502)。
通信品質503の設定がある場合、CPU115は、該当エントリのフィルタリング処理505Bの登録があるかを調べる(ステップ1503)。
フィルタリング処理505Bに登録がない場合は、CPU115は、本エントリの仮想ボリュームID504に該当する、ボリューム管理テーブル600の仮想ボリュームのストレージIPアドレス603を1つ選択し(ステップ1504)、当該エントリの情報を用いて、マッチ条件801を生成し、登録する(ステップ1505)。
マッチ条件では、IPヘッダのSAにストレージ側ポートIPアドレス602を、IPヘッダのDAにストレージIPアドレス603を、TCPヘッダの送信元ポートに送信元ポート605を、TPヘッダの宛先ポートに仮想ボリュームのTCPポート601Cを設定し、全てを満たすことを条件とする。
例えば、仮想ボリュームIDがV1の場合であって、ストレージIPアドレス603として、「192.168.2.2」をステップ1504で選択した場合、送信時フィルタリングテーブル800のマッチ条件801には、「(IPヘッダのSA=192.168.2.11)AND(IPヘッダのDA=192.168.2.2)AND(TCPヘッダの送信元ポート=31001)AND(TCPヘッダの宛先ポート=3260)」と設定される。
そして、処理802に通信品質管理テーブル500の通信品質503を設定し(ステップ1506)、処理ID803を設定する(ステップ1507)。このとき、通信品質管理テーブル500の本処理中のエントリの送信時のフィルタリング処理505Bに、前記処理ID803を設定する。
ボリューム管理テーブル600の該当仮想ボリュームのストレージIPアドレスが複数ある場合は(ステップ1508)、ステップ1504において未選択のストレージIPアドレスを選択し(ステップ1509)、ステップ1505以降の処理を行う。ステップ1505からステップ1508の処理を、該当仮想ボリュ-ム601Aに登録されているストレージIPアドレス603の数だけ繰り返す。
通信品質管理テーブル500の該当エントリに、通信品質503の設定がない場合と(ステップ1502)、フィルタリング処理505Aの登録がある場合(ステップ1503)は、処理を終了する。
以上の処理を、CPU115は、通信品質管理テーブル500に登録されているエントリの数だけ繰り返す。
以上説明したとおり、本実施形態によれば、仮想ボリューム単位に優先制御と帯域制御の通信品質を制御することができる。
本実施形態によれば、仮想化スイッチ100が提供する仮想ボリュームをサーバ装置105からアクセスする際に、仮想化スイッチ100が、仮想化スイッチ100とストレージ装置106との間の通信品質を制御することで、当該サーバ装置105が要求する性能を保証する。
すなわち、従来、仮想化スイッチ100とストレージ装置106との間の通信は、仮想化スイッチ100がイニシエータとなってストレージ装置106をアクセスし、仮想ボリューム単位にパケットのフローは識別できなかった。しかし、本実施形態では、上述のように、通信品質管理テーブル500、送信時フィルタリングテーブル800を用意し、仮想化変換処理後のパケットのIPヘッダおよびTCPヘッダの情報に従って当該パケットに要求された通信品質に応じたフィルタリングを行う。これにより、仮想化スイッチ100において、仮想化する場合であっても、仮想ボリューム単位でパケットのフローを識別することを可能とし、優先度や帯域または性能制限といった通信品質の制御を実現している。
なお、本実施形態では、上述のように、管理端末118を介して、管理者が、仮想化スイッチ100のスイッチ管理部103に、通信品質管理テーブル500およびボリューム管理テーブル600を設定する構成を例にあげて説明した。しかしながら、上記テーブルの設定は、この方法に限られない。例えば、管理端末118そのものに生成し、その後、仮想化スイッチ100に生成したテーブルのデータをコピーするよう構成してもよい。
以下に、管理端末118において、テーブルのデータを生成する方法について説明する。
図16は、管理端末118のメインメモリ(不図示)に格納される代表的なプログラムおよびそれぞれのプログラムを実行する際に用いられるテーブルを示す図である。
本図に示すように、管理端末118のメインメモリは、OS302とストレージ管理ソフトウェア303とを備える。ストレージ管理ソフトウェア303は、ログイン認証プログラム306Aおよびそのログイン認証テーブル306B、ボリューム管理プログラム305Aおよびそのボリューム管理テーブル305B、性能管理プログラム304Aおよびその通信品質管理テーブル304B、を備える。
以下、通信品質管理テーブル500(304B)を例にあげて、管理端末118において、管理者からの指示に従って、本テーブルを設定する方法を説明する。これは、管理端末118のCPU(以下、CPU118cと呼ぶ。)が性能管理プログラム304Aを実行することにより実現する。図17は、本処理の処理フローである。
管理端末118のCPU118cは、ボリューム管理テーブル600に仮想化スイッチ100の仮想ボリュームの定義があるかを調べ(ステップ1901)、定義がある場合は、定義されている仮想ボリュームを管理者に提示し、管理者からの指示を待つ。
管理者から仮想ボリュームの選択とともに選択された仮想ボリュームに設定する通信品質の指示を受け付けると(ステップ1902)、CPU118cは、ボリューム管理テーブルの仮想ボリュームID601Aに登録されているIDをキーに、通信品質管理テーブル500の仮想ボリュームID504を検索し、管理者から選択の指示を受け付けた仮想ボリュームが、通信品質管理テーブル500に定義されているかを調べる(ステップ1903)。
定義がある場合は、CPU管理者から選択の指示を受け付けた仮想ボリュームに対する通信品質に基づいて、通信品質503を設定し(ステップ1904)、処理を終了する。その後、CPU118cは、設定した通信品質管理テーブル500を、スイッチ管理部103に送信する。
ボリューム管理テーブル600に仮想化スイッチ100の仮想ボリュームの定義がない場合(ステップ1901)や通信品質管理テーブル500に選択した仮想ボリュームの定義がない場合(ステップ1903)は、処理を終了する。
なお、本実施形態では、ボリューム管理テーブル600に定義があるにもかかわらず、通信品質管理テーブル500に定義がない仮想ボリュームは、通信品質を保証しないものとする。
このように管理端末118から設定する構成の場合、例えば、仮想化スイッチ100が複数ある場合など、複数の仮想化スイッチ100の設定を、管理端末118においてまとめて行うことができる。
また、本実施形態では、サーバ装置105とストレージ装置106との間に仮想化スイッチ100を備え、仮想化スイッチ100において仮想化する場合を例に挙げて説明した。しかし、上述のとおり、仮想化は、サーバ装置105とストレージ装置106との間に設けられたスイッチにおいて行われる場合に限られない。例えば、ストレージシステムにおいて、仮想化スイッチ100を備えず、ストレージ装置106内で、仮想化を行う構成であっても、本実施形態は適用可能である。
図18に、ストレージ装置106が、図1の仮想化スイッチ100の構成を備える場合のストレージシステムの全体構成を示す。
本ストレージシステムは、本実施形態の仮想化スイッチ100の替わりに、仮想化機能つきのストレージ装置2000を備える。その他の点は、図1の構成と同様である。
ここでは、ストレージ装置2000として、仮想化機能を有するRAID(Redundant Arrays of Inexpensive(or Independent) Disks)装置を例にあげて説明する。
図18に示すように、ストレージ装置2000は、スイッチ104、サーバ105、ストレージ106等を接続するための複数のポートを有する、パケット転送制御部2001、2001A、2001Bと、複数の記憶装置2007にアクセスするためのディスクアダプタ2006と、キャッシュメモリを有するキャッシュアダプタ2005と、ストレージ管理部2003と、パケット転送部2001、ストレージ管理部2003およびキャッシュアダプタ2005を接続するクロスバースイッチ2002と、を備える。
なお、ストレージ装置2000が、NAS(Network Attached Storage)機能を持つ場合は、複数のポートを持つNASエンジン2004がパケット転送制御部2001、2001A、2001Bに接続される。また、パケット転送制御部2001、2001A、2001B、キャッシュアダプタ2005、ディスクアダプタ2006は複数備えてもよい。
ストレージ装置2000に接続されるスイッチ104、サーバ105、ストレージ106は、図1の仮想化スイッチ100の接続構成と同様な接続構成である。
また、ストレージ装置2000が備えるパケット転送制御部2001およびストレージ管理部2003は、それぞれ、図1の仮想化スイッチ100が備える同名の構成と同様である。また、パケット転送制御部2001Aがパケット転送制御部(受信時)101A、パケット転送制御部2001Bがパケット転送制御部(送信時)101Bに対応する構成を備える。
図18の構成のストレージシステムでは、ストレージ装置2000内において、上述の図を用いて説明した機能を実現し、サーバ105とストレージ106との間で、仮想ボリューム単位での通信品質の制御を実現する。
<<第二実施形態>>
次に本発明の第二の実施形態を、図19から図21を用いて説明する。第一の実施形態では、サーバ装置105ごとに通信品質が指定されていたが、第二の実施形態では、仮想ボリューム毎に、優先度が付与されている実施形態を説明する。ここでは、仮想化スイッチ100において、仮想ボリューム単位に優先制御のみの通信品質を制御する。なお、以下においては、第一の実施形態と異なる構成についてのみ説明する。
本実施形態では、IPヘッダのTOS(Type of Service)に設定された優先度と、TCPヘッダの宛先ポートとによって送信時にフィルタリング処理を行う。
送信時のフィルタリングテーブルに、通信品質管理テーブル500に設定された通信品質と、TOSとの関係を設定する。具体的には、「優先」と設定されている場合5(優先度高)を、「非優先」と設定されている場合は、0(優先度低)を設定する。
まず、本実施形態において、送信時フィルタリングテーブル800を作成する処理について説明する。図19は、本処理の処理フローである。以下の処理は、第一の実施形態と同様に、CPU115が、通信品質管理プログラム202Eを実行することにより行われる。
処理ステップ1601から1604までの処理は、図15の処理ステップ1501から1504までの処理の説明と同様である。引き続き、通信品質管理テーブル500の該当エントリの優先度503Aが「優先」である場合(ステップ1605)、「優先」であることを、IPヘッダのTOSの条件に設定する。すなわち、送信時フィルタリングテーブル800のマッチ条件801として、IPヘッダのTOSの優先度と、TCPヘッダの宛先ポートの条件を設定する(ステップ1606)。
例えば、エントリ506Aを抽出した場合、「(IPヘッダのTOSの優先度=5(優先度高))AND(TCPヘッダの宛先ポート=3260)」が、マッチ条件801に設定される。
一方、ステップ1605において、通信管理テーブル500の該当エントリの優先度503Aが「優先」でない場合は、送信時フィルタリングテーブル800のマッチ条件801のTOSの条件として優先度低の0が設定される。具体的には、マッチ条件801に、「(IPヘッダのTOSの優先度=0(優先度低))AND(TCPヘッダの宛先ポート=3260)」と設定し(ステップ1606)、処理ステップ1607以降の処理を行う。
そして、処理802に通信品質管理テーブル500の通信品質503を設定し(ステップ1607)、処理ID803を設定する(ステップ1608)。設定した処理ID803は、通信品質管理テーブル500のフィルタリング処理(送信時)505Bにも設定される。
ボリューム管理テーブル600の該当仮想ボリュームのストレージIPアドレス603が他にもある場合は(ステップ1609)、そのストレージIPアドレスを選択し(ステップ1612)、ステップ1605以降の処理を行う。第一の実施形態同様、ステップ1605から1612の処理は、ストレージIPアドレス603として登録されているIPアドレスの数だけ繰り返される。
通信品質管理テーブル500の該当エントリに、通信品質503の設定がない場合と(ステップ1602)、フィルタリング処理505Bの登録がある場合(ステップ1603)は、処理を終了する。
図20は、図19で示した処理フローにより作成される送信時フィルタリングテーブル800の構成例を示す図である。本実施形態の送信時フィルタリングテーブル800は、図8で示した送信時フィルタリングテーブル800のエントリ804A、804B、804C、804Dと内容の異なるエントリ1701A、1701Bを備える。
次に、第一の実施形態の図11で示したパケット転送制御部(受信時)101の仮想化パケット処理部110とそれに続く通信品質制御部111との処理について、説明する。図21は、本処理の処理フローである。図11と同じ処理には、同じステップ番号が付与されている。
なお、下記の処理は、通信品質管理プログラム202Eが、CPU113において実行されることにより実現される。
仮想化パケット処理部110は、処理ステップ1105に引き続き、通信品質管理テーブル500の該当仮想ボリュームのエントリを読み込む(ステップ1801)。読み込んだエントリに通信品質503の設定がある場合(ステップ1802)、仮想化パケット処理部110は、優先度503Aの設定を確認する(ステップ1803)。
優先度503Aが「優先」である場合、仮想化パケット処理部110は、上記プログラム内の変数である優先度フラグを1に設定し(ステップ1804)、処理ステップ1106以降の処理を行う。
ステップ1802において通信品質503の設定がない場合と、ステップ1803において優先度503Aが「優先」ではない場合は、仮想化パケット処理部110は、上記プログラム内の変数である優先度フラグを0に設定し(ステップ1805)、処理ステップ1106以降の処理を行う。
また、処理ステップ1111に引き続き、優先度フラグが1である場合(ステップ1811)、受信したパケットのIPヘッダのTOSの優先度を5に設定し、処理ステップ1112以降の処理を行う。優先度フラグが1ではない場合(ステップ1811)、パケットのIPヘッダのTOSの優先度を0に設定し、処理ステップ1112以降の処理を行う。
以上で示した説明により、本実施形態においても、仮想ボリューム単位に、優先制御のみではあるが、通信品質を制御することができる。本実施形態では、第一の実施の形態と比較して、帯域制御は行えないが、送信時フィルタリングテーブル800のマッチ条件801の内容を削減し、検索処理を高速化できる。本実施形態においては、パケットのIPヘッダのTOSの優先度を利用する場合を例にあげて説明したが、これに限られない。例えば、IPヘッダのTOSの優先度の代わりに、VLANタグ内の優先度を利用してもよい。
また、本実施形態においても、仮想化スイッチ100の機能を、ストレージサブ装置106が有する構成としてもよい。
<<第三実施形態>>
次に本発明の第三の実施形態を図を用いて説明する。本実施形態では、仮想化スイッチ100で使用するフィルタリングテーブルを、その他のスイッチ104においても使用して、ネットワーク全体で通信品質保証を行うものである。
図22は、本実施形態のストレージシステムの構成図である。
本図に示すように、本実施形態のストレージシステムは、図1で示したストレージシステムのネットワーク構成例に、管理用の管理LANが追加され、管理端末118が、管理LANを介してストレージシステムに接続されている。SANのネットワーク2101と管理LAN2102とは別のネットワークである。
本実施形態では、第一の実施形態で仮想化スイッチ100が持つ、受信時フィルタリングテーブル700と送信時フィルタリングテーブル800とを、その他のスイッチにも設定または配布する。
本実施形態においては、管理端末118の性能管理プログラム304Aは、図16で示した通信品質管理テーブル304Bに加え、フィルタリングテーブル2103を生成する。管理端末118の性能管理プログラム304Aは、フィルタリングテーブル700および800をフィルタリングテーブル2103として生成し、管理LAN2102を経由して、仮想化スイッチ100およびスイッチ104に設定または配布する。設定または配布の流れを、図22に矢印2104で示す。
なお、全てのスイッチ104に、フィルタリングテーブル700および800を設定または配布する必要はない。例えば、仮想化スイッチ100とサーバ装置105との間のスイッチA(104)とスイッチB(104)とには、受信時フィルタリングテーブル700のみを設定または配布し、仮想化スイッチ100とストレージC(106C)との間のスイッチC(104)には、送信時フィルタリングテーブル800のみを設定または配布するよう構成してもよい。
管理端末118と仮想化スイッチ100とスイッチ104との間で、受信時フィルタリングテーブル700と送信時フィルタリングテーブル800との設定または配布を行うために、SNMP(Simple Network Management Protocol)のようなプロトコルを使用することも可能である。
なお、以上の実施形態においては、ネットワークのプロトコルとして、iSCSIを例にあげて説明したが、プロトコルはこれに限られない。例えば、ファイバチャネルなどの場合であっても、同様に本発明は適用できる。
以上、第一、第二、第三の実施形態によれば、このようなストレージシステムにおいて、仮想ボリューム単位で、ストレージシステム全体で通信品質の制御を行うことができる。
図1は、本実施形態のストレージシステム全体および仮想化スイッチの構成図である。 図2は、パケット転送制御部の代表的なプログラムおよびテーブルを説明するための図である。 図3は、スイッチ管理部の代表的なプログラムおよびテーブルを説明するための図である。 図4は、ルーティングテーブルの構成例を示す図である。 図5は、通信品質管理テーブルの構成例を示す図である。 図6は、ボリューム管理テーブルの構成例を示す図である。 図7は、受信時フィルタリングテーブルの構成例を示す図である。 図8は、送信時フィルタリングテーブルの構成例を示す図である。 図9は、受信時のパケット振分け処理部の処理フローである。 図10は、受信時の通常パケット処理部および通信品質制御部の処理フローである。 図11は、受信時の仮想化パケット処理部と通信品質制御部の処理フローである。 図12は、送信時の通常パケット処理部と通信品質制御部の処理フローである。 図13は、iSCSIパケットの構成例を示す図である。 図14は、受信時フィルタリングテーブルを作成する処理フローである。 図15は、送信時フィルタリングテーブルを作成する処理フローである。 図16は、管理端末の代表的なプログラムとテーブルを説明するための図である。 図17は、性能管理プログラムの処理フローである。 図18は、仮想化機能を有するストレージ装置の構成例を示す図である。 図16は、第二の実施形態の送信時フィルタリングテーブルを作成する処理フローである。 図20は、第二の実施形態の送信時フィルタリングテーブルの構成例を示す図である。 図21は、第二の実施形態の仮想化パケット処理部と通信品質制御部の処理フローである。 図22は、第三の実施形態のストレージシステムの構成図である。
符号の説明
100・・・仮想化スイッチ、101・・・パケット転送制御部、101A・・・パケット転送制御部(受信時)、101B・・・パケット転送制御部(送信時)、102・・・クロスバースイッチ、103・・・スイッチ管理部、104・・・スイッチ、105、105A、105B、105C・・・サーバ装置、106、106A、106B・・・ストレージ装置、107、107A、107B、107C、107D・・・ポート、108・・・パケット振分け処理部、109・・・通常パケット処理部、110・・・仮想化パケット処理部、111・・・通信品質制御部、112・・・スイッチI/F制御部、113、115・・・CPU、114、116・・・メモリ、117・・・管理用I/F、118・・・管理端末

Claims (13)

  1. サーバ装置から受信したパケットを1または複数のストレージ装置に中継するとともに、前記サーバ装置に前記ストレージ装置が有する1または複数の記憶領域を仮想化して提供する仮想化スイッチであって、
    前記サーバ装置毎に、当該サーバ装置に提供する仮想化された記憶領域(以後、仮想ボリュームと呼ぶ)と、当該仮想ボリュームに割り当てられた、前記ストレージ装置が提供する前記記憶領域(以後、実ボリュームと呼ぶ)との対応関係を保持するボリューム管理テーブルと、
    前記仮想ボリューム毎に、当該仮想ボリュームに割り当てられた前記サーバ装置が要求する通信品質を保証する処理(以後、通信品質処理と呼ぶ。)と、当該仮想ボリュームに割り当てられた前記実ボリュームにアクセスする前記パケットのフローを識別するフロー識別情報とを対応づけたフィルタリングテーブルと、
    送信元の前記サーバ装置が要求する通信品質に従って、前記受信したパケットに対し、前記通信品質処理を行った後、前記ボリューム管理テーブルを用いて当該パケットの宛先を前記仮想ボリュームから実ボリュームに変更し、前記フィルタリングテーブルに従って、変更後のパケットに前記通信品質処理を行うパケット転送処理手段と、を備えること
    を特徴とする仮想化スイッチ。
  2. 請求項1記載の仮想化スイッチであって、
    前記ボリューム管理テーブルは、前記仮想ボリューム毎に、当該仮想ボリュームに割り当てられた実ボリュームを提供するストレージ装置へアクセスする際のアクセス経路を指定する送信側ポート識別子と送信側コネクション識別子と、当該実ボリュームへのアクセスのための当該ストレージ装置のポートのポート識別子と、を備え、
    前記フィルタリングテーブルにおける前記フロー識別情報は、前記送信側ポート識別子と、前記送信側コネクション識別子と、前記ストレージ装置のポート識別子と、送信側ポート識別子とを備えること
    を特徴とする仮想化スイッチ。
  3. 請求項2記載の仮想化スイッチであって、
    前記サーバ装置およびストレージ装置との間のネットワークプロトコルはiSCSIであり、
    前記送信側ポート識別子と前記ストレージ装置のポート識別子とは、それぞれIPアドレスであり、
    前記送信側コネクション識別子は、TCPポート番号であること
    を特徴とする仮想化スイッチ。
  4. 請求項1、2または3記載の仮想化スイッチであって、
    前記送信元のサーバ装置毎に、要求する通信品質を保持する通信品質管理テーブルと、
    前記通信品質管理テーブルと前記ボリューム管理テーブルとに保持されている情報を用いて前記フィルタリングテーブルを生成するフィルタリングテーブル生成部と、をさらに備えること
    を特徴とする仮想化スイッチ。
  5. 請求項1、2、3または4記載の仮想化スイッチであって、
    前記通信品質は、前記仮想ボリュームに対して定義されている仮想ポートに複数の前記サーバ装置からアクセスがあった場合の処理優先度と、帯域または単位時間あたりのI/O(Input/Output)数と、であること
    を特徴とするスイッチ。
  6. 1または複数のサーバ装置と、1または複数のストレージ装置と、前記サーバ装置から送出されたパケットを前記ストレージ装置に中継するとともに前記サーバ装置に前記ストレージ装置が有する1または複数の記憶領域を仮想化して提供するスイッチとを備えるストレージシステムであって、
    前記スイッチは、
    前記サーバ装置毎に、当該サーバ装置に提供する仮想化された記憶領域(以後、仮想ボリュームと呼ぶ)と、当該仮想ボリュームに割り当てられた、前記ストレージ装置が提供する前記記憶領域(以後、実ボリュームと呼ぶ)との対応関係を保持するボリューム管理テーブルと、
    前記仮想ボリューム毎に、当該仮想ボリュームに割り当てられた前記サーバ装置が要求する通信品質を保証する処理(以後、通信品質処理と呼ぶ。)と、当該仮想ボリュームに割り当てられた前記実ボリュームにアクセスする前記パケットのフローを識別するフロー識別情報とを対応づけたフィルタリングテーブルと、
    送信元の前記サーバ装置が要求する通信品質に従って、前記受信したパケットに対し、前記通信品質処理を行った後、前記ボリューム管理テーブルを用いて当該パケットの宛先を前記仮想ボリュームから実ボリュームに変更し、前記フィルタリングテーブルに従って、変更後のパケットに前記通信品質処理を行うパケット転送処理手段と、を備えること
    を特徴とするストレージシステム。
  7. 請求項6記載のストレージシステムであって、
    前記スイッチに接続された管理端末をさらに備え、
    前記管理端末は、
    管理者からの入力を受け付ける入力受付部と、
    前記入力受付部を介して受け付けた管理者からの指示に従って、前記送信元のサーバ装置毎に、当該サーバ装置が要求する通信品質を保持する通信品質管理テーブルを生成する通信品質管理テーブル生成部と、
    前記生成した通信品質管理テーブルを、前記スイッチに送出する送信部と、を備えること
    を特徴とするストレージシステム。
  8. 請求項7記載のストレージシステムであって、
    前記サーバ装置から送出されたパケットを前記ストレージ装置に中継する第二のスイッチを1または複数備え、
    前記管理端末は、
    前記通信品質管理テーブルを用いて、フィルタリングテーブルを生成するフィルタリングテーブル生成部をさらに備え、
    前記送信部は、生成した前記フィルタリングテーブルを、前記スイッチおよび前記第二のスイッチに送出すること
    を特徴とするストレージシステム。
  9. サーバ装置から受信したパケットを1または複数のストレージ装置に中継するとともに、前記サーバ装置に前記ストレージ装置が有する1または複数の記憶領域を仮想化して提供するスイッチが備えるコンピュータを、
    前記サーバ装置毎に、当該サーバ装置に提供する仮想化された記憶領域(以後、仮想ボリュームと呼ぶ)と、当該仮想ボリュームに割り当てられた前記ストレージ装置が提供する前記記憶領域(以後、実ボリュームと呼ぶ)との対応関係が格納されているボリューム管理テーブルを用いて、
    前記仮想ボリューム毎に、当該仮想ボリュームに割り当てられた前記サーバ装置が要求する通信品質を保証する処理(以後、通信品質処理と呼ぶ。)と、当該仮想ボリュームに割り当てられた前記実ボリュームにアクセスする前記パケットのフローを識別するフロー識別情報とを対応づけたフィルタリングテーブルを生成するフィルタリングテーブル生成手段、
    として機能させるためのプログラム。
  10. サーバ装置から受信したパケットを1または複数のストレージ装置に中継するとともに、前記サーバ装置に前記ストレージ装置が有する1または複数の記憶領域を仮想化して提供するスイッチにおける、通信品質制御方法であって、
    前記サーバ装置から受信した、当該サーバ装置に提供する仮想化された記憶領域(以後、仮想ボリュームと呼ぶ。)を宛先とするパケットに、当該サーバ装置が要求する通信品質を保証する処理を行い、
    予め保持されている、前記仮想ボリュームと、当該仮想ボリュームに割り当てられた、前記ストレージ装置が提供する前記記憶領域(以後、実ボリュームと呼ぶ。)との対応を示す情報に従って、前記受信したパケットの宛先を前記仮想ボリュームから前記実ボリュームに変更し、
    予め保持されている、前記仮想ボリュームに割り当てられた前記サーバ装置が要求する通信品質を保証する処理と、当該仮想ボリュームに割り当てられた前記実ボリュームにアクセスする前記パケットのフローを識別するフロー識別情報とを対応付けたフィルタリングテーブルに従って、前記変更後のパケットに前記処理を行うこと
    を特徴とする通信品質制御方法。
  11. サーバ装置から受信したパケットを1または複数のストレージ装置に中継するとともに、前記サーバ装置に前記ストレージ装置が有する1または複数の記憶領域を仮想化して提供するスイッチにおいて通信品質制御に用いるフィルタリングテーブル生成方法であって、
    前記サーバ装置毎に、当該サーバ装置に提供する仮想化された記憶領域(以後、仮想ボリュームと呼ぶ)と、当該仮想ボリュームに割り当てられた前記ストレージ装置が提供する前記記憶領域(以後、実ボリュームと呼ぶ)との対応関係が格納されているボリューム管理テーブルを用いて、
    前記仮想ボリューム毎に、当該仮想ボリュームに割り当てられた前記サーバ装置が要求する通信品質を保証する処理(以後、通信品質処理と呼ぶ。)と、当該仮想ボリュームに割り当てられた前記実ボリュームにアクセスする前記パケットのフローを識別するフロー識別情報とを対応づけたフィルタリングテーブルを生成するフィルタリングテーブル生成方法。
  12. サーバ装置から受信したパケットを1または複数のストレージ装置に中継するとともに、前記サーバ装置に前記ストレージ装置が有する1または複数の記憶領域を仮想化して提供する仮想化スイッチであって、
    前記サーバ装置毎に、当該サーバ装置に提供する仮想化された記憶領域(以後、仮想ボリュームと呼ぶ)と、当該仮想ボリュームに割り当てられた、前記ストレージ装置が提供する前記記憶領域(以後、実ボリュームと呼ぶ)との対応関係を保持するボリューム管理テーブルと、
    前記仮想ボリュームに設定された通信品質を保証する処理(以後、通信品質処理と呼ぶ。)と、当該仮想ボリュームに割り当てられた前記実ボリュームにアクセスする前記パケットのフローを識別するフロー識別情報とを対応づけたフィルタリングテーブルと、
    前記受信したパケットの宛先を、前記ボリューム管理テーブルを用いて前記仮想ボリュームから実ボリュームに変更した後、前記フィルタリングテーブルに従って、変更後のパケットに前記通信品質処理を行うパケット転送処理手段と、を備えること
    を特徴とする仮想化スイッチ。
  13. 請求項12記載の仮想化スイッチであって、
    前記通信品質は、前記仮想ボリュームに対して定義されている仮想ポートに複数の前記サーバ装置からアクセスがあった場合の処理優先度であり、当該優先度は、前記パケットのIP(Internet Protocol)ヘッダ内のTOS(Type of Service)フィールド、または、VLAN(Virtual LAN)タグに設定され、
    前記フィルタリングテーブルにおける前記フロー識別情報は、前記受信側コネクション識別子と、前記TOSまたは前記VLANにより特定されること
    を特徴とする仮想化スイッチ。
JP2004140862A 2004-05-11 2004-05-11 仮想ストレージの通信品質制御装置 Expired - Lifetime JP4230410B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004140862A JP4230410B2 (ja) 2004-05-11 2004-05-11 仮想ストレージの通信品質制御装置
US10/884,244 US7206860B2 (en) 2004-05-11 2004-07-01 Virtualization switch and storage system
EP20040024040 EP1596536B1 (en) 2004-05-11 2004-10-08 A virtualization switch and storage system
DE200460019394 DE602004019394D1 (de) 2004-05-11 2004-10-08 Ein Virtualisierungsschalter und Speichersystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004140862A JP4230410B2 (ja) 2004-05-11 2004-05-11 仮想ストレージの通信品質制御装置

Publications (2)

Publication Number Publication Date
JP2005323245A JP2005323245A (ja) 2005-11-17
JP4230410B2 true JP4230410B2 (ja) 2009-02-25

Family

ID=34926918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004140862A Expired - Lifetime JP4230410B2 (ja) 2004-05-11 2004-05-11 仮想ストレージの通信品質制御装置

Country Status (4)

Country Link
US (1) US7206860B2 (ja)
EP (1) EP1596536B1 (ja)
JP (1) JP4230410B2 (ja)
DE (1) DE602004019394D1 (ja)

Families Citing this family (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4433372B2 (ja) * 2003-06-18 2010-03-17 株式会社日立製作所 データアクセスシステム及び方法
US20050015655A1 (en) * 2003-06-30 2005-01-20 Clayton Michele M. Intermediate station
US7136959B1 (en) * 2003-09-30 2006-11-14 Emc Corporation Data storage system having crossbar packet switching network
JP2005190036A (ja) 2003-12-25 2005-07-14 Hitachi Ltd 記憶制御装置及び記憶制御装置の制御方法
JP4463042B2 (ja) * 2003-12-26 2010-05-12 株式会社日立製作所 ボリュームの動的割り付け機能を有する記憶装置システム
US7757033B1 (en) 2004-02-13 2010-07-13 Habanero Holdings, Inc. Data exchanges among SMP physical partitions and I/O interfaces enterprise servers
US8868790B2 (en) 2004-02-13 2014-10-21 Oracle International Corporation Processor-memory module performance acceleration in fabric-backplane enterprise servers
US7843906B1 (en) 2004-02-13 2010-11-30 Habanero Holdings, Inc. Storage gateway initiator for fabric-backplane enterprise servers
US7873693B1 (en) 2004-02-13 2011-01-18 Habanero Holdings, Inc. Multi-chassis fabric-backplane enterprise servers
US7633955B1 (en) 2004-02-13 2009-12-15 Habanero Holdings, Inc. SCSI transport for fabric-backplane enterprise servers
US7685281B1 (en) 2004-02-13 2010-03-23 Habanero Holdings, Inc. Programmatic instantiation, provisioning and management of fabric-backplane enterprise servers
US7990994B1 (en) * 2004-02-13 2011-08-02 Habanero Holdings, Inc. Storage gateway provisioning and configuring
US7546631B1 (en) * 2004-04-30 2009-06-09 Sun Microsystems, Inc. Embedded management system for a physical device having virtual elements
US8713295B2 (en) 2004-07-12 2014-04-29 Oracle International Corporation Fabric-backplane enterprise servers with pluggable I/O sub-system
US7818515B1 (en) * 2004-08-10 2010-10-19 Symantec Operating Corporation System and method for enforcing device grouping rules for storage virtualization
JP4643590B2 (ja) * 2004-11-29 2011-03-02 富士通株式会社 仮想ボリューム移築プログラム
JP4555703B2 (ja) * 2005-02-23 2010-10-06 株式会社日立製作所 領域集合設定方法、および、ネットワークシステム
JP4634202B2 (ja) * 2005-04-01 2011-02-16 株式会社日立製作所 ネットワークトポロジー表示方法、管理サーバ、及びネットワーク管理プログラム
US7636801B1 (en) * 2005-06-20 2009-12-22 Symantec Operating Corporation Coordination of quality of service in a multi-layer virtualized storage environment
US7599397B2 (en) * 2005-12-27 2009-10-06 International Business Machines Corporation Obtaining multiple port addresses by a fibre channel switch from a network fabric
JP2007310772A (ja) 2006-05-22 2007-11-29 Hitachi Ltd ストレージシステム及び通信制御方法
US7852768B1 (en) 2006-06-21 2010-12-14 Marvell International Ltd. Physical-layer device management for network switches
US7876746B1 (en) * 2006-06-21 2011-01-25 Marvell International Ltd. Remote management for network switches
JP5087249B2 (ja) * 2006-09-06 2012-12-05 株式会社日立製作所 ストレージシステムおよびストレージシステムの制御方法
US20080177881A1 (en) * 2007-01-19 2008-07-24 Dell Products, Lp System and Method for Applying Quality of Service (QoS) in iSCSI Through ISNS
JP5158576B2 (ja) * 2007-06-05 2013-03-06 日本電気株式会社 入出力制御システム、入出力制御方法、及び、入出力制御プログラム
US8447860B2 (en) * 2007-06-25 2013-05-21 Dell Products L.P. Storage area network with target side recognition and routing table upload
US7876759B2 (en) * 2007-07-11 2011-01-25 Hewlett-Packard Development Company, L.P. Quality of service with control flow packet filtering
US8032730B2 (en) * 2008-05-15 2011-10-04 Hitachi, Ltd. Method and apparatus for I/O priority control in storage systems
US9456054B2 (en) 2008-05-16 2016-09-27 Palo Alto Research Center Incorporated Controlling the spread of interests and content in a content centric network
US8281305B2 (en) * 2008-10-17 2012-10-02 Hitachi, Ltd. Method and apparatus for resource provisioning
WO2010073414A1 (en) * 2008-12-26 2010-07-01 Hitachi, Ltd. Storage system for optimally controlling a plurality of data transfer paths and method therefor
JP5024329B2 (ja) * 2009-05-08 2012-09-12 富士通株式会社 中継プログラム、中継装置、中継方法、システム
WO2010147221A1 (ja) * 2009-06-19 2010-12-23 日本技術貿易株式会社 コンテンツ管理装置及びコンテンツ管理方法
US8923293B2 (en) 2009-10-21 2014-12-30 Palo Alto Research Center Incorporated Adaptive multi-interface use for content networking
US8892723B2 (en) * 2010-06-16 2014-11-18 Netapp, Inc. Method and apparatus for enabling communication between iSCSI devices and SAS devices
WO2013070800A1 (en) 2011-11-07 2013-05-16 Nexgen Storage, Inc. Primary data storage system with quality of service
JP5891877B2 (ja) * 2012-03-19 2016-03-23 富士通株式会社 中継装置および中継方法
CN104205746A (zh) 2012-03-28 2014-12-10 日本电气株式会社 计算机系统和通信路由改变方法
KR20130126833A (ko) * 2012-05-02 2013-11-21 한국전자통신연구원 네트워크 가상화를 위한 고속 스위칭 방법 및 고속 가상 스위치
US9280546B2 (en) 2012-10-31 2016-03-08 Palo Alto Research Center Incorporated System and method for accessing digital content using a location-independent name
US9400800B2 (en) 2012-11-19 2016-07-26 Palo Alto Research Center Incorporated Data transport by named content synchronization
KR102020046B1 (ko) * 2012-12-06 2019-09-10 한국전자통신연구원 서버 가상화 환경에서의 플로우 관리 장치 및 방법, 서비스품질 정책 적용 방법
US10430839B2 (en) 2012-12-12 2019-10-01 Cisco Technology, Inc. Distributed advertisement insertion in content-centric networks
US9978025B2 (en) 2013-03-20 2018-05-22 Cisco Technology, Inc. Ordered-element naming for name-based packet forwarding
US9935791B2 (en) 2013-05-20 2018-04-03 Cisco Technology, Inc. Method and system for name resolution across heterogeneous architectures
US9444722B2 (en) 2013-08-01 2016-09-13 Palo Alto Research Center Incorporated Method and apparatus for configuring routing paths in a custodian-based routing architecture
US9407549B2 (en) 2013-10-29 2016-08-02 Palo Alto Research Center Incorporated System and method for hash-based forwarding of packets with hierarchically structured variable-length identifiers
US9276840B2 (en) 2013-10-30 2016-03-01 Palo Alto Research Center Incorporated Interest messages with a payload for a named data network
US9401864B2 (en) 2013-10-31 2016-07-26 Palo Alto Research Center Incorporated Express header for packets with hierarchically structured variable-length identifiers
US10101801B2 (en) 2013-11-13 2018-10-16 Cisco Technology, Inc. Method and apparatus for prefetching content in a data stream
US10129365B2 (en) 2013-11-13 2018-11-13 Cisco Technology, Inc. Method and apparatus for pre-fetching remote content based on static and dynamic recommendations
US9311377B2 (en) 2013-11-13 2016-04-12 Palo Alto Research Center Incorporated Method and apparatus for performing server handoff in a name-based content distribution system
US10089655B2 (en) 2013-11-27 2018-10-02 Cisco Technology, Inc. Method and apparatus for scalable data broadcasting
US9503358B2 (en) 2013-12-05 2016-11-22 Palo Alto Research Center Incorporated Distance-based routing in an information-centric network
US9379979B2 (en) * 2014-01-14 2016-06-28 Palo Alto Research Center Incorporated Method and apparatus for establishing a virtual interface for a set of mutual-listener devices
US10172068B2 (en) 2014-01-22 2019-01-01 Cisco Technology, Inc. Service-oriented routing in software-defined MANETs
US10098051B2 (en) 2014-01-22 2018-10-09 Cisco Technology, Inc. Gateways and routing in software-defined manets
US9374304B2 (en) 2014-01-24 2016-06-21 Palo Alto Research Center Incorporated End-to end route tracing over a named-data network
US9954678B2 (en) 2014-02-06 2018-04-24 Cisco Technology, Inc. Content-based transport security
US9678998B2 (en) 2014-02-28 2017-06-13 Cisco Technology, Inc. Content name resolution for information centric networking
US10089651B2 (en) 2014-03-03 2018-10-02 Cisco Technology, Inc. Method and apparatus for streaming advertisements in a scalable data broadcasting system
US9836540B2 (en) 2014-03-04 2017-12-05 Cisco Technology, Inc. System and method for direct storage access in a content-centric network
US10452292B2 (en) * 2014-03-07 2019-10-22 Hitachi, Ltd. Computer system
US9626413B2 (en) 2014-03-10 2017-04-18 Cisco Systems, Inc. System and method for ranking content popularity in a content-centric network
US9391896B2 (en) 2014-03-10 2016-07-12 Palo Alto Research Center Incorporated System and method for packet forwarding using a conjunctive normal form strategy in a content-centric network
US9473405B2 (en) 2014-03-10 2016-10-18 Palo Alto Research Center Incorporated Concurrent hashes and sub-hashes on data streams
US9407432B2 (en) 2014-03-19 2016-08-02 Palo Alto Research Center Incorporated System and method for efficient and secure distribution of digital content
US9916601B2 (en) 2014-03-21 2018-03-13 Cisco Technology, Inc. Marketplace for presenting advertisements in a scalable data broadcasting system
US9363179B2 (en) 2014-03-26 2016-06-07 Palo Alto Research Center Incorporated Multi-publisher routing protocol for named data networks
US9363086B2 (en) 2014-03-31 2016-06-07 Palo Alto Research Center Incorporated Aggregate signing of data in content centric networking
US9716622B2 (en) 2014-04-01 2017-07-25 Cisco Technology, Inc. System and method for dynamic name configuration in content-centric networks
US10075521B2 (en) 2014-04-07 2018-09-11 Cisco Technology, Inc. Collection synchronization using equality matched network names
US9473576B2 (en) 2014-04-07 2016-10-18 Palo Alto Research Center Incorporated Service discovery using collection synchronization with exact names
US9390289B2 (en) 2014-04-07 2016-07-12 Palo Alto Research Center Incorporated Secure collection synchronization using matched network names
US9451032B2 (en) 2014-04-10 2016-09-20 Palo Alto Research Center Incorporated System and method for simple service discovery in content-centric networks
US9992281B2 (en) 2014-05-01 2018-06-05 Cisco Technology, Inc. Accountable content stores for information centric networks
US9609014B2 (en) 2014-05-22 2017-03-28 Cisco Systems, Inc. Method and apparatus for preventing insertion of malicious content at a named data network router
US9455835B2 (en) 2014-05-23 2016-09-27 Palo Alto Research Center Incorporated System and method for circular link resolution with hash-based names in content-centric networks
US9276751B2 (en) 2014-05-28 2016-03-01 Palo Alto Research Center Incorporated System and method for circular link resolution with computable hash-based names in content-centric networks
US9516144B2 (en) 2014-06-19 2016-12-06 Palo Alto Research Center Incorporated Cut-through forwarding of CCNx message fragments with IP encapsulation
US9537719B2 (en) 2014-06-19 2017-01-03 Palo Alto Research Center Incorporated Method and apparatus for deploying a minimal-cost CCN topology
US9426113B2 (en) 2014-06-30 2016-08-23 Palo Alto Research Center Incorporated System and method for managing devices over a content centric network
US9699198B2 (en) 2014-07-07 2017-07-04 Cisco Technology, Inc. System and method for parallel secure content bootstrapping in content-centric networks
US9959156B2 (en) 2014-07-17 2018-05-01 Cisco Technology, Inc. Interest return control message
US9621354B2 (en) 2014-07-17 2017-04-11 Cisco Systems, Inc. Reconstructable content objects
US9590887B2 (en) 2014-07-18 2017-03-07 Cisco Systems, Inc. Method and system for keeping interest alive in a content centric network
US9729616B2 (en) 2014-07-18 2017-08-08 Cisco Technology, Inc. Reputation-based strategy for forwarding and responding to interests over a content centric network
US9535968B2 (en) 2014-07-21 2017-01-03 Palo Alto Research Center Incorporated System for distributing nameless objects using self-certifying names
US9882964B2 (en) 2014-08-08 2018-01-30 Cisco Technology, Inc. Explicit strategy feedback in name-based forwarding
US9729662B2 (en) 2014-08-11 2017-08-08 Cisco Technology, Inc. Probabilistic lazy-forwarding technique without validation in a content centric network
US9503365B2 (en) 2014-08-11 2016-11-22 Palo Alto Research Center Incorporated Reputation-based instruction processing over an information centric network
US9391777B2 (en) 2014-08-15 2016-07-12 Palo Alto Research Center Incorporated System and method for performing key resolution over a content centric network
US9467492B2 (en) 2014-08-19 2016-10-11 Palo Alto Research Center Incorporated System and method for reconstructable all-in-one content stream
US9800637B2 (en) 2014-08-19 2017-10-24 Cisco Technology, Inc. System and method for all-in-one content stream in content-centric networks
US9497282B2 (en) 2014-08-27 2016-11-15 Palo Alto Research Center Incorporated Network coding for content-centric network
US10204013B2 (en) 2014-09-03 2019-02-12 Cisco Technology, Inc. System and method for maintaining a distributed and fault-tolerant state over an information centric network
US9553812B2 (en) 2014-09-09 2017-01-24 Palo Alto Research Center Incorporated Interest keep alives at intermediate routers in a CCN
US20160080255A1 (en) * 2014-09-17 2016-03-17 Netapp, Inc. Method and system for setting up routing in a clustered storage system
US10069933B2 (en) 2014-10-23 2018-09-04 Cisco Technology, Inc. System and method for creating virtual interfaces based on network characteristics
US9536059B2 (en) 2014-12-15 2017-01-03 Palo Alto Research Center Incorporated Method and system for verifying renamed content using manifests in a content centric network
US9590948B2 (en) 2014-12-15 2017-03-07 Cisco Systems, Inc. CCN routing using hardware-assisted hash tables
US10237189B2 (en) 2014-12-16 2019-03-19 Cisco Technology, Inc. System and method for distance-based interest forwarding
US9846881B2 (en) 2014-12-19 2017-12-19 Palo Alto Research Center Incorporated Frugal user engagement help systems
US10003520B2 (en) 2014-12-22 2018-06-19 Cisco Technology, Inc. System and method for efficient name-based content routing using link-state information in information-centric networks
US9473475B2 (en) 2014-12-22 2016-10-18 Palo Alto Research Center Incorporated Low-cost authenticated signing delegation in content centric networking
US9660825B2 (en) 2014-12-24 2017-05-23 Cisco Technology, Inc. System and method for multi-source multicasting in content-centric networks
US9946743B2 (en) 2015-01-12 2018-04-17 Cisco Technology, Inc. Order encoded manifests in a content centric network
US9954795B2 (en) 2015-01-12 2018-04-24 Cisco Technology, Inc. Resource allocation using CCN manifests
US9916457B2 (en) 2015-01-12 2018-03-13 Cisco Technology, Inc. Decoupled name security binding for CCN objects
US9602596B2 (en) 2015-01-12 2017-03-21 Cisco Systems, Inc. Peer-to-peer sharing in a content centric network
US9832291B2 (en) 2015-01-12 2017-11-28 Cisco Technology, Inc. Auto-configurable transport stack
US9462006B2 (en) 2015-01-21 2016-10-04 Palo Alto Research Center Incorporated Network-layer application-specific trust model
US9552493B2 (en) 2015-02-03 2017-01-24 Palo Alto Research Center Incorporated Access control framework for information centric networking
US10333840B2 (en) 2015-02-06 2019-06-25 Cisco Technology, Inc. System and method for on-demand content exchange with adaptive naming in information-centric networks
US10075401B2 (en) 2015-03-18 2018-09-11 Cisco Technology, Inc. Pending interest table behavior
US10116605B2 (en) 2015-06-22 2018-10-30 Cisco Technology, Inc. Transport stack name scheme and identity management
US10075402B2 (en) 2015-06-24 2018-09-11 Cisco Technology, Inc. Flexible command and control in content centric networks
US10701038B2 (en) 2015-07-27 2020-06-30 Cisco Technology, Inc. Content negotiation in a content centric network
US9986034B2 (en) 2015-08-03 2018-05-29 Cisco Technology, Inc. Transferring state in content centric network stacks
US10610144B2 (en) 2015-08-19 2020-04-07 Palo Alto Research Center Incorporated Interactive remote patient monitoring and condition management intervention system
US9832123B2 (en) 2015-09-11 2017-11-28 Cisco Technology, Inc. Network named fragments in a content centric network
US10355999B2 (en) 2015-09-23 2019-07-16 Cisco Technology, Inc. Flow control with network named fragments
US10313227B2 (en) 2015-09-24 2019-06-04 Cisco Technology, Inc. System and method for eliminating undetected interest looping in information-centric networks
US9977809B2 (en) 2015-09-24 2018-05-22 Cisco Technology, Inc. Information and data framework in a content centric network
US10454820B2 (en) 2015-09-29 2019-10-22 Cisco Technology, Inc. System and method for stateless information-centric networking
US10263965B2 (en) 2015-10-16 2019-04-16 Cisco Technology, Inc. Encrypted CCNx
US9794238B2 (en) 2015-10-29 2017-10-17 Cisco Technology, Inc. System for key exchange in a content centric network
US9807205B2 (en) 2015-11-02 2017-10-31 Cisco Technology, Inc. Header compression for CCN messages using dictionary
US10009446B2 (en) 2015-11-02 2018-06-26 Cisco Technology, Inc. Header compression for CCN messages using dictionary learning
US10021222B2 (en) 2015-11-04 2018-07-10 Cisco Technology, Inc. Bit-aligned header compression for CCN messages using dictionary
US10097521B2 (en) 2015-11-20 2018-10-09 Cisco Technology, Inc. Transparent encryption in a content centric network
US9912776B2 (en) 2015-12-02 2018-03-06 Cisco Technology, Inc. Explicit content deletion commands in a content centric network
US10097346B2 (en) 2015-12-09 2018-10-09 Cisco Technology, Inc. Key catalogs in a content centric network
US10078062B2 (en) 2015-12-15 2018-09-18 Palo Alto Research Center Incorporated Device health estimation by combining contextual information with sensor data
US10257271B2 (en) 2016-01-11 2019-04-09 Cisco Technology, Inc. Chandra-Toueg consensus in a content centric network
US9949301B2 (en) 2016-01-20 2018-04-17 Palo Alto Research Center Incorporated Methods for fast, secure and privacy-friendly internet connection discovery in wireless networks
US10305864B2 (en) 2016-01-25 2019-05-28 Cisco Technology, Inc. Method and system for interest encryption in a content centric network
US10043016B2 (en) 2016-02-29 2018-08-07 Cisco Technology, Inc. Method and system for name encryption agreement in a content centric network
US10742596B2 (en) 2016-03-04 2020-08-11 Cisco Technology, Inc. Method and system for reducing a collision probability of hash-based names using a publisher identifier
US10038633B2 (en) 2016-03-04 2018-07-31 Cisco Technology, Inc. Protocol to query for historical network information in a content centric network
US10051071B2 (en) 2016-03-04 2018-08-14 Cisco Technology, Inc. Method and system for collecting historical network information in a content centric network
US10003507B2 (en) 2016-03-04 2018-06-19 Cisco Technology, Inc. Transport session state protocol
US9832116B2 (en) 2016-03-14 2017-11-28 Cisco Technology, Inc. Adjusting entries in a forwarding information base in a content centric network
US10212196B2 (en) 2016-03-16 2019-02-19 Cisco Technology, Inc. Interface discovery and authentication in a name-based network
US11436656B2 (en) 2016-03-18 2022-09-06 Palo Alto Research Center Incorporated System and method for a real-time egocentric collaborative filter on large datasets
US10067948B2 (en) 2016-03-18 2018-09-04 Cisco Technology, Inc. Data deduping in content centric networking manifests
US10091330B2 (en) 2016-03-23 2018-10-02 Cisco Technology, Inc. Interest scheduling by an information and data framework in a content centric network
US10033639B2 (en) 2016-03-25 2018-07-24 Cisco Technology, Inc. System and method for routing packets in a content centric network using anonymous datagrams
US10320760B2 (en) 2016-04-01 2019-06-11 Cisco Technology, Inc. Method and system for mutating and caching content in a content centric network
US9930146B2 (en) 2016-04-04 2018-03-27 Cisco Technology, Inc. System and method for compressing content centric networking messages
US10425503B2 (en) 2016-04-07 2019-09-24 Cisco Technology, Inc. Shared pending interest table in a content centric network
US10027578B2 (en) 2016-04-11 2018-07-17 Cisco Technology, Inc. Method and system for routable prefix queries in a content centric network
US10404450B2 (en) 2016-05-02 2019-09-03 Cisco Technology, Inc. Schematized access control in a content centric network
US10320675B2 (en) 2016-05-04 2019-06-11 Cisco Technology, Inc. System and method for routing packets in a stateless content centric network
US10547589B2 (en) 2016-05-09 2020-01-28 Cisco Technology, Inc. System for implementing a small computer systems interface protocol over a content centric network
US10063414B2 (en) 2016-05-13 2018-08-28 Cisco Technology, Inc. Updating a transport stack in a content centric network
US10084764B2 (en) 2016-05-13 2018-09-25 Cisco Technology, Inc. System for a secure encryption proxy in a content centric network
US10103989B2 (en) 2016-06-13 2018-10-16 Cisco Technology, Inc. Content object return messages in a content centric network
US10305865B2 (en) 2016-06-21 2019-05-28 Cisco Technology, Inc. Permutation-based content encryption with manifests in a content centric network
US10148572B2 (en) 2016-06-27 2018-12-04 Cisco Technology, Inc. Method and system for interest groups in a content centric network
US10009266B2 (en) 2016-07-05 2018-06-26 Cisco Technology, Inc. Method and system for reference counted pending interest tables in a content centric network
US9992097B2 (en) 2016-07-11 2018-06-05 Cisco Technology, Inc. System and method for piggybacking routing information in interests in a content centric network
US10122624B2 (en) 2016-07-25 2018-11-06 Cisco Technology, Inc. System and method for ephemeral entries in a forwarding information base in a content centric network
US10069729B2 (en) 2016-08-08 2018-09-04 Cisco Technology, Inc. System and method for throttling traffic based on a forwarding information base in a content centric network
US10956412B2 (en) 2016-08-09 2021-03-23 Cisco Technology, Inc. Method and system for conjunctive normal form attribute matching in a content centric network
US10033642B2 (en) 2016-09-19 2018-07-24 Cisco Technology, Inc. System and method for making optimal routing decisions based on device-specific parameters in a content centric network
US10212248B2 (en) 2016-10-03 2019-02-19 Cisco Technology, Inc. Cache management on high availability routers in a content centric network
US10447805B2 (en) 2016-10-10 2019-10-15 Cisco Technology, Inc. Distributed consensus in a content centric network
US10135948B2 (en) 2016-10-31 2018-11-20 Cisco Technology, Inc. System and method for process migration in a content centric network
US10243851B2 (en) 2016-11-21 2019-03-26 Cisco Technology, Inc. System and method for forwarder connection information in a content centric network
US12026381B2 (en) * 2018-10-26 2024-07-02 Pure Storage, Inc. Preserving identities and policies across replication

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61190638A (ja) 1985-02-20 1986-08-25 Hitachi Ltd 仮想計算機のフアイル制御方式
US6085238A (en) * 1996-04-23 2000-07-04 Matsushita Electric Works, Ltd. Virtual LAN system
US6101180A (en) * 1996-11-12 2000-08-08 Starguide Digital Networks, Inc. High bandwidth broadcast system having localized multicast access to broadcast content
US6570875B1 (en) * 1998-10-13 2003-05-27 Intel Corporation Automatic filtering and creation of virtual LANs among a plurality of switch ports
JP2001297026A (ja) 2000-04-11 2001-10-26 Hitachi Ltd 複数のデータベースマネージメントシステムを有する計算機システム
JP4087072B2 (ja) 2001-01-25 2008-05-14 株式会社日立製作所 ストレージシステム及び仮想プライベートボリューム制御方法
US7039827B2 (en) * 2001-02-13 2006-05-02 Network Appliance, Inc. Failover processing in a storage system
US7133405B2 (en) * 2001-08-30 2006-11-07 International Business Machines Corporation IP datagram over multiple queue pairs
US7171434B2 (en) 2001-09-07 2007-01-30 Network Appliance, Inc. Detecting unavailability of primary central processing element, each backup central processing element associated with a group of virtual logic units and quiescing I/O operations of the primary central processing element in a storage virtualization system
US6877011B2 (en) 2001-10-10 2005-04-05 Sun Microsystems, Inc. System and method for host based storage virtualization
US7548975B2 (en) * 2002-01-09 2009-06-16 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network through a virtual enclosure
US7143196B2 (en) 2002-05-06 2006-11-28 Silverstorm Technologies, Inc System and method for span port configuration
JP4100968B2 (ja) 2002-06-06 2008-06-11 株式会社日立製作所 データマッピング管理装置
US7627693B2 (en) 2002-06-11 2009-12-01 Pandya Ashish A IP storage processor and engine therefor using RDMA
US7743205B2 (en) 2002-12-17 2010-06-22 Quantum Corporation Apparatus and method for virtualizing data storage media, such as for use in a data storage library providing resource virtualization
US20050114464A1 (en) * 2003-10-27 2005-05-26 Shai Amir Virtualization switch and method for performing virtualization in the data-path

Also Published As

Publication number Publication date
DE602004019394D1 (de) 2009-03-26
US7206860B2 (en) 2007-04-17
EP1596536A1 (en) 2005-11-16
JP2005323245A (ja) 2005-11-17
US20050267986A1 (en) 2005-12-01
EP1596536B1 (en) 2009-02-11

Similar Documents

Publication Publication Date Title
JP4230410B2 (ja) 仮想ストレージの通信品質制御装置
US12010020B2 (en) System and method for storing data using software defined networks
JP4349395B2 (ja) 統合サービス管理システム
US7693980B2 (en) Integrated service management system
US7515589B2 (en) Method and apparatus for providing network virtualization
US7340167B2 (en) Fibre channel transparent switch for mixed switch fabrics
US8560631B2 (en) Storage system
US7783788B1 (en) Virtual input/output server
US20070147267A1 (en) Obtaining multiple port addresses by a fibre channel switch from a network fabric
US6785715B2 (en) Storage subsystem
US7907626B2 (en) Method and system to allocate exchange identifications for Fibre Channel N-Port aggregation
WO2011087085A1 (ja) 計算機、ネットワーク接続切替え方法およびプログラム
JP2012227651A (ja) ネットワークシステム及びフレーム通信方法
WO2020036162A1 (ja) 負荷分散システム及び負荷分散方法
US20190268441A1 (en) Automatic zoning of virtual local area networks in a fibre channel fabric
US10374980B1 (en) Hard zoning of virtual local area networks in a fibre channel fabric
WO2020162185A1 (ja) 負荷分散システム及び負荷分散方法
KR20220023676A (ko) 데이터 센터

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081203

R151 Written notification of patent or utility model registration

Ref document number: 4230410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term