JP4620776B2 - ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法およびシステム - Google Patents

ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法およびシステム Download PDF

Info

Publication number
JP4620776B2
JP4620776B2 JP2008518769A JP2008518769A JP4620776B2 JP 4620776 B2 JP4620776 B2 JP 4620776B2 JP 2008518769 A JP2008518769 A JP 2008518769A JP 2008518769 A JP2008518769 A JP 2008518769A JP 4620776 B2 JP4620776 B2 JP 4620776B2
Authority
JP
Japan
Prior art keywords
port
wwpn
network
wwpns
instance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008518769A
Other languages
English (en)
Other versions
JP2009500702A (ja
Inventor
ブライス、ジュニア、フランク
フレージャー、ジャイルズ
スリクリシュナン、ジャヤ
アトルング、インゴ
バンツハフ、ゲルハルト
ミュラー、シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2009500702A publication Critical patent/JP2009500702A/ja
Application granted granted Critical
Publication of JP4620776B2 publication Critical patent/JP4620776B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/50Address allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/25Arrangements specific to fibre transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/618Details of network addresses
    • H04L2101/622Layer-2 addresses, e.g. medium access control [MAC] addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Small-Scale Networks (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Stored Programmes (AREA)

Description

本発明は、ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法、コンピュータ・プログラム製品、およびシステムに関する。
より特定的には、本発明は、接続されたコンピュータまたは装置それぞれが固有の識別子を有するネットワークに関する。一例として、ファイバ・チャンネル接続を伴うネットワークを説明する。
機能的には、ファイバ・チャンネル(FC)は、高性能データ通信のために構成された双方向全二重式2地点間シリアル・データ・チャンネルである。FCは、自身または固有の入出力コマンド・セットを有しないが「SCSI(小型コンピュータ・システム・インターフェース)用のファイバ・チャンネル・プロトコル」であるFCP、およびインターネット・プロトコルであるIPなどの任意の既存の上位プロトコル(ULP)を転送することができる、一般化されたトランスポート機構を提供する。
FCによって使用される最小の分割不可能な情報転送の単位は、フレームと称される。フレームは、データを転送するために使用される。フレームのサイズは、ハードウェアの実施によって左右され、ULPまたはアプリケーション・ソフトウェアには左右されない。このようなフレームは統合されて、シーケンスと称されるメッセージを形成する。あるシーケンスのフレームは、間違った順序で受信されることがある。1つ以上のシーケンスで、基本のトランザクションである交換が成り立つ。フレームは、フロー制御に使用される、データ・ペイロードを有しないリンク制御フレームと、カプセル化されたULPデータなどの、データ・ペイロードを有するデータ・フレームという2つのカテゴリに分類される。
例えば以下の参考文献などの、様々なFC規格が存在する。
1.Information Technology―Fibre Channel Protocol for SCSI,2nd Version(FCP‐2),ANSI/INCITS 350
2.Information Technology―Fibre Channel Framing and Signalling Interface(FC‐FS),ANSI/INCITS 373。
FCについてのさらなる詳細は、例えば、ロバート・W・ケンベル(Robert W.Kembel)の「The Fibre Channel Consultant‐‐‐A Comprehensive Introduction」、1998年に見受けられる。
コンピュータまたは他の装置をFCに接続するには、特定のハードウェアが必要である。FCハードウェアは、通常、コンピュータ・システムのPCI/PCI‐X/PCI‐Expressスロットなどの既存の入出力(I/O)ハードウェアにプラグインされるFCアダプタ・カードの形式で提供される。各FCアダプタは、実際のデータ通信をFCリンク上で行うFCハードウェア・エンティティである、少なくとも1つのNポートを含む。
Nポートは、64ビット値として実施される固有のワールドワイド・ポート・ネーム(WWPN)によって識別される。このWWPNは、通常、FCハードウェアの製造時に割り当てられるが、ポート名が世界中で固有であることが保証できる場合には、他の手段によっても割り当てられることがある。Nポートは、発信元または応答側としての役割を果たすことが可能である。
FC接続は、2地点間リンク、または調停されたループ、またはファブリックと称される切り換えネットワークとして実施されてもよい。
FCファブリックは、複数のNポートが相互通信することができる相互接続ネットワークである。ファブリック上の入場/退場ポートは、Fポートと称され、各Nポートは、1つのFポートに接続しなければならない、ファブリックは、接続された各Nポートが、ファブリックに付属する任意の他のNポートと通信することを許可している。
FCファブリックは、各付属のNポートに対して、ファブリックにとってNポートが固有に知られることになるアドレスである識別子を割り当てる。Nポート識別子は24ビット値であるので、FCファブリックは、1億6700万個のNポートまでをサポートできる。Nポート識別子は、ドメイン(最上位のバイト)と、領域と、ポートとからなり、それぞれは1バイトの長さである。Nポート識別子は、FCフレームのヘッダのソース識別子(S_ID)および宛先識別子(D_ID)フィールドにおいて使用される。
ファブリックにおいて通信を開始するには、最初にファブリック内のNポートとFポートとの間で通信を確立して、その後に宛先Nポートとの通信を確立するという、複数の段階のログイン処理が必要である。第1のステップにおいて、Nポートのファブリック・ログインによって、ファブリック内で使用されるサービスのクラスと、フロー制御情報を含む他の通信パラメータとが設定される。Nポートのファブリック・ログインが完了すると、ネットワークにおける開始側Nポートおよび受信側Nポートは、ノード・ログインと称される第2のログイン処理を通して互いに通信を確立する。いくつかの通信パラメータがやり取りされて、送信が開始する。FCは複数の種類の内部リソースおよび内部処理にシステムを接続するために使用することができるので、処理ログインと称されるさらなるログインが使用される。例えば、処理ログインは、2つの通信Nポート内の処理によってサポートされるULPに関連するパラメータを選択するのに使用される。
今日のFCアダプタのほとんどは、1つのNポートだけを提供する。複数のオペレーティング・システム(OS)インスタンスを実行するコンピュータにおいて、そのようなNポートをこれらのインスタンスでどのように共有するかについて問題が生じる。そのような共有は、特に大規模な仮想化環境にとっては、FCアダプタの数を極力抑え、コストを削減し、アダプタを最大限に利用するのに有利であろう。複数のNポートを提供するFCアダプタを使用する場合でも、この問題は存在する。なぜならば、サポートされる必要がある処理の数は、FCアダプタによって提供されるNポートの数を上回ることが多いからである。
通常、複数のOSインスタンスを実行する機能は、(実行)ハイパーバイザと称されるソフトウェア層によって提供される。ハイパーバイザは、基本となるハードウェアをカプセル化して、基本となるハードウェアまたは互いに異なるハードウェア・アーキテクチャのいずれかのための仮想ハードウェア・インターフェースを提供する。例えば、ハイパーバイザは、コンピュータ・システムのファームウェアの一部であってもよく、オペレーティング・システムの一部であってもよく、またはOSインスタンス内の処理として実行する通常のプログラムであってもよい。ハイパーバイザの作業は、さらなるハードウェア機能によってサポートされることが多く、例えば特別のプロセッサ命令またはファームウェア層によってサポートされる。
ハイパーバイザの中には、コンピュータ・システムの複数の仮想画像を効果的に作成することができ、そのような仮想コンピュータ・システムにおいて実行するOSインスタンスに対して、まるで専ら実際のサーバ上で実行しているような錯覚を与えるほどであるものがある。これらのOSインスタンスは、(アダプタなどの)実際のI/Oエンティティに対してI/Oポートを介してアクセスし、構築ステップにおける仮想コンピュータ・システムに対して定義かつ割り当て可能である。OSインスタンスは、それが実行中の場所である特定の仮想サーバに対して割り当てられたI/Oポートを使用して、I/O動作のみを行う場合がある。
米国特許出願第2003/0200247号および第2004/0025166号は、コンピュータ・システムにおいて、FCアダプタを複数のOSインスタンスで並列的に共有するための方法を記載している。しかしながら、この共有機能は、特定のFCアダプタから送られるか、またはそこに宛てられたすべてのFCに対して同一のNポート識別子が使用されるということによって生じる様々な欠陥を有する。その結果、このNポート識別子は、複数のOSインスタンスを区別するために使用することができず、すべてのフレームが同一の開始側から来るように見え、したがって、応答は、同一のアドレスに送られてしまう。上記特許出願において提案されている解決策は、複数のOSインスタンスと物理的なNポートとの間のFCフレーム・トラフィックを遮断、分析、および修正するというものである。
主な欠点の1つは、この解決策はホスト・ベースである点であり、この取り組みは、FCファブリックに付属するホスト・コンピュータ・システム上で行われる必要があることを意味する。FCはストレージ・エリア・ネットワーク(SAN)のために主に使用される技術であり、SANにおけるアクセス制御のための通常の方法およびそれに付属する記憶装置は、(ファブリックに記憶されたデータベースを使用して)SAN自体によって管理されるので、これにより、SAN管理運営がさらに複雑なものとなる。
他の欠点は、複数のOSインスタンスを実行するコンピュータ・システムの外側から特定のOSインスタンスに対してFCトランザクションを開始することができないという点である。この制約は、遮断される場合にフレーム・ヘッダに加えられる明白な応答識別子を必要とすることによって生じる。特定のOSインスタンスに送られることになるフレームに使用されるべき応答識別子は1つしかない。特定のOSインスタンスを識別できないので、どの入力フレームも、すべてのOSインスタンスに対して転送されなければならない。その後、OSインスタンスは、フレームを受け入れて処理するかどうかを決定する必要がある。
そのような共有アダプタ環境に存在する他の欠陥は、FCPなどのULPに関連する。例えば、SCSI予約が適切に働かず、正確なSCSIステータスおよび検知データ処理が保証できず、SCSIタスク管理機能が適切に働かず、ベンダー固有のSCSIコマンドが全く働かない場合もある。
ファブリックの接続されたストレージ・コントローラに対するSANアクセス制御は、典型的には、ゾーニングおよびSCSI論理ユニット(LUN)マスキングなどの方法によって実施される。ゾーニングおよびLUNマスキングは、制御されたアセットのユーザを識別するために、WWPNに依存する。LUNおよびFCPをULPとして使用して、FCホストは、共通のコントローラを共有するであろう複数の周辺装置をアドレス指定することができる。ゾーニングによって、ファブリックのNポートをゾーンと称されるNポート・グループに分割することができる。あるゾーン内のNポートは、同一ゾーン内の他のNポートと通信できるだけである。
FCアダプタの共有問題を解決する1つのやり方が、米国特許出願第2003/0103504号に開示されており、これは、後にINCITS/ANSI FC フレーミングおよびシグナリング(FC−FS)規則1.6に組み込まれたものであり、ファブリックがどのようにNポート識別子の仮想化を扱う必要があるかについて述べている。この出願は、単一の物理的なNポートについて複数のNポート識別子(NポートID)を取得するための方法を説明する。
Nポート識別子を取得するためには、Nポートは、最初に、「ファブリック・ログイン(Fabric Login)」(FLOGI)拡張リンクサービス(ELS)コマンドを付属のFポートへ送ることによって、ファブリックにログインする。このステップにおいて、さらなるサービス・パラメータが転送されることになり、第1のNポート識別子が割り当てられる。FLOGIが完了した後に、ファブリックは、さらなるNポート識別子を割り当てるための準備を行う。他のNポート識別子を取得するために、Nポートは、ゼロのS_IDを使用して、「ファブリック発見(Fabric Discover)」(FDISC)ELSコマンドを送る。オペレーティング環境の崩壊を避けるために、さらなるFLOGIコマンドの代わりにFDISC ELSを使用する。NポートがFDISC ELSをファブリックへ送ると、以下の機能を提供する。
1.WWPNをファブリックへ転送するための物理的なNポートのための手段を提供する。
2.物理的なNポートのためのさらなるNポート識別子を有効化および割り当てるために、信号をファブリックに提供し、ファブリックと物理的なNポートとの両方が新しいNポート識別子を使用して通常のフレーム受信および送信を開始できるようにする。
3.ファブリック内に保持されたデータベースをファブリックに更新させる信号を提供する。
新しいNポートIDが割り当てられた場合、物理的なNポートは、新しいNポートIDを仮想アダプタと関連付けることができる。仮想アダプタは、OSインスタンスのために新しいNポートIDを使用して、フレームを生成および受信する物理的なNポートの背後のエンティティである。したがって、複数の仮想アダプタを物理的なアダプタおよびそのNポートに関連付けることができ、各仮想アダプタは、固有のNポートIDを使用する。
新しいNポートIDの割り当てには、固有のWWPNが利用可能であることと、これらのWWPNを仮想アダプタに対して自動的かつ持続的に割り当てることとが必要である。持続的(persistent)とは、存続する(surviving)という意味であってもよく、例えば、OSインスタンスのリブート、コンピュータ・システムの電源オフ/電源オンの周期、またはFCアダプタのリブートであってもよい。したがって、複雑なSANを実装した大規模なコンピュータ・センターにおいては、使用中のすべてのWWPNが本当に固有であることを確実にするための非常に複雑なタスクとなりうる。
したがって、本発明の目的は、従来技術よりも改良されたネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法、対応するコンピュータ・システム、およびコンピュータ・プログラム製品を提供することである。
本目的は、添付の請求項1,9,10,および12に記載されるような本発明によって達成される。
本発明は、単一の物理的なFCアダプタに対して、複数のOSインスタンスでこのFCアダプタを共有するための手段として、複数の仮想FCアダプタを提供するために使用できるFCアダプタ仮想化エンティティを提案するものである。各仮想アダプタは、単一のNポートIDを有する。物理的なFCアダプタが複数の物理的なNポートを有する場合には、仮想アダプタの独立したセットをその物理的なアダプタの各Nポートに関連付けることができる。
FCアダプタ仮想化エンティティは、FC仮想アダプタ・ネーム・コントローラ・エンティティから、ハイパーバイザ・システム構成において定義される各I/OポートのためのWWPNを取得する。このエンティティは、ある手法を使用してWWPNを作成してもよいし、またはWWPNのプールから取り出してもよい。物理的なFCアダプタの物理的なNポートのWWPNを、仮想FCアダプタのために使用することが可能である。FC仮想アダプタ・ネーム・コントローラは、提供するWWPNについてワールドワイドな固有性を保証する。
仮想FCアダプタは、OSインスタンスがI/Oポートを起動する場合に作成されてもよいし、その開始のための時間を節約するために、事前に作成されて、I/Oポートが起動されるとI/Oポートに関連付けられてもよい。いずれの場合にも、仮想アダプタは、I/Oポートに関連付けられると、FDISC ELSコマンドを使用してファブリック・ログインを行って対応するFCのNポートIDを取得するために、当該I/OポートのWWPTを使用する。WWPNは、仮想アダプタが当該特定のI/Oポートに結びつけられている限り、仮想アダプタに関連付けられたままである。
I/OポートとそのWWPNとの関連付けは、コンピュータ・システムに結合された記憶装置上に関連テーブルを記憶することによって、持続的にすることができる。このように、コンピュータ・システムの電源オフ/電源オン周期またはハイパーバイザの再開は、WWPNのI/Oポートに対するマッピングに対して影響を及ぼさない。WWPNは、FDISCの発行と、WWPNに対するNポートIDの割り当てとを通して、適切に認証された仮想サーバおよびオペレーティング・システム・インスタンスのみが割り当てられたリソースに到達することができることを保証する。
本発明は、単一の物理的なFCアダプタを複数のOSインスタンスでトランスペアレントに共有することを可能にする。アダプタは、OSインスタンスによって必要とされる任意の特殊なコマンドなしで、自動的に共有される。
本発明のさらなる重要な局面は、ゾーニングおよびLUNマスキングなどの通常のSAN管理運営モデルをサポートすることである。これによって、ホスト・ベースのSAN管理運営ステップおよびそれに伴う上述の問題を回避する。また、これによって、SAN管理運営の複雑性を大幅に削減する。これにより、FCPなどのULPに対する制約を解消する。
本発明の他の局面は、仮想アダプタを使用するFCトランザクションは、コンピュータ・システムの外部から開始されて、特定のOSインスタンスへ向けられることができるということである。
本発明は、例えばアダプタの帯域幅などの性能特徴といった、仮想アダプタの特徴を規定することができる。これにより、各仮想アダプタの性能上の必要性に基づいて、同一の物理的なNポートを共有する仮想アダプタ間でバランスを取ることができる。
本発明およびその利点に関して、添付の図面と共に以下の説明が参照される。
図1は、本発明を使用できるコンピュータ・システム10を示す。共有メモリ11は、1つ以上の中央処理装置(CPU)12に結合される。また、これらのCPU12は、I/Oサブシステム13に結合される。別個の記憶装置14が、CPU12によってアクセスできる。記憶装置14の内容は、持続的であり、電源オフ/電源オンの周期でも存続する。FCアダプタ15は、I/Oサブシステム13を介してCPU12に対してアクセス可能であり、このFCアダプタ15は、FCファブリック16に結合される。FCアダプタ15は、ファブリック16のFポート18に接続される物理的なNポート17を有する。
図2に示すように、コンピュータ・システムは、CPU12上のハイパーバイザ20を実行中であり、CPU12は、同時に実行さる複数のOSインスタンス21を制御する。ハイパーバイザ20は、FCアダプタ15をエミュレートする。OSインスタンス21は、通常のFCアダプタ・インターフェースを認識するが、実際には、FCアダプタ15にアクセスするために、I/O要求をハイパーバイザ20を通して処理させる。OSインスタンス21に対するインターフェースを担うハイパーバイザの要素は、仮想機構インターフェース(VMI)22と称される。VMI22は、ソフトウェアによって使用可能な任意の種類のコンピュータ・インターフェースであってもよい。本発明の好ましい実施形態において、記憶装置14は、ハイパーバイザ20の内部データを記憶するために使用され、OSインスタンス21によって直接アクセス可能ではない。
FCアダプタ仮想化エンティティ(AVE)30は、図3に示すハイパーバイザ20の要素として実施されている。その目的は、FCアダプタ15をアクセスするOSインスタンス21からのI/O要求を遮断することである。典型的には、OSインスタンス21aは、I/O要求を通信部31において作成する。そのような通信部31は、例えば、デバイス・ドライバとして実施されてもよい。
通信部31は、I/Oポート32を使用して、FCアダプタ15と通信する。本発明の目的のためには、I/Oポート32は、要求キューと、応答キューとを備えれば十分である。これらのキューは、AVE30および通信部31によって使用されることになる。通信部は、FCアダプタ15に対する要求を要求キューに置く。要求には、そのような要求に関連付けが可能な、メモリ内に記憶されたデータをAVE30がアクセスすることができるようにするメモリ11のアドレスを含む。このデータは、AVE30によってFCアダプタ15へ転送されることになるFCフレームを備える。ハイパーバイザ20は、FCアダプタ15からの応答を応答キューに置く。応答は、ハイパーバイザ20によってメモリ11に記憶されるデータを通信部がアクセスすることができるようにするメモリ11のアドレスを含む。また、メモリ11内のデータは、FCアダプタ15によって受信されているFCフレームを備える。
I/Oポート32を使用するためには、本発明がなくてもそうであるように、通信部31によって開始される必要がある。起動されたI/Oポート32毎に、AVE30は、特別のデータ構造をメモリ11に作成する。これらのデータ構造は、仮想FCアダプタと称される。ハイパーバイザ20の関連インターフェースには、OSインスタンス21aがFCフレームを送受信することができるようにするインターフェースがある。特殊なデータ構造は、これらのインターフェースの実施のために使用される。
I/Oポートの起動中に、AVE30は、新しいNポート識別子を、I/Oポート32に関連付けられ対応する仮想アダプタに記憶された(上述のような)ファブリック16から取得する。I/Oポート32を使用する通信部31から送られた各フレームについて、AVE30は、このI/Oポート32に関連付けられたNポートIDを、FCフレーム・ヘッダのS_IFフィールド内に置く。したがって、AVE30によってファブリック16から受信され、フレーム・ヘッダのD_IDフィールド内にこのN_ポートIDを有するすべてのFCフレームは、I/Oポート32を介して、対応するOSインスタンス21aへ転送される。
I/Oポート32が、特殊なシステム構築ステップにおいて、ハイパーバイザ20によって生成される。このステップにおいて、AVE30は、仮想アダプタ・ネーム・コントローラ(VA‐NC)33エンティティを使用して、WWPNをI/Oポート32に割り当てる。VA‐NC33は、WWPNのプール34を保持し、そこから、I/Oポート32に対して割り当てられかつプール34から除去される1つのWWPNを取る。I/Oポート32に割り当てられていたWWPNは、仮想アダプタ・ネーム割り当てテーブル(VA‐NAT)と称されるテーブル35内のVA‐NC33によって保持される。VA‐NATは、持続的な記憶装置14に記憶される。システム構築ステップにおいて、I/Oポート32のOSインスタンス21aに対する関連付けも規定される。通信部31が1つのI/Oポートのみを使用することができることに対する制約はない。
I/Oポート32の起動のためのステップを図4に示す。通信部31は、I/Oポート32の起動をトリガする(ステップ40)。(ステップ41)I/Oポート32が既に起動されていれば(ステップ42)、AVE30は、エラーを通信部31に提示する。そうでなければ、FDISC ELSコマンドを使用してファブリックにログインするために、I/Oポート32のWWPNが使用されることになる(ステップ43)。(ステップ44)ログインが成功しなかった場合には、(ステップ45)AVE30は、エラーを通信部に提示する。そうでなければ、AVE30は、I/Oポート32を起動されているとマーク付けし、ファブリック16によって提供されたNポートIDを仮想アダプタに記憶して(ステップ46)、通信部31に返す(ステップ47)。
図5は、I/Oポート32の起動停止のためのステップを示す。通信部31は、I/Oポート32の起動停止をトリガする(ステップ50)。(ステップ51)I/Oポート32が起動されていなければ、AVEはエラーを通信部31に提示する(ステップ52)。そうでなければ、I/Oポート32に関連付けられたNポートIDは、参照2で説明した周知の方法を使用して、ファブリック16からログアウトされることになる(ステップ53)。(ステップ54)ログアウトが成功しなれば、AVE30は、エラーを通信部31に提示する(ステップ55)。そうでなければ、(ステップ56)I/Oポート32は起動停止されているとマーク付けされることになり、WWPNについての関連するNポートID入力は、仮想アダプタから削除されることになる。その後、AVE30は、起動停止の完了に成功する(ステップ57)。
ハイパーバイザ20の構築ステップにおいて生成されているI/Oポートは、システム構成から除去されてもよい。I/Oポートがシステム構成から除去される場合には、対応するWWPNがWWPNのプール34に再び追加され、「ロック」とマーク付けされる。VA‐NC33は、「ロック」とマーク付けされたをWWPNを、新しく作成されたI/Oポート32、すなわち、システム構成に後で追加されるI/Oポートに対する割り当てのためには使用しないことになる。
関連I/Oポート32がハイパーバイザ20のシステム構成から除去される場合のWWPNのロックは、このWWPNがハイパーバイザ20のシステム構成に追加される他のI/Oポート32に対して再び割り当てられることを回避するために行われなければならない。例えば、このWWPNアクセスをある装置(LUN)に与えるLUNマスク設定など、アクセス規則がこのWWPNについてSANにいまだ確立されている場合がそうであろう。しかしながら、そのようにWWPNを新しいI/Oポートと共に再使用することが意図されていることはほとんどなく、所定のOSインスタンスのみがSAN内の所定のリソースを使用することになっている。
したがって、これらのロックされたWWPNを回復するため、およびすべての使用可能なWWPNがロックされているかまたは使用中であるためにI/Oポートに割り当てることができるWWPNがないという状況を防止するために、VA‐NC33は、インターフェースを、WWPNをロック解除することができるハイパーバイザ20に追加する。よって、例えば、システム管理者は、意図しないアクセス権がないことが検証されたWWPNをロック解除することができ、したがって、このWWPNを、任意のオペレーティング・システム・インスタンス21aに割り当てることが可能なI/Oポート32に安全に再割り当てすることができる。
本発明の一実施形態において、ハイパーバイザ20のシステム構成から除去されているI/Oポートに関連付けられたWWPNは、メモリ11内に(または持続的な記憶装置14上に)記憶された最長時間未使用リスト36に追加される。
この最長時間未使用リスト36は、先入れ先出しリストとして実施される。このリスト36の入力は、WWPNを、当該WWPNに対して割り当てられたI/Oポート32の識別子と共に含む。対応のWWPNがまだ最長時間未使用リスト36にあるのに(識別子によって示されるように)同一のI/Oポート32が再び再定義される場合には、同一のWWPNが当該I/Oポートに再び割り当てられることになる。このように、I/Oポート32をハイパーバイザ20のシステム構成から一時的に除去して、I/Oポート32をハイパーバイザ20のシステム構成に再び追加する際に他のWWPNをI/Oポート32に割り当てるという場合のように、SANを再構築する必要はない。
最長時間未使用リスト36の長さは、制限されていてもよく、AV‐NAT35の範囲に入る全ての可能なWWPNがこのテーブルに保持することができるわけではない。WWPNが最長時間未使用リストから外れる場合には、WWPNのプール34に再び追加されて、「ロック」としてまだマーク付けされたままであることになる。最長時間未使用リスト36を先入れ先出しリストとして保持する代わりに、リスト36から入力を除去するための判断には、様々な他の方策が可能である。
最長時間未使用リスト36を使用すれば、ハイパーバイザ20の大規模で動的に変化するシステム構成には、かなり大量のメモリ11の節約となる場合があるが、それは、ロックされたWWPNに関連した仮想アダプタの特別なデータ構成に割り当てられるすべてのメモリが開放可能だからである。そうでなければ、SANの再構築を回避するためには、I/Oポートとその関連仮想アダプタを維持する必要があるだろう。
プール34に記憶されたWWPNは、コンピュータ・システム10に割り当てられ、プール34は、持続的な記憶装置14上に記憶される。WWPNが、すべての他のSANから完全に隔離された構成で使用されるのでワールドワイドに固有である必要がない場合には、VA‐NC33は、WWPNのプールから取り出す代わりに、新しいI/Oポート定義のためにWWPNを生成するための手法を使用することもできる。可能な手法の1つは、I/Oポート32の識別子を組み合わせることになる共通の接頭語を使用することである。
実際にワールドワイドで固有のWWPNを生成するための一手法を使用することもできる。この手法に関して、世界中で固有の接頭語がコンピュータ・システム10に割り当てられ、この接頭語が、例えばI/Oポート32の識別子と組み合わせられることになる。さらに他の実施形態において、物理的なNポートとその関連するWWPNとは、米国特許出願第2004/0025166号に記載されたようなアクセス制御機構を使用して、米国特許出願第2003/0200247号に記載されたような共有モードで使用される。これは、並列的に物理的なNポートを共有する必要のあるOSインスタンス21の数が物理的なNポート上でサポートできる仮想アダプタの数より多い場合には活用できる。他の実施形態において、関連して構成されたWWPNを伴う1つ以上の仮想アダプタは、同様の共有仮想アダプタとして使用できる。
本発明の一実施形態において、VA‐NC33は、WWPNおよびI/Oポートに現在割り当てられているNポートIDをクエリすることができるハイパーバイザ20に対してインターフェースを付加する。これは、SAN管理運営目的で、OSインスタンス21aによって使用できる。
物理的なNポート17からファブリック16への最初のログインは、常にFLOGI ELSコマンドを使用して行われなければならない。一実施形態において、物理的なNポート17に割り当てられたWWPNが、このFLOGI型のログインに使用される。FC‐FS規格(参照1を参照)は、ファブリック16からのFLOGIログインを、Nポート17に関連した仮想アダプタからの他のファブリック16のログインがまだ有効である間に行ったNポート17のログアウトを許可することになるが、Nポート17が再びファブリック16にログインされる場合に問題が生じる場合がある。その理由は、FLOGIで特定されたWWPNは、物理的なNポートの持続的なポート名として使用され、この物理的なNポートのどのログインもまだ有効である限り、このNポートに関連付けられ、かつ、ファブリック16によって保持されたままとなるからである。特定的には、FLOGIログインが、FDISCログインがまだ有効である間に、対応するログアウトによって生じて、FLOGIログインのために以前に使用されたWWPNがファブリック16への他のログインのために使用される場合には、ファブリック16は、同一のWWPNを2回見る場合があるので、SAN管理アプリケーションに対する妨害を引き起こすことになる場合がある。
したがって、本発明の一実施形態において、FLOGI型のログイン用に使用されるNポート17のWWPNのためにファブリック16によって割り当てられたNポートIDは、この物理的なNポートについての追加のNポートIDがまだファブリック16にログインされている場合、すなわち、これらのNポートIDに関連したI/Oポート32がまだ有効である場合には、このNポートIDに関連したI/Oポート32の起動停止中にはログアウトされない(ステップ54参照)。
あるNポートがファブリック16から接続解除となる場合がある。これが生じる場合には、Nポートを使用する不完全な交換についてのすべてのFCフレームは無効化されて、すべてのNポートIDは、ファブリック16から自動的にログアウトされる。その種類によっては、応答不要のステータスを示すFCフレームをAVE30に送るか、またはAVE30にとってアクセス可能なFCアダプタ15のレジスタに特別な値を記憶させることによって、接続解除がFCアダプタ15によって示される。AVE30は、影響を受けたOSインスタンス21bに対して、その仮想アダプタがログアウトされたことを通知する。接続解除の結果ログアウトされた各NポートIDについては、影響を受けた通信部31は、影響を受けたI/Oポート32を起動解除して、再び起動する必要がある。
Nポートの接続解除の影響が、当該接続解除の影響を受けたOSインスタンス21bにおけるアプリケーション・プログラムに対して及ぶことを最小限にするために、I/Oポート32は、再起動を優先させることができる。簡易な優先化による解決策の1つは、メモリ11内にある、以前に有効だったI/Oポートの優先リストを使用する。I/Oポート32の起動毎に、AVE30は、この優先リストを検索して、優先リスト内に当該I/Oポートを見つけた場合(すなわち、起動が接続解除されたI/Oポートの再起動である場合)、起動は即座に継続する。そうでなければ、AVE30は、以前に有効だったI/Oポートが再起動可能になる前にNポートIDを使ってしまわないように、起動を継続する前に一定時間待機する。優先リスト内のエントリは、I/Oポートの起動中に見つかると削除され、ある有効期限の経過後に除去される。
さらに、仮想アダプタについての特徴を定義することができる。例えば、仮想アダプタを使用して、各OSインスタンス21aの性能要件に基づいて、同一の物理的なNポート17を共有する仮想アダプタ間のバランスを取るために、ある性能特徴を定義することができる。例えば、仮想アダプタについての帯域幅を増加させるために、「高帯域幅」によって、AVE30によるより大きなメモリ・バッファの使用を定義できるだろう。仮想アダプタについての帯域幅を減少させるために、「低帯域幅」によって、AVE30による小さなメモリ・バッファの使用を定義できるだろう。
別個の記憶装置14は、コンピュータ・システム10に直接付属している必要はない。この記憶装置14に対する、例えばネットワーク・サービスを介した間接的なアクセスを提供する他のコンピュータ・システムに付属することもできる。
本発明は、好ましくは、ソフトウェア、機械が読み取り可能な命令のシーケンスとして実施され、特に、1つ以上のハードウェア・マシン上で実行するいわゆるファームウェアであって、これらハードウェア・マシンを制御監視して、ハードウェアに対する好適に定義されたインターフェースを実施するのに使用されることが多い、他のプログラム(特にオペレーティング・システム)が使用できるファームウェアとして実施される。特定の実施形態を図示および説明してきたが、本発明の様々な修正が当業者にとっては明らかだろう。
本発明を実施可能なコンピュータ・システムのブロック図である。 複数のOSインスタンスを制御するハイパーバイザによるFCアダプタのカプセル化のブロック図である。 本発明に係るハイパーバイザの実施形態のブロック図である。 本発明に係る方法の一実施形態の例示的なフローチャートである。 本発明に係る方法の一実施形態の例示的なフローチャートである。

Claims (15)

  1. ネットワーク(16)に付属する物理的なポート(17)の仮想インスタンスを管理するための方法であり、各インスタンス(32)には、仮想アダプタ・ネーム・コントローラ(33)コンポーネントによってワールドワイド・ポート・ネーム(WWPN)が割り当てられ、前記ネットワークは、各インスタンス(32)に対してポート識別子を割り当て、それによって、前記ネットワークは、前記ネットワークにログイン(43)される新ポート識別子に対して個別の論理的接続を提供し、前記新ポート識別子が前記ネットワークからログオフされる(53)と、前記新ポート識別子の前記個別の論理的接続の経路を除去する方法であって、
    前記方法は、
    ‐WWPNのプール(34)から前記WWPNを割り当て、前記WWPNをWWPNの前記プールから除去するステップと、
    ‐前記新ポート識別子が前記ネットワークにログインされること(43)に応答して、前記ネットワークを使用してアクセスされない持続性のある記憶装置(14)上のWWPNのテーブル(35)内に前記WWPNを記憶するステップ(46)と、
    ‐前記新ポート識別子が前記ネットワークからログオフされると(53)、前記WWPNを前記テーブルから削除して(56)、前記WWPNをWWPNの前記プールへ返すステップと
    ‐前記新ポート識別子が前記ネットワークによって割り当てられた場合に、物理的なポートの仮想インスタンス(32)を起動するステップ(46)と、
    ‐前記新ポート識別子が前記ネットワークによって除去されると、前記仮想インスタンスを停止して(56)、前記新識別子の前記WWPNを、前記仮想インスタンスの固有の識別子と共に、前記メモリ(11)内の最長時間未使用(LRU)リスト(36)内に記憶するステップと、
    ‐前記仮想インスタンスを再び起動するように要求されると(50)、前記LRUリスト内の前記仮想インスタンスの前記固有識別子を検索するステップと、
    ‐前記仮想インスタンスの前記固有識別子が前記リスト内で見つかる場合には、前記WWPNを、WWPNの前記プールからのWWPNの代わりに使用するステップと
    を有することを特徴とする方法。
  2. WWPNの前記プールは、固有番号を生成するための方法を使用して生成される、請求項1に記載の方法。
  3. 固有番号を生成するための前記方法は、WWPNの前記生成のためのワールドワイドな固有数値を使用する、請求項2に記載の方法。
  4. 前記物理的なネットワーク・ポートの前記WWPNは、WWPNの前記プール内にある、請求項1から請求項3のいずれか1項に記載の方法。
  5. ‐特徴のセットを定義するステップと、
    ‐特徴の前記セットから特徴を選択して、それを前記WWPNに割り当てるステップと、
    ‐前記選択された特徴に基づいて、リソースのセットを選択するステップと、
    ‐リソースの前記セットを前記WWPNに割り当てるステップと
    をさらに含む、請求項1から請求項4のいずれか1項に記載の方法。
  6. ‐ネットワーク・エラーの場合に、前記仮想インスタンスが停止されると、前記仮想インスタンスの前記固有識別子を優先リストに加えるステップと、
    ‐仮想インスタンスを起動するように要求されると、前記優先リスト内を検索するステップと、
    ‐仮想インスタンスの前記固有識別子が前記優先リスト内で見つからない場合には、任意の時間の間、待機するステップと
    をさらに含む、請求項1に記載の方法。
  7. プログラムがコンピュータ上で実行される場合に先の請求項1から請求項6のいずれか1項に記載の方法を実施するためのソフトウェア・コード部分を備える、デジタル・コンピュータ・システム(10)の前記内部メモリ(11)に直接ロード可能なコンピュータ・プログラム。
  8. コンピュータ(10)によって実行可能なプログラム命令を具体化する、コンピュータが使用可能な媒体を備え、前記具体化されたプログラム命令が、先の請求項1から請求項6のいずれか1項に記載の方法を実施するための手段を備える、コンピュータ・プログラム製品。
  9. 前記コンピュータ・プログラムは、ハイパーバイザ(20)である、先の請求項7および請求項8のいずれかに記載のコンピュータ・プログラム。
  10. サーバ・コンピュータを備えるコンピュータ・システム(10)であって、前記サーバ・コンピュータは、ネットワーク・アダプタ(15)を備え、数多くのオペレーティング・システム・インスタンス(21)を提供するハイパーバイザ(20)コンポーネントを実行し、前記システムは、先の請求項1から請求項6のいずれか1項に記載の方法を実施するように適合された手段を備える、コンピュータ・システム。
  11. 前記オペレーティング・システム・インスタンスは、コンピュータ・システム・インターフェース(22)に対して前記ハイパーバイザ(20)を通じてアクセスし、前記ハイパーバイザは、アダプタ仮想化エンジン(30)を備え、前記アダプタ仮想化エンジンは、先の請求項1から請求項6のいずれか1項に記載の方法を実施するための手段を備え、WWPNの前記プールおよび前記テーブルの前記管理は、前記ハイパーバイザの仮想アダプタ・ネーム・コントローラ(33)コンポーネントによって制御される、請求項10に記載のコンピュータ・システム。
  12. WWPNの前記プールおよびWWPNの前記テーブルは、前記オペレーティング・システム・インスタンスのいずれかによってクエリ可能である、請求項11に記載のコンピュータ・システム。
  13. WWPN(34)の前記プール内の前記WWPNは、「ロック」されていた後に、手動または自動的手段によって「ロック解除」としてマーク付け可能である、請求項12に記載のコンピュータ・システム。
  14. WWPNの前記プールにおける前記WWPNは、前記オペレーティング・システム・インスタンスによって割り当てることができない、請求項11から請求項13のいずれか1項に記載のコンピュータ・システム。
  15. 前記記憶装置は、前記オペレーティング・システム・インスタンスによってアクセスすることができない、請求項11から請求項14のいずれか1項に記載のコンピュータ・システム。
JP2008518769A 2005-07-01 2006-03-16 ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法およびシステム Expired - Fee Related JP4620776B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05105995 2005-07-01
PCT/EP2006/060782 WO2007003448A1 (en) 2005-07-01 2006-03-16 Method and system for managing virtual instances of a physical port attached to a network

Publications (2)

Publication Number Publication Date
JP2009500702A JP2009500702A (ja) 2009-01-08
JP4620776B2 true JP4620776B2 (ja) 2011-01-26

Family

ID=36623290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008518769A Expired - Fee Related JP4620776B2 (ja) 2005-07-01 2006-03-16 ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法およびシステム

Country Status (10)

Country Link
US (2) US7739415B2 (ja)
EP (1) EP1900178B1 (ja)
JP (1) JP4620776B2 (ja)
KR (1) KR101054698B1 (ja)
CN (1) CN101213818B (ja)
AT (1) ATE430436T1 (ja)
AU (1) AU2006265303B2 (ja)
CA (1) CA2611697A1 (ja)
DE (1) DE602006006574D1 (ja)
WO (1) WO2007003448A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672226B2 (en) * 2002-09-09 2010-03-02 Xiotech Corporation Method, apparatus and program storage device for verifying existence of a redundant fibre channel path
US7702757B2 (en) 2004-04-07 2010-04-20 Xiotech Corporation Method, apparatus and program storage device for providing control to a networked storage architecture
JP4883979B2 (ja) * 2005-10-11 2012-02-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および通信制御方法
US7836332B2 (en) * 2007-07-18 2010-11-16 Hitachi, Ltd. Method and apparatus for managing virtual ports on storage systems
JP5125659B2 (ja) * 2008-03-24 2013-01-23 富士通株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US8341308B2 (en) 2008-06-09 2012-12-25 International Business Machines Corporation Method and apparatus for a fibre channel N-port ID virtualization protocol
US8301848B2 (en) 2008-06-09 2012-10-30 International Business Machines Corporation Virtualizing storage for WPAR clients using node port ID virtualization
US8281305B2 (en) * 2008-10-17 2012-10-02 Hitachi, Ltd. Method and apparatus for resource provisioning
US8055736B2 (en) * 2008-11-03 2011-11-08 International Business Machines Corporation Maintaining storage area network (‘SAN’) access rights during migration of operating systems
US8140812B2 (en) * 2009-07-01 2012-03-20 International Business Machines Corporation Method and apparatus for two-phase storage-aware placement of virtual machines
CN102148735B (zh) * 2010-02-10 2013-07-10 成都市华为赛门铁克科技有限公司 虚拟链路建立的方法、通信网元及以太网网络系统
CN102263807A (zh) 2010-05-31 2011-11-30 国际商业机器公司 在存储区域网络保持通信路径畅通的方法和存储区域网络
CN103379151B (zh) * 2012-04-19 2016-11-23 华为技术有限公司 一种流量交换方法、装置及系统
JP6047248B2 (ja) 2013-02-18 2016-12-21 華為技術有限公司Huawei Technologies Co.,Ltd. ファイバチャネルにおけるノードポート仮想化を実施する方法、装置、及びシステム
US9454394B2 (en) * 2013-11-22 2016-09-27 Red Hat Israel, Ltd. Hypervisor dynamically assigned input/output resources for virtual devices
US9792437B2 (en) 2014-04-22 2017-10-17 Dell Products, Lp System and method for securing embedded controller communications by providing a security handshake
US9418223B2 (en) 2014-04-22 2016-08-16 Dell Products, Lp System and method for securing embedded controller communications by verifying host system management mode execution
US9658897B2 (en) 2014-06-23 2017-05-23 International Business Machines Corporation Flexible deployment and migration of virtual machines
US9473353B2 (en) 2014-06-23 2016-10-18 International Business Machines Corporation Cluster reconfiguration management
CN105337750B (zh) * 2014-07-22 2018-12-14 华为技术有限公司 光纤通道存储区域网络配置方法和装置
US9672070B2 (en) 2014-12-17 2017-06-06 International Business Machines Corporation Efficient validation of resource access consistency for a set of virtual devices
US9942132B2 (en) 2015-08-18 2018-04-10 International Business Machines Corporation Assigning communication paths among computing devices utilizing a multi-path communication protocol
EP3405903A4 (en) * 2016-01-19 2019-07-10 Regwez, Inc. MASKING RESTRICTIVE ACCESS CONTROL SYSTEM
CN107818035B (zh) * 2017-10-27 2020-09-22 苏州浪潮智能科技有限公司 一种基于多控mcs系统的npiv真实性验证方法
US11204792B2 (en) 2018-04-04 2021-12-21 International Business Machines Corporation Attaching storage resources to virtual machine instances
CN113110882B (zh) * 2021-04-15 2023-02-28 山东英信计算机技术有限公司 一种fc驱动中管理fc端口运行的方法、装置和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030768A1 (en) * 1999-05-25 2004-02-12 Suban Krishnamoorthy Unified system and method for downloading code to heterogeneous devices in distributed storage area networks
US7103648B1 (en) * 2001-07-31 2006-09-05 Gateway Inc. Method and system for assigning an IP address to a host based on features of the host
US7512133B2 (en) * 2001-12-03 2009-03-31 International Business Machines Corporation Method and apparatus for obtaining multiple port addresses by a fibre channel from a network fabric
US7440415B2 (en) * 2003-05-30 2008-10-21 Ixia Virtual network addresses
JP4278444B2 (ja) * 2003-06-17 2009-06-17 株式会社日立製作所 仮想ポート名の管理装置
JP4580195B2 (ja) * 2004-08-12 2010-11-10 株式会社日立製作所 ファイバーチャネルスイッチを含むコンピュータシステムの管理方法、管理プログラム及びそのコンピュータシステム
JP4733399B2 (ja) 2005-01-28 2011-07-27 株式会社日立製作所 計算機システム、計算機、ストレージ装置及び管理端末

Also Published As

Publication number Publication date
KR101054698B1 (ko) 2011-08-08
CN101213818B (zh) 2011-09-14
KR20080037647A (ko) 2008-04-30
EP1900178A1 (en) 2008-03-19
ATE430436T1 (de) 2009-05-15
WO2007003448A1 (en) 2007-01-11
AU2006265303A1 (en) 2007-01-11
AU2006265303B2 (en) 2010-11-11
US7739415B2 (en) 2010-06-15
US20080181232A1 (en) 2008-07-31
CN101213818A (zh) 2008-07-02
CA2611697A1 (en) 2007-01-11
US7757007B2 (en) 2010-07-13
US20070005820A1 (en) 2007-01-04
JP2009500702A (ja) 2009-01-08
EP1900178B1 (en) 2009-04-29
DE602006006574D1 (de) 2009-06-10

Similar Documents

Publication Publication Date Title
JP4620776B2 (ja) ネットワークに付属する物理的なポートの仮想インスタンスを管理するための方法およびシステム
US11372802B2 (en) Virtual RDMA switching for containerized applications
US10440152B2 (en) System and method of initiating virtual machine configuration on a subordinate node from a privileged node in a high-performance computing environment
US7849265B2 (en) Avoiding use of an inter-unit network in a storage system having multiple storage control units
US7921431B2 (en) N-port virtualization driver-based application programming interface and split driver implementation
US8032730B2 (en) Method and apparatus for I/O priority control in storage systems
US8429446B2 (en) Method and apparatus for managing virtual ports on storage systems
EP2112589B1 (en) Method and apparatus for HBA migration
TWI245510B (en) Secure system and method for san management in a non-trusted server environment
US20030005039A1 (en) End node partitioning using local identifiers
JP2010282447A (ja) 仮想計算機システム、そのアクセス制御方法及び通信装置
US8762485B2 (en) Information system having computer and storage apparatus coupled to network
WO2017142786A1 (en) Methods for managing array luns in a storage network with a multi-path configuration and devices thereof
Srikrishnan et al. Sharing FCP adapters through virtualization
JP2014146352A (ja) 計算機システム及びその管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090123

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100608

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees