JPWO2006038286A1 - システム環境設定支援プログラム、システム環境設定支援方法、およびシステム環境設定支援装置 - Google Patents

システム環境設定支援プログラム、システム環境設定支援方法、およびシステム環境設定支援装置 Download PDF

Info

Publication number
JPWO2006038286A1
JPWO2006038286A1 JP2006539110A JP2006539110A JPWO2006038286A1 JP WO2006038286 A1 JPWO2006038286 A1 JP WO2006038286A1 JP 2006539110 A JP2006539110 A JP 2006539110A JP 2006539110 A JP2006539110 A JP 2006539110A JP WO2006038286 A1 JPWO2006038286 A1 JP WO2006038286A1
Authority
JP
Japan
Prior art keywords
logical volume
system environment
server
setting support
environment setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006539110A
Other languages
English (en)
Inventor
田中 秀幸
秀幸 田中
幸子 寺井
幸子 寺井
岩谷 沢男
沢男 岩谷
文一 藤本
文一 藤本
慎司 濱口
慎司 濱口
英明 長谷川
英明 長谷川
範晶 松▲崎▼
範晶 松▲崎▼
裕樹 大橋
裕樹 大橋
敬子 碓永
敬子 碓永
壮一 竹内
壮一 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Peripherals Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Peripherals Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Peripherals Ltd filed Critical Fujitsu Ltd
Publication of JPWO2006038286A1 publication Critical patent/JPWO2006038286A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

ディスクアレイに対する信頼性と負荷とを考慮した設定を容易に行うことができるようにする。論理ボリューム要件取得手段(1a)により、論理ボリューム要件(5)が取得される。すると、適用技術決定手段(1b)により、論理ボリューム要件に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術が決定される。そして、論理ボリューム設定手段(1c)により、サーバ(3)およびディスクアレイ(4)に対し、決定された適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および適用技術に基づくサーバ(3)から論理ボリュームへのアクセス環境の設定指示が出力される。

Description

本発明はネットワークシステムの環境設定を支援するためのシステム環境設定支援プログラム、システム環境設定支援方法、およびシステム環境設定支援装置に関し、特にディスクアレイシステムを含むネットワークシステムの環境設定を行うためのシステム環境設定支援プログラム、システム環境設定支援方法、およびシステム環境設定支援装置に関する。
企業内の業務処理のコンピュータ化が進むにつれ、企業内で取り扱うデータ量が増大している。また、複数の業務で共通のデータを使用する場合もあり、データ管理が複雑化している。そこで、最近では、ネットワーク上の所定の場所でデータを一元管理することが行われている。このようなデータの一元管理技術として、たとえばSAN(Storage Area Network)がある。SANでは、大容量のデータを格納するためのストレージデバイスが用意され、サーバとストレージデバイス間がファイバーチャネルによって接続される。
ところで、データをストレージデバイスで一元管理した場合、そのストレージデバイスに対するアクセス速度が、システム全体の処理効率に大きな影響を及ぼす。また、データが格納されたストレージデバイスで障害が発生し、データが取り出せなくなると、全体の業務が停止してしまう。
そこで、SANによってデータを一元管理する場合、ストレージデバイスへのアクセスの高速化、および信頼性向上の技術が併用される。アクセスの高速化、および信頼性向上の技術としては、RAID(Redundant Array of Independent Disks)がある。RAID技術を利用可能なストレージデバイスは、ディスクアレイと呼ばれる。
RAIDでは、複数ドライブへの分散書き込み、複数ドライブからの分散読み出しを行うストライピング(striping)、同一データを複数ドライブに書き込むミラーリング(mirroring)等の様々な技術が組み合わせて利用される。
ただし、RAIDは、様々な技術を組み合わせて複数のドライブを制御するため、動作環境の設定が複雑となる。そこで、RAIDコントローラの自動コンフィギュレーションを行う技術が考えられている(たとえば、特許文献1参照)。
また、ディスクアレイサブシステムの構成を視覚的に表現することで、構成変更操作を容易にする技術も考えられている(たとえば、特許文献2参照)。
特開2000−20245号公報 特開平9−292954号公報
しかし、SAN接続のディスクアレイの場合、適切な設定を行うには、SANやRAIDを含むネットワーク全体の専門知識が必要であり、知識の不足しているユーザには設定が出来なかった。
具体的には、SAN接続のディスクアレイの論理ボリュームに対してサーバからアクセスできるようするには、ディスクアレイ、FC(ファイバーチャネル)スイッチ、サーバの各装置に対して多数の設定操作が必要である。これらの互いに関連する装置に対して、互いに整合性を保った設定を行うには高度な知識が必要であり、その知識習得のためのコストも大きい。また、設定が複雑となるため、ミスを誘発しやすい状況にある。さらに、信頼性を保つには、冗長性の確保や性能を考慮した上で構成を設計する必要があり、多大なスキルが要求される。
これらのことが、ストレージシステム構成の変更や増設を容易にできない要因となっている。すなわち、以下のような課題がある。
・ストレージシステム構成を容易に設計できない。
冗長性や性能を考慮した構成を設計するためには、ディスクアレイの仕様やSANに関する豊富な知識が必要であるため、容易に設計できない。
・設計した構成を実機に設定する手順と操作が複雑である。
ディスクアレイ、FCスイッチ、サーバの各装置に対して多数の設定操作が必要であるためミスを誘発しやすく、また設定ミスを検出する機構も十分整備されていない。
本発明はこのような点に鑑みてなされたものであり、ディスクアレイに対する信頼性と負荷とを考慮した設定を容易に行うことができるシステム環境設定支援プログラム、およびシステム環境設定支援方法、およびシステム環境設定支援装置を提供することを目的とする。
本発明では上記課題を解決するために、図1に示すような、システム環境設定支援プログラムが提供される。システム環境設定支援プログラムは、サーバ3からディスクアレイ4へのアクセス環境の設定を支援するためのものである。システム環境設定支援プログラムは、コンピュータ1に、図1に示す各要素に以下の処理を実行させることができる。
論理ボリューム要件取得手段1aは、必要とされる信頼性の度合い、負荷の度合い、および必要なデータ量が指定された論理ボリューム要件5を取得する。適用技術決定手段1bは、論理ボリューム要件に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術を決定する。論理ボリューム設定手段1cは、サーバ3およびディスクアレイ4に対し、決定された適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および適用技術に基づくサーバ3から論理ボリュームへのアクセス環境の設定指示を出力する。
このようなシステム環境設定支援プログラムを実行するコンピュータ1によれば、論理ボリューム要件取得手段1aにより、論理ボリューム要件5が取得される。すると、適用技術決定手段1bにより、論理ボリューム要件5に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術が決定される。そして、論理ボリューム設定手段1cにより、サーバ3およびディスクアレイ4に対し、決定された適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および適用技術に基づくサーバ3から論理ボリュームへのアクセス環境の設定指示が出力される。
本発明では、必要とされる信頼性の度合い、負荷の度合い、および必要なデータ量に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術を決定し、論理ボリュームの生成指示およびアクセス環境の設定指示を行うようにした。これにより、ユーザは、必要とされる信頼性の度合い、負荷の度合い、および必要なデータ量を指定するだけで適切な論理ボリュームの生成およびその論理ボリュームへのアクセス環境を構築することができる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
実施の形態に適用される発明の概念図である。 本実施の形態のシステム構成を示す図である。 管理サーバのハードウェア構成例を示す図である。 サーバのハードウェア構成例を示す図である。 FCスイッチとディスクアレイとのハードウェア構成を示す図である。 管理サーバが有する環境設定機能を示すブロック図である。 サーバの機能を示すブロック図である。 サーバとディスクドライブとの接続関係を示す図である。 物理結線情報のデータ構造例を示す図である。 RAID判定テーブルのデータ構造例を示す図である。 ドライブ決定テーブルのデータ構造例を示す図である。 論理ボリューム作成処理の手順を示すフローチャートである。 自動構成決定処理の手順を示すフローチャートである。 RAIDグループ構成情報のデータ構造例を示す図である。 RAIDグループ構成情報で示されるグループ分けを示す図である。 論理ボリューム構成情報のデータ構造例を示す図である。 RAIDグループと論理ボリュームとの対応付けを示す図である。 論理ボリューム要件の入力画面の例を示す図である。 結果表示画面の例を示す図である。 論理ボリューム増設設定処理の処理手順を示す図である。 論理ボリューム増設設定処理の概念図である。 アフィニティグループ情報のデータ構造例を示す図である。 マルチパス構成データのデータ構造例を示す図である。 ミラーボリューム構成データのデータ構造例を示す図である。
以下、本発明の実施の形態を図面を参照して説明する。
まず、実施の形態に適用される発明の概要について説明し、その後、実施の形態の具体的な内容を説明する。
図1は、実施の形態に適用される発明の概念図である。本発明が提供されたコンピュータ1は、ネットワーク2を介して接続されたサーバ3からディスクアレイ4へのアクセス環境の設定を支援するため、論理ボリューム要件取得手段1a、適用技術決定手段1b、および論理ボリューム設定手段1cを有している。
論理ボリューム要件取得手段1aは、必要とされる信頼性の度合い、負荷の度合い(高速のデータアクセスの必要性)、および必要なデータ量が指定された論理ボリューム要件5を取得する。論理ボリューム要件5は、たとえば、ユーザからの操作入力によって設定される。
信頼性の度合いとしては、たとえば、電子商取引の決済内容に関するデータベースとして論理ボリュームを使用する場合、高い信頼性が必要である。逆に、社員向け電子掲示板のデータのように、データが消失しても業務への影響が少ないデータを格納するための論理ボリュームは、信頼性が低くてもよい。
また、負荷の度合いとしては、たとえば、検索エンジンによる検索対象となる情報を格納する論理ボリュームは、論理ボリュームへのアクセス速度が処理速度に与える影響が大きいため、負荷の度合いを高く設定する。
適用技術決定手段1bは、論理ボリューム要件に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術を決定する。たとえば、高い信頼性が必要な場合、ミラーリング技術のような信頼性向上技術の適用が決定される。また、負荷の度合いが高い場合、ストライピングのような処理速度向上技術の適用が決定される。
論理ボリューム設定手段1cは、サーバ3およびディスクアレイ4に対し、決定された適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および適用技術に基づくサーバ3から論理ボリュームへのアクセス環境の設定指示を出力する。
このようなシステム環境設定支援プログラムを実行するコンピュータ1によれば、論理ボリューム要件取得手段1aにより、論理ボリューム要件5が取得される。すると、適用技術決定手段1bにより、論理ボリューム要件5に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術が決定される。そして、論理ボリューム設定手段1cにより、サーバ3およびディスクアレイ4に対し、決定された適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および適用技術に基づくサーバ3から論理ボリュームへのアクセス環境の設定指示が出力される。
これにより、ディスクアレイへの論理ボリュームの構築、および構築した論理ボリュームへのサーバからのアクセス環境の設定が容易となる。その結果、ディスクアレイを用いたデータアクセスの高速化技術や信頼性向上技術について詳しくないユーザであっても、それらの技術を適用したシステムの環境設定を行うことが可能となる。
なお、このようなストレージデバイスへのアクセス環境の自動設定機能は、ストレージプロビジョニング機能と呼ばれる。
ところで、本発明を適用するシステムとしては、たとえばSANが考えられる。また、ディスクアレイを用いたデータアクセスの高速化技術や信頼性向上技術としては、RAIDの技術を利用できる。RAIDを利用可能なディスク装置(ディスクアレイ)に対して、ストレージプロビジョニング機能を適用する場合、ネットワークシステムを管理する管理サーバからの遠隔操作によって、サーバやディスクアレイに対して、論理ボリューム設定処理やリソースプロビジョニング処理を実行させることができる。
管理サーバにおけるディスクアレイの論理ボリュームを自動構成機能では、以下の処理を行う。なお、構築された論理ボリュームは、ストレージプールとしてシステムで利用可能な状態に置かれる。
論理ボリュームを設定する場合、ユーザは、必要な信頼性の度合い、負荷の度合い、および必要なデータ容量を入力するだけでよい。管理サーバは、入力された論理ボリューム要件を満たす論理ボリューム構成を決定し、ディスクアレイに対して、論理ボリュームを自動的に設定する。作成された論理ボリュームは、ストレージプールに属するボリュームとして管理される。
また、管理サーバは、ドメイン、グループの概念を利用し、1アクションでプール内の論理ボリュームをサーバへ割り当てるリソースプロビジョニング機能を有する。
リソースプロビジョニング機能では、まず、サーバドメインによってSANの物理結線の均一性を保証する。具体的には、管理サーバは、以下の処理を行う。
1.サーバドメイン作成する。
2.サーバをサーバドメインに追加する。
3.ストレージドメイン作成する。
4.サーバドメインとストレージドメインを関連づける。このときサーバとのSAN接続で確保すべき冗長パス数を属性として定義する。
5.ストレージ装置をストレージドメインに追加する。この際、ストレージ装置とサーバ間の物理接続パスが既に定義された冗長パス数を満たすかがチェックされ、満たさない場合はドメインへの追加はできない。
さらに、リソースプロビジョニング機能では、同一業務のサーバをサーバグループとして管理し、それに接続したストレージグループに対して論理ボリュームを割り当てる。具体的には、管理サーバは以下の処理を行う。
1.サーバグループを作成する。
2.m(mは自然数)台のサーバをサーバグループへ組み込む。
3.ストレージグループを作成する。
4.n(nは自然数)個の論理ボリュームをストレージプールからストレージグループへ組み込む。
5.ディスクアレイ、FCスイッチ、サーバの各装置に対して設定処理を自動実行する。
以上のような処理機能を有する管理サーバによって、SANに対する本発明の適用が可能となる。以下、SANに対して本発明を適用した場合の実施の形態について詳細に説明する。
図2は、本実施の形態のシステム構成を示す図である。このシステムでは、管理サーバ100によって、サーバドメイン300とストレージドメイン400との構成が管理されている。サーバドメイン300は、複数のサーバ310,320で構成されている。ストレージドメイン400は、複数のファイバーチャネル(FC)スイッチ410,420と複数のディスクアレイ430,440とで構成されている。
管理サーバ100は、ネットワーク10を介して、クライアント210、サーバ310,320、FCスイッチ410,420およびディスクアレイ430,440に接続されている。クライアント210は、管理者からの操作入力内容を管理サーバ100に送信し、管理サーバ100による処置結果の受信および表示を行うための端末装置である。
サーバ310,320は、ファイバーチャネルによってFCスイッチ410,420に接続されている。また、FCスイッチ410,420は、ファイバーチャネルによってディスクアレイ430,440に接続されている。サーバ310,320それぞれからディスクアレイ430,440までの伝送経路は多重化されている。たとえば、サーバ310からディスクアレイ430までの伝送経路には、FCスイッチ410を経由する伝送経路とFCスイッチ420を経由する伝送経路がある。
なお、サーバ310,320、FCスイッチ410,420、およびディスクアレイ430,440には、システム上で一意に識別するための名称が設定されている。サーバ310の名称は「サーバA」である。サーバ320の名称は「サーバB」である。FCスイッチ410の名称は「FCスイッチa」である。FCスイッチ420の名称は「FCスイッチb」である。ディスクアレイ430の名称は、「ディスクアレイα」である。ディスクアレイ440の名称は、「ディスクアレイβ」である。
次に、図3〜図5を参照して、各装置のハードウェア構成について説明する。
図3は、管理サーバのハードウェア構成例を示す図である。管理サーバ100は、CPU(Central Processing Unit)101によって装置全体が制御されている。CPU101には、バス107を介してRAM(Random Access Memory)102、ハードディスクドライブ(HDD:Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、および通信インタフェース106が接続されている。
RAM102には、CPU101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、CPU101による処理に必要な各種データが格納される。HDD103には、OSやアプリケーションプログラムが格納される。
グラフィック処理装置104には、モニタ11が接続されている。グラフィック処理装置104は、CPU101からの命令に従って、画像をモニタ11の画面に表示させる。入力インタフェース105には、キーボード12とマウス13とが接続されている。入力インタフェース105は、キーボード12やマウス13から送られてくる信号を、バス107を介してCPU101に送信する。
通信インタフェース106は、ネットワーク10に接続されている。通信インタフェース106は、ネットワーク10を介して、他のコンピュータとの間でデータの送受信を行う。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。なお、クライアント210も図3に示した管理サーバ100と同様のハードウェア構成で実現することができる。
図4は、サーバのハードウェア構成例を示す図である。サーバ310は、CPU311によって装置全体が制御されている。CPU311には、バス319を介してRAM312、ハードディスクドライブ(HDD)313、グラフィック処理装置314、入力インタフェース315、通信インタフェース316、及び複数のHBA(Host Bus Adapter)317,318が接続されている。
RAM312には、CPU311に実行させるOSのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM312には、CPU311による処理に必要な各種データが格納される。HDD313には、OSやアプリケーションプログラムが格納される。
グラフィック処理装置314には、モニタ14が接続されている。グラフィック処理装置314は、CPU311からの命令に従って、画像をモニタ14の画面に表示させる。入力インタフェース315には、キーボード15とマウス16とが接続されている。入力インタフェース315は、キーボード15やマウス16から送られてくる信号を、バス319を介してCPU311に送信する。
通信インタフェース316は、ネットワーク10に接続されている。通信インタフェース316は、ネットワーク10を介して、他のコンピュータとの間でデータの送受信を行う。
HBA317は、ファイバーチャネルによってFCスイッチ410に接続されている。HBA317は、FCスイッチ410を介して複数のディスクアレイ430,440と通信を行う。HBA318は、ファイバーチャネルによってFCスイッチ420に接続されている。HBA318は、FCスイッチ420を介して複数のディスクアレイ430,440と通信を行う。
なお、図4には、サーバ310のハードウェア構成を示したが、サーバ320も同様のハードウェア構成で実現することができる。
図5は、FCスイッチとディスクアレイとのハードウェア構成を示す図である。FCスイッチ410には、制御部411と複数のポート412〜419が設けられている。各ポート412〜419には、それぞれポート番号が割り当てられている。ポート412のポート番号は「0」、ポート413のポート番号は「1」、ポート414のポート番号は「2」、ポート415のポート番号は「3」、ポート416のポート番号は「4」、ポート417のポート番号は「5」、ポート418のポート番号は「6」、ポート419のポート番号は「7」である。
図5では省略しているが、制御部411と各ポート412〜419とは互いに接続されている。制御部411は、FCスイッチ410全体を制御する。また、制御部411は、管理サーバ100に接続され、管理サーバ100からの指示に応じて、FCスイッチ410の動作環境を設定することができる。ポート412〜419は、ファイバーチャネル用の通信線(たとえば、光ファイバ)を接続するための通信ポートである。
同様に、FCスイッチ420には、制御部421と複数のポート422〜429が設けられている。各ポート422〜429には、それぞれポート番号が割り当てられている。ポート422のポート番号は「0」、ポート423のポート番号は「1」、ポート424のポート番号は「2」、ポート425のポート番号は「3」、ポート426のポート番号は「4」、ポート427のポート番号は「5」、ポート428のポート番号は「6」、ポート429のポート番号は「7」である。
図5では省略しているが、制御部421と各ポート422〜429とは互いに接続されている。制御部421は、FCスイッチ420全体を制御する。また、制御部421は、管理サーバ100に接続され、管理サーバ100からの指示に応じて、FCスイッチ420の動作環境を設定することができる。ポート422〜429は、ファイバーチャネル用の通信線(たとえば、光ファイバ)を接続するための通信ポートである。
ディスクアレイ430には、管理モジュール431、複数のチャネルアダプタ(CA)432,433、および複数のディスクドライブ434〜437が設けられている。図5では省略しているが、管理モジュール431と、CA432,433およびディスクドライブ434〜437とは互いに接続されている。また、各CA432,433と各ディスクドライブ434〜437とは互いに接続されている。2つのCA432,433は、それぞれFCスイッチ410,420に接続されている。
管理モジュール431は、ディスクアレイ430全体を管理する。管理モジュール431は、管理サーバ100に接続されており、管理サーバ100からの要求に応じてCA432,433およびディスクドライブ434〜437に対する環境設定を行う。
ディスクアレイ440には、管理モジュール441、複数のCA442,443、および複数のディスクドライブ444〜447が設けられている。図5では省略しているが、管理モジュール441と、CA442,443およびディスクドライブ444〜447とは互いに接続されている。また、各CA442,443と各ディスクドライブ444〜447とは互いに接続されている。2つのCA442,443は、それぞれFCスイッチ410,420に接続されている。
管理モジュール441は、ディスクアレイ440全体を管理する。管理モジュール441は、管理サーバ100に接続されており、管理サーバ100からの要求に応じてCA442,443およびディスクドライブ444〜447に対する環境設定を行う。
以上のようなハードウェア構成のシステムにおいて、管理サーバ100による自動的な環境設定が行われる。
図6は、管理サーバが有する環境設定機能を示すブロック図である。管理サーバ100には、物理結線情報110,RAID判定テーブル120,ドライブ決定テーブル130、RAIDグループ構成情報140、論理ボリューム構成情報150、物理結線情報収集部160、ボリューム構成決定部170、および論理ボリューム設定部180を有している。
物理結線情報110には、サーバ310,320、FCスイッチ410,420、およびディスクアレイ430,440間の物理的な接続関係を示す情報が格納される。RAID判定テーブル120には、信頼性の必要性や負荷の度合いに応じたRAIDの種別が定義されている。ドライブ決定テーブル130には、RAIDの種別と必要なデータ量に応じて、使用すべきディスクドライブを決定するための対応関係が定義されている。RAIDグループ構成情報140には、RAIDグループの構成情報が格納される。論理ボリューム構成情報150には、ボリューム構成決定部170で決定された論理ボリュームの構成情報が格納される。
物理結線情報収集部160は、サーバ310,320、FCスイッチ410,420、およびディスクアレイ430,440から、他の装置との間の物理結線に関する情報を収集する。物理結線情報収集部160は、収集した情報を物理結線情報110に格納する。
ボリューム構成決定部170は、クライアント210から論理ボリューム要件21を受け取り、その論理ボリューム要件21に応じた論理ボリューム構成を決定する。その決定に際し、ボリューム構成決定部170は、物理結線情報110、RAID判定テーブル120、ドライブ決定テーブル130を参照する。論理ボリュームが決定されると、ボリューム構成決定部170は、決定内容をRAIDグループ構成情報140と論理ボリューム構成情報150に格納する。
論理ボリューム設定部180は、ボリューム構成決定部170により論理ボリューム構成情報150に新たな情報が格納されると、その情報に従ってサーバ310,320、FCスイッチ410,420、およびディスクアレイ430,440に対する設定内容を決定する。そして、論理ボリューム設定部180は、サーバ310,320、FCスイッチ410,420、およびディスクアレイ430,440に対して、設定内容に沿った環境設定を行うように指示を出す。
サーバ310,320、FCスイッチ410,420、およびディスクアレイ430,440は、論理ボリューム設定部180からの指示に従って、論理ボリュームの設定を行う。たとえば、サーバ310,320は、エージェントによって論理ボリュームの設定が行われる。
図7は、サーバの機能を示すブロック図である。サーバ310,320には、それぞれエージェント310a,320aとボリューム管理部310b,320bとが設けられている。エージェント310a,320aとボリューム管理部310b,320bとは、各サーバ310,320に実装されたアプリケーションプログラムによって実現される機能である。
サーバ310のエージェント310aは、管理サーバ100からの指示に従って、サーバ310内のHBA317,318やボリューム管理部310b等の環境設定を行う。同様に、サーバ302のエージェント320aは、管理サーバ100からの指示に従って、サーバ320内のHBA327,328やボリューム管理部320b等の環境設定を行う。
ボリューム管理部310bは、サーバ310からアクセス可能なディスク装置をミラーリングし、ディスク故障等の不測の事態から資産を守るためのボリューム管理機能を有する。同様に、ボリューム管理部320bは、サーバ320からアクセス可能なディスク装置をミラーリングし、ディスク故障等の不測の事態から資産を守るためのボリューム管理機能を有する。
なお、サーバ310内のHBA317、318にはそれぞれサーバ310内で一意に識別可能な名称が与えられており、HBA317の名称は「HBA0」であり、HBA318の名称は「HBA1」である。同様に、サーバ320内のHBA327,328にはそれぞれサーバ320内で一意に識別可能な名称が与えられており、HBA327の名称は「HBA0」であり、HBA328の名称は「HBA1」である。
ところで、論理ボリューム構成では、1以上のディスクドライブによってRAIDグループが構築される。そして、RAIDグループに属するディスクドライブ上に、1以上の論理ボリュームが構築される。
また、複数作成された論理ボリュームはグループ化され、グループ毎にサーバ310,320との間の接続関係が管理される。このとき、論理ボリュームのグループを、アフィニティ(Affinity)グループと呼ぶ。サーバ310,320からディスクドライブへのアクセス経路は、論理的に設定されたアフィニティグループを経由した経路で認識される。
図8は、サーバとディスクドライブとの接続関係を示す図である。この例では、ドメイン間の冗長パス数は2である。
サーバ310のHBA317は、FCスイッチ410の0番のポート412に接続されている。サーバ310のHBA318は、FCスイッチ420の0番のポート422に接続されている。
サーバ320のHBA327は、FCスイッチ410の3番のポート415に接続されている。サーバ320のHBA328は、FCスイッチ420の3番のポート425に接続されている。
FCスイッチ410の4番のポート416は、ディスクアレイ430のCA432に接続されている。FCスイッチ410の7番のポート419は、ディスクアレイ440のCA442に接続されている。
FCスイッチ420の4番のポート426は、ディスクアレイ430のCA433に接続されている。FCスイッチ420の7番のポート429は、ディスクアレイ440のCA443に接続されている。
ディスクアレイ430内の複数の論理ボリューム451〜454は、アフィニティグループ450a,450bに分類されている。ディスクアレイ430内のCA432,433は、論理的にアフィニティグループ450a,450bを介して論理ボリューム451〜454に接続される。
ディスクアレイ440内の複数の論理ボリューム461〜464は、アフィニティグループ460a,460bに分類されている。ディスクアレイ440内のCA442,443は、論理的にアフィニティグループ460a,460bを介して論理ボリューム461〜464に接続される。
図8に示す接続関係を示す情報は、管理サーバ100の物理結線情報収集部160によって収集され、物理結線情報110に格納される。
図9は、物理結線情報のデータ構造例を示す図である。物理結線情報110には、サーバ結線情報31,32、ディスクアレイ結線情報33,34およびFCスイッチ結線情報35,36が含まれる。
サーバ結線情報31,32は、サーバ310,320から取得された結線情報であり、各サーバ310,320におけるHBAの識別番号が設定されている。本実施の形態では、識別番号としてWWPN(World Wide Port Name)が用いられている。
サーバ結線情報31は、名称「サーバA」のサーバ310に関する結線情報である。サーバ310の名称「HBA0」のHBA317は、WWPNが「AAAABBBBCCCC0000」である。サーバ310の名称「HBA1」のHBA318は、WWPNが「AAAABBBBCCCC0001」である。
サーバ結線情報32は、名称「サーバB」のサーバ320に関する結線情報である。サーバ320の名称「HBA0」のHBA327は、WWPNが「DDDDEEEEFFFF0000」である。サーバ320の名称「HBA1」のHBA328は、WWPNが「DDDDEEEEFFFF0001」である。
ディスクアレイ結線情報33,34は、ディスクアレイ430,440から取得された結線情報であり、各ディスクアレイ430,440におけるCAの識別番号が設定されている。本実施の形態では、識別番号としてWWPNが用いられている。
ディスクアレイ結線情報33は、名称「ディスクアレイα」のディスクアレイ430に関する結線情報である。ディスクアレイ430の名称「CA0」のCA432は、WWPNが「1122334455667700」である。ディスクアレイ430の名称「CA1」のCA433は、WWPNが「1122334455667701」である。
ディスクアレイ結線情報34は、名称「ディスクアレイβ」のディスクアレイ440に関する結線情報である。ディスクアレイ440の名称「CA0」のCA442は、WWPNが「7766554433221100」である。ディスクアレイ440の名称「CA1」のCA443は、WWPNが「7766554433221101」である。
FCスイッチ結線情報35,36は、FCスイッチ410,420から取得された結線情報であり、各FCスイッチ410,420における各ポートの結線先の識別番号が設定されている。
FCスイッチ結線情報35は、名称が「FCスイッチa」のFCスイッチ410に関する結線情報である。FCスイッチ410の0番のポート412の結線先のWWPNは「AAAABBBBCCCC0000」である。これにより、このポート412は、名称が「サーバA」であるサーバ310の名称が「HBA0」であるHBA317に接続されていることが分かる。同様に、FCスイッチ結線情報35において3番のポート415、4番のポート416、7番のポート419に設定されたWWPNから、各ポート415,416,419の結線先が分かる。
FCスイッチ結線情報36は、名称が「FCスイッチb」のFCスイッチ420に関する結線情報である。FCスイッチ420の0番のポート422の結線先のWWPNは「AAAABBBBCCCC0001」である。これにより、このポート422は、名称が「サーバA」であるサーバ310の名称が「HBA1」であるHBA318に接続されていることが分かる。同様に、FCスイッチ結線情報36において3番のポート425、4番のポート426、7番のポート429に設定されたWWPNから、各ポート425,426,429の結線先が分かる。
このような物理結線情報110を参照して、ボリューム構成決定部170により、ユーザから指定された論理ボリューム要件に応じたボリューム構成が決定される。その際、ボリューム構成決定部170によって、RAID判定テーブル120とドライブ決定テーブル130とが参照される。
図10は、RAID判定テーブルのデータ構造例を示す図である。RAID判定テーブル120は、信頼性と負荷(性能)とにコストを考慮して、最適なRAIDレベルを導き出したテーブルである。すなわち、RAIDレベルは、SAN構成において性能と信頼性を決定づける重要な要素であり、コストを考慮しながら決める必要がある。それには、SANシステムについての豊富な知識が必要である。それらのノウハウをテーブル化したのが、RAID判定テーブル120である。
RAID判定テーブル120には、ユーザが入力したパラメタと導き出される値とが、互いに関連付けて登録されている。
RAID判定テーブル120では、ユーザが入力したパラメタ(論理ボリューム要件21に含まれる情報)のうち、信頼性の必要度と負荷の度合いとが利用される。
また、導き出される値は、RAIDレベルで示される。RAIDレベルとしてはRAID0〜RAID5が存在する。
RAID0はデータをディスクアレイ内の複数のハードディスクに分割することにより読み書きの速度向上を図る技術である(ストライピング)。RAID1は2台のハードディスクに同じデータを記録して、データの安全性を高める技術である(ミラーリング)。RAID2は記録用のハードディスク以外に1台または複数台のハードディスクを、エラー訂正用に使用する技術である。RAID3はディスクアレイ内の1台をエラー訂正のためのパリティ記録用に使用する技術である。RAID4は、RAID3よりデータ分割の単位を大きくしたものである。RAID5はパリティ情報を書き込むドライブを決めず、ディスクアレイ内の多数のドライブにデータとパリティ情報とを分散させることで、耐障害性を高める技術である。
本実施の形態では、RAIDレベルとして、RAID0とRAID1との併用(RAID0+1)、若しくはRAID5が適用される。一般的に、RAID0+1とRAID5とを比較すると、RAID0+1の方が性能的に有利である。しかし、RAID0+1は、RAID5と比べRAIDを構成するディスク装置が容量あたり多く必要となるため、コスト高となる。そこで、図10の例では、負荷の度合いが低ければRAID5が採用されるが、負荷の度合いが普通、または高ければRAID0+1が採用される。
このようなRAID判定テーブル120を参照することで、信頼性の必要度と負荷の度合いとの組に応じた、最適なRAIDレベルが決定できる。
なお、図10の例では、信頼性の必要度と負荷の度合いとの双方が低くても何らかのRAID技術を適用するようにしているが、このような場合、資源の有効利用の観点からRAID技術を適用しないようにすることもできる。
図11は、ドライブ決定テーブルのデータ構造例を示す図である。ドライブ決定テーブル130は、必要となるデータ量から最適なディスクアレイの種類を導きだすための情報(テーブル)および、ディスクアレイの構成設計を行うために必要となるディスクアレイ毎の特有データを登録したものである。そこで、ドライブ決定テーブル130には、ユーザが入力したパラメタ、導き出される値、導き出された装置の特有情報が、互いに関連づけて登録されている。
ユーザが入力したパラメタには、論理ボリューム要件21に含まれる必要なデータ量合計値(ギガバイト単位)の適用範囲が設定されている。図11の例では、0〜99GB、100〜499GB、500〜999GBの範囲が設定されている。
導き出される値は、必要なデータ量合計値に応じたディスクアレイの型名が設定される。図11の例では、必要なデータ量合計値が0〜99GBに含まれる場合、「RAID-Model1」のディスクアレイが使用される。必要なデータ量合計値が100〜499GBに含まれる場合、「RAID-Model2」のディスクアレイが使用される。必要なデータ量合計値が500〜999GBに含まれる場合、「RAID-Model3」のディスクアレイが使用される。
導き出した装置の特有情報には、ディスクアレイの型名毎の性能等が設定されている。具体的には、ディスクアレイに含まれるディスクドライブの性能(データアクセススピードが速い順)、RAIDグループを構成するディスクドライブ数(RAID0+1の場合)、RAIDグループを構成するディスクドライブ数(RAID5の場合)、およびRAIDグループの最大数が設定されている。
ところで、ディスクアレイの型名を選択する際には、必要となるデータ量より多くのデータ量を保持できるディスクアレイを使用すればよい。ただし、無駄なコストが掛かるため必要最低限のディスクアレイを選択することが望まれる。
ディスクドライブの性能は、ディスクドライブの記憶容量(ギガバイト)と回転速度(Krpm)で示されている。一般的に、同じ容量のRAIDグループを構成した場合、RAIDグループを構成するディスクドライブ当たりの記憶容量が少ない方が、ディスクドライブを多く必要とする。ディスクドライブの数が多ければ、並列にアクセスすることが可能となりアクセススピードを上げることができる。また、ディスクドライブの回転数が高い方がアクセススピードは高速である。
このようなデータを参照して、論理ボリュームの作成が行われる。
図12は、論理ボリューム作成処理の手順を示すフローチャートである。以下、図12に示す処理をステップ番号に沿って説明する。
[ステップS11]ボリューム構成決定部170は、クライアント210から、システムに必要とされている論理ボリュームの生成要件(論理ボリューム要件21)を取得する。
例えば、ユーザは、クライアント210のキーボードやマウスなどの入力装置から、システムに必要な論理ボリュームを指定し、その論理ボリューム毎に論理ボリュームの生成要件を入力する。論理ボリューム要件21は、論理ボリューム毎に、信頼性の必要性、負荷の度合い、必要なデータ容量が指定されている。この論理ボリューム要件21がクライアント210から管理サーバ100に送られ、ボリューム構成決定部170に入力される。
[ステップS12]ボリューム構成決定部170は、論理ボリュームの自動構成処理を行う。この処理の詳細は後述する。
[ステップS13]論理ボリューム設定部180は、ディスクアレイの論理ボリューム構成を、システム内の各装置に反映させる。すなわち、論理ボリューム設定部180は、作成された論理ボリュームはストレージプールに登録される。
その後、論理ボリューム設定部180が有するリソースプロビジョニング機能によって、論理ボリュームがストレージプールからストレージグループに移され、サーバからのアクセス対象として割り当てられる(後述する図21参照)。
図13は、自動構成決定処理の手順を示すフローチャートである。以下、図13に示す処理をステップ番号に沿って説明する。
[ステップS21]ボリューム構成決定部170は、論理ボリューム要件21を受け取ると、RAID判定テーブル120を参照し、適用するRAIDレベルを決定する。すなわち、ボリューム構成決定部170は、データ単位に設定された、信頼性の必要性と負荷の度合いから、最適な(または、推奨する)RAIDレベルを求める。
具体的には、ボリューム構成決定部170は、論理ボリューム要件21から、信頼性の必要度と負荷の度合いとの組を取得し、その両方に合致するレコードをRAID判定テーブル120から検索する。そして、ボリューム構成決定部170は、検出したレコードのRAIDレベルの欄からRAIDレベルを取り出す。
作成すべき論理ボリュームが複数ある場合には、その論理ボリュームの数だけ、RAIDレベル決定処理を繰り返し行う。
[ステップS22]ボリューム構成決定部170は、ドライブ決定テーブル130を参照し、適用するディスクアレイの型名を決定する。以下、ボリューム決定処理の具体的手順を、図11を参照して説明する。
ボリューム構成決定部170は、ドライブ決定テーブル130の必要なデータ量合計値の欄から、ユーザが入力した容量の合計値に一致する行を検索する。たとえば、ユーザが入力したデータ容量が300GBであれば、2行目のレコードが該当する。
次に、ボリューム構成決定部170は、該当したレコードに記述されているディスクアレイの型名を取得する。たとえば、データ量合計値に基づく検索により2行目のレコードが検出された場合、「RAID-Model2」という型名が取得される。
[ステップS23]ボリューム構成決定部170は、ドライブ決定テーブル130を参照し、ディスクアレイの型名毎の特有情報を取得する。具体的には、ボリューム構成決定部170は、ステップS12で検出したレコードに含まれるディスクドライブの性能情報、RAIDグループを構成するディスクドライブ数、RAIDグループの最大数の情報を取得する。なお、ディスクドライブの性能情報を取得する場合、データアクセススピードが速い順の先頭のディスクドライブ種を取得する。
ここで、導き出された情報は、RAIDグループの作成と論理ボリュームの割り付けの際に使用される。
[ステップS24]ボリューム構成決定部170は、ユーザが入力した論理ボリューム要件21に対応する論理ボリュームの構成を決定する。
[ステップS25]ボリューム構成決定部170は、RAIDグループの作成と、論理ボリュームの割り付けを行う。すなわち、RAIDグループは、論理ボリュームが集まったものである。このとき、同一RAIDグループ内の論理ボリュームは、同じRAIDレベルである必要がある。そこで、ボリューム構成決定部170は、ステップS23で生成された論理ボリュームのうち、適用されるRAIDレベルが同じ論理ボリュームをまとめて、RAIDグループを作成する。
その際、ボリューム構成決定部170は、RAIDレベルを構成するディスクの種類として、ステップS23で取得したディスクドライブ種に相当するディスクドライブを使用する。また、ボリューム構成決定部170は、RAIDレベルを構成するディスクとして、ステップS23で取得した「RAIDグループを構成するディスクドライブ数」の値に相当する数のディスクドライブを選択する。さらに、ボリューム構成決定部170は、RAIDグループの作成数として、ステップS23で取得した「RAIDグループの最大数」の値以下であるように、RAIDグループを作成する。
これらの情報から、1つのRAIDグループの容量を以下の通り計算することができる。
・RAID5の容量=ディスクドライブ種の容量×RAIDグループを構成するディスクドライブ数−1
・RAID0+1の容量=ディスクドライブ種の容量×RAIDグループを構成するディスクドライブ数/2
このとき、ボリューム構成決定部170は、上記の通り計算した容量以下になるように、論理ボリュームをRAIDグループに割り付け、その関係を線で結び、クライアント210の画面に内に表示させることができる。
[ステップS26]ボリューム構成決定部170は、ステップS25で決定したRAIDグループに対する論理ボリュームの割り付けに応じて、各装置に指示する命令のコマンドファイルを作成する。その後、処理が図12に示すステップS13に進められ、コマンドファイルに従って、決定された通りの論理ボリュームがシステム上で構築され、サーバ310,320からアクセス可能となる。
このようにして、ユーザからの論理ボリューム要件21の入力に応じて、RAIDグループ構成情報140や論理ボリューム構成情報150が作成される。
図14は、RAIDグループ構成情報のデータ構造例を示す図である。RAIDグループ構成情報140には、RAIDグループ番号、RAIDレベル、構成物理ディスク番号が互いに対応付けて登録されている。
図15は、RAIDグループ構成情報で示されるグループ分けを示す図である。図15に示すように、ディスクアレイ430内の各4台のディスクドライブで「Group0」のRAIDグループ430aと「Group1」のRAIDグループ430bとが構成されている。同様に、ディスクアレイ440内の各5台のディスクドライブで「Group10」のRAIDグループ440aと「Group11」のRAIDグループ440bとが構成されている。
図16は、論理ボリューム構成情報のデータ構造例を示す図である。論理ボリューム構成情報では、論理ボリューム(LV)番号、容量、および所属RAIDグループのグループ番号が互いに関連付けて登録されている。
図17は、RAIDグループと論理ボリュームとの対応付けを示す図である。図17に示すように、各RAIDグループ430a,430b,440a,440b内に論理ボリュームが構築される。
論理ボリュームの構築結果は、クライアント210の画面に表示される。以下に、論理ボリューム要件の入力例と、その入力内容に応じた結果表示画面の例を示す。
図18は、論理ボリューム要件の入力画面の例を示す図である。クライアント210には、論理ボリューム要件の入力画面211が表示される。ユーザは、この入力画面211に対して、作成すべき論理ボリュームに関する論理ボリューム要件51〜53を入力する。すると、論理ボリューム要件51〜53がクライアント210から管理サーバ100に送られる。これにより、管理サーバ100により論理ボリュームが作成されると共に、論理ボリュームに従ったディスクアレイへのサーバ310,320からのアクセス環境が構築される。
その後、管理サーバ100による論理ボリュームの作成結果がクライアント210に返される。クライアント210には、処理結果として得られるSAN構成が画面に表示される。
図19は、結果表示画面の例を示す図である。結果表示画面212には、論理ボリューム要件表示部212a,212b,212cと論理ボリューム表示部212d,212eとが設けられている。
論理ボリューム要件表示部212a,212b,212cには、入力画面211で入力された論理ボリューム要件が表示されている。論理ボリューム表示部212d,212eには、作成された論理ボリューム(およびその論理ボリュームとして動作するRAIDグループを構成するディスクドライブ)が表示されている。
また、論理ボリューム要件表示部212a,212b,212cと論理ボリューム表示部212d,212eとは、割り付けの関係を示す線で接続されている。
ユーザは、結果表示画面212を参照することで、RAIDグループの作成結果、および論理ボリュームの割り付け関係を確認することが出来る。ユーザが、結果表示画面212で表示された内容を確認すると、管理サーバ100のボリューム構成決定部170により、論理ボリューム作成用のコマンドファイルが作成される。そして、論理ボリューム設定部180によりコマンドファイルがディスクアレイ430,440に送信され、ディスクアレイ430,440において、結果表示画面212に表示された通りのRAIDグループおよび論理ボリュームが作成される。
作成された論理ボリュームは未使用ボリュームとしてストレージプールに登録される。サーバに論理ボリュームを増設する場合、このストレージプールにある論理ボリュームが選択されて、サーバ310,320からアクセスできるように各種設定が自動的に行われる。
図20は、論理ボリューム増設設定処理の処理手順を示す図である。以下、図20に示す処理をステップ番号に沿って説明する。
[ステップS31]管理サーバ100の論理ボリューム設定部180は、まず、アフィニティグループ設定を行う。具体的には、論理ボリューム設定部180は、ディスクアレイ430,440に対して、アフィニティグループの作成指示を出す。
[ステップS32]論理ボリューム設定部180は、ステップS31で作成したアフィニティグループへのサーバ310,320からのアクセスパスを設定する。なお、サーバ310,320から各アフィニティグループへのアクセスパスは、2パスずつ作成される。アクセスパスの設定指示は、論理ボリューム設定部180からサーバ310,320、FCスイッチ410,420に対して行われる。
[ステップS33]論理ボリューム設定部180は、マルチパス設定を行う。マルチパス設定は、2パスずつ作成されたアクセスパスを、アプリケーションからは1つのアクセスパスと認識できるようにする処理である。マルチパス設定指示は、論理ボリューム設定部180から各サーバ310,320に対して行われる。
[ステップS34]論理ボリューム設定部180は、クラスタリソース設定を行う。クラスタリソース設定は、サーバ310とサーバ320とがクラスタを組んでいる場合に、各サーバ310,320に対して、クラスタ上で共有するリソースを定義する処理である。クラスタリソース設定指示は、論理ボリューム設定部180から各サーバ310,320に対して行われる。
[ステップS35]論理ボリューム設定部180は、ミラーボリューム設定処理を行う。ミラーボリューム設定指示は、論理ボリューム設定部180から各サーバ310,320に対して行われる。
図21は、論理ボリューム増設設定処理の概念図である。作成された論理ボリュームは、ストレージプール61内で管理される。そして、ユーザから論理ボリュームの追加指示があると、論理ボリューム設定部180により、ストレージプール61内の論理ボリューム451,452,463,464がストレージグループ62に移される。
その際、ディスクアレイ430,440は、論理ボリューム設定部180からの指示に応じて、アフィニティグループ450a,450b,460a,460bを作成している。作成されたアフィニティグループ450a,450b,460a,460b配下に、論理ボリューム451,452,463,464の追加設定が行われる。
そして、論理ボリューム設定部180から各装置への設定指示によって、作成されたアフィニティグループ450a,450b,460a,460bに対するサーバ310,320からのアクセスパスが、2パスずつ設定される。作成されたアクセスパスによって、サーバ310,320から論理ボリュームにアクセス可能となる。この際、サーバ310,320では、論理ユニット番号(LUN:Logical Unit Number)によって、論理ボリュームを識別する。
さらに、論理ボリューム設定部180からサーバ310,320への設定指示によって、マルチパス設定、クラスタリソース設定、ミラーボリューム設定が行われる。マルチパス設定では、同一の論理ボリュームに対するアクセスパス毎のLUNが、1つのマルチパスインスタンス番号(mplb0,mplb1,mplb2,mplb3)に対応付けられる。クラスタリソース設定では、クラスタノードであるサーバ310,320においてそれぞれ作成されるマルチパスインスタンスmplb0, mplb1, mplb2, mplb3が、クラスタリソースとして登録される。ミラーボリューム設定では、ミラーボリューム番号(M0,M1)それぞれに対して、複数のマルチパスインスタンス番号を関連付ける。1つのミラーボリューム番号に関連付けられた複数のマルチパスインスタンス番号でアクセスできるボリュームによって、ミラーリングが行われる。
次に、論理ボリュームを増設例を用いて、設定内容を具体的に説明する。以下の例では、図21に示すように、論理ボリューム451,452を含むRAIDグループと、論理ボリューム463,464を含むアフィニティグループとを新規に作成する。アフィニティグループに関する情報は、アフィニティグループ情報として論理ボリューム設定部180内で管理される。
図22は、アフィニティグループ情報のデータ構造例を示す図である。アフィニティグループ情報181には、アフィニティグループ毎のアフィニティグループ構成データ181a,181b,181c,181dが含まれる。アフィニティグループ構成データ181a,181b,181c,181dには、そのグループに属する論理ボリュームのホストLUN(サーバ310,320からアクセスするためのLUN)と論理ボリューム番号との組が登録されている。
ここで、アフィニティグループ構成データ181aは、「AffinityGroup0」のアフィニティグループ450aに関する構成データである。このアフィニティグループ450aは、サーバ310からのアクセス用に作成されている。アフィニティグループ構成データ181aには、サーバ310からのアクセス用に、論理ボリューム451,452が登録されている。論理ボリューム451のLUNは「0」である。論理ボリューム452のLUNは「1」である。
アフィニティグループ構成データ181bは、「AffinityGroup1」のアフィニティグループ450bに関する構成データである。このアフィニティグループ450bは、サーバ320からのアクセス用に作成されている。アフィニティグループ構成データ181bの内容は、アフィニティグループ構成データ181aと同じである。
アフィニティグループ構成データ181cは、「AffinityGroup10」のアフィニティグループ460aに関する構成データである。このアフィニティグループ460aは、サーバ310からのアクセス用に作成されている。アフィニティグループ構成データ181cには、サーバ310からのアクセス用に、論理ボリューム463,464が登録されている。論理ボリューム463のLUNは「12」である。論理ボリューム463のLUNは「13」である。
アフィニティグループ構成データ181dは、「AffinityGroup11」のアフィニティグループ460bに関する構成データである。このアフィニティグループ460bは、サーバ320からのアクセス用に作成されている。アフィニティグループ構成データ181dの内容は、アフィニティグループ構成データ181cと同じである。
このように、ストレージプール61からストレージグループ62に論理ボリュームが追加されると、各サーバ310,320に対応するアフィニティグループ構成データが作成される。
アフィニティグループ構成データ181a,181bは、ディスクアレイ430のアフィニティグループについて定義されている。そのため、アフィニティグループ構成データ181a,181bがディスクアレイ430に送信され、ディスクアレイ430内でアフィニティグループの設定が行われる。
アフィニティグループ構成データ181c,181dは、ディスクアレイ440のアフィニティグループについて定義されている。そのため、アフィニティグループ構成データ181c,181dがディスクアレイ440に送信され、ディスクアレイ440内でアフィニティグループの設定が行われる。
ディスクアレイ430,440に対して、アフィニティグループの設定が行われると、サーバ310,320からアフィニティグループへのアクセスパスが設定される。この際、冗長パス設定機能により、異なる経路を通る2つのパスが設定される。アクセスパスの設定により、サーバ310,320は、それぞれLUNで示されるデバイスがHBAポート毎に設定され、HBAを経由してアフィニティグループにアクセス可能となる。
その後、マルチパス設定処理が行われる。マルチパス設定処理では、マルチパスを管理するマルチパス構成データが作成される。
図23は、マルチパス構成データのデータ構造例を示す図である。マルチパス構成データ181eには、マルチパスインスタンス番号とLUNとが対応付けて登録されている。
図23の例では、マルチパスインスタンス番号「mplb0」に対して、LUN「0」が設定されている。マルチパスインスタンス番号「mplb1」に対して、LUN「1」が設定されている。マルチパスインスタンス番号「mplb2」に対して、LUN「2」が設定されている。マルチパスインスタンス番号「mplb3」に対して、LUN「3」が設定されている。
このマルチパス構成データ181eは、各サーバ310,320に送られる。すると、それぞれのサーバ310,320において、マルチパス構成データ181eに従ったマルチパス作成コマンドが実行され、マルチパスインスタンスが作成される。
その後、サーバ310,320において、クラスタリソース設定によってマルチパスインスタンスがクラスタリソースに登録される。
次に、管理サーバ100は、ミラーボリューム構成データを作成する。
図24は、ミラーボリューム構成データのデータ構造例を示す図である。ミラーボリューム構成データ181fでは、ミラーボリューム番号と構成ディスク番号とが対応付けて登録されている。ミラーボリューム番号は、ミラーボリュームに設定される識別番号である。構成ディスク番号は、ミラーボリュームとして使用されるマルチパスインスタンスのマルチパスインスタンス番号である。
このようなミラーボリューム構成データ181fを、管理サーバ100からサーバ310,320に送信し、ミラーボリューム設定を指示することで、サーバ310,320において、ミラーボリューム構成データ181fに従ったミラーボリューム設定が行われる。
この例では、マルチパスインスタンス番号「mplb0」、「mplb1」は、ディスクアレイ430のボリュームである。一方、マルチパスインスタンス番号「mplb2」、「mplb3」は、ディスクアレイ440のボリュームである。したがって、ミラーボリューム番号「M0」の構成ディスクとして、「mplb0」と「mplb2」とのマルチパスインスタンスを設定することで、異なるディスクアレイを利用したミラーボリューム設定が行われる。同様に、ミラーボリューム番号「M1」の構成ディスクとして、「mplb1」と「mplb3」とのマルチパスインスタンスを設定することで、異なるディスクアレイを利用したミラーボリューム設定が行われる。
以上のようにして、管理サーバ100がユーザから入力された論理ボリューム要件に従って、最適な論理ボリューム構成を決定し、その決定内容に従った論理ボリュームへのアクセス環境を自動的に構築することができる。その結果、ユーザが論理ボリューム要件を入力するだけで、論理ボリューム構成が自動作成されてディスクアレイに設定される。そのため、ユーザは、装置の仕様を熟知していなくても、冗長性や性能を満たす論理ボリュームを作成することが可能となる。
また、1アクションで論理ボリュームの増減設が可能となる。すなわち、各装置に対して個別に設定操作を行う必要が無くなり、設定ミスが防止される。しかも、設定操作が簡略化されたことにより、設定作業の迅速化が図れる。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、管理サーバが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
符号の説明
1 コンピュータ
1a 論理ボリューム要件取得手段
1b 適用技術決定手段
1c 論理ボリューム設定手段
2 ネットワーク
3 サーバ
4 ディスクアレイ
5 論理ボリューム要件

Claims (11)

  1. サーバからディスクアレイへのアクセス環境の設定を支援するためのシステム環境設定支援プログラムにおいて、
    コンピュータに、
    論理ボリューム要件取得手段が、必要とされる信頼性の度合い、負荷の度合い、および必要なデータ量が指定された論理ボリューム要件を取得し、
    適用技術決定手段が、前記論理ボリューム要件に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術を決定し、
    論理ボリューム設定手段が、前記サーバおよび前記ディスクアレイに対し、前記決定された前記適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および前記適用技術に基づく前記サーバから前記論理ボリュームへのアクセス環境の設定指示を出力する、
    処理を実行させることを特徴とするシステム環境設定支援プログラム。
  2. 前記コンピュータに、
    前記適用技術決定手段が、信頼性向上技術と処理速度向上技術との何れか一方の技術、または信頼性向上技術と処理速度向上技術とを組み合わせた技術を適用技術として決定する、
    処理を実行させることを特徴とする請求の範囲第1項記載のシステム環境設定支援プログラム。
  3. 前記コンピュータに、
    前記適用技術決定手段が、負荷の度合いが高い場合、処理速度向上技術の適用を決定する、
    処理を実行させることを特徴とする請求の範囲第1項記載のシステム環境設定支援プログラム。
  4. 前記コンピュータに、
    前記適用技術決定手段が、前記処理速度向上技術として、ストライピング技術の適用を決定する、
    処理を実行させることを特徴とする請求の範囲第3項記載のシステム環境設定支援プログラム。
  5. 前記コンピュータに、
    前記適用技術決定手段が、信頼性向上技術としてミラーリング技術の適用を決定する、
    処理を実行させることを特徴とする請求の範囲第1項記載のシステム環境設定支援プログラム。
  6. 前記コンピュータに、
    前記適用技術決定手段が、信頼性向上技術として、複数のディスクに分散してデータとパリティ情報を記録する技術の適用を決定する、
    処理を実行させることを特徴とする請求の範囲第1項記載のシステム環境設定支援プログラム。
  7. 前記コンピュータに、
    前記適用技術決定手段が、予め登録されたディスクアレイ毎のディスクドライブの性能情報を参照し、必要なデータ量に応じて使用するディスクドライブを決定することを特徴とする、
    処理を実行させることを特徴とする請求の範囲第1項記載のシステム環境設定支援プログラム。
  8. 前記コンピュータに、
    前記適用技術決定手段が、決定した適用技術に応じて、使用するディスクドライブ数を決定する、
    処理を実行させることを特徴とする請求の範囲第1項記載のシステム環境設定支援プログラム。
  9. コンピュータにより、サーバからディスクアレイへのアクセス環境の設定を支援するためのシステム環境設定支援方法において、
    論理ボリューム要件取得手段が、必要とされる信頼性の度合い、負荷の度合い、および必要なデータ量が指定された論理ボリューム要件を取得し、
    適用技術決定手段が、前記論理ボリューム要件に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術を決定し、
    論理ボリューム設定手段が、前記サーバおよび前記ディスクアレイに対し、前記決定された前記適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および前記適用技術に基づく前記サーバから前記論理ボリュームへのアクセス環境の設定指示を出力する、
    ことを特徴とするシステム環境設定支援方法。
  10. サーバからディスクアレイへのアクセス環境の設定を支援するためのシステム環境設定支援装置において、
    必要とされる信頼性の度合い、負荷の度合い、および必要なデータ量が指定された論理ボリューム要件を取得する論理ボリューム要件取得手段と、
    前記論理ボリューム要件に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術を決定する適用技術決定手段と、
    前記サーバおよび前記ディスクアレイに対し、前記決定された前記適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および前記適用技術に基づく前記サーバから前記論理ボリュームへのアクセス環境の設定指示を出力する論理ボリューム設定手段と、
    を有することを特徴とするシステム環境設定支援装置。
  11. サーバからディスクアレイへのアクセス環境の設定を支援するためのシステム環境設定支援プログラムを記録したコンピュータ読み取り可能な記録媒体において、
    コンピュータに、
    論理ボリューム要件取得手段が、必要とされる信頼性の度合い、負荷の度合い、および必要なデータ量が指定された論理ボリューム要件を取得し、
    適用技術決定手段が、前記論理ボリューム要件に応じて、信頼性向上と処理速度向上との少なくとも一方の機能向上を図るための適用技術を決定し、
    論理ボリューム設定手段が、前記サーバおよび前記ディスクアレイに対し、前記決定された前記適用技術を実現するための複数のディスクドライブからなる論理ボリュームの生成指示、および前記適用技術に基づく前記サーバから前記論理ボリュームへのアクセス環境の設定指示を出力する、
    処理を実行させることを特徴とするシステム環境設定支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006539110A 2004-10-06 2004-10-06 システム環境設定支援プログラム、システム環境設定支援方法、およびシステム環境設定支援装置 Pending JPWO2006038286A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/014730 WO2006038286A1 (ja) 2004-10-06 2004-10-06 システム環境設定支援プログラム、システム環境設定支援方法、およびシステム環境設定支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010180533A Division JP5148664B2 (ja) 2010-08-11 2010-08-11 設定プログラム、および設定装置

Publications (1)

Publication Number Publication Date
JPWO2006038286A1 true JPWO2006038286A1 (ja) 2008-05-15

Family

ID=36142376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006539110A Pending JPWO2006038286A1 (ja) 2004-10-06 2004-10-06 システム環境設定支援プログラム、システム環境設定支援方法、およびシステム環境設定支援装置

Country Status (4)

Country Link
US (1) US20070233952A1 (ja)
EP (1) EP1811392A4 (ja)
JP (1) JPWO2006038286A1 (ja)
WO (1) WO2006038286A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769975B2 (en) * 2004-11-15 2010-08-03 International Business Machines Corporation Method for configuring volumes in a storage system
JP2012503819A (ja) * 2008-09-25 2012-02-09 エルエスアイ コーポレーション 外部記憶アレイにおいて帯域外管理アプリケーションを認証するための方法及び/又は装置
JP4961411B2 (ja) * 2008-10-16 2012-06-27 株式会社日立製作所 計算機システム及びその構成管理方法
JP5421201B2 (ja) * 2010-07-20 2014-02-19 株式会社日立製作所 計算機システムを管理する管理システム及び管理方法
JP5508458B2 (ja) * 2012-03-26 2014-05-28 株式会社日立製作所 計算機システム及びその構成管理方法
US9785372B2 (en) 2013-05-17 2017-10-10 Hitachi, Ltd. Storage device and method for configuring raid group
US10146574B1 (en) * 2016-06-28 2018-12-04 EMC IP Holding Company LLC Techniques for scheduling storage operations on virtual disks of a virtual machine
EP4037264A4 (en) 2019-09-24 2023-06-14 NTT Communications Corporation DISPLAY CONTROL SYSTEM, DISPLAY METHOD AND PROGRAM
US11163501B2 (en) * 2019-09-27 2021-11-02 Dell Products L.P. Raid storage multi-step command system
CN112764665B (zh) * 2019-10-21 2024-05-10 伊姆西Ip控股有限责任公司 存储管理的方法、设备和计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350707A (ja) * 2000-06-06 2001-12-21 Hitachi Ltd 情報処理システム、記憶装置の割り当て方法
JP2002222061A (ja) * 2001-01-25 2002-08-09 Hitachi Ltd 記憶領域を設定する方法、記憶装置およびプログラム記憶媒体
JP2003316618A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd コンピュータシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5857112A (en) * 1992-09-09 1999-01-05 Hashemi; Ebrahim System for achieving enhanced performance and data availability in a unified redundant array of disk drives by using user defined partitioning and level of redundancy
US5491810A (en) * 1994-03-01 1996-02-13 International Business Machines Corporation Method and system for automated data storage system space allocation utilizing prioritized data set parameters
US20020128815A1 (en) * 2001-01-06 2002-09-12 Merchant Arif A. Automatic configuration of a data storage system
US6718434B2 (en) * 2001-05-31 2004-04-06 Hewlett-Packard Development Company, L.P. Method and apparatus for assigning raid levels
JP4113352B2 (ja) * 2001-10-31 2008-07-09 株式会社日立製作所 ストレージ・ネットワークにおけるストレージ・リソース運用管理方法
US7254813B2 (en) * 2002-03-21 2007-08-07 Network Appliance, Inc. Method and apparatus for resource allocation in a raid system
US7152142B1 (en) * 2002-10-25 2006-12-19 Copan Systems, Inc. Method for a workload-adaptive high performance storage system with data protection
US7159093B2 (en) * 2002-12-20 2007-01-02 Veritas Operating Corporation Development of a detailed logical volume configuration from high-level user requirements
US7191283B2 (en) * 2003-08-21 2007-03-13 International Business Machines Corporation Grouping of storage media based on parameters associated with the storage media
JP4568502B2 (ja) * 2004-01-09 2010-10-27 株式会社日立製作所 情報処理システムおよび管理装置
JP2005228278A (ja) * 2004-01-14 2005-08-25 Hitachi Ltd 記憶領域の管理方法、管理装置及び管理プログラム
US7062628B2 (en) * 2004-09-28 2006-06-13 Hitachi, Ltd. Method and apparatus for storage pooling and provisioning for journal based storage and recovery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350707A (ja) * 2000-06-06 2001-12-21 Hitachi Ltd 情報処理システム、記憶装置の割り当て方法
JP2002222061A (ja) * 2001-01-25 2002-08-09 Hitachi Ltd 記憶領域を設定する方法、記憶装置およびプログラム記憶媒体
JP2003316618A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd コンピュータシステム

Also Published As

Publication number Publication date
EP1811392A1 (en) 2007-07-25
EP1811392A4 (en) 2008-05-14
WO2006038286A1 (ja) 2006-04-13
US20070233952A1 (en) 2007-10-04

Similar Documents

Publication Publication Date Title
US20070233952A1 (en) System environment setting support program, system environment setting support method, and system environment setting support apparatus
US6718436B2 (en) Method for managing logical volume in order to support dynamic online resizing and software raid and to minimize metadata and computer readable medium storing the same
US8234467B2 (en) Storage management device, storage system control device, storage medium storing storage management program, and storage system
JP4643395B2 (ja) ストレージシステム及びデータの移動方法
JP5178854B2 (ja) ストレージシステム及びデータ再配置制御装置
US7502904B2 (en) Information processing system and management device for managing relocation of data based on a change in the characteristics of the data over time
KR100490723B1 (ko) 파일 레벨 스트라이핑 장치 및 방법
US7966470B2 (en) Apparatus and method for managing logical volume in distributed storage systems
JP2007066259A (ja) 計算機システムとストレージシステム並びにボリューム容量拡張方法
JP4842909B2 (ja) ストレージシステム及びデータ再配置制御装置
JP2008217216A (ja) 負荷分散方法及び計算機システム
JP4643597B2 (ja) ストレージシステム及びデータ再配置制御装置
JP2007156815A (ja) データマイグレーション方法及びシステム
US20100049918A1 (en) Virtual disk management program, storage device management program, multinode storage system, and virtual disk managing method
JP2006065709A (ja) データ処理システム
US8151048B1 (en) Managing storage pool provisioning
JP2016118821A (ja) ストレージ管理装置、ストレージ管理方法およびストレージ管理プログラム
JP5148664B2 (ja) 設定プログラム、および設定装置
JP4501548B2 (ja) 計算機システム及びそのデバイスの割り当て方法
JP6005446B2 (ja) ストレージシステム、仮想化制御装置、情報処理装置、および、ストレージシステムの制御方法
EP1895395A1 (en) Information processing apparatus and control method therefor
JP6015752B2 (ja) 情報処理装置、情報処理プログラム、およびアクセス制御方法
JP2011070464A (ja) 計算機システム及び計算機システムの性能管理方法
JP5640618B2 (ja) 管理プログラム、管理装置、および管理方法
JP6957845B2 (ja) ストレージ制御装置及びストレージ装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100811

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100818

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120123