JP4555703B2 - 領域集合設定方法、および、ネットワークシステム - Google Patents

領域集合設定方法、および、ネットワークシステム Download PDF

Info

Publication number
JP4555703B2
JP4555703B2 JP2005046423A JP2005046423A JP4555703B2 JP 4555703 B2 JP4555703 B2 JP 4555703B2 JP 2005046423 A JP2005046423 A JP 2005046423A JP 2005046423 A JP2005046423 A JP 2005046423A JP 4555703 B2 JP4555703 B2 JP 4555703B2
Authority
JP
Japan
Prior art keywords
area
storage device
information
link
mediation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005046423A
Other languages
English (en)
Other versions
JP2006235775A (ja
JP2006235775A5 (ja
Inventor
潤 水野
健史 石崎
山本  政行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005046423A priority Critical patent/JP4555703B2/ja
Priority to US11/180,535 priority patent/US7350052B2/en
Publication of JP2006235775A publication Critical patent/JP2006235775A/ja
Publication of JP2006235775A5 publication Critical patent/JP2006235775A5/ja
Priority to US12/045,455 priority patent/US7827382B2/en
Application granted granted Critical
Publication of JP4555703B2 publication Critical patent/JP4555703B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、領域集合設定方法、および、ネットワークシステムに関する。
ハードウェアの仮想化技術が、普及している。仮想化とは、ハードウェアが実際には所定の装置には備えられていないが、所定の装置があたかもハードウェアを備えているかのようにして、ユーザにそのハードウェアを利用させる技術である。
仮想化を実現するときには、第1装置が仮想化して提供する仮想的なデバイスから、第2装置が有している物理的なデバイス(実際にハードウェアとして存在するデバイス)を利用するように、仮想的なデバイスから物理的なデバイスへのリンクを設定する方式が、一般的である。そして、第1装置がユーザ端末から仮想的なデバイスへの利用要求を受けると、そのリンクを辿り、第2装置の物理的なデバイスを利用させる。つまり、第1装置は、ユーザ端末と第2装置との間のデバイスの利用を仲介する役割を有する。
図14は、ハードウェアとして、ハードディスクなどの記憶手段に格納される記憶領域を仮想化する一例を示す図である。図14(a)は、記憶装置R1が、記憶装置R2の物理的なデバイスを仮想化している。なお、以下において、記憶領域(単に領域とする)は、仮想化されたリンク領域(リンク元)、または、物理的なデバイスである実領域(リンク先)と分類することとする。記憶装置R2は、3つの物理的な領域(LU5、LU6、LU7)を有する。記憶装置R1は、そのうち2つの領域(LU5、LU6)を仮想化して、記憶装置R1が有する記憶領域であるかのようにして、ユーザに記憶装置R2を利用させている。そして、記憶装置R1は、仮想化した2つの領域をまとめた1つの領域集合AG1として、提供する。なお、領域集合は、計算機の要求する条件に合致したリンク領域を束ねるものとする。
このように、記憶装置の領域を仮想化する場合には、大きな一つの領域集合(LU5、LU6、LU7)を作成するのではなく、用途に応じて領域集合を作成する(LU5、LU6)こともある。例えば、特許文献1では、記憶装置の領域の作成時に、仮想化の対象となる領域のディスク種別やRAID(Redundant Arrays of Inexpensive Disks)レベルなどのディスク仕様により、グループ分けする方法が記載されている。
特開2004−178253号公報
しかしながら、従来の仮想化技術は、物理的なデバイスと仮想化されたデバイスとの区別は、隠蔽されていた。用途によっては、両者の区別をしないほうが便利ではある。しかし、負荷分散など、ハードウェアの特性を活かした処理を行うときには、両者の区別は必要となる。
図14(b)は、領域を仮想化する別の一例を示す図である。記憶装置R2が有する4つの領域(LU5、LU6、LU7、LU8)は、2枚の物理ディスク(LU5、LU6、LU7が属するディスク、および、LU8が属するディスク)に割り当てられている。そして、記憶装置R1は、仮想化された領域を、2つの領域集合(AG3、AG4)にまとめて、提供する。
ここで、AG3の属するリンク領域(LU5、LU6)に対応する実領域は、同じディスクに収まっている。一方、AG4の属するリンク領域(LU7、LU8)に対応する実領域は、別々のディスクに収まっている。そして、例えば、2つの領域集合に処理を振り分け、同時に2つの領域集合を使用すると、2つの領域集合(AG3、AG4)は同じ物理ディスク(LU5、LU6、LU7が属するディスク)を使用しているので、負荷分散を実現することはできない。
これは、物理ディスクにおける領域の配置情報とは無関係に、領域集合が設定されていることが原因である。従来技術のように、ディスク種別やRAIDレベルなどのディスク仕様に基づき領域集合を作成した場合、領域集合には物理ディスク情報が存在しない。そのため、計算機へ領域を割り当てる際に、同一の物理ディスクから成る複数の領域を負荷の高い領域に割り当て、その結果、同一ディスクから成る他領域へのI/Oの影響により、領域の性能が低下してしまう。
そこで、本発明は、仮想化された領域を有する領域集合を負荷分散に適するように構成することを、主な目的とする。
本発明は、物理デバイスと前記物理デバイスに属する複数の実領域を有する下位記憶装置と、前記実領域へデータアクセスする領域アクセス手段と、複数の前記実領域とリンクする複数のリンク領域を有し複数の前記リンク領域をまとめたリンク領域集合をもとに前記データアクセスを仲介する上位記憶装置と前記データアクセスの仲介に関する設定を行う管理サーバと、を有するシステムにおける領域集合設定方法であって、
前記管理サーバが、
前記実領域の情報、および、前記実領域が属する物理デバイスを示すポート情報を取得する記憶装置情報取得手順と、
前記実領域の情報をもとに、前記実領域へのリンク領域を作成する手順と、
前記ポート情報をもとに、同じリンク領域集合に属するそれぞれのリンク領域が同じ物理デバイスに属する実領域とリンクするように、前記リンク領域集合を作成する手順と、
前記作成された前記リンク領域集合を、前記上位記憶装置に設定する手順と、
を実行することを特徴とする。その他の手段は、後記する。
本発明は、下位記憶装置の実領域の物理的な配置を上位記憶装置のリンク領域集合とすることにより、管理者は、領域集合を構成するリンク領域の物理的な配置を把握することができる。その結果、仮想化された領域を有する領域集合を負荷分散に適するように構成することができる。
まず、本発明の一実施形態(第1実施形態、第2実施形態)が、仮想化された領域を有する領域集合を負荷分散に適するように構成するしくみの概要について、説明する。図1は、領域集合の構成例である。
上位記憶装置2は、下位記憶装置3の物理的なデバイス(AG1−1,AG1−2)の中の実領域(LU1,LU2,LU3)を、仮想化する。仮想化されたリンク領域集合は、AG#5−1,AG#5−2の2つである。ここで、上位記憶装置2は、下位記憶装置3の物理的なデバイスの構成(AG1−1,AG1−2)と同じように区切ったリンク領域集合(AG#5−1,AG#5−2)を構成することを特徴とする。
このように、物理的なデバイスと、リンク領域集合とを同じ単位で区切ることにより、1つのリンク領域集合は、1つの物理的なデバイスにだけ、対応づけられる。これにより、複数のリンク領域集合を同時に使用しても、使用する物理的なデバイスは重複しないので、負荷分散を実現することができる。なお、上位記憶装置2は、自ら物理的なデバイスAG1−3を有し、この物理的なデバイスもリンク領域集合と同様にして、ユーザに使用させてもよい。
以下に、本発明の第1実施形態を説明する。図2は、本発明の第1実施形態が適用された記憶装置管理システムのハードウェア構成図である。図示するように、本実施形態の記憶装置管理システムは、管理サーバ1と、少なくとも1つの領域アクセス端末4と、少なくとも1つの上位記憶装置2と、少なくとも1つの下位記憶装置3と、から構成される。
記憶装置管理システムの各装置は、演算処理を行う際に用いられる記憶手段30としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備えるコンピュータとして構成される。なお、メモリは、RAM(Random Access Memory)などにより構成される。演算処理は、CPU(Central Processing Unit)によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。なお、プログラムおよびプログラムが使用するデータは、HDD(Hard Disk Drive)などの記憶手段30(図3参照)に格納される。さらに、各装置は、装置内の各構成要素を接続する内部バスを有する。記憶手段30を構成する物理デバイスは、例えば、磁気ディスク、光ディスク、光磁気ディスク、および、磁気テープのうち、少なくとも1つのデバイスである。
各装置の役割の概要を説明する。まず、下位記憶装置3は、仮想化される実領域を提供する。上位記憶装置2は、下位記憶装置3から取得した領域情報をもとに、下位記憶装置3の実領域を、領域アクセス端末4に仲介する。下位記憶装置3の実領域は、上位記憶装置2が提供する領域集合のリンク領域とリンクする。領域アクセス端末4は、上位記憶装置2が提供する領域集合にアクセスすることにより、下位記憶装置3の実領域を間接的にアクセスすることができる。
管理サーバ1は、管理者が入力した仲介設定ファイル32をもとに、上位記憶装置2が仲介を行うための設定を上位記憶装置2に行う。そのため、管理サーバ1は、仲介設定ファイル32(図3参照)の入力を受け付ける入力装置と、管理者に情報を提供する出力装置と、仲介を行うための設定を上位記憶装置2に対して通知するためのネットワークインタフェースである通信ポート(管理用)とを有する。
記憶装置は、上位記憶装置2または下位記憶装置3のいずれかに分類できる。領域の仲介は、記憶装置を領域アクセス端末4から見て上位記憶装置2、下位記憶装置3の順に直列に接続し、下位記憶装置3の領域をあたかも上位記憶装置2の領域であるかのように見せるものである。上位記憶装置2に新しい記憶装置を、下位記憶装置3に古いもしくは安価な記憶装置を利用して領域を仲介する場合、古いもしくは安価な記憶装置でも新しい記憶装置の機能や、高性能で大容量のキャッシュを利用可能となり、古いもしくは安価な記憶装置を有効利用できる。
上位記憶装置2は、通信に利用するインタフェースとして、領域アクセス端末4と接続する通信ポート、仲介領域を保持する下位記憶装置3との通信に利用するインタフェースである通信ポート(仲介用)、および、管理用データの通信に利用するインタフェースである通信ポート(管理用)を有する。下位記憶装置3は、領域アクセス端末4とは直接接続しないので、領域アクセス端末4との通信ポートは有していない。
上位記憶装置2は、内部で保持する複数の物理ディスク(HDD)により、RAIDを構成することができる。RAIDを構成する物理ディスク内の1つ以上領域をまとめたものが、領域集合である。また、上位記憶装置2は、領域アクセス端末4が利用可能な領域を領域集合の中で設定する。下位記憶装置3は、上位記憶装置2の構成と同様である。なお、下位記憶装置3は、上位記憶装置2として動作しないときには、他の下位記憶装置3の領域をリンク領域として保持するための構成を、保持しなくてもよい。
図3は、記憶装置管理システムの詳細を示す構成図である。
図3の管理サーバ1は、プログラムを実行する制御手段10と、プログラムおよびデータを記憶する記憶手段30とを有する。制御手段10は、ポート情報収集部12、領域情報収集部14、領域集合生成部16、領域集合設定部18、および、仲介指示部20を有する。記憶手段30は、仲介設定ファイル32、仲介情報DB34、リンク領域集合DB36、および、記憶装置DB38を有する。
管理サーバ1は、記憶装置に関する情報を収集するために、ポート情報収集部12および領域情報収集部14を備える。ポート情報収集部12は、上位記憶装置2および下位記憶装置3におけるポート設定情報を収集する。領域情報収集部14は、下位記憶装置3における領域情報を収集する。
管理サーバ1は、記憶装置に関する情報をもとに領域を仲介するために、領域集合生成部16、領域集合設定部18、および、仲介指示部20を有する。領域集合生成部16は、1つ以上の領域集合をまとめることにより、領域集合(リンク領域集合)を生成する。領域集合設定部18は、領域集合生成部16によって生成された領域集合を、上位記憶装置2に設定する。仲介指示部20は、領域集合設定部18が設定した領域集合をもとに、領域の仲介を行うよう、上位記憶装置2に指示する。
図4は、仲介設定ファイル32を示す構成図である。仲介設定ファイル32は、管理者が入力した領域集合の仲介に関する情報を保存する。なお、仲介に関する情報は、仲介設定ファイル32として設定する形式でもよいし、GUI(Graphical User Interface)を用いて領域集合仲介を行う形式であってもよい。
仲介設定ファイル32は、上位記憶装置情報と仲介領域情報から構成される。上位記憶装置情報は、上位記憶装置2のIDと、リンク領域のIDと、仲介領域への接続に使用するポートを示す仲介ポートのIDとから構成される。仲介領域情報は、仲介領域へ接続するために使用する下位記憶装置3のポートのポートアドレスと、仲介領域のIDとから構成される。仲介領域情報は、ポートアドレスと、仲介領域のIDとの組み合わせにより、ネットワークに接続される複数の記憶装置が有する複数の領域を、ユニークに特定する用途で使用される。
図5は、仲介情報DB34を示す構成図である。仲介情報DB34は、上位記憶装置情報と仲介領域情報とから構成される。上位記憶装置情報は、上位記憶装置2のIDと、仲介後のリンク領域のIDと、仲介領域への接続に使用するポートを示す仲介ポートのIDと、リンク領域が属するリンク領域集合を示すリンク領域集合のIDとから構成される。仲介領域情報は、仲介領域を保持する記憶装置のIDと、仲介領域へ接続するために使用する下位記憶装置3のポートのポートアドレスと、仲介領域のIDと、領域のIDと、仲介領域のRAIDレベルを示すRAIDレベルと、仲介領域のディスク種別を示すディスク種別と、仲介領域が属する領域集合を示す領域集合とから構成される。
図6(a)は、管理サーバ1のリンク領域集合DB36を示す構成図である。リンク領域集合DB36は、上位記憶装置2のIDと、上位記憶装置2内で使用するリンク領域集合のIDと、下位記憶装置3のIDと、下位記憶装置3内の実領域集合のIDとから構成される。
図7(a)は、第1実施形態における記憶装置DB38を示す構成図である。この記憶装置DB38は、記憶装置のIDと、記憶装置が保持するポートのポートアドレスとから構成される。
図3の上位記憶装置2は、領域集合仲介部40、リンク領域集合DB36、ポート情報DB44、および、領域集合DB46を有する。そして、図3の下位記憶装置3は、ポート情報DB44および領域集合DB46を有する。
図6(b)は、上位記憶装置2のリンク領域集合DB36を示す構成図である。リンク領域集合DB36は、上位記憶装置2内で管理するリンク領域集合のIDから構成される。
図8は、ポート情報DB44を示す構成図である。ポート情報収集部12は、ポート情報DB44から、ポート情報を取得する。ポート情報DB44はポートのポート番号と、ポートのポートアドレスと、ポートの配下にある仲介領域のIDと、ポートの配下にある領域のIDから構成される。
図9(a)は、下位記憶装置3の領域集合DB46を示す構成図である。領域集合DB46は、領域情報収集部14からの要求に応じて領域情報を応答として送信する。領域集合DB46は、領域のIDと、領域のRAIDレベルを示すRAIDレベルと、領域のディスク種別を示すディスク種別と、領域が属する領域集合を示す領域集合から構成される。
図9(b)は、上位記憶装置2の領域集合DB46を示す構成図である。この領域集合DB46は、図9(a)のように、自装置が有する実領域に関する情報に加え、下位記憶装置3の実領域をリンクしたリンク領域に関する情報も併せて格納している。よって、領域集合DB46は、領域のIDと、領域のRAIDレベルを示すRAIDレベルと、領域のディスク種別を示すディスク種別と、領域が属する領域集合を示す領域集合と、領域がリンク領域であるかを示すリンク領域フラグと、仲介領域への接続に使用する仲介ポートと、仲介領域への接続に使用する下位記憶装置3のポートのポートアドレスと、仲介領域のIDとから構成される。
領域集合DB46(図9(a)および図9(b))は、領域と、その領域が属する領域集合との対応情報を格納する。この対応情報を参照することにより、領域集合に含まれる全領域を特定することができる。
図10は、第1実施形態におけるメイン処理を示すフローチャートである。このメイン処理は、例えば、管理者が入力した仲介設定ファイル32に従って、管理者が仲介の設定を指示したときに、起動される。メイン処理を実行することにより、仲介されたリンク領域を保持する上位記憶装置2においても、下位記憶装置3における領域集合と等価なリンク領域集合を保持することができ、管理者が領域アクセス端末4に対して上位記憶装置2のリンク領域を割り当てる際に、物理ディスクの配置を考慮に入れた領域割り当てが可能となる。
まず、制御手段10は、仲介設定ファイル32を読み込み、仲介情報DB34に保存する(S101)。
次に、制御手段10は、仲介情報DB34のレコード毎にポート情報収集部12を用いたポート情報収集と、領域情報収集部14を用いた領域情報収集を行う。制御手段10は、情報(ポート情報と領域情報)未収集のレコードが存在するか否かを判断する(S102)。
情報未収集のレコードが存在するときには(S102、YES)、ポート情報収集部12は、下位記憶装置3からポート情報を収集する(S111)。そして、領域情報収集部14は、下位記憶装置3から領域情報を収集する(S112)。そして、制御手段10は、処理をS102に戻す。
一方、情報未収集のレコードが存在しないときには(S102、NO)、領域集合生成部16は、リンク領域集合を作成する(S121)。そして、制御手段10は、上位記憶装置2にリンク領域集合を設定する(S122)。さらに、制御手段10は、上位記憶装置2にリンク領域集合の仲介を指示する(S123)。
図11は、図10のフローチャートから利用される記憶装置情報の収集処理を示すフローチャートである。図11(a)は、ポート情報収集部12が行うポート情報の収集処理(S111)を示すフローチャートである。
まず、ポート情報収集部12は、記憶装置DB38を、仲介情報DB34のポート情報収集が未処理であるレコードのうち最初のレコードに含まれるポートアドレスで検索し、同一のポートアドレスを保持する記憶装置のIDを取得する(S201)。これが下位記憶装置3のIDである。
次に、ポート情報収集部12は、取得した装置IDを用いて下位記憶装置3に対してポート情報の要求通知を送信する(S202)。ポート情報の要求通知には、送信元装置のIDと、ポートアドレスが含まれる。送信する要求通知は、送信元装置IDを管理サーバ1自身の装置IDとして、ポートアドレスを仲介情報DB34に含まれるポート情報収集が未処理であるレコードのうち最初のレコードに含まれるポートアドレスとしたものである。
下位記憶装置3は、ポート情報の要求通知を受信すると、要求通知に含まれるポートアドレスでメモリ内に保持するポート情報DB44を検索し、要求通知に含まれるポートアドレスが割り当てられたポート情報を応答として送信する。
ポート情報収集部12は、受信したポート情報のうち領域IDを、仲介情報DB34に含まれるポート情報収集未処理レコードのうち最初のレコードにおける仲介領域情報の領域IDとして保存する(S203)。
図11(b)は、領域情報収集部14が行う領域情報の収集処理(S112)を示すフローチャートである。
まず、領域情報収集部14は、仲介情報DB34の領域情報収集が未処理であるレコードのうち、最初のレコードに含まれるポートアドレスで記憶装置DB38を検索し、同一のポートアドレスを保持する記憶装置の装置IDを取得する(S301)。これが下位記憶装置3の装置IDである。
次に、領域情報収集部14は、取得した装置IDを用いて下位記憶装置3に対して領域情報の要求通知を送信する(S302)。領域情報の要求通知には、送信元装置IDと、領域IDが含まれる。
送信する領域情報要求通知は、送信元装置IDを管理サーバ1自身の装置IDとして、領域IDを仲介情報DB34に含まれる領域情報収集が未処理のレコードのうち、最初のレコードの領域識別子としたものである。
下位記憶装置3は、領域情報の要求通知を受信すると、要求通知に含まれる領域識別子でメモリ内に保持する領域集合DB46を検索し、要求通知に含まれる領域識別子の領域の領域情報を応答として送信する。
領域情報収集部14は、受信した領域情報のうちRAIDレベル、ディスク種別、領域集合を、仲介情報DB34に含まれる領域情報収集が未処理のレコードのうち、最初のレコードにおける仲介領域情報のRAIDレベル、ディスク種別、領域集合としてそれぞれ保存する(S303)。
図12は、図10のフローチャートから利用される領域集合の作成処理(S121)を示すフローチャートである。
領域集合生成部16は、仲介情報DB34に含まれるレコードを全て処理したかを確認する(S401)。未処理のレコードが存在する場合には(S401、YES)、未処理のレコードに対して、以下に説明する処理を行う。
まず、該当するレコードの上位記憶装置情報の装置IDと、仲介領域情報の装置IDと、仲介領域情報の領域集合の値が、リンク領域集合DB36の上位記憶装置IDと、下位記憶装置IDと、領域集合の値と全て一致するリンク領域集合DB36のレコードが存在するか確認する(S402)。
前記項目が全て一致するレコードがリンク領域集合DB36に存在しない場合には(S402、NO)、リンク領域集合DB36のリンク領域集合の値として利用されていない値をリンク領域集合DB36の該当するレコードのリンク領域集合の値とする(S403)。または、リンク領域集合DB36に新規の領域集合を追加する際の命名規則は数値を1ずつ加算する方法でもよい。
領域集合生成部16は、リンク領域集合DB36への登録が終了した、もしくは、前記項目が全て一致するレコードがリンク領域集合DB36に存在する場合には(S402、YES)、該当するレコードのリンク領域集合の値を仲介情報DB34の該当するレコードのリンク領域集合の値とする(S404)。
そして、領域集合生成部16は、仲介情報DB34のレコードを全て処理したかを確認する処理(S401)に戻る。仲介情報DB34のレコードが全て処理されていれば、領域集合生成部16の処理は終了である。以上が、領域集合生成部16の動作の説明である。
ここで、領域集合設定部18によるリンク領域集合の設定処理(S122)を具体的に説明する。
上位記憶装置2は、リンク領域集合の設定要求を受信すると、リンク領域集合DB36を更新し、リンク領域集合の追加、削除ができる。上位記憶装置2が受信するリンク領域集合の設定要求通知は、リンク領域集合の追加や削除を指定する設定種別と、リンク領域集合の情報(IDなど)を含む。
領域集合設定部18は、リンク領域集合DB36のレコード毎に上位記憶装置2に対して、リンク領域集合の設定要求通知を送信する。領域集合設定部18が送信する設定要求通知は、リンク領域集合DB36のレコードに含まれる情報を基に作成する。設定種別には追加を値として指定し、リンク領域集合としてリンク領域集合DB36のリンク領域集合を指定する。領域集合設定部18は、上位記憶装置2に対して、リンク領域集合DB36で保持する全てのレコードのリンク領域集合を設定する。
さらに、仲介指示部20によるリンク領域集合の仲介指示処理(S123)を具体的に説明する。
仲介指示部20は、仲介情報DB34で保持する全てのレコードについて、以下に示す上位記憶装置2に領域集合仲介を実行させるための指示を行う。
まず、仲介指示部20は、仲介情報DB34のレコード毎に、上位記憶装置2に対して領域集合仲介要求を送信する。仲介指示部20が送信する領域集合仲介要求は、仲介情報DB34のレコードの内容を基に作成する。
なお、領域集合仲介要求は、リンク領域の領域IDと、リンク領域のRAIDレベルと、リンク領域のディスク種別と、リンク領域の領域集合と、仲介領域との通信に使用する仲介ポートと、仲介領域との通信に使用するポートのポートアドレスと、仲介領域のIDと、の情報を含む。
仲介指示部20は、領域集合仲介要求において、領域IDとして上位記憶装置情報の領域IDを、RAIDレベルとして仲介領域情報のRAIDレベルを、ディスク種別として仲介領域情報のディスク種別を、領域集合として上位記憶装置情報のリンク領域集合を、仲介ポートとして上位記憶装置情報の仲介情報を、ポートアドレスとして仲介領域情報のポートアドレスを、仲介領域IDとして仲介領域情報の仲介領域IDをそれぞれ指定する。
上位記憶装置2は、仲介指示部20からの領域集合仲介の要求を受信すると、領域集合DB46を更新し、仲介の設定を行うことができる。
以上、第1実施形態について、説明した。この第1実施形態によれば、仮想化された領域を有する領域集合を負荷分散に適することができる。次に、第2実施形態について、説明する。第1実施形態と第2実施形態との差異は、仲介設定ファイル32を入力する時期である。まず、第1実施形態では、記憶装置に関する情報を収集する(S111、S112)前に、仲介設定ファイル32を入力する(S101)。一方、第2実施形態では、記憶装置に関する情報を収集した(S105、S106)後に、仲介設定ファイル32を入力する(S109)。よって、第2実施形態において管理者は、入力する仲介設定ファイル32を作成する際に、記憶装置に関する情報を参照することができる。
第2実施形態は、第1実施形態と類似するので、重複する箇所は同一の符号を付してその説明を省略し、差異の部分を説明する。差異とは具体的には、管理サーバ1のハードディスク内に保持するプログラムとデータベース内で保持する情報が第1実施形態と異なる。
第2実施形態における管理サーバ1は、管理者の指示を受けて、管理下の記憶装置の情報(ポート情報や領域情報などの)を取得し、取得した記憶装置情報を出力装置に出力する。さらに、管理者の指示により、管理者が用意した仲介設定ファイル32を読み込み、上位記憶装置2に領域集合仲介の指示を行う。
本実施形態により、仲介されたリンク領域を保持する上位記憶装置2においても、下位記憶装置3における領域集合と等価なリンク領域集合を保持することができ、管理者が領域アクセス端末4に対して上位記憶装置2のリンク領域を割り当てる際に、物理ディスクの配置を考慮に入れた領域割り当てが可能となる。
図7(b)は、第2実施形態における記憶装置DB38を示す構成図である。この記憶装置DB38は、受信したポート情報をポート情報毎のレコードとして保存する。よって、記憶装置DB38は、記憶装置のIDと、ポート番号と、ポートアドレスと、仲介領域のIDと、領域IDと、RAIDレベルと、ディスク種別と、領域集合から構成される。
図13は、第2実施形態におけるメイン処理を示すフローチャートである。
まず、図13(a)に示す記憶装置情報の収集処理を説明する。
管理者は、管理サーバ1の制御手段10を起動するコマンドを実行する(S104)。
次に、制御手段10は、ポート情報収集部12を用いて管理下の記憶装置からポート情報を収集する(S105)。ポート情報収集部12は、データベース内に保持する記憶装置DB38の装置IDを参照し、記憶装置DB38に登録されている記憶装置に対して、ポート情報の要求通知を送信する。
記憶装置は、ポート情報の要求通知を受信すると、記憶装置がメモリ上に図8で示す形式で保持するポート情報DB44に含まれるポート情報を全て応答として管理サーバ1へ送信するものとする。また、送信するポート情報にはヘッダ情報の送信元装置情報として記憶装置の装置IDを付加する。ポート情報収集部12は、受信したポート情報を記憶装置DB38にポート情報毎のレコードとして保存する。
ポート情報収集部12は、受信したポート情報に含まれる送信元装置情報と、受信したポート情報に含まれるポートアドレスと、受信したポート情報に含まれる仲介領域のIDと、受信したポート情報に含まれる領域IDをそれぞれ、記憶装置DB38における、装置IDと、ポート番号と、ポートアドレスと、仲介領域のIDと、領域IDとして保存する。以上が、ポート情報収集部12における処理の説明である。
そして、制御手段10は、領域情報収集部14を用いて管理下の記憶装置から領域情報を収集する(S106)。
領域情報収集部14は、データベース内に保持する記憶装置DB38の装置IDを参照し、記憶装置DB38に登録されている記憶装置に対して、領域情報の要求通知を送信する。
記憶装置は、領域情報の要求通知を受信すると、記憶装置がメモリ上に図12で示す形式で保持する領域集合DB46に含まれる領域情報を全て応答として管理サーバ1へ送信するものとする。また、送信するポート情報にはヘッダ情報の送信元装置情報として記憶装置の装置IDを付加する。
領域情報収集部14は、受信した領域情報を記憶装置DB38内のレコードのうち、装置IDと、領域IDが一致するレコードの領域情報として保存する。以下で、領域情報収集部14が領域情報を保存する処理を説明する。領域情報収集部14は、以下で説明する処理を、取得した領域情報毎に行う。
領域情報収集部14は、受信した領域情報に含まれる送信元装置情報と、受信したポート情報に含まれる領域IDを用いて記憶装置DB38内のレコードを検索し、一致するレコードのRAIDレベルと、ディスク種別と、領域集合として、受信した領域情報に含まれるRAIDレベルと、ディスク種別と、領域集合の値を保存する。以上が、領域情報収集部14が領域情報を保存する処理の説明である。以上が、領域情報収集部14における処理の説明である。
次に、制御手段10は、記憶装置DB38に含まれる情報を出力装置に出力する(S107)。
以上説明した記憶装置情報の収集処理により、管理者は、記憶装置情報を取得することができる。そして、管理者は、記憶装置情報を元に、仲介設定ファイル32を作成する。さらに、作成した仲介設定ファイル32をもとに、図13(b)に示す仲介を指示する処理について、以下説明する。
図13(b)は、領域集合の仲介を指示する処理を示すフローチャートである。
まず、管理者は、管理サーバ1の制御手段10を起動するコマンドを実行する(S108)。この後の処理は、図10に示す処理と同じである。具体的には、管理サーバ1は、仲介設定ファイル32を読み込み(S109)、領域集合生成部16は、リンク領域集合を作成し(S121)、制御手段10は、上位記憶装置2にリンク領域集合を設定し(S122)、そのリンク領域集合の仲介を指示する(S123)。
以上説明した第2実施形態によれば、領域集合仲介を行う際に、管理者が仲介領域の領域集合を把握することで適切な仲介領域をリンク領域として領域集合仲介することが可能となる。以上説明した本発明は、以下のようにその趣旨を逸脱しない範囲で広く変形実施することができる。
例えば、実施形態では、管理サーバ1と上位記憶装置2は異なる装置で動作するとしているが、上位記憶装置2のメモリに管理サーバ1で行われる処理を実行するプログラムを保持する構成であってもよい。
また、図2において管理用、仲介用の2つのネットワークは、1つに統合してもよい。
本発明の一実施形態に関する領域集合の構成例を示す説明図である。 本発明の一実施形態に関する記憶装置管理システムのハードウェアを示す構成図である。 本発明の一実施形態に関する記憶装置管理システムの詳細を示す構成図である。 本発明の一実施形態に関する仲介設定ファイルを示す構成図である。 本発明の一実施形態に関する仲介情報DBを示す構成図である。 本発明の一実施形態に関するリンク領域集合DBを示す構成図である。 本発明の一実施形態に関する記憶装置DBを示す構成図である。 本発明の一実施形態に関するポート情報DBを示す構成図である。 本発明の一実施形態に関する領域集合DBを示す構成図である。 本発明の第1実施形態に関するメイン処理を示すフローチャートである。 本発明の第1実施形態に関する記憶装置情報の収集処理を示すフローチャートである。 本発明の第1実施形態に関する領域集合の作成処理を示すフローチャートである。 本発明の第2実施形態に関するメイン処理を示すフローチャートである。 記憶領域の仮想化を示す説明図である。
符号の説明
1 管理サーバ
2 上位記憶装置
3 下位記憶装置
4 領域アクセス端末
10 制御手段
12 ポート情報収集部
14 領域情報収集部
16 領域集合生成部
18 領域集合設定部
20 仲介指示部
30 記憶手段
32 仲介設定ファイル
34 仲介情報DB
36 リンク領域集合DB
38 記憶装置DB
40 領域集合仲介部
44 ポート情報DB
46 領域集合DB

Claims (8)

  1. 物理デバイスと前記物理デバイスに属する複数の実領域を有する下位記憶装置と、前記実領域へデータアクセスする領域アクセス手段と、複数の前記実領域とリンクする複数のリンク領域を有し複数の前記リンク領域をまとめたリンク領域集合をもとに前記データアクセスを仲介する上位記憶装置と前記データアクセスの仲介に関する設定を行う管理サーバと、を有するシステムにおける領域集合設定方法であって、
    前記管理サーバが、
    前記実領域の情報、および、前記実領域が属する物理デバイスを示すポート情報を取得する記憶装置情報取得手順と、
    前記実領域の情報をもとに、前記実領域へのリンク領域を作成する手順と、
    前記ポート情報をもとに、同じリンク領域集合に属するそれぞれのリンク領域が同じ物理デバイスに属する実領域とリンクするように、前記リンク領域集合を作成する手順と、
    前記作成された前記リンク領域集合を、前記上位記憶装置に設定する手順と、
    を実行することを特徴とする領域集合設定方法。
  2. 前記記憶装置情報取得手順は、取得した情報を出力する処理を含むことを特徴とする請求項1に記載の領域集合設定方法。
  3. 前記記憶装置情報取得手順は、入力された設定情報によって指定された領域に関する情報のみを取得することを特徴とする請求項1または請求項2に記載の領域集合設定方法。
  4. 前記物理デバイスは、磁気ディスク、光ディスク、光磁気ディスク、および、磁気テープのうち、少なくとも1つのデバイスであることを特徴とする請求項1ないし請求項3のいずれか1項に記載の領域集合設定方法。
  5. 物理デバイスと前記物理デバイスに属する複数の実領域を有する下位記憶装置と、前記実領域へデータアクセスする領域アクセス手段と、複数の前記実領域とリンクする複数のリンク領域を有し複数の前記リンク領域をまとめたリンク領域集合をもとに前記データアクセスを仲介する上位記憶装置と前記データアクセスの仲介に関する設定を行う管理サーバと、を有するネットワークシステムであって、
    前記管理サーバが、
    前記実領域の情報、および、前記実領域が属する物理デバイスを示すポート情報を取得し、
    前記実領域の情報をもとに、前記実領域へのリンク領域を作成し、
    前記ポート情報をもとに、同じリンク領域集合に属するそれぞれのリンク領域が同じ物理デバイスに属する実領域とリンクするように、前記リンク領域集合を作成し、
    前記作成された前記リンク領域集合を、前記上位記憶装置に設定するための構成を有することを特徴とするネットワークシステム。
  6. 前記管理サーバは、取得した前記実領域の情報および前記ポート情報を出力するための構成を有することを特徴とする請求項5に記載のネットワークシステム。
  7. 前記管理サーバは、入力された設定情報によって指定された領域に関する情報のみを取得するための構成を有することを特徴とする請求項5または請求項6に記載のネットワークシステム。
  8. 前記物理デバイスは、磁気ディスク、光ディスク、光磁気ディスク、および、磁気テープのうち、少なくとも1つのデバイスであることを特徴とする請求項5ないし請求項7のいずれか1項に記載のネットワークシステム。
JP2005046423A 2005-02-23 2005-02-23 領域集合設定方法、および、ネットワークシステム Expired - Fee Related JP4555703B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005046423A JP4555703B2 (ja) 2005-02-23 2005-02-23 領域集合設定方法、および、ネットワークシステム
US11/180,535 US7350052B2 (en) 2005-02-23 2005-07-14 Network system and method for setting volume group in the network system
US12/045,455 US7827382B2 (en) 2005-02-23 2008-03-10 Network system and method for setting volume group in the network system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005046423A JP4555703B2 (ja) 2005-02-23 2005-02-23 領域集合設定方法、および、ネットワークシステム

Publications (3)

Publication Number Publication Date
JP2006235775A JP2006235775A (ja) 2006-09-07
JP2006235775A5 JP2006235775A5 (ja) 2007-12-13
JP4555703B2 true JP4555703B2 (ja) 2010-10-06

Family

ID=36914208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005046423A Expired - Fee Related JP4555703B2 (ja) 2005-02-23 2005-02-23 領域集合設定方法、および、ネットワークシステム

Country Status (2)

Country Link
US (2) US7350052B2 (ja)
JP (1) JP4555703B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348530B2 (en) 2005-12-27 2016-05-24 Emc Corporation Presentation of virtual arrays using n-port ID virtualization
US7697554B1 (en) 2005-12-27 2010-04-13 Emc Corporation On-line data migration of a logical/virtual storage array by replacing virtual names
US7697515B2 (en) 2005-12-27 2010-04-13 Emc Corporation On-line data migration of a logical/virtual storage array
US7685395B1 (en) 2005-12-27 2010-03-23 Emc Corporation Spanning virtual arrays across multiple physical storage arrays
US8452928B1 (en) 2006-06-29 2013-05-28 Emc Corporation Virtual array non-disruptive migration of extended storage functionality
US8583861B1 (en) * 2006-06-29 2013-11-12 Emc Corporation Presentation of management functionality of virtual arrays
US8539177B1 (en) 2006-06-29 2013-09-17 Emc Corporation Partitioning of a storage array into N-storage arrays using virtual array non-disruptive data migration
US8533408B1 (en) 2006-06-29 2013-09-10 Emc Corporation Consolidating N-storage arrays into one storage array using virtual array non-disruptive data migration
US7757059B1 (en) 2006-06-29 2010-07-13 Emc Corporation Virtual array non-disruptive management data migration
JP4935365B2 (ja) * 2007-01-11 2012-05-23 富士通株式会社 媒体管理方法および媒体管理プログラム
US9063896B1 (en) 2007-06-29 2015-06-23 Emc Corporation System and method of non-disruptive data migration between virtual arrays of heterogeneous storage arrays
US9098211B1 (en) 2007-06-29 2015-08-04 Emc Corporation System and method of non-disruptive data migration between a full storage array and one or more virtual arrays
US8055734B2 (en) 2008-08-15 2011-11-08 International Business Machines Corporation Mapping of logical volumes to host clusters
US20100070722A1 (en) * 2008-09-16 2010-03-18 Toshio Otani Method and apparatus for storage migration
US8296267B2 (en) 2010-10-20 2012-10-23 Microsoft Corporation Upgrade of highly available farm server groups
US8386501B2 (en) 2010-10-20 2013-02-26 Microsoft Corporation Dynamically splitting multi-tenant databases
US9075661B2 (en) 2010-10-20 2015-07-07 Microsoft Technology Licensing, Llc Placing objects on hosts using hard and soft constraints
US8799453B2 (en) 2010-10-20 2014-08-05 Microsoft Corporation Managing networks and machines for an online service
US8417737B2 (en) 2010-10-20 2013-04-09 Microsoft Corporation Online database availability during upgrade
US8751656B2 (en) 2010-10-20 2014-06-10 Microsoft Corporation Machine manager for deploying and managing machines
US8850550B2 (en) 2010-11-23 2014-09-30 Microsoft Corporation Using cached security tokens in an online service
US9721030B2 (en) 2010-12-09 2017-08-01 Microsoft Technology Licensing, Llc Codeless sharing of spreadsheet objects
US10831409B2 (en) * 2017-11-16 2020-11-10 International Business Machines Corporation Volume reconfiguration for virtual machines
US20240143520A1 (en) * 2022-10-31 2024-05-02 Hewlett Packard Enterprise Development Lp Storage system port information management

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110218A (ja) * 2002-09-17 2004-04-08 Hitachi Ltd Dbms向け仮想ボリューム作成・管理方法
JP2004178253A (ja) * 2002-11-27 2004-06-24 Hitachi Ltd 記憶デバイス制御装置および記憶デバイス制御装置の制御方法
JP2004192105A (ja) * 2002-12-09 2004-07-08 Hitachi Ltd 記憶装置の接続装置およびそれを含むコンピュータシステム
JP2004334481A (ja) * 2003-05-07 2004-11-25 Fujitsu Ltd 仮想化情報管理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4139675B2 (ja) * 2002-11-14 2008-08-27 株式会社日立製作所 仮想ボリュームの記憶領域割当方法、その装置及びプログラム
US7263593B2 (en) * 2002-11-25 2007-08-28 Hitachi, Ltd. Virtualization controller and data transfer control method
JP4438457B2 (ja) * 2003-05-28 2010-03-24 株式会社日立製作所 記憶領域割当方法、システム及び仮想化装置
JP2005157867A (ja) * 2003-11-27 2005-06-16 Hitachi Ltd 記憶システム、記憶制御装置及び記憶制御装置を用いたデータ中継方法
JP4230410B2 (ja) * 2004-05-11 2009-02-25 株式会社日立製作所 仮想ストレージの通信品質制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110218A (ja) * 2002-09-17 2004-04-08 Hitachi Ltd Dbms向け仮想ボリューム作成・管理方法
JP2004178253A (ja) * 2002-11-27 2004-06-24 Hitachi Ltd 記憶デバイス制御装置および記憶デバイス制御装置の制御方法
JP2004192105A (ja) * 2002-12-09 2004-07-08 Hitachi Ltd 記憶装置の接続装置およびそれを含むコンピュータシステム
JP2004334481A (ja) * 2003-05-07 2004-11-25 Fujitsu Ltd 仮想化情報管理装置

Also Published As

Publication number Publication date
US20080168251A1 (en) 2008-07-10
JP2006235775A (ja) 2006-09-07
US7827382B2 (en) 2010-11-02
US7350052B2 (en) 2008-03-25
US20060190698A1 (en) 2006-08-24

Similar Documents

Publication Publication Date Title
JP4555703B2 (ja) 領域集合設定方法、および、ネットワークシステム
CN103765372B (zh) 配置用于输入/输出操作的对象存储系统
JP4681374B2 (ja) ストレージ管理システム
US8001351B2 (en) Data migration method and information processing system
US7716319B2 (en) Computer system and method for managing log information
CN103765371B (zh) 导出作为存储对象的逻辑卷的数据存储系统
JP5341184B2 (ja) ストレージシステム及びストレージシステムの運用方法
JP5661921B2 (ja) 計算機システム及び管理システム
US7966470B2 (en) Apparatus and method for managing logical volume in distributed storage systems
JP4310070B2 (ja) ストレージシステムの運用管理方式
CN105975210A (zh) 数据存储系统和数据存储控制方法
US20100100678A1 (en) Volume management system
CN106168884A (zh) 访问对象存储系统的计算机系统
US10552089B2 (en) Data processing for managing local and distributed storage systems by scheduling information corresponding to data write requests
US20100131950A1 (en) Storage system and virtual interface management method
WO2015087442A1 (ja) ストレージシステムの移行方式および移行方法
WO2015092847A1 (ja) コンピュータシステムおよびその処理方法
WO2014155555A1 (ja) 管理システム及び管理プログラム
JP6623692B2 (ja) ログ情報採取システム、ログ情報採取プログラムおよびログ情報採取方法
JP5422657B2 (ja) ストレージシステム及びストレージシステムの処理効率向上方法
JP5183363B2 (ja) 論理ボリュームのデータ移動方法とストレージシステムおよび管理計算機
JP5439435B2 (ja) 計算機システムおよびその計算機システムにおけるディスク共有方法
JP2011081579A (ja) Itシステム仮想化における仮想リソースのシステム運用管理方法およびシステム
US10013216B2 (en) Storage system
JP5272185B2 (ja) 計算機システム及びストレージシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees